JP2011523730A - 手持ち式機器のユーザを識別する方法およびシステム - Google Patents

Abstract

手持ち式機器のユーザを識別するシステムおよび方法を開示している。当該方法およびシステムを実装する機器は、その機器のユーザ操作に付随して起こる信号に基づき、ユーザの識別を試みることができる。この信号は、筐体の内部または周縁に沿って分散する様々なセンサによって生成される。当該センサは、タッチセンサ、慣性センサ、音響センサ、パルス酸素濃度計、およびタッチパッドなどでもよい。これらのセンサおよび対応する信号に基づき、識別情報が生成される。この識別情報を用いて手持ち式機器のユーザを識別する。当該手持ち式機器は、様々な統計学習やデータマイニング技術を実装してシステムのロバスト性を強化することができる。また、当該機器は、ユーザが描く円またはその他の形に基づき、ユーザを認証することもできる。

Description

本発明は、例えばリモートコントロールシステムなど、手持ち式機器のユーザを識別する方法およびシステムに広く関するものである。多くのシステムに対して、煩わしくなく容易にユーザを識別することは有益であろう。本発明の多くの様態および本発明に関連する背景では、家電製品および家庭電化製品の制御に適したリモートコントロールシステムに関して記載しており、このリモートコントロールシステムは、ユーザを識別するための、ユーザの保持およびつかみパターンのほかに、ユーザがリモコンを持ち上げてリモコンに最初に触れる軌跡など他の特徴も検出する、タッチセンサ方式の手持ち式リモートコントロールユニットを含んでいる。

通常多数のプッシュボタンを特徴としている携帯型リモートコントロールユニットは、今や世界を通じてコーヒーテーブル上にあるのが全く当たり前になっている。大部分の消費家電製品において、メーカーがこのような携帯型リモートコントロールに各ユニットを設けることは慣習的である。したがって、ほとんどの消費者は、それぞれが特定の製品または電化製品に関連付けられた様々な異なるリモートコントロールユニットを多数所有している。

課題を単純化するために、出願人の譲受人は、プッシュボタンの数の削減や、ユーザの指または親指で操作して表示画面上にて情報のやりとりが可能な１以上のタッチセンサ式タッチパッドを特徴とした、タッチセンサ方式リモートコントロールユニットの異なる実施例をいくつか開発してきた。タッチパッドを操作して、例えば、（カーソルや他のグラフィカル要素などの）選択インジケータを表示画面の制御範囲全域で移動させることが可能である。ある適用では、表示画面を携帯型リモートコントロールユニットから分離できるため、ユーザは、指または親指でキーパッドを操作しながら画面表示を確認することによって選択インジケータを操作する。好ましくは、ユーザが片手でリモートコントロールユニットを持ちながらユーザの親指でタッチパッドを操作できるように、１つまたは複数のタッチパッドをリモートコントロールユニットに配置する。さらに、リモートコントロールはユーザの接触を感じやすい外枠にタッチセンサを備える。

単一のリモートコントロールおよび対応するホスト装置を多数のユーザが使用可能となるにつれて、どのユーザがリモートコントロールを使用中なのかを識別する方法への要求が増加している。ユーザ名およびパスワードでログインするなどの方法は時間がかかり、ユーザを悩ますものである。したがって、最低限のユーザインタラクションですむユーザ識別方法が必要である。好ましくは、ユーザが識別タスクに入力あるいは識別タスクを実行せずに、そのユーザを識別できることが有益であろう。このような識別の受動的方法により、ユーザ側のユーザインタラクションは事実上なくなることになるであろう。

したがって、様々な受動的および半受動的ユーザ識別方法を実装するリモートコントロールシステムを我々は開発した。当該方法は、ユーザがリモコンを持つことによるつかみ／保持パターンから、ユーザがつかんだ際にリモコンが辿る軌跡までさまざまである。

このセクションは、開示内容の全体的な概要を記載するもので、本願の全範囲または特徴全てを包括的に開示するものではない。

第１の観点では、本発明は、携帯型機器のユーザを識別するシステムおよび方法に関するものである。当該携帯型電子機器は、筐体と前記筐体の外面に沿って配置されたセンサシステムを備える。前記センサシステムは、ユーザの手と前記機器との複数の同時接触点に反応して、前記ユーザの手と前記機器との前記複数の接触点を示す観測信号を生成する。当該携帯型電子機器は、さらに、ユーザの識別に用いられる複数の既知のユーザの属性に対応するデータを格納するユーザ識別データベースを備える。また、当該機器は、さらに、前記センサシステムから前記観測信号を受信して、前記観測信号および前記複数のユーザの属性から前記ユーザを識別するユーザ識別モジュールを備える。

第２の観点では、本発明は、筐体と、指の動きに対応するタッチパッド信号を生成する、ユーザの指の動きに反応するタッチパッドとを備える携帯型電子機器に関する。当該機器は、さらに、前記タッチパッド信号を受信して、前記タッチパッド信号に基づいて指動きデータを生成するタッチパッド処理モジュールを備える。また、当該携帯型電子機器は、所定の対象物を描くユーザの指の動きを含む複数の既知のユーザの身体的属性に対応するユーザ識別データを格納するユーザ識別データベースを備える。また、当該機器は、さらに、ユーザの描く所定の形である前記ユーザの指動きデータを受信して、前記指動きデータおよび前記ユーザ識別データに基づき前記ユーザを識別するユーザ識別モジュールを備える。

第３の観点では、携帯型電子機器は、筐体と、前記筐体の周縁に沿って配置され、ユーザの手と前記機器との複数の同時接触点に反応して、前記ユーザの手と前記機器との複数の接触点を示す観測信号を生成するタッチセンサシステムとを備える。当該機器は、また、前記タッチセンサシステムから前記観測信号を受信して、ユーザの保持パターンを決定するタッチセンサ処理モジュールを備える。さらに、当該機器は、前記筐体に組み込まれ、前記ユーザの手による前記機器の動きに反応して、慣性信号を生成する慣性センサと、前記慣性センサから前記慣性信号を受信して、前記機器の動きに対する軌跡を決定する軌跡モジュールとを備える。また、当該機器は、前記筐体の外面に沿って設置され、前記タッチパッドの外面に沿った前記ユーザの指の動きに反応して、タッチパッド信号を生成するタッチパッドと、前記タッチパッド信号を受信して、ユーザ指動きデータを決定するタッチパッド処理モジュールとを備える。さらに、当該機器は、複数の既知のユーザの保持パターンと前記複数の既知のユーザそれぞれによる機器の動きに対応した軌跡と前記複数の既知のユーザのユーザ指動きデータとを含む属性であって、ユーザの識別に用いられる前記複数の既知のユーザの属性に対応するデータを格納するユーザ識別データベースを備える。また、さらに、当該機器は、前記ユーザの識別情報を受信して、前記ユーザの保持パターンと前記機器の動きに対する前記ユーザの軌跡と前記ユーザの指動きデータとを含む前記識別情報および前記複数の既知のユーザの属性に基づき前記ユーザを識別するユーザ識別モジュールとを備える。

さらなる適用領域が、ここに記載した記述内容から明らかになるだろう。この概要における記述内容および具体例は、説明のみを目的としたものであり、本願の開示内容の範囲を限定する意図はない。

［本願の背景技術に関する詳細情報］
２００８年４月２１日に出願された、米国特許仮出願番号第６１／０４６，５７８号の全ての開示内容を本願に引用して援用する。

ここに記述する図面は、選択した実施形態の説明のみを目的としたものであって、考えられる形態全てではなく、本願の開示内容の範囲を限定する意図はない。
図１は、表示画面を有し、かつ、ユーザの親指によって作動するよう配置されたタッチパッドを少なくとも１つ備える携帯型リモートコントロールユニットを有する、電気製品に対するリモートコントロールシステムの例を示す。 図２Ａは、タッチパッド面を示す例であり、ユーザの手の大きさがタッチパッド面の有用性にどう作用し得るかを理解する場合に役立つ。 図２Ｂは、タッチパッド面を示す例であり、ユーザの手の大きさがタッチパッド面の有用性にどう作用し得るかを理解する場合に役立つ。 図３は、リモートコントロールユニットの周縁に複数のタッチパッドおよび容量センサの配列を有するリモートコントロールユニットを示す概略図である。 図４は、ユーザ識別システムのシステムレベルアーキテクチャである。 図５は、ユーザ識別モジュールのアーキテクチャの概略図である。 図６は、機器上のタッチセンサ配列とユーザの手との接触点を示す例である。 図７は、ユーザの携帯型機器のつかみ方に基づいてユーザを識別する方法の例のフローチャートである。 図８は、２人の異なるユーザに対応する２つの異なる軌跡を示す例である。 図９は、リモートコントロールの動きに対応する軌跡に基づいてユーザを識別する方法の例のフローチャートである。 図１０は、リモートコントロールのタッチパッドに触れるユーザおよび対応する親指ベクトルを示す例である。 図１１は、ユーザのタッチパッドのファーストタッチに基づいてユーザを識別する方法の例のフローチャートである。 図１２は、リモートコントロールのタッチパッドに円を描くユーザを示す例である。 図１３は、タッチパッド上にユーザが描いた形に基づいてユーザを識別する方法の例のフローチャートである。 図１４は、ユーザ識別に到達する様々なユーザ識別方法の組み合わせを示す図である。 図１５は、ユーザ識別を行う際に用いられる様々な統計学習およびデータマイニング技術を表したフローチャートである。 図１６は、ユーザの教師なし学習を行う方法の例を表したフローチャートである。 図１７は、２人の異なるユーザに対応する２つのクラスタおよびこれら２つのクラスタに関して識別されるユーザを示す例である。 図面の各図において、同じ参照符号は対応する部分を示す。

ここで、図面を参照して実施形態を詳述する。

ユーザを識別するシステムおよび方法をここに開示する。当該システムは１以上のユーザ識別技術を組み合わせてユーザを認証かつ／または識別する。当該技術は、ユーザーの携帯型機器のつかみ方、ユーザがリモコンを持ち上げる際の機器の軌跡、ユーザの機器へのファーストタッチ、およびユーザの心拍によってユーザを識別するような受動的技術でもよい。また、当該技術は、携帯型機器のタッチセンサ面上で円などの形をユーザに描かせるといった半受動的なものでもよい。単純化のため、まず、テレビ、セットトップボックス、コンピュータ、娯楽施設、またはその他のホスト装置と共に用いることが可能なリモートコントロール１２に当該技術を適用したとして説明する。また、ユーザ識別がユーザに役立つ携帯型機器全てに対しても当該技術を適用することは明らかであろう。このような適用について、以下に詳述する。

図１を参照すると、典型的な電気製品用のリモートコントロールシステムを１０で大まかに示す。リモートコントロールシステムは、表示画面１６を有する電気製品１４に、望ましくは無線で、制御命令を送信する携帯型リモートコントロール１２を備える。リモートコントロール１２は、複数の補完的なプッシュボタン１８とタッチパッドのペア２０を備える。なお、図示した実施形態において、リモートコントロールユニット１２は左右対称であるため、ユーザの親指がどちらのタッチパッドに近いかは関係なく同じように機能する。携帯型リモートコントロール１２は、このユニットがどの方向で保持されているのかを検出する方位センサ（図示せず）を有する。

携帯型リモートコントロールユニット１２と電気製品との間の通信インターフェースはどんなタイプでも利用可能である。説明のために、２４で示した無線送信デバイスおよび２２で示した無線受信デバイスを図示する。当然のことながら、無線通信は、赤外線、超音波および高周波を用いて、さらには、赤外線通信プロトコル、ブルートゥース、ＷｉＦｉなどの様々な異なる通信プロトコルを利用して行われる。通信は、（リモートコントロールユニット１２から電気製品１４への）片方向または双方向で可能である。

図示した実施形態では、制御範囲は画面上で定義され、その画面内にユーザ制御の選択インジケータを視覚的に表示することができる。図１において、リモートコントロールユニット１２そのものの視覚的複製が表示画面１６上で２６のように表示される。ユーザ制御の選択インジケータは、ユーザの親指をグラフィカルに描写する形式３０で表示される。タッチパッド２０上でユーザの親指を動かすことにより、選択インジケータ３０は対応して移動する。トラックパッドによるコンピュータ画面カーソルの動きと同様であるが、次の違いがある。タッチパッド２０上の範囲を１対１で画面の制御範囲と対応づける。典型的なコンピュータトラックパッドにはこのような１対１の関係は用いられておらず、むしろ、持ち上げて別の位置に移されるコンピュータマウスを模倣した動作の相対的なマッピングを使用している。

ここに開示したシステムを用いて、例えば、ユーザ識別に基づきリモコンのマッピングを識別することができる。図示した実施形態では、タッチパッド面と制御範囲との１対１のマッピングを用いているが、このマッピングはユーザの手の大きさの特徴に合わせて変更される。図２Ａおよび２Ｂを参照すると、小さな手（図２Ａ）および大きな手（図２Ｂ）の人が最も簡単に利用しやすいようにマッピングされた位置での、数字および文字のパターン例をタッチパッド上に図示している。これらのマッピングされた位置を制御範囲２６上で対応する位置（図１）と比較する。画面上に表示された画像（図１）は、手の大きさにかかわらず全てのユーザに対し同じであるが、制御範囲へ実際にマッピングしたタッチパッド部分は調整される。このように、小さな手のユーザは数字１を選択するために遠くまで指を伸ばす必要はない。逆に、大きな手のユーザは、数字４などの隣接する数字を同時に選択することがなく、数字５を選択するのがより簡単になったと感じるであろう。実際には、手が小さい場合（図２Ａ）、タッチパッド部分のみが用いられ、表示画面に示された制御範囲全域と一致するようにこの部分を拡大する。

ユーザ識別を用いて、リモートコントロールが制御するホスト装置のその他の様態を構成してもよい。例えば、ホスト装置がテレビ用セットトップボックスであれば、特定ユーザが特定チャンネルへアクセスすることを制限するためにユーザ識別を用いてもよい。さらに、予めプログラムされた好みのチャンネルまたは設定の一覧をセットトップボックスに読み込んでもよい。さらなる例を下記に示す。

図３を参照すると、リモートコントロール１２を２つのタッチパッド２０で図示する。容量タッチアレイは４０で示される。容量タッチアレイの容量センサと組み合わせて、または容量センサの代わりに他のタッチセンサを用いても構わないことは想定される。

例えば、ユーザと機器との接触点に対する抵抗を提供するセンサを用いてもよい。このようなセンサは現在開発中であって、より高次元のデータセットを提供する。これは多くのユーザの中から１人のユーザを識別する際に有利である。これらの電極マトリックスセンサは、電流などの信号を送る１つのセンサと、ユーザの手（または他の身体部分）を介して信号を受け取る複数の受信部とを有している。この送信部および複数の受信部はリモートコントロール１２の外面に沿って配置される。複数の受信部は送信部を空間的に囲むように配置される。各受信部と送信部との距離は既知であり、送られた電気信号の電流および電圧も同様に既知である。電気信号が送られた後、受信部がその電気信号を受信するときに、接触点でのユーザの手の抵抗を決定することができる。以上のように、各受信部が抵抗値を生成するので、送信ごとにデータの次元数はＸ倍に増える。ここで、Ｘは、複数の受信部の送信部に対する比率である。より高次元のデータセットが好ましい場合はこれらのセンサが特に有用である。さらに、送信部および対応する受信部間の通信となる転送機能を送られた信号に実行して、次元数をさらに増やしても構わない。

また、リモコンは、音響（図示せず）および光学センサ（図示せず）、慣性センサ（図示せず）、パルス酸素濃度計（図示せず）、ならびに熱センサ（図示せず）でも構わない。

当然のことながら、センサは、片手もしくは両手でリモートコントロール１２を保持するユーザから信号を受信することができる。例えば、ユーザは片手の操作位置でリモートコントロール１２を保持してもよい。また、ユーザは、識別目的で、ビデオゲームコントローラなどのように両手でリモートコントロール１２を保持してもよい。

図４は、識別入力候補およびユーザを識別するために用いられるデータ候補を示している。上述のとおり、リモートコントロール１２、または、携帯型機器は多数の入力に基づいてユーザを識別することができる。リモートコントロール１２は、ユーザを識別するために他の機能的適用に用いられるセンサ５２〜６０からのデータを利用する。ユーザ識別モジュール５０においてデータを受信かつ処理する。ユーザ識別モジュールは、既知の各ユーザに固有なデータを含むユーザ識別データベース６４にアクセスする。データのタイプは以下のうち１以上のもので構わない。タッチセンサ５２から受信した保持／つかみパターン６４、加速度計やジャイロスコープなどの慣性／運動センサから受信した軌跡データ６６、音響センサ５８または他のタイプのセンサから受信した心拍データ６８、光学センサ５６から受信した顔または胴体データ７０、タッチパッドセンサ２０から受信したファーストタッチデータ７２、および、タッチパッドセンサ２０から受信した弓形データ７４。センサおよびデータタイプの一覧は限定されるものではないと理解され、特定のセンサから他のタイプのデータを受信し、かつ、他のタイプのセンサが一覧のデータまたは入力を受信してもよいと想定される。さらに、最低１つの入力タイプを用いてユーザを識別しても、入力の組み合わせを用いてユーザを識別してもよいと想定される。

図５は、ユーザ識別モジュール５０の例を詳述したものである。ユーザ識別モジュール５０は、入力のタイプごとに処理モジュールを有してもよい。例えば、ユーザ識別モジュール５０は、タッチセンサ５２からのデータを処理するタッチ処理モジュール８０、運動および慣性センサ５４からのデータを処理する運動処理モジュール８２、光学センサ５６からのデータを処理する光学処理モジュール８４、音響センサ５８からのデータを処理する音響処理モジュール８６、および、タッチパッド６０からのデータを処理するタッチパッド処理モジュール８８を含んでもよい。各タイプのデータのさらなる詳細およびその処理モジュールについては後述する。

当然のことながら、ユーザ識別モジュール５０はリモートコントロール１２またはホスト装置に備えられていてもよい。当該システムは強力な学習技術を実装しているため、リモートコントロール１２にこのような計算を扱う処理能力がなくてもよい。この場合には、リモートコントロール１２は、ホスト装置に備えられている認識モジュール５０に入力データを伝えても構わない。

様々な処理モジュールがそれぞれのセンサから生データを受信し、そのデータを認識モジュール９０で使用できる形式に加工する。この認識モジュールは、加工データに基づいてユーザを識別する、ｋ平均クラスタリング法、サポートベクターマシン（ＳＶＭ）法、隠れマルコフモデル法、および、線形回帰法のうち１以上の方法を用いてもよい。以上のように、様々なセンサによって、識別に有益な高次元のデータセットが生じるであろう。また、ユーザ識別モジュール５０は入力データセットに対して特徴抽出を行うので、高次元データセットをより簡単に処理できる。主成分分析（ＰＣＡ）やｉｓｏｍａｐなどの次元縮小法を認識モジュールに実装してもよい。認識モジュール９０は、ユーザ識別データベース６２に含まれるデータセットと加工データとを用い、様々な統計学習および／またはクラスタリング法によって、識別されるユーザを分類する。そして、認識モジュール９０は、保持／つかみ、軌跡、またはファーストタッチなどの特徴データが、様々なセンサから受信した入力データに最も類似するユーザを決定する。また、信頼スコアもユーザ識別に関連付けられてもよい。さらに、認識モジュール９０は、ユーザ識別データベース６２内で最も適合したｎ個の一覧を生成してもよい。加えて、後述するとおり、認識モジュール９０はユーザ識別を生成しても構わない。

認識モジュール９０は、パラメータとして、データセットおよびデータタイプをとってもよい。データタイプに基づいて、認識モジュール９０が、どの学習またはクラスタリング技術を使用し、かつ、ユーザ識別データベース６２内のどのデータタイプにアクセスするかを選択しても構わない。

図６は、リモコンをつかんでいるユーザの例を示している。ユーザの手に握られると、タッチアレイ１０２および１０４の各素子のいくつかが作動する（ユーザの手が触れる部分に近接する素子）。この保持パターンから、ユーザを識別する基準がいくらかできる。もちろん、リモートコントロールユニット１２を持ち上げるたびに、全く同じように保持するユーザはいないであろう。したがって、各ユーザのタッチアレイ観測データは使うたびに、時々刻々と変化すると予測できる。このように、現在好ましい実施形態では、ユーザ識別、手の大きさおよび保持位置情報に保持パターン観測データを変換する、モデルに基づいたパターン分類システムを使用する。以上のように、ユーザの手のひらおよび指が結果的に容量センサ１０２および１０４に圧力をかけることになる。容量センサは信号を生データの形式でタッチセンサ処理モジュール８０（図５）にまとめて送信する。これらの観測信号は、どのセンサがユーザの手とリモートコントロール１２との現在の接触点であるのかを表す。タッチセンサ処理モジュール８０は認識モジュール９０が使用可能な形式に生データを変換してもよい。例えば、要素が様々なセンサを表すベクトルまたはマトリックスでそのデータを構成しても構わない。変換されたデータを用いてユーザ識別データベース６４で適合するものを見つけることができる。

あるいは、タッチセンサ処理モジュール８０は生データから追加データを推定してもよい。例えば、どちらの手（左または右）がリモコンをつかんでいるのかを認識できる。また、手のひらは隙間がなくて、指は指の間に隙間があるという事実のため、どのセンサが手のひらで作動したか、どのセンサが指で作動するかも認識できる。どちらの手がリモコンをつかんでいるかと、指および手のひらの位置とに基づいて、タッチセンサ処理モジュール８０は手の予測サイズを推定してもよい。追加特徴データを、保持パターンなど最初のつかみから推定してもよい。例えば、あるユーザは指を３本使ってリモコンの側面をつかむ一方、他のユーザは４本の指を使って保持する可能性がある。また、各センサに加えられる圧力に関する情報も含まれていてもよい。推定特徴データの集合を用いてユーザ識別データベース６４で合致するものを見つける。

図７を参照すると、つかみ／保持位置に基づいてユーザを識別する技術の例をここで詳述する。ステップＳ１１０において、作動したタッチセンサに対応する生データをタッチセンサ処理モジュール８０が受信する。タッチセンサ処理モジュール８０は、リモコンが左手または右手でつかまれたかどうかをステップＳ１１２で決定する。ステップＳ１１４において、タッチ処理モジュール７０は、データを手のひらデータと指データとに分離することによってつかみ／保持位置に関連する特徴を抜き出す。ステップＳ１１６において、タッチ処理モジュール７０は手のひら合わせパターンを決定する。タッチセンサから受信した信号に基づいて、より高圧な位置および圧力などの情報を推定してもよい。さらに、作動したセンサ数を用いて手のひら合わせパターンの幅を抽出してもよい。ステップＳ１１８において、タッチ処理モジュール７０は、タッチ処理モジュール７０が把握している手のひら位置に基づいて、センサに触れていない手のひら部分の手の位置を予測可能である。学習モデルまたは周知の生理学的モデルを用いて手の位置を予測してもよい。ステップＳ１１６およびＳ１１８に基づき、ユーザの手の大きさはＳ１２０で算出することができる。

ステップＳ１２２において、指合わせパターンを算出する。手のひら合わせパターンと同様に、受信したタッチセンサデータから圧力および圧力位置を決定しても構わない。このデータから、タッチ処理モジュール８０は、リモコンをつかむのに用いた指の数および指の間の間隔を決定できる。指合わせパターンをステップＳ１１８およびＳ１１６の結果と組み合わせることによって手の手のひら部分を予測し、保持パターンを決定してもよい。手の大きさデータとともにこのデータを認識モジュール９０に伝達し、このデータを用いてステップＳ１２６でユーザ識別データベースのユーザと適合させる。ユーザマッチングには多くの異なる方法を用いてもよいと想定される。例えば、加工データおよびユーザ識別データにｋ平均クラスタリングを行っても構わない。また、他のデータマイニング技術や統計学習技術を用いてユーザ識別を決定しても構わない。さらに、識別情報または最も適合したｎ人のユーザ候補一覧に信頼スコアを加えてもよい。信頼スコアを使用するイベント時に、システムは、ユーザを識別するため、信頼スコアが所定の閾値を超える必要があるとしても構わない。最も適合したｎ個の一覧が生成されるイベント時に、他の識別技術を用いてこの一覧の数を減らしてもよい。

その他の実施形態において、ユーザを識別する方法は、リモコンが静止位置に到達してしまうまで開始しなくてもよい。このように、ユーザは、リモートコントロール１２をつかみ、リモートコントロール１２を持ち上げ、そして、リモートコントロール１２の保持位置に到達する。例えば、加速度または速度が所定の閾値より低いなど、リモートコントロール１２が安定位置に到達したと慣性センサが示した時点で、ユーザ識別処理は開始する。この実施形態では、例えば、リモコンがユーザの後ろや２つのカウチクッションにはさまれていれば、ユーザは別のつかみ方でリモコンをつかむなど、つかみパターンはリモートコントロールやユーザの位置に等しく依存する可能性があるので、リモコンを最初につかむ際の変動は完全に無視する。

ユーザ識別の唯一の方法、ユーザ識別の主要な方法、または、ユーザ識別の部分的方法として保持／つかみパターンマッチングを用いてもよい。事前研究によって、小さなユーザグループ（５人のユーザまたは家族サイズ）では、保持／つかみパターンのユーザ識別は約８７．５％の精度となることが分かっている。このように、基本システムのアプリケーションおよびスケールにもよるが、８７．５％は十分な識別精度であろう。しかしながら、より繊細なログイン環境に対してはより高い精度が必要であるため、手／つかみパターンマッチングを多数のマッチング技術のうちの１つとして用いてもかまわない。

図８は、ユーザを識別するために用いられるユーザ軌跡の例を示している。例示目的のため、２人のユーザ１３４Ａおよび１３４Ｂに対応する２つの軌跡１３６Ａおよび１３６Ｂを図示する。位置１３０では、リモートコントロール１２がコーヒーテーブル１３８上で静止した状態で描かれている。位置１３２Ａでは、リモートコントロール１２が、ユーザ１３４Ａによってつかまれた後、軌跡１３６Ａに沿って位置１３２Ａまで移動する。位置１３２Ｂでは、リモートコントロール１２は、ユーザ１３４Ｂによってつかまれた後、軌跡１３６Ｂに沿って位置１３２Ｂまで移動する。このように、リモートコントロール１２の軌跡に基づいて２人のユーザを区別することができる。開示内容から明らかなように、リモートコントロール１２は、タッチセンサの作動に基づき、ユーザにつかまれたとき、および、静止状態であるときが把握できる。先に述べたように、リモートコントロール１２は１以上の加速度計および／または１以上のジャイロスコープを備えていても構わない。当然のことながら、様々なタイプのジャイロスコープや様々なタイプの加速度計など、どのタイプの慣性センサを用いてもよい。

図９は、軌跡データを用いてユーザを識別する方法の例を示している。ステップＳ１４０では、運動処理モジュール８２がジャイロスコープおよび加速度計からのセンサ入力を受信する。ステップ１４８では、運動処理モジュール８２が開始位置を決定しなければならない。運動処理モジュール８２はステップ１４６および／または１４２および１４４を実行して開始位置を決定してもよい。静止状態および保持位置はそれぞれ、軌跡の開始位置および終了位置である。軌跡が信頼性高く適合するためには、実際の開始位置を決定することが有益であろう。例えば、同じユーザが、コーヒーテーブルではなく床からリモコンを持ち上げている場合は、異なる軌跡をたどるであろう。このように、リモートコントロール１２は開始位置を予測する技術を１以上実装してもよい。まず、リモートコントロール１２は、リモコンが静止位置に置かれた跡を維持してもよい。ゆえに、ユーザがタッチセンサから離れた場合は、センサからの慣性データを用いて静止位置を決定しても構わない。このタイプの決定を有効にするためには、加速度計およびジャイロスコープが運動センサ処理モジュール７２に加速度および速度を絶え間なく出力し続けなければならない。運動処理モジュール７２は、前回の静止位置といった最新の既知の位置とデッドレコニングとを用いて位置を決定する。デッドレコニングを有効にするため、運動処理部８２は、加速度および速度ベクトルに基づいて、位置を算出することを目的にタイミングデータも受信する。ユーザがタッチセンサから離れた時点で、運動処理モジュール８２は最新の位置として新たな静止位置を格納する。最新の既知の位置が記録されると、その後、運動処理モジュール８２は、ユーザがリモートコントロール１２をつかむとすぐに、ステップＳ１４６でその最新の既知の位置を検索する。

上述したように、軌跡処理モジュール８２は、開始位置が分かるならば予測精度を向上させるであろう。根本的理由のひとつは開始位置と軌跡は互いに依存し合っているということが理解される。しかしながら、その依存性は、正確な地理的位置である必要はなく、むしろ、リモコンとの相対的な位置でもよい。例えば、遠い右端からリモコンを持ち上げるユーザは、コーヒーテーブルの中央からリモコンを持ち上げる際に同じような軌跡をとりやすい。しかしながら、その軌跡は、カウチからリモートコントロール１２を持ち上げる際には異なる。ゆえに、上述したステップＳ１４８において、ピンポイント位置は必要でない。大まかな位置または位置の集まりのどちらかを開始位置として用いてもよい。軌跡処理モジュールは既知の位置のｋ平均クラスタリングアルゴリズムおよび予測開始位置を用いて大まかな開始位置を決定してもよい。

なお、ある実施形態では、リモートコントロール１２は位置を定期的に検証するかユーザに確認する。さらに、いくつかの実施形態では、ユーザが最もありうるｎ個のリモコン位置候補を予めプログラムする位置登録段階があってもよい。この実施形態では、ユーザが、コーヒーテーブル、カウチ、サイドテーブル、床、娯楽施設などを入力できる。このような登録処理では、ユーザは、互いに位置を定義し合わなければならないであろう。

その他の実施形態では、運動処理モジュール８２は動きそのものに基づいて位置を決定する。これらの実施形態では、運動処理モジュール８２が、センサデータを受信し、Ｓ１４２でデッドレコニング技術を用いて基準軌跡を決定する。なお、この軌跡は、開始位置を（０、０、０）と仮定しており、さらには、開始位置を決定する基準として用いられるために、基準軌跡となる。ステップＳ１４４において、運動処理モジュール８２は、最も可能性のある開始位置を決定するために、受信した軌跡を入力として用いてｋ平均クラスタアルゴリズムを使用してもよい。

開始位置を決定した時点で、運動処理モジュールは静止位置（開始位置）、保持位置（終了位置）、およびセンサデータを用いて軌跡を決定してもよい。モジュール処理モジュール８２は、開始位置および軌跡そのものに基づいて、軌跡に対してユーザ識別データベース６２内で適合するものを見つけようと試みる。両方のパラメータが重要なのは、軌跡の分類が開始位置に依存するからである。例えば、一方がコーヒーテーブルから始まった軌跡で、もう一方が床の中央から始まった軌跡であることにかかわらず、２つの同じ軌跡を運動センサ処理モジュール７２に報告する可能性がある。開始位置がない場合は、２つの軌跡を区別することはかなり困難であろう。しかしながら、予測または既知の開始位置があれば、運動処理モジュール７２は、これらの軌跡を、床から始まったものとコーヒーテーブルから始まったものとに区別できる。このように、例えば、背の低いユーザ（子供など）が立った位置で床からリモコンを持ち上げた、かつ、背の高いユーザ（大人など）がコーヒーテーブルからリモコンを持ち上げたと決定することができる。サポートベクターマシンおよびｋ平均クラスタリングなどの学習方法を用いて、算出された軌跡および開始位置に基づきユーザ識別を決定してもよいと想定される。なお、カウチやコーヒーテーブルなどの開始位置を用いて、入力軌跡と比較する軌跡セットの数を減らしてもよい。例えば、運動処理モジュール８２が、コーヒーテーブルからユーザがリモートコントロール１２を持ち上げた、つまり、入力軌跡はコーヒーテーブルから始まったと決定する場合、コーヒーテーブルから始まる軌跡セットのみを用いてユーザ識別を生成する。

その他の実施形態では、軌跡の開始位置を無視する。むしろ、リモートコントロールの相対的な動きを表すベクトルを用いてユーザを識別する。このように、軌跡は必ず（０、０、０）位置で始まると仮定される。

なお、ユーザ識別の唯一の方法、ユーザ識別の主要な方法、または、ユーザ識別の部分的方法として軌跡マッチングを用いてもよい。システムのスケールおよび基本システムのアプリケーションにもよるが、軌跡マッチングは十分な識別精度を提供できる。しかしながら、より繊細なログイン環境に対してはより高い精度が必要であるため、軌跡マッチングを多数の識別技術のうちの１つとして用いてもかまわない。

タッチパッドを含むリモートコントロール１２の実施形態では、さらなる識別方法を有効にする。図１０は、リモートコントロール１２のタッチパッド２０をユーザがファーストタッチした図を表している。上述したように、リモートコントロール１２を使用する際にユーザは次の３つを行う。１）リモコンをつかむ、２）リモコンを持ち上げる、３）タッチパッド２０に触れる。これらのイベントにおけるデータを抽出することにより、ユーザ識別情報を能動的に入力することなく、抽出したデータからユーザを識別することが可能である。ここまでは、リモートコントロール１２の持ち上げに関連した軌跡およびつかみ／保持パターンからユーザを識別する方法について述べてきた。ユーザを識別する第３の方法はユーザのファーストタッチに基づくものである。ユーザに関連付けられた保持パターンに基づき、ユーザは通常異なる手の骨関節構造を持つという事実から、ユーザはかなり特有のファーストタッチ位置を有するであろう。このように、保持位置およびタッチパッドのファーストタッチに基づいてユーザをさらに識別してもよい。

図１１は、リモートコントロール１２のファーストタッチに基づいてユーザを識別する方法の例を表すフローチャートである。ステップＳ１５０では、ユーザの保持位置を検出し、かつ、決定する。当該処理はこれまでに詳述してきた。ステップＳ１５２では、ユーザのファーストタッチを決定する。ユーザのファーストタッチはタッチパッド２０上の（ｘ、ｙ）座標でもよい。保持位置／パターンおよびファーストタッチ位置に基づき、タッチパッド処理モジュール８８は、ユーザの親指に関する追加情報を推定してもよい。例えば、タッチパッド処理モジュール８８は、リモートコントロール１２の周りで親指が保持／曲がる角度を決定する。また、親指の長さを決定してもよい。親指に関連付けられたファーストタッチデータに基づき、ユーザの親指１６０（図１０）に対応するベクトルをステップＳ１５４で算出してもよい。親指ベクトル１６０は、ｘ値、ｙ値、ｘオフセットおよびｙオフセットの４次元ベクトルでもよく、タッチパッドの角のうち１つを原点として用いる。このベクトルを認識モジュール９０に伝達して使用し、ステップＳ１５６においてユーザ識別データベース６２内で適合するものを見つける。

なお、ユーザ識別の唯一の方法、ユーザ識別の主要な方法、または、ユーザ識別の部分的方法としてファーストタッチデータを用いてもよい。システムのスケールおよび基本システムのアプリケーションにもよるが、ファーストタッチデータは十分な識別精度を提供できる。しかしながら、より繊細なログイン環境に対してはより高い精度が必要であるため、ファーストタッチデータを多数の識別技術のうちの１つとして用いてもかまわない。

図１２は、リモートコントロール１２のタッチパッド２０上に円を描いているユーザを示している。ここまでは、ユーザを識別する、完全に受動的な手法を述べてきた。以下に、ユーザがタッチパッド２０上で形、好ましくは円、を描く、ユーザを識別する半受動的な手法について述べる。図を見て分かるとおり、ユーザはタッチパッド２０上で円１６２を描く。しかしながら、どんな形を用いてもよいと想定される。タッチパッド上でユーザに形を描かせる目的は、ユーザの動きから運動学データを抽出することである。例えば、ユーザが反時計回りの円を描く場合は、４画生じるのが典型的であろう。第１画は１２時から９時、第２画が９時から６時、第３画が６時から３時、そして、最後が３時から１２時である。ユーザは親指をある位置から次の位置にスライドさせても、親指をわずかに曲げても構わず、結果的には異なる弓形の軌跡になるであろう。ユーザは、小さなストロークでも大きなストロークで動かしてもよい。ユーザは、時計回りでも反時計回りにでも円を描いて構わない。さらに、タイミングデータも推定して、ユーザを識別するために用いてもよい。異なるストロークの特性の置換が大きいことは明らかである。円を描くユーザに対応する置換量により、ユーザを識別する精度はより高いものとなる。

図１３は、タッチパッド２０上でユーザに形を描かせることによってユーザを識別する方法の一例を説明している。ステップＳ１７０において、タッチパッド処理モジュール８８は描かれた円に対応する弓形軌跡データを受信する。弓形軌跡データは、ｘｙ座標全てにタイムスタンプを加えた、３変数の形式（ｘ、ｙ、ｔ）で与えられてもよい。ステップＳ１７４において、３変数セットに線形引伸しを行う。例えば、弓形軌跡データを中央値の１３０％まで引伸ばしてもよい。ステップＳ１７４では、引伸しされた弓形軌跡データに主成分分析（ＰＣＡ）を行ってデータセットの次元数を減らしてもよい。好ましい実施形態では、分散の９８％を占める主成分が選択される。しかしながら、他の分散閾値を選択してもよいと理解される。ステップＳ１７６では、削減されたデータセットをｋ平均クラスタリングで分類する。ここで、ｋはユーザ数として選択される。ステップＳ１７８では、変換された弓形軌跡データが該当するクラスタにより、マッチング中のユーザを識別する。

ある実施形態では、タイミングデータを最初は取り除き、座標データ、つまりデータの（ｘ、ｙ）成分、のみをステップＳ１７２からＳ１７８で用いる。これらの実施形態では、ステップＳ１８０においてタイミングデータを用い、ｋ平均クラスタリングの結果を再びスコアリングする。再びスコアリングした時点で、Ｓ１８２においてユーザを識別してもよい。

なお、ユーザ識別の唯一の方法、ユーザ識別の主要な方法、または、ユーザ識別の部分的方法として形描画を用いてもよい。実際、形描画は識別精度率が通常とてもよい。しかしながら、形描画は受動的な手法ではないため、受動的な識別技術を用いた後でシステムがユーザ識別できたかどうか不確かな場合に、バックアップ方法として実装できる。システムのスケールおよび基本システムのアプリケーションにもよるが、形描画はより繊細なログイン環境を守る有益な方法であろう。

追加センサを使用してもユーザを識別できると想定される。例えば、音響センサ５８を用いてユーザの心拍を検出してもよい。音響センサ５８はリモートコントロールの外カバーの側面に沿って戦略的に配置され、これによりリモートコントロール全体１２が音響アンテナとして機能する。ユーザが機器をしっかり保持すると、音響センサは心拍を検出し、そのデータを音響処理モジュール８６に伝送する。音響処理モジュール８６は、心拍の周波数および振幅を決定するように受信したデータを処理してもよい。そして、認識モジュール９０が、上述した統計学習またはデータマイニング技術を１以上使用して、ユーザの心拍特徴に基づきユーザ識別データベース６２内で適合するユーザが存在するかどうかを決定する。他のタイプのセンサを用いてユーザの心拍または関連統計量を監視してもよいと想定される。例えば、パルス酸素濃度計を用いて患者のパルスまたは血液酸素レベルを測定してもよい。さらに、超高感度加速度計を用いてユーザのパルスによって生じる振動を検出してもよい。そして、インパルス応答システムをさらに用いてもよい。インパルス応答システムは、基本的に、スピーカーとマイクロフォンから構成されている。マイクロフォンはユーザの手に響きわたる高周波音波を発する。音波は屈折されてマイクロフォンに戻り、そこでセンサは音波の増大量を判別できる。また、インパルス応答センサを用いてユーザのパルスを測定してもよい。

その他の追加センサは光学センサ５６である。光学センサ５６を設置するのはリモートコントロール上でもホスト装置でも構わない。光学センサ５６を用いてユーザの画像データを受信することができる。画像処理モジュール８６は、ユーザを識別するために、ユーザに対して顔認識または胴体認識を行ってもよい。さらに他のセンサは、リモートコントロール１２の外カバーに設置された熱センサである。熱センサを用いてユーザの体温を決定してもよい。通常、体温だけに基づいた識別では不確実である。しかしながら、より細かな分類によってユーザ属性データセットが多くなるようにデータセットの次元数が増える場合、体温データは有益であろう。

ユーザ識別の各方法について開示してきた。全ての方法は、ユーザが、ユーザ名、パスコード、または、その他の固有識別子を記憶し、入力する必要がないので、受動的または半受動的なものである。これらの技術は、むしろ、潜在意識的なタスクを行う際のユーザの自然運動傾向に依存する。その他の実施形態では、ユーザ識別の精度を向上させるために上述した技術を２つ以上組み合わせて用いる。先に述べたように、各技術は、識別情報に関連付けられた信頼スコアを有していてもよい。さらに、最も適合したｎ個の一覧を識別技術ごとに生成してもよい。信頼スコアか、多数のユーザ識別結果に最も適合するｎ個かのどちらかに基づき、より正確なユーザ識別が実現できる。サンプルサイズとして５人のユーザを挙げると、つかみ／保持識別方法では８７．５％の精度という結果になり、加速度計のみに基づいた軌跡識別では７７．５％の精度、ジャイロスコープのみに基づいた軌跡識別では６５％の精度という結果であった。しかしながら、３つの受動的な識別方法を組み合わせると、精度は９０％という結果になる。なお、円描画に基づく識別は９７．５％の認証精度であった。

図１４から分かるように、ｎ個の様々なユーザ識別１９０ａ〜１９０ｎが存在し、それぞれに信頼スコア１９２ａ〜１９２ｎがある。複合識別モジュール１９４は、ロバスト性がより高いユーザ識別にするために、各ユーザ識別を組み合わせることができる。さらに、最も適合するｎ個の一覧を各方法において生成し、一覧の各エントリがそれ自身の信頼スコアを有する。ユーザごとに、各信頼スコアの重み平均は複合識別モジュール１９４によって算出される。複合識別モジュール１９４は、最も高い重み平均を有するユーザに基づきユーザ識別１９６を決定してもよい。様々な識別方法の組み合わせに基づいてユーザを決定するその他の方法も使用してよいことが想定される。

データ処理について全体的に言及してきた。図１５は、センサデータを処理する方法の一例を示している。先に述べたように、様々なセンサが入力データ２００ａ〜２００ｎを提供する。提供されたデータを、例えば、タッチセンサ、慣性センサ、タッチパッド、音響センサなど様々なセンサから受信してもよい。あるいは、多数のタッチセンサや大量の慣性データなど大量のデータを生成する１タイプのセンサからデータを受信してもよい。どちらの場合も、データセットは膨大であろう。このように、まず、入力データ２００ａ〜２００ｎに、特徴抽出２０２を行う。次元数を減らす様々な技術を用いてもよい。例えば、データセットに主成分分析または線形判別分析を行っても構わない。データセットを表すが、低次元である特徴ベクトル２０４を生成し、分割モジュール２０８に伝達する。

分割モジュール２０８は、特徴ベクトル２０４の一部を異なる状態を表すセグメントに分離する。例えば、図８にあげられているリモートコントロールの例では、まず、リモートコントロールはテーブルトップで静止状態にあった。次に、リモートコントロールはつかまれるが、テーブル上またはテーブル近くのままである。そして、リモートコントロールは持ち上げる段階において急加速する。その後、リモートコントロールは保持位置に達する。保持位置では、リモートコントロールに速度および加速度が生じ得ると考えられるが最初の持ち上げの間に観測されたほどの大きさではない。最後に、リモートコントロールは、カウチやテーブルトップなどの安定した面に戻されるであろう。さらに、ユーザがリモートコントロールを落とす可能性、または、リモートコントロールを動かしてコマンドをホスト装置に送信する可能性もある。これらのセグメント全てがユーザ識別の目的に関するわけではないことは明らかである。しかしながら、慣性センサ（およびその他のセンサ全て）はデータを絶え間なく送信しても構わない。このように、データをセグメント化することによって、分析する必要のあるデータをさらに削減することは有益であろう。様々なセグメントモデル２１０とデータとを比較することによって、データをセグメント化する。セグメントモデルは、様々な状態を表す隠れマルコフモデルの形式でもよい。データの塊とセグメントモデル２１０とを比較することによって、適度な確率でデータの状態を決定することができる。そして、様々なセグメント２１２ａ〜２１２ｎのうち少なくとも１つに応じて、特徴ベクトルを分類することができる。さらに、特徴ベクトルのある部分しか関連性がない場合は、セグメント選択モジュール２１４において特徴ベクトルを減らして関連セグメントのみを分類してもよい。しかし、当然のことながら、特徴ベクトルを減らす必要はない。

前述のとおり、セグメント選択モジュール２１４は特徴データの状態を選択し、分類用の関連セグメント２１２ａ〜２１２ｎを選択してもよい。先例を再び参照すると、持ち上げる際および静止の際にリモコンの軌跡だけを選択するようにセグメント選択モジュールを構成してもよい。特徴ベクトル２０４、または、特徴ベクトル２０４の選択されたセグメントを分類器２１６に伝達する。分類器２１６は、クラスタ分析を用いてユーザ識別を決定してもよい。クラスタ分析では、選択されたセグメントをユーザモデル２２０ａ〜２２０ｎを使って分析する。ユーザモデル２２０ａ〜２２０ｎは様々なユーザの属性を表す。また、セグメント選択モジュール２１４は、最も関連したデータで特徴ベクトルを分類するために、選択されたセグメントを分類器２２４に伝達する。例えば、セグメント選択モジュール２１４が、特徴ベクトル２０４は主にリモートコントロールの持ち上げに対応する軌跡データであると決定すると、ユーザモデルにアクセスする際に、分類器は、軌跡データに対応するユーザモデル２２０ａ〜２２０ｎのセグメントの検索のみを行う。なぜなら、ユーザモデルはあらかじめ分類されており、分類器に必要なことはクラスタを決定することのみ、つまり、特徴ベクトルまたは特徴ベクトルの選択されたセグメントがどのユーザモデル２２０ａ〜２２０ｎに属するかを決定するのみだからである。前述したように、分類器２２４は、ｋ平均クラスタリングなどのクラスタリングアルゴリズムを実行して特徴ベクトルが最も属するクラスタを決定してもよい。決定されたクラスタは、ユーザの識別に一致するであろう。このように、ユーザ識別２２２がシステムによってなされてもよい。

開示内容から明らかなように、様々な識別方法は全て、サポートベクトルマシン、ｋ平均クラスタリング、隠れマルコフモデルなど、マッチング、学習または分類方法の少なくとも１つに依存している。このように、ユーザ識別データベース６２にはこのデータベースの様々なデータタイプが実際に存在すると仮定してきた。つかみ／保持データ、軌跡データ、ファーストタッチデータ、弓形軌跡データ、および心拍データなどのデータセットは、教師なしまたは教師あり学習技術を用いて収集してもよい。

様々なデータセットを収集する第１の方法は、トレーニングセッションを実装することによってである。各ユーザは、ホスト装置などのシステムに登録してもよい。登録中のユーザは、リモートコントロールをつかむ、リモートコントロールを持ち上げる、または、リモートコントロールのタッチパッド上に円を描くなどの様々なタスクを繰り返し行っているか確認される。収集されたトレーニングデータを用いて、識別を目的としてユーザの傾向を定義する。システムが動作モードである場合、識別が成功するたびに、識別用に使用された入力データをトレーニングデータに追加してもよい。さらに、ユーザは正しいユーザ識別を検証し、かつ、不正な識別を訂正して、システムのロバスト性を向上することができる。

様々なデータセットを収集する第２の方法は、リモートコントロールを使ううちにユーザを区別するようになる教師なし学習プロセスを実装することによってである。例として、デジタルビデオレコーダ（ＤＶＲ）を所有する家族をとりあげる。お父さんの手は大きく、３本の指を使ってリモートコントロールをつかむ。奥さんの手は小さく、４本の指でリモコンをつかむ。子供の手は小さく、３本の指でリモートコントロールをつかむ。さらに、お父さんはスポーツ関連の番組とリアリティーテレビ番組を録画する。お母さんはホームコメディと警察ドラマを録画する。子供はアニメと動物番組を録画する。初期のうちに、システムは、手の大きさと保持パターンの違いに基づいて３人のユーザを区別する。また、その初期の間に、識別システムも、大きな手で３本指を使ってつかむユーザはスポーツおよびリアリティテレビ番組に関連付けられることを学習する。そして、当該システムは、ユーザの好みまたはプロファイルを推定保持パターンデータに対応付けできる。このように、ユーザは、リモートコントロールをつかむことで、リモコンの最初の持ち上げおよび過去の利用にのみ基づき、そのユーザの好みを容易に設定させてもよい。この方法を用いても、システムのトレーニングにユーザが実際に携わることは決してないが、時間がたつにつれて、ユーザ識別は実現されるであろう。

図１６は、ユーザを識別し、かつ、ユーザ識別データベースをトレーニングするために用いられる方法を示している。なお、図１６には、図１５における構成要素の大部分が存在する。主な違いは、図１６にはジェネリックモデルデータベース２２４が含まれていることである。バックグラウンドモデルデータベースは前もってプログラムされたユーザテンプレートを含むので、ユーザモデルと平行して分析するために当該システムはバックグラウンドモデルを有する。ユーザが初めてシステムを利用する（つまり、リモートコントロールを初めて利用する）場合、ユーザモデル２２０ａ〜２２０ｎは存在しないであろう。学習モジュールは、このことを認識し、かつ、新たなユーザを自動的に登録してもよい。入力データは図１５で示されたように処理されて、全ての関連セグメントおよび対応する属性が新たなユーザモデルに格納される。ユーザが２度目にリモコンを持ち上げた場合、システムは、ユーザ入力データを受信し、次元数を減らし、データの関連セグメントを選択し、そして、ユーザモデルおよびバックグラウンドモデルに対して選択されたセグメントを実行する。ユーザ識別モジュールは、おそらくユーザをそのユーザとして識別するであろう。この識別は、ユーザ識別の信頼性を示す、対応する確率を有するであろう。この確率が所定の閾値を超えなければ、ユーザ識別モジュールは、ユーザが新たなユーザであると見なし、新たなユーザモデルの属性として入力データを用いてそのユーザ用の新たなユーザモデルを作成する。対応する確率、つまり、信頼スコアが閾値を超えた場合には、ユーザ識別モジュールはユーザを識別して、入力特徴をユーザのユーザモデルに付け加える。以上のように、ユーザがリモコンを持ち上げユーザの識別が成功するにつれて、そのユーザに関連付けられたユーザモデルは内容が充実してゆく。このように、典型的なユーザの識別に関連付けられた信頼スコアも増加するであろう。

ここで、図１６をより詳細に説明する。図１５および１６の双方にある構成要素には同じ番号が付されている。図１５と同様に、入力データ２００ａ〜２００ｎを受信して特徴抽出２０２を行う。その結果が特徴ベクトル２０４であり、データのセグメンテーションを決定するモデルとしてセグメントモデル２１０を用いて、分割モジュール２０８がその特徴ベクトルをセグメント化する。その後、特徴ベクトル２０４はセグメントに分解される。セグメント選択モジュール２１４は関連セグメントを選択し、その関連セグメントを分類器２２４に伝送する。この分類器２２４の動作は、図１５の分類器２１６とわずかに異なる。分類器２２４は、ユーザモデル２２０ａ〜２２０ｎに加えてバックグラウンドモデル２２６ａ〜２２６ｎを受信する。そして、分類器はクラスタリングアルゴリズムを用いてユーザ識別を決定する。ユーザ識別はそれに関連付けられた確率を有するであろう。ユーザ識別の確率が閾値を超えた場合には、分類器２２４がユーザ識別を生成する２２２。確率が閾値を超えない場合、または、識別されたユーザがバックグラウンドの変数である場合、分類器はモデル生成モジュール２３０にデータをわたし、そのモデル生成モジュールが関連する属性に基づいて新たなモデルを生成する。この新たなモデル２３２はユーザモデルデータベース２１８に伝送される。

例示のみを目的として、図１７に、第１ユーザは黒点で第２ユーザは円で表された、ユーザ識別データの２つの仮想セット２３０および２３２を示す。トレーニング段階の間にデータセットを収集し、このトレーニングデータに基づいてユーザを後で識別しても構わない。星印２３４はユーザ識別の試みを表している。図に示すように、星印２３４は第１ユーザのデータセット２３０に明らかに当てはまる。このように、システムは、識別の試みが最も近いクラスタに基づいて、識別対象のユーザが第１ユーザであることを高い確率で予測可能である。当然のことながら、認証イベントで用いられる生体的な特徴が多ければ多いほど、識別に用いるデータセットの次元数は増える。高次元のデータセットを識別に用いる場合は、データのクラスタ間においてより多く分離することを実現するであろう。

リモートコントロール１２について言及してきたが、当然のことながら、上述したセンサおよび上述した識別方法は、携帯電話、ポータブル電話、ｍｐ３プレーヤ、ポータブルＤＶＤプレーヤ、ＰＤＡ、およびコンピュータマウスなど様々な携帯型機器に用いられるであろう。例えば、携帯電話またはポータブル電話では、上記の技術のいずれかを用いて、第１ユーザまたは複数のユーザが電話を使用していることをその電話が判断してもよい。これに基づき、電話帳、保存されたテキストメッセージ、保存された電子メール、音量設定、画面設定、壁紙、および写真のような保存されたファイルなどの個別設定をユーザが利用可能になるだろう。同様に、ＭＰ３プレーヤなどの機器では、識別後に、ユーザは第１ユーザの音楽ライブラリへ容易にアクセスできる。ＰＤＡでは、ユーザがＰＤＡをつかんで識別された場合のみ、第１ユーザの個人的なスケジュールおよび連絡先がそのユーザに利用可能になる。

コンピュータマウスまたはラップトップマウスパッドでは、上記に開示してきた方法を用いて、ユーザを識別かつ認証してもよい。そして、ユーザは自身のユーザプロファイルへ自動的にログインされてもよい。さらに、ユーザがコンピュータをそのままにしておいても、他のユーザがマウスまたはマウスパッドに触れるとすぐに、その機器はユーザが変わったと判断できるであろう。この時点で、第２ユーザを、明示的なオーバーライド指示が第１ユーザから与えられるまで、第１ユーザのプロファイルからロックアウトすることが可能である。

当然のことながら、開示された方法および装置によって、今まで個人機器と考えられていた機器に通常伴うプライバシーまたは親近感を危険にさらす必要なしに、これらの機器を共有できるようになるであろう。

本明細書において、モジュールという用語は、特定用途向け集積回路（ＡＳＩＣ）、電子回路、ソフトウェアまたはファームウェアプログラムを１以上実行する（共有、専用、またはグループ）プロセッサおよび／または（共有、専用、またはグループ）メモリ、組み合わせ論理回路、および／または、説明した機能性を提供するその他の適切なコンポーネントを部分的に指してもまたは含んでも構わない。ソフトウェアまたはファームウェアプログラムについて説明する際は、モジュールという用語は、電子メモリ上に常駐しているマシン読み取り可能な命令を指していてもよいと理解されるべきである。

前述の実施形態に関する記述は、図示および説明を目的としてなされている。包括的または本発明を限定する意図はない。特定の実施形態における各要素または特徴は、その特定の実施形態に全体として限定されるものではないが、適切な場合には、たとえ特に図示または説明していなくとも、互いに交換可能であり、かつ、選択した実施形態において利用可能である。同様に、いろいろ変化しても構わない。このような変形例は本発明から逸脱したものとは見なされず、全てのこのような改良は本発明の範囲内であると意図される。本明細書に記述した方法ステップ、プロセスおよび動作は、実行順序として特に明記されていない場合、論述または図示した特定の順序で必ず実行しなければならないと解釈されるものではない。また、追加または代わりのステップを用いてもよいと理解されるべきである。

Claims (46)

1. 携帯型電子機器であって、
   筐体と、
   前記筐体の周縁に沿って配置され、ユーザの手と前記機器との複数の同時接触点に反応して、前記ユーザの手と前記機器との複数の接触点を示す観測信号を生成するタッチセンサシステムと、
   前記タッチセンサシステムから前記観測信号を受信して、ユーザの保持パターンを決定するタッチセンサ処理モジュールと、
   前記筐体に組み込まれ、前記ユーザの手による前記機器の動きに反応して、慣性信号を生成する慣性センサと、
   前記慣性センサから前記慣性信号を受信して、前記機器の動きに対する軌跡を決定する軌跡モジュールと、
   前記筐体の外面に沿って設置され、前記タッチパッドの外面に沿った前記ユーザの指の動きに反応して、タッチパッド信号を生成するタッチパッドと、
   前記タッチパッド信号を受信して、ユーザ指動きデータを決定するタッチパッド処理モジュールと、
   複数の既知のユーザの保持パターンと前記複数の既知のユーザの機器の動きに対する軌跡と前記複数の既知のユーザのユーザ指動きデータとを含む属性であって、ユーザの識別に用いられる前記複数の既知のユーザの属性に対応するデータを格納するユーザ識別データベースと、
   前記ユーザの識別情報を受信して、前記ユーザの保持パターンと前記機器の動きに対する前記ユーザの軌跡と前記ユーザの指動きデータとを含む前記識別情報および前記複数の既知のユーザの属性に基づき前記ユーザを識別するユーザ識別モジュールとを備える
   携帯型電子機器。
2. 前記タッチセンサシステムは、さらに、前記筐体の外面に沿って、一体化され、かつ、互いに空間的に分離された容量センサの配列として定義される
   請求項１記載の携帯型機器。
3. 前記慣性センサは加速度計である
   請求項１記載の携帯型機器。
4. 前記慣性センサはジャイロスコープである
   請求項１記載の携帯型機器。
5. 前記ユーザ識別モジュールは、機械学習を実装してユーザを識別する
   請求項１記載の携帯型機器。
6. 前記ユーザ識別モジュールは、ｋ平均クラスタリングアルゴリズムを用いてユーザ識別を決定する
   請求項５記載の携帯型機器。
7. 前記ユーザ識別モジュールは、複数の予備ユーザ識別を決定し、前記各予備ユーザ識別は、前記属性のいずれか１つに基づく
   請求項１記載の携帯型機器。
8. 前記予備ユーザ識別は、それぞれ対応する信頼スコアを有し、前記信頼スコアは、予備ユーザ識別が正しい確率を示す
   請求項７記載の携帯型機器。
9. 前記ユーザ識別モジュールは、複数のユーザ識別を決定し、前記各予備ユーザ識別は、ユーザ候補の一覧を有し、前記ユーザ候補の一覧の各エントリは、ユーザ候補が実際のユーザである確率を示す信頼スコアを有する
   請求項１記載の携帯型機器。
10. 前記軌跡モジュールは、前記機器の開始位置を決定し、かつ、前記ユーザ識別モジュールがさらに、前記ユーザ機器の開始位置に基づいてユーザ識別を行う
    請求項１記載の携帯型機器。
11. 携帯型電子機器であって、
    筐体と、
    前記筐体の外面に沿って配置され、ユーザの手と前記機器との複数の同時接触点に反応して、前記ユーザの手と前記機器との前記複数の接触点を示す観測信号を生成するセンサシステムと、
    ユーザの識別に用いられる複数の既知のユーザの属性に対応するデータを格納するユーザ識別データベースと、
    前記センサシステムから前記観測信号を受信して、前記観測信号および前記複数のユーザの属性から前記ユーザを識別するユーザ識別モジュールとを備える
    携帯型電子機器。
12. 前記センサシステムはさらに、前記筐体の外面に沿って、一体化され、かつ、互いに空間的に分離されたセンサの配列として定義される
    請求項１１記載の携帯型機器。
13. 前記センサシステムは、前記筐体の外面に組み込まれた容量センサの配列から成る
    請求項１１記載の携帯型機器。
14. 前記ユーザ識別モジュールは、生データの形式で前記観測信号を受信して、前記生データからユーザの手の予測サイズを抽出する
    請求項１１記載の携帯型機器。
15. 前記ユーザ識別モジュールは、生データの形式で前記観測信号を受信して、前記生データからユーザの予測保持パターンを推定する
    請求項１１記載の携帯型機器。
16. 前記観測信号は、前記ユーザの手と前記機器との各接触点における圧力量を含む
    請求項１５記載の携帯型機器。
17. 前記センサシステムはさらに、前記筐体の外面に組み入れられた音響センサとして定義される
    請求項１１記載の携帯型機器。
18. 前記観測信号は、前記ユーザの血流ノイズを示す
    請求項１７記載の携帯型機器。
19. 前記観測信号は、前記ユーザの心拍音を示す
    請求項１７記載の携帯型機器。
20. 前記観測信号は、前記ユーザの心拍音の周波数および振幅を示す請求項１９記載の携帯型機器。
21. 前記センサシステムは、前記ユーザの両手と前記機器との接触点に反応して、前記ユーザの手それぞれと前記機器との複数の接触点を示す観測信号を生成する
    請求項１１記載の携帯型機器。
22. さらに、
    前記筐体に組み込まれ、前記ユーザの手による前記機器の動きに反応して、慣性信号を生成する慣性センサと、
    前記慣性センサから前記慣性信号を受信して、前記機器の動きに対する軌跡を決定する軌跡モジュールとを備え、前記ユーザ識別モジュールが、前記軌跡モジュールから前記軌跡を受信して、前記軌跡の一部に基づいてユーザを識別する
    請求項１１記載の携帯型機器。
23. 前記慣性センサは加速度計である
    請求項２２記載の携帯型機器。
24. 前記慣性センサはジャイロスコープである
    請求項２２記載の携帯型機器。
25. 前記軌跡モジュールは、前記ユーザ機器の開始位置を決定し、かつ、前記ユーザ識別モジュールの前記開始位置を伝達する
    請求項２２記載の携帯型機器。
26. 前記ユーザ識別モジュールはさらに、前記ユーザ機器の前記開始位置に基づいてユーザ識別を行う
    請求項２５記載の携帯型機器。
27. さらに、
    前記筐体の外面に沿って設置され、タッチパッドの外面に沿った前記ユーザの指の動きに反応して、タッチパッド信号を生成するタッチパッドと、
    前記タッチパッド信号を受信して、ユーザ指動きデータを決定するタッチパッド処理モジュールとを備え、前記ユーザ識別モジュールは、前記タッチパッド処理モジュールから前記指動きデータを受信して、前記指動きデータの一部に基づいてユーザを識別する
    請求項１１記載の携帯型機器。
28. 前記ユーザ識別モジュールは、前記指動きデータを受信して、前記タッチパッド上の所定の対象物をユーザがトレースすることの一部に基づいて前記ユーザを識別する
    請求項２７記載の携帯型機器。
29. 前記ユーザ識別モジュールは、前記ユーザの指のいずれか１本と前記タッチパッドとの第１接触点に対応する指動きデータを受信し、第１接触点に対応する前記指動きデータを使用して前記ユーザを識別する
    請求項２５記載の携帯型機器。
30. 前記センサシステムは、電流を有する電気信号を送信する少なくとも１つの送信部と、ユーザの体を通った前記電気信号を受信する、前記少なくとも１つの送信部に対応する複数の受信部とから成り、前記センサシステムは、前記送信部と複数の受信部それぞれとの間で観測された抵抗を示す観測信号を生成し、前記抵抗は、前記送信部から前記受信部へ観測されるような前記ユーザの体の抵抗を示す
    請求項１１記載の携帯型機器。
31. さらに、前記送信部と前記複数の受信部それぞれとの間で前記観測信号に行われた転送機能の結果を示す第２観測信号を備える
    請求項３０記載の携帯型機器。
32. 前記センサシステムはさらに、パルス酸素濃度計として定義される
    請求項１１記載の携帯型機器。
33. 携帯型電子機器であって、
    筐体と、
    前記指の動きに対応するタッチパッド信号を生成する、ユーザの指の動きに反応するタッチパッドと、
    前記タッチパッド信号を受信して、前記タッチパッド信号に基づいて指動きデータを生成するタッチパッド処理モジュールと、
    所定の対象物を描くユーザの指の動きを含む複数の既知のユーザの身体的属性に対応するユーザ識別データを格納するユーザ識別データベースと、
    ユーザの描く所定の形である前記ユーザの指動きデータを受信して、前記指動きデータおよび前記ユーザ識別データに基づき前記ユーザを識別するユーザ識別モジュールとを備える携帯型電子機器。
34. 前記所定の対象物は円である
    請求項３３記載の携帯型電子機器。
35. 前記タッチパッド処理モジュールは、前記円を描いた結果として生じる弓形の指の運動を少なくとも３つ識別する
    請求項３４記載の携帯型電子機器。
36. 前記弓形の指の運動それぞれは、前記指の運動の長さと前記指の運動の期間と前記指の運動の方向とを示す、前記弓形の指の運動に関連付けられたベクトルを有する
    請求項３５記載の携帯型電子機器。
37. 前記所定の対象物は、星、四角、三角、線および円弧のいずれか１つである
    請求項３３記載の携帯型機器。
38. さらに、線形引伸しを前記指動きデータに行う線形引伸しモジュールを備える
    請求項３３記載の携帯型機器。
39. さらに、前記線形引伸しされた指動きデータに次元縮小を行う次元縮小モジュールを備える
    請求項３８記載の携帯型機器。
40. 前記識別モジュールは、前記ユーザ識別データベースに格納された前記指動きデータおよび前記身体的属性を用いてクラスタリングアルゴリズムを実行する
    請求項３３記載の携帯型機器。
41. ユーザ識別はさらに、前記指運動データに対応するタイミングに基づいており、前記タイミングは前記指運動データの時空間特性を定義する
    請求項３３記載の携帯型機器。
42. 前記携帯型機器は、リモートコントロール、携帯電話、ラップトップ型コンピュータ、ｍｐ３プレーヤ、ＰＤＡおよびポータブル電話のいずれかである
    請求項３３記載の携帯型機器。
43. 前記識別モジュールは、前記ユーザに前記所定の対象物を描くよう促すユーザプロンプトを生成する
    請求項３３記載の携帯型機器。
44. 携帯型機器であって、
    筐体と、
    ユーザの機器操作に付随して起こるセンサ入力を受信し、かつ、当該複数のセンサへの前記入力に基づいてユーザ識別データを生成する複数のセンサと、
    既知のユーザに対応し、かつ、渡された既知のユーザのセンサ入力に基づきモデル識別データをそれぞれが有する複数のユーザモデルを格納するユーザ識別データベースと、
    センサ入力を模倣する所定のバックグラウンド識別データをそれぞれが有する複数のバックグラウンドモデルを格納するバックグラウンドモデルデータベースと、
    前記ユーザ識別データと前記複数のユーザモデルと前記複数のバックグラウンド変数とを用いてクラスタリングを行うユーザ識別モジュールと、
    生成されたユーザモデルのモデル識別データが、前記ユーザ識別データから導出される、ユーザモデルを生成するユーザモデル生成モジュールと、
    前記複数のユーザモデルのいずれか１つで前記ユーザ識別データをクラスタ化する場合に、ユーザを識別するユーザ識別モジュールと、
    前記複数のユーザモデルのいずれか１つで前記ユーザ識別データをクラスタ化しない場合に、前記複数のユーザモデルのうち生成されたユーザモデルを前記ユーザ識別データベースに格納する手段とを備える
    携帯型機器。
45. さらに、前記ユーザ識別データを受信して、前記機器と前記ユーザの機器操作との関係を表す機器状態であって、起こり得る異なる機器状態をそれぞれが示す複数の分類モデルに基づき少なくとも１つの機器状態を分類する分割モジュールを備える
    請求項４４記載の携帯型機器。
46. 前記複数のセンサは、絶え間なくセンサ入力の受信を試み、かつ、前記ユーザ識別モジュールは、前記ユーザ識別データに基づき絶え間なくユーザ識別を試みる
    請求項４４記載の携帯型機器。

Images