JP2017525074A - 所望のターゲットを判定するための装置及び方法 - Google Patents

Abstract

本発明の実施形態は、オブジェクトの所望のターゲットをユーザインターフェースと関連して判定するヒューマン−マシンインタラクションの方法を提供し、複数の時刻での前記オブジェクトの三次元位置を判定することと、前記ユーザインターフェースの複数の項目の各々と関連付けられるメトリックを判定することであって、前記メトリックは前記オブジェクトの前記所望のターゲットである前記各々の項目を示し、前記メトリックはモデル、及び前記複数の時刻での三次元の前記オブジェクトの位置に基づいて判定される、判定することと、ベイズ推論過程を使用して、前記所望のターゲットを前記ユーザインターフェースの前記複数の項目から、前記複数の項目の各々と関連付けられる前記メトリックに基づいて判定することとを備える。

Description

本開示は、オブジェクトの所望のターゲットを判定するための装置及び方法に関する。

ユーザがヒューマンマシンインタラクション（ＨＭＩ）と呼ばれる機器とのやり取りを、ポインティングによる選択行動（以下、ポインティングジェスチャーという）を介して行うことが、一般的になっている。例えば、ユーザは、接触感知型の表示デバイス上に表示され得るグラフィカルユーザインターフェース（ＧＵＩ）など、ボタン又は他の制御キー又は対話型ディスプレイを指し示すことができる。しかしながら、特にそのようなジェスチャーがユーザ入力において一定しない予測不能な摂動を導き得る移動中の車両において使用され、結果として誤った選択が引き起こされる際、特にユーザが車両のドライバである場合、システムの有用性が犠牲になり望ましくない量のユーザの注意を停滞させるかもしれない。

従来技術の１つ以上の問題を少なくとも軽減することが、本発明の実施形態の１つの目的である。ポインティングジェスチャーの持続時間を削減することが、本発明の実施形態の１つの目的である。ポインティングジェスチャーの正確度を向上させることが、本発明の実施形態の１つの目的である。

本発明の１つの態様によれば、添付の請求項に記載されている方法及び装置が提供される。

本発明の１つの態様によれば、ユーザインターフェースと関連するオブジェクトの所望のターゲットを判定するヒューマン−マシンインタラクションの方法が提供され、以下を備える：オブジェクトの三次元位置を複数の時間間隔で判定すること；ユーザインターフェースの複数の項目の各々と関連付けられるメトリックを判定することであって、メトリックはオブジェクトの所望のターゲットである各々の項目を示し、メトリックはモデル及び複数の時間間隔でのオブジェクトの三次元の位置に基づいて判定される、判定すること；及び、ベイズ推論過程を使用して、所望のターゲットをユーザインターフェースの複数の項目から、複数の項目の各々と関連付けられるメトリックに基づいて判定すること。

ユーザインターフェースと関連するオブジェクトの所望のターゲットを判定するヒューマン−マシンインターフェース（ＨＭＩ）システムであり、オブジェクトの三次元位置を判定する位置判定手段と、三次元のオブジェクトの位置を示すデータを複数の時刻に保存する記憶手段と、オブジェクトの所望のターゲットである各々の項目であるユーザインターフェースの複数の項目の各々と関連付けられるメトリックを判定し、メトリックはモデル及び複数の時間間隔でのオブジェクトの位置に基づいて判定され、ベイズ推論過程を使用して、所望のターゲットをユーザインターフェースの複数の項目から、複数の項目の各々と関連付けられるメトリックに基づいて判定するように構成される処理手段とを備える。

本発明の１つの態様によれば、オブジェクトの所望のターゲットを判定する方法が提供され、以下を備える：オブジェクトの位置を複数の時間間隔で判定すること；複数のターゲットの各々と関連付けられるメトリックを判定することであって、メトリックはオブジェクトの所望のターゲットである各々のターゲットを示し、メトリックはモデル及び複数の時間間隔でのオブジェクトの位置に基づいて判定される、判定すること；ベイズ推論過程を使用して、所望のターゲットを複数のターゲットから、複数のターゲットの各々と関連付けられるメトリックに基づいて判定すること。

随意により、所望のターゲットは、オブジェクトの位置に基づいて判定される。所望のターゲットは、オブジェクトがターゲットに到達する前に判定されてよい。

方法は、オブジェクトの軌跡を判定することを備えてよい。オブジェクトの軌跡は、複数の時間間隔でのオブジェクトの位置を示すデータを備えてよい。オブジェクトの軌跡を使用することは、所望のターゲットの判定を向上させてよい。

方法は、オブジェクトの軌跡をフィルタリングすることを備えてよい。フィルタリングはオブジェクトの軌跡を平滑化してよく、及び／又は、フィルタリングはオブジェクトの所望されない動作及び／又は雑音を軌跡から削減してよい。有利には、軌跡をフィルタリングすることは、ジャンプ又は衝動など、所望されない動作の影響を削減してよい。

モデルは、ベイズ意図予測モデルであってよい。モデルは線形モデルであってよい。モデルは、１つ以上のフィルタに基づいてよい。随意により、１つ以上のフィルタはカルマンフィルタである。

モデルは非線形モデルであってよい。モデルは、オブジェクトの不規則な動作を含んでもよい。非線形モデルは、１つ以上の統計フィルタに基づいてよい。随意により、粒子フィルタである。

モデルは、履歴データに基づいて学習された分布に基づくモデルであってよく、ガウス分布又は別の分布であってよい。モデルは、最近傍（ＮＮ）モデルであってよい。ＮＮモデルは、メトリックをオブジェクトの位置とターゲットの各々との間の距離に基づいて判定してよい。メトリックは、オブジェクトとターゲットの各々との間の距離を示してよい。

モデルは、方位角（ＢＡ）モデルであってよい。メトリックは、オブジェクトの軌跡とターゲットの各々との間の角度を示してよい。

モデルは、ヘディング立体角（ＨＳＡ）モデルであってよい。メトリックは、オブジェクトとターゲットの各々との間の立体角を示してよい。

モデルは線形先回帰（ＬＤＲ）又は非線形先回帰（ＮＬＤＲ）モデルであってよい。方法は、ターゲットの各々に対するモデルを判定することを備えてよい。メトリックは、オブジェクトの軌跡に最も合致するモデルを示してよい。ＮＬＤＲモデルは、軌跡の非線形摂動を備えてよい。

モデルは、平均回帰拡散（ＭＲＤ）モデルであってよい。ＭＲＤは、オブジェクトの位置を所望のターゲットへ回帰する過程としてモデル化してよい。

モデルは、均衡回帰速度（ＥＲＶ）モデルであってよい。メトリックは、ターゲットへのオブジェクトの移動の速度に基づいてよい。

モデルは、ブリッジングモデルであってよい。ブリッジングモデルは、１つ以上のブリッジに基づいてよい。例えば、ブリッジングモデルは、マルコフブリッジのバンクに基づいてよい。各ブリッジは、追跡オブジェクトの名目上の所望の目的で終了すると判定されてよく、複数のターゲットの空間エリア及び／又は複数の時間間隔の持続時間に基づいてよい。

方法は、オブジェクトの状態を判定することを備えてよい。

方法は、環境情報の１つ以上の項目を受信することを備えてよい。環境情報は、加速度を示す情報、車両の状態を示す情報、及び／又は、車両の周辺を示す画像データのうちの１つ以上を備えてよい。メトリックの判定は、少なくとも部分的に、環境情報の１つ以上の項目に基づいてよい。モデルは、少なくとも部分的に、環境情報の１つ以上の項目に基づいて選択されてよい。

所望のターゲットを判定することは、コスト関数に基づいてよい。コスト関数は、所望のターゲットを不正確に判定することに対するコストを課してよい。所望のターゲットは、コスト関数を削減するように判定されてよい。

所望のターゲットを判定することは、事前情報の１つ以上の項目に基づいてよい。事前情報は、ターゲットの少なくとも一部と関連付けられてよい。事前情報は、事前に選択されたターゲットを示してよい。有利には、事前情報は、所望のターゲットの判定を向上させてよい。

方法は、複数の最も近い時間間隔を選択することを備えてよく、複数のターゲットの各々と関連付けられるメトリックを判定することは、複数の最も近い時間間隔でのオブジェクトの位置に基づいてよい。

オブジェクトは、ポインティングオブジェクトであってよい。オブジェクトの位置は、三次元で判定されてよい。オブジェクトの位置を判定することは、オブジェクトの位置を追跡することを備えてよい。オブジェクトの位置を判定することは、放射物をオブジェクトから受信することを備えてよい。

方法は、所望のターゲットの兆候を出力することを備えてよい。所望のターゲットの兆候は、所望のターゲットを特定することを備えてよい。随意により、所望のターゲットは、視覚的に特定されてよい。有利には、ユーザは判定された所望のターゲットを認識してよい。その後、ユーザは、所望のターゲットの選択をもたらしてよい。

方法は、所望のターゲット及び１つ以上の潜在的なターゲットの兆候を出力することを備えてよい。方法は、所望のターゲットをアクティブにすることを備えてよい。

複数のターゲットは、１つ以上のグラフィカルに表示された項目又は物理的な制御キーを備えてよい。オブジェクトの位置は、三次元で判定されてよい。

本発明の１つの態様によれば、オブジェクトの所望のターゲットを判定するシステムが提供され、以下を備える：オブジェクトの位置を判定する位置判定手段；１つ以上の時刻でのオブジェクトの位置を示すデータを保存する記憶手段；オブジェクトの所望のターゲットである各々のターゲットである複数のターゲットの各々と関連付けられるメトリックを判定するよう構成される処理手段であって、メトリックはモデル及び複数の時間間隔でのオブジェクトの位置に基づいて判定される処理手段；ベイズ推論過程を使用して、所望のターゲットを複数のターゲットから、複数のターゲットの各々と関連付けられるメトリックに基づいて判定することである。

処理手段は、本発明の第１の態様にかかる方法を行うよう構成されてよい。

位置判定手段は、放射物をオブジェクトから受信する手段を備えてよい。位置判定手段は、１つ以上の撮像デバイスを備えてよい。

各時刻でのオブジェクトの位置を示す位置データは、記憶手段に保存されてよい。

システムは、加速度データを出力する１つ以上の加速度計を備えてよい。有利には、加速度データは、例えば、モデルを選択することにより、例えば、判定を向上させるために、判定プロセスにおいて使用されてよい。

システムは、グラフィカルユーザインターフェース（ＧＵＩ）を表示する表示手段を備えてよく、複数のターゲットはＧＵＩ項目である。

システムのモデルは、ブリッジングモデルであってよい。ブリッジングモデルは、１つ以上のブリッジに基づいてよい。例えば、ブリッジングモデルは、マルコフブリッジのバンクに基づいてよい。各ブリッジは、追跡オブジェクトの名目上の所望の目的先で終了すると判定されてよく、複数のターゲットの空間エリア及び／又は複数の時間間隔の持続時間に基づいてよい。

処理手段は、環境データを１つ以上の検知手段から受信するよう構成されてよい。随意により、検知手段は、車両及び／又は撮像デバイスの状態を判定する手段を備えてよい。

本発明の１つの態様によれば、使用中に、本発明の第１の態様にかかる方法を行うよう構成される処理デバイスを備える、又は、本発明の第２の態様にかかるシステムを備える、車両が提供される。

本発明の１つの態様によれば、オブジェクトの所望のターゲットを判定する方法が提供され、以下を備える：複数の時間間隔でのオブジェクトの位置を判定すること；所望のターゲットである当該ターゲットのターゲットと関連付けられる確率を判定すること。

確率は、モデル及び複数の時間間隔でのオブジェクトの位置に基づいて判定されてよい。

本発明の１つの態様によれば、使用中に、オブジェクトの所望のターゲットを判定するよう構成される処理デバイスを備える装置が提供され、処理デバイスは複数の時間間隔でのオブジェクトの位置を判定し、所望のターゲットである当該ターゲットのターゲットと関連付けられる確率を判定するよう構成される。

本明細書において使用される場合、「処理手段」という用語は、単一のプロセッサ、制御ユニット又はコントローラ、及び、複数のプロセッサ、要求される制御機能を提供するよう集合的に動作する制御ユニット又はコントローラの両方を含むと理解される。命令のセットが提供されてよく、実行されると、当該のコントローラ（単数又は複数）又は制御ユニット（単数又は複数）に、本明細書に記載される制御技術（以下に記載される方法（単数又は複数）を含む）を実施させる。命令のセットは、１つ以上の電子プロセッサに埋め込まれてよく、又は、代替的に、命令のセットはソフトウェアとして提供され、１つ以上の電子プロセッサにより実行され得る。例えば、第１のコントローラは、１つ以上の電子プロセッサ上で起動されるソフトウェアに実装されてよく、さらに、１つ以上の他のコントローラも、より多くの電子プロセッサ上で、随意により、第１のコントローラと同じ１つ以上のプロセッサ上で、起動されるソフトウェアに実装されてよい。しかしながら、さらに他の構成も有用であり、したがって、本発明は、任意の特定の構成に制限されるよう意図されないことを、理解されたい。任意の事象において、上述された命令のセットは、機器又は電子プロセッサ／計算デバイスにより読み込み可能な形式で情報を保存するための任意のメカニズムを備えてよいコンピュータ可読保存媒体（例えば、持続性保存媒体）に埋め込まれてよく、制限なしに以下を含む：磁気保存媒体（例えば、フロッピーディスク）；光保存媒体（例えば、ＣＤ−ＲＯＭ）；光磁気保存媒体；読み出し専用メモリ（ＲＯＭ）；ランダムアクセスメモリ（ＲＡＭ）；消去可能なプログラマブルメモリ（例えば、ＥＰＲＯＭ及びＥＥＰＲＯＭ）；フラッシュメモリ；又は、そのような情報／命令を保存するための電子又は他の種類の媒体。さらに、「位置判定手段」という用語は、オブジェクトの位置を判定する１つ以上の位置判定デバイスを意味すると理解されてよく、「記憶手段」という用語は、１つ以上の時刻でのオブジェクトの位置を示すデータを保存する１つ以上の記憶デバイスを意味すると理解されてよいことが、理解されるであろう。

本出願の範囲内で、様々な態様、実施形態、実施例、及び、代替案が、先行する段落において、請求項において、及び／又は、以下の説明及び図において提示されることが、明白に意図され、特に、それらの個々の特性は、独立して取り込まれてよく、又は、任意の組み合わせで取り込まれてよい。すなわち、全ての実施形態及び／又は任意の実施形態の特性は、そのような特性が両立し得ない場合を除いて、任意の手法及び／又は組み合わせで、組み合わされることができる。出願者は、任意の当初に提出された請求項を変更する権利、又は、状況に応じて任意の新しい請求項を提出する権利を保持し、当初はそのように主張されていないが、その他の請求項の任意の特性を従属及び／又は含むように、任意の当初に出願された請求項を補正する権利を含む。

本発明の実施形態が、添付の図と関連して、例示のみの目的でここに記載される。

ポインティングジェスチャー中の指先の軌跡の図を示す。 本発明の１つの実施形態にかかるシステムの図を示す。 ターゲットに対する立体角を図示する。 本発明の１つの実施形態にかかる方法の図を示す。 本発明の様々な実施形態の性能の図を示す。 本発明の様々な実施形態の性能のさらなる図を示す。 本発明の様々な実施形態の性能のさらなる図を示す。 本発明の１つの実施形態にかかる車両を示す。 本発明の１つの実施形態にかかるオブジェクトの摂動の軌跡及びフィルタリングされた軌跡の図である。 本発明の実施形態にかかる様々なモデルに対する目的先の成功予測の平均パーセンテージの図である。 本発明の実施形態にかかる様々なモデルに対する成功予測を伴うジェスチャー部分（時間内）の図である。 本発明の実施形態にかかる平均ログ予測の不確実性の図である。

本発明の実施形態は、オブジェクトの所望のターゲットを判定する方法及び装置に関する。オブジェクトは、スタイラスペン又は指など、ポインティングオブジェクトであってよいが、限定ではないと明確に理解される。本発明の実施形態は、例として、車両内で行われる指先のポインティングジェスチャーと関連して説明される。しかしながら、ポインティングオブジェクトは、例えば、スタイラスペンなどの細長いオブジェクトなど、指以外のオブジェクトであってよいことが、明確に理解される。さらに、本発明の実施形態は、車両内での使用に限定されず、例えば、ポインティングオブジェクトの所望の目的先を、例えば、タブレットコンピュータ又はスマートフォンなどのコンピューティングデバイス上で判定するために使用されてよい。さらに、本発明の実施形態は、ポインティングオブジェクトの所望の目的先を表示デバイス上で判定することと関連して説明される。特に、所望のターゲットである、又は、所望のターゲットであることの尤度を有する、表示デバイス上に表示される１つ又は複数のグラフィカルオブジェクトを判定することと関連する。本発明の実施形態は、表示デバイスの表面上に表示される所望のターゲットに限定されないと、明確に理解される。表示デバイスは、車両の内部表面などの表面上へ画像を投影し、表面上に表示されるグラフィカルオブジェクトであってよい所望のターゲットを検出するデバイスであってよい。例えば、表面は、車両のダッシュボード又は内部部分であってよいが、他の表面が構想されてよいことが、明白に理解される。さらに、所望のターゲットは、例えば、複数の物理的なボタン又は他の制御キーのうちの１つであってよい。画像は、一部の実施形態において、３Ｄヘリオグラフ及び／又は立体画像を備えてよい。

図１を参照すると、車両内で表示デバイス上に表示される複数のグラフィカル項目のうちの１つを選択するための３つの別個のポインティングタスクに対する三次元（３Ｄ）の指先の軌跡が、図示されている。指先の位置は、ｔ_１からｔ_ｋまでの複数の時間間隔ｔ_ｎの各々で判定される。各時間間隔で、指先の位置は三次元で位置ベクトル

として判定される。ベクトルｍ_ｎは、例えば、指の記録されたポインティングオブジェクト位置を表すために使用され、雑音及び／又は摂動を含んでよい。

一部の実施形態において、ｍ_ｎは指先の位置を検出するよう構成されるセンサの起点と関連して判定されてよいが、他の実施形態において、ｍ_ｎは、車両内の位置、例えば、表示デバイスに関する位置など、別の位置と関連して判定されてよい。さらに、一部の実施形態において、ベクトルｍ_ｎは、１つ以上の加速度計、ジャイロスコープなどにより出力されるような、他のセンサデータを備えてよい。言い換えると、ベクトルｍ_ｎは、オブジェクトの地点に対する付加的な情報を表してよい。

図１（ａ）は、静止している車両内の表示デバイス１００上に表示される円１１０（明確にするため、１つにのみ番号が付けられている）として表される異なるグラフィカル項目又はボタンを選択するための３つの別個のポインティングタスクのための指先の軌跡１５０（明確にするため、１つにのみ番号が付けられている）を図示する。理解されることができるように、静止している車両の中でさえ、軌跡は不規則である。図１（ｂ）は、車両が可変速度で平坦でない道を移動しながら、表示された異なるグラフィカル項目を選択するための３つの別個のポインティングタスクのための軌跡１６０（ここでも、１つのみに番号が付けられている）を図示する。理解されることができるように、軌跡は大きな摂動を経験する。他の摂動が、例えば、コンピューティングデバイスを保持してポインティングジェスチャーを試みながら歩いているユーザから、生じるかもしれない。

図２は本発明の１つの実施形態にかかるシステム２００を図示する。システム２００は、ポインティングオブジェクトの所望のターゲットを判定するシステムである。システム２００は、ポインティングオブジェクトの位置を判定する手段２１０、ポインティングオブジェクトの所望のターゲットを判定する処理手段２２０、及び、ポインティングオブジェクトの少なくとも１つの潜在的なターゲットを表示する表示手段２３０を備えるが、上述されたように、他の実施形態において、ポインティングオブジェクトの潜在的なターゲットは、ボタン又は他の制御キーなどの物理的なオブジェクトであってよく、したがって、表示は随意である。処理手段２２０は、ポインティングオブジェクトのターゲットが所望のものであるか、又は、偶発的に対象とされたのか、判定してよい。例えば、グラフィカル項目又はボタンがユーザにより触れられるよう意図されたのか、又は、車両の動作などの原因で偶発的に触れられたのかである。したがって、入力は、処理手段２２０がターゲットを所望されていないと判定する場合、破棄されてよい。処理手段が所望のターゲットを判定することに応答して、一部の実施形態において、表示手段２３０は、判定に応答して作動され、所望のターゲット又は１つ以上の潜在的なターゲットをハイライトするなどにより選択過程を支援してよく、又は、表示手段２３０上に表示される情報の一部を拡大してよい。

一部の実施形態において、システム２００は、１つ以上の加速度計、車両のサスペンションを監視するモニタ、道路状態の分類が可能なように道路に面するよう前方に向けられたような１つ以上のカメラなど、１つ以上の追加的なセンサからのデータを含有又は受信してよい。１つ以上のセンサは、システム２００の動作環境を確立するのに役立ってよい。例えば、加速度計／カメラは、多数の振動が起こっている、又は、起ころうとしていることを確立するために使用されてよい。１つ以上の加速度計により、システムは、説明されるように、適切なモデルを選択することなどにより、一般的な状態に適応できる。

オブジェクトの位置を判定する手段２１０は、位置検知デバイス２１０である。位置検知デバイスは、オブジェクトの位置を、１つ以上のデバイスからの受信された放射物に応答するデータに基づいて判定してよい。放射物は、音波又は電磁放射など、システム２００の一部を形成する１つ以上のデバイスから放出されてよい。位置検知デバイスは、１つの実施形態において、追跡されているオブジェクトと関連付けられる加速度計であってよい。位置検知デバイスは、オブジェクトと関連する画像データを出力する１つ以上の撮像デバイスを備えてよい。１つ以上の撮像デバイスは、オブジェクトに対応する画像データを含む画像データを出力するよう構成される１つ以上のカメラであってよく、オブジェクトの位置がそこから判定されてよい。位置検知デバイスは、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（ＲＴＭ）、又はＬｅａｐ Ｍｏｔｉｏｎ，Ｉｎｃから入手可能なＬｅａｐ Ｍｏｔｉｏｎ（ＲＴＭ）Ｃｏｎｔｒｏｌｌｅｒなど、商業的に入手可能なデバイスであってよい。他のデバイスが使用されてよいことが、明白に理解される。

位置検知デバイス２１０は、オブジェクトの位置が処理手段２２０により判定され得るデータを出力するよう構成されてよく、又は、位置検知デバイス２１０は、オブジェクトの位置を示す位置データを出力してよい。１つの実施形態において、位置検知デバイス２１０は、オブジェクトの位置を示す形式

の時刻ｔ_ｋでの位置データを出力するよう構成される。ｍｍであってよい、ｍ_ｋの値は、所定の基準と関連してオブジェクトの位置を特定してよい。基準は、位置検知デバイス２１０と関連してよく、又は、表示デバイス２３０に関する地点など、別の基準と関連してよい。

位置検知デバイス又は処理手段２２０は、位置検知デバイス２１０が一時的にオブジェクトの追跡を見失った際などに、データの関連付けを行うことによりオブジェクトを抽出又は特定するよう構成されてよい。例えば、いくつかのオブジェクトは、いくつかの潜在的な指を伴うポインティングする手、ハンドル、バックミラーなど、位置検知デバイス２１０の視界内で検出されてよい。ポインティングする指又は他のオブジェクトなどの所望のオブジェクトを抽出及び／又は特定することは、予備ステップとして行われてよい。

表示手段２３０は、グラフィカルユーザインターフェース（ＧＵＩ）の一部を形成してよい１つ以上の選択可能な項目を表示する表示デバイスである。表示デバイスは、ＧＵＩの一部を形成してよい１つ以上の選択可能な項目を備える視覚画像を出力するタッチ感知型スクリーンであってよい。表示デバイス２３０は、ユーザがスクリーンの表面に触れることに応答して、接触位置を示すデータを出力してよく、又は、選択項目を示すデータを出力してよい。別の実施形態において、表示デバイス２３０は、車両の内部表面などの表面上へ画像を投影するよう構成される投影デバイスを備えてよく、画像は表面上に表示される選択可能なオブジェクトを備える。例えば、表面は車両のダッシュボード又は内部部分であってよいが、他の表面が構想されてよいことが、明白に理解される。

処理手段２２０は、１つ以上のプロセッサ及び処理デバイスにアクセス可能なメモリを備える処理デバイスであってよい。メモリは、処理デバイスにより実行されると、本発明の１つの実施形態にかかる方法を行うよう構成されるコンピュータソフトウェアを保存してよい。さらに、メモリは、使用中に、１つ以上の時刻でのオブジェクトの位置を示すデータを保存してよい。

処理手段２２０はオブジェクトの軌跡を判定する軌跡モジュール２２１を備えてよい。軌跡という用語は、複数の時刻でのオブジェクトの位置を意味すると理解されてよいことが、明白に理解される。軌跡モジュール２２１は、オブジェクトの所望のターゲットである１つ以上の潜在的なターゲットの尤度を判定するよう構成される。

特に、軌跡モジュール２２１は、時刻ｔ_ｋでの、所望のターゲットである選択可能な項目Ｂ_ｉの確率を

として判定してよく、ここで、

はｉ番目の選択可能なアイコンＢ_ｉの中心の座標を示し、

は連続する離散時間

でのオブジェクトの利用可能な全ての座標を備える。軌跡モジュール２２１は、一部の実施形態において、

を、例えば、オブジェクトの軌跡を平滑化するために行われた前処理工程の後など、オブジェクトの処理後の位置として、判定してよい。前処理は、雑音、所望されない動作、振動、ジャンプなどのうちの１つ以上を位置データｍ_１：ｋから除去して、ｃ_１：ｋを生成してよい。所望されない動作は、例えば、図１（ｂ）に図示される動作である。以下において、ｍ_１：ｋはｃ_１：ｋに置換されてよいことが、理解されるであろう。

一部の実施形態において、軌跡モジュール２２１は、複数のＮ個の項目

の各々に対する確率を判定してよく、ここで、Βは、

として選択可能なＧＵＩ項目などの項目のセットである。

フィルタリング工程は、オブジェクトの不安定な移動又は所望されない移動を削減するために行われてよい。そのような移動は、例えば、平坦ではない道路、又は、スポーツ仕様などの熱狂的に運転される車両など、道路又は運転状況によると考えられる。さらに、そのような移動は、歩行又は移動するユーザによると考えられる。

フィルタリング工程は、逐次モンテカルロ（ＳＭＣ）など、モンテカルロフィルタリング工程であってよい。フィルタリングは、記載されるように、意図推論過程の前に行われる。時刻ｔ_ｎでのフィルタリング工程の出力は、

により示されるポインティングオブジェクトの真の位置を示し、したがって、所望されない動作又は好ましくない雑音を除去した後である。

軽度の摂動に対して、フィルタリング工程は、オブジェクトの動作の線形状態空間モデルに基づいてよい。モデルは、例えば、線形カルマンフィルタなど線形統計フィルタリング工程に至ってよい。例えば、大きなジャンプ又は衝動など、より不安定な所望されないポインティングオブジェクトの移動は、例えば、逐次モンテカルロ（ＳＭＣ）又はマルコフ連鎖モンテカルロ（ＭＣＭＣ）又はその他の数値的アプローチなどのモンテカルロフィルタリングなど、非線形実装に至ってよいジャンプとしてモデル化されてよい。

所望のターゲットである項目の確率

又は

は、モデル及びオブジェクトの軌跡にしたがって判定される。モデルは、線形又は非線形モデルであってよい。モデルは、一部の実施形態において、摂動によるジャンプ又は衝動などの所望されない動作、すなわち、車両の動作から生じるような動作をモデル化してよい。

モデルは、最近傍（ＮＮ）、方位角（ＢＡ）、ヘディング及び立体角（ＨＳＡ）、平均回帰拡散（ＭＲＤ）さらには均衡回帰速度（ＥＲＶ）などの線形先回帰（ＬＤＲ）、非線形先回帰（ＮＬＤＲ）及びブリッジング分布（ＢＤ）のうちの１つであってよい。以下の情報に加えて、本発明の実施形態にかかるこれらのモデルと関連付けられる、さらなる情報が、添付の草稿において提供される。

意図推論モジュール２２２は、オブジェクトの所望のターゲットを判定するよう構成される。所望のターゲットは、ベイズアプローチを使用して判定される。意図推論モジュール２２２は、所望のターゲットを複数のＮ個のターゲットから、複数のターゲットの各々と関連付けられる尤度

に基づいて判定するよう構成されてよい。これは、最大事後確率（ＭＡＰ）を、以下を用いて算出することと同等であってよい：

これはＮ個の名目上のターゲットのセットに対するものであり、

は予測された目的先であり、

である。これは、ベイズの規則

に従っている。

以下の項は、軌跡モジュール２２１により使用されてよい複数のモデルの考察を提供する。

最近傍（ＮＮ）モデル

ＮＮモデルにおいて、尤度Ｐは、時刻ｔ_ｋでのオブジェクトの現在の地点までの距離に基づいて各項目に割り当てられている。ＮＮへの従来のアプローチと異なり、最近傍モデルの確率の解釈が定式化され、それにより、各々の名目上の目的先の確率が算出される。

このアプローチは、ポインティングする指など、オブジェクトの現在の地点に最も近いインターフェース選択可能アイコンなどの項目を選択する。すなわち、

であり、最小のユークリッド距離

を伴う。確率フレームワークにおいて、これは以下のように表されることができる：

ここで、

は、例えば、ガウス分布など既知の分布であるか、又は、事前に記録されたデータから学習された分布のいずれかである。一方で、分布平均

は、ｉ番目の目的先の位置の関数であり、例えば、

である。最も単純なＮＮモデルは、

により与えられ、ここで、オブジェクトの位置ｃ_ｋは、潜在的な目的先及び固定共分散

と同等の平均を伴う多変量正規分布を有する。後者は設計パラメータである。様々な時刻で記録された指の位置が独立していると推定すると、求められた

は、

へ減少する。そうでない場合、連続的な測定値の間の相関は、各測定値から取得された目的先の確率を組み合わせることを決定づける。

方位角（ＢＡ）モデル

ＢＡモデルは、オブジェクトが所望の目的先へ直接的に移動するという推定に基づいている。ＢＡモデルは、時刻ｔ_ｋでのオブジェクトの現在の地点、及び、ｔ_ｋ−１であってよいオブジェクトの以前の地点を使用してよい。オブジェクト及び項目の地点の間の方位角は、確率を算出するために使用されてよい。

このモデルは、ポインティングする指が所望の目的先へ直接的に向いているという前提に基づいている。すなわち、指の地点とターゲットとの間の累積角度は最小である。２個の連続する測定値ごとに、目的先に対する方位角は、ゼロ平均及び固定分散を伴うランダム変数であると推定されることができ、次式のようになる。

ここで、

は、例えば、ガウス分布など既知の分布であるか、又は、事前に記録されたデータから学習された分布のいずれかである。一方で、

が

に対して成立し、

は設計パラメータである。

と書き表すことができる。

このアルゴリズムは、線形回帰外挿技術の最適な成果を表すと見なされることができ、例えば、所望の目的先ｄ_Ｍへの距離は正確に予測されると推定する。（６）及び（７）にしたがって、ＢＡは、幅が

により設定される、くさび型の信頼区間を形成する。この領域内に収まる任意の選択可能なアイコンが高確率で割り当てられる。

ヘディング及び立体角（ＨＳＡ）モデル

ＨＳＡモデルは、時刻ｔ_ｋでの項目からのオブジェクトの距離及び項目の立体角に基づく。ＨＳＡモデルは、時刻ｔ_ｋでのオブジェクトの現在の地点、及び、ｔ_ｋ−１であってよいオブジェクトの以前の地点を使用してよい。

ＨＳＡモデルにおいて、オブジェクトＢ_ｉは、図３に明示されるように、観察者が近くにいる場合と比較して、観察者がその位置より遠い場合、より小さい立体角を有する。距離ｄ_ｉ，ｋに位置づけられる球体の立体角（ステラジアン）は、

により近似される。ここで、Ａはターゲットオブジェクトのエリアである。任意の形状のターゲットは、いくつかの球体により厳密に近似されることができる。暴露角度であるパラメータα_ｋは、予測の問題と無関係であり、α_ｋ＝０が推定される。移動の方向は、ｔ_ｋで測定される速度ベクトルｖ_ｋにより特定され、２個の連続するポインティング地点に対するＨＳＡ尤度確率は、

を用いて取得されることができる。

ＢＡモデルと同様に、Ｂ_ｉの位置からの方位の発散は、設計パラメータである

により規定される。ポインティングする指が潜在的なターゲットに非常に近い場合、より大きなθ_ｉ，ｋの値が結果Ω_ｉ，ｋにより容認される。ＨＳＡモデルは、組み合わされたＢＡ及びＮＮモデルと見なされることができる。確率

は、（７）と同様に算出されることができる。

例えば、収集されたポインティングの軌跡から学習された分布など、相対モーメントを伴うガウス分布以外の分布が、ＮＮ、ＢＡ、及び、ＨＳＡ予測モデルに適用されることができることが分かる。

線形先回帰（ＬＤＲ）モデル

このアプローチにおいて、ポインティングオブジェクトの動作は、所望の目的先の関数としてモデル化される。適用モデルにより捉えられるポインティング動作の特徴は、時間ｔの状態ｓ_ｔにより示される。特徴は、ポインティングオブジェクトの位置、多次元の速度、多次元の加速度などを含むことができる。基礎的な前提は、ポインティングオブジェクトが所望の目的先へ、モデルにおいて特定されることができるレート（割合）で戻ることである。その後、マルコフプロセスが規定され、ここで、現在のポインティング動作の特徴は１つ以上の以前の動き及び目的先の線形関数である。したがって、セット

におけるＮ個の潜在的な目的先の各々は、モデルと関連付けられる。現在のポインティングタスクにおけるポインティングオブジェクトのポインティングの軌跡の特徴と合致するモデルが、高確率で割り当てられ、逆も成り立つ。以下に、２個の潜在的なＬＤＲモデルを記載する。

平均回帰拡散（ＭＲＤ）

ＭＲＤは、オブジェクトの動作を、例えば、潜在的な目的先など、特定の平均値へ戻る過程としてモデル化する。ポインティング動作の位置の特徴を考慮するだけでよく、したがって、

である。これは、現在のポインティングオブジェクトの位置が、ポインティングオブジェクトをその位置へ持っていくための引力を与える目的先であろうと推定する。連続時間において、ポインティングオブジェクトの動作は、平均回帰期間を伴う多変量のオルンシュタイン＝ウーレンベック過程としてモデル化される。Ｎ個の潜在的な目的先に対して、

により示される。

正方行列Λは過程の進化を導く平均回帰パーセンテージを設定し、ｂ_ｉはｉ番目の潜在的な目的先の位置であり、σは過程の分散を推進する正方行列であり、ｗ_ｔはウィーナー過程である。（１０）の積分及び成果の離散化により、

を得る。ここで、ｓ_ｉ，ｋ及びｓ_{ｉ，ｋ−１}は、それぞれ時刻ｔ_ｋ及びｔ_ｋ−１でのＢ_ｉに対する状態ベクトルである。時間ステップは、

により示され、

は、追加的なガウス雑音である。

均衡回帰速度（ＥＲＶ）

名目上の目的先の各々は、その中心ｂ_ｉからの距離に反比例した強さを伴う重力場を有すると推定される。目的先の位置ｂ_ｉへ向かうオブジェクトの移動の速度は、オブジェクトがｂ_ｉから遠い場合に最も速いと予測され、逆も成り立つ。オブジェクトの動作は、ｉ番目の目的先に対して

としてモデル化される。ここで、

であり、

及び

は、それぞれｘ、ｙ、及びｚ軸に沿った速度である。一方で、

であり、Ｂ_ｉの座標を含み、

はウィーナー過程である。η_ｘ、η_ｙ、及び、η_ｚは、対応する軸に沿う復元力に影響する。ρ_ｘ、ρ_ｙ、及び、ρ_ｚは、速度の遷移を平滑化するための減衰係数を表す。（１２）を積分した後、離散された結果を次式で表すことができる。

例えば、（１１）及び（１３）など、ＬＤＲモデルのガウス分布及び線形性を考慮すると、線形最適再帰型フィルタが、求められた

を判定するために使用されることができ、線形に収集された測定値

と推定し、したがって、ｎ_ｋは多次元の追加的な白色ガウス雑音である。目的先Ｂ_ｉに対して、確率

は、連鎖律にしたがって以下の

が適用されるので、連続的に算出されることができる。これは、時間ｔ_ｋで予測確率

のみがｉ番目の名目上の目的先に対する

を判定するために要求されることを暗示する。追求された

は、線形カルマンフィルタ（ＬＫＦ）から取得されることができ、その本明細書における目的は、オブジェクトを追跡することではなく、予測確率を生成することである。結果として、予測器は、各々が特定の名目上の疑わしい目的先に特化しているＮ個のカルマンフィルタを犠牲にする。

加速度又はジャークなど、さらなる動作特徴を含む、ＭＲＤ及びＥＲＶ以外の線形先回帰モデルが、適用されることができる。それらの実装は、統計フィルタのバンクを用いてＭＲＤ及びＥＲＶと類似している。

非線形先回帰（ＮＬＤＲ）モデル

このアプローチにおいて、オブジェクトの動作は、目的先、ポインティング動作の特徴、及び、外部要因によるポインティングの軌跡における摂動を表すジャンプ又は衝動などの非線形現象を含むと推定される。１つの例は、図１ｂにおけるように、過酷な地形を移動している車両においてポインティングタスクを実行している。摂動過程の例は、ポインティングオブジェクトの計画された軌跡を中断させる要因を表すジャンプ過程ｐ_ｔである。例えば、

であり、ここで、ジャンプ過程は

であり、ｌはジャンプ／衝動の数である。ジャンプの効果により、ポインティングオブジェクトの位置、速度、加速度への時折の大きな衝撃的ショックが許容され、激しい衝動又は突然の動作のモデル化が可能となる。目下の摂動の特徴の特徴を捉える他の非線形モデルが、考慮されてよい。ＮＬＤＲにおける各々の名目上の目的先ｓ_ｉ，ｔに対するモデルの状態は、ポインティングオブジェクトの地点

、ｃ_ｔ（例えば、速度

又は加速度

など）の他の特徴、摂動ｐ_ｔ、ｐ_ｔの他の特徴、及び、目的先Ｂ_ｉを含む。

ＬＤＲモデルと同様に、ポインティングオブジェクトが、モデルにおいて特定されることができる割合で所望の目的先へ戻ることが、基礎的な前提である。その後、マルコフ過程が規定され、ここで、現在のポインティング動作の特徴は、１つ以上の以前の動き、目下の非線形摂動、及び、目的先の線形関数である。したがって、セット

におけるＮ個の潜在的な目的先の各々は、モデルと関連付けられる。現在のポインティングタスクにおけるポインティングオブジェクトのポインティングの軌跡の特徴と合致するモデルが、高確率で割り当てられ、逆も成り立つ。したがって、Ｎ個の統計フィルタのバンクは、求められた

を連続的に取得するよう適用される。逐次モンテカルロ方又は他の数値手法などのアプローチは、非線形摂動が含まれると、状態の発展方程式の非線形性を所与として、追求された

を達成するように利用されることができる。非線形フィルタリングアプローチの計算の複雑性を最小化することは、ジャンプ又は衝動などの摂動がＮ個の統計フィルタのバンクにおいて同一であると推定することにより、達成されることができる。

ブリッジング分布（ＢＤ）モデル

このアプローチにおいて、オブジェクトの動作は、マルコフブリッジなどのブリッジ分布としてモデル化される。一部の実施形態において、オブジェクトの動作は、いくつかのマルコフブリッジのうちの１つとしてモデル化され、各々が、例えば、タッチスクリーン上に表示されるＧＵＩ上の選択可能なアイコンなど、複数の潜在的な目的先のうちの１つを含む。オブジェクトの経路は、無作為であるにも関わらず、所望の目的先で終わらなければならない。すなわち、開始地点から目的先までのブリッジ分布に従う。特定のブリッジから描写される観察された部分的なオブジェクトの軌跡の尤度を判定することにより、各々の潜在的な目的先の確率が評価される。ブリッジングモデルは、線形先回帰（ＬＤＲ）又は非線形先回帰（ＮＬＤＲ）モデルに基づいてよい。

がＮ個の名目上の目的先のセットである場合、例えば、車両内のタッチスクリーン上などのＧＵＩアイコンであるが、他のＧＵＩが予想されてよいことが、明確に理解される。目的は、追跡オブジェクトの所望の目的先Ｂ_１であるこれらの端点の各々の確率を、ｋ個の一連の測定値

を所与として判定することであり、すなわち、全ての名目上の目的先に対して

を算出することである。ここで、時間ｔ_ｋでのｋ番目の観察

は、オブジェクト又はポインティングする指の３Ｄ座標であることができる。これは、真であるが未知の基礎的なオブジェクト地点ｃ_ｋから導出される。時間ｔ_ｋでの速度は、

として記録される。

ポインティングタスクの終点における追跡オブジェクトの位置、すなわち、ポインティングする指先の位置は、所望の目的先Ｂ_１の位置である。Ｔを、監視されるタスクの全持続時間、すなわち、追跡オブジェクトが目的先へ到達するために必要な持続時間とする。時間Ｔにおける追跡オブジェクトの隠れ状態は、

により与えられる。ここで、ｃ_Ｔ及び

は、それぞれＴにおける真の指の地点及び速度である。

において、ｂ_ｉは、例えば、３ＤにおけるＧＵＩアイコンである、ｉ番目の目的先の既知の位置を示し、ｖ_ｉは、目的先に到達する際の追跡オブジェクトの速度である。したがって、所望の目的先であるＢ_ｉの確率は、

である。これは、

であるためであり、Ｔは未知である。事前確率ｐ（Ｂ_ｉ）は、任意のポインティングデータが観察される前に、所望のものであるＢ_ｉにおける様々な端点の確率に関する既存の知識を集約する。それらは、現在の軌跡ｍ_１：ｋから独立している。無益な事前確率は、全ての潜在的な目的先が等しく起こりそうであると推定することにより、すなわち、

で構築されることができる。しかしながら、事前確率が、追跡オブジェクトの移動履歴、ＧＵＩインターフェース設計、又はユーザープロファイルなど、関連する文脈情報に基づいて利用可能である場合、（ＢＤ １）ごとに容易に含むことができる。その後、目的は、Ｎ個の潜在的な目的先の各々に対する積分

を予測することである。

の単純な求積近似は、

により与えられる。ここで、

及びＴ_ｎは求積点であり、理想的には、

における確率質量の大部分を網羅するよう選択される。さらに、より洗練された求積又はモンテカルロ予測が適用され得る。均一に、到達時間の事前確率が推定されることができる。すなわち、

である。そうでない場合、タスク持続時間において学習又は推測された事前確率が、適用されることができる。

線形運動モデルを適用すると、時間ｔ_ｋにおけるユーザの指の状態

は、線形ガウス運動モデル

に従うと推定され、

を伴う。この一般的な形式は、多くの有用な運動モデルを容認する。最も単純なものが（ほぼ）一定速度モデルであり、連続時間確率微分方程式の解

である。ここで、ｄＷ_ｔは時間ｔでの標準ブラウン運動の瞬間変化であり、０_３は３×３のゼロ行列であり、１_３は３×３の単位行列であり、

は３×１のゼロベクトルである。方程式（ＢＤ ３）における対応するＦ_ｋ及びＱ_ｋ行列は、Ｆ_ｋ＝Ｍ（Δ_ｋ）及びＱ_ｋ＝Ｒ（Δ_ｋ）及びＱ_ｋ＝Ｒ（Δ_ｋ）により、与えられる。ここで、時間ステップΔ_ｋ＝ｔ_ｋ−ｔ_ｋ−１（変化することができ、非同期観察を許容する）であり、

であり、運動モデルの状態遷移雑音ノイズレベルを設定するσを伴う。ｘ、ｙ、及びｚ次元の運動は、相互に独立していると見なされる。観察は、追加的なガウス雑音を伴う現在のシステム状態の線形関数であると推定され、これにより、

であり、

を伴う。このフレームワークで利用され得る意図推論に適した他の運動モデルが、留意される。それらは、目的先回帰モデル及び摂動除去モデルの線形部分を含む。

情報を調整せずに、観察ｍ_１：ｋを所与とする方程式（ＢＤ ３）及び（ＢＤ ５）における隠れ状態ｓ_ｋの分布は、標準カルマンフィルタ（ＫＦ）により

ごとに算出されることができ、（カルマンフィルタの「補正」ステップを使用して）

を伴う。

ここで、

及び

は、ｔ−１で推測されたシステム分布から導出され、ＫＦの予測ステップ

により、与えられる。ｋ＝１の場合、これらの数は事前確率により与えられるため、

及び

である。これらは、追跡開始地点の事前知識を表す。

目的先到達時間ｓ_Ｔにおけるシステムの状態を調整するために、現在の追跡オブジェクトの状態（及び、到達時間）に対する密度

を評価する必要がある。ほぼ一定速度のモデルなど、連続時間の過程から導出される運動モデルに対して、運動モデルの直接積分（線形時不変ガウス分布の事例において可能である）により可能である。ほぼ一定速度のモデルでは、これは、

により与えられる。ここで、方程式（ＢＤ ４）からＭ_ｋ＝Ｍ（Ｔ−ｔ_ｋ）及びＲ_ｋ＝Ｒ（Ｔ−ｔ_ｋ）であり、Ｔ−ｔ_ｋは、Ｔ番目及びｔ_ｋ番目の観察の間の時間ステップである。代替的に、前方再帰又は後方再帰がＦ_２：Ｔ及びＱ_２：Ｔに関して形成されることができ、離散モデルで連続時間の解釈なしに使用されることができる。

続いて、ｋ−１個の観測を所与とするｓ_ｋの条件付き予測分布及び所望の目的先（ｓ_Ｔを特定する）は、次式に減少するよう示されることができる。

これは、標準カルマンフィルタの「補正」ステップとの類推により確認されることができる。

最も新しい観察を考慮することにより、補正ステージ（ｍ_ｋを考慮する）は、

となるように示されることができる。ここで、

である。

さらに、これは、

を示すカルマンフィルタの「補正」ステップとの類推により確認されることができる。

標準ＫＦと共に、上述した予測及び補正ステップは、各観察の時間に算出される指の地点の条件付き分布を、目的先及び到達時間を条件として許容する。依然、

を算出することが残っており、

が示されることができる。

これは、ＫＦにおける予測誤差分解と同等である。尤度算出はフィルタリングの目的であり、方程式（ＢＤ １３）における補正ステップは要求されないことに留意されたい。

方程式（ＢＤ １４）における尤度を使用して、各々の名目上の目的先の確率は、方程式（ＢＤ １）及び（ＢＤ ２）を用いて、新しい観察が到達すると評価されることができる。方程式（ＢＤ １）の積分は、線形モデルが追跡オブジェクトの運動又は動態を方程式（ＢＤ １）から（ＢＤ １５）ごとに類型化するために使用される場合、２段階のカルマンフィルタを使用して算出されることができる。これは、ＭＲＤ及びＥＲＶなどの目的先回帰モデルをブリッジング分布ベースの予測器フレームワーク内で利用することを含む。非線形先回帰モデルなどの非線形運動モデルに対して、逐次モンテカルロ又はマルコフ連鎖モンテカルロ手法など、修正された高度な標準的推論方法が、採用されることができる。したがって、追跡オブジェクトの動態を類型化する様々なモデルが、ブリッジング分布ベースの予測フレームワーク内で使用されることができ、したがって、本来の目的先回帰方法と比較して、より一般的なアプローチであると見なされることができる。

ＢＤアプローチはポインティングタスクの全持続時間に関する事前知識を、すなわち、固定値ではなく持続時間の分布を、いくつか要求する一方で、以下に示されるように、目的先回帰モデル単体を使用する場合と比較して、優れた予測結果をもたらす。要求される事前知識は、すなわち、

は、システムユーザにより行われる訓練フェーズの間に、又は、事前に観察された軌跡から、取得されることができる。

さらに、ブリッジング分布を使用する予測器は、所望の目的先を空間領域として規定することを許容する。このアプローチは、目的先が明白なサイズ／空間エリアを有することができる場合、目的先のサイズを考慮してシナリオの要求を満たす。これは、各々の目的先を平均及び共分散を伴うランダム変数として定義することにより達成される。目的先の中心の位置は、分布平均（又は、平均の関数）であることができ、分散は目的先の空間エリアを捉える（又は、空間エリアは共分散の関数である）。これは、ＭＲＤ及びＥＲＶなどの本来の目的先回帰ベースの手法と比較して、より実用的な定式化であり、ここで、各々の目的先は単一の位置／地点であると見なされる。

図１２と関連して以下に記載されるように、ブリッジングモデルは、かなり以前から、車両内でのポインティングジェスチャーなど、オブジェクトの所望の目的先を予測することができる。この事例において、ポインティングジェスチャーの時間又は持続時間は減少し得る。

ＬＤＲ又はＮＬＤＲ又はＢＤに対する観察モデルが線形でない場合、又は、目下の雑音がガウス分布でない場合、例えば、

であり、ここで、

は、非線形関数である。逐次モンテカルロ方又は他の数値手法など、代替的な統計フィルタリングアプローチが、追求された

を実現するために利用されてよい。

処理手段２２０が、目的先である各ターゲットの確率を生成する一方で、基本的な非摂動のポインティングオブジェクトの軌跡又はＳ_ｋにより表される特徴を、リアルタイムで逐次的に取得することが望ましい場合があり、したがって、所望されない動作又は目下の摂動を除去した後となる。これは、意図予測のために使用されるＮ個の統計フィルタの結果を組み合わせることにより達成されることができるか、又は、平滑化工程を

の算出に先行する前処理段階として行うかのいずれかである。前者においては、時刻ｔ_ｋでの状態ｓ_ｋの事後分布を算出することと同等である。ｓ_ｋはポインティングオブジェクトの位置ｃ_ｋを含む。分布は、

により与えられる。ここで、

であり、

は統計フィルタの逐次的な状態更新により生成され、

は判定された定数である。

における総計は、それぞれが結果として得られる分散の平均及びモードである最小平均平方誤差又は最大帰納予測ｓ_ｋを伴う混合ガウスモデルをもたらす。

を算出して所望の目的先（単数又は複数）を確立する前に摂動を除去することは、ポインティング過程を、意図したポインティングオブジェクトの動作に所望されない摂動又は雑音を加えた総和としてモデル化することを伴う。この事例において、ポインティングオブジェクト追跡器モジュール２１０を使用して観察されたポインティングオブジェクトの位置は、

としてモデル化されることができる。ここで、所望されない摂動関連の動作及び特徴がｐ_ｋにおいて捉えられ、測定雑音はε_ｋにより示される。様々な摂動モデルが、ジャンプ拡散モデルを含んで使用されることができる。真のポインティング動作及び／又は特徴は、線形モデルを使用してモデル化されることができ、したがって、

である。ここで、ｓ_ｋはポインティングオブジェクトの位置、速度、加速度などを含む。Ｆ_ｋは状態遷移行列であり、ｖ_ｋは目下の雑音である。ほぼ一定の速度又は加速度モデルが、この事例においてポインティング動作をモデル化するために使用されることができ、これは目的先から独立している。統計フィルタリングアプローチは、所望されない摂動関連の動作を除去又は抑制することにより、ｓ_ｋをｍ_ｋから抽出するために適用されることができる。そのような手法は、線形状態及び摂動モデルの事例においてカルマンフィルタリングを含む。カルマンフィルタリング、逐次モンテカルロ方、又は、他の数値手法の様々な適用バージョンが、非線形状態又は観察モデルのために利用されることができる。

図９は、例えば、内部でオブジェクトが移動している車両の動作に起因する摂動を示すオブジェクトの軌跡９１０を図示する。さらに、オブジェクトのフィルタリングされた軌跡９２０が示されており、所望のターゲットへ向かう、より直接的な進路を示す。

位置検知デバイス２１０により出力されるデータから判定される加速度、及び、慣性測定ユニット（ＩＭＵ）又は加速度計により測定される加速度の間に、弱い相関のみが存在していることが、当該の発明者により観察された。したがって、位置測定において雑音を補正するためにＩＭＵデータを使用することが効果的でないかもしれない一方で、適用される前処理及び／又はモデルを修正するためにＩＭＵデータが使用されてよい。

処理手段２２０は、時刻ｔ_ｋでのオブジェクトの所望のターゲット

を判定するための意図推論モジュール２２２を備えてよい。

所望の目的先、又は、いくつかの潜在的な目的先、又は、時刻ｔ_ｋでの潜在的な目的先のエリアを判定することは、算出された確率

に依存する。決定は、０から１の範囲にあるコスト関数

に基づいてよい。これは不正確な決定という不利益をもたらし、ここで、Ｂ_ｉは予測された目的先であり、Ｂ^＊は考慮されるポインティングタスクにおける真の所望のターゲットである。例えば、誤った目的先を予測することは、１の最大コストを課してよい。したがって、目的は、部分的に観察されるポインティングの軌跡ｍ_１：ｋを所与として、所与のポインティングタスクにおけるコスト関数の平均を、

にしたがって最小化することである。ここで、

は平均である。

が、

及び

である場合に成り立ち、そうでない場合、セット

の中から１つのターゲットを選択することを導く、ハード決定基準を想定する。この事例においては、ＭＡＰ先予測を判定することと同等である。所望のレベルの予測の確実性を反映する他のコスト関数の定式化が使用されてよく、その後、選択可能なターゲットの群が、ＭＡＰの事例の代わりに選択されてよい。

ベイズアプローチは、その後に分類器が続く信頼ベースの推論に依存する。目的は、利用可能なポイティングの軌跡を利用して目的先を判定することであるので、不変の事前分布が、一部の実施形態において、全ての項目に、例えば、

において想定されてよい。この事例において、分類の問題は最大尤度予測に対応し、解は単に

を確立することに依存する。しかしながら、他の実施形態において、不変でない事前分布が項目に使用されてよい。例えば、ＧＵＩからの以前の選択を考慮する情報が事前分布として使用されてよく、それにより、所望の目的先の尤度はユーザ選択の履歴に影響を受ける。事前分布は、代替的又は追加的に、他の情報に基づいてよいことが、明確に理解される。

一部の実施形態において、最後のＬ個の記録された真のオブジェクト地点、すなわち、

及び、ｋ−Ｌ＞０が、

を判定するために使用されてよい。これらの実施形態において、スライディング時間ウィンドウが軌跡データに適用され、ウィンドウの幅が適切に選択されてよい。

図４は、本発明の１つの実施形態にかかる方法４００を図示する。方法４００は、図２と関連して記載されるシステム２００により行われてよい。

ステップ４１０において、ある時刻でのオブジェクトの位置が判定される。オブジェクトの位置は、光又は音など、オブジェクトから反射される放射物を受信する位置検知デバイス２１０により判定されてよく、受信された放射物から、時刻ｔ_ｋでの位置データを、オブジェクトの位置を示す

として判定する。位置データは、オブジェクトの軌跡を示すデータを経時的に形成するためにメモリに保存されてよい。

ステップ４２０において、オブジェクトの所望のターゲットである１つ以上の項目の尤度が判定される。尤度Ｐは、上記で説明されたように、

として判定されてよい。ステップ４２０は、先に説明されたように、軌跡モジュール２２１により行われてよい。一部の実施形態において、所望の目的先である複数の項目の各々の尤度が

として、ステップ４２０において判定される。所望の目的先である１つ又は複数の項目の尤度は、モデル及びステップ４１０において判定されるオブジェクトの位置に基づいて判定される。

ステップ４３０において、所望のターゲットが判定される。所望のターゲットは、複数の項目の各々の尤度から

として判定されてよい。ステップ４３０は、上述されたように、意図推論モジュール２２２により行われてよい。ステップ４３０は、最大事後確率（ＭＡＰ）を判定することを備えてよい。

一部の実施形態において、方法４００はステップ４４０を含み、その中で出力がステップ４３０の結果に基づいて判定される。出力は、所望のターゲットの選択又は工程を備えてよい。すなわち、所望のターゲットがＧＵＩ上のユーザ選択可能な項目である場合、項目は、項目を選択するためにユーザが表示デバイスに触れたかのように、選択されてよい。代替的に、所望のターゲットがボタン又は制御キーである場合、ボタン又は制御キーがアクティブになってよい。

出力は、表示デバイス２３０を用いて提供されてよい。出力は、ステップ４３０において、所望のターゲットの目的先に応答して表示デバイス上に表示されるＧＵＩの修正であってよい。出力は、所望のターゲットと関連付けられる尤度が所定の確率Ｐに到達する際にのみ起こってよく、それにより、尤度が比較的に低い際に選択される項目を回避する。一部の実施形態において、ステップ４４０の出力は、ＧＵＩの外観に対する修正を備えてよい。例えば、所望のターゲットは、ＧＵＩ上でハイライトされてよい。所望のターゲットは、所望のターゲットと関連付けられる尤度が所定の確率Ｐに到達すると、ハイライトされてよい。所定の確率は、所望のターゲットの選択に対する確率より低くてよく、それにより、第１の低い確率で所望のターゲットは視覚的に示され、第２の高い確率で所望のターゲットは自動的に選択される。別の実施形態において、所望のターゲットの群は、所望のターゲットであることの関連尤度が少なくとも所望の確率Ｐである際、ＧＵＩにおいて視覚的に示されてよい。

ステップ４５０において、方法が完了したか判定される。方法が完了していない場合、方法はステップ４１０に戻る。しかしながら、方法が完了している場合、方法は終了する。方法４００は、１つ以上の項目と関連付けられる尤度が所定の閾値確率に到達すると、完了してよい。例えば、方法４００は、尤度が、所望のターゲットが自動的に選択されるステップ４４０と関連して記述された第２の確率に到達すると、終了してよい。

図５は、完了したポインティング動作の百分率、すなわち、１００×ｔ_ｋ／ｔ_Ｍ、及び、平均化された全ての考慮されるポインティングタスクに対して、ＧＵＩ上の所望の項目を予測する実験の結果を図示する（ｔ_Ｍは、全体のポインティングタスク完了の時間である）。ＮＮ、ＢＡ、ＭＲＤ、及び、ＥＲＶモデルを使用した結果が、図示される。図５は、ポインティングの軌跡の持続時間の１５％が完了した後に開始され、それ以前は、どの手法も意味のある結果を生成しない。平均的な予測の不確実性のレベルを表すために、図６は、

により与えられる不確実性メトリックの平均を表示する。ここで、

は、時刻ｔ_ｋでの予測モデルによる真の所望の項目の算出された確率である。真のターゲットが高い確実性で予測される場合、すなわち、

である場合、予測の信用性は、

のように非常に高くなる。目的先を推論する際の予測器の成功のレベルは、必ずしも高い予測正確性を暗示するものではなく、その逆も成り立つことに、留意されたい。あらゆるシミュレーションにおいて、予測器が決定の際に完了した軌跡の比率を知っていると推定しない。提案されたベイズアプローチが、特にポインティングの動作の持続時間の重要な最初の１５％から７５％において、所望のターゲットの最も早い成功予測を提供することが、図５から分かる。この成功は、最も近くで調査された比較器の２倍又は３倍であることができる。ＭＲＤ及びＥＲＶモデルの両方が類似の行動を示し、ＭＲＤの予測品質が７０％から８０％の範囲に限界的又は一時的に低下する。これは、単一の実験における失敗予測によることができる。これらのモデルの両方は、他の手法と比較して、大幅な性能の向上を提供する。ＮＮ方法は、ポインティングタスクの最終地点のみで予測が成功する傾向にあり、これはユーザの指がこのステージでは所望の項目に本質的に近く、すなわち、選択行動の少し前だからである。実際には、例えば、ポインティングタスクの持続時間の最初の７５％における早い予測は、ユーザの動作／認知努力を最小化するのに、より効果的であり、早いポインティングを容易にする手法が可能となり、ユーザ経験全体を高める。ポインティングジェスチャーの持続時間の最後の２５％において成功した意図推論の利得は、ユーザが既に選択タスクを実行するのに必要な努力をささげているため、疑問の余地がある。提案された予測器は、ポインティングタスクの持続時間の大半（又は、ＥＲＶの事例においては全て）に対して、ＮＮより著しく優れている。予測の不確実性に関して、図６は、導入されたベイズ予測が、他の技術と比較して大幅に高い信用レベルで正しい分類決定を行うことができることを示す。ＮＮモデルに関するこの利点は、ポインティングする指がポインティングジェスチャーの期間の最後の部分における推論に、例えば、ポインティングの動作の７５％が完了した後の推論に近づくにつれて、必然的に減少する。

図７は、ＮＮ、ＢＡ、ＨＳＡ、及び、ＭＲＤモデルに基づく予測を図示する図５と類似のプロットを提供する。ここでも、ＭＲＤモデルは、特にポインティングジェスチャーの重要な最初の８５％において、所望の目的先の最も早い成功予測を提供することが、図７から分かる。

様々な種類の道路で運転される機器搭載車において収集された５７個のポインティングトラックに対して提案されたブリッジング分布（ＢＤ）予測器の性能が、評価された。データは、車両内のタッチスクリーン上に表示されるハイライトされたＧＵＩアイコンを選択するために、ポインティングタスクを行う４人の乗客に関連する。ＧＵＩのレイアウトは、２ｃｍ未満の間隔で離された２１個の選択可能な円形アイコンを伴って、図１及び図２と類似している。

予測器の性能は、所望のアイコンＩを、ＭＡＰ予測器を用いて（ＢＤ ２）において成功裏に確立する能力に関して評価される。すなわち、ポイティングジェスチャーにおいて予測器が最も高い確率を所望のＧＵＩアイコンＩに、どれだけ早く割り当てるかを示す。これは、完了したポインティングジェスチャー（時間内）のパーセンテージ及び平均化された考慮されるポインティングタスク全体に対して、図１０に描写される。図１１は、予測器が所望の目的先を正確に確立した全体のポインティングジェスチャー（時間内）の比率を示す。平均的な予測の不確実性のレベルを表すために、図１２は、

により与えられる不確実性メトリックの平均を表示する。ここで、ｉは真の所望の目的先であり、信頼できる予測器に対して

が

につれて期待される。

図１０は、導入されたブリッジング分布ベースの推論が、最も早く成功した意図予測を達成することを示す。これはポインティングジェスチャーの最初の７５％において特に明らかであり、ポインティング時間の顕著な削減を達成することができ、ポインティングを容易にする体制が最も効率的であることができる。様々な予測器間の性能の差は、ポインティングタスクの終わりに向かって減少する。例外はＢＡモデルであり、ポインティングする指がターゲットに近づくにつれ、意図の基準としてのヘディング角の信頼性が低下する。図１１は、ＢＤアプローチが、ポインティングの軌跡にわたって最も高い全体的に正しい予測をもたらすことを示す（ＮＮ及びＢＡの性能は、考慮される比較的大きいデータセットにおいて類似している）。

図１２は、提案されるＢＤモデルが、他の方法と比較して、ポインティングタスク全般にわたって顕著に高い信用性を伴って正しい予測を行うことを図示する。全体として、図１０、図１１、及び、図１２は、導入されるＢＤ推論アプローチが、かなり以前から、車両内でのポインティングジェスチャーの意図を予測することを示し、例えば、事例の６０％において２０％のみのジェスチャーであり、ポインティングの時間／努力を８０％削減することができる。

本発明の実施形態は、オブジェクトの所望のターゲットを判定する方法及び装置を提供し、オブジェクトはスタイラスペン又は指などのポインティングオブジェクトであってよいが、本発明はこの点に限定されないことが、理解されることができる。所望のターゲットは、複数の潜在的なターゲットの中の１つ以上の所望のターゲットであってよい。潜在的なターゲットは、ＧＵＩ又は物理的な制御キーにおける項目であってよい。有利には、本発明の実施形態は、選択されたターゲットが所望のターゲットでない場合に、すなわち、例えば、車両の動作によりユーザがＧＵＩ項目を偶発的に選択した場合に検出することにより、ＨＭＩと関連付けられる誤差を削減してよい。さらに、有利には、本発明の実施形態は、ユーザが物理的にターゲットに触れることが可能になる前にターゲットを選択することにより、ジェスチャーの時間を削減してよい。

本発明の実施形態は、本発明の実施形態にかかるシステム、又は本発明の実施形態にかかる方法を行うよう構成される処理デバイスを備える、図８に図示されるような陸上車などの車両において有用であってよいが、航空機及び船においても有用である。さらに、本発明の実施形態は、例えば、スマートフォン又はタブレットコンピューティングデバイスなどの携帯型電子デバイスなど、ポータブルコンピュータデバイスなどの計算デバイスで有用であってよい。

本発明の実施形態は、ハードウェア、ソフトウェア、又は、ハードウェアとソフトウェアとの組み合わせの形式で実現されることができることを、理解されたい。任意のそのようなソフトウェアは、例えば、消去可能又は書換可能であるか否かに関わらず、ＲＯＭのような保存デバイスなどの揮発性又は不揮発性ストレージの形式で、又は、例えば、ＲＡＭ、メモリチップ、デバイス又は集積回路などのメモリの形式で、又は、例えば、ＣＤ、ＤＶＤ、磁気ディスク又は磁気テープなどの光学的又は磁気的に読み込み可能な媒体に、保存されてよい。保存デバイス及び保存媒体は、実行されると、本発明の実施形態を実施するプログラム（単数又は複数）を保存するのに適している機器可読ストレージの実施形態であることを、理解されたい。したがって、実施形態は、先行する請求項のいずれかに記載のシステム又は方法を実施するためのコードを備えるプログラム、及び、そのようなプログラムを保存する機器可読ストレージを提供する。さらに、本発明の実施形態は、有線又は無線接続で行われる通信信号など、任意の媒体を用いて電気的に搬送されてよく、実施形態は上記を適切に含む。

本明細書に開示される特性の全て（任意の添付の請求項、要約、及び、図を含む）、及び／又は、開示される任意の方法又は過程のステップの全ては、そのような特性及び／又はステップの少なくとも一部が相互に排他的である組み合わせを除いて、任意の組み合わせで組み合されてよい。

本明細書に開示される各特性（任意の添付の請求項、要約、及び、図を含む）は、他に明白に示されない限り、同様、同等、又は、類似の目的を果たす代替的な特性に置換されてよい。したがって、他に明白に示されない限り、開示される各特性は、包括的な一連の同等物又は類似の特性の１つの例に過ぎない。

本発明は、任意の前述の実施形態の詳細に限定されない。本発明は、本明細書（任意の添付の請求項、要約、及び、図を含む）に開示される特性のうちの任意の新規の特性、又は、任意の新規の組み合わせ、又は、開示される任意の方法のステップ又は過程のうちの任意の新規のもの、又は、任意の新規の組み合わせに及ぶ。請求項は、前述の実施形態を単に網羅するよう解釈されるべきでなく、請求項の範囲内に収まる任意の実施形態を網羅するよう解釈されるべきである。

Claims (57)

1. オブジェクトの所望のターゲットをユーザインターフェースと関連して判定するヒューマン−マシンインタラクションの方法であって、
   複数の時刻での前記オブジェクトの三次元位置を判定することと、
   前記ユーザインターフェースの複数の項目の各々と関連付けられるメトリックを判定することとを備え、前記メトリックは前記オブジェクトの前記所望のターゲットである前記各々の項目を示し、前記メトリックはモデル、及び前記複数の時刻での三次元の前記オブジェクトの位置に基づいて判定され、
   前記方法は、
   ベイズ推論過程を使用して、前記所望のターゲットを前記ユーザインターフェースの前記複数の項目から、前記複数の項目の各々と関連付けられる前記メトリックに基づいて判定することを備える、ヒューマン−マシンインタラクションの方法。
2. 前記オブジェクトの軌跡を判定することを備える、請求項１に記載の方法。
3. 前記オブジェクトの前記軌跡は、複数の時刻での前記オブジェクトの前記三次元位置を示すデータを備える、請求項２に記載の方法。
4. 前記オブジェクトの前記軌跡をフィルタリングすることを備える、請求項２又は請求項３に記載の方法。
5. 前記フィルタリングは、前記オブジェクトの前記軌跡を平滑化すること、前記オブジェクトの所望されない動作を削減することと、雑音を前記軌跡から除去することのうちの１つ以上を行うよう構成される、請求項４に記載の方法。
6. 前記モデルはベイズ意図予測モデルである、請求項１〜５のいずれか一項に記載の方法。
7. 前記モデルは線形モデルである、請求項１〜６のいずれか一項に記載の方法。
8. 前記線形モデルは１つ以上のフィルタに基づき、随意により、前記１つ以上のフィルタはカルマンフィルタである、請求項７に記載の方法。
9. 前記モデルは非線形モデルである、請求項１から請求項６のうちのいずれか一項に記載の方法。
10. 前記非線形モデルは前記オブジェクトの不規則な動作を含む、請求項９に記載の方法。
11. 前記非線形モデルは１つ以上の粒子フィルタに基づく、請求項９又は請求項１０に記載の方法。
12. 前記モデルは最近傍（ＮＮ）モデル及び方位角（ＢＡ）モデルのうちの１つである、請求項１〜１１のいずれか一項に記載の方法。
13. 前記モデルはヘディング立体角（ＨＳＡ）モデルである、請求項１から請求項１１のうちのいずれか一項に記載の方法。
14. 前記メトリックは前記オブジェクトと前記ターゲットの各々との間の立体角を示す、請求項１３に記載の方法。
15. 前記モデルは線形先回帰（ＬＤＲ）又は非線形先回帰（ＮＬＤＲ）モデルである、請求項１から請求項１１のうちのいずれか一項に記載の方法。
16. 前記ターゲットの各々に対するモデルを判定することを備える、請求項１５に記載の方法。
17. 請求項２に従属する場合、又は、請求項２に従属する任意の請求項に従属する場合、メトリックは前記オブジェクトの軌跡と最も合致する前記モデルを示す、請求項１６に記載の方法。
18. 請求項２に従属する場合、又は、請求項２に従属する任意の請求項に従属する場合、ＮＬＤＲモデルは軌跡の非線形摂動を備える、請求項１５に記載の方法。
19. 前記モデルは平均回帰拡散（ＭＲＤ）モデルである、請求項１から請求項１１のうちのいずれか一項に記載の方法。
20. 前記ＭＲＤは前記オブジェクトの位置を前記所望のターゲットへ戻る過程としてモデル化する、請求項１９に記載の方法。
21. 前記モデルは均衡回帰速度（ＥＲＶ）モデルである、請求項１〜請求項２０のいずれか一項に記載の方法。
22. 前記メトリックは前記ターゲットへの前記オブジェクトの移動の速度に基づく、請求項２１に記載の方法。
23. 前記オブジェクトの状態を判定することを備える、請求項１５から請求項２２のうちのいずれか一項に記載の方法。
24. 前記モデルはブリッジングモデルであり、随意により、前記ブリッジングモデルはマルコフブリッジである、請求項１から請求項１１又は請求項１６から請求項２２のうちのいずれか一項に記載の方法。
25. 各ブリッジングモデルが各々のターゲットと関連付けられる、複数のブリッジングモデルを判定することを備える、請求項２４に記載の方法。
26. 前記ブリッジングモデルは前記複数の時刻の持続時間に基づく、請求項２４又は請求項２５に記載の方法。
27. 前記ブリッジングモデルは前記複数のターゲットの各々の空間エリアに基づく、請求項２４から請求項２６のうちのいずれか一項に記載の方法。
28. 環境情報の１つ以上の項目を受信することを備える、請求項１〜請求項２７のいずれか一項に記載の方法。
29. 前記環境情報は、加速度を示す情報、車両の状態を示す情報、及び、車両の周囲を示す画像データのうちの１つ以上を備える、請求項２８に記載の方法。
30. 前記メトリックの判定は、少なくとも部分的に、前記環境情報の１つ以上の項目に基づく、請求項２８又は請求項２９に記載の方法。
31. 前記モデルは、少なくとも部分的に、前記環境情報の１つ以上の項目に基づいて選択される、請求項２８、請求項２９、又は、請求項３０に記載の方法。
32. 前記所望のターゲットを判定することはコスト関数に基づく、請求項１〜請求項３１のいずれか一項に記載の方法。
33. 前記コスト関数は、前記所望のターゲットを不正確に判定することに対するコストを課す、請求項３２に記載の方法。
34. 前記所望のターゲットは前記コスト関数を削減するよう判定される、請求項３２又は請求項３３に記載の方法。
35. 前記所望のターゲットを判定することは事前情報の１つ以上の項目に基づき、随意により、前記事前情報は前記ターゲットの少なくとも一部と関連付けられる、請求項１〜請求項３４のいずれか一項に記載の方法。
36. 複数の最も近い時間間隔を選択することを備え、前記複数のターゲットの各々と関連付けられる前記メトリックを判定することは、前記複数の最も近い時間間隔での前記オブジェクトの位置に基づく、請求項１〜請求項３５のいずれか一項に記載の方法。
37. 前記オブジェクトはポインティングオブジェクトである、請求項１〜請求項３６のいずれか一項に記載の方法。
38. 前記オブジェクトの位置を判定することは、放射物を前記オブジェクトから受信することを備える、請求項１〜請求項３７のいずれか一項に記載の方法。
39. 前記所望のターゲットの兆候を出力すること、及び、前記所望のターゲットの前記兆候及び１つ以上の潜在的なターゲットを出力すること、のうちの一方又は両方を備える、請求項１〜請求項３８のいずれか一項に記載の方法。
40. 前記所望のターゲットの前記兆候は前記所望のターゲットを特定することを備え、随意により、前記所望のターゲットは視覚的に特定される、請求項３９に記載の方法。
41. 前記所望のターゲットをアクティブにすることを備える、請求項１〜請求項４０のいずれか一項に記載の方法。
42. 前記複数のターゲットは１つ以上のグラフィカルに表示された項目又は物理的な制御キーを備える、請求項１〜請求項４１のいずれか一項に記載の方法。
43. 前記ユーザインターフェースは車両のユーザインターフェースである、請求項１〜請求項４２のいずれか一項に記載の方法。
44. オブジェクトの所望のターゲットをユーザインターフェースと関連して判定するヒューマン−マシンインターフェース（ＨＭＩ）システムであって、
    前記オブジェクトの三次元位置を判定する位置判定手段と、
    前記オブジェクトの位置を三次元で複数の時刻で示すデータを保存する記憶手段と、
    前記オブジェクトの前記所望のターゲットである前記各々の項目であるユーザインターフェースの複数の項目の各々と関連付けられるメトリックを判定する処理手段とを備え、前記メトリックはモデル、及び前記複数の時間間隔での前記オブジェクトの位置に基づいて判定され、
    前記処理手段は、ベイズ推論過程を使用して、前記所望のターゲットを前記ユーザインターフェースの前記複数の項目から、前記複数の項目の各々と関連付けられる前記メトリックに基づいて判定することを行うよう構成される、ヒューマン−マシンインターフェースシステム。
45. 前記処理手段は、請求項２から請求項４３のうちのいずれか一項に記載の方法を行うよう構成される、請求項４４に記載のシステム。
46. 前記位置判定手段は、放射物を前記オブジェクトから受信する手段を備える、請求項４４又は請求項４５に記載のシステム。
47. 前記位置判定手段は１つ以上の撮像デバイスを備える、請求項４４、請求項４５、又は、請求項４６に記載のシステム。
48. 各時刻での前記オブジェクトの位置を示す位置データは、前記記憶手段に保存される、請求項４４から請求項４７のうちのいずれか一項に記載のシステム。
49. 加速度データを出力する１つ以上の加速度計を備える、請求項４４から請求項４８のうちのいずれか一項に記載のシステム。
50. グラフィカルユーザインターフェース（ＧＵＩ）を表示する表示手段を備え、前記複数のターゲットはＧＵＩ項目である、請求項４４から請求項４９のうちのいずれか一項に記載のシステム。
51. 前記モデルはブリッジングモデルである、請求項４４から請求項５０のうちのいずれか一項に記載のシステム。
52. 前記ブリッジングモデルはマルコフブリッジである、請求項５１に記載のシステム。
53. 各ブリッジングモデルが各々のターゲットと関連付けられる、複数のブリッジングモデルを備える、請求項５１又は請求項５２に記載のシステム。
54. 前記ブリッジングモデルは前記複数の時間間隔の持続時間に基づく、請求項５１、請求項５２、又は、請求項５３に記載のシステム。
55. 前記ブリッジングモデルは前記複数のターゲットの各々の空間エリアに基づく、請求項５１から請求項５４のうちのいずれか一項に記載のシステム。
56. 前記処理手段は、環境データを１つ以上の検知手段から受信するよう構成され、随意により、前記検知手段は、車両の状態を判定する手段及び／又は撮像デバイスを備える、請求項４４から請求項５５のうちのいずれか一項に記載のシステム。
57. 使用中に、請求項１から請求項４３のうちのいずれか一項に記載の方法を行うよう構成される処理デバイスを備え、又は、請求項４４から請求項５６のうちのいずれかの一項記載のシステムを備える、車両。

Images