JP2020091836A - 拡大現実のためのリアルタイムモーションフィードバック - Google Patents

Abstract

【課題】コンピュータ拡張環境からのリアルタイムセンサデータに予測的に応答するシステム及び方法を提供する。【解決手段】システムは、コンピュータ拡張環境からセンサデータを受信し、特徴モデル、予測モデルおよびフィルタ基準を取得する。システムは、特徴モデルおよびセンサデータに基づき第１のイベントを導出し、第１のイベントがフィルタ基準の中の許可対象イベント識別子に関連すると判断する。システムは、第２のイベントが第１のイベントの後に発生すると許可対象イベント識別子および予測モデルに基づき予想する。システムは、第２のイベントを示すアクションメッセージをコンピュータ拡張環境に送信する。リアルタイムプラットフォームがセンサデータに予測的に応答する一方で、特徴モデル、予測モデルおよび／またはフィルタ基準に対する更新が、機械学習および統計解析を使用して一括して発生する。【選択図】図４

Description

本開示は、拡大現実に関し、特に、拡大現実に対する機械学習による強化に関する。本願は、参照により本願明細書にその全体が援用される、２０１８年１０月１２日出願の米国特許仮出願第６２／７４４，８７６号の利益を主張する。

拡大現実は、コンピュータ技術により生成される、現実と仮想との複合環境およびヒューマンマシンインタラクションを含み得る。物理的空間、仮想空間または複合空間における人間のインタラクションは、ユーザの体験を拡張するように設計された、機械により生成される情報により強化され得る。拡大現実は、例として、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）、拡張仮想（ＡＶ：ａｕｇｍｅｎｔｅｄ ｖｉｒｔｕａｌｉｔｙ）、仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）、複合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）を含み得る。拡大現実システムは、物理的空間または仮想空間における変化に基づく情報を生成するために、リアルタイムのデータの獲得および処理に依拠することもある。

一部の可能な実装によれば、システムは、学習プラットフォームから設定パラメータを受信するように構成されたプロセッサを含んでもよい。設定パラメータは、フィルタ基準、特徴モデルおよび予測モデルを含んでもよい。フィルタ基準は、複数の許可対象イベント識別子を含んでもよい。プロセッサは、コンピュータ拡張環境からリアルタイムでセンサデータを受信してもよい。コンピュータ拡張環境は、物理的空間に関係するコンテンツを表示するように構成された表示デバイスを含んでもよい。プロセッサは、センサデータを学習プラットフォームに送信してもよく、学習プラットフォームは、センサデータに基づき、予測モデルおよび特徴モデルを訓練するように構成されてもよい。プロセッサは、特徴モデルおよびセンサデータに基づき、物理的オブジェクトに対応する位置情報のパターンを判断してもよい。パターンは、個々のイベントに関連してもよい。プロセッサは、センサデータおよび判断されたパターンから導出された複数のイベントを生成してもよい。イベントは、物理的空間における動きを示してもよい。プロセッサは、フィルタ基準に含まれる許可対象イベント識別子に対応するイベントを、生成されたイベントから選択してもよい。プロセッサは、予想されるイベントを、予測モデルと、選択されたイベントのうちの少なくとも１つとに基づき予想してもよい。プロセッサは、予想されるイベントを示すアクションメッセージを生成してもよい。プロセッサは、予想されるイベントが発生する前に、コンピュータ拡張環境にアクションメッセージを表示させてもよい。

上記システムの一部の可能な実装によれば、コンピュータ拡張環境は、拡大現実（ＸＲ：ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ）環境を含んでもよい。システムは、表示デバイス上に仮想シーンを表示するように構成されたヘッドセットをさらに含んでもよく、プロセッサは、ヘッドセットに、アクションメッセージに含まれる情報を表示するよう命令するようにさらに構成されてもよい。

上記システムの一部の可能な実装によれば、プロセッサは、予想されるイベントが、複数のアクションマッピングの中に含まれるアクションマッピングに関連すると判断することであって、アクションマッピングは、関連イベント識別子および個々のアクションメッセージを含む、関連すると判断することと、予想されるイベントがアクションマッピングに関連するとの判断に応答して、複数のアクションマッピングからアクションマッピングを選択することと、選択されたアクションマッピングからアクションメッセージを抽出することと、をするようにさらに構成されてもよい。

上記システムの一部の可能な実装によれば、センサデータは、ハプティックセンサ、バイオメトリックセンサまたはそれらの組み合わせから受信されてもよい。

上記システムの一部の可能な実装によれば、センサデータは、複数のセンサによりもたらされるセンサ測定値を含んでもよく、センサ測定値は、物理的空間における物理的オブジェクトの位置情報を含む。

上記システムの一部の可能な実装によれば、特徴モデルは、プロセッサに、物理的オブジェクトのパターンを、特徴モデルと、センサデータ、動き情報、イベント情報またはそれらの組み合わせとに基づき判断することであって、パターンは、選択されたイベントのうちの少なくとも１つに関連する、物理的オブジェクトのパターンを判断することをさせる命令を含んでもよい。

上記システムの一部の可能な実装によれば、プロセッサは、更新されたフィルタ基準および更新された予測モデルを含む更新された設定パラメータを受信することと、フィルタモデルを更新されたフィルタモデルにより置き換えることと、予測モデルを更新された予測モデルにより置き換えることと、をするようにさらに構成されてもよい。

一部の可能な実装によれば、方法は、履歴データベースからセンサデータを受信するステップであって、センサデータは、コンピュータ拡張環境に含まれる複数のセンサによりもたらされる、受信するステップと、センサデータから導出された第１のイベントを生成するステップと、第１のイベントの後に第２のイベントが発生する信頼度測定値を、予測モデルに基づき判断するステップと、信頼度測定値が信頼度閾値よりも大きいと判断するステップと、信頼度測定値が信頼度閾値よりも大きいことに応答して、リアルタイムプラットフォームが予測モデルを用いて第２のイベントを予想して第２のイベントに基づきコンピュータ拡張環境にメッセージを伝達することを許可するフィルタ基準を生成するステップと、リアルタイムプラットフォームによる受信のためにフィルタ基準および予測モデルを送信するステップと、を含んでもよい。

上記方法の一部の可能な実装によれば、方法は、センサデータに基づき特徴モデルを訓練するステップをさらに含んでもよく、第１のイベントを生成するステップは、特徴モデルおよびセンサデータに基づき第１のイベントを特定するステップをさらに含んでもよい。

上記方法の一部の可能な実装によれば、方法は、リアルタイムプラットフォームに特徴モデルを送信するステップであって、特徴モデルは、リアルタイムプラットフォームに、センサデータおよび特徴モデルに基づきイベントをリアルタイムで検出させるように構成されてもよい、特徴モデルを送信するステップをさらに含んでもよい。

上記方法の一部の可能な実装によれば、方法は、複数のリアルタイムプラットフォームからセンサデータを受信するステップと、センサデータを履歴データベースに格納するステップと、をさらに含んでもよい。

上記方法の一部の可能な実装によれば、方法は、信頼度閾値を受信するためのフィールドを含むユーザインターフェースを生成するステップと、ユーザインターフェースに提供された信頼度閾値を、ユーザインターフェースとのユーザインタラクションに応答して受信するステップと、をさらに含んでもよい。

上記方法の一部の可能な実装によれば、方法は、第２のイベントとメッセージとの間の関連付けを含むアクションマッピングを生成するステップと、リアルタイムプラットフォームにアクションマッピングを送信するステップであって、アクションマッピングは、リアルタイムプラットフォームに、第２のイベントを予想するのに応答してコンピュータ拡張環境にアクションメッセージを伝達させるように構成される、アクションマッピングを送信するステップと、をさらに含んでもよい。

上記方法の一部の可能な実装によれば、方法は、複数のフィールドを含むグラフィカルユーザインターフェースを生成するステップと、グラフィカルユーザインターフェースとのユーザインタラクションに応答して、グラフィカルユーザインターフェースのフィールドからアクションマッピングを受信するステップと、をさらに含んでもよい。

他の一部の可能な実装によれば、方法は、物理的空間に対するインタラクティブなオーバーレイをリアルタイムで表示するように構成されたコンピュータ拡張環境からセンサデータを受信するステップと、特徴モデル、予測モデルおよびフィルタ基準を取得するステップであって、特徴モデルは、センサデータに基づきイベントを導出するように訓練され、予測モデルは、イベント識別子間の複数の予測的マッピングを含み、フィルタ基準は、複数の許可対象イベント識別子を含む、取得するステップと、物理的空間における動きを示す第１のイベントを、特徴モデルおよびセンサデータに基づき導出するステップ、第１のイベントがフィルタ基準に含まれる許可対象イベント識別子に関連すると判断するステップ、第２のイベントが第１のイベントの後に発生すると許可対象イベント識別子および予測モデルに基づき予想するステップ、ならびに第２のイベントを示すアクションメッセージをコンピュータ拡張環境に送信するステップにより、センサデータに基づきコンピュータ拡張環境の表示コンテンツをリアルタイムで生成するステップとを含んでもよい。

上記方法の他の一部の可能な実装によれば、方法は、受信されたセンサデータを履歴センサデータを含むデータベースに格納するステップと、コンピュータ拡張環境の表示コンテンツをリアルタイムで生成するのと同時に、更新された特徴モデル、更新された予測モデル、更新されたフィルタ基準またはそれらの任意の組み合わせを、格納されたセンサデータに基づき生成するステップとにより、特徴モデル、予測モデルおよびフィルタ基準を一括して更新するステップをさらに含んでもよい。

上記方法の他の一部の可能な実装によれば、方法は、特徴モデル、予測モデルおよびフィルタ基準を、更新された特徴モデル、更新された予測モデルおよび更新されたフィルタ基準により、メモリにおいて置き換えるステップをさらに含んでもよい。

上記方法の他の一部の可能な実装によれば、方法は、格納されたセンサデータと対応するイベントとの間のマッピングを特徴訓練セットに追加するステップと、特徴訓練セットに基づく更新された特徴モデルを機械学習フレームワークに基づき訓練するステップとにより特徴モデルを一括して更新するステップをさらに含んでもよい。

上記方法の他の一部の可能な実装によれば、方法は、受信されたセンサデータを履歴センサデータを含むデータベースに格納するステップと、履歴センサデータに基づき予測モデルを訓練するステップであって、予測モデルは、第２のイベントが第１のイベントの後に発生する信頼度測定値を提供するように構成される、訓練するステップと、信頼度測定値が信頼度閾値よりも大きいと判断するステップと、信頼度測定値が信頼度閾値よりも大きいとの判断に応答してフィルタ基準に第１のイベントの識別子を含めるステップとにより、予測モデルおよびフィルタ基準を一括して更新するステップをさらに含んでもよい。

上記方法の他の一部の可能な実装によれば、方法は、第２のイベントが発生する前に、コンピュータ拡張環境にアクションメッセージに含まれるコンテンツを表示させるステップをさらに含んでもよい。

実施形態は、以下の図面および記載を参照するとよりよく理解されるであろう。図面中のコンポーネントは必ずしも一定の縮尺となっていない。さらに、図面では、同じ参照符号は異なる図面にわたって対応する部分を指示する。

リアルタイムフィードバックシステムの例を示す。 学習プラットフォームの例を示す。 リアルタイムプラットフォームの例を示す。 リアルタイムプラットフォームの論理のフロー図の例を示す。 学習プラットフォームの論理のフロー図の例を示す。 リアルタイムプラットフォームの論理の第２の例を示す。 リアルタイムフィードバックシステムの第２の例を示す。 システムのコンピューティング環境の例を示す。

コンピュータ拡張環境は、物理的空間および／または仮想空間を強化するための情報をセンサが収集する環境を含み得る。物理的空間、仮想空間または複合空間における人間のインタラクションは、ユーザの体験を拡張するように設計された、機械により生成される情報により強化され得る。例として、コンピュータ拡張環境は、物理的空間から獲得されるセンサデータに基づき現実と仮想との複合環境およびヒューマンマシンインタラクションがコンピュータ技術により生成される、拡大現実（ＸＲ）を含み得る。拡大現実は、例として、拡張現実（ＡＲ）、拡張仮想（ＡＶ）、仮想現実（ＶＲ）、複合現実（ＭＲ）を含み得る。コンピュータ拡張環境は、物理的空間、仮想空間または両方における変化に基づく情報を生成するために、リアルタイムのデータの獲得および処理に依拠することもある。他の例では、コミュータ拡張環境は、ドローン、自動運転車、コンベアベルトなどの他のシステムにアクセスすることも、またはそれを含むこともある。

コンピュータ拡張環境は、環境についての豊富な情報ソースを提供するセンサから情報を導出してもよい。コンピュータ拡張環境は、環境の現在または過去の状態に基づきユーザに情報を提供し得るが、考えられる将来の状態に基づくフィードバックの提供は不十分である。さらに、センサから導出される膨大な量の情報が、ストレージおよび処理の非効率をもたらすこともある。機械学習および人工知能のフレームワークによる処理およびストレージの要求が、リアルタイム（または準リアルタイム）の体験にさらに制約を加えることもある。

本願明細書に記載のシステムおよび方法は、本願明細書に記載されるいくつかの特徴の中でも特に、仮想現実および／または拡張現実のシナリオに基づくコンピュータ拡張環境におけるユーザ体験を支援および誘導するために、解析および機械学習を応用し得る。履歴データおよび／またはライブデータが、ユーザの次のアクションを予測するために活用されてもよい。例として、是正提案が、予測される誤りを回避するようユーザを誘導してもよい。あるいは、またはさらに、予測は、コンピュータ拡張環境の全体的なパフォーマンスを改善するための根拠として使用されてもよい。

導入となる例として、システムは、フィルタ基準および予測モデルを含む設定パラメータを受信してもよい。フィルタ基準は、許可対象イベント識別子および予測モデルを含んでもよい。システムは、コンピュータ拡張環境からセンサデータをリアルタイムで受信してもよい。コンピュータ拡張環境は、物理的空間に関係する仮想シーンを表示するように構成された、ヘッドセットなどの表示デバイスを含んでもよい。システムは、センサデータから導出されたイベントを生成してもよく、イベントは、物理的空間における動きを示す。システムは、生成されたイベントから、フィルタ基準に含まれる許可対象イベント識別子に対応するイベントのみを選択してもよい。システムは、予測モデルと、選択されたイベントのうちの少なくとも１つとに基づき、イベントを予想してもよい。システムは、予想されるイベントを示すアクションメッセージを生成してもよい。システムは、予想されるイベントが発生する前に、コンピュータ拡張環境にアクションメッセージを表示させてもよい。

別の例において、システムは、履歴データベースからセンサデータを取得してもよい。センサデータは、コンピュータ拡張環境に含まれるセンサにより以前にもたらされたものであってもよい。システムは、センサデータから導出された第１のイベントを生成してもよい。システムは、第１のイベントの後に第２のイベントが発生する信頼度測定値を予測モデルに基づき判断してもよい。システムは、信頼度測定値が信頼度閾値よりも大きいと判断してもよい。システムは、信頼度測定値が信頼度閾値よりも大きいことに応答して、リアルタイムプラットフォームが予測モデルを用いて第２のイベントを予想して第２のイベントに基づきコンピュータ拡張環境にメッセージを伝達することを許可するフィルタ基準を生成してもよい。システムは、フィルタ基準および予測モデルを設定パラメータとしてリアルタイムプラットフォームに送信してもよい。

本願明細書に記載のシステムおよび方法により提供される技術的な進歩の一例は、現在のイベントを導出するためまたは将来のイベントを予測するために使用されるモデルに対する入力をフィルタリングするイベント削減を実行することにより処理時間が改善されることであろう。例として、特定の予測の信頼度が事前に判断されてもよい。フィルタ基準は、信頼度閾値を使用して生成されてもよく、どの特徴が予測モデルに適用されるべきかを規定してもよく、結果としてイベント処理が全体的に削減される。信頼度閾値は、コンピュータ拡張環境、ユーザまたはその他関連性のある要素に基づき調整されてもよい。より低い信頼度（つまり、より多数の予測が受領される）は、ユーザアクションが高リスクまたは危険な活動である場合に許容可能とされ得る。より高い信頼度は、正確な予測が望ましい場合に許容可能とされ得る。

本願明細書に記載のシステムおよび方法により提供される技術的なもう１つの進歩は、センサデータを処理するためにアクセスされるモデル、セッティングおよび論理が、強化され複数のリアルタイム処理システムに展開され得るということであろう。例として、リアルタイム学習プラットフォームは、リアルタイムプラットフォームがリアルタイムで動作する間、特徴モデル、選択モデルおよび／またはフィルタ基準を強化してもよい。リアルタイムプラットフォームは、コンピュータ拡張環境、リアルタイムプラットフォームおよび学習プラットフォームの間の結合を最小化して結束性を最大化する、あらかじめ確立されているプロトコルに従って学習プラットフォームにセンサデータを転送してもよい。学習プラットフォームは、特徴モデル、予測モデルおよび／またはフィルタ基準を、コンピュータ拡張環境（単数または複数）、個々のユーザまたはその他関連性のある要素に基づき適応させてもよい。学習プラットフォームは、カスタマイズされたモデルおよびパラメータがリアルタイムプラットフォーム上で設定される、展開および更新を実行してもよい。本願明細書に記載のシステムおよび方法における、追加の、または代わりの技術的進歩が明らかにされる。

図１は、リアルタイムフィードバックシステム１００の例を示す。システム１００は、拡大現実データから洞察およびアクションを生成してもよい。システム１００は、獲得されたデータに基づき特徴を導出してもよい。特徴は、複数の解析モデルに入力されてもよい。例として、解析モデルは、特徴に基づき訓練されてもよい。システム１００は、訓練されたモデルにアクセスしてライブストリームから予測を生成し、フィードバックをユーザにリアルタイムで伝達してもよい。システム１００は、現在および将来のユーザのパフォーマンスを改善するために過去のユーザから学習してもよい。

システム１００は、リアルタイムプラットフォーム１０２、学習プラットフォーム１０４および／またはコンピュータ拡張環境１０６を含んでもよい。リアルタイムプラットフォーム１０２は、コンピュータ拡張環境１０６が発するリアルタイムセンサデータおよび／または生のイベントを受信してもよい。リアルタイムプラットフォーム１０２は、コンピュータ拡張環境１０６に対するアクションフィードバックを生成してもよい。アクションフィードバックは、予測されるユーザアクションを示してもよい。例として、アクションフィードバックは、表示デバイス、スピーカ、物理的なフィードバックを提供するアクチュエータ、または視覚的、物理的もしくは可聴のフィードバックにより情報を伝える他の何らかのデバイスなど、１つ以上のデバイスを介してユーザに伝達される情報を含んでもよい。一例において、アクションフィードバックは、１つ以上のイベントを予測するのに応答して生成されるメッセージを含んでもよい。別の例において、アクションフィードバックは、ハプティックアクチュエータなど、ユーザに物理的感覚を感じさせるアクチュエータをアクティブ化するための命令を含んでもよい。

リアルタイムプラットフォーム１０２は、１つ以上のタイムスパンにわたってコンピュータ拡張環境１０６からイベントを導出してもよい。イベントは、特徴選択によりフィルタリングされ、訓練された予測モデルに入力として適用されてもよい。イベント削減は、予測に最も重要な特徴を維持するため、および／または計算時間を削減するために、相関調査を利用してもよい。訓練された予測モデルは、選択されたイベントを、将来のイベント（つまりユーザの将来のアクション）を推論するための入力として利用してもよい。これらの予測されるイベント、またはイベントにマッピングされたメッセージは、コンピュータ拡張環境１０６に返されてもよく、そこで推奨、警告または指針がユーザにリアルタイムで提供されてもよい。

学習プラットフォーム１０４は、リアルタイムプラットフォーム１０２のためのモデル、論理、セッティングおよびその他パラメータを訓練および／または生成してもよい。例として、学習プラットフォーム１０４は、リアルタイムプラットフォーム１０２（またはリアルタイムプラットフォームの複数のインスタンス）を展開および／または設定してもよい。学習プラットフォーム１０４は、設定パラメータをリアルタイムプラットフォーム１０２に伝達する。設定パラメータは、センサデータの分析、イベントの予測、アクションフィードバックの生成、イベントの削減、処理時間の改善および／または本願明細書において意図される他の動作の実行をするためにリアルタイムプラットフォーム１０２がアクセス可能な、モデル、論理、セッティングおよびその他情報を含んでもよい。設定パラメータは、特定のコンピュータ拡張環境、ＸＲシナリオおよび／またはコンピュータ拡張環境１０６のユーザに適応させられてもよい。あるいは、またはさらに、設定パラメータは、処理速度、メモリ使用量、スループット、レイテンシおよびその他パフォーマンス測定値の点でリアルタイムプラットフォーム１０２のパフォーマンスを向上させるように適応させられてもよい。

一部の例において、設定パラメータは、特徴モデル（単数または複数）、予測モデル（単数または複数）、フィルタ基準（単数または複数）、アクションマッピング（単数または複数）のうちの１つ以上を含んでもよい。概して、特徴モデルは、センサデータおよび／または生のイベント情報に基づきイベントを導出するように訓練されてもよい。予測モデルは、導出されたイベント、生のイベントおよび／またはセンサデータに基づきイベントを予測してもよい。アクションマッピングは、予測されるイベントを、アクションフィードバックに含めるメッセージにマッピングしてもよい。フィルタ基準は、情報がどのようにリアルタイムプラットフォーム１０２内へ、その中を、およびその外へ流れるかを制御するための、リアルタイムプラットフォーム１０２が応じる情報を含んでもよい。あるいは、またはさらに、フィルタ基準は、リアルタイムプラットフォームにより導出または予測されるいくつかのイベントを削減してもよい。例として、リアルタイムプラットフォーム１０２は、評価されるべき情報および無視されるべき情報を、リアルタイムプラットフォーム１０２の様々な段階を通してフィルタ基準に基づき選択してもよい。特徴モデル、予測モデル、アクションマッピングおよびフィルタ基準については、図２〜図５を参照して後述される。

学習プラットフォーム１０４は、コンピュータ拡張環境１０６および／またはリアルタイムプラットフォーム１０２により生成されるセンサデータおよび／または生のイベントを受信してもよい。一部の例において、リアルタイムプラットフォーム１０２は、学習プラットフォーム１０４に準拠した所定のフォーマットにセンサデータをフォーマット設定し直してもよい。例として、所定のフォーマットは、データ構造の定義、または（例としてＡＰＩコールを介して）学習プラットフォーム１０４によって構文解析可能な他の何らかの構造を含んでもよい。動作中、複数のリアルタイムプラットフォームが、情報を学習プラットフォーム１０４に転送してもよい。学習プラットフォーム１０４は、データを集約して、リアルタイムプラットフォーム１０２によりアクセスされるモデル、論理およびその他パラメータを洗練してもよい。したがって、リアルタイムプラットフォーム１０２の洗練および改善は、オフラインで、且つ一部の例においてはリアルタイムプラットフォーム１０２の動作と同時に発生してもよい。

コンピュータ拡張環境１０６は、拡大現実を提供してもよい。拡大現実は、例として、拡張現実（ＡＲ）、拡張仮想（ＡＶ）および／または仮想現実（ＶＲ）を含んでもよい。コンピュータ拡張環境１０６は、１つ以上の表示デバイス１０８、オーディオデバイス１１０、センサ１１２および／またはアクチュエータ１１４を含んでもよい。表示デバイス１０８は、例として、視覚情報をその着用者に表示するヘッドセットを含んでもよい。あるいは、またはさらに、表示デバイスは、視覚コンテンツを受信および表示するように構成されたハードウェアまたはインターフェースを含んでもよい。オーディオデバイスは、オーディオ情報に基づく可聴音を放出するように構成された再生ハードウェアを含んでもよい。アクチュエータデバイスは、ハプティックフィードバックなどの物理的フィードバックをユーザに提供してもよい。センサは、物理的特性を検出および／または測定するデバイスを含んでもよい。センサは、例として、ハプティックセンサ、バイオメトリックセンサ、マイクロフォン、カメラ、モーションセンサ、ジャイロスコープまたはその他物理的空間もしくはユーザの特性を検出する任意のデバイスを含んでもよい。ハプティックセンサは、例として、ユーザにより表面に加えられる力の量を測定する触覚センサを含んでもよい。バイオメトリックセンサは、例として、ユーザに固有であるユーザの物理的特質または状態を検出するセンサを含んでもよい。

一部の例において、コンピュータ拡張環境１０６は、センサ情報（またはその他情報）に基づき生のイベントを判断し、コンピュータ拡張環境のデバイスとインタラクションするためのアプリケーションプログラミングインターフェースを提供し、且つ／またはセンサデータもしくは生のイベントを伝達するデバイスを含んでもよい。コンピュータ拡張環境１０６は、ＡＰＡＣＨＥ Ｋａｆｋａまたはその他何らかの適切なメッセージングサービスなどの通信プロトコルを用いて確立された１つ以上のセッションに基づき情報をストリーミングするデバイスを含んでもよい。リアルタイムプラットフォームおよび／または学習プラットフォーム１０４は、コンピュータ拡張環境１０６、またはコンピュータ拡張環境１０６に含まれるデバイスから情報を受信してもよい。

本願明細書に記載されるように、センサデータは、センサにより受信される情報および／またはセンサにより提供される信号から導出される情報を指し得る。例として、センサデータは、物理的特性または物理的変化の測定値を含んでもよい。一部の例において、センサデータは、動きデータを含んでもよい。あるいは、またはさらに、センサデータは、物理的空間内の人間の身体部分またはオブジェクトなど、物理的オブジェクトの位置を含んでもよい。あるいは、またはさらに、センサデータは、オーディオおよびビデオ情報を含んでもよい。一部の例において、センサデータは、例えば心拍数、瞳孔散大など、ユーザの生体反応を含んでもよい。

本願明細書に記載されるとき、イベントとは、センサデータまたは他のイベントから導出された特徴を指す。イベントは、センサデータまたはイベントの分類またはグループ化を表現し得る。あるいは、またはさらに、イベントは、センサデータまたはイベントのシーケンス、パターン、タイミングまたは変化を表現し得る。他の例において、イベントは、基準、ルールまたは論理に基づく、或るプロセスの中の条件またはステップの満足を含み得る。

本願明細書の説明の全体にわたって、イベントは、生のイベント、導出されたイベントおよび／または予測されるイベントと称されることもある。生のイベントは、リアルタイムプラットフォーム１０２および／または学習プラットフォーム１０４の外で、センサデータから導出されたイベントを含んでもよい。例として、コンピュータ拡張環境１０６またはその他何らかのシステムが、生のイベントを生成し得る。導出されたイベントは、センサデータ、生のイベント、導出された他のイベントおよび／または他の情報に基づき導出されたイベントを含んでもよい。例として、導出されたイベントは、様々なモデル、統計的分析、機械学習またはその他分析を使用してリアルタイムプラットフォーム１０２および／または学習プラットフォーム１０４により導出されたイベントを含んでもよい。予測されるイベントは、導出された１つ以上のイベント、生のイベントおよび／またはセンサデータに基づき予想されるイベントを含んでもよい。

図２は、学習プラットフォーム１０４の例を示す。学習プラットフォーム１０４は、リアルタイムプラットフォーム１０２のためのモデル、論理、セッティングおよびその他パラメータを生成してもよい。例として、学習プラットフォーム１０４は、リアルタイムプラットフォーム１０２にセンサデータからのイベントの導出、イベントの予測および／またはコンピュータ拡張環境１０６に対するアクションフィードバックの生成をさせる設定パラメータを、リアルタイムプラットフォーム１０２に提供してもよい。学習プラットフォーム１０４は、リアルタイムプラットフォーム１０２またはそのコンポーネントの生成、展開および／または設定を促進してもよい。

学習プラットフォーム１０４は、１つ以上のコンピュータ拡張環境１０６からセンサデータおよび／または生のイベントを受信してもよい。あるいは、またはさらに、１つ以上のリアルタイムプラットフォームが、コンピュータ拡張環境１０６からの情報を学習プラットフォーム１０４に転送するように構成されてもよい。例として、コンピュータ拡張環境１０６および／またはリアルタイムプラットフォーム１０２において構成された専用クライアントが、データを消費して、データを学習プラットフォーム１０４にプッシュしてもよい。

学習プラットフォーム１０４は、履歴データベース２０２を含んでもよい。履歴データベース２０２は、電子的に格納およびアクセスされるデータの編成されたセットを含んでもよい。履歴データベース２０２は、センサデータ、生のイベント情報またはその他コンピュータ拡張環境１０６および／もしくはリアルタイムプラットフォーム１０２が発する情報を格納してもよい。履歴データベース２０２に格納された情報は、リアルタイムプラットフォーム１０２がリアルタイムでセンサデータを処理する間、一括して学習プラットフォーム１０４によりアクセスされてもよい。

学習プラットフォーム１０４は、設定データベース２０４を含んでもよい。設定データベース２０４は、電子的に格納およびアクセスされるデータの編成されたセットを含んでもよい。設定データベース２０４は、リアルタイムプラットフォーム１０２（またはリアルタイムプラットフォームの複数の展開）に対して生成または更新されたモデル、論理および／またはパラメータを含んでもよい。設定データベース２０４は、様々なタイプのコンピュータ拡張環境、リアルタイムプラットフォームのタイプ、ユーザ識別子、アカウント識別子などに関連する情報のリポジトリを含んでもよい。学習プラットフォーム１０４は、リアルタイムプラットフォーム１０２またはそのコンポーネントを生成、展開および／または設定するとき、設定データベース２０４の情報にアクセスしてもよい。

学習プラットフォーム１０４は、特徴コントローラ２０６を含んでもよい。特徴コントローラ２０６は、履歴データベース２０２の履歴データにアクセスしてもよい。特徴コントローラ２０６は、情報を特徴訓練セットに編成してもよい。特徴訓練セットは、入力される特徴と出力される特徴との間のマッピングを含んでもよい。例として、特徴訓練モデルは、センサデータとイベントデータとを関連付けてもよい。マッピングは、人間または機械により生成され得る。時間が経つにつれて、マッピングが更新されて、特徴訓練セットにより生成される特徴モデルの精度および信頼度が改善されてもよい。

特徴モデルは、特徴抽出を実行するために構成された条件、統計モデルおよび／または論理を含んでもよい。例として、特徴モデルは、教師あり学習に基づく学習または推論された関数を含んでもよい。特徴モデルの例には、ルールベース方式、幾何学的方法または単純計数法が含まれ得る。動作中、特徴モデルは、入力されたセンサデータおよび／または生のイベントに基づきイベントを導出するためにアクセスされてもよい。イベントは、ユーザの挙動を簡潔に記述するために生成される。

例として、イベントは、ユーザの焦点を捕捉または定量化してもよい。例として、イベントは、関心対象のオブジェクトを見ていること（または見ていないこと）の発生（またはそのいくつかの一致）を含んでもよい含んでもよい。そのようなイベントを導出するために、関心対象のオブジェクトのリストが、それらの座標とともに入力（生のイベント）として特徴モデルに与えられ、ユーザの視界がセンサデータからフレームごとに抽出される（つまりＶＲ／ＡＲヘッドセット）。これら２つのソースを組み合わせることで、フレームごとに、関心対象のオブジェクトがユーザの視界の中にあるか否かを示すことができる。

イベントの別の例は、適用できない制御を使用しようと試行すること、つまり、なにも把持していない間にトリガボタンを押下すること、または近くにないものをつかもうとすることである。導出されるこのイベントの場合、センサデータのみが分析される。

一部の例において、特徴モデルおよび／または特徴訓練セットは、特定のコンピュータ拡張環境、センサデータのタイプおよび／またはイベントのクラス向けに適応させられてもよい。例として、学習プラットフォーム１０４により受信されるセンサデータは、センサデータタイプに関連してもよい。センサデータタイプは、センサのタイプ、センサの位置またはセンサにより受信される情報のタイプ（例えば手に取り付けられたセンサから獲得された動きデータ）を示してもよい。あるいは、またはさらに、センサデータは、コンピュータ拡張環境１０６のタイプに関連してもよい。コンピュータ拡張環境１０６のタイプは、コンピュータ拡張環境１０６が拡張するシナリオ（例えば化学研究室、製造工程、運転体験など）を示してもよい。一部の例において、特徴訓練セットは、特定のタイプのセンサデータ、ＸＲシナリオおよび／またはイベントのクラスのみからのデータを含むように構成されてもよい。

特徴コントローラ２０６は、特徴モデルを適用して、履歴データベース２０２からの履歴データに基づき導出されるイベント１つ以上を判断してもよい。前述のように、導出されるイベントとは、センサデータ、生のイベントまたはその他情報の分析から導出されたイベントを指す。導出されるイベントは、物理的空間の中での動きデータを示してもよい。例として、導出されるイベントは、オブジェクト間の衝突、手の震え、アイテムを落とすこと、間違ったアイテムに触れる／それを手に取ること、関心対象のアイテムから顔をそらすこと、またはその他任意の分類のセンサデータを含んでもよい。

学習プラットフォーム１０４は、予測モデルコントローラ２０８を含んでもよい。予測モデルコントローラ２０８は、統計的調査解析、機械学習および／または条件付き論理に基づき予測モデルを生成してもよい。例として、予測モデルコントローラ２０８は、イベント間の因果関係または相関関係を特定してもよい。予測モデルは、イベント間の因果関係または相関関係に基づき予測モデルを生成してもよい。

予測モデルは、任意のモデルまたはデータ集約を含んでもよく、これは、先行の１つまたは複数のイベントが発生したことを所与として、或るイベント（または複数イベント）が将来発生する条件付きの可能性を含む。予測モデルは、履歴データおよび／または格納されている専門的情報に基づいて構築される統計的概要を含んでもよい。一部の例において、予測モデルは、或るイベントがユーザの動きまたは軌跡に応じて発生する可能性が高いと予測してもよい。モデルは、履歴データの平均化および／または平均的なユーザの軌跡のモデル化に基づいてもよい。あるいは、またはさらに、モデルは、特定のユーザに関する個々のセンサデータおよび／または動きデータを考慮してパーソナライズされてもよい。

一部の例において、予測モデルは、イベントが発生する個々の時間に基づき、互いに関連するイベントを特定してもよい。例として、予測モデルコントローラ２０８は、統計的分析および／または機械学習フレームワークに基づき、イベントＡが時間ｔに生じると時間ｔ＋１にイベントＢが生じる可能性が高い、と判断してもよい。あるいは、またはさらに、予測モデルコントローラ２０８は、第１のイベントまたは第１のイベントのシーケンスが第２のイベントまたは第２のイベントのシーケンスの後に発生する信頼度を判断してもよい。

予測モデルを生成するために、学習プラットフォーム１０４は、分離時間を判断し、分離の前および分離の後にイベントが発生した信頼度を測定してもよい。調査解析は、複数のイベントおよびそれらの連続発生の信頼度測定値を含んでもよい。あるいは、またはさらに、システム１００は、イベントが連続的に出現する信頼度測定値を生成してもよい。信頼度は、相関または確率などの統計的メトリクスを含んでもよい。学習プラットフォーム１０４は、信頼度、および対応するイベントの識別子を予測的モデルへとコンパイルしてもよい。

一部の例において、予測モデルコントローラ２０８は、相関マトリクスを生成してもよい。相関マトリクスは、第１のイベントの後に第２のイベントが発生する信頼度を示すメトリクスを含んでもよい。表１は、相関マトリクスの例を示す。表１に示されている例では、イベントＣは、イベントＤの後に発生する可能性が非常に高い（９０％）。相関マトリクスは、システム１００がリアルタイムでイベントの発生を予測できるようにする。例として、システム１００は、「前」のイベントを導出するかまたはそれに対するアクセスを得た場合、「後」のイベント、すなわちまさに発生しようとしているイベントの確率を予測してもよい。

相関マトリクスは、予測モデルの例とされ得る。より一般的に、予測モデルは、イベントマッピングを含んでもよい。イベントマッピングは、１つ以上のイベントの間のマッピングを含んでもよい。例として、イベントマッピングは、第１のイベント（イベントＡなど）と第２のイベント（イベントＢなど）との間のマッピングを含んでもよい。イベントマッピングは、第２のイベント（または複数イベント）が第１のイベント（または複数イベント）の後に発生する見込みを測定する信頼度メトリクス（２０％など）を含んでもよい。

フィルタ基準は、学習プラットフォームおよび／またはリアルタイムプラットフォーム１０２が、特定のコンピュータ拡張環境に関連性のある情報のみを受信、評価および／または予測できるようにしてもよい。フィルタ基準は、リアルタイムプラットフォーム１０２に、リアルタイムプラットフォーム１０２、特徴モデル、予測的モデルに入力される特定のデータを選択させる情報を含んでもよい。あるいは、またはさらに、フィルタ基準は、リアルタイムプラットフォーム１０２に、特定のイベントの予測または特定のメッセージの出力のみをさせる論理を含んでもよい。一部の例において、フィルタ基準は、許可された（または許可されていない）センサデバイス、センサデータ、通信チャネルまたはその他センサデータのソースの識別子を結論づけてもよい。あるいは、またはさらに、フィルタ基準は、許可された（または許可されていない）イベント、予測マッピングおよび／またはアクションマッピングの識別子を含んでもよい。図３を参照して記載されるように、リアルタイムプラットフォーム１０２は、フィルタ基準に基づき、リアルタイムプラットフォーム内への、その中の、およびその外への情報の場合、フォローを制御してもよい。

一部の例において、イベントフィルタは、信頼度閾値に基づき生成または設定されてもよい。信頼度閾値は、イベント予測のための最低量の信頼度を規定する閾値の値を含んでもよい。例として、信頼度閾値は７０％にセットされてもよい。それに応じて、表１に示されている予測マッピング（Ｅｖｅｎｔ Ｄ，Ｅｖｅｎｔ Ｃ，９０％）が、相関マトリクスから選択されることになるであろう。

信頼度閾値は、特定の実装のために調整されてもよい。より低い閾値（例えば４０％以下）は、予測の精度の低下という代償を払って、より多数の予測をもたらし得る。予測の精度は劣るであろうが、低い信頼度閾値は、予測されるイベントに応じて、差し迫った危険についてユーザに警告したり、または他の何らかのアクションフィードバックをユーザに送信したりする可能性を増大させ得る。あるいは、またはさらに、高い信頼度閾値（例えば８０％以上）は、不正確な予測の数を削減して、予測されるイベントの信頼度を向上させ得る。最適な信頼度閾値は、特定のコンピュータ拡張環境および／またはユーザに依存すると考えられ、信頼度閾値は時間が経つにつれて調節されてもよい。

信頼度閾値は、コンピュータ拡張環境のタイプ、ユーザ、イベントのタイプおよび／またはアクションフィードバックに基づき規定されてもよい。或る例において、ＸＲセッションのタイプは、研究室における薬品の調製を支援するためにユーザに情報が表示される、化学研究所のオーバーレイを含んでもよい。薬品を調合することに伴う内在する危険が理由で、潜在的な誤り（揮発性薬品を不適切に調合する、狂った順序でステップを実行するなど）を回避するようユーザに警告するために、信頼度閾値（単数または複数）は、４０％またはその他何らかの適切な値に設定されてもよい。あるいは、またはさらに、予測されるイベントおよび／またはアクションフィードバックに基づき、複数の信頼度閾値が調整されてもよい。例として、予測的イベントの識別子またはアクションフィードバックの識別子が信頼度閾値に関連してもよい。例として、重大でないイベントに関連する一部のアクションフィードバックは、高い予測信頼度に関連してもよく、危険なイベントの安全警告などの他のアクションフィードバックは、より低い信頼度閾値に関連してもよい。

システム１００は、設定コントローラ２１０をさらに含んでもよい。設定コントローラ２１０は、アクションマッピングを生成してもよい。アクションマッピングは、予測されるイベント（または予測される複数のイベント）と、アクションメッセージとの間のマッピングを含んでもよい。例として、アクションマッピングは、予測されるイベントの識別子１つ以上を１つ以上のアクションメッセージ識別子にマッピングする、テーブルまたはその他何らかの適切なデータ構造を含んでもよい。表２は、アクションマッピングの例を示す。

アクションメッセージは、コンピュータ拡張環境１０６（またはコンピュータ拡張環境１０６のコンポーネント）に、ユーザとのインタラクションを行わせてもよい。アクションメッセージは、コンピュータ拡張環境１０６を介してユーザに伝達される情報を含んでもよい。アクションメッセージは、コンピュータ拡張環境１０６にネイティブなデータフォーマットに従ってもよい。アクションメッセージは、コンピュータ拡張環境１０６に、ビデオデバイス上での情報の表示、再生デバイスを介したオーディオの再生、ハプティックアクチュエータなどのアクチュエータの作動、またはユーザに感覚情報を受け取らせる他の任意のアクションの実行をさせてもよい。一部の例において、アクションメッセージは、コンピュータ拡張環境１０６により決定されるフォーマット標準に従ってフォーマット設定された命令、ＡＰＩコールおよび／またはメッセージを含んでもよい。したがって、学習プラットフォーム１０４は、同じタイプの予測されるイベントについて様々なアクションマッピングを格納してもよく、マッピングのそれぞれが、特定のコンピュータ拡張環境向けに適応させられたリアルタイムプラットフォームの個々の展開向けに適応させられる。

図３は、リアルタイムプラットフォーム１０２の例を示す。リアルタイムプラットフォーム１０２は、特徴生成器３０２を含んでもよい。特徴生成器３０２は、コンピュータ拡張環境１０６により提供されるセンサデータおよび／またはイベントに基づきイベントを判断してもよい。例として、特徴生成器３０２は、特徴モデル１１０に基づきイベントを導出してもよい。図２を参照して説明されたように、特徴モデルは、センサデータなどの入力データに基づき導出されるイベントを特定する論理を含んでもよい。特徴生成器３０２は、特徴モデルにアクセスして、リアルタイムプラットフォーム１０２に伝達されるセンサデータおよび／または生のイベントに基づきイベントを生成してもよい。

特徴モデルは、学習プラットフォーム１０４によりリアルタイムプラットフォーム１０２上で設定されてもよい。例として、リアルタイムプラットフォーム１０２は、展開中に特徴モデルを受信してもよい。あるいは、またはさらに、リアルタイムプラットフォーム１０２は、特徴モデルが改善されるのに伴い学習プラットフォーム１０４から新たな、または更新された特徴モデルを受信してもよい。

リアルタイムプラットフォーム１０２は、イベント予測器３０４をさらに含んでもよい。イベント予測器３０４は、導出されたイベント、生のイベントおよび／またはセンサデータに基づき１つ以上のイベントを予測してもよい。イベント予測器３０４は、予測モデルにアクセスしてイベントを予測してもよい。図２を参照して説明されたように、予測モデルは、イベント予測器３０４に１つ以上の入力イベントまたはセンサデータに基づき出力イベントを特定させる、予測的マッピング、論理、ルールまたはその他情報を含んでもよい。出力イベントは、入力イベントおよび／またはセンサデータに応じて発生するイベントの予測であってもよい。出力イベントは、信頼度メトリクスに関連してもよい。

リアルタイムプラットフォーム１０２は、アクション変換器３０６をさらに含んでもよい。アクション変換器３０６は、予測される１つ以上のイベントに応じてアクションフィードバックを生成してもよい。例として、アクション変換器３０６は、アクションマッピングにアクセスしてもよい。図２を参照して説明されたように、アクションマッピングは、１つ以上のイベント予測を１つ以上のアクションメッセージにマッピングしてもよい。したがって、アクション変換器３０６は、予測されるイベントまたは予測される複数イベントの組み合わせに関連するアクションメッセージを特定してもよい。アクション変換器３０６は、アクションメッセージをアクションフィードバックへと組み合わせてもよい。一部の例において、アクションメッセージは、コンピュータ拡張環境１０６にネイティブな他の１つ以上の命令と組み合わされて、コンピュータ拡張環境１０６に、コンピュータ拡張環境１０６のユーザに対して情報を伝達させてもよい。例として、アクションフィードバックは、コンピュータ拡張環境１０６（またはその任意のコンポーネント）に、ビデオデバイス上での情報の表示、再生デバイスを介したオーディオの再生、ハプティックアクチュエータなどのアクチュエータの作動、またはユーザに感覚情報を受け取らせる他の任意のアクションの実行をさせる命令を含んでもよい。

実装に応じて、特定のセンサデータ、導出されたイベント、イベント予測および／またはアクションフィードバックのみが、リアルタイムプラットフォーム１０２のインスタンスに関連性があるかもしれない。特定のコンピュータ拡張環境に関連性のないイベントを導出または予測することは、パフォーマンスを低下させ、さらに／またはその他コンピューティングリソースを非効率的に配分するかもしれない。したがって、リアルタイムプラットフォーム１０２は、特定のコンピュータ拡張環境向けにリアルタイムの応答性を最適化するべく適応させられてもよい。例として、リアルタイムプラットフォーム１０２は、特徴モデル、予測モデル、フィルタ基準および／またはアクションマッピングを用いて展開または動的に設定されてもよい。

リアルタイムプラットフォーム１０２は、フィルタコントローラ３０８を含んでもよい。フィルタコントローラ３０８は、リアルタイムプラットフォーム１０２の様々な段階を通して情報のフローを制御してもよい。フィルタコントローラ３０８は、フィルタ基準により提供される情報に応じるものであってもよい。例として、フィルタ基準は、特定のセンサデータのみをリアルタイム特徴生成器３０２に到達させてもよい。例として、フィルタ基準は、センサ情報の１つ以上のタイプ、１つ以上の通信チャネルおよび／またはコンピュータ拡張環境１０６の１つ以上のセンサデバイスを特定してもよい。フィルタコントローラ３０８は、フィルタ基準に基づき、特徴生成器３０２に、特定された通信チャネルまたはセンサデバイスからのみデータを受信させてもよい。あるいは、またはさらに、フィルタコントローラ３０８は、特徴生成器３０２に、特定されたタイプのセンサデータを受信させてもよい。

一部の例において、フィルタコントローラ３０８は、特徴生成器３０２に特定のイベントのみを導出させてもよい。例として、フィルタ基準は、特徴モデルを用いて導出するイベントを特定してもよい。特徴生成器３０２は、フィルタ基準により特定されたイベントのみを導出し、他のイベントは導出しなくてもよい。あるいは、またはさらに、特徴コントローラ２０６は、特徴生成器３０２に、高い信頼度レベルで特徴を導出するために使用可能なセンサデータのみを受信させてもよい。

一部の例において、フィルタコントローラ３０８は、イベント予測器３０４に特定のイベントのみを予測させてもよい。例として、フィルタ基準は、予測モデルを用いて予測するイベントを特定してもよい。イベント予測器３０４は、フィルタ基準において特定されたイベントのみを予測してもよい。あるいは、またはさらに、フィルタ基準は予測的マッピングの識別子を含んでもよい。イベント予測器３０４は、識別子に関連する予測マッピングを選択してもよい。イベント予測器３０４は、選択された予測マッピングのみを用いてイベント予測を実行してもよい。

他の例において、フィルタコントローラ３０８は、１つ以上の信頼度閾値に基づき、信頼度の値と予測モデルの出力とを比較してもよい。例として、フィルタ基準は１つ以上の信頼度閾値を含んでもよい。フィルタコントローラ３０８は、イベント予測器３０４に、信頼度閾値未満の信頼度スコアに関連する予測的マッピングを無視させてもよい。

図４は、リアルタイムプラットフォーム１０２の論理のフロー図の例を示す。リアルタイムプラットフォーム１０２は、設定パラメータを受信してもよい（４０２）。設定パラメータは、リアルタイムプラットフォーム１０２の構成セッティングおよび／または論理を含んでもよい。例として、設定パラメータは、特徴モデル、予測モデル、フィルタ基準、アクションマッピングおよび／またはリアルタイムプラットフォーム１０２のその他任意のコンポーネントを含んでもよい。フィルタ基準は、許可対象イベント識別子を含んでもよい。許可対象イベント識別子は、リアルタイムプラットフォームによる処理を許容可能なイベントに対応する。

リアルタイムプラットフォーム１０２は、コンピュータ拡張環境１０６からセンサデータを受信してもよい（４０４）。リアルタイムプラットフォーム１０２は、センサデータを学習プラットフォームに送信してもよい（４０５）。

センサデータは、コンピュータ拡張環境１０６に含まれるセンサから発するか、または導出され得る。リアルタイム学習プラットフォーム１０２は、特徴モデル、予測モデルおよび／またはフィルタ基準を改善するために、学習プラットフォーム１０４にセンサデータを転送してもよい。リアルタイムプラットフォームは、学習プラットフォーム１０４がモデルを更新する間、センサデータの処理を継続してもよい。リアルタイムプラットフォーム１０２は、更新された設定パラメータを受信してもよい。更新された設定パラメータは、更新されたフィルタ基準、更新された予測モデルおよび／または更新された特徴モデルを含んでもよい。リアルタイムプラットフォーム１０２は、以前に設定されたモデルのうちの１つ以上を更新された１つ以上のモデルにより置き換えてもよい。あるいは、またはさらに、リアルタイムプラットフォーム１０２は、以前に設定されたフィルタ基準を更新されたフィルタ基準により置き換えてもよい。

リアルタイムプラットフォーム１０２は、センサデータに基づき複数のイベントを生成してもよい（４０６）。リアルタイムプラットフォーム１０２は、センサデータを特徴モデルへの入力として提供してもよい。特徴モデルは、センサデータに基づき１つ以上のイベントを特定してもよい。一部の例において、イベント（単数または複数）は、物理的空間における動きを示してもよい。特徴モデルは、センサデータと所定のイベントとの間のマッピングに基づき以前に訓練されていてもよい。

一部の例において、センサデータは、複数のセンサが発する、または複数のセンサから導出される、測定値を含んでもよい。センサ測定値は、例として、個々の物理的オブジェクトの空間座標を含んでもよい。物理的オブジェクトは、コンピュータ拡張環境１０６のユーザの視界において可視であってもよい。あるいは、またはさらに、物理的オブジェクトは、コンピュータ拡張環境１０６のセンサ（ビデオカメラなど）により検出されてもよい。リアルタイムプラットフォーム１０２は、個々の物理的オブジェクトの空間座標を比較して、物理的オブジェクトが動いていると判断してもよい。例として、リアルタイムプラットフォーム１０２は、第１のオブジェクト（手など）が第２のオブジェクトの近くへと動いていると判断してもよい。

一部の例において、リアルタイムプラットフォームは、特徴モデルおよびセンサデータに基づき、物理的オブジェクトに対応する位置情報のパターンを判断してもよい。パターンは、イベントに関連してもよい。したがって、１つ以上のパターンの特定は、リアルタイムプラットフォームに、パターンに関連するイベントを生成させてもよい。

リアルタイムプラットフォーム１０２は、許可対象のイベントに対応するイベントを選択してもよい。例として、フィルタ基準は、許可対象イベント識別子を含んでもよい。許可対象イベント識別子は、予測モデルによる処理について許可されるイベントに対応してもよい。リアルタイムプラットフォームは、許可対象イベント識別子により特定されるイベントが、イベント予測器３０４および／またはアクション変換器３０６に入力として提供されることを可能にしてもよい。あるいは、またはさらに、リアルタイムプラットフォームは、許可対象イベント識別子により特定されないイベントが、イベント予測器３０４および／またはアクション変換器３０６に提供されるのを制限してもよい。

リアルタイムプラットフォーム１０２は、予測モデルと、選択されたイベントのうちの少なくとも１つとに基づき、イベントを予想してもよい（４１０）。例として、リアルタイムプラットフォームは、機械学習フレームワークへの入力として、予測モデルおよび／または選択されたイベント（単数または複数）をアクセス提供してもよい。あるいは、またはさらに、リアルタイムプラットフォームは、予測モデルおよび選択されたイベント（単数または複数）に基づき信頼度メトリクスおよび／またはイベント予測を実行してもよく導出してもよい。

リアルタイムプラットフォーム１０２は、予想されるイベントを示すメッセージを生成してもよい（４１２）。例として、リアルタイムプラットフォーム１０２は、リアルタイムプラットフォーム１０２に提供されたアクションマッピングに基づき、予想されるイベントが或るメッセージにマッピングされていると判断してもよい。アクションマッピングは、イベントと、図２を参照して前述されたアクションメッセージなどのアクションメッセージとの間の１つ以上の関連付けを含んでもよい。リアルタイムプラットフォーム１０２は、予想されるイベントがメッセージにマッピングされているとの判断に応答して、１つ以上のアクションマッピングを選択してもよい。リアルタイムプラットフォーム１０２は、アクションマッピングから１つ以上のメッセージを抽出してもよい。

リアルタイムプラットフォーム１０２は、予想されるイベントが発生する前に、表示デバイスにメッセージを表示させてもよい（４１４）。例として、リアルタイムプラットフォーム１０２は、アクションフィードバックを生成してもよい（図２参照）。アクションフィードバックは、表示デバイスを介して表示可能な表示可能コンテンツを含んでもよい。

図５は、学習プラットフォーム１０４の論理のフロー図の例を示す。学習プラットフォーム１０４は、履歴データベース２０２からセンサデータを受信してもよい（５０２）。一部の例において、学習プラットフォームは、１つ以上のリアルタイムプラットフォームからセンサデータを受信してもよい。あるいは、またはさらに、学習プラットフォームは、コンピュータ拡張環境１０６からセンサデータを直接受信してもよい。

学習プラットフォーム１０４は、センサデータから第１のイベントを生成してもよい（５０４）。例として、学習プラットフォーム１０４は、訓練セットにアクセスして、訓練セットに基づき特徴モデルをコンパイルしてもよい。学習プラットフォーム１０４は、センサデータを特徴モデルに適用して第１のイベントを導出してもよい。一部の例において、学習プラットフォーム１０４は、センサデータに基づき特徴モデルを訓練してもよい。例として、学習プラットフォーム１０４は、センサデータと１つ以上のイベント識別子（単数または複数）との間のマッピングを生成してもよい。学習プラットフォーム１０４は、訓練データを特徴モデルにコンパイルするために、人工知能または機械学習フレームワークに訓練データを提出してもよい。

学習プラットフォーム１０４は、特徴モデルをリアルタイムプラットフォーム１０２に送信してもよい。特徴モデル、または関連する確認パラメータは、リアルタイムプラットフォーム１０２に、センサデータおよび特徴モデルに基づき第１のイベントをリアルタイムで検出させてもよい。

学習プラットフォーム１０４は、第１のイベントの後に第２のイベントが発生する信頼度測定値を予測モデルに基づき判断してもよい（５０６）。例として、学習プラットフォーム１０４は、第１のイベント（または複数イベント）の分析を、予測モデルを用いて実行してもよい。一部の例において、学習プラットフォーム１０４は、予測モデルおよびイベントデータを機械学習フレームワークに提出してもよい。あるいは、またはさらに、予測モデルは、前述のように、個々の信頼度測定値に関連する予測的マッピングを含んでもよい。学習プラットフォーム１０４は、第１のイベントに関連する１つ以上の予測的マッピングを特定してもよい。予測的マッピングから第２のイベント（または複数イベント）を抽出する。

一部の例において、学習プラットフォーム１０４は、予測モデルを生成してもよい。学習プラットフォーム１０４は、予測モデルを設定データベース２０４に格納し、且つ／またはリアルタイムプラットフォーム１０２上で予測モデルを設定してもよい。例として、学習プラットフォーム１０４は、分離時間を判断し、分離の前および分離の後にイベントが発生した信頼度を測定してもよい。調査解析は、複数のイベントおよびそれらの連続発生の見込みまで展開されてもよい。あるいは、またはさらに、システム１００は、複数のユーザに基づいて、任意のタイプのイベントが連続して出現する信頼度測定値をもたらしてもよい。イベントの見込みは、相関などの統計的メトリクスを含んでもよい。

学習プラットフォーム１０４は、信頼度測定値が信頼度閾値よりも大きいかどうかを判断してもよい（５０８）。一部の例において、学習プラットフォーム１０４は、信頼度閾値をユーザインターフェースから受信してもよい。例として学習プラットフォーム１０４は、管理者がリアルタイムプラットフォームのインスタンスを設定できるようにするユーザインターフェースを生成してもよい。ユーザインターフェースは、１つ以上の信頼度閾値を受信してもよい。リアルタイムプラットフォーム１０２により提供される予測の精度、速度、量を増減するために、信頼度閾値が変更されてもよい。学習プラットフォーム１０４は、更新された信頼度閾値を受信するのに応答して、更新されたフィルタ基準を生成し、フィルタ基準をリアルタイムプラットフォーム１０２に送信してもよい。

信頼度測定値が信頼度閾値よりも大きいことに応答して、学習プラットフォーム１０４は、リアルタイムプラットフォーム１０２が第１のイベントに基づき第２のイベントを予想することを可能にしてもよい（５１０）。信頼度測定値が信頼度閾値よりも大きくないことに応答して、学習プラットフォーム１０４は、リアルタイムプラットフォーム１０２が第１のイベントに基づき第２のイベントを予想することを制限してもよい（５１２）。

例として、学習プラットフォーム１０４は、リアルタイムプラットフォーム１０２が予測モデルを用いて第２のイベントを予想して、第２のイベントに基づきコンピュータ拡張環境１０６にメッセージを伝達することを許可または制限する、フィルタ基準を生成してもよい。例として、回転基準は、リアルタイムプラットフォーム１０２が予測モデルを用いて第２のイベントを予想して、第２のイベントに基づきコンピュータ拡張環境１０６にメッセージを伝達することを許可または制限する、ルールまたは命令を含んでもよい。あるいは、またはさらに、フィルタ基準は、予測モデルに関連する、許可または制限されたマッピング識別子を複数、含んでもよい。リアルタイムプラットフォーム１０２は、制限されたマッピングではなく、許可されたマッピングに基づくイベント予測のみ生成してもよい

図６は、リアルタイムプラットフォーム１０２の論理の第２の例を示す。リアルタイムプラットフォーム１０２は、設定パラメータを受信してもよい（６０２）。設定パラメータは、リアルタイムプラットフォーム１０２の構成セッティングおよび／または論理を含んでもよい。例として、設定パラメータは、特徴モデル、予測モデル、フィルタ基準、アクションマッピングおよび／またはリアルタイムプラットフォーム１０２のその他任意のコンポーネントを含んでもよい。

リアルタイムプラットフォーム１０２は、コンピュータ拡張環境１０６からセンサデータを受信してもよい（６０４）。リアルタイムプラットフォーム１０２は、センサデータから導出された第１のイベントを生成してもよい（６０６）。センサデータは、コンピュータ拡張環境１０６に含まれるセンサから発するか、または導出され得る。リアルタイムプラットフォーム１０２は、センサデータを特徴モデルへの入力として提供してもよい。特徴モデルは、センサデータに基づき１つ以上のイベントを特定してもよい。一部の例において、イベント（単数または複数）は、物理的空間における動きを示してもよい。特徴モデルは、センサデータと所定のイベントとの間のマッピングに基づき以前に訓練されていてもよい。

一部の例において、センサデータは、複数のセンサが発する、または複数のセンサから導出される、測定値を含んでもよい。センサ測定値は、例として、個々の物理的オブジェクトの空間座標を含んでもよい。物理的オブジェクトは、コンピュータ拡張環境１０６のユーザの視界において可視であってもよい。あるいは、またはさらに、物理的オブジェクトは、コンピュータ拡張環境１０６のセンサ（ビデオカメラなど）により検出されてもよい。リアルタイムプラットフォーム１０２は、個々の物理的オブジェクトの空間座標を比較して、物理的オブジェクトが動いていると判断してもよい。例として、リアルタイムプラットフォーム１０２は、第１のオブジェクト（手など）が第２のオブジェクトの近くへと動いていると判断してもよい。

リアルタイムプラットフォーム１０２は、第１のイベントの後に第２のイベントが発生する信頼度測定値を判断してもよい（６０８）。例として、リアルタイムプラットフォーム１０２は、導出された１つ以上のイベントを、予測モデルを用いて分析してもよい。一部の例において、予測モデルは、イベントマッピングを含んでもよい。例として、イベントマッピングは、第１のイベント識別子と第２のイベント識別子との間の関連付けを含んでもよい。イベントマッピングは、第２のイベントが第１のイベントの後に発生する信頼度を含んでもよい。リアルタイムプラットフォーム１０２は、導出されたイベント（または複数イベント）に関連するマッピングを選択してもよい。

リアルタイムプラットフォーム１０２は、信頼度測定値が信頼度閾値よりも大きいかどうかを判断してもよい。信頼度測定値が信頼度閾値よりも大きくないこと（６１０、いいえ）に応答して、リアルタイムプラットフォーム１０２はイベントを無視してもよい。信頼度測定値が信頼度閾値よりも大きいこと（６１０、はい）に応答して、リアルタイムプラットフォーム１０２はイベントの処理を継続してもよい。

予測されるイベントの信頼度測定値と、信頼度閾値とを比較することにより、リアルタイムプラットフォーム１０２は、どのイベント予測についてアクションを講じ、どのイベント予測を無視するか、選択的に選んでもよい。一部の例において、予測モデルは、予測的マッピング（上記の表１に示された相関マトリクスなど）を含んでもよい。各予測マッピングは、対応する測定値を含んでもよい。したがって、リアルタイムプラットフォーム１０２は、信頼度閾値未満の対応する信頼度測定値に関連する予測マッピングを無視してもよい。あるいは、またはさらに、リアルタイムプラットフォーム１０２は、予測閾値よりも高い対応する信頼度を有する予測マッピングについてのみセンサデータおよび／または導出されたイベントを獲得してもよい。したがって、リアルタイムプラットフォーム１０２は、どのセンサデータを獲得するか、およびどのイベントを導出するかを選択的に選んで、関連性のないセンサデータを受信しないこと、関連性のないイベントを導出しないこと、または関連性のないイベントを予測しないことにより、処理能力およびメモリを節約してもよい。

リアルタイムプラットフォーム１０２は、第２のイベントを示すメッセージを生成してもよい（６１２）。例として、リアルタイムプラットフォーム１０２は、リアルタイムプラットフォーム１０２に提供されたアクションマッピングに基づき、第２のイベントが或るメッセージにマッピングされていると判断してもよい。アクションマッピングは、イベントと、図２を参照して前述されたアクションメッセージなどのアクションメッセージとの間の１つ以上の関連付けを含んでもよい。リアルタイムプラットフォーム１０２は、第２のイベントがメッセージにマッピングされているとの判断に応答して、１つ以上のアクションマッピングを選択してもよい。リアルタイムプラットフォーム１０２は、アクションマッピングから１つ以上のメッセージを抽出してもよい。

リアルタイムプラットフォーム１０２は、第２のイベントが発生する前に、表示デバイスにメッセージを表示させてもよい（６１４）。例として、リアルタイムプラットフォーム１０２は、アクションフィードバックを生成してもよい（図２参照）。アクションフィードバックは、表示デバイスを介して表示可能な表示可能コンテンツを含んでもよい。

フロー図に示された論理は、示されたのに比べて追加の、異なる、またはより少数の動作を含んでもよい。示された動作は、示されたのとは異なる順序で実行されてもよい。

システム１００は、示されたのに比べて追加の、異なる、またはより少数のコンポーネントを用いて実装されてもよい。例として、システムは、コンピュータ拡張環境を備えた、または備えない学習プラットフォーム１０４および／またはリアルタイムプラットフォーム２０４を含んでもよい。あるいは、またはさらに、コンピュータ拡張環境は、学習プラットフォーム１０４および／またはリアルタイムプラットフォームを含んでもよい。各コンポーネントは、追加の、異なる、またはより少数のコンポーネントを含んでもよい。

図７は、システム１００の第２の例を示す。リアルタイムプラットフォーム１０２は、ネットワーク７０２を経由して学習プラットフォーム１０４と通信してもよい。ネットワークは、データリンク間で情報が交換される任意の物理的システムまたは仮想システムを含んでもよい。例として、ネットワークは、相互接続された複数のノードがネットワークプロトコルに従って情報を中継する、ＩＰベースのネットワークなどのコンピュータネットワークを含んでもよい。ネットワークは、物理的デバイスが相互に近接して位置するローカルネットワークであってもよく、またはインターネットなどのワイドエリアネットワークであってもよい。

一部の例において、リアルタイムプラットフォーム１０２は、学習プラットフォーム１０４から物理的に遠隔にあり、ネットワーク７０２により隔てられていてもよい。例として、リアルタイムプラットフォーム１０２がコンピュータ拡張環境１０６の近くに位置する一方で、学習プラットフォーム１０４はサーバまたはクラウドベースのシステム上で設定されてもよい。あるいは、またはさらに、リアルタイムプラットフォーム１０２は、コンピュータ拡張環境またはその一部と同じハードウェアリソースを共有してもよい。他の例において、リアルタイムプラットフォーム１０２は、ローカルネットワーク、または学習プラットフォーム１０４と接続されていない他の何らかのネットワークを経由して、コンピュータ拡張環境と通信してもよい。リアルタイムプラットフォーム１０２をコンピュータ拡張環境１０６の近くに維持することは、レイテンシ、帯域幅およびパフォーマンスに関するその他考慮事項の点で、より高速なパフォーマンスを促進し得る。他の例において、リアルタイムプラットフォーム１０２は、通信してもよく、自己学習プラットフォーム１０４および／またはコンピュータ拡張環境は、それぞれネットワーク７０２を介して通信してもよい。

図８は、システム１００のコンピュータ環境８００の例を示す。コンピュータ環境８００は、リアルタイムプラットフォーム１０２、学習プラットフォーム１０４、コンピュータ拡張環境１０６および／またはその中の任意のサブコンポーネントのハードウェアプラットフォームを含んでもよい。コンピュータ環境８００は、通信インターフェース８１２、入力インターフェース８２８および／またはシステム回路構成８１４を含んでもよい。システム回路構成８１４は、プロセッサ８１６または複数のプロセッサを含んでもよい。あるいは、またはさらに、システム回路構成８１４はメモリ８２０を含んでもよい。

プロセッサ８１６は、メモリ８２０と通信していてもよい。一部の例において、プロセッサ８１６は、通信インターフェース８１２、入力インターフェース８２８および／またはユーザインターフェースなどの追加の構成要素とも通信していてもよい。プロセッサ８１６の例には、汎用プロセッサ、中央処理ユニット、論理ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：中央処理ユニット）／アレイ、マイクロコントローラ、サーバ、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、および／またはデジタル回路、アナログ回路もしくはそれらの何らかの組み合わせが含まれ得る。

プロセッサ８１６は、論理を実行するよう動作可能な１つ以上のデバイスであってもよい。論理は、プロセッサ８１６により実行されるとプロセッサ８１６に、リアルタイムプラットフォーム１０２、特徴生成器３０２、イベント予測器３０４、アクション変換器３０６、フィルタコントローラ３０８、学習プラットフォーム１０４、特徴コントローラ２０６、予測的モデルコントローラ２０８、設定コントローラ２１０、コンピュータ拡張環境１０６またはシステム１００の任意のコンポーネントもしくはサブコンポーネントの論理により実装される機能を実行させる、メモリ８２０または他のメモリに格納されたコンピュータ実行可能命令またはコンピュータコードを含んでもよい。コンピュータコードは、プロセッサ８１６を用いて実行可能な命令を含んでもよい。

メモリ８２０は、データの格納および読み出し、またはその任意の組み合わせをするための任意のデバイスであってもよい。メモリ８２０は、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）またはフラッシュメモリなどの不揮発性および／または揮発性メモリを含んでもよい。あるいは、またはさらに、メモリ８２０は、光学、磁気（ハードドライブ）、ソリッドステートドライブまたはその他任意の形態のデータストレージデバイスを含んでもよい。メモリ８２０は、リアルタイムプラットフォーム１０２、特徴生成器３０２、イベント予測器３０４、アクション変換器３０６、フィルタコントローラ３０８、学習プラットフォーム１０４、履歴データベース２０２、設定データベース２０４、特徴コントローラ２０６、予測的モデルコントローラ２０８、設定コントローラ２１０、コンピュータ拡張環境１０６、システム１００またはシステム１００の任意のコンポーネントもしくはサブコンポーネントのうちの少なくとも１つを含んでもよい。あるいは、またはさらに、メモリは、本願明細書に記載されたシステム１００の他の任意のコンポーネントまたはサブコンポーネントを含んでもよい。

ユーザインターフェース８１８は、グラフィカル情報を表示する任意のインターフェースを含んでもよい。システム回路構成８１４および／または通信インターフェース（単数または複数）８１２は、ユーザインターフェースにグラフィカル情報を表示させる信号またはコマンドをユーザインターフェース８１８に伝達してもよい。あるいは、またはさらに、ユーザインターフェース８１８は、システム１００に対し遠隔にあってもよく、システム回路構成８１４および／または通信インターフェース（単数または複数）は、ＨＴＭＬなどの命令をユーザインターフェースに伝達して、ユーザインターフェースに情報コンテンツを表示、コンパイルおよび／またはレンダリングさせてもよい。一部の例において、ユーザインターフェース８１８により表示されるコンテンツは、インタラクティブであっても、またはユーザ入力に応答してもよい。例として、ユーザインターフェース８１８は、信号、メッセージおよび／または情報を通信インターフェース８１２またはシステム回路構成８１４に伝達し返してもよい。

システム１００は、多数の異なる形で実装され得る。一部の例において、システム１００は、１つ以上の論理コンポーネントを用いて実装されてもよい。例として、システム１００の論理コンポーネントは、ハードウェアであっても、またはハードウェアとソフトウェアとの組み合わせであってもよい。論理コンポーネントは、リアルタイムプラットフォーム１０２、特徴生成器３０２、イベント予測器３０４、アクション変換器３０６、フィルタコントローラ３０８、学習プラットフォーム１０４、履歴データベース２０２、設定データベース２０４、特徴コントローラ２０６、予測的モデルコントローラ２０８、設定コントローラ２１０、コンピュータ拡張環境１０６、システム１００またはシステム１００の任意のコンポーネントもしくはサブコンポーネントを含んでもよい。一部の例では、各論理コンポーネントは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル論理回路、アナログ回路、別々の回路もしくはゲートもしくはその他任意のタイプのハードウェアの組み合わせ、またはそれらの組み合わせを含んでもよい。あるいは、またはさらに、各コンポーネントは、例えば論理コンポーネントの特徴のうち１つ以上を実装するためにプロセッサ８１６または他のプロセッサを用いて実行可能な命令を備えたメモリ８２０の部分などのメモリハードウェアを含んでもよい。論理コンポーネントのいずれか１つが、プロセッサ８１６を用いて実行可能な命令を備えたメモリの部分を含む場合、コンポーネントは、プロセッサ８１６を含んでもよく、または含まなくてもよい。一部の例では、各論理コンポーネントは、メモリ８２０または他の物理メモリのうち、プロセッサ８１６または他のプロセッサ（単数または複数）を用いて実行可能な命令を備えた部分に過ぎず、他のハードウェアをコンポーネントが一切含まなくても対応する論理コンポーネントの特徴が実装されるものであってもよい。各コンポーネントは、含まれるハードウェアがソフトウェアを備える場合であっても少なくともいくらかのハードウェアを含むので、各コンポーネントは区別なくハードウェアコンポーネントと呼ばれ得る。

一部の特徴は、コンピュータ可読ストレージ媒体に格納されるように示されている（例えば、コンピュータ実行可能命令として実装される論理として、またはメモリ内のデータ構造として）。システム１００ならびにその論理およびデータ構造の全部または一部が、１つ以上のタイプのコンピュータ可読ストレージ媒体上に格納され、分散され、またはそこらか読み取られてもよい。コンピュータ可読ストレージ媒体の例には、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、フラッシュドライブ、キャッシュ、揮発性メモリ、不揮発性メモリ、ＲＡＭ、フラッシュメモリまたはその他任意のタイプの１つもしくは複数のコンピュータ可読ストレージ媒体が含まれ得る。コンピュータ可読ストレージ媒体は、ＣＤ−ＲＯＭ、揮発性メモリ、不揮発性メモリ、ＲＯＭ、ＲＡＭまたはその他任意の適切なストレージデバイスなど、任意のタイプの非一時的コンピュータ可読媒体を含んでもよい。

システム１００の処理能力は、複数のプロセッサおよびメモリ間など複数のエンティティ間に分散されてもよく、任意選択で複数の分散型処理システムが含まれる。パラメータ、データベースおよび他のデータ構造は、別々に格納および管理されてもよく、単一のメモリまたはデータベースに組み込まれてもよく、多数の異なる形で論理的および物理的に編成されてもよく、連結リスト、ハッシュテーブルまたは暗黙的ストレージメカニズムなどの様々なタイプのデータ構造を用いて実装されてもよい。プログラムまたは回路構成などの論理は、組み合わされても、または複数のプログラム間に分割されても、いくつかのメモリおよびプロセッサに分散されてもよく、共有ライブラリ（例えばダイナミックリンクライブラリ（ＤＬＬ：ｄｙｎａｍｉｃ ｌｉｎｋ ｌｉｂｒａｒｙ））などのライブラリに実装されてもよい。

記載された特定の実装にかかわらず、すべての説明は限定するものではなく、本質的に例示である。例として、各実装の選択された側面、特徴またはコンポーネントがメモリ（単数または複数）に格納されるものとして表されているが、１つまたは複数のシステムの全部または一部が、例えばハードディスク、フラッシュメモリドライブ、フロッピーディスクおよびＣＤ−ＲＯＭなどの二次ストレージデバイスなど、他のコンピュータ可読ストレージ媒体に格納され、分散され、またはそこから読み取られてもよい。さらに、様々なモジュール、回路構成および画面表示機能性は、かかる機能性の一例でしかなく、同様の機能性を含む他の任意の構成が可能である。

上述したプロセス、方法および／または手法を実装するための個々の論理、ソフトウェアまたは命令は、コンピュータ可読ストレージ媒体上で提供されてもよい。図面に示されまたは本願明細書に記載された機能、動作またはタスクは、コンピュータ可読媒体内またはコンピュータ可読媒体上に格納された論理または命令の１つ以上のセットに応答して実行されてもよい。機能、動作またはタスクは、特定のタイプの命令セット、ストレージ媒体、プロセッサまたは処理戦略とは独立しており、単体または組み合わせで動作する、ソフトウェア、ハードウェア、集積回路、ファームウェア、マイクロコードおよび同様のものにより実行され得る。同じく、処理戦略は、マルチプロセッシング、マルチタスキング、並列処理および同様のものを含んでもよい。一例では、命令はローカルまたは遠隔のシステムによる読み取りのために取り外し可能な媒体デバイス上に格納される。他の例では、論理または命令は、コンピュータネットワークを介した、または電話線での転送のために遠隔位置に格納される。さらに別の例では、論理または命令は、所定のコンピュータ、中央処理ユニット（「ＣＰＵ」）、グラフィック処理ユニット（「ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ」）またはシステム内に格納される。

さらに、特定のコンポーネントが上述されているが、本願明細書に記載された方法、システムおよび製品は、追加の、より少数の、または異なるコンポーネントを含んでもよい。例えばプロセッサは、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、個別論理または他のタイプの回路もしくは論理の組み合わせとして実装されてもよい。同じく、メモリはＤＲＡＭ、ＳＲＡＭ、フラッシュまたはその他任意のタイプのメモリとされ得る。フラグ、データ、データベース、テーブル、エンティティおよびその他データ構造は、別個に格納および管理されてもよく、単一のメモリもしくはデータベースに組み入れられてもよく、分散されてもよく、または多数の異なる形で論理的および物理的に編成されてもよい。コンポーネントは、独立して動作してもよく、または同じプログラムもしくは異なるプログラムを実行する同じ装置の一部であってもよい。コンポーネントは、別々の取り外し可能な回路基板などの別々のハードウェア上に存在してもよく、またはメモリからの命令を実装するために同じメモリおよびプロセッサなど共通のハードウェアを共有してもよい。プログラムは、単一のプログラムの一部であっても、別々のプログラムであっても、またはいくつかのメモリおよびプロセッサにわたって分散していてもよい。

第２のアクションは、第２のアクションが第１のアクションから直接的に生じるかまたは間接的に生じるかとは関係なく、第１のアクション「に応答して」と言われることがある。第２のアクションは、第１のアクションよりも大幅に遅い時間に発生してもよく、それでも第１のアクションに応答してのものとされ得る。同じく、第２のアクションは、第１のアクションと第２のアクションとの間に介在するアクションが起こるとしても、さらに介在するアクションのうちの１つ以上が直接的に第２のアクションを実行させるとしても、第１のアクションに応答してのものと言われることがある。例として、第２のアクションは、第１のアクションがフラグをセットした場合に第１のアクションに応答してのものであってもよく、フラグがセットされるたびに後で第３のアクションが第２のアクションを開始する。

用途を明確化し、且つこれにより公に知らせると、語句「＜Ａ＞、＜Ｂ＞、…および＜Ｎ＞のうちの少なくとも１つ」または「＜Ａ＞、＜Ｂ＞、…＜Ｎ＞またはそれらの組み合わせのうちの少なくとも１つ」、または「＜Ａ＞、＜Ｂ＞、…および／または＜Ｎ＞」は、出願人によって最も広い意味に定義され、この定義は、反対の明示的な主張が出願人によりなされない限り、上文または下文で示唆される他のいずれの定義にも優先し、Ａ、Ｂ、…およびＮを含む群から選択された１つ以上の構成要素を意味する。言い換えれば、この語句は、構成要素Ａ、Ｂ…またはＮのうちの１つ以上の任意の組み合わせを意味し、これには任意の１つの構成要素のみ、または他の構成要素１つ以上と組み合わせた１つの構成要素が含まれ、他の構成要素には、列挙されていない追加の構成要素が組み合わせでさらに含まれることもある。

様々な実施形態が記載されたが、当業者には当然のことながら、はるかに多くの実施形態および実装が可能である。したがって、本願明細書に記載された実施形態は例であり、唯一の可能な実施形態および実装ではない。

Claims (20)

1. プロセッサ
   を含むシステムであって、前記プロセッサは、
   学習プラットフォームから設定パラメータを受信することであって、前記設定パラメータは、フィルタ基準、特徴モデルおよび予測モデルを含み、前記フィルタ基準は、複数の許可対象イベント識別子を含む、前記設定パラメータを受信することと、
   コンピュータ拡張環境からリアルタイムでセンサデータを受信することであって、前記コンピュータ拡張環境は、物理的空間に関係するコンテンツを表示するように構成された表示デバイスを含む、前記センサデータを受信することと、
   前記学習プラットフォームに前記センサデータを送信することであって、前記学習プラットフォームは、前記予測モデルおよび前記特徴モデルを前記センサデータに基づき訓練するように構成されている、前記送信することと、
   物理的オブジェクトに対応する位置情報のパターンを前記特徴モデルおよび前記センサデータに基づき判断することであって、前記パターンは、個々のイベントに関連する、前記位置情報のパターンを判断することと、
   前記センサデータおよび前記判断されたパターンから導出される複数のイベントを生成することであって、前記イベントは、前記物理的空間における動きを示す、前記生成することと、
   前記フィルタ基準に含まれる前記許可対象イベント識別子に対応するイベントを、前記生成されたイベントから選択することと、
   予想されるイベントを、前記予測モデルと、前記選択されたイベントのうちの少なくとも１つとに基づき予想することと、
   前記予想されるイベントを示すアクションメッセージを生成することと、
   前記予想されるイベントが発生する前に、前記コンピュータ拡張環境に前記アクションメッセージを表示させることと、
   をするように構成される、システム。
2. 前記コンピュータ拡張環境は、拡大現実（ＸＲ）環境を含み、前記システムは、
   前記表示デバイス上に仮想シーンを表示するように構成されたヘッドセット
   をさらに含み、前記プロセッサは、前記ヘッドセットに、前記アクションメッセージに含まれる情報を表示するよう命令するようにさらに構成される、請求項１に記載のシステム。
3. 前記プロセッサは、
   前記予想されるイベントが、複数のアクションマッピングの中に含まれるアクションマッピングに関連すると判断することであって、前記アクションマッピングは、関連イベント識別子および個々のアクションメッセージを含む、前記関連すると判断することと、
   前記予想されるイベントが前記アクションマッピングに関連するとの判断に応答して、前記複数のアクションマッピングから前記アクションマッピングを選択することと、
   前記選択されたアクションマッピングから前記アクションメッセージを抽出することと、
   をするようにさらに構成される、請求項１に記載のシステム。
4. 前記センサデータは、ハプティックセンサ、バイオメトリックセンサまたはそれらの組み合わせから受信される、請求項１に記載のシステム。
5. 前記センサデータは、複数のセンサによりもたらされるセンサ測定値を含み、前記センサ測定値は、前記物理的空間における前記物理的オブジェクトの位置情報を含む、請求項１に記載のシステム。
6. 前記特徴モデルは、前記プロセッサに、
   物理的オブジェクトの前記パターンを、前記特徴モデルと、前記センサデータ、動き情報、イベント情報またはそれらの組み合わせとに基づき判断することであって、前記パターンは、前記選択されたイベントのうちの少なくとも１つに関連する、前記物理的オブジェクトのパターンを判断すること
   をさせる命令を含む、請求項５に記載のシステム。
7. 前記プロセッサは、
   更新されたフィルタ基準および更新された予測モデルを含む更新された設定パラメータを受信することと、
   前記フィルタモデルを前記更新されたフィルタモデルにより置き換えることと、
   前記予測モデルを前記更新された予測モデルにより置き換えることと、
   をするようにさらに構成される、請求項６に記載のシステム。
8. 履歴データベースからセンサデータを受信するステップであって、前記センサデータは、コンピュータ拡張環境に含まれる複数のセンサによりもたらされる、前記受信するステップと、
   前記センサデータから導出される第１のイベントを生成するステップと、
   前記第１のイベントの後に第２のイベントが発生する信頼度測定値を、予測モデルに基づき判断するステップと、
   前記信頼度測定値が信頼度閾値よりも大きいと判断するステップと、
   前記信頼度測定値が前記信頼度閾値よりも大きいことに応答して、リアルタイムプラットフォームが前記予測モデルを用いて前記第２のイベントを予想して前記第２のイベントに基づきコンピュータ拡張環境にメッセージを伝達することを許可するフィルタ基準を生成するステップと、
   前記リアルタイムプラットフォームによる受信のために前記フィルタ基準および前記予測モデルを送信するステップと、
   を含む方法。
9. 前記方法は、
   前記センサデータに基づき特徴モデルを訓練するステップ
   をさらに含み、前記第１のイベントを生成するステップは、前記特徴モデルおよび前記センサデータに基づき前記第１のイベントを特定するステップをさらに含む、請求項８に記載の方法。
10. 前記リアルタイムプラットフォームに前記特徴モデルを送信するステップであって、前記特徴モデルは、前記リアルタイムプラットフォームに、前記センサデータおよび前記特徴モデルに基づきイベントをリアルタイムで検出させるように構成される、前記特徴モデルを送信するステップ
    をさらに含む、請求項９に記載の方法。
11. 複数のリアルタイムプラットフォームから前記センサデータを受信するステップと、
    前記センサデータを前記履歴データベースに格納するステップと、
    をさらに含む、請求項８に記載の方法。
12. 前記信頼度閾値を受信するためのフィールドを含むユーザインターフェースを生成するステップと、
    前記ユーザインターフェースに提供された前記信頼度閾値を、前記ユーザインターフェースとのユーザインタラクションに応答して受信するステップと、
    をさらに含む、請求項８に記載の方法。
13. 前記第２のイベントとメッセージとの間の関連付けを含むアクションマッピングを生成するステップと、
    前記リアルタイムプラットフォームに前記アクションマッピングを送信するステップであって、前記アクションマッピングは、前記リアルタイムプラットフォームに、前記第２のイベントを予想するのに応答して前記コンピュータ拡張環境にアクションメッセージを伝達させるように構成される、前記アクションマッピングを送信するステップと、
    をさらに含む、請求項８に記載の方法。
14. 複数のフィールドを含むグラフィカルユーザインターフェースを生成するステップと、
    前記グラフィカルユーザインターフェースとのユーザインタラクションに応答して、前記グラフィカルユーザインターフェースの前記フィールドから前記アクションマッピングを受信するステップと、
    をさらに含む、請求項１３に記載の方法。
15. 物理的空間に対するインタラクティブなオーバーレイをリアルタイムで表示するように構成されたコンピュータ拡張環境からセンサデータを受信するステップと、
    特徴モデル、予測モデルおよびフィルタ基準を取得するステップであって、前記特徴モデルは、前記センサデータに基づきイベントを導出するように訓練され、前記予測モデルは、イベント識別子間の複数の予測的マッピングを含み、前記フィルタ基準は、複数の許可対象イベント識別子を含む、前記取得するステップと、
    前記物理的空間における動きを示す第１のイベントを、前記特徴モデルおよび前記センサデータに基づき導出するステップ、
    前記第１のイベントが前記フィルタ基準に含まれる許可対象イベント識別子に関連すると判断するステップ、
    第２のイベントが前記第１のイベントの後に発生すると前記許可対象イベント識別子および前記予測モデルに基づき予想するステップ、ならびに
    前記第２のイベントを示すアクションメッセージを前記コンピュータ拡張環境に送信するステップ
    により、前記センサデータに基づき前記コンピュータ拡張環境の表示コンテンツをリアルタイムで生成するステップと
    を含む方法。
16. 前記受信されたセンサデータを履歴センサデータを含むデータベースに格納するステップと、
    前記コンピュータ拡張環境の表示コンテンツをリアルタイムで生成するのと同時に、更新された特徴モデル、更新された予測モデル、更新されたフィルタ基準またはそれらの任意の組み合わせを、前記格納されたセンサデータに基づき生成するステップと
    により、前記特徴モデル、前記予測モデルおよび前記フィルタ基準を一括して更新するステップ
    をさらに含む、請求項１５に記載の方法。
17. 前記特徴モデル、前記予測モデルおよび前記フィルタ基準を、前記更新された特徴モデル、前記更新された予測モデルおよび前記更新されたフィルタ基準により、メモリにおいて置き換えるステップ
    をさらに含む、請求項１６に記載の方法。
18. 前記格納されたセンサデータと対応するイベントとの間のマッピングを特徴訓練セットに追加するステップと、
    前記特徴訓練セットに基づく更新された特徴モデルを、機械学習フレームワークに基づき訓練するステップと
    により前記特徴モデルを一括して更新するステップ
    をさらに含む、請求項１５に記載の方法。
19. 前記受信されたセンサデータを履歴センサデータを含むデータベースに格納するステップと、
    前記履歴センサデータに基づき前記予測モデルを訓練するステップであって、前記予測モデルは、前記第２のイベントが前記第１のイベントの後に発生する信頼度測定値を提供するように構成される、前記訓練するステップと、
    前記信頼度測定値が信頼度閾値よりも大きいと判断するステップと、
    前記信頼度測定値が前記信頼度閾値よりも大きいとの判断に応答して前記フィルタ基準に前記第１のイベントの識別子を含めるステップと
    により、前記予測モデルおよび前記フィルタ基準を一括して更新するステップ
    をさらに含む、請求項１５に記載の方法。
20. 前記第２のイベントが発生する前に、前記コンピュータ拡張環境に前記アクションメッセージに含まれるコンテンツを表示させるステップ
    をさらに含む、請求項１５に記載の方法。

Images