JP2021089691A - 動作追跡システム及び動作追跡方法 - Google Patents

Abstract

【課題】動作追跡システム及び動作追跡方法を提供すること。【解決手段】動作追跡システムが、ユーザの人体部分に装着可能な３つの動作感知装置を含む。本方法において、第１の感知データが、動作感知装置上に配置された動作センサに基づいて獲得され、第２の感知データが、動作感知装置の間で送信される無線信号に基づいて獲得される。ユーザの動作情報が、決定要因によって決定される。決定要因は、第１の感知データと、第２の感知データとを含む。したがって、ユーザの動作が、向上した精度で追跡されることが可能である。【選択図】図３

Description

本開示は、一般に、ユーザの動作を追跡するための方法に関し、特に、動作追跡システム及び動作追跡方法に関する。

電子装置（ゲーム機、コンピュータ、スマートフォン、スマート器具など）上で直観的な操作を提供するのに、ユーザの動作に従って電子装置を直接に操作すべく、ユーザの動作が検出される場合がある。

従来の技術において、一部の電子装置では、ユーザの人体部分（手、脚、頭部など）によって、これらの電子装置の動作を制御することが可能であり、これらの人体部分の動作が追跡されることが可能である。しかし、これらの電子装置は、複数の人体部分の動作を同時に検出する１つの方法を提供するにすぎない。例えば、仮想現実（ＶＲ）製品が、ハンドヘルド・コントローラを提供する場合があり、各ハンドヘルド・コントローラは、ユーザの手の動作を追跡する慣性測定ユニット（ＩＭＵ）が含まれている。ときとして、たった１つの動作追跡方法は、その製品のハードウェア又は追跡機構によって限定される場合があり、異常な、又は不正確な追跡結果をもたらす可能性がある。

時には、たった１つのセンサを用いた追跡結果は、正確でない可能性がある。したがって、本開示は、動作追跡システム及び動作追跡方法を対象とする。

例示的な実施形態のうちの１つにおいて、動作追跡方法は、ユーザの人体部分に装着可能な第１の動作感知装置と、第２の動作感知装置と、第３の動作感知装置とを含む動作追跡システムに適合させられる。動作追跡方法は、以下のステップを含むが、これらに限定されない。第１の感知データは、第１の動作感知装置、第２の動作感知装置、及び第３の動作感知装置の上に配置された動作センサに基づいて獲得される。第２の感知データが、第１の動作感知装置、第２の動作感知装置、及び第３の動作感知装置の間で送信される無線信号に基づいて獲得される。ユーザの動作情報が、第１の感知データと、第２の感知データとを含む決定要因により決定される。

例示的な実施形態のうちの１つにおいて、動作追跡システムが、３つの動作感知装置と、プロセッサとを含むが、これらに限定されない。動作感知装置は、ユーザの人体部分に装着可能である。各動作感知装置は、無線トランシーバと、動作センサとを含む。無線トランシーバは、無線信号を送信するため、又は受信するために使用される。動作センサは、ユーザの１つの人体部分の動作を感知するために使用される。プロセッサは、動作感知装置の動作センサに基づいて第１の感知データを獲得し、３つの動作感知装置の間で送信される無線信号に基づいて第２の感知データを獲得し、第１の感知データと、第２の感知データとを含む決定要因によってユーザの動作情報を決定するように構成される。

以上のことに鑑みて、１つ又は複数の実施形態において提供される動作追跡システム及び動作追跡方法によれば、ユーザの１つの操作部分の動作が、無線信号及び動作センサからの感知データに基づいて追跡される。したがって、正確であり、かつ信頼性の高い追跡機構が提供される。

しかし、本概要は、本開示の態様及び実施形態のすべてを包含するわけではない可能性があり、限定すること、又は制限的であることは、いずれの様態においても意図されていないこと、及び本明細書において開示される発明は、本発明の明白な改良形態及び変形形態を包含するように当業者によって理解されることを理解されたい。

添付の図面は、本開示のさらなる理解をもたらすように含められ、本明細書に組み込まれ、本明細書の一部分を構成する。図面は、本開示の実施形態を例示し、説明とともに、本開示の原理を説明するのに役立つ。

本開示の例示的な実施形態のうちの１つによる動作追跡システムを示すブロック図である。 本開示の例示的な実施形態のうちの１つによる動作追跡システムを示す概略図である。 本開示の例示的な実施形態のうちの１つによる動作追跡方法を示すフローチャートである。 本開示の例示的な実施形態のうちの１つによる動作追跡方法を示す概略図である。 本開示の例示的な実施形態のうちの１つによる動作追跡方法を示す概略図である。

次に、本開示の現在の好ましい実施形態を詳細に参照し、実施例を添付の図面に示す。可能な限り、同一の部分又は同様の部分を参照するのに、同一の参照符号が図面及び説明において使用される。

図１は、本開示の例示的な実施形態のうちの１つによる動作追跡システム１０を示すブロック図である。図１を参照すると、動作追跡システム１０が、３つ以上の複数の動作感知装置１００と、計算装置２００とを含むが、これらに限定されない。動作追跡システム１０は、ＶＲ技術、ＡＲ技術、ＭＲ技術、ＸＲ技術、又は他の現実関連の技術に適合させられることが可能である。

各動作感知装置１００は、無線トランシーバ１１０と、動作センサ１３０とを含むが、これらに限定されない。動作感知装置１００は、装着可能なコントローラ、スマート・ウォッチ、足首センサ、腰回りベルト、頭部装着型ディスプレイ（ＨＭＤ）、又はそれらに類似するものなどのハンドヘルド・コントローラ又は装着可能な装置であることが可能である。一実施形態において、各動作感知装置１００は、ユーザの１つの人体部分に装着可能である。人体部分は、手、頭部、足首、脚、腰、又はその他の部分であってよい。

無線トランシーバ１１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）技術、Ｗｉ−Ｆｉ技術、ＩＲ技術、ＲＦＩＤ技術、又はその他の無線通信技術と適合する通信トランシーバであることが可能である。一実施形態において、無線トランシーバ１１０は、他の動作感知装置１００の無線トランシーバ１１０を相手に無線信号を送信するため、及び／又は受信するために使用され、第１の感知データのシーケンスは、動作感知装置１００の間で送信される無線信号に基づいて生成される。第１の感知データのシーケンスの生成に関する詳細なプロセスは、後段で概説される。

動作センサ１３０は、加速度計、ジャイロスコープ、磁力計、慣性測定ユニット（ＩＭＵ）、又は前述のセンサの任意の組合せであってよい。実施形態において、動作センサ１３０は、期間内の複数の時点における動作センサ１３０の感知結果（加速度、回転、磁力など）から第１の感知データのシーケンスを生成すべく、ある期間にわたって、動作感知装置１００を装着した、ユーザの対応する人体部分の動作を感知するために使用される。一実施例として、第１の感知データは、３自由度（３−ＤｏＦ）データを含み、３−ＤｏＦデータは、ヨー、ロール、及びピッチにおける加速度などの、３次元（３Ｄ）空間における人体部分の方向情報と関係する。

計算装置２００は、メモリ２４０と、プロセッサ２５０とを含むが、これらに限定されない。計算装置２００は、コンピュータ、サーバ、スマートフォン、タブレット、又は動作感知装置１００のうちの１つであることが可能である。

メモリ２４０は、任意のタイプの固定又は可動なランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュ・メモリ、類似したデバイス、又はこれらのデバイスの組合せであってよい。メモリ２４０は、プログラム・コード、デバイス構成、バッファ・データもしくは永久データ（感知データ、動作情報、距離関係など）を記憶するのに使用されることが可能であり、これらのデータについては、後段で概説される。

プロセッサ２５０は、メモリ２４０に結合され、かつプロセッサ２５０は、本開示の例示的な実施形態の手続きを実行すべく、メモリ２４０に記憶されたプログラム・コードをロードするように構成される。一実施形態において、プロセッサ２５０の機能は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル・シグナル・プロセッサ（ＤＳＰ）チップ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラム可能なユニットを使用することによって実施されてよい。また、一部の実施形態において、プロセッサ２５０の機能は、独立した電子デバイス又は集積回路（ＩＣ）によって実施されてもよく、プロセッサ２５０の動作は、ソフトウェアによって実施されてもよい。

プロセッサ２５０は、動作感知装置１００のうちの１つ、一部、又はすべてと同一の装置に配置されても、そのようにされなくてもよいことに留意されたい。しかし、動作センサ１３０と、プロセッサ２５０とをそれぞれ備えた装置は、互いにデータを送信／受信すべく、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、ＩＲ、又は物理的な通信回路などの適合する通信技術を備えた通信トランシーバをさらに含んでよい。

一実施形態において、動作追跡システム１０は、頭部装着型ディスプレイ（ＨＭＤ）３００をさらに含んでよい。ＨＭＤ３００は、ユーザの頭部に装着可能である。ＨＭＤ３００は、無線トランシーバ３１０と、画像センサ３６０とを含むが、これらに限定されない。

無線トランシーバ３１０についての説明は、無線トランシーバ１１０の説明を参照することが可能であり、省略される。このことは、ＨＭＤ３００が無線トランシーバ３１０を通じて動作感知装置１００と通信できることを意味する。

画像センサ３６０は、モノクロ・カメラもしくはカラー・カメラ、ディープ・カメラ、ビデオ・レコーダ、又は画像を取り込むことができる他のセンサなどのカメラであってよい。

図２は、本開示の例示的な実施形態のうちの１つによる動作感知システム２０を示す概略図である。図２を参照すると、動作感知システム２０は、ＨＭＤ３００と、４つの動作感知装置１００（人体部分Ｂ１及びＢ２（すなわち、２つの足首）に装着される２つの足首センサ、及び人体部分Ｂ３及びＢ４（すなわち、２つの手）に装着される２つのハンドヘルド・コントローラである）とを含む。一部の実施形態において、ＨＭＤ３００は、人体部分Ｂ５（すなわち、頭部）の方向情報を獲得すべく、別の動作センサ１３０（図示せず）をさらに含んでよい。プロセッサ２５０は、ＨＭＤ３００に埋め込まれる。

動作感知システム２０は、動作感知装置１００、ＨＭＤ３００、及びプロセッサ２５０の配置様態を例示する実施例に過ぎないことに留意されたい。しかし、動作追跡システム１０のさらに多くの他の実装形態が存在し、本開示は、それらに限定されない。

本開示の１つ又は複数の実施形態において提供される動作プロセスをよりよく理解すべく、いくつかの実施形態を以下に例示して、動作追跡システム１０又は２０の動作プロセスについて詳述する。動作追跡システム１０又は２０におけるデバイス及びモジュールは、本明細書において提供される制御方法を説明するために後段の実施形態において適用される。制御方法の各ステップは、実際の実装状況により調整されることが可能であり、本明細書において説明されるものに限定されるべきではない。

図３は、本開示の例示的な実施形態のうちの１つによる動作追跡方法を示すフローチャートである。図３を参照すると、プロセッサ２５０は、３つの動作感知装置１００の上に配置された動作センサ１３０に基づいて第１の感知データを獲得してよい（ステップＳ３１０）。具体的には、様々なタイプの動作センサ１３０に関して、２Ｄ／３Ｄ空間における対応する人体部分の動作に関する加速度、回転、磁力、向き、及び／又は３−ＤｏＦ／６−ＤｏＦが獲得することができ、動作センサ１３０の１つ又は複数の感知結果は、人体部分の第１の感知データのシーケンスになる。

他方、プロセッサ２５０は、３つの動作感知装置１００の間で送信される無線信号に基づいて第２の感知データを獲得してもよい（ステップＳ３３０）。一実施形態において、プロセッサ２５０は、複数の時点で３つ以上の動作感知装置１００から無線信号の信号強度を獲得してもよく、各信号強度は、その信号に対応する送信機及び受信機と一緒にメモリ２４０に記録される。信号強度は、受信信号強度指標（ＲＳＳＩ）、受信チャネル電力インジケータ（ＲＣＰＩ）、基準信号受信電力（ＲＳＲＰ）、又はそれらに類するものであることが可能である。一実施形態において、動作感知装置１００は、検出可能なすべての無線信号の信号強度を監視してもよく、各無線信号は、送信機及び／又は受信機の特定の識別子を含む。動作感知装置１００は、信号強度を、対応する識別子と一緒に計算装置２００にさらにフィードバックしてもよい。別の実施形態において、計算装置２００は、検出可能なすべての無線信号の信号強度を監視し、プロセッサ２５０は、信号強度を、送信機の対応する識別子と一緒にメモリ２４０に記録する。信号強度は、第２の感知データのシーケンスを生成すべくある期間にわたって記録される。このことは、第２の感知データが、時間順に並べられた信号強度のシーケンスを含むことを意味する。

一部の実施形態において、プロセッサ２５０は、画像センサ３６０から取り込まれた画像に基づいて第３の感知データをさらに獲得してもよい。第３の感知データは、画像のシーケンス、及び／又は画像におけるピクセルの感知結果（明るさ、色、深度など）であることが可能である。

次に、プロセッサ２５０は、第１の感知データと、第２の感知データとを含む決定要因によってユーザの動作情報を決定してよい（ステップＳ３５０）。一実施形態において、動作情報は、位置情報と、方向情報とを含んでよい。位置情報に関して、第一に、一実施形態において、プロセッサ２５０は、第１の感知データによりユーザの位置情報を決定してよい。この実施形態において、決定要因は、第１の感知データを含む。対応する人体部分の変位が、変位に基づいて位置情報をさらに決定すべく、３つの軸における人体部分の検出された加速度（すなわち、第２の感知データ）の二重積分を通じて推定されることが可能である。例えば、位置情報は、２つ又は３つの軸における座標、基準に対する位置などであることが可能である。

別の実施形態において、プロセッサ２５０は、３つの動作感知装置１００の間の無線信号に基づく第２の感知データにより位置情報を獲得してもよい。この実施形態において、決定要因は、第２の感知データを含み、無線信号の信号強度は、２つの動作感知装置１００の間の相対距離と関係することに留意されたい。さらに、三辺測量に基づいて、３点間の３つの距離が、その３点の相対位置情報を決定するのに使用されることが可能である。動作感知装置１００のうちの３つが、前述の３点であるものと仮定して、プロセッサ２５０は、各２つの動作感知装置１００の間の相対距離を、動作感知装置１００の間の距離関係として決定することができる。次に、プロセッサ２５０は、距離関係及び三辺測量に基づいて、追跡される装置の位置情報を生成してよい。

動作追跡システム２０を例にとると、プロセッサ２５０は、人体部分Ｂ３に関する動作感知装置１００から人体部分Ｂ５に関するＨＭＤ３００（この実施形態における動作感知装置１００のうちの１つである）までの無線信号の信号強度、人体部分Ｂ４に関する動作感知装置１００から人体部分Ｂ５に関するＨＭＤ３００までの無線信号の信号強度、及び人体部分Ｂ３に関する動作感知装置１００から人体部分Ｂ４に関する動作感知装置１００までの無線信号の信号強度を獲得してよい。プロセッサ２５０は、それらの信号強度によりそれら動作感知装置１００の距離関係を決定してよく、次に、その距離関係に基づいて人体部分Ｂ３の位置情報を生成する。位置情報は、座標又は相対位置であってよい。

実施形態は、どの３つの動作感知装置１００が選択されるかを限定しないことに留意されたい。例えば、人体部分Ｂ２に関する動作感知装置１００から人体部分Ｂ３に関する動作感知装置１００までの無線信号の信号強度、人体部分Ｂ３に関する動作感知装置１００から人体部分Ｂ１に関する動作感知装置１００までの無線信号の信号強度、及び人体部分Ｂ２に関する動作感知装置１００から人体部分Ｂ１に関する動作感知装置１００までの無線信号の信号強度が、人体部分Ｂ１の位置情報を推定するために使用されることが可能である。動作感知装置１００の組合せは、要求に応じて変更することが可能である。

さらに別の実施形態において、プロセッサ２５０は、第３の感知データによりユーザの位置情報を決定してもよい。この実施形態において、決定要因は、第３の感知データを含む。画像における人体部分の位置及び変位が、現実環境における位置情報を決定するために使用されることが可能である。図２を例にとると、信号強度、及び画像における人体部分Ｂ４に対応するピクセル位置が、人体部分Ｂ４の深度情報（すなわち、ＨＭＤ３００に対する距離）を推定するため、及び画像センサ３６０に平行な面における人体部分Ｂ４の２Ｄ位置を推定するために使用されることが可能である。

例えば、無線トランシーバ１１０、動作センサ１３０、及び画像センサ３６０のうちの１つに基づく、１つだけの感知方法に基づく位置情報の精度は、様々である可能性があることに留意されたい。したがって、２つ以上の感知方法が、対応する人体部分の位置情報を決定するのに使用されることが可能である。

一実施形態において、プロセッサ２５０は、第１の感知データにより第１の位置情報を獲得し、第２の感知データにより第２の位置情報を獲得し、かつ第１の位置情報及び第２の位置情報により、調整された位置情報を獲得してもよい。この実施形態において、決定要因は、第１の感知データと、第２の感知データとを含む。プロセッサ２５０は、第１の位置情報と第２の位置情報の組合せにより位置情報を決定してもよい。一部の実施形態において、組合せは、重量付けされた組合せである。調整された位置情報は、重量付けされた第１の位置情報と重量付けされた第２の位置情報の合計により決定される。

一実施形態において、第１の位置情報と第２の位置情報に関する重量付けされた組合せの重量は、固定であってよい。別の実施形態において、第１の位置情報と第２の位置情報に関する重量付けされた組合せの重量は、変更されてよい。第１の位置情報に関する重量が、０％から１００％までの値であることが可能であり、かつ第２の位置情報に関する重量が、０％から１００％までの値であることが可能である。しかし、第１の位置情報に関する重量と第２の位置情報に関する重量の両方が同時に０であってはならない。

一部の実施形態において、画像センサ３６０の画像によって生成される第３の感知データに基づいて決定される位置情報は、無線トランシーバ１１０及び／又は動作センサ１３０に基づいて決定される位置情報と比べて、より正確である可能性があることに留意されたい。したがって、一実施形態において、決定要因は、第２の感知データと、第３の感知データとを含んでもよい。プロセッサ２５０は、第１の感知データ、第２の感知データ、及び第３の感知データに基づいて獲得された位置情報の組合せにより、位置情報を決定してもよい。

一実施形態において、プロセッサ２５０は、第１の持続時間における第２の感知データにより位置情報の第１の部分を獲得し、第２の持続時間における第３の感知データにより位置情報の第２の部分を獲得し、かつ位置情報の第１の部分と第２の部分を組み合わされた位置情報として組み合わせてもよい。人体部分を検出する第３の感知データは、第１の持続時間及び第２の持続時間における第２の感知データに基づく位置情報を補正するのに使用されることが可能である。プロセッサ２５０は、異なる持続時間における位置情報の第１の部分及び第２の部分に基づいて、組み合わされた位置情報を決定してもよい。例えば、位置（１，１）が、第１の持続時間における第２の感知データに基づいて決定され、別の位置（２，１）が、第２の持続時間における第３の感知データに基づいて決定され、組み合わされた位置情報が、位置（１，１）から位置（２，１）への変位であることが可能である。

一部の実施形態において、プロセッサ２５０は、第２の位置情報と第３の位置情報の重量付けされた組合せにより、位置情報を決定してもよい。第２の位置情報と第３の位置情報に関する重量は、実際の状況に基づいて変更されても、固定であってもよい。例えば、第３の位置情報に関する重量は、第２の位置情報と比べて、より大きくてよい。別の実施形態において、位置情報は、第３の感知データに人体部分が存在する場合、重量付けされた組合せであり、位置情報は、第３の感知データに人体部分が存在しない場合、第２の位置情報である。

一実施形態において、画像センサ３６０は、特定の視野（ＦＯＶ）を有するように設計されてもよい。１つの人体部分が、画像センサ３６０の視野の外に位置している場合、プロセッサ２５０は、第３の感知データを使用するだけではこの人体部分の動作情報を決定することができない可能性があり、第１の感知データ又は第２の感知データが考慮されなければならない。

一実施形態において、プロセッサ２５０は、ユーザの１つの人体部分が第３の感知データのシーケンスに存在するかどうかを判定してよく、その人体部分の存在の判定された結果により、３つの動作感知装置１００の間の距離関係を、三辺測量に基づいて位置情報を決定するのに使用すべきかどうかを判定してよい。プロセッサ２５０は、第３の感知データにおいて目標人体部分を識別すべく、機械学習技術（深層学習、人工ニューラル・ネットワーク（ＡＮＮ）、又はサポート・ベクタ・マシン（ＳＶＭ）など）を使用してよい。

図４は、本開示の例示的な実施形態のうちの１つによる動作追跡方法を示す概略図である。図４を参照すると、人体部分Ｂ４に関する動作感知装置１００が目標装置であるものと想定される。この図では、人体部分Ｂ４は、ＨＭＤ３００の視野ＦＯＶに存在する（すなわち、人体部分Ｂ４は、第３の感知データに存在する）。

図５は、本開示の例示的な実施形態のうちの１つによる動作追跡方法を示す概略図である。図５を参照すると、人体部分Ｂ３に関する動作感知装置１００が目標装置であるものと想定される。この図では、人体部分Ｂ３は、ＨＭＤ３００の視野ＦＯＶに存在しない（すなわち、人体部分Ｂ３は、第３の感知データに存在しない）。

図４及び図５に示される視野のサイズ及び形状は、単に実施例であり、実際の要件に基づいて変更されることが可能であることに留意されたい。

したがって、画像センサ３６０の視野は、人体部分が第３の感知データに存在するかどうかを判定するために使用される。一実施形態において、人体部分は、第１の持続時間において視野の外に位置し（すなわち、第３の感知データに存在せず）、人体部分は、第２の持続時間において画像センサ３６０の視野内に位置する（すなわち、第３の感知データに存在する）ものと想定される。一部の実施形態において、人体部分は、第１の持続時間及び第２の持続時間において画像データ３６０の視野内に位置するものと想定される。

別の実施形態において、プロセッサ２５０は、第１の感知データにより第１の位置情報を獲得し、第２の感知データにより第２の位置情報を獲得し、第３の感知データにより第３の位置情報を獲得し、かつ第１の位置情報、第２の位置情報、及び第３の位置情報により、調整された位置情報を獲得してもよい。この実施形態において、決定要因は、第１の感知データと、第２の感知データと、第３の感知データとを含む。プロセッサ２５０は、第１の動作情報、第２の動作情報、及び第３の位置情報の組合せにより、調整された位置情報を決定してもよい。

一実施形態において、組合せは、重量付けされた組合せである。プロセッサ２５０は、第３の位置情報により、第１の位置情報に関する第１の重量、及び第２の位置情報に関する第２の重量を決定してもよい。一実施形態において、第１の重量及び第２の重量は、繰り返し変更される。人体部分が第３の感知データに存在する持続時間において、第３の位置情報は、正しい位置情報と見なされ、第１の重量と第２の重量を用いた第１の位置情報と第２の位置情報の重量付けされた組合せは、第３の位置情報により調整される。プロセッサ２５０は、第１の重量と第１の位置情報を乗算することによって第１のパラメータを獲得し、第２の重量と第２の位置情報を乗算することによって第２のパラメータを獲得し、かつ重量付けされた組合せを獲得するように、第１のパラメータを第２のパラメータに加算することによって、調整された位置情報を獲得してもよいことに留意されたい。

一実施形態において、後続の時点における第１の重量及び第２の重量は、第３の位置情報が、前の時点における第１の位置情報と第２の位置情報の重量付けされた組合せと等しくなる式に基づいて決定されてもよい。例えば、第３の時点で、第１の重量が、０．５であり、第２の重量が、０．５であり、３次元座標系における第１の位置情報が、（６，６，６）であり、第２の位置情報が、（１０，１０，１０）であり、調整された位置情報が、（８，８，８）である。第３の位置情報が、（７，７，７）である場合、第４の時点における第１の重量及び第２の重量は、それぞれ、０．７５及び０．２５として決定される。すると、第４の時点で、３次元座標系における第１の位置情報が（７，６，６）であり、第２の位置情報が（１２，１０，１０）である場合、調整された位置情報は（８．２５，７，７）である。

別の実施形態において、現時点における第１の重量及び第２の重量は、第３の位置情報が、現時点における第１の位置情報と第２の位置情報の重量付けされた組合せと等しくなる式に基づいて決定されてよい。例えば、第２の時点で、３次元座標系における第１の位置情報が（６，６，６）であり、第２の位置情報が（１０，１０，１０）である。第３の位置情報が（７，７，７）である場合、第２の時点における第１の重量及び第２の重量は、それぞれ、０．７５及び０．２５として決定される。すると、第２の時点における調整された位置情報は、（７，７，７）として決定される。

一部の実施形態において、第１の重量及び第２の重量は、ユーザの人体部分が第３の感知データに存在しない場合、固定される。人体部分が、画像センサ３６０の視野の外に位置する場合、第１の重量及び第２の重量は、ユーザの人体部分が第３の感知データに依然として存在する、前の時点における前の第１の重量及び第２の重量と同一である。例えば、人体部分が、第１の時点で画像センサ３６０の視野内に位置し、第１の重量が、０．５であり、第２の重量が、０．５である。次に、第２の時点で、人体部分が、画像センサ３６０の視野の外に位置する。第２の時点で、第１の時点における第１の重量及び第２の重量と同じく、第１の重量は、０．５であり、第２の重量は、０．５である。ユーザの人体部分が第３の感知データに存在するようになるまで、第１の重量及び第２の重量は、第３の感知データにより変更される。

さらに別の実施形態において、プロセッサ２５０は、第１の位置情報、第２の位置情報、及び第３の位置情報の重量付けされた組合せにより、調整された位置情報を決定してもよい。調整された位置情報は、重量付けされた第１の位置情報、重量付けされた第２の位置情報、及び重量付けされた第３の位置情報の合計により決定される。３つの位置情報に関する重量は、実際の状況に基づいて変更されても、固定であってもよい。

他方、方向情報に関して、一実施形態において、プロセッサ２５０は、第１の感知データのシーケンスを方向情報として直接に使用してよい。例えば、方向情報は、加速度、３軸における角速度、向き、３−ＤｏＦ情報及び／又は６−ＤｏＦ情報であることが可能である。

別の実施形態において、プロセッサ２５０は、第３の感知データにより方向情報を決定してよい。図４を例にとると、異なる時点における画像における人体部分Ｂ４の２つの姿勢が、方向情報を推定するために使用されることが可能である。

一部の実施形態において、プロセッサ２５０は、第１の感知データ及び第３の感知データにより方向情報を決定してもよい。方向情報は、第１の感知データと第３の感知データの重量付けされた組合せであってもよい。例えば、位置情報は、動作センサ１３０に基づく重量付けされた第１の方向情報と画像センサ３６０に基づく重量付けされた第２の方向情報の合計により決定される。

一実施形態において、画像センサ３６０の視野は、第３の感知データによる方向情報を使用すべきかどうかについての条件である。人体部分が第３の感知データに存在する場合、方向情報は、第１の感知データ及び第３の感知データにより決定されてよい。人体部分が、第３の感知データに存在しない場合、方向情報は、単に第１の感知データにより決定されてもよい。

一実施形態において、プロセッサ２５０は、方向情報と位置情報の両方によりユーザの動作情報を決定してもよい。方向情報は、前述したとおり、第１の感知データ、第３の感知データ、又は第１の感知データと第３の感知データの組合せに基づいて生成されることが可能である。位置情報は、前述したとおり、第１の感知データ、第２の感知データ、及び第３の感知データのうちの１つに基づいて生成されることが可能である。図２における人体部分Ｂ１又はＢ２を例にとると、動作情報は、持ち上げる動作、指し示す動作、蹴る動作、踏む動作、又は跳ぶ動作と関係し得る。

別の実施形態において、プロセッサ２５０は、第１の感知データに基づく方向情報と、第１の位置情報及び第２の位置情報に基づく調整された位置情報の両方により、ユーザの動作情報を決定し得る。人体部分が第３の感知データに存在するかどうかにかかわらず、プロセッサ２５０は、ユーザの動作を予測することが可能である。

さらに別の実施形態において、プロセッサ２５０は、第１の感知データに基づく方向情報と、第２の感知データ及び第３の感知データに基づく組み合わされた位置情報の両方により、ユーザの動作情報を決定してよい。このことは、動作情報が、人体部分が第３の感知データに存在するときと、第３の感知データに存在しないときの２つの持続時間において、方向情報及び組み合わされた位置情報に基づいて決定されることが可能であることを意味する。

図４及び図５を例にとると、人体部分Ｂ４に関する手を上げる動作が、図４において決定され、手を下げる動作が、図５において決定される。次に、人体部分Ｂ４に関して上から下に振り下ろす動作が決定される。

一実施形態において、プロセッサ２５０は、第２の感知データに基づく位置情報だけにより、ユーザの動作情報を決定してよい。別の実施形態において、プロセッサ２５０は、第２の感知データ及び第３の感知データに基づく組み合わされた位置情報だけにより、ユーザの動作情報を決定してよい。一部の実施形態において、プロセッサ２５０は、人体部分が第３の感知データに存在しない場合、第２の感知データに基づく位置情報だけにより、ユーザの動作情報を決定してよく、人体部分が第３の感知データに存在する場合、第３の感知データに基づく位置情報だけにより、又は組み合わされた位置情報により、ユーザの動作情報を決定してよい。

人体部分の変位又は軌道が追跡されてよく、動作情報は、その変位又は軌道に基づいて決定されることが可能である。図４及び図５を例にとると、人体部分Ｂ３が上から下に動作、人体部分Ｂ４に関する上から下に振り下ろす動作が決定される。

要約すると、前述した例示的な実施形態は、ユーザの複数の操作部分に関する動作追跡システム及び動作追跡方法について説明した。人体部分の動作が、信号強度、動作センサの感知結果、及び／又はカメラ画像に基づいて追跡されることが可能である。カメラ画像の検出された結果により、追跡される人体部分がＦＯＶに存在しなかったことに応じて、動作感知装置の間の信号強度が、位置情報の決定についての動作センサの感知結果の精度の不足を補うのに使用されることが可能である。追跡される人体部分がＦＯＶに存在することに応じて、カメラ画像が、信号強度に基づいて位置推定された結果を補正するのに使用されることが可能である。したがって、複数の追跡方法が、異なる条件に関して使用されることが可能であり、追跡結果の精度が、向上させられることが可能である。

本開示の範囲も趣旨も逸脱することなく、本開示の構造に様々な変形及び変更が行われることが可能であることが、当業者には明白であろう。以上のことに鑑みて、本開示は、本開示の変形及び変更を、それらの変形及び変更が、添付の特許請求の範囲、及び等価物の範囲に含まれるという条件付きで、範囲に含むものとする。

本発明の動作追跡システム及び動作追跡方法は、動作感知技術において適用することができる。

１０、２０ 動作感知システム
１００ 動作感知装置
１１０、３１０ 無線トランシーバ
１３０ 動作センサ
２００ 計算装置
２４０ メモリ
２５０ プロセッサ
３００ 頭部装着型ディスプレイ
３６０ 画像センサ
Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５ 人体部分
Ｓ３１０、Ｓ３３０、Ｓ３５０ ステップ
ＦＯＶ 視野

Claims (11)

1. 動作追跡システムに適合させられた動作追跡方法であって、
   前記動作追跡システムは、ユーザの人体部分に装着可能な第１の動作感知装置と、第２の動作感知装置と、第３の動作感知装置とを備え、動作追跡方法は、
   前記第１の動作感知装置、前記第２の動作感知装置、及び前記第３の動作感知装置の上に配置された動作センサに基づいて第１の感知データを獲得するステップと、
   前記第１の動作感知装置、前記第２の動作感知装置、及び前記第３の動作感知装置の間で送信される無線信号に基づいて第２の感知データを獲得するステップと、
   決定要因によって前記ユーザの動作情報を決定するステップであって、前記決定要因は、前記第１の感知データと、前記第２の感知データとを備える、ステップと
   を含む動作追跡方法。
2. 無線信号を送信する、又は受信する無線トランシーバと、
   ユーザの人体部分のうちの１つの動作を感知する動作センサと、
   をそれぞれが備える、前記ユーザの前記人体部分上に装着可能な３つの動作感知装置と、
   前記３つの動作感知装置の前記動作センサに基づいて第１の感知データを獲得すること、
   前記３つの動作感知装置の間で送信される前記無線信号に基づいて第２の感知データを獲得すること、及び
   決定要因によって前記ユーザの動作情報を決定することであって、前記決定要因は、前記第１の感知データと、前記第２の感知データとを備える、こと
   を実行するように構成されたプロセッサと
   を備える動作追跡システム。
3. 前記ユーザの前記動作情報を決定する前記ステップは、
   前記第１の感知データにより方向情報を獲得するステップと、
   前記第２の感知データにより位置情報を獲得するステップと、
   前記方向情報と前記位置情報の両方により、前記ユーザの前記動作情報を決定するステップとを含む、請求項１に記載の動作追跡方法、又は
   前記プロセッサは、
   前記第１の感知データにより方向情報を獲得すること、
   前記第２の感知データにより位置情報を獲得すること、及び
   前記方向情報と前記位置情報の両方により、前記ユーザの前記動作情報を決定することを実行するように構成される、請求項２に記載の動作追跡システム。
4. 前記ユーザの前記動作情報を決定する前記ステップは、
   前記第１の感知データにより第１の位置情報及び方向情報を獲得するステップと、
   前記第２の感知データにより第２の位置情報を獲得するステップと、
   前記第１の位置情報及び前記第２の位置情報により、調整された位置情報を獲得するステップと、
   前記方向情報と前記調整された位置情報の両方により、前記ユーザの前記動作情報を決定するステップとを含む、請求項１に記載の動作追跡方法、又は
   前記プロセッサは、
   前記第１の感知データにより第１の位置情報及び方向情報を獲得すること、
   前記第２の感知データにより第２の位置情報を獲得すること、
   前記第１の位置情報及び前記第２の位置情報により、調整された位置情報を獲得すること、
   前記方向情報と前記調整された位置情報の両方により、前記ユーザの前記動作情報を決定することを実行するように構成される、請求項２に記載の動作追跡システム。
5. 画像センサから取り込まれた画像に基づいて第３の感知データを獲得するステップをさらに含み、
   前記ユーザの前記人体部分が、前記第３の感知データに存在し、前記決定要因が、前記第３の感知データをさらに備える、請求項１に記載の動作追跡方法、又は
   画像を獲得する画像センサをさらに備え、
   前記プロセッサは、
   前記画像に基づいて第３の感知データを獲得することを実行するように構成され、前記ユーザの前記人体部分が、前記第３の感知データに存在し、前記決定要因が、前記第３の感知データをさらに備える、請求項２に記載の動作追跡システム。
6. 前記ユーザの前記動作情報を決定する前記ステップは、
   前記第１の感知データにより方向情報を獲得するステップと、
   第１の持続時間において前記第２の感知データにより位置情報の第１の部分を獲得するステップと、
   第２の持続時間において前記第３の感知データにより位置情報の第２の部分を獲得するステップと、
   位置情報の前記第１の部分と前記第２の部分を組み合わされた位置情報として組み合わせるステップと、
   前記方向情報と前記組み合わされた位置情報の両方により、前記ユーザの前記動作情報を決定するステップとを含む、請求項５に記載の動作追跡方法、又は
   前記プロセッサは、
   前記第１の感知データにより方向情報を獲得すること、
   第１の持続時間において前記第２の感知データにより位置情報の第１の部分を獲得すること、
   第２の持続時間において前記第３の感知データにより位置情報の第２の部分を獲得すること、
   位置情報の前記第１の部分と前記第２の部分を組み合わされた位置情報として組み合わせること、及び
   前記方向情報と前記組み合わされた位置情報の両方により、前記ユーザの前記動作情報を決定することを実行するように構成される、請求項５に記載の動作追跡システム。
7. 前記ユーザの前記動作情報を決定する前記ステップは、
   前記第１の感知データにより方向情報及び第１の位置情報を獲得するステップと、
   前記第２の感知データにより第２の位置情報を獲得するステップと、
   前記第３の感知データにより第３の位置情報を獲得するステップと、
   前記第１の位置情報、前記第２の位置情報、及び前記第３の位置情報により、調整された位置情報を獲得するステップと、
   前記方向情報と前記調整された位置情報の両方により、前記ユーザの前記動作情報を決定するステップとを含む、請求項５に記載の動作追跡方法、又は
   前記プロセッサは、
   前記第１の感知データにより方向情報及び第１の位置情報を獲得すること、
   前記第２の感知データにより第２の位置情報を獲得すること、
   前記第３の感知データにより第３の位置情報を獲得すること、
   前記第１の位置情報、前記第２の位置情報、及び前記第３の位置情報により、調整された位置情報を獲得すること、並びに
   前記方向情報と前記調整された位置情報の両方により、前記ユーザの前記動作情報を決定することを実行するように構成される、請求項５に記載の動作追跡システム。
8. 前記第１の位置情報、前記第２の位置情報、及び前記第３の位置情報により、前記調整された位置情報を獲得する前記ステップは、
   前記第３の位置情報により第１の重量及び第２の重量を決定するステップと、
   前記第１の重量と前記第１の位置情報を乗算することによって第１のパラメータを獲得するステップと、
   前記第２の重量と前記第２の位置情報を乗算することによって第２のパラメータを獲得するステップと、
   前記第１のパラメータを前記第２のパラメータに加算することによって前記調整された位置情報を獲得するステップとを含む、請求項７に記載の動作追跡方法、又は
   前記プロセッサは、
   前記第３の位置情報により第１の重量及び第２の重量を決定すること、
   前記第１の重量と前記第１の位置情報を乗算することによって第１のパラメータを獲得すること、
   前記第２の重量と前記第２の位置情報を乗算することによって第２のパラメータを獲得すること、
   前記第１のパラメータを前記第２のパラメータに加算することによって前記調整された位置情報を獲得することを実行するように構成される、請求項７に記載の動作追跡システム。
9. 前記第１の重量及び前記第２の重量は繰り返し変更される、請求項８に記載の動作追跡方法、又は請求項８に記載の動作追跡システム。
10. 前記第１の重量及び前記第２の重量は、前記ユーザの前記人体部分が前記第３の感知データに存在しないことに応じて固定される、請求項８に記載の動作追跡方法、又は請求項８に記載の動作追跡システム。
11. 前記ユーザの前記人体部分は、前記第１の持続時間において前記第３の感知データに存在せず、前記ユーザの前記人体部分は、前記第２の持続時間において前記第３の感知データに存在する、請求項６に記載の動作追跡方法、又は請求項６に記載の動作追跡システム。
    
    

Images