JP2021089693A - 行動ベースの構成方法及び行動ベースの構成システム - Google Patents

Abstract

【課題】行動ベースの構成方法及び行動ベースの構成システムを提供すること。【解決手段】 行動ベースの構成システムのプロセッサが、動作感知装置が起動されているかどうかを、動作感知装置からの第１の動作感知データに基づいて判定し、動作感知装置が起動されていることに応じて、ユーザのどの人体部分が動作感知装置で作動するかを判定すべく第２の動作感知データを解析し、動作感知装置で作動する第１の人体部分に関する第１の操作モードを、第１の期間における第２の動作感知データの解析された結果に基づいて構成し、動作感知装置で作動する第２の人体部分に関する第２の操作モードを、第２の期間における第２の動作感知データの解析された結果に基づいて構成する。したがって、ユーザが動作感知装置を使用するのに好都合である。【選択図】図３

Description

本開示は、一般に、構成のための方法に関し、特に、行動ベースの構成方法及び行動ベースの構成システムに関する。

電子装置（ゲーム機、コンピュータ、スマートフォン、スマート機器など）上で直観的な操作を提供するのに、ユーザの動作により電子装置を直接に操作すべく、ユーザの動作が検出される場合がある。

従来のアプローチにおいて、一部の電子装置では、ユーザの人体部分（手、脚、頭部など）によって、これらの電子装置の動作を制御することが可能である。動作センサを備えたハンドヘルド・コントローラ又は他の装着可能な動作感知装置が、ユーザの人体部分を感知するために提供されてもよい。しかし、これらの動作感知装置は、特定の人体部分に合わせて設計される。例えば、ハンドヘルド・コントローラが、ユーザの右手に合わせて設計され、別のハンドヘルド・コントローラが、左手に合わせて設計される。特定の人体部分に合わせたこの制限は、ユーザにとって直観的でない。ユーザは、どのハンドヘルド・コントローラが、ユーザの操作する手に適合しているかをまず識別しなければならない。

従来のアプローチにおいて、動作感知装置は、対応するモードを有するように事前構成される。ときとして、動作感知装置の事前構成は、一部の状況に関して好都合でない。したがって、本開示は、行動ベースの構成方法及び行動ベースの構成システムを対象とする。

例示的な実施形態のうちの１つにおいて、行動ベースの構成方法が、以下のステップを含むが、それらには限定されない。動作感知装置が起動されているかどうかが、動作感知装置からの第１の動作感知データに基づいて判定される。動作感知装置が起動されていることに応じて、ユーザのどの人体部分が動作感知装置で作動しているかを判定すべく、第２の動作感知データが、解析される。第２の動作感知データは、動作感知装置で作動する人体部分と関係する。動作感知装置で作動する第１の人体部分に関する第１の操作モードが、第１の期間における第２の動作感知データの解析された結果に基づいて構成される。動作感知装置で作動する第２の人体部分に関する第２の操作モードが、第２の期間における第２の動作感知データの解析された結果に基づいて構成される。

例示的な実施形態のうちの１つにおいて、行動ベースの構成システムは、動作感知装置と、プロセッサとを含むが、これらに限定されない。プロセッサは、動作感知装置が起動されているかどうかを、動作感知装置からの第１の動作感知データに基づいて判定し、動作感知装置が起動されていることに応じて、ユーザのどの人体部分が動作感知装置と作用させられているかを判定すべく第２の動作感知データを解析し、動作感知装置で作動する第１の人体部分に関する第１の操作モードを、第１の期間における第２の動作感知データの解析された結果に基づいて構成し、動作感知装置で作動する第２の人体部分に関する第２の操作モードを、第２の期間における第２の動作感知データの解析された結果に基づいて構成する。第２の動作感知データは、動作感知装置で作動する人体部分と関係する。

以上のことに鑑みて、１つ又は複数の実施形態において提供される行動ベースの構成方法及び行動ベースの構成システムによれば、ユーザの人体部分の動作が追跡され、人体部分の動作は、どの人体部分が動作感知装置で作動しているかを識別すべく解析される。次に、解析された結果により、異なる人体部分に関して異なる操作モードが、それぞれ、構成されることが可能である。したがって、電子装置を操作するための柔軟で便利な方法が提供される。

しかし、本概要は、本開示の態様及び実施形態のすべてを包含するわけではない可能性があり、限定すること、又は制限的であることは、いずれの様態においても意図されていないこと、及び本明細書において開示される発明は、本発明の明白な改良形態及び変形形態を包含するように当業者によって理解されることを理解されたい。

添付の図面は、本開示のさらなる理解をもたらすように含められ、本明細書に組み込まれ、本明細書の一部分を構成する。図面は、本開示の実施形態を例示し、説明とともに、本開示の原理を説明するのに役立つ。

本開示の例示的な実施形態のうちの１つによる行動ベースの構成システムを示すブロック図である。 本開示の例示的な実施形態のうちの１つによる行動ベースの構成システムを示す概略図である。 本開示の例示的な実施形態のうちの１つによる行動ベースの構成方法を示すフローチャートである。 本開示の例示的な実施形態のうちの１つによる動作追跡方法を示す概略図である。

次に、実施例が添付の図面に示される、本開示の現在の好ましい実施形態を詳細に参照する。可能な限り、同一の部分又は同様の部分を参照するのに、同一の参照符号が図面及び説明において使用される。

図１は、本開示の例示的な実施形態のうちの１つによる行動ベースの構成システム１００を示すブロック図である。図１を参照すると、行動ベースの構成システム１００は、１つ又は複数の動作感知装置１１０と、メモリ１３０と、プロセッサ１５０とを含むが、これらに限定されない。一実施形態において、行動ベースの構成システム１００は、ＶＲ技術、ＡＲ技術、ＭＲ技術、ＸＲ技術、又は他の現実関連の技術に適合させられることが可能である。一部の実施形態において、行動ベースの構成システム１００は、外部装置（コンピュータ、ゲーム機、スマートフォン、ダッシュボード埋込み型システム、スマート機器など）を操作することに適合させられることが可能である。

動作感知装置１１０は、装着可能なコントローラ、スマートウォッチ、足首センサ、腰ベルト、又はそれらに類似するものなどのハンドヘルド・コントローラ又は装着可能な装置であることが可能である。一実施形態において、各動作感知装置１１０は、ユーザの１つの人体部分に装着可能である。例えば、人体部分は、左手若しくは右手、頭部、左足首若しくは右足首、左脚若しくは右脚、腰、又はその他の部分であってもよい。

一実施形態において、動作感知装置１１０は、動作センサを含む。動作センサは、加速度計、ジャイロスコープ、磁力計、レーザ・センサ、慣性測定ユニット（ＩＭＵ）、赤外線（ＩＲ）センサ、又は前述の動作センサの任意の組合せであってもよい。動作センサは、動作自体を感知するために使用され、動作センサ自体が配置された人体部分で作動する。例えば、動作センサは、３次元空間における位置、及び回転状況自体を検出する。ユーザの人体部分は、動作センサが人体部分で作動するように、動作感知装置１１０を保持すること、装着すること、又は携帯することが可能である。したがって、動作センサの動作は、人体部分の動作を表すことが可能である。

一実施形態において、行動ベースの構成システム１００は、１つ又は複数の動作感知装置１２０をさらに含んでもよい。動作感知装置１２０は、頭部装着型ディスプレイ（ＨＭＤ）、スマートフォン、カメラ、ラップトップ、測位装置、又はそれらに類似するものであることが可能である。一実施形態において、動作感知装置１２０は、画像センサを含む。画像センサは、モノクロ・カメラ若しくはカラー・カメラ、ディープ・カメラ、ビデオ・レコーダ、又は画像を取り込むことができる他の画像センサなどのカメラであってもよい。

一部の実施形態において、画像センサは、ユーザの１つ又は複数の人体部分を含む画像を生成すべく、ユーザの１つ又は複数の人体部分に向けて取り込むのに使用されてもよい。

メモリ１３０は、任意のタイプの固定又は可動なランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュ・メモリ、類似したデバイス、又は以上のデバイスの組合せであってもよい。一部の実施形態において、メモリ１３０は、プログラム・コード、デバイス構成、バッファ・データ若しくは永久データ（動作感知データ、画像、動作感知結果、構成など）を記憶するのに使用されることが可能であり、これらのデータについては、後段で概説される。

プロセッサ１５０は、メモリ１３０に結合され、かつプロセッサ１５０は、本開示の例示的な実施形態の手続きを実行すべく、メモリ１３０に記憶されたプログラム・コードをロードするように構成される。一部の実施形態において、プロセッサ１５０の機能は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル・シグナル・プロセッサ（ＤＳＰ）チップ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、その他などのプログラム可能なユニットを使用することによって実施されてもよい。また、一実施形態において、プロセッサ１５０の機能は、独立した電子デバイス又は集積回路（ＩＣ）によって実施されてもよく、プロセッサ１５０の動作は、ソフトウェアによって実施されてもよい。

プロセッサ１５０は、動作感知装置１１０及び１２０と一緒に配置されても、そのようにされなくてもよいことに留意されたい。しかし、動作感知装置１１０及び１２０、ならびにプロセッサ１５０は、互いにデータを送信／受信すべく、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、ＩＲ、又は物理的な送信回路などの適合する通信技術を備えた通信トランシーバをさらに含んでよく、又はそのような通信トランシーバにさらに接続されてもよい。

図２は、本開示の例示的な実施形態のうちの１つによる行動ベースの構成システム２００を示す概略図である。図２を参照すると、行動ベースの構成システム２００が、動作感知装置１１０（ハンドヘルド・コントローラである）と、動作感知装置１２０（ＨＭＤである）とを含む。ステレオ・カメラ１２１（すなわち、画像センサ）及びプロセッサ１５０が、ＨＭＤに埋め込まれ、ステレオ・カメラ１２１は、操作部分Ｂ１（すなわち、ユーザの左手）及び操作部分Ｂ２（すなわち、ユーザの右手）に向けてカメラ画像をキャプチャするように構成されてもよい。さらに、ＩＭＵ１１１（すなわち、動作センサ）が、操作部分Ｂ２の動作感知結果を獲得すべく、ハンドヘルド・コントローラに埋め込まれる。

行動ベースの構成システム１００又は２００に備えられるさらに多くの動作感知装置１１０が存在することに留意されたい。例えば、行動ベースの構成システム２００は、２つの足首センサと、腰ベルトとをさらに含む。しかし、動作感知装置１１０の数は、これらに限定されない。

本開示の１つ又は複数の実施形態において提供される動作プロセスをよりよく理解すべく、いくつかの実施形態を以下に例示して、行動ベースの構成システム１００の動作プロセスについて詳述する。行動ベースの構成システム１００におけるデバイス及びモジュールは、本明細書において提供される制御方法を説明するために、以下の実施形態において適用される。制御方法の各ステップは、実際の実装状況により調整されることが可能であり、本明細書において説明されるものに限定されるべきではない。

図３は、本開示の例示的な実施形態のうちの１つによる行動ベースの構成方法を示すフローチャートである。図３を参照すると、プロセッサ１５０が、動作感知装置１１０が起動されているかどうかを、動作感知装置１１０からの第１の動作感知データに基づいて判定する（ステップＳ３１０）。具体的には、ユーザは、動作感知装置１１０を保持すること、装着すること、又は携帯することが可能である。しかし、動作感知装置１１０は、ユーザの人体部分で作動することのない任意の場所に配置されてもよい。動作感知装置１１０の動作センサは、ある期間にわたって、動作感知装置１１０を携帯するユーザの対応する人体部分の動作を感知してよく、プロセッサ１５０は、その期間内の複数の時点において動作センサの動作感知結果（例えば、感知された強度値、度数など）からの第１の動作感知データのシーケンスを生成してもよい。一実施例として、第１の動作感知データは、３自由度（３−ＤｏＦ）データを含み、３−ＤｏＦデータは、ヨー、ロール、及びピッチにおける加速度などの、３次元（３Ｄ）空間における人体部分の回転情報と関係する。別の実施例として、第１の動作感知データは、２Ｄ／３Ｄ空間における人体部分の相対位置及び／又は変位を含む。

一実施形態において、プロセッサ１５０は、動作感知装置１１０が起動されていることを判定すべく、動作センサの動作感知結果に基づいて、動作感知装置１１０の動作を判定することができる。例えば、プロセッサ１５０は、動作感知装置１１０がまだ静止していないことを確認してもよい。

一部の実施形態において、異なる時点において動作感知装置１１０の動作センサから獲得される第１の動作感知データの変動が決定されてもよい。２つの時点の間の変動の値が、事前定義された閾値より大きい場合、プロセッサ１５０は、動作感知装置１１０が動いており、かつ起動されていると判定してもよい。他方、プロセッサ１５０は、動作感知装置１１０が起動されていないと判定することが可能である。

一部の実施形態において、プロセッサ１５０は、事前定義された１つ又は複数の軌道及び／又は回転を有する第１の動作感知データに基づいて、動作感知装置１１０の変位状況及び／又は回転状況を比較してもよい。第１の動作感知データが、事前定義された軌道及び／又は回転を満たす場合、プロセッサ１５０は、動作感知装置１１０が起動されていると判定してもよい。他方、プロセッサ１５０は、動作感知装置１１０が起動されていないと判定することも可能である。

動作感知装置１１０が起動されている場合、プロセッサ１５０は、ユーザのどの人体部分が動作感知装置１１０で作動しているかを判定すべく、第２の動作感知データを解析してもよい（ステップＳ３３０）。具体的には、第２の動作感知データは、人体部分の動作と関係する。一実施形態において、第２の動作感知データは、動作感知装置１２０から獲得され、プロセッサ１５０は、動作感知装置１２０の画像センサによって取り込まれた画像に基づいて第２の動作感知データを生成する。一実施形態において、プロセッサ１５０は、画像において１つ又は複数の人体部分が検出されたかどうかを検出してもよい。一部の実施形態において、画像における人体部分は、機械学習技術（深層学習、人工ニューラル・ネットワーク（ＡＮＮ）、又はサポート・ベクター・マシン（ＳＶＭ）など）を通じて識別される。別の実施形態において、人体部分は、２項分類器、適応ブースティング（Ａｄａｂｏｏｓｔ）などの他の物体識別技術を通じて識別されてもよい。

一実施形態において、画像において人体部分が検出された場合、プロセッサ１５０は、画像における人体部分の動作により第２の動作感知データを生成してもよい。一部の実施形態において、画像における人体部分に対応する感知強度及びピクセル位置が、第１の操作部分の深度情報（すなわち、動作感知装置１２０又は他の基準装置に対する距離）を推定するため、及び動作感知装置１２０と平行な面における人体部分の２Ｄ位置を推定するために使用されることが可能である。プロセッサ１５０は、その距離、及び人体部分の２Ｄ位置により、事前定義された座標系における３Ｄ位置を生成することが可能である。プロセッサ１５０は、６自由度（６−ＤｏＦ）データ（第２の動作感知データと見なされる）を生成するように、異なる時点における複数の位置により人体部分の変位及び回転データをさらに推定してもよい。一部の実施形態において、２Ｄ／３Ｄ空間における人体部分の相対位置及び／又は変位である３−ＤｏＦデータが、第２の動作感知データであることが可能である。一部の実施形態において、プロセッサ１５０は、画像における手のジェスチャをさらに識別してよく、又は画像に動作感知装置１１０が存在するかどうかをさらに識別してもよい。

別の実施形態において、第２の動作感知データは、動作感知装置１１０から獲得され、プロセッサ１５０は、動作感知装置１１０の動作センサの動作感知結果に基づいて第２の動作感知データを生成する。この実施形態において、第２の動作感知データの生成については、第１の動作感知データの生成を参照することが可能であり、それについての詳細な説明は省略される。

さらに別の実施形態において、第２の動作感知データは、動作感知装置１１０及び動作感知装置１２０から獲得され、プロセッサ１５０は、動作感知装置１１０の動作センサの動作感知結果と、動作感知装置１２０の画像センサによって取り込まれた画像の両方に基づいて、第２の動作感知データを生成する。例えば、画像は、人体部分の位置を推定するために使用されることが可能であり、動作感知結果は、人体部分の回転状況を推定するために使用されることが可能である。別の実施例として、画像と動作感知結果の両方が、人体部分の位置を決定するために使用されることが可能である。さらに別の実施例として、第２の動作感知データは、動作感知結果に基づく位置及び回転データ、並びに画像に基づく位置及び回転データをそれぞれ記録してもよい。

第２の動作感知データが生成された後、プロセッサ１５０は、解析された結果を生成すべく、第２の動作感知データが条件を満たすかどうかを判定してもよい。具体的には、条件は、人体部分の動作が第２の動作感知データに基づいて検出されたことと関係する。ユーザの行動は、どの人体部分が動作感知装置１１０を携帯している／装着している／保持しているかを推定するのに使用されることが可能であるものと想定される。例として、ユーザがハンドヘルド・コントローラを保持するとき、ユーザは自身の腕を持ち上げることが可能である。別の例として、ユーザが足首センサを装着するとき、ユーザは、歩くことを試みることが可能である。他方、人は、一対の手、腕、脚、及び足を有することが可能である。ときとして、変位及び回転は、人体部分の前述した各対における２つの人体部分に関して異なる可能性があり、人体部分のどちらの側であるかを推定するのに使用されることが可能である。

一実施形態において、条件は、人体部分の動作が、動作感知装置１２０から獲得された画像に存在したことと関係する。ユーザは、動作感知装置１１０を携帯する人体部分を動かすことが可能であるものと想定される。一部の実施形態において、各画像は、２つ以上の区域に分割されてよく、人体部分が存在する区域が、どの人体部分が動いているかを判定するのに使用されることが可能である。例として、ユーザが右手を上げ、その右手が画像の右側に存在することが可能である。

一部の実施形態において、画像の人体部分の軌道が、どの人体部分が動いているかを判定するのに使用されることが可能である。例えば、ユーザが歩き、ユーザの膝が画像の下から中央に動いて、脚が動いていると判定されることが可能である。

一部の実施形態において、画像におけるユーザの手のジェスチャが、どの人体部分が動作感知装置１１０を使用するかを判定するのに使用されることが可能である。例えば、親指の指先が、画像における右側に向かっていて、手が動作感知装置１１０を保持すると判定される。

一実施形態において、条件は、人体部分の動作が動作感知結果において検出されたことと関係する。一部の実施形態において、動作感知結果に基づく人体部分の変位及び回転が、どの人体部分が動いているかを判定するのに使用されることが可能である。例として、手が波の動作を実行していると判定されるために、波の動作が検出される。別の例として、ユーザが腰を捻っていると判定されるために、人体部分が水平に回転する。

一部の実施形態において、動作感知結果に基づく人体部分の位置が、どの人体部分が動作感知装置１１０を携帯しているかを判定するのに使用されることが可能である。例えば、人体部分が、左胸の前方に位置し、プロセッサ１５０が、その人体部分が左手であると推定することが可能である。

さらに別の実施形態において、条件は、人体部分の動作が動作感知結果と画像の両方において検出されたことと関係する。一部の実施形態において、人体部分の変位、位置、及び／又は回転が、動作感知結果と画像の組合せに基づいて決定されることが可能であり、その変位、位置、及び／又は回転が、前述したとおり、どの人体部分が動いているか、又は動作感知装置１１０を装着している／携帯している／保持しているかを推定するのに使用されることが可能である。

一部の実施形態において、プロセッサ１５０は、画像において人体部分を識別してよく、かつ人体部分の動作が、動作感知結果と画像の両方において同一であるかどうかを判定してもよい。動作感知結果と画像の両方における変位、位置、及び／又は回転が、比較されてもよい。比較された結果が同一である場合、プロセッサ１５０は、条件が満たされたと判定し、かつ識別された人体部分が動作感知装置１１０と作用させられていると判定する。他方、比較された結果が同一でない場合、プロセッサ１５０は、条件が満たされていないと判定する。

図４は、本開示の例示的な実施形態のうちの１つによる動作追跡方法を示す概略図である。図４を参照すると、人体部分Ｂ１及びＢ２が、動作感知装置１２０の画像センサの視野ＦＯＶに存在する。しかし、人体部分Ｂ１に関して、画像に基づく位置データと同一である、動作感知装置１２０から獲得された動作感知結果に基づく位置データは、存在しない。他方、動作感知装置１２０から獲得された動作感知結果に基づく位置データは、人体部分Ｂ２に関する画像に基づく位置データと同一である。したがって、プロセッサ１５０は、人体部分Ｂ２（すなわち、右手）が動作感知装置１１０を保持すると判定してもよい。

別の実施形態において、動作感知装置１１０が起動されていない場合、プロセッサ１５０は、人体部分の動作を感知すべく、別の動作感知装置（動作感知装置１２０であること、又は動作感知装置１１０とは異なる他の動作感知装置であることが可能である）から獲得された第３の動作感知データを使用してもよい。動作感知装置１１０は、ユーザによって使用されず、したがって、この動作感知装置から獲得された動作感知結果は、信頼できず、別の動作感知データが必要とされるものと想定される。第３の動作感知データは、画像又は他のデータに基づいて生成されてもよい。

例として、ハンドヘルド・コントローラが、第１の動作感知データに基づいて、起動されていない場合、プロセッサ１５０は、ユーザの手の動作を決定すべく、ＨＭＤの画像センサからの別の動作感知データを使用してもよい。

人体部分が判定され、かつ判定された人体部分がユーザの第１の人体部分であるものと想定される場合、プロセッサ１５０は、第１の期間における第２の動作感知データの解析された結果に基づいて、動作感知装置１１０で作動する第１の人体部分に関する第１の操作モードを構成してもよい（ステップＳ３５０）。具体的には、解析された結果は、人体部分が動作感知装置１１０と作用させられたことと関係する。プロセッサ１５０は、第１の人体部分である、判定された人体部分に合わせて動作感知装置１１０の第１の操作モードを構成してもよい。一実施形態において、第１の操作モードは、人体部分の対の右側又は左側と関係する。例えば、プロセッサ１５０は、ハンドヘルド・コントローラに関して右手操作モード又は左手操作モードを構成する。別の実施形態において、第１の操作モードは、シナリオ、コマンド、動作感知機構、その他と関係することが可能である。一部の実施形態において、第１の操作モードは、動作感知装置１２０又は他の外部装置に関して使用されてもよい。第１の期間は、第１の操作モードが構成される持続時間である。一部の実施形態において、第１の期間は、第１の人体部分が動作感知装置１１０で作動しない場合、終了されてもよい。

人体部分が判定され、かつ判定された人体部分が、第１の人体部分とは異なるユーザの第２の人体部分であるものと想定される場合、プロセッサ１５０は、第２の期間における第２の動作感知データの解析された結果に基づいて、動作感知装置１１０で作動する第２の人体部分に関する第２の操作モードを構成してもよい（ステップＳ３７０）。ステップＳ３５０と同様に、プロセッサ１５０は、第２の人体部分である、判定された人体部分に合わせて動作感知装置１１０の第２の操作モードを構成してもよい。第２の操作モードは、第１の操作モードと同一であっても、異なっていてもよい。実施例として、第１の操作モードが、人体部分の対の右側と関係し、第２の操作モードが、人体部分の対の左側と関係する。別の実施例として、第１の操作モードと第２の操作モードはともに、ユーザ・インターフェースに関する操作モードである。一部の実施形態において、第２の操作モードは、シナリオ、コマンド、動作感知機構、その他と関係することも可能であり、第２の操作モードは、動作感知装置１２０又は他の外部装置に関して使用されてもよい。さらに、第２の期間は、第２の操作モードが構成される持続時間である。一部の実施形態において、第２の期間は、第２の人体部分が動作感知装置１１０で作動しない場合、終了されてもよい。第２の期間は、第１の期間と重なり合うようにされても、重なり合うようにされなくてもよいことに留意されたい。

一実施形態において、動作感知装置１１０又は１２０から獲得された動作感知データが、アバターの対応する身体部分の動作を制御するのに使用されることが可能である。例えば、動作感知データが、左脚が現実世界において上がっていることと関係し、アバターの左脚が、仮想世界においてそれに相応して上がってもよい。

一部の実施形態において、プロセッサ１５０は、第１の操作モードでユーザの第１の人体部分に対応するアバターの第１の身体部分を動かしてよく、かつ第２の操作モードでユーザの第２の人体部分に対応するアバターの第２の身体部分を動かしてもよい。アバターの身体部分は、手、頭部、左足首若しくは右足首、左脚若しくは右脚、腰、又はその他の部分であることが可能である。例えば、第１の身体部分及び第１の人体部分が、ユーザの左手に対応しており、かつ第２の身体部分及び第２の人体部分が、ユーザの右手に対応している。すると、アバターの左手の動作情報は、ハンドヘルド・コントローラの左手モードでユーザの左手の動作により生成されてよく、かつアバターの右手の動作情報は、異なる期間における同一のハンドヘルド・コントローラの右手モードでユーザの右手の動作により生成されてもよい。

したがって、動作感知装置１１０の構成は、ユーザの検出された行動に基づいて自動的に設定されることが可能である。例えば、ユーザが、右手によってハンドヘルド・コントローラを保持し、かつ現実世界において右手を振る場合、プロセッサ１５０は、ハンドヘルド・コントローラに関して右手操作モードを構成してよく、ユーザのアバターが、仮想世界において右手を振ってもよい。次に、ユーザが、左手によってハンドヘルド・コントローラを保持し、かつ現実世界において左手を振る場合、同一のハンドヘルド・コントローラが、左手操作モードに切り換えられてよく、ユーザのアバターが、仮想世界において左手を振ってもよい。

要約すると、前述した例示的な実施形態は、人体部分の動作を決定すべく動作感知データを解析することが可能であり、かつどの人体部分が動作感知装置で作動しているかをさらに判定することが可能な、行動ベースの構成方法及び行動ベースの構成システムについて説明した。さらに、判定された人体部分に関する操作モードが、構成されることが可能である。したがって、ユーザが動作感知装置を操作することが便利である。

本開示の範囲も趣旨も逸脱することなく、本開示の構造に様々な変形及び変更が行われることが可能であることが、当業者には明白であろう。以上のことに鑑みて、本開示は、本開示の変形及び変更を、それらの変形及び変更が、添付の特許請求の範囲、及び均等の範囲に含まれるという条件付きで、範囲に含むものとする。

本発明の行動ベースの構成方法及び行動ベースの構成システムは、操作モードの構成において適用されてもよい。

１００、２００ 行動ベースの構成システム
１１０ 動作感知装置
１１１ ＩＭＵ
１２０ 動作感知装置
１２１ ステレオ・カメラ
１３０ メモリ
１５０ プロセッサ
Ｓ３１０、Ｓ３３０、Ｓ３５０、Ｓ３７０ ステップ
ＦＯＶ 視野

Claims (11)

1. 動作感知装置からの第１の動作感知データに基づいて、前記動作感知装置が起動されているかどうかを判定するステップと、
   前記動作感知装置が起動されていることに応じて、ユーザのどの人体部分が前記動作感知装置で作動するかを判定すべく、第２の動作感知データを解析するステップであって、前記第２の動作感知データは、前記動作感知装置で作動する前記人体部分に関する、ステップと、
   第１の期間における前記第２の動作感知データの前記解析された結果に基づいて、前記動作感知装置で作動する第１の人体部分に関する第１の操作モードを構成するステップと、
   第２の期間における前記第２の動作感知データの前記解析された結果に基づいて、前記動作感知装置で作動する第２の人体部分に関する第２の操作モードを構成するステップと
   を含む行動ベースの構成方法。
2. 動作感知装置と、
   前記動作感知装置からの第１の動作感知データに基づいて、前記動作感知装置が起動されているかどうかを判定すること、
   前記動作感知装置が起動されていることに応じて、ユーザのどの人体部分が前記動作感知装置で作動しているかを判定すべく、第２の動作感知データを解析することであって、前記第２の動作感知データは、前記動作感知装置で作動する前記人体部分に関すること、
   第１の期間における前記第２の動作感知データの前記解析された結果に基づいて、前記動作感知装置で作動する第１の人体部分に関する第１の操作モードを構成すること、及び
   第２の期間における前記第２の動作感知データの前記解析された結果に基づいて、前記動作感知装置で作動する第２の人体部分に関する第２の操作モードを構成すること
   を実行するように構成されたプロセッサと
   を備える行動ベースの構成システム。
3. 第２の動作感知データを解析する前記ステップは、
   前記解析された結果を生成すべく、前記第２の動作感知データが条件を満たすかどうかを判定するステップであって、前記条件は、前記人体部分の動作が前記第２の動作感知データに基づいて検出されたことと関係する、請求項１に記載の行動ベースの構成方法、又は
   前記プロセッサは、
   前記解析された結果を生成すべく、前記第２の動作感知データが条件を満たすかどうかを判定することであって、前記条件は、前記人体部分の動作が前記第２の動作感知データに基づいて検出されたことと関係する、ことを実行するように構成される、請求項２に記載の行動ベースの構成システム。
4. 前記第２の動作感知データは、第２の動作感知装置から獲得され、前記第２の動作感知装置は、画像センサを備え、前記第２の動作感知データは、前記画像センサによって取り込まれた画像に基づいて生成され、前記条件は、前記人体部分の動作が、前記画像に存在したことと関係する、請求項３に記載の行動ベースの構成方法、又は
   第２の動作感知装置をさらに備え、
   前記第２の動作感知データは、前記第２の動作感知装置から獲得され、前記第２の動作感知装置は、画像センサを備え、前記第２の動作感知データは、前記画像センサによって取り込まれた画像に基づいて生成され、前記条件は、前記人体部分の動作が、前記画像に存在したことと関係する、請求項３に記載の行動ベースの構成システム。
5. 前記第２の動作感知データは、前記動作感知装置から獲得され、前記動作感知装置は、動作センサを備え、前記第２の動作感知データは、前記動作センサの動作感知結果に基づいて生成され、前記条件は、前記人体部分の動作が、前記動作感知結果において検出されたことと関係する、請求項３に記載の行動ベースの構成方法、又は請求項３に記載の行動ベースの構成システム。
6. 前記第２の動作感知データは、前記動作感知装置及び第２の動作感知装置から獲得され、前記動作感知装置は、動作センサを備え、前記第２の動作感知装置は、画像センサを備え、前記第２の動作感知データは、前記動作センサの動作感知結果と前記画像センサによって取り込まれた画像の両方に基づいて生成され、前記条件は、前記人体部分の動作が、前記動作感知結果と前記画像の両方において検出されたことと関係する、請求項３に記載の行動ベースの構成方法、又は
   第２の動作感知装置をさらに備え、
   前記第２の動作感知データは、前記動作感知装置及び前記第２の動作感知装置から獲得され、前記動作感知装置は、動作センサを備え、前記第２の動作感知装置は、画像センサを備え、前記第２の動作感知データは、前記動作センサの動作感知結果と前記画像センサによって取り込まれた画像の両方に基づいて生成され、前記条件は、前記人体部分の動作が、前記動作感知結果と前記画像の両方において検出されたことと関係する、請求項３に記載の行動ベースの構成システム。
7. 前記第２の動作感知データが前記条件を満たすかどうかを判定する前記ステップは、
   前記人体部分の前記動作が前記動作感知結果と前記画像の両方において同一であるかどうかを判定するステップを含む、請求項６に記載の行動ベースの構成方法、又は
   前記プロセッサは、
   前記人体部分の前記動作が前記動作感知結果と前記画像の両方において同一であるかどうかを判定することを実行するように構成される、請求項６に記載の行動ベースの構成システム。
8. 前記第１の人体部分と前記第２の人体部分のいずれかが、前記ユーザの右手又は左手である、請求項１に記載の行動ベースの構成方法、又は請求項２に記載の行動ベースの構成システム。
9. 前記動作感知装置は、動作センサを備え、前記動作感知装置が起動されていることを判定する前記ステップは、
   前記動作感知装置が起動されていることを判定すべく、前記動作センサの動作感知結果に基づいて、前記動作感知装置の動作を判定するステップを含む、請求項１に記載の行動ベースの構成方法、又は
   前記動作感知装置は、動作センサを備え、前記プロセッサは、
   前記動作感知装置が起動されていることを判定すべく、前記動作センサの動作感知結果に基づいて、前記動作感知装置の動作を判定することを実行するように構成される、請求項２に記載の行動ベースの構成システム。
10. 前記動作感知装置が起動されていないことに応じて、前記人体部分の動作を感知すべく第３の動作感知装置から獲得された第３の動作感知データを使用するステップをさらに含む請求項１に記載の行動ベースの構成方法、又は
    第３の動作感知装置をさらに備え、
    前記プロセッサは、
    前記動作感知装置が起動されていないことに応じて、前記人体部分の動作を感知すべく前記第３の動作感知装置から獲得された第３の動作感知データを使用することを実行するように構成される、請求項２に記載の行動ベースの構成システム。
11. 前記第１の操作モードでは、前記ユーザの前記第１の人体部分に対応するアバターの第１の身体部分を動かすステップと、
    前記第２の操作モードでは、前記ユーザの前記第２の人体部分に対応する前記アバターの第２の身体部分を動かすステップと
    をさらに含む請求項１に記載の行動ベースの構成方法、又は
    前記プロセッサは、
    前記第１の操作モードでは、前記ユーザの前記第１の人体部分に対応するアバターの第１の身体部分を動かすこと、及び
    前記第２の操作モードでは、前記ユーザの前記第２の人体部分に対応する前記アバターの第２の身体部分を動かすことを実行するように構成される、請求項２に記載の行動ベースの構成システム。

Images