JP2021089692A - 動作感知データ生成方法及び動作感知データ生成システム - Google Patents

Abstract

【課題】動作感知データの内容が動作感知装置の機能によって制限されない動作感知データ生成方法および動作感知データ生成システムを提供する。【解決手段】動作感知データ生成システムは、動作感知装置と、プロセッサと、を含む。プロセッサは、第１の動作感知データ内で動作感知装置が検出されるかどうかを解析するＳ３１０。動作感知装置は、ユーザの人体部分で作動し、第１の動作感知データは、第１のセンサに基づいて生成され、動作感知装置は、第１のセンサとは異なる第２のセンサを含む。プロセッサは、第１のセンサと第２のセンサの両方に基づいて第２の動作感知データを生成すべきかどうかを、解析された結果により判定するＳ３３０。したがって、動作感知データの内容が、複数のセンサによって強化されることが可能である。【選択図】図３

Description

本開示は、一般に、感知データに関する生成に関し、特に、動作感知データ生成方法及び動作感知データ生成システムに関する。

電子装置（ゲーム機、コンピュータ、スマートフォン、スマート機器など）上で直観的な操作を提供するのに、ユーザの動作により電子装置を直接に操作すべく、ユーザの動作が検出される場合がある。

従来のアプローチにおいて、一部の電子装置では、ユーザの人体部分（手、脚、頭部など）によって、これらの電子装置の動作を制御することが可能である。例えば、仮想現実（ＶＲ）製品を制御するためのハンドヘルド・コントローラが提供され、各ハンドヘルド・コントローラが、ユーザの手の動作を追跡するセンサを含む。しかし、動作感知データの生成は、センサのタイプによって限定される可能性がある。例えば、一部のセンサの感知結果は、３つの直交軸における位置平行移動と関係する動作感知データを生成するためにだけ使用される可能性があり、回転状況についての動作感知データは生成されない。

動作感知データの内容は、動作感知装置の機能によって制限される。したがって、本開示は、動作感知データ生成方法及び動作感知データ生成システムを対象とする。

例示的な実施形態のうちの１つにおいて、動作感知データ生成方法は、以下のステップを含むが、それらには限定されない。第１の動作感知データ内で動作感知装置が検出されるかどうかが解析される。動作感知装置は、ユーザの人体部分で作動し、第１の動作感知データは、第１のセンサに基づいて生成され、動作感知装置は、第１のセンサとは異なる第２のセンサを含む。第１のセンサと第２のセンサの両方に基づいて第２の動作感知データを生成すべきかどうかが、解析された結果により判定される。

例示的な実施形態のうちの１つにおいて、動作感知データ生成システムは、動作感知装置と、プロセッサとを含むが、これらに限定されない。プロセッサは、第１の動作感知データ内で動作感知装置が検出されるかどうかを解析する。動作感知装置は、ユーザの人体部分で作動し、第１の動作感知データは、第１のセンサに基づいて生成され、動作感知装置は、第１のセンサとは異なる第２のセンサを含む。プロセッサは、解析された結果に応じて、第１のセンサと第２のセンサの両方に基づいて第２の動作感知データを生成すべきかどうかを判定する。

以上のことに鑑みて、１つ又は複数の実施形態において提供される動作感知データ生成方法及び動作感知データ生成システムによれば、第１のセンサが、第２のセンサを含む動作感知装置の動作を検出することができるかどうかが解析され、人体部分に関する動作感知データは、解析された結果により２つのセンサに基づいて生成されてもよい。したがって、動作感知データの内容が、複数のセンサと、動作感知データの内容を強化するための柔軟で便利な方法によって強化されることが可能である。

しかし、本概要は、本開示の態様及び実施形態のすべてを包含するわけではない可能性があり、限定すること、又は制限的であることは、いずれの様態においても意図されていないこと、及び本明細書において開示される発明は、本発明の明白な改良形態及び変形形態を包含するように当業者によって理解されることを理解されたい。

添付の図面は、本開示のさらなる理解をもたらすように含められ、本明細書に組み込まれ、本明細書の一部分を構成する。図面は、本開示の実施形態を例示し、説明とともに、本開示の原理を説明するのに役立つ。

本開示の例示的な実施形態のうちの１つによる動作感知データ生成システムを示すブロック図である。 本開示の例示的な実施形態のうちの１つによる動作感知データ生成システムを示す概略図である。 本開示の例示的な実施形態のうちの１つによる動作感知データ生成方法を示すフローチャートである。 本開示の例示的な実施形態のうちの１つによる動作追跡方法を示す概略図である。 本開示の例示的な実施形態のうちの１つによる動作追跡方法を示す概略図である。

次に、本開示の現在の好ましい実施形態を詳細に参照し、実施例を添付の図面に示す。可能な限り、同一の部分又は同様の部分を参照するのに、同一の参照符号が図面及び説明において使用される。

図１は、本開示の例示的な実施形態のうちの１つによる動作感知データ生成システム１００を示すブロック図である。図１を参照すると、動作感知データ生成システム１００は、１つ又は複数の動作感知装置１１０と、メモリ１３０と、プロセッサ１５０とを含むが、これらに限定されない。一実施形態において、動作感知データ生成システム１００は、ＶＲ技術、ＡＲ技術、ＭＲ技術、ＸＲ技術、又は他の現実関連の技術に適合させられることが可能である。一部の実施形態において、動作感知データ生成システム１００は、外部装置（コンピュータ、ゲーム機、スマートフォン、ダッシュボード埋込み型システム、スマート機器など）を操作するように適合させられることが可能である。

動作感知装置１１０は、装着可能なコントローラ、スマートウォッチ、足首センサ、腰ベルト、又はそれらに類似するものなどのハンドヘルド・コントローラ又は装着可能な装置であることが可能である。一実施形態において、各動作感知装置１００は、ユーザの１つの人体部分に装着可能である。例えば、人体部分は、左手若しくは右手、頭部、左足首若しくは右足首、左脚若しくは右脚、腰、又は他の部分であってもよい。

一実施形態において、動作感知装置１１０は、センサ１１１を含む。センサ１１０は、加速度計、ジャイロスコープ、磁力計、レーザ・センサ、慣性測定ユニット（ＩＭＵ）、赤外線（ＩＲ）センサ、又は前述の動作センサの任意の組合せなどの動作センサであってもよい。センサ１１０は、動作自体を感知するために使用され、センサ１１０自体が配置された人体部分で作動する。例えば、動作センサは、３次元空間における位置及び／又は回転状況自体を検出する。ユーザの人体部分は、動作センサが人体部分で作動するように、動作感知装置１１０を保持すること、装着すること、又は携帯することが可能である。したがって、動作センサの動作は、人体部分の動作を表すことが可能である。

別の実施形態において、センサ１１０は、画像センサ、他のタイプのセンサ、又は複数のセンサの組合せであることが可能である。

一実施形態において、動作感知データ生成システム１００は、１つ又は複数の動作感知装置１２０をさらに含んでよい。動作感知装置１２０は、頭部装着型ディスプレイ（ＨＭＤ）、スマートフォン、カメラ、ラップトップ、測位装置、又はそれらに類似するものであることが可能である。一実施形態において、動作感知装置１２０は、センサ１２１を含む。センサ１２１は、モノクロ・カメラ若しくはカラー・カメラ、ディープ・カメラ、ビデオ・レコーダ、又は画像を取り込むことができる他の画像センサなどのカメラなどの画像センサであってもよい。

一部の実施形態において、センサ１１０は、ユーザの１つ又は複数の人体部分を含む画像を生成すべく、ユーザの１つ又は複数の人体部分に向けて取り込むために使用されてもよい。

別の実施形態において、センサ１２０は、動作センサ、他のタイプのセンサ、又は複数のセンサの組合せであることが可能である。

メモリ１３０は、任意のタイプの固定又は可動なランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュ・メモリ、類似したデバイス、又は以上のデバイスの組合せであってよい。一部の実施形態において、メモリ１３０は、プログラム・コード、デバイス構成、バッファ・データ若しくは永久データ（動作感知データ、画像、動作感知結果など）を記憶するのに使用されることが可能であり、これらのデータについては、後段で概説される。

プロセッサ１５０は、メモリ１３０に結合され、かつプロセッサ１５０は、本開示の例示的な実施形態の手続きを実行すべく、メモリ１３０に記憶されたプログラム・コードをロードするように構成される。一部の実施形態において、プロセッサ１５０の機能は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル・シグナル・プロセッサ（ＤＳＰ）チップ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラム可能なユニットを使用することによって実施されてよい。また、一実施形態において、プロセッサ１５０の機能は、独立した電子デバイス又は集積回路（ＩＣ）によって実施されてもよく、プロセッサ１５０の動作は、ソフトウェアによって実施されてもよい。

プロセッサ１５０は、動作感知装置１１０及び１２０と一緒に配置されても、そのようにされなくてもよいことに留意されたい。しかし、動作感知装置１１０及び１２０、並びにプロセッサ１５０は、互いにデータを送信／受信すべく、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、ＩＲ、又は物理的な送信回路などの適合する通信技術を備えた通信トランシーバをさらに含んでよく、又はそのような通信トランシーバにさらに接続されてもよい。

図２は、本開示の例示的な実施形態のうちの１つによる動作感知データ生成システム２００を示す概略図である。図２を参照すると、動作感知データ生成システム２００が、動作感知装置１１０（例えば、ハンドヘルド・コントローラである）と、動作感知装置１２０（例えば、ＨＭＤである）とを含む。センサ１２１（例えば、ステレオ・カメラである）及びプロセッサ１５０が、ＨＭＤに埋め込まれ、センサ１２１は、操作部分Ｂ１（すなわち、ユーザの左手）及び操作部分Ｂ２（すなわち、ユーザの右手）に向けてカメラ画像を取り込むように構成されてよい。さらに、センサ１１１（例えば、ＩＭＵである）が、操作部分Ｂ２の動作感知結果を獲得すべく、ハンドヘルド・コントローラに埋め込まれる。

動作感知データ生成システム１００又は２００に備えられるさらに多くの動作感知装置１１０が存在することに留意されたい。例えば、動作感知データ生成システム２００は、２つの足首センサと、腰ベルトとをさらに含む。しかし、動作感知装置１１０の数は、これらに限定されない。

本開示の１つ又は複数の実施形態において提供される動作プロセスをよりよく理解すべく、いくつかの実施形態を以下に例示して、動作感知データ生成システム１００の動作プロセスについて詳述する。動作感知データ生成システム１００におけるデバイス及びモジュールは、本明細書において提供される制御方法を説明するために後段の実施形態において適用される。制御方法の各ステップは、実際の実装状況により調整されることが可能であり、本明細書において説明されるものに限定されるべきではない。

図３は、本開示の例示的な実施形態のうちの１つによる動作感知データ生成方法を示すフローチャートである。図３を参照すると、プロセッサ１５０が、第１の動作感知データ内で動作感知装置１１０が検出されるかどうかを解析する（ステップＳ３１０）。具体的には、ユーザは、動作感知装置１１０を保持すること、装着すること、又は携帯することが可能である。具体的には、第１の動作感知データは、動作感知装置１１０が人体部分で作動する人体部分及び／又は動作感知装置１１０の動作と関係する。第１の動作感知データは、センサ１２１に基づいて生成される。

一実施形態において、センサ１２１は、画像センサであり、プロセッサ１５０は、動作感知装置１２０の画像センサによって取り込まれた画像に基づいて第１の動作感知データを生成する。一実施形態において、プロセッサ１５０は、解析された結果を生成すべく、画像に存在した人体部分の動作を決定してよい。このことは、人体部分の動作が、解析された結果と関係することを意味する。

一部の実施形態において、プロセッサ１５０は、動作感知装置１２０で作動する人体部分が画像内で検出されるかどうかを検出してよい。一実施形態において、画像における人体部分は、機械学習技術（深層学習、人工ニューラル・ネットワーク（ＡＮＮ）、又はサポート・ベクター・マシン（ＳＶＭ）など）を通じて識別される。別の実施形態において、人体部分は、２項分類器、適応ブースティング（Ａｄａｂｏｏｓｔ）などの他の物体識別技術を通じて識別されてもよい。

例として、図４は、本開示の例示的な実施形態のうちの１つによる動作追跡方法を示す概略図である。図４を参照すると、動作感知装置１１０を保持する人体部分Ｂ２は、動作感知装置１２０の画像センサの視野ＦＯＶに存在する。別の例として、図５は、本開示の例示的な実施形態のうちの１つによる動作追跡方法を示す概略図である。図５を参照すると、動作感知装置１１０を保持する人体部分Ｂ２は、動作感知装置１２０の画像センサの視野ＦＯＶに存在しない。

別の実施形態において、プロセッサ１５０は、事前定義された１つ又は複数の軌道及び／又は変位を有する第１の動作感知データに基づいて、人体部分の変位又は軌道を比較してもよい。一部の実施形態において、画像における人体部分に対応する感知強度及びピクセル位置が、人体部分の深度情報（すなわち、動作感知装置１２０又は他の基準装置に対する距離）を推定するため、及び動作感知装置１２０と平行な面における人体部分の２Ｄ位置を推定するために使用されることが可能である。プロセッサ１５０は、その距離、及び人体部分の２Ｄ位置により、事前定義された座標系における３Ｄ位置を生成して、人体部分の変位を決定するようにすることが可能である。一実施形態において、第１の動作感知データが、事前定義された軌道及び／又は変位を満たす場合、プロセッサ１５０は、動作感知装置１１０が人体部分で作動していると判定してよく、かつ解析された結果は、第１の動作感知データ内で動作感知装置１１０が検出されることであると判定してもよい。他方、プロセッサ１５０は、第１の動作感知データ内で動作感知装置１１０が検出されないと判定することも可能である。

さらに別の実施形態において、センサ１１０は動作センサであり、センサ１２０は画像センサであり、プロセッサ１５０は、人体部分の動作が、動作センサから獲得された動作感知結果と画像センサによって取り込まれた画像の両方において同一であるかどうかを判定してもよい。異なるタイプのセンサ１１０に関して、動作感知結果は、加速度、回転、磁力、向き、距離、及び／又は位置（以降、呼ばれる）であることが可能であり、位置データ、変位データ、及び／又は回転データを生成するために使用されることが可能である。例えば、人体部分の変位は、３つの軸におけるセンサ１１０の検出された加速度の二重積分を通じて推定されることが可能である。動作感知結果と画像の間の変位、位置、及び／又は回転が、比較されてよい。比較された結果が同一である場合、プロセッサ１５０は、解析された結果は、第１の動作感知データ内で動作感知装置１１０が検出されることであると判定する。他方、比較された結果が同一ではない場合、プロセッサ１５０は、第１の動作感知データ内で動作感知装置１１０が検出されないと判定する。

一部の実施形態において、プロセッサ１５０は、画像内で手のジェスチャをさらに識別してもよい。例えば、保持するジェスチャは、ユーザの手が動作感知装置１１０を保持しているものと見なされる。

プロセッサ１５０が、解析された結果を判定する前に、プロセッサ１５０は、動作感知装置１１０が起動されているかどうかを確認してもよいことに留意されたい。センサ１１０に基づく変動状況、変位状況、及び／又は回転状況が、動作感知装置１１０が静止していないことを確かめるのに使用される。動作感知装置１１０が起動されている場合、プロセッサ１５０は、解析された結果を判定する。

解析結果が判定された後、プロセッサ１５０は、解析された結果により、センサ１１１とセンサ１２１の両方に基づいて第２の動作感知データを生成すべきかどうかを判定し得る（ステップＳ３３０）。具体的には、第１の動作感知データ内で動作感知装置１１０が検出された場合、そのことは、第１の動作感知データが、動作感知装置１１０又は対応する人体部分の動作を決定するのに有用であり得ることを意味する。他方、第１の動作感知データ内で動作感知装置１１０が検出されない場合、第１の動作感知データは役に立たない場合がある。

一実施形態において、プロセッサ１５０は、解析された結果が、第１の動作感知データ内で動作感知装置１１０が検出されることである場合、センサ１１１とセンサ１２１の両方に基づいて第２の動作感知データを生成してもよい。言い換えると、第２の動作感知データは、センサ１１１の動作感知結果とセンサ１２１によって取り込まれた画像の両方に基づいて生成される。動作感知装置１１０の動作センサは、ある期間にわたって、動作感知装置１１０を携帯するユーザの対応する人体部分の動作を感知してよく、プロセッサ１５０は、その期間内の複数の時点において動作センサの動作感知結果（例えば、感知された強度値、度数など）からの第３の動作感知データのシーケンスを生成してもよい。一実施例として、第３の動作感知データは、３自由度（３−ＤｏＦ）情報を含む。別の実施例として、第１の動作感知データは、２Ｄ／３Ｄ空間における人体部分の相対位置及び／又は変位を含む。

一実施形態において、第２の動作感知データは、第１の動作感知データと第３の動作感知データの組合せであることが可能である。例えば、動作センサ及び画像センサに基づく回転データと位置データの重み付けされた組合せである。位置データ又は回転データの値に重量が与えられ、第２の動作感知データは、２つのセンサから獲得された位置データ又は回転データの重量付けされた計算に基づいて生成される。したがって、第２の動作感知データの精度が向上させられることが可能である。

別の実施形態において、第１の動作感知データは、３−ＤｏＦ情報を含み、第２の動作感知データは、６−ＤｏＦ情報を含む。図４を例にとると、人体部分Ｂ２の姿勢は、人体部分Ｂ２上で感知された加速度、回転、及び磁力により推定され、そして、事前定義された座標系における人体部分Ｂ２の回転情報は、センサ１１０の動作感知結果に基づいて決定されることが可能である。加速度データが、人体部分Ｂ２の変位（すなわち、３−ＤｏＦ情報）を推定するのに使用されることが可能である。他方、センサ１２１によって取り込まれた画像における人体部分Ｂ２に対応する感知強度及びピクセル位置は、人体部分Ｂ２の深度情報（すなわち、動作感知装置１２０に対する距離）を推定するため、及びセンサ１２１と平行な面における人体部分Ｂ２の２Ｄ位置を推定するため、並びにその距離、及び人体部分Ｂ２の２Ｄ位置により、事前定義された座標系における３Ｄ位置をさらに生成するために使用されることが可能である。次に、６−ＤｏＦ情報を生成すべく、事前定義された座標系における人体部分Ｂ２の回転と３Ｄ位置が融合されることが可能である。

別の実施形態において、プロセッサ１５０は、解析された結果が、第１の動作感知データ内で動作感知装置１１０が検出されないことである場合、センサ１１１のみに基づいて第２の動作感知データを生成してもよい。一実施形態において、第２の動作感知データは、センサ１１１の動作感知結果に基づく３−ＤｏＦ情報を含むことが可能であるが、６−ＤｏＦ情報を含むことは可能でない。別の実施形態において、第２の動作感知データは、第１の動作感知データのみに基づく加速度データ、回転データ、磁力データ、位置データ、又は他のデータであることが可能である。

動作感知装置１２０の画像センサの視野ＦＯＶに人体部分Ｂ２が入っていない図５を例にとると、動作感知装置１２０のみに基づく身体部分Ｂ２に関する動作感知データは存在しない。しかし、動作感知装置１１０が、人体部分Ｂ２の動作を追跡しつづけることが可能である。

一部の実施形態において、解析された結果がどのようなものであれ、プロセッサ１５０は、センサ１１０のみに基づいて第２の動作感知データを生成してもよいことに留意されたい。

要約すると、前述した例示的な実施形態は、人体部分の動作を決定するのに第１の動作感知データが信頼できるかどうかを判定することが可能であり、かつ２つのセンサの両方、又は１つだけのセンサに基づいて第２の動作感知データをさらに生成することが可能な動作感知データ生成方法及び動作感知データ生成システムについて説明した。その上、第２の動作感知データの内容が強化されることが可能である。

本開示の範囲も趣旨も逸脱することなく、本開示の構造に様々な変形及び変更が行われることが可能であることが、当業者には明白であろう。以上のことに鑑みて、本開示は、本開示の変形及び変更を、それらの変形及び変更が、添付の特許請求の範囲、及び等価物の範囲に含まれるという条件付きで、範囲に含むものとする。

本発明の動作感知データ生成方法及び動作感知データ生成システムは、動作追跡技術において適用することができる。

１００、２００ 動作感知データ生成システム
１１０ 動作感知装置
１１１ センサ
１２０ 動作感知装置
１２１ センサ
１３０ メモリ
１５０ プロセッサ
Ｂ１、Ｂ２ 操作部分
Ｓ３１０、Ｓ３３０ ステップ
ＦＯＶ 視野

Claims (10)

1. 第１の動作感知データ内で動作感知装置が検出されるかどうかを解析するステップであって、前記動作感知装置は、ユーザの人体部分で作動し、前記第１の動作感知データは、第１のセンサに基づいて生成され、前記動作感知装置は、前記第１のセンサとは異なる第２のセンサを備える、ステップと、
   前記第１のセンサと前記第２のセンサの両方に基づいて第２の動作感知データを生成すべきかどうかを、前記解析された結果により判定するステップと
   を含む動作感知データ生成方法。
2. 前記第１のセンサと前記第２のセンサの両方に基づいて前記第２の動作感知データを生成すべきかどうかを、前記解析された結果により判定する前記ステップは、
   前記第１の動作感知データ内で前記動作感知装置が検出されるという前記解析された結果に応じて、前記第１のセンサと前記第２のセンサの両方に基づいて前記第２の動作感知データを生成するステップと、
   前記第１の動作感知データ内で前記動作感知装置が検出されないという前記解析された結果に応じて、前記第２のセンサのみに基づいて前記第２の動作感知データを生成するステップとを含む、請求項１に記載の動作感知データ生成方法。
3. 前記第１のセンサは、画像センサを備え、前記第１の動作感知データは、前記画像センサによって取り込まれた画像に基づいて生成され、
   前記第１の動作感知データ内で前記動作感知装置が検出されるかどうかを解析する前記ステップは、
   前記画像に存在した前記人体部分の動作を判定するステップであって、前記人体部分の前記動作は、前記解析された結果と関係する、ステップを含む、請求項１に記載の動作感知データ生成方法。
4. 前記第１のセンサは、画像センサを備え、前記第２のセンサは、動作センサを備え、
   前記第１の動作感知データ内で前記動作感知装置が検出されるかどうかを解析する前記ステップは、
   前記動作感知装置で作動する前記人体部分を識別するステップと、
   前記人体部分の前記動作が、前記動作センサから獲得された動作感知結果と前記画像センサによって取り込まれた画像の両方において同一であるかどうかを判定するステップと
   を含む、請求項１に記載の動作感知データ生成方法。
5. 前記第２の動作感知データは、前記第１の動作感知データ内で前記動作感知装置が検出されるという前記解析された結果に応じて、６自由度（ＤｏＦ）データを含み、かつ
   前記第２の動作感知データは、前記第１の動作感知データ内で前記動作感知装置が検出されるという前記解析された結果に応じて、３−ＤｏＦ情報を含む、請求項２に記載の動作感知データ生成方法。
6. 動作感知装置と、
   第１の動作感知データ内で前記動作感知装置が検出されるかどうかを解析することであって、前記動作感知装置は、ユーザの人体部分で作動し、前記第１の動作感知データは、第１のセンサに基づいて生成され、前記動作感知装置は、前記第１のセンサとは異なる第２のセンサを備えること、及び
   前記第１のセンサと前記第２のセンサの両方に基づいて第２の動作感知データを生成すべきかどうかを、前記解析された結果により判定すること
   を実行するように構成されたプロセッサと
   を備える動作感知データ生成システム。
7. 前記プロセッサは、
   前記第１の動作感知データ内で前記動作感知装置が検出されるという前記解析された結果に応じて、前記第１のセンサと前記第２のセンサの両方に基づいて前記第２の動作感知データを生成すること、及び
   前記第１の動作感知データ内で前記動作感知装置が検出されないという前記解析された結果に応じて、前記第２のセンサのみに基づいて前記第２の動作感知データを生成することを実行するように構成される、請求項６に記載の動作感知データ生成システム。
8. 前記第１のセンサは、画像センサを備え、前記第１の動作感知データは、前記画像センサによって取り込まれた画像に基づいて生成され、
   前記プロセッサは、前記画像に存在した前記人体部分の動作を判定することであって、前記人体部分の前記動作は、前記解析された結果と関係する、ことを実行するように構成される、請求項６に記載の動作感知データ生成システム。
9. 前記第１のセンサは、画像センサを備え、前記第２のセンサは、動作センサを備え、
   前記プロセッサは、
   前記動作感知装置で作動する前記人体部分を識別すること、及び
   前記人体部分の前記動作が、前記動作センサから獲得された動作感知結果と前記画像センサによって取り込まれた画像の両方において同一であるかどうかを判定することを実行するように構成される、請求項６に記載の動作感知データ生成システム。
10. 前記第２の動作感知データは、前記第１の動作感知データ内で前記動作感知装置が検出されるという前記解析された結果に応じて、６自由度（ＤｏＦ）データを含み、かつ
    前記第２の動作感知データは、前記第１の動作感知データ内で前記動作感知装置が検出されるという前記解析された結果に応じて、３−ＤｏＦ情報を含む、請求項６に記載の動作感知データ生成システム。

Images