JP2021077311A - ヒューマン・コンピュータ・インタラクション・システム及びヒューマン・コンピュータ・インタラクションの方法 - Google Patents

Abstract

【課題】ヒューマン・コンピュータ・インタラクション・システム及びヒューマン・コンピュータ・インタラクションの方法を提供すること。
【解決手段】ヒューマン・コンピュータ・インタラクション・システムは、第１のセンサ、第２のセンサ及びプロセッサを含む。プロセッサは、第１のセンサから第１の操作部の第１の動作感知データを取得し、第１の操作部とは異なる第２のセンサから第２の操作部の第２の動作感知データを取得し、第１の動作感知データ及び第２の動作感知データの両方にしたがって、事象を判定する。したがって、ユーザーの複数の操作部用のハイブリッドな動作追跡方法が提供される。
【選択図】図２

Description

本開示は、一般にユーザーの動作を追跡する方法に関し、特に、ユーザーのヒューマン・コンピュータ・インタラクション・システム及びヒューマン・コンピュータ・インタラクションの方法に関する。

電子機器（ゲーム機、コンピュータ、スマートフォン、スマート家電など）に直観的な操作を提供するため、ユーザーの動作を検出して、ユーザーの動作にしたがって、電子機器を直接操作することができる。

従来の手法では、一部の電子機器は、ユーザーの複数の人体部分（手、脚、頭部など）がこれらの電子機器の操作を制御を可能にし、これらの人体部分の動作を追跡させることができる。しかし、これらの電子機器は、複数の人体部分の動作を同時に検出するための１つの方法を提供しているに過ぎない。例えば、仮想現実（ＶＲ）製品では、手持ち式コントローラを提供して、手持ち式コントローラはそれぞれ、慣性測定ユニット（ＩＭＵ）を含んで、ユーザーの手の動作を追跡する。１つの動作を追跡する方式は、習慣又は所望により、ユーザーによっては制限となることがある。

単に１つのセンサで人体部分の動作を推定するのは難しい。したがって、本開示は、ヒューマン・コンピュータ・インタラクション・システム及びヒューマン・コンピュータ・インタラクションの方法を対象とする。

例示的な実施形態の１つでは、ヒューマン・コンピュータ・インタラクションの方法は、以下の工程を含むが、それに限定されない。第１の動作感知データが取得され、第１の動作感知データは、ユーザーの第１の操作部に関係し、第１のセンサに基づいて生成される。第２の動作感知データが取得され、第２の動作感知データは、第１の操作部とは異なるユーザーの第２の操作部に関係し、第２のセンサに基づいて生成される。１つの事象は、第１の動作感知データ及び第２の動作感知データの両方にしたがって、トリガされる。

例示的な実施形態の１つでは、ヒューマン・コンピュータ・インタラクション・システムは、第１のセンサ、第２のセンサ、及びプロセッサを含むが、それに限定されない。第１のセンサは、ユーザーの第１の操作部に関連した第１の動作感知データを取得する。第２のセンサは、第１の操作部とは異なるユーザーの第２の操作部に関連した第２の動作感知データを取得する。プロセッサは、第１のセンサから取得された画像データに基づいて第１の操作部の第１の動作感知データを取得し、第２のセンサの動作に基づいて第２の操作部の第２の動作感知データを取得し、第１の動作感知データ及び第２の動作感知データの両方にしたがって事象をトリガする。

上述の点から、１つ又は複数の実施形態にて提供されるヒューマン・コンピュータ・インタラクション・システム及びヒューマン・コンピュータ・インタラクションの方法によれば、ユーザーの一操作部の動作は第１のセンサによって追跡され、ユーザーの別の操作部の動作は第２のセンサにより追跡される。したがって、電子機器を操作するための柔軟で便利な方法を提供することができる。

しかし、この概要は、本開示の態様及び実施形態のすべてを包含するわけではなく、限定又は制限することは、いずれの様態においても意図するものではなく、ならびに、本明細書において開示される発明は、本発明の明白な改良形態及び変形形態を包含するように当業者によって理解されるであろうことを理解されたい。

添付の図面は、本開示のさらなる理解をもたらすように含められ、本明細書に組み込まれ、本明細書の一部分を構成する。図面は、本開示の実施形態を例示し、説明と一緒に、本開示の原理を明らかにする役割をする。

本開示の例示的な実施形態の１つによる、ヒューマン・コンピュータ・インタラクション・システムを示すブロック図である。 本開示の例示的な実施形態の１つによる、ヒューマン・コンピュータ・インタラクションの方法を示すフローチャートである。 本開示の例示的な実施形態の１つによる、ヒューマン・コンピュータ・インタラクション・システムを示す概略図である。 本開示の例示的な実施形態の１つによる、別のヒューマン・コンピュータ・インタラクション・システムを示す概略図である。

ここで、本開示の現在の好ましい実施形態を詳細に参照し、その例を添付の図面に示す。可能限り、同一の部分、又は同様の部分を参照するのに同一の参照符号が、図面及び説明において使用される。

図１は、本開示の例示的な実施形態の１つによるヒューマン・コンピュータ・インタラクション・システム１００を示すブロック図である。図１に示すように、ヒューマン・コンピュータ・インタラクション・システム１００は、１つ又は複数の第１のセンサ１１０、１つ又は複数の第２のセンサ１２０、メモリ１３０及びプロセッサ１５０を含むが、これらに限定されない。一実施形態では、ヒューマン・コンピュータ・インタラクション・システム１００は、ＶＲ技術、ＡＲ技術、ＭＲ技術、ＸＲ技術又はその他の現実関連技術に適合され得る。実施形態によっては、ヒューマン・コンピュータ・インタラクション・システム１００は、外部機器（コンピュータ、ゲーム機、スマートフォン、ダッシュボード搭載型システム、スマート家電など）を操作するよう適合され得る。

一実施形態では、第１のセンサ１１０は、モノクロ・カメラもしくはカラー・カメラ、ディープ・カメラ、ビデオ録画機、又は画像を取り込めるその他の画像センサなどのカメラであってもよい。

実施形態によっては、第１のセンサ１１０を使用して、ユーザーの１つ又は複数の操作部に向かって取り込み、ユーザーの操作部を含む画像データを生成することができる。例えば、１つ又は複数の操作部には、ユーザーの顔、手、頭部、足首、脚、腰回り、又はその他の人体部分が含まれてもよい。

一実施形態では、ヒューマン・コンピュータ・インタラクション・システム１００は、頭部装着型ディスプレイ（ＨＭＤ）をさらに含み、第１のセンサ１１０はＨＭＤに埋め込まれる。実施形態によっては、第１のセンサ１１０は、第１のセンサ１１０が標的操作部を取り込める任意の場所に配置されてもよい。

別の実施形態では、第１のセンサ１１０は、加速度計、ジャイロスコープ、磁気計、レーザ・センサ、慣性測定ユニット（ＩＭＵ）、赤外線（ＩＲ）センサ、又は上述の動作センサの任意の組み合わせであってもよい。第１のセンサ１１０は、動作自体を感知するため使用され、それ自体が配置される操作部により作動する。例えば、第１のセンサ１１０は、３次元空間内における位置及び回転状況自体を検出する。

実施形態によっては、ヒューマン・コンピュータ・インタラクション・システム１００は、１つ又は複数のコントローラ（例えば、手持ち式コントローラ、装着型機器（装着型コントローラ、スマートウォッチ、足首センサ、又はＨＭＤなど））をさらに含み、第１のセンサ１１０は、コントローラ内に埋め込まれる。ユーザーの操作部は、コントローラを保持、着用、又は携帯してもよい。第１のセンサ１１０は、ユーザーの操作部と共に移動又は回転させることができる。したがって、第１のセンサ１１０の動作は、操作部の動作を表すことができる。

さらに別の実施形態では、第１のセンサ１１０は、上述の画像センサ及び動作センサの両方を含んでもよい。

同様に、第２のセンサ１２０は、任意の種類の上述の画像センサ又は任意の種類の上述の動作センサであってもよい。実施形態によっては、第２のセンサ１２０は、画像センサ及び動作センサの両方を含んでもよい。第２のセンサ１２０と第１のセンサ１１０との間の違いは、第２のセンサ１２０を使用して、第１のセンサ１１０によって感知される操作部とは異なるユーザーの別の操作部の動作を感知することであることに留意されたい。

メモリ１３０は、任意の種類の固定された又は可動のランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュ・メモリ又は同様のデバイスあるいは上記のデバイスの組み合わせであってもよい。メモリ１３０を使用して、プログラム・コード、デバイス構成、バッファ・データ又は永久データ（動作感知データ、画像データ、操作コマンドなど）を保存することができ、これらのデータについては後段で概説される。

プロセッサ１５０はメモリ１３０に結合され、プロセッサ１５０は、メモリ１３０に保存されたプログラム・コードを読み込み、本開示の例示的な実施形態の手順を実施するように構成される。実施形態によっては、プロセッサ１５０の機能は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）チップ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラム可能なユニットを使用することにより、実装できる。一実施形態では、プロセッサ１５０の機能は、独立した電子デバイス又は集積回路（ＩＣ）によって実装することもでき、プロセッサ１５０の動作はソフトウェアによって実施することもできる。

プロセッサ１５０は、第１のセンサ１１０又は第２のセンサ１２０と同じ機器に配置されてもされなくてもよいことに留意されたい。しかし、第１のセンサ１１０、第２のセンサ１２０及びプロセッサ１５０をそれぞれ装備した機器は、ブルートゥース、Ｗｉ−Ｆｉ、赤外線（ＩＲ）、又は物理伝送線路などの適合する通信技術を備えた通信送受信機をさらに含んで、互いにデータを送受信できる。

本開示の１つ又は複数の実施形態にて提供される操作手順をより良く理解するため、いくつかの実施形態を以下に例示して、ヒューマン・コンピュータ・インタラクション・システム１００の操作手順を詳述する。ヒューマン・コンピュータ・インタラクション・システム１００のデバイス及びモジュールを、以下の実施形態において適用して、本明細書にて提供される制御方法を説明する。制御方法の各工程は、実際の実装状況にしたがって調節可能であり、本明細書に説明されるものに制限されるべきではない。

図２は、本開示の例示的な実施形態の１つによる、ヒューマン・コンピュータ・インタラクションの方法を示すフローチャートである。図２を参照すると、プロセッサ１５０は、第１のセンサ１１０から第１の動作感知データを取得することができる（工程Ｓ２１０）。具体的には、第１の動作感知データは、ユーザーの第１の操作部に関連し、第１のセンサ１１０に基づいて生成される。プロセッサ１５０は、ユーザーの１つもしくは複数の人体部分を予め定義するか、又はユーザーからの選択による１つもしくは複数の人体部分を選択して、第１の操作部の種類として決定することができる。例えば、右手は、既定の第１の操作部であろう。別の実施例では、ヒューマン・コンピュータ・インタラクション・システム１００は、ＵＩを提示するためのディスプレイを備え、ＵＩはいくつかの人体部分を示し、ＵＩ上でのユーザーの選択が第１の操作部として決定され得る。

一実施形態では、第１のセンサ１１０から取得された画像（様々な時間点で取り込まれた一連の取り込まれた画像を含み得る）及び／又はデータ（様々な時間点で取得された一連の検知データを含み得る）の受信後、プロセッサ１５０は、第１の操作部が、画像又はデータ内で検出されるかどうかを検出できる。実施形態によっては、画像内の第１の操作部は、機械学習技術（ディープ・ラーニング、人工ニューラル・ネットワーク（ＡＮＮ）、又はサポート・ベクトル・マシン（ＳＶＭ）など）を介して識別される。別の実施形態では、第１の操作部は、２値分類器、適応的ブースティング（アダブースト）などのその他の物体認知技術を介して識別され得る。さらに別の実施形態では、様々な時間点で動作センサから取得されたデータの変動を決定することができる。２つの時間点の間の変動の値が、所定の閾値より大きい場合、プロセッサ１５０は、第１の操作部が移動していると判定できる。他方で、プロセッサ１５０は、第１の操作部が移動していない、又は第１のセンサ１１０は第１の操作部から離れたと判定してもよい。

一実施形態では、画像内で検出されている第１の操作部に応答して、プロセッサ１５０は、画像内の第１の操作部の動作による、第１の動作感知データを生成することができる。実施形態によっては、画像内の第１の操作部に対応する感知強度及び画素位置は、第１の操作部の深度情報（すなわち、第１のセンサ１１０又は他の基準機器に対する距離）を推定し、第１のセンサ１１０に平行な平面の第１の操作部の２Ｄ位置を推定するために使用され得る。プロセッサ１５０は、第１の操作部の距離及び２Ｄ位置による所定の座標システム内の３Ｄ位置を生成できる。プロセッサ１５０は、６自由度（６−ＤｏＦ）データ（第１の動作感知データとして考えられるであろう）を生成するために、様々な時間点の複数の位置による第１の操作部の変位及び回転データをさらに推定できる。実施形態によっては、３−ＤｏＦデータ、２Ｄ／３Ｄ空間における第１の操作部の相対位置及び／又は変位が、第１の動作感知データであってもよい。

別の実施形態では、第１の動作感知データは、第１のセンサ１１０が動作センサである第１のセンサ１１０から取得されたデータに基づく、３−ＤｏＦデータ、６−ＤｏＦデータ、２Ｄ／３Ｄ空間における第１の操作部の相対位置及び／又は変位であってもよい。

さらに別の実施形態では、第１のセンサ１１０は、画像センサ及び動作センサを含み、第１の動作感知データは、画像センサからの画像及び動作センサからのデータの両方の画像に基づいて生成され得る。例えば、画像は、第１の操作部の位置を推定するために使用することができ、データは、第１の操作部の回転状況を推定するために使用できる。別の実施例では、画像とデータの両方を第１の操作部の位置を決定するために使用できる。

他方で、プロセッサ１５０は、第２の動作感知データを取得できる（工程Ｓ２３０）。具体的には、第２の動作感知データは、第１の操作部とは異なるユーザーの第２の操作部に関連する。例えば、第１の操作部は右手であり、第２の操作部は左手である。一実施形態では、第２のセンサ１２０からの第２の動作感知データの生成は、第１のセンサ１１０からの第１の動作感知データの生成を指す場合がある。それは、第２の動作感知データが、第２のセンサ１２０から取得された画像及び／又はデータに基づいて生成され得ることを意味する。例えば、第２のセンサ１２０はＩＭＵであり、左手用手持ち式コントローラに埋め込まれており、ＩＭＵは、加速度、回転（向き及び角速度を含み得る）、及び磁界を取得できる。第２の動作感知データとして判定するために、ＩＭＵの感知結果を使用して、左手の構え及び回転データを推定することができる。

図３Ａは、本開示の例示的な実施形態の１つによるヒューマン・コンピュータ・インタラクション・システム２００を示す概略図である。図３Ａを参照すると、ヒューマン・コンピュータ・インタラクション・システム２００は、ＨＭＤ１４０及び右手用手持ち式コントローラ１６０を含む。ステレオ・カメラ１１５（すなわち、第１のセンサ１１０及び／又は第２のセンサ１２０）及びプロセッサ１５０は、ＨＭＤ１４０に埋め込まれ、ステレオ・カメラ１１５は、操作部Ｂ１（すなわち、ユーザーの左手）及び操作部Ｂ２（すなわち、ユーザーの右手）に向かってカメラ画像を取り込み、操作部Ｂ１の動作感知データ及び／又は操作部Ｂ２の動作感知データを判定するように構成され得る。加えて、ＩＭＵ１２１（すなわち、第２のセンサ１２０）は、手持ち式コントローラ１６０に埋め込まれて、操作部Ｂ２の動作感知データを取得する。

図３Ｂは、本開示の例示的な実施形態の１つによる、別のヒューマン・コンピュータ・インタラクション・システム３００を示す概略図である。図３Ｂを参照すると、ヒューマン・コンピュータ・インタラクション・システム３００は、ＨＭＤ１４０及び２つの足首用の２つの足首センサ１８０を含む。ステレオ・カメラ１１５は、操作部Ｂ３及び操作部Ｂ４（すなわち、ユーザーの左右の手）に向かってカメラ画像を取り込み、操作部Ｂ３及び操作部Ｂ４それぞれの動作感知データを判定するように構成され得る。ＩＭＵ１２３（すなわち、第１のセンサ１１０及び／又は第２のセンサ１２０）は、足首センサ１８０に埋め込まれて、操作部Ｂ５及び操作部Ｂ６（すなわち、ユーザーの左右の足首）それぞれの動作感知データを取得する。

第１のセンサ１１０又は第２のセンサ１２０によって追跡された操作部は、実際の要求に基づいて変更することができることに留意されたい。

一実施形態では、ヒューマン・コンピュータ・インタラクション・システム１００は、第１のセンサ１１０及び／又は第２のセンサ１２０をそれぞれ埋め込まれた２つ以上のコントローラを備え得る。プロセッサ１５０は、どのコントローラをユーザーが使用しているかを判定し、それによりユーザーのどの操作部が追跡されているかを判定することができる。プロセッサ１５０は、第１のセンサ１１０及び／又は第２のセンサ１２０の感知結果から、画像センサからの画像及び／又は動作センサからのデータが信頼できるかどうかを判定できる。

一実施形態では、プロセッサ１５０は、ユーザーの第１の操作部／第２の操作部の動作に関連する画像分析結果が信頼できるかどうか判定できる。画像分析結果は、第１のセンサ１１０／第２のセンサ１２０の画像センサから取り込まれた画像に基づいて判定される。一実施形態では、第１の操作部／第２の操作部が、第１のセンサ１１０／第２のセンサ１２０から取り込まれた画像内に存在する場合、プロセッサ１５０は、画像センサに対する画像分析結果が信頼できると判定し、第１の動作感知データ／第２の動作感知データとして画像センサから取り込まれた画像を使用することができる。他方で、一実施形態では、第１の操作部／第２の操作部が、画像センサから取り込まれた画像内に存在しない場合、プロセッサ１５０は、画像センサに対する画像分析結果が信頼できないと判定して、第１の動作感知データ／第２の動作感知データとして、第１のセンサ１１０／第２のセンサ１２０の動作センサから取得されたデータを使用できる。

別の実施形態では、プロセッサ１５０は、ユーザーの第１の操作部／第２の操作部の動作に関連するデータ分析結果が信頼できるかどうかを判定できる。データ分析結果は、第１のセンサ１１０／第２のセンサ１２０の動作センサから取得されたデータに基づいて判定される。一実施形態では、動作センサの位置及び向き（すなわち、感知結果）が同じでないか、又はその変動が、ある期間の間、閾値より大きい場合、プロセッサ１５０は、動作センサに対するデータ分析結果が信頼できると判定し、第１の動作感知データ／第２の動作感知データとして動作センサから取得されたデータを使用できるか、又は動作センサからのデータと画像センサからの画像との両方を使用して、第１の動作感知データ／第２の動作感知データを判定できる。他方で、一実施形態では、動作センサの位置及び向きが同じであるか、又はそれらの変動がある期間の間、閾値より小さい場合、プロセッサ１５０は、動作センサに対するデータ分析結果は信頼できないと判定して、第１の動作感知データ／第２の動作感知データとして第１のセンサ１１０／第２のセンサ１２０の画像センサから取り込まれたデータを使用することができる。

実施形態によっては、プロセッサ１５０は、ユーザーの第１の操作部の動作に関連する画像分析結果が信頼できると判定し、ユーザーの第２の操作部の動作に関連するデータ分析結果が信頼できるかどうかを判定することができる。実施形態によっては、プロセッサ１５０は、ユーザーの第１の操作部の動作に関連するデータ分析結果が信頼できると判定し、ユーザーの第２の操作部の動作に関連する画像分析結果が信頼できるかどうか判定できる。

一実施形態では、プロセッサ１５０は、第１のセンサ１１０／第２のセンサ１２０を埋め込まれたコントローラ上で操作が検出されるかどうかを判定できる。コントローラは、ボタン、スイッチ、タッチ・パネルなどの入力機器を含むことができる。 コントローラは、入力機器によって受信されたユーザーによる操作の入力事象をプロセッサ１５０に報告することができる。入力事象は、例えば、ボタンが押されたり、スイッチが押されたり、又はタッチ・パネル上の特定の位置がユーザーの指で接触されたりすることであってもよい。プロセッサ１５０が、入力事象を第２の期間の間受信せず、第２の期間が第２の遊休時間閾値を超える場合、プロセッサ１５０は、ユーザーの操作が検出されないと判定し、動作センサに対するデータ分析結果は信頼できないと判定することができる。他方で、第２の期間が第２の遊休時間閾値未満である場合、プロセッサ１５０は、ユーザーの操作が検出されたと判定し、動作センサに対するデータ分析結果が信頼できると判定することができる。

一実施形態では、動作センサのデータ分析結果が信頼できることを受けて、プロセッサ１５０は、動作センサにより作動するユーザーの操作部が追跡対象であると判定し得る。他方で、動作センサのデータ分析結果が信頼できないことを受けて、プロセッサ１５０は、第１のセンサ１１０／第２のセンサ１２０の動作センサを埋め込まれたコントローラが、今はユーザーに使われていないと判定することができ、プロセッサ１５０は、第１のセンサ１１０／第２のセンサ１２０の画像センサから取得された画像に基づいて第１／第２の動作感知データを取得することができる。

実施形態によっては、第１のセンサ１１０／第２のセンサ１２０の動作が、停止中であるか、又は第１のセンサ１１０／第２のセンサ１２０を埋め込まれたコントローラで、しばらくの間（第１又は第２の遊休時間閾値を越える時間など）操作が検出されない場合でさえ、プロセッサ１５０は、第１のセンサ１１０／第２のセンサ１２０の動作に基づいて第１／第２の動作感知データを依然として取得することができることに留意すべきである。

図２に戻ると、プロセッサ１５０は、第１の動作感知データ及び第２の動作感知データの両方にしたがって、事象をトリガすることができる（工程Ｓ２５０）。一実施形態では、事象は、仮想環境の仮想物体又は現実環境の実物を制御する１つ又は複数のコマンドに関連する。コマンドは、アバターの対応する身体部、仮想環境内の１つもしくは複数の仮想物体との相互作用行動（手で触る、投げる、たたく行動など）、又は現実環境内の外部機器（コンピュータ、ゲーム機、スマートフォン、ダッシュボード搭載型システム、スマート家電など）の動作機能（電源を切る、ページ上送り、ナビゲーションなど）の動作指令であり得る。

例として図３Ａを見ると、アバターの左右の手は、ステレオ・カメラ１１５の画像データ及びＩＭＵ１２１の各動作に基づく、操作部Ｂ１及びＢ２の動作感知データにしたがって、移動又は回転できる。例として図３Ｂを見ると、アバターの左右の手は、ステレオ・カメラ１１５の画像データに基づく操作部Ｂ３及びＢ４それぞれの動作感知データにしたがって、移動又は回転できる。さらに、アバターの左右の足首は、ＩＭＵ１２３の動作に基づく操作部Ｂ５及びＢ６それぞれの動作感知データにしたがって、移動又は回転できる。したがって、２つの動作の追跡方式（画像感知及び動作感知）を、同時に実施できる。

２つ以上のコマンドが事象をトリガするために使用され得ることに留意すべきである。例えば、左手の波の動作は、５つのコマンドに対応して、それぞれＶＲモードで順番に仮想環境から５つの仮想物体を取り除くことができる、２つのコマンドに対応して、ＡＲモードで同時に２つの実物を制御できる（例えば、実物のテレビの電源を入れ、実物のコンピュータの電源を切る）、又は一連のコマンドに対応する（例えば、実物の録画機の電源を入れ、１０秒待って、実物の録画機の電源を切る）ことができる。

別の実施形態では、事象は、プロセッサ１５０によって実行されるアプリケーション又はオペレーティング・システムの設定、中断、及び／又は操作を制御する１つ又は複数のコマンドに関連する。例えば、事象は、シナリオの変更、動作モードの変更、ゲームからの退出、ゲームの停止、ヒューマン・コンピュータ・インタラクション・システム１００の切断などであり得る。しかし、事象は、実際の要求に基づいたその他の用途に適合され、本開示は、それに制限されない。

要約すると、上述の例示的な実施形態は、ユーザーのヒューマン・コンピュータ・インタラクション・システム及びヒューマン・コンピュータ・インタラクションの方法を示している。様々な人体部分の動作は、画像センサの画像及び／又は動作センサのデータそれぞれに基づいて追跡される。事象は、同時に２つの動作の追跡方式の動作感知データに基づいてトリガされ得る。したがって、ユーザーは、ユーザーの所望又は習慣に基づいてセンサを埋め込まれたコントローラを選択して、１つ又は複数の身体部に対応するコントローラを用いて操作できる。同時に、ユーザーは、コントローラを用いずにその他の身体部を使って、コマンドを生成できる。

本開示の範囲又は趣旨から逸脱することなく、本開示の構造に様々な変更及び変形がなされ得ることは当業者には明らかであろう。上述を鑑みて、本開示の変更及び変形が、以下の特許請求の範囲及びその等価物の範囲内にある限り、本開示は、本開示の変更及び変形を網羅するものである。

本開示のヒューマン・コンピュータ・インタラクション・システム及びヒューマン・コンピュータ・インタラクションの方法は、対話型シミュレーションに適用可能である。

１００、２００、３００ ヒューマン・コンピュータ・インタラクション・システム
１１０ 第１のセンサ
１１５ ステレオ・カメラ
１２０ 第２のセンサ
１２１、１２３ ＩＭＵ
１３０ メモリ
１４０ ＨＭＤ
１５０ プロセッサ
１６０ 手持ち式コントローラ
１８０ 足首センサ
Ｓ２１０〜Ｓ２５０ 工程
Ｂ１〜Ｂ６ 操作部

Claims (11)

1. 第１の動作感知データはユーザーの第１の操作部に関連し、第１のセンサに基づいて生成される、前記第１の動作感知データの取得と、
   第２の動作感知データは前記第１の操作部とは異なる前記ユーザーの第２の操作部に関連し、第２のセンサに基づいて生成される、前記第２の動作感知データの取得と、
   前記第１の動作感知データ及び前記第２の動作感知データの両方にしたがって、事象をトリガすることと
   を含む、ヒューマン・コンピュータ・インタラクションの方法。
2. 第１のセンサと、
   第２のセンサと、
   前記第１のセンサから第１の操作部の第１の動作感知データを取得することと、
   前記第１の操作部とは異なる前記第２のセンサから第２の操作部の第２の動作感知データを取得することと、
   前記第１の動作感知データ及び前記第２の動作感知データの両方にしたがって、ユーザーの入力をトリガすることと
   を実施するように構成された、プロセッサと
   を備える、ヒューマン・コンピュータ・インタラクション・システム。
3. 前記第１のセンサは動作センサであり、前記第２のセンサは画像センサであり、前記第１のセンサは前記ユーザーの前記第１の操作部により作動し、前記第２のセンサは前記ユーザーの前記第２の操作部の画像を取り込む、請求項１に記載のヒューマン・コンピュータ・インタラクションの方法、
   又は、前記第１のセンサは動作センサであり、前記第２のセンサは画像センサであり、前記第１のセンサは前記ユーザーの前記第１の操作部により作動し、前記第２のセンサは前記ユーザーの前記第２の操作部の画像を取り込む、請求項２に記載のヒューマン・コンピュータ・インタラクション・システム。
4. 前記第１のセンサは第１の動作センサ及び第１の画像センサを備え、前記第１の動作センサは前記ユーザーの前記第１の操作部により作動し、前記第１の画像センサが前記ユーザーの前記第１の操作部の画像を取り込み、前記第１の画像センサから取り込まれた画像及び前記第１の動作センサから取得されたデータの両方が前記第１の動作感知データとして使用される、請求項１に記載のヒューマン・コンピュータ・インタラクションの方法、
   又は、前記第１のセンサは第１の動作センサ及び第１の画像センサを備え、前記第１の動作センサは前記ユーザーの前記第１の操作部により作動し、前記第１の画像センサは前記ユーザーの前記第１の操作部の画像を取り込み、前記第１の画像センサから取り込まれた画像及び前記第１の動作センサから取得されたデータの両方が前記第１の動作感知データとして使用される、請求項２に記載のヒューマン・コンピュータ・インタラクション・システム。
5. 前記第２のセンサは第２の動作センサ及び第２の画像センサを備え、前記第２の動作センサは前記ユーザーの前記第２の操作部により作動し、前記第２の画像センサは前記ユーザーの前記第２の操作部の画像を取り込み、前記第２の画像センサから取り込まれた画像及び前記第２の動作センサから取得されたデータの両方が前記第２の動作感知データとして使用される、請求項４に記載のヒューマン・コンピュータ・インタラクションの方法、
   又は前記第２のセンサは第２の動作センサ及び第２の画像センサを備え、前記第２の動作センサは前記ユーザーの前記第２の操作部により作動し、前記第２の画像センサは前記ユーザーの前記第２の操作部の画像を取り込み、前記第２の画像センサから取り込まれた画像及び前記第２の動作センサから取得されたデータの両方が前記第２の動作感知データとして使用される、請求項４に記載のヒューマン・コンピュータ・インタラクション・システム。
6. 前記第１のセンサは第１の動作センサ及び第１の画像センサを備え、前記第１の動作センサは前記ユーザーの前記第１の操作部により作動し、前記第１の画像センサは前記ユーザーの前記第１の操作部の画像を取り込み、
   前記第１の動作感知データを取得する前記工程が、
   第１の画像分析結果が信頼できるかどうか判定することであって、前記第１の画像分析結果が前記ユーザーの前記第１の操作部の動作に関連し、前記第１の画像センサから取り込まれた前記画像に基づいて判定され、
   前記ユーザーの前記第１の操作部の前記第１の画像分析結果が信頼できることに応答して、前記第１の動作感知データとして前記第１の画像センサから取り込まれた前記画像を使用し、
   前記ユーザーの前記第１の操作部の前記第１の画像分析結果が信頼できないことに応答して、前記第１の動作感知データとして前記第１の動作センサから取得されたデータを使用することと、を含む、請求項１に記載のヒューマン・コンピュータ・インタラクションの方法、
   又は、前記第１のセンサは第１の動作センサ及び第１の画像センサを備え、前記第１の動作センサは前記ユーザーの前記第１の操作部により作動し、前記第１の画像センサは前記ユーザーの前記第１の操作部の画像を取り込み、
   前記プロセッサが、
   第１の画像分析結果が信頼できるかどうか判定することであって、前記第１の画像分析結果が前記ユーザーの前記第１の操作部の動作に関連し、前記第１の画像センサから取り込まれた前記画像に基づいて判定され、
   前記ユーザーの前記第１の操作部の前記第１の画像分析結果が信頼できることに応答して、前記第１の動作感知データとして前記第１の画像センサから取り込まれた前記画像を使用し、
   前記ユーザーの前記第１の操作部の前記第１の画像分析結果が信頼できないことに応答して、前記第１の動作感知データとして前記第１の動作センサから取得されたデータを使用することと
   を実施するように構成される、請求項２に記載のヒューマン・コンピュータ・インタラクション・システム。
7. 前記第２のセンサは第２の動作センサ及び第２の画像センサを備え、前記第２の動作センサは前記ユーザーの前記第２の操作部により作動し、前記第２の画像センサは前記ユーザーの前記第２の操作部の画像を取り込み、
   前記第２の動作感知データを取得する前記工程が、
   第２の画像分析結果が信頼できるかどうか判定することであって、前記第２の画像分析結果が前記ユーザーの前記第２の操作部の動作に関連し、前記第２の画像センサから取り込まれた前記画像に基づいて判定され、
   前記ユーザーの前記第２の操作部の前記第２の画像分析結果が信頼できることに応答して、前記第２の動作感知データとして前記第２の画像センサから取り込まれた前記画像を使用し、
   前記ユーザーの前記第２の操作部の前記第２の画像分析結果が信頼できないことに応答して、前記第２の動作感知データとして前記第２の動作センサから取得されたデータを使用することと、を含む、請求項６に記載のヒューマン・コンピュータ・インタラクションの方法、
   又は、前記第２のセンサは第２の動作センサ及び第２の画像センサを備え、前記第２の動作センサは前記ユーザーの前記第２の操作部により作動し、前記第２の画像センサは前記ユーザーの前記第２の操作部の画像を取り込み、
   前記プロセッサが、
   第２の画像分析結果が信頼できるかどうか判定することであって、前記第２の画像分析結果が前記ユーザーの前記第２の操作部の動作に関連し、前記第２の画像センサから取り込まれた前記画像に基づいて判定され、
   前記ユーザーの前記第２の操作部の前記第２の画像分析結果が信頼できることに応答して、前記第２の動作感知データとして前記第２の画像センサから取り込まれた前記画像を使用し、
   前記ユーザーの前記第２の操作部の前記第２の画像分析結果が信頼できないことに応答して、前記第２の動作感知データとして前記第２の動作センサから取得されたデータを使用することと
   を実施するように構成される、請求項６に記載のヒューマン・コンピュータ・インタラクション・システム。
8. 前記第２のセンサは第２の動作センサ及び第２の画像センサを備え、前記第２の動作センサは前記ユーザーの前記第２の操作部により作動し、前記第２の画像センサは前記ユーザーの前記第２の操作部の画像を取り込み、
   前記第２の動作感知データを取得する前記工程が、
   第１のデータ分析結果が信頼できるかどうか判定することであって、前記第１のデータ分析結果が前記ユーザーの前記第２の操作部の動作に関連し、前記第２の画像センサから取り込まれた前記画像に基づいて判定され、
   前記ユーザーの前記第２の操作部の前記第１のデータ分析結果が信頼できることに応答して、前記第２の動作感知データとして前記第２の動作センサから取得されたデータを使用し、
   前記ユーザーの前記第２の操作部の前記第１のデータ分析結果が信頼できないことに応答して、前記第２の動作感知データとして前記第２の画像センサから取り込まれた前記画像を使用することと、を含む、請求項６に記載のヒューマン・コンピュータ・インタラクションの方法、
   又は、前記第２のセンサは第２の動作センサ及び第２の画像センサを備え、前記第２の動作センサは前記ユーザーの前記第２の操作部により作動し、前記第２の画像センサは前記ユーザーの前記第２の操作部の画像を取り込み、
   前記プロセッサが、
   第１のデータ分析結果が信頼できるかどうか判定することであって、前記第１のデータ分析結果が前記ユーザーの前記第２の操作部の動作に関連し、前記第２の画像センサから取り込まれた前記画像に基づいて判定され、
   前記ユーザーの前記第２の操作部の前記第１のデータ分析結果が信頼できることに応答して、前記第２の動作感知データとして前記第２の動作センサから取得されたデータを使用し、
   前記ユーザーの前記第２の操作部の前記第１のデータ分析結果が信頼できないことに応答して、前記第２の動作感知データとして前記第２の画像センサから取り込まれた前記画像を使用することと
   を実施するように構成される、請求項６に記載のヒューマン・コンピュータ・インタラクション・システム。
9. 前記第１のセンサは第１の動作センサ及び第１の画像センサを備え、前記第１の動作センサは前記ユーザーの前記第１の操作部により作動し、前記第１の画像センサは前記ユーザーの前記第１の操作部の画像を取り込み、
   前記第１の動作感知データを取得する前記工程が、
   第２のデータ分析結果が信頼できるかどうか判定することであって、前記第２のデータ分析結果が前記ユーザーの前記第１の操作部の動作に関連し、前記第１の動作センサから取得されたデータに基づいて判定され、
   前記ユーザーの前記第１の操作部の前記第２のデータ分析結果が信頼できることに応答して、前記第１の動作感知データとして前記第１の動作センサから取得された前記データを使用し、
   前記ユーザーの前記第１の操作部の前記第２のデータ分析結果が信頼できないことに応答して、前記第１の動作感知データとして前記第１の画像センサから取り込まれた前記画像を使用することと、を含む、請求項１に記載のヒューマン・コンピュータ・インタラクションの方法、
   又は、前記第１のセンサは第１の動作センサ及び第１の画像センサを備え、前記第１の動作センサは前記ユーザーの前記第１の操作部により作動し、前記第１の画像センサは前記ユーザーの前記第１の操作部の画像を取り込み、
   前記プロセッサが、
   第２のデータ分析結果が信頼できるかどうか判定することであって、前記第２のデータ分析結果が前記ユーザーの前記第１の操作部の動作に関連し、前記第１の動作センサから取得されたデータに基づいて判定され、
   前記ユーザーの前記第１の操作部の前記第２のデータ分析結果が信頼できることに応答して、前記第１の動作感知データとして前記第１の動作センサから取得された前記データを使用し、
   前記ユーザーの前記第１の操作部の前記第２のデータ分析結果が信頼できないことに応答して、前記第１の動作感知データとして前記第１の画像センサから取り込まれた前記画像を使用することと
   を実施するように構成される、請求項２に記載のヒューマン・コンピュータ・インタラクション・システム。
10. 前記第２のセンサは第２の動作センサ及び第２の画像センサを備え、前記第２の動作センサは前記ユーザーの前記第２の操作部により作動し、前記第２の画像センサは前記ユーザーの前記第２の操作部の画像を取り込み、
    前記第２の動作感知データを取得する前記工程が、
    第３のデータ分析結果が信頼できるかどうかを判定することであって、前記第３のデータ分析結果が前記ユーザーの前記第２の操作部の動作に関連し、前記第２の動作センサから取得されたデータに基づいて判定され、
    前記ユーザーの前記第２の操作部の前記第３のデータ分析結果が信頼できることに応答して、前記第２の動作感知データとして前記第２の動作センサから取得されたデータを使用し、
    前記ユーザーの前記第２の操作部の前記第３のデータ分析結果が信頼できないことに応答して、前記第２の動作感知データとして前記第２の画像センサから取り込まれた前記画像を使用することと、を含む、請求項９に記載のヒューマン・コンピュータ・インタラクションの方法、
    又は、前記第２のセンサは第２の動作センサ及び第２の画像センサを備え、前記第２の動作センサは前記ユーザーの前記第２の操作部により作動し、前記第２の画像センサは前記ユーザーの前記第２の操作部の画像を取り込み、
    前記プロセッサが、
    第３のデータ分析結果が信頼できるかどうかを判定することであって、前記第３のデータ分析結果が前記ユーザーの前記第２の操作部の動作に関連し、前記第２の動作センサから取得されたデータに基づいて判定され、
    前記ユーザーの前記第２の操作部の前記第３のデータ分析結果が信頼できることに応答して、前記第２の動作感知データとして前記第２の動作センサから取得されたデータを使用し、
    前記ユーザーの前記第２の操作部の前記第３のデータ分析結果が信頼できないことに応答して、前記第２の動作感知データとして前記第２の画像センサから取り込まれた前記画像を使用することと
    を実施するように構成される、請求項９に記載のヒューマン・コンピュータ・インタラクション・システム。
11. 前記事象は、仮想環境の仮想物体又は現実環境の実物を制御する少なくとも１つのコマンドに関連する、請求項１に記載のヒューマン・コンピュータ・インタラクションの方法、
    又は、前記事象が、仮想環境の仮想物体又は現実環境の実物を制御する少なくとも１つのコマンドに関連する、請求項２に記載のヒューマン・コンピュータ・インタラクション・システム。
    
    

Images