JP2021068405A - 仮想物体操作システム及び仮想物体操作方法 - Google Patents

Abstract

【課題】仮想物体操作システム及び仮想物体操作方法を提供すること。【解決手段】仮想物体操作方法は、以下のステップを含む。複数の画像が取得される。それらの画像における操作物体の動作が決定される。操作物体は、現実環境に存在する。操作物体の動作により、操作物体と相互に作用させられた仮想物体の動作が、決定される。仮想物体は、仮想環境に存在する。したがって、操作物体の動作は、ユーザーの操作する身体部分上の動作センサなしに追跡されることが可能である。【選択図】図２

Description

本開示は、一般に、仮想世界におけるシミュレーションに関し、特に、仮想物体操作システム及び仮想物体操作方法に関する。

近年、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、及びエクステンデッド・リアリティ（ＸＲ）などの感覚、知覚、及び／又は環境を模倣するための技術が、人気を博している。前述の技術は、ゲーム、軍事訓練、健康管理、遠隔勤務などの複数の分野において適用されることが可能である。

ユーザーに、模擬環境を現実の環境として知覚させるため、現実世界におけるユーザーの動作が追跡されて、ＶＲディスプレイ、ＡＲディスプレイ、ＭＲディスプレイ、又はＸＲディスプレイ上の表示画像、及びアバターの動作が、ユーザーの動作に応じて変更され得るようにする。さらに、アバターは、模擬環境において仮想物体と相互に作用することが可能である。模擬環境は、作成者によって生成されるので、作成者は、アバターと仮想物体の間の相互作用状況を構成することが可能である。したがって、相互作用状況をどのように定義すべきかは、仮想世界シミュレーションに重要である。

多くの相互作用状況が存在し、異なる相互作用状況に応じて滑らかに、かつ自然に仮想物体の動作を模倣することは難しい。したがって、本開示は、仮想物体操作システム及び仮想物体操作方法を対象とする。

例示的な実施形態のうちの１つにおいて、仮想物体操作方法は、以下のステップを含む。複数の画像が、現実環境から取得される。操作物体の動作が、画像に基づいて決定される。操作物体は、現実環境に存在する。操作物体と相互に作用させられた仮想物体の動作が、決定要因に従って決定される。仮想物体は、仮想環境に存在する。決定要因は、操作物体の動作を含む。

例示的な実施形態のうちの１つにおいて、仮想物体操作システムが、画像取込装置と、プロセッサとを含む。画像取込装置は、現実環境から複数の画像を取得するのに使用される。プロセッサは、画像取込装置に結合される。プロセッサは、画像に基づいて操作物体の動作を決定するように、かつ決定要因に従って操作物体と相互に作用させられた仮想物体の動作を決定するように構成される。決定要因は、操作物体の動作を含み、仮想物体は、仮想環境に存在する。

以上のことに鑑みて、１つ又は複数の実施形態において提供される仮想物体操作システム及び仮想物体操作方法によれば、複数の画像が、操作物体の動作を決定すべく解析される。操作物体の決定された動作は、仮想環境における仮想物体の動作に影響を与える。したがって、操作物体の動作は、ユーザーの操作する身体部分上の動作センサなしに追跡されることが可能である。

しかし、この概要は、本開示の態様及び実施形態のすべてを包含するわけではなく、いかなる方法においても限定又は制限的することを意味するものでもなく、及び本明細書において開示される発明は、本発明の明白な改良形態及び変形形態を包含するように当業者によって理解されるであろうことを理解されたい。

添付の図面は、本開示のさらなる理解を提供するために含まれており、本明細書に組み込まれ、本明細書の一部分を構成する。図面は、本開示の実施形態を例示し、説明とともに、本開示の原理を説明するのに役立つ。

本開示の例示的な実施形態のうちの１つによる仮想物体操作システムを示すブロック図である。 本開示の例示的な実施形態のうちの１つによる仮想物体操作方法を示すフローチャートである。 現実環境における操作物体の動作を示す概略図である。 仮想環境における仮想物体の動作を示す概略図である。 画像における位置の違いを示す概略図である。

次に、本開示の現時点で好ましい実施形態を詳細に参照し、その例を添付の図面に示す。可能な限り、同一の部分、又は同様の部分を参照するのに同一の参照符号が、図面及び説明において使用される。

図１は、本開示の例示的な実施形態のうちの１つによる仮想物体操作システム１００を示すブロック図である。図１を参照すると、仮想物体操作システム１００は、１つ又は複数の画像取込装置１１０と、ディスプレイ１３０と、メモリ１４０と、プロセッサ１５０とを含むが、以上には限定されない。仮想物体操作システム１００は、ＶＲ技術、ＡＲ技術、ＭＲ技術、ＸＲ技術、又は他の現実関連の技術に適合する。

画像取込装置１１０は、カメラ、ビデオ・レコーダ、又は画像を取り込むことができる他の画像センサであってよい。画像取込装置１１０は、画像取込装置１１０が、ユーザー、又はユーザーの身体部分を取り込むことができる位置に配置されてもよい。例えば、ユーザーが、頭部装着型ディスプレイ（すなわち、仮想物体操作システム１００の１つの実装実施形態）を装着するとき、画像取込装置１１０は、ユーザーの目の前方の位置に配置されて、ユーザーの手及び／又は脚に向かって取り込みを行ってよい。別の例として、１つ又は複数の画像取込装置１１０が、床、壁、又は天井に配置され、かつ画像取込装置１１０は、ユーザーに向かって取り込みを行う。

一部の実施形態において、仮想物体操作システム１００は、１つ又は複数の動作センサ１２０をさらに含み得る。動作センサ１２０は、加速度計、ジャイロスコープ、磁力計、レーザ・センサ、慣性測定ユニット（ＩＭＵ）、赤外線（ＩＲ）センサ、又は前述のセンサの任意の組合せであってよい。本開示の実施形態において、動作センサ１２０は、対応する感知データ（３自由度（ＤｏＦ）／６−ＤｏＦ情報など）を生成すべく、ユーザーの身体部分の動作を感知するために使用される。身体部分は、手、頭部、足首、脚、腰、又はその他の部分であってよい。動作センサ１２０は、ハンドヘルド・コントローラ、又はスマート・ウォッチ、足首センサ、もしくはそれらに類似するものなどの装着可能な装置に埋め込まれることが可能であることに留意されたい。

ディスプレイ１３０は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又はその他のディスプレイであってよい。本開示の実施形態において、ディスプレイ１３０は、画像を表示するために使用される。一部の実施形態において、ディスプレイ１３０は、外部装置（スマートフォン、タブレット、又はそれらに類するものなど）のディスプレイであってよく、かつ外部装置は、頭部装着型ディスプレイの本体上に配置されることが可能であることに留意されたい。

メモリ１４０は、任意のタイプの固定又は可動ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュ・メモリ、類似したデバイス、又は以上のデバイスの組合せであってよい。一部の実施形態において、メモリ１４０は、プログラム・コード、デバイス構成、バッファ・データもしくは永久データ（画像、仮想環境、決定要因、検出結果など）を記録し、これらのデータについては、後述する。

プロセッサ１５０は、画像取込装置１１０、動作センサ１２０、ディスプレイ１３０、及びメモリ１４０に結合される。プロセッサ１５０は、本開示の例示的な実施形態の手続きを実行すべく、メモリ１４０に記憶されたプログラム・コードをロードするように構成される。一部の実施形態において、プロセッサ１５０の機能は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）チップ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラム可能なユニットを使用することによって実施されてよい。また、一部の実施形態において、プロセッサ１５０の機能は、独立した電子デバイス又は集積回路（ＩＣ）によって実装されてもよく、プロセッサ１５０の動作は、ソフトウェアによって実施されてもよい。

プロセッサ１５０は、画像取込装置１１０、動作センサ１２０、又はディスプレイ１３０を有するのと同一の装置に配置されない場合があることに留意されたい。しかし、これらの要素又は装置をそれぞれ備える装置は、互いにデータを送信／受信すべく、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、赤外線（ＩＲ）、又は物理伝送線路などの適合する通信技術を備えた通信トランシーバをさらに含み得る。

本開示の１つ又は複数の実施形態において提供される動作プロセスをよりよく理解するように、仮想物体操作システム１００の動作プロセスを詳しく述べるいくつかの実施形態が、以下に例示される。仮想物体操作システム１００におけるデバイス及びモジュールは、本明細書において提供される仮想物体操作方法を説明すべく以下の実施形態において適用される。方法の各ステップは、実際の実装状況により調整されることが可能であり、本明細書において説明されるものに限定されるべきではない。

図２は、本開示の例示的な実施形態のうちの１つによる仮想物体操作方法を示すフローチャートである。図２を参照すると、画像取込装置１１０が、現実環境から複数の画像を取得すべく１つ又は複数の操作物体に向かって取り込みを行う（ステップＳ２１０）。特に、操作物体は、現実環境におけるユーザーの手、脚、足、足首、腰、又は他の身体部分であることが可能である。また、操作物体は、現実環境におけるハンドヘルド・コントローラ、装着可能なデバイス、又は任意の物理的物体であることも可能である。操作物体の定義は、実際の要件に基づいて可変である。次に、それらの画像が、メモリ１４０に記憶されてよく、後にプロセッサ１５０によってアクセスされてよい。

次に、プロセッサ１５０が、それらの画像に基づいて操作物体の動作を決定する（ステップＳ２３０）。詳細には、プロセッサ１５０は、それらの画像における操作物体を識別すべく、それらの画像における特徴（色、質感、幾何形状など）を抽出する。プロセッサ１５０は、現実環境における識別された操作物体に対応する仮想環境における仮想操作物体を作成してもよい。例えば、画像において手が識別されて、アバターの仮想の手が作成される。プロセッサ１５０は、ディスプレイ１３０上で仮想環境における仮想操作物体をさらに表示することが可能である。次に、プロセッサ１５０が、それらの画像の解析された結果に基づいて現実環境における操作物体の動作を推定する。

一実施形態において、プロセッサ１５０は、画像の中から開始画像を選択し、開始画像は、操作物体と仮想物体の間の相互作用状況の初期状態を取り込む。仮想物体は、仮想環境における任意の物体であることが可能である。例えば、仮想物体は、仮想の野球のボール、仮想のバスケットボールのボール、仮想ゴルフ・クラブ、アバターなどである。相互作用状況は、仮想物体と仮想操作物体の間の接触であってよい。例えば、仮想ゴブレットの脚部分が、アバターの手によって触れられる。また、相互作用状況は、仮想物体に対する選択挙動又はロック挙動であってもよい。例えば、仮想ラップトップの上部カバーが、ハンドヘルド・コントローラ上の選択操作（物理／仮想ボタンを押すことなど）によって選択される。別の例として、アバターの手の特定のジェスチャ（把持、握手ジェスチャなど）が、画像において識別され、その特定のジェスチャが、仮想銃と相互に作用することを意図する。さらに１つの例として、仮想ボールが、ユーザーの視線により目標としてロックされる。相互作用状況は、操作物体が仮想物体と相互作用し他の任意の状況であることが可能であり、実施形態は、それらに限定されないことに留意されたい。

相互作用状況がトリガ条件を満たすことに応じて、相互作用状況の初期状態を取り込み、画像のうちの１つが、開始画像として特定される。トリガ条件は、仮想物体と仮想操作物体の間に接触が存在することであっても、その接触が離されることであってもよい。トリガ条件は、仮想物体上で選択挙動又はロック挙動が検出されることであってもよい。また、トリガ条件は、特定のジェスチャが検出されること、操作物体の速度がしきい値未満であること、特定のシナリオが検出されることなどであってもよい。初期状態は、相互作用状況が発生したばかりの状態である。

次に、プロセッサ１５０は、それらの画像の中から最終画像を選択し、最終画像は、操作物体と仮想物体の間の相互作用状況の最終状態を取り込む。それらの画像は、それらの画像が取り込まれた時点により順に並べられる。初期状態と比べて、最終状態は、初期状態に対応する相互作用状況が終わったばかりの状態である。例えば、初期状態は、ユーザーの右手が仮想ボールに触れた状況であり、最終状態は、仮想ボールが右手によって投げ出された状況である。一部の実施形態において、最終状態は、所定の状態であってよい。例えば、所定の状態は、ユーザーの特定の構え、ユーザーの特定のジェスチャなどであってよい。

次に、プロセッサ１５０は、開始画像と最終画像を比較することによって操作物体の動作を決定してもよい。操作物体が移動する場合、異なる時点で取り込まれた異なる画像における操作物体の位置は、異なる場合がある。一実施形態において、開始画像と最終画像の間の比較された結果が、位置変化であり、操作物体の動作は、操作物体の速度を含む。一部の実施形態において、プロセッサ１５０は、開始画像と最終画像の間の経過時間、及び操作物体の位置変化を計算してもよい。プロセッサ１５０は、開始画像と最終画像の間で操作物体の位置を比較してよく、開始画像から最終画像までの操作物体の変位又は軌道（以下、位置変化経路と呼ぶ）が、位置変化として決定される。位置変化経路は、開始画像及び最終画像における操作物体の代表的な点／ブロックを接続することによって形成される。さらに、画像取込装置１１０は、毎秒３０フレーム、６０フレーム、又は１２０フレーム（ｆｐｓ）などの、画像取込装置１００が画像を取り込む回数であるフレーム・レートを有するように構成されてよい。取り込まれた各画像は、その画像が取り込まれた時刻と一緒に記憶される。プロセッサ１５０は、開始画像と最終画像の取り込まれた時刻の間の時間差を経過時間として決定してもよい。

次に、プロセッサ１５０は、開始画像と最終画像の間の経過時間、及び操作物体の位置変化により、操作物体の平均速度を取得してもよい。位置変化は、相対距離及び相対方向（基準線に対する角度に対応する）を含み得る。相対距離は、２つの画像における操作物体の２つの位置の間の距離である。相対方向は、１つの画像における操作物体の位置が、別の画像における操作物体の位置の方を向く方向である。次に、操作物体の速度が、位置変化の相対距離が経過時間で割られた、計算された結果により決定されることが可能である。さらに、速度の方向は、２つの画像の間の位置変化の相対方向により決定される。次に、プロセッサ１５０は、操作物体の動作を決定すべく、操作物体の平均速度を基準として使用してもよい。

例えば、図３Ａは、現実環境における操作物体の動作を示す概略図である。図３Ａを参照すると、仮想物体操作システム１００は、頭部装着型ディスプレイであり、操作物体ＯＯは、手である。ユーザーが、投げる動作を実行し、操作物体ＯＯの位置Ｐ１、Ｐ２、及びＰ３は、異なる時点で異なるものと想定される。

図３Ｂは、仮想環境における仮想物体の動作を示す概略図である。図３Ｂを参照すると、仮想物体ＶＯは、仮想の野球のボールである。頭部装着型ディスプレイに配置された画像取込装置１１０が、操作物体に向かって取り込みを行う。プロセッサ１５０は、操作物体ＯＯに対応する仮想の手が、ディスプレイ１３０上の仮想物体ＶＯをつかむことを示す画像を表示することが可能である。概略図は、操作物体ＯＯの位置Ｐ１、Ｐ２、及びＰ３の間の差を理解するのを容易にするため、重なり合う３つの画像ＩＭ、ＭＭ、及びＥＭを示す。

図４は、画像における位置差を示す概略図である。図３Ｂ及び図４を参照すると、開始画像ＩＭは、仮想の野球のボールが仮想の手によって握られた操作物体ＯＯの位置Ｐ１に対応し、最終画像ＥＭは、仮想の野球のボールが仮想の手を離れたばかりの操作物体ＯＯの位置Ｐ３に対応するものと想定される。図面における黒の点である、仮想の手の中央点は、操作物体ＯＯの代表的な点である。位置Ｐ３とＰ１の間の相対距離が、位置Ｐ３とＰ１の取り込まれた２つの時点の間の経過時間で割られ、操作物体の速度が、その計算された結果により決定されることが可能である。

一実施形態において、開始画像及び最終画像に加えて、プロセッサ１５０は、画像の中から中間画像をさらに選択してよく、中間画像は、操作物体と仮想物体の間の相互作用状況の中間状態を取り込む。中間状態は、初期状態と最終状態の中間の状態である。次に、プロセッサ１５０は、開始画像、中間画像、及び最終画像を比較することによって操作物体の動作を決定してもよい。

一部の実施形態において、プロセッサ１５０は、開始画像から中間画像までの第１の経過時間、及び操作物体の第１の位置変化を計算し、開始画像から中間画像までの第１の経過時間、及び操作物体の第１の位置変化により、操作物体の第１の速度を取得する。さらに、プロセッサ１５０は、中間画像から最終画像までの第２の経過時間、及び操作物体の第２の位置変化を計算し、中間画像から最終画像までの第２の経過時間、及び操作物体の第２の位置変化により、操作物体の第２の速度を取得する。位置変化、経過時間、及び速度についての説明は、前述した実施形態を参照してよく、省かれることに留意されたい。この実施形態において、プロセッサ１５０は、第１の経過時間、第２の経過時間、操作物体の第１の速度、及び第２の速度により、操作物体の平均加速度をさらに取得し、操作物体の平均加速度を、操作物体の動作を決定する基準として使用する。平均加速度は、第１の速度と第２の速度の合計が、第１の経過時間と第２の経過時間の合計で割られた、計算された結果である。操作物体の平均加速度は、操作物体の動作によって形成される力を決定するための基準であることが可能である。

例えば、ユーザーが野球のボールを投げるとき、手の速度は、変化することが可能である。中間画像が、その手の動作の軌道を決定するのに使用されてよい。別の例として、ユーザーが変化球にすることを所望するとき、ボールが指を離れる前に指がボールを回転させる様態が、ボールの飛行経路を変化させることが可能である。

図３Ｂを例にとると、中間画像ＭＭは、仮想の野球ボールが仮想の手によって依然として握られている操作物体ＯＯの位置Ｐ２に対応するものと想定される。操作物体の第１の速度は、開始画像ＩＭと中間画像ＭＭの間の第１の経過時間、及び操作物体の第１の位置変化に基づいて決定されてよい。操作物体の第２の速度は、中間画像ＭＭと最終画像ＥＭの間の第２の経過時間、及び操作物体の第２の位置変化に基づいて決定されてよい。第１の速度と第２の速度の間の速度変化が、決定されることが可能である。さらに、操作物体ＯＯによって加えられた力が、第１の速度及び第２の速度に基づく平均加速度により推定されることが可能である。

一実施形態において、プロセッサ１５０は、第１の位置変化及び第２の位置変化により操作物体の位置変化経路を取得し、操作物体のその位置変化経路を、操作物体の動作を決定する基準として使用してもよい。例えば、位置変化経路は、第１の位置変化及び第２の位置変化によって形成される軌道である。

別の実施形態において、プロセッサ１５０は、操作物体上の動作センサ１２０によって現実環境における操作物体の動作をさらに検出してもよい。検出された結果は、加速度、回転、磁力、向き、又はそれらの組合せであってよい。次に、プロセッサ１５０は、操作物体の動作検出データを、操作物体の動作を決定する基準として使用してもよい。例えば、プロセッサ１５０が、動作センサ１２０の検出された結果により、画像における操作物体の動作を補正する。操作物体の速度は、検出された結果の加速度の積分を介して推定されることが可能である。取込画像解析によってそれぞれ決定された操作物体の速度と動作センサ１２０の検出された結果は、重量関係を有してよく、プロセッサ１５０は、その重量関係により操作物体の最終速度を決定する。

図２に戻ると、操作物体の動作が算出された後、プロセッサ１５０は、決定要因に従って操作物体と相互作用し仮想物体の動作を決定してもよい（ステップＳ２５０）。特に、操作物体と仮想物体の間の様々な相互作用状況に基づいて、仮想物体の動作は、異なる場合がある。決定要因は、操作物体の動作を含み得る。例えば、操作物体の動作が、投げる動作であり、仮想物体の対応する動作が、飛ぶ動作である。別の例として、操作物体の動作が、振り回す動作であり、仮想物体の対応する動作が、回転する動作である。しかし、操作物体の速度、加速度、及び／又は位置変化経路が、仮想物体の動作に影響を与える。一実施形態において、操作物体がより速く動くほど、仮想物体はより速く動く。他方、操作物体がよりゆっくり動くほど、仮想物体はよりゆっくり動く。操作物体の速度、及び／又は操作物体によって形成される力は、仮想物体の速度と直線関係、指数関数的関係、又はその他の数学公式関係を有してもよい。操作物体の速度及び／又は力は、移動速度又は回転速度に影響を与えてよいことに留意されたい。さらに、前述の相互作用状況又は動作は、ディスプレイ１３０上に表示されることが可能である。

一実施形態において、仮想物体が、仮想環境におけるユーザーによって選択される。ユーザーが、仮想物体上で第１の動作を実行したとき、プロセッサ１５０は、仮想環境において操作物体から離れるように仮想物体を後方に動かしてよく、又は操作物体に接近するように仮想物体を前方に動かしてもよい。ユーザーが、第１の動作と比べて、より速い速度を有する第２の動作を実行した場合、仮想物体は、より速く動く。他方、ユーザーが、第１の動作と比べて、より遅い速度を有する第３の動作を実行した場合、仮想物体は、よりゆっくり動く。前述した第１から第３までの動作は、投げること、押すこと、引くこと、蹴ること、振り回すこと、又はその他の動作であることが可能であることに留意されたい。

一実施形態において、プロセッサ１５０は、現実環境において仮想物体の物理特性をさらに取得し、仮想物体の物理特性により仮想物体の動作を変更してもよい。決定要因は、物理特性をさらに含む。物理特性は、質量、体積、形状、摩擦係数などであってよい。例えば、仮想物体の質量がより大きいほど、仮想物体は、水平方向でよりゆっくりと動く。

一実施形態において、プロセッサ１５０は、走査結果（現実物体の色、質感、幾何形状など）を生成すべく画像取込装置１１０を通じて現実環境における現実物体を走査し、識別結果（その現実物体の名前又は識別子など）を生成すべく、その走査結果によりその現実物体を識別し、その走査結果により現実環境におけるその現実物体に対応する仮想環境における仮想物体を作成し、その識別結果により仮想物体の物理特性を決定する。このことは、仮想物体が、現実環境において対応する現実物体を有することを意味する。

別の実施形態において、プロセッサ１５０は、仮想物体の少なくとも１つの相互作用特性を決定してもよい。決定要因は、相互作用特性をさらに含む。相互作用特性は、操作点、操作する手のジェスチャ、及び／又は操作する動作であってよい。

例えば、操作物体が、手であり、プロセッサ１５０が、ステップＳ２３０において画像における手のジェスチャをさらに識別してよく、ステップＳ２５０において手のジェスチャにより仮想物体の動作を変更してもよい。別の例として、異なる投球グリップが、投球中の野球ボールの異なる軌道、異なる回転、及び異なる速度をもたらしてもよい。１つ又は複数の特定のジェスチャが、１つ又は複数の特定の速度又は回転の違いを有するように定義されてよく、プロセッサ１５０は、対応する速度又は回転の違いにより仮想物体の動作を変更してもよい。

一実施形態において、プロセッサ１５０は、走査結果（現実物体の色、質感、幾何形状など）を生成すべく画像取込装置１１０を通じて現実環境における現実物体を走査し、識別結果（その現実物体の名前又は識別子など）を生成すべく、その走査結果によりその現実物体を識別し、その走査結果により現実環境におけるその現実物体に対応する仮想環境における仮想物体を作成し、その識別結果により仮想物体の相互作用特性を決定してもよい。

さらに別の実施形態において、プロセッサ１５０は、ステップＳ２３０において仮想環境において操作物体によって接触される仮想物体上で少なくとも１つの操作点（すなわち、接触点）をさらに識別してよく、ステップＳ２５０において操作物体のその操作点により仮想物体の動作を変更してもよい。この実施形態において、決定要因は、操作点が、所定の操作点と合致するとき、少なくとも１つの操作点を含む。各仮想物体は、その仮想物体の表面上に１つ又は複数の所定の操作点を有するように事前定義されてよい。プロセッサ１５０は、操作物体の動作を追跡し、その操作物体が仮想物体と接触させられたかどうかを判定してもよい。操作物体が仮想物体と接触させられたことに応じて、プロセッサ１５０は、相互作用特性により、操作点が少なくとも１つの所定の操作点と合致するかどうかを判定する。接触させられた操作点、又は最も近い操作点が、操作点として特定される。さらに、１つ又は複数の特定の操作点が、１つ又は複数の特定の速度、回転の違い、又は力を有するように定義されてよく、プロセッサ１５０は、対応する速度、回転の違い、又は力により仮想物体の動作を変更してもよい。

別の実施形態において、決定要因は、操作点を含み、プロセッサ１５０は、仮想環境において操作物体によって接触される仮想物体上の少なくとも１つの操作点を識別する。このことは、仮想物体の表面のすべて、又はほとんどすべてが操作されることが可能であることを意味する。

さらに別の実施形態において、決定要因は、操作点、操作物体の加速度、仮想物体のスピン速度及びスピン回転のうちの少なくとも１つを含む。プロセッサ１５０は、仮想物体によって接触される操作物体上の１つ又は複数の操作点を識別し、仮想物体のスピン速度とスピン回転のうちの少なくとも１つを推定してもよい。仮想物体を投げることに関して、操作物体によって加えられた力、仮想物体上の操作点／領域、環境要因（風速、風向など）が、スピン速度、スピン回転などの、仮想物体の動作に影響を与えることが可能である。例えば、変化球にするのに、ボールの握り方の変化、手によって加えられた力、風速、及び／又は風向が、異なるタイプの変化球をもたらすことが可能である。

要約すると、以上に説明される例示的な実施形態は、仮想物体操作システム及び仮想物体操作方法について説明した。現実環境における操作物体の動作が、取込画像解析により追跡される。少なくとも２つの画像の間の差を比較すべく、取り込まれた時点への遡及が行われる。その場合、仮想環境において操作物体と相互に作用させられた仮想物体の動作は、操作物体の追跡された動作によって影響される。したがって、画像識別に基づく動作追跡方法が、提供される。

本発明の仮想物体操作システム及び仮想物体操作方法は、仮想物体の動作の推定において適用されてよい。

１００ 仮想物体操作システム
１１０ 画像取込装置
１２０ 動作センサ
１３０ ディスプレイ
１４０ メモリ
１５０ プロセッサ
Ｓ２１０〜Ｓ２５０ ステップ
Ｐ１〜Ｐ３ 位置
ＯＯ 操作物体
ＶＯ 仮想物体
ＩＭ 開始画像
ＭＭ 中間画像
ＥＭ 最終画像

Claims (15)

1. 複数の画像を取得し、前記画像は現実環境から取り込まれ、
   前記複数の画像に基づいて操作物体の動作を決定し、前記操作物体は、前記複数の画像に存在し、
   決定要因に従って前記操作物体と相互作用し仮想物体の動作を決定し、前記仮想物体は、仮想環境に存在し、
   前記決定要因は、前記操作物体の前記動作を含む、仮想物体操作方法。
2. 現実環境から複数の画像を取得する画像取込装置であって、
   前記画像取込装置に結合され、
   前記複数の画像に基づいて操作物体の動作を決定し、前記操作物体は、現実環境に存在し、
   決定要因に従って前記操作物体と相互作用し仮想物体の動作を決定し、前記仮想物体は、仮想環境に存在する
   ために構成されたプロセッサとを備える、
   前記決定要因は、前記操作物体の前記動作を含む、仮想物体操作システム。
3. 前記複数の画像に基づいて前記操作物体の前記動作を決定するステップは、
   前記複数の画像の中から開始画像を選択し、前記開始画像は、前記操作物体と前記仮想物体の間の相互作用状況の初期状態を取り込み、
   前記複数の画像の中から最終画像を選択し、前記最終画像は、前記操作物体と前記仮想物体の間の前記相互作用状況の最終状態を取り込み、
   前記開始画像と前記最終画像を比較することによって前記操作物体の前記動作を決定するステップとを含む、請求項１に記載の仮想物体操作方法、
   又は前記プロセッサは、
   前記複数の画像の中から開始画像を選択し、前記開始画像は、前記操作物体と前記仮想物体の間の相互作用状況の初期状態を取り込み、
   前記複数の画像の中から最終画像を選択し、前記最終画像は、前記操作物体と前記仮想物体の間の前記相互作用状況の最終状態を取り込み、
   前記開始画像と前記最終画像を比較することによって前記操作物体の前記動作を決定する
   ために構成される、請求項２に記載の仮想物体操作システム。
4. 前記開始画像と前記最終画像を比較することによって前記操作物体の前記動作を決定する前記ステップは、
   前記開始画像と前記最終画像の間の経過時間、及び前記操作物体の位置変化を計算し、
   前記開始画像と前記最終画像の間の前記経過時間、及び前記操作物体の前記位置変化により前記操作物体の平均速度を取得し、
   前記操作物体の前記平均速度を、前記操作物体の前記動作を決定する基準として使用するステップと
   を含む、請求項３に記載の仮想物体操作方法、
   又は前記プロセッサは、
   前記開始画像と前記最終画像の間の経過時間、及び前記操作物体の位置変化を計算し、
   前記開始画像と前記最終画像の間の前記経過時間、及び前記操作物体の前記位置変化により前記操作物体の平均速度を取得し、
   前記操作物体の前記平均速度を、前記操作物体の前記動作を決定する基準として使用する
   ために構成される、請求項３に記載の仮想物体操作システム。
5. 前記複数の画像による前記操作物体の前記動作を決定する前記ステップは、
   前記複数の画像の中から開始画像を選択し、前記開始画像は、前記操作物体と前記仮想物体の間の相互作用状況の初期状態を取り込み、
   前記複数の画像の中から中間画像を選択し、前記中間画像は、前記操作物体と前記仮想物体の間の相互作用状況の中間状態を取り込み、
   前記複数の画像の中から最終画像を選択し、前記最終画像は、前記操作物体と前記仮想物体の間の前記相互作用状況の最終状態を取り込み、
   前記開始画像、前記中間画像、及び前記最終画像を比較することによって前記操作物体の前記動作を決定するステップと
   を含む、請求項１に記載の仮想物体操作方法、
   又は前記プロセッサは、
   前記複数の画像の中から開始画像を選択し、前記開始画像は、前記操作物体と前記仮想物体の間の相互作用状況の初期状態を取り込み、
   前記複数の画像の中から中間画像を選択し、前記中間画像は、前記操作物体と前記仮想物体の間の相互作用状況の中間状態を取り込み、
   前記複数の画像の中から最終画像を選択し、前記最終画像は、前記操作物体と前記仮想物体の間の前記相互作用状況の最終状態を取り込み、
   前記開始画像、前記中間画像、及び前記最終画像を比較することによって前記操作物体の前記動作を決定する
   ために構成される、請求項２に記載の仮想物体操作システム。
6. 前記開始画像、前記中間画像、及び前記最終画像を比較することによって前記操作物体の前記動作を決定する前記ステップは、
   前記開始画像から前記中間画像までの第１の経過時間、及び前記操作物体の第１の位置変化を計算し、
   前記開始画像から前記中間画像までの前記第１の経過時間、及び前記操作物体の前記第１の位置変化により前記操作物体の第１の速度を取得し、
   前記中間画像から前記最終画像までの第２の経過時間、及び前記操作物体の第２の位置変化を計算し、
   前記中間画像から前記最終画像までの前記第２の経過時間、及び前記操作物体の前記第２の位置変化により前記操作物体の第２の速度を取得し、
   前記第１の経過時間、前記第２の経過時間、前記操作物体の前記第１の速度、及び前記第２の速度により前記操作物体の平均加速度を取得し、
   前記操作物体の前記平均加速度を、前記操作物体の前記動作を決定する基準として使用するステップと
   を含む、請求項５に記載の仮想物体操作方法、
   又は前記プロセッサは、
   前記開始画像から前記中間画像までの第１の経過時間、及び前記操作物体の第１の位置変化を計算し、
   前記開始画像から前記中間画像までの前記第１の経過時間、及び前記操作物体の前記第１の位置変化により前記操作物体の第１の速度を取得し、
   前記中間画像から前記最終画像までの第２の経過時間、及び前記操作物体の第２の位置変化を計算し、
   前記中間画像から前記最終画像までの前記第２の経過時間、及び前記操作物体の前記第２の位置変化により前記操作物体の第２の速度を取得し、
   前記第１の経過時間、前記第２の経過時間、前記操作物体の前記第１の速度、及び前記第２の速度により前記操作物体の平均加速度を取得し、
   前記操作物体の前記平均加速度を、前記操作物体の前記動作を決定する基準として使用する
   ために構成される、請求項５に記載の仮想物体操作システム。
7. 前記開始画像、前記中間画像、及び前記最終画像を比較することによって前記操作物体の前記動作を決定する前記ステップは、
   前記第１の位置変化及び前記第２の位置変化により前記操作物体の位置変化経路を取得し、
   前記操作物体の前記位置変化経路を、前記操作物体の前記動作を決定する基準として使用するステップと
   を含む、請求項５に記載の仮想物体操作方法、
   又は前記プロセッサは、
   前記第１の位置変化及び前記第２の位置変化により前記操作物体の位置変化経路を取得し、
   前記操作物体の前記位置変化経路を、前記操作物体の前記動作を決定する基準として使用する
   ために構成される、請求項５に記載の仮想物体操作システム。
8. 前記仮想物体の物理特性を決定するステップを含み、
   前記決定要因は、前記仮想物体の前記物理特性をさらに備える、請求項１に記載の仮想物体操作方法、
   又は前記プロセッサは、
   前記仮想物体の物理特性を決定するために構成され、
   前記決定要因は、前記仮想物体の前記物理特性をさらに備える、請求項２に記載の仮想物体操作システム。
9. 走査結果を生成すべく前記現実環境における現実物体を走査し、
   識別結果を生成すべく前記走査結果により前記現実物体を識別し、
   前記走査結果により前記現実環境における前記現実物体に対応する前記仮想環境における前記仮想物体を作成し、
   前記識別結果により前記仮想物体の前記物理特性を決定するステップと
   をさらに含む請求項８に記載の仮想物体操作方法、
   又は前記プロセッサは、
   走査結果を生成すべく前記画像取込装置を通じて前記現実環境における現実物体を走査し、
   識別結果を生成すべく前記走査結果により前記現実物体を識別し、
   前記走査結果により前記現実環境における前記現実物体に対応する前記仮想環境における前記仮想物体を作成し、
   前記識別結果により前記仮想物体の前記物理特性を決定する
   ために構成される、請求項８に記載の仮想物体操作システム。
10. 前記仮想物体の少なくとも１つの相互作用特性を決定し、
    前記決定要因は、前記仮想物体の前記相互作用特性をさらに備える、請求項１に記載の仮想物体操作方法、
    又は前記プロセッサは、
    前記仮想物体の少なくとも１つの相互作用特性を決定するために構成され、
    前記決定要因は、前記仮想物体の前記相互作用特性をさらに備える、請求項２に記載の仮想物体操作システム。
11. 走査結果を生成すべく前記現実環境における現実物体を走査し、
    識別結果を生成すべく前記走査結果により前記現実物体を識別し、
    前記走査結果により前記現実環境における前記現実物体に対応する前記仮想環境における前記仮想物体を作成し、
    前記識別結果により前記仮想物体の前記少なくとも１つの相互作用特性を決定するステップと
    をさらに含む請求項１０に記載の仮想物体操作方法、
    又は前記プロセッサは、
    走査結果を生成すべく前記現実環境における現実物体を走査し、
    識別結果を生成すべく前記走査結果により前記現実物体を識別し、
    前記走査結果により前記現実環境における前記現実物体に対応する前記仮想環境における前記仮想物体を作成し、
    前記識別結果により前記仮想物体の前記少なくとも１つの相互作用特性を決定するために構成される、請求項１０に記載の仮想物体操作システム。
12. 前記仮想環境において前記操作物体によって接触される前記仮想物体上の少なくとも１つの操作点を識別し、
    前記少なくとも１つの相互作用特性により前記少なくとも１つの操作点が少なくとも１つの所定の操作点と合致するかどうかを判定し、前記少なくとも１つの相互作用特性は、前記少なくとも１つの所定の操作点
    を含み、
    前記少なくとも１つの操作点が前記少なくとも１つの所定の操作点と合致するとき、前記決定要因は、前記少なくとも１つの操作点をさらに含む、請求項１１に記載の仮想物体操作方法、
    又は前記プロセッサは、
    前記仮想環境において前記操作物体によって接触される前記仮想物体上の少なくとも１つの操作点を識別し
    前記少なくとも１つの相互作用特性により前記少なくとも１つの操作点が少なくとも１つの所定の操作点と合致するかどうかを判定し、前記少なくとも１つの相互作用特性は、前記少なくとも１つの所定の操作点を含む、こと
    のために構成され、
    前記決定要因は、前記少なくとも１つの操作点が前記少なくとも１つの所定の操作点と合致するとき、前記少なくとも１つの操作点を含む、請求項１１に記載の仮想物体操作システム。
13. 前記仮想環境において前記操作物体によって接触される前記仮想物体上の少なくとも１つの操作点を識別し、
    前記決定要因は、前記少なくとも１つの操作点を含む、請求項１に記載の仮想物体操作方法、
    又は前記プロセッサは、
    前記仮想環境において前記操作物体によって接触される前記仮想物体上の少なくとも１つの操作点を識別することのために構成され、
    前記決定要因は、前記少なくとも１つの操作点を含む、請求項２に記載の仮想物体操作システム。
14. 前記仮想物体によって接触される前記操作物体上の少なくとも１つの操作点を識別し、
    前記仮想物体のスピン速度とスピン回転のうちの少なくとも１つを推定し、
    前記決定要因は、前記少なくとも１つの操作点、前記操作物体の加速度、前記仮想物体の前記スピン速度、及び前記スピン回転のうちの少なくとも１つをさらに含む、請求項１に記載の仮想物体操作方法、
    又は前記プロセッサは、
    前記仮想物体によって接触される前記操作物体上の少なくとも１つの操作点を識別し
    前記仮想物体のスピン速度とスピン回転のうちの少なくとも１つを推定することのために構成され、
    前記決定要因は、前記少なくとも１つの操作点、前記操作物体の加速度、前記仮想物体の前記スピン速度、及び前記スピン回転のうちの少なくとも１つを含む、請求項２に記載の仮想物体操作システム。
15. 前記複数の画像に基づいて前記操作物体の前記動作を決定する前記ステップは、
    前記操作物体上の動作センサによって前記操作物体の動作検出データを取得し、
    前記操作物体の前記動作検出データを、前記操作物体の前記動作を決定する基準として使用するステップとを含む、請求項１に記載の仮想物体操作方法、
    又は前記プロセッサは、
    前記操作物体上の動作センサによって前記操作物体の動作検出データを取得し
    前記操作物体の前記動作検出データを、前記操作物体の前記動作を決定する基準として使用する
    ために構成される、請求項２に記載の仮想物体操作システム。
    
    

Images