JP2014516188A - 現実世界のオブジェクトの仮想表現への属性の追加 - Google Patents

現実世界のオブジェクトの仮想表現への属性の追加 Download PDF

Info

Publication number
JP2014516188A
JP2014516188A JP2014514565A JP2014514565A JP2014516188A JP 2014516188 A JP2014516188 A JP 2014516188A JP 2014514565 A JP2014514565 A JP 2014514565A JP 2014514565 A JP2014514565 A JP 2014514565A JP 2014516188 A JP2014516188 A JP 2014516188A
Authority
JP
Japan
Prior art keywords
virtual representation
virtual
real
attribute
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014514565A
Other languages
English (en)
Other versions
JP6034859B2 (ja
Inventor
ライト,ショーン・シー
エバート,ジェフリー・ジーザス
クラーク,ジャスティン・アヴラム
ウィロビー,クリストファー・ハーレー
スカヴェッゼ,マイク
スポルディング,マイケル・エイ
ゲイスナー,ケヴィン
オズボーン,ダニエル・エル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2014516188A publication Critical patent/JP2014516188A/ja
Application granted granted Critical
Publication of JP6034859B2 publication Critical patent/JP6034859B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2024Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

属性を備えた仮想表現を提供するための方法、媒体、および仮想オブジェクトが記述される。仮想表現は、現実世界のオブジェクトのデジタル化に基づいて生成される。色、形状の類似性、体積、表面積、および同様のものなどの仮想表現の性質が識別され、仮想表現によるそれらの性質の表示の量または程度が決定される。仮想表現に関連付けられる属性を識別するために、仮想オブジェクトの他の属性のうち、温度、重さ、またはエッジの鋭利さなどの性質が使用される。また、属性の表示の程度は、性質およびそれらの表示の程度に基づいて決定される。それによって、仮想表現は、仮想世界における仮想表現の提示および相互作用を指示する1つまたは複数の属性を提供される。

Description

本願発明の一実施例は、例えば、現実世界のオブジェクトの仮想表現への属性の追加に関する。
本願発明の一実施例は、例えば、現実世界のオブジェクトの仮想表現への属性の追加に関する。
本願発明の一実施例は、例えば、現実世界のオブジェクトの仮想表現への属性の追加に関する。
[0001]本発明の実施形態は、この概要によってではなく、以下の特許請求の範囲によって定義される。そのため、ここでは本開示の概要を提供するために、および以下の発明を実施するための形態の項でさらに記述される概念の選択を紹介するために、本発明の様々な態様の高レベルな概要を提供する。この概要は、特許請求の範囲に記載された主題の主要な特徴または本質的な特徴を識別することを意図するものではなく、また特許請求の範囲に記載された主題の範囲を決定するために隔離する際の助けとして使用されることを意図するものでもない。簡単に言えば、また高レベルで、この開示は、特に属性を現実世界のオブジェクトの仮想表現に関連付ける方法を記述する。
[0002]ある実施形態では、現実世界のオブジェクトをデジタル化して、その仮想表現を生成する。仮想表現のいくつかの特性が識別されて、それらの特性の表示の基準が決定される。たとえば、現実世界のオブジェクトは赤色の場合がある。したがって、仮想表現は赤である特性を有し、カラースペクトル上の赤色の位置の基準が決定される。
[0003]特性に基づいて、属性が識別されて、仮想世界における仮想表現の相互作用を指示するために仮想表現に追加される。上記の例を継続すると、属性は仮想世界における仮想表現の温度でよく、温度は色の特性に基づいて識別される。温度の程度は、カラースペクトル上の色の基準に基づいて決定されうる。たとえば、赤は熱いと定義されており、温かいから「燃えている」までの熱さの程度は、カラースペクトル上に表示された色の位置に基づいて決定される。たとえば、スペクトルの下端の赤はより低い温度を示し、スペクトルの上端の赤はより高い温度を示す。したがって、「赤」という特性を有する仮想表現は「熱い」という属性を与えられ、提示されると、仮想表現は燃えているように見える。
[0004]以下で、添付の図面を参照して本発明の例示的実施形態を詳細に記述する。
[0005]本発明の実施形態による、使用に適した例示的コンピューティングデバイスを示すブロック図である。 [0006]本発明の実施形態による、使用に適した例示的動作環境のブロック図である。 [0007]本発明の実施形態による、属性を仮想オブジェクトに関連付けるための方法を示す流れ図である。 [0008]図4A 本発明の実施形態による、現実世界のオブジェクトのグラフィック表現を示す図である。 [0009]図4B 本発明の実施形態による、属性を示す図3Aの現実世界のオブジェクトの仮想表現のグラフィック表現を示す図である。 [0010]図5A 本発明の実施形態による、他の現実世界のオブジェクトのグラフィック表現を示す図である。[0011]図5B 本発明の実施形態による、属性を示す図5Aの現実世界のオブジェクトの仮想表現のグラフィック表現を示す図である。[0012]図5C 本発明の実施形態による、図5Bとは異なる方法で属性を示す図5Aの現実世界のオブジェクトの仮想表現のグラフィック表現を示す図である。 [0013]本発明の実施形態による、属性を仮想表現に関連付けるための方法を示す流れ図である。
[0014]本明細書では、本発明の選択された実施形態の主題を、法的要件を満たすように具体的に記述する。しかし、記述自体は必ずしも特許請求の範囲を限定することを意図するものではない。むしろ、特許請求の範囲に記載された主題は、他の現在または将来の技術と組み合わせて、本明細書に記述されたものと類似する異なるステップまたはステップの組合せを含むように他の方法で実施されうる。用語は、個々のステップの順序が明示的に記述されている場合を除き、本明細書に開示された様々なステップ間の任意の特定の順序を含意するものと解釈されるべきではない。
[0015]本発明の実施形態は、属性を現実世界のオブジェクトの仮想表現に関連付けるための、または属性を現実世界のオブジェクトの仮想表現に追加するための方法、システム、および媒体を記述する。現実世界のオブジェクトは、たとえば、ボール、ぬいぐるみ、スティック、カップ、本、またはスプーンなどの、任意の利用可能な物理的オブジェクトを含む。
[0016]本明細書に記載の仮想表現、または仮想オブジェクトは、コンピューティングデバイスによって生成される現実世界のオブジェクトの表現を備える。本明細書では、仮想表現および仮想オブジェクトという用語は互換的に使用される。仮想表現は、現実世界のオブジェクトをデジタル化することによって、たとえば、現実世界のオブジェクトの1つまたは複数の画像に基づいて仮想オブジェクトを作成することによって、生成される。現実世界のオブジェクトのデジタル化は、任意の所望の方法で完了される。ある実施形態では、現実世界のオブジェクトのデジタル化は、参照によりその開示を本明細書に組み込む、2011年6月6日に出願された同時係属米国特許出願第61/493,844号「OBJECT DIGITIZATI/ON(オブジェクトデジタル化)」に記載の方法を使用して完了される。
[0017]仮想オブジェクトは、1つまたは複数のコンピューティングデバイスによって生成された仮想世界における現実世界のオブジェクトを表す。仮想オブジェクトは、現実世界のオブジェクトの画像から得られる形状、色、体積、表面積、寸法、および表面テクスチャーなどの特性を有する。しかしながら、本発明の実施形態がなければ、仮想オブジェクトは、特性によって定義された外観を有するオブジェクトとしてコンピューティングデバイスによって認識されるにすぎない。コンピューティングデバイスは、仮想オブジェクトの他の非視覚的属性を違ったふうに認識または理解しない。たとえば、ナイフの仮想表現は、コンピューティングデバイスによって鋭利であると認識されない。本発明の実施形態は、このような属性を決定して、仮想表現に追加する。
[0018]ある実施形態では、追加された属性は、鋭利なナイフなどの現実世界のオブジェクトの属性を模倣する。また、追加された属性は、所与のタイプの現実世界のオブジェクトに予想される属性を模倣しうる。たとえば、現実世界ではおもちゃのナイフは鋭利ではない可能性があるが、仮想表現は、追加属性として鋭利さを与えられうる。属性は、現実世界のオブジェクトには存在しない仮想表現に任意の性質を追加しうる。たとえば、現実世界の対応するオブジェクトが熱くもなく濡れてもいなくても、赤い色をしている仮想オブジェクトを「熱い」という属性に関連付けることができ、滑らかなエッジを有する仮想オブジェクトは「濡れている」という属性に関連付けることができる。仮想表現に追加するために属性を決定することについては、以下でより詳細に説明する。
[0019]本発明のある実施形態では、属性を仮想オブジェクトに関連付けるための方法が記述される。現実世界のオブジェクトの仮想表現を仮想空間に生成するために、現実世界のオブジェクトがデジタル化される。仮想表現は、現実世界のオブジェクトの複数の特性を示す。仮想表現によって表示される第1の特性が検出される。仮想表現に追加するために、特性が属性にマッピングされる。仮想表現は属性を提供される。
[0020]他の実施形態では、属性を仮想表現に関連付けるための方法が記述される。現実世界のオブジェクトの仮想表現によって表示される特性が識別される。仮想表現による特性のそれぞれの表示の程度が定量化される。仮想表現に追加するための属性が、特性の表示の程度に基づいて決定される。属性を有する仮想表現が提供される。
[0021]他の実施形態では、複数の取り込まれた画像に基づいて現実世界のオブジェクトのデジタル化から構築される現実世界のオブジェクトの3次元仮想表現を含む仮想オブジェクトが記述される。仮想オブジェクトは、仮想表現と仮想世界との間の相互作用を指示する仮想表現に関連付けられる属性も含む。属性は、仮想表現によって表示される特性を識別すること、仮想表現による特性のそれぞれの表示の程度を定量化すること、および特性のうちの1つまたは複数の表示の程度に基づいて仮想表現に追加するために属性を決定することによって仮想表現に関連付けられる。
[0022]まず図1を参照すると、本発明の実施形態を実装するための例示的動作環境が示され、一般的にコンピューティングデバイス100として指定されている。コンピューティングデバイス100は適切なコンピューティング環境の一例にすぎず、本発明の実施形態の使用または機能の範囲に関する何らかの限定を示唆することを意図するものではない。また、コンピューティングデバイス100は、図示されたコンポーネントのいずれか、またはその組合せに関する何らかの依存性または要件を有するものと解釈されるべきではない。
[0023]本発明の実施形態は、コンピューター、あるいは携帯情報端末または他のハンドヘルドデバイスなどの他の機械によって実行される、プログラムモジュールなどのコンピューター実行可能命令を含む、コンピューターコードまたは機械使用可能命令の一般的文脈で記述することができる。一般的に、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含むプログラムモジュールは、特定のタスクを実行する、または特定の抽象データタイプを実装するコードを指す。本発明の実施形態は、ハンドヘルドデバイス、家庭用電化製品、汎用コンピューター、より専門のコンピューターデバイス等を含む様々なシステム構成で実施されうる。本発明の実施形態は、通信ネットワークを通じてリンクされた遠隔処理デバイスによってタスクが実行される分散コンピューティング環境でも実施されうる。
[0024]図1を参照すると、コンピューティングデバイス100は、メモリー112、1つまたは複数のプロセッサー114、1つまたは複数のプレゼンテーションコンポーネント116、1つまたは複数の入力/出力ポート118、1つまたは複数の入力/出力コンポーネント120、および例示的電源122といったデバイスを直接または間接的に連結するバス110を含む。バス110は、1つまたは複数のバスであってよいもの(アドレスバス、データバス、またはそれらの組合せなど)を表す。図1の様々なブロックは、明確にするために線で示されているが、実際には、様々なコンポーネントを図で表すことはそれほど明確ではなく、たとえて言えば、より正確には線が灰色であったり不鮮明であったりする。たとえば、ある人はディスプレイデバイスなどのプレゼンテーションコンポーネントはI/Oコンポーネントだと考えるかもしれない。また、プロセッサーはメモリーを有する。このようなことは当技術の性質であると認識され、図1の図は、本発明の1つまたは複数の実施形態に関連して使用されうる例示的コンピューティングデバイスの例にすぎないことを繰り返す。「ワークステーション」、「サーバ」、「ラップトップ」、「ハンドヘルドデバイス」等のカテゴリは全て図1の範囲内であり、「コンピューティングデバイス」を指すと考えられるので、これらのカテゴリ間は区別しない。
[0025]コンピューティングデバイス100は、一般的に様々なコンピューター可読媒体を含む。例を挙げると、これらに限定されないが、コンピューター可読媒体は、ランダムアクセスメモリー(RAM)、読出し専用メモリー(ROM)、電気的消去可能プログラマブル読出し専用メモリー(EEPROM)、フラッシュメモリーまたは他のメモリー技術、コンパクトディスク読出し専用メモリー(CD−ROM)、デジタル多用途ディスク(DVD)あるいは他の光学的またはホログラフィック媒体、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、あるいは所望の情報を符号化するために使用でき、コンピューティングデバイス100によってアクセスできる他の任意のコンピューター可読デバイスを備えうる。コンピューター可読媒体およびコンピューター記憶媒体は、搬送波、信号、または他の形式の一時的媒体を含まない。
[0026]メモリー112は、揮発性および/または不揮発性メモリーの形式のコンピューター記憶媒体を含む。メモリーはリムーバブルでも非リムーバブルでもよく、それらの組合せでもよい。例示的ハードウェアデバイスは、ソリッドステートメモリー、ハードドライブ、光学的ディスクドライブ等を含む。コンピューティングデバイス100は、メモリー112またはI/Oコンポーネント120などの様々なエンティティからデータを読み出す1つまたは複数のプロセッサーを含む。プレゼンテーションコンポーネント116は、ユーザーまたは他のデバイスにデータ表示を提示する。例示的なプレゼンテーションコンポーネントは、ディスプレイデバイス、スピーカー、印刷コンポーネント、振動コンポーネント等を含む。
[0027]I/Oポート118によって、コンピューティングデバイス100は、I/Oコンポーネント120を含む他のデバイスに論理的に連結できるようになり、そのうちのいくつかは内蔵されうる。例示的なコンポーネントには、マイク、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナー、プリンター、無線デバイス等がある。
[0028]次に図2を参照すると、本発明の実施形態による使用に適した例示的コンピューティング環境200が記述されている。環境200は、コンピューティングデバイス202、カメラ204、現実世界のオブジェクト206、ネットワーク208、およびデータストア210を含む。コンピューティング環境200は、多くの例示的コンピューティング環境のうちの1つであり、本発明の実施形態による、現実世界のオブジェクトの仮想表現に属性を追加するために利用可能である。本発明の実施形態の説明を助けるために、環境200に様々なコンポーネントが示されるが、他の追加または代替コンポーネントが使用されてよく、1つまたは複数のコンピューティングデバイス間でさらに分散または統合されてよく、たとえばコンピューティングデバイスは内蔵カメラを有することができる。
[0029]コンピューティングデバイス202は、コンピューティングデバイス100などの任意の1つまたは複数のコンピューティングデバイスを備える。ある実施形態では、コンピューティングデバイス202はゲーム機を備える。コンピューティングデバイス202は、当技術分野で知られているように、1つまたは複数の他のコンピューティングデバイスおよびデータストア210と通信するために、ネットワーク208に通信可能に連結されうる。ネットワーク208は、たとえば、これらに限定されないが、特にインターネット、イントラネット、イーサネット(登録商標)、ローカルエリアネットワーク、またはワイドエリアネットワークなどの任意の通信ネットワークを備える。
[0030]データストア210は、コンピューティングデバイス202によって使用可能な任意のデータ記憶装置または媒体を含む。ある実施形態では、データストア210は、当技術分野で知られているように、クラウドコンピューティング環境のためのデータリポジトリである。データストア210は、現実世界のオブジェクトの特性の記憶装置、および1人または複数のユーザーによってデジタル化された現実世界のオブジェクトの仮想表現の属性を提供できる。データストア210は、以下に記述するように、仮想表現を追加するために特性を属性にマッピングするための1つまたは複数のマッピングスキーマも含みうる。
[0031]カメラ204は、現実世界のオブジェクト206の1つまたは複数の画像を取り込むために使用可能なデジタルカメラ、静止カメラ、またはビデオカメラを含む。ある実施形態では、カメラ204はフィルムカメラであり、コンピューティングデバイス202によって使用するための画像をデジタル化するためにスキャナーが使用される。カメラ204はコンピューティングデバイス202から分離されており、無線で、または有線接続を通じてコンピューティングデバイス202と通信可能に連結されている。または、カメラ204はコンピューティングデバイス202に統合されている。
[0032]前述のように、現実世界のオブジェクト206は任意の物理的な現実世界のオブジェクトである。図2に示されるように、現実世界のオブジェクト206は赤いビリヤードボールだが、任意のオブジェクトが使用されうる。
[0033]コンピューティングデバイス202に戻ると、デジタイザーコンポーネント212、属性関連コンポーネント214、特性リスト216、特性検出器218、および仮想表現220がその中に含まれている。ある実施形態では、コンポーネント212、214、216、218、および220のうちの1つまたは複数が、1つまたは複数の他のコンピューティングデバイス間で分散されて、ネットワーク208を介してコンピューティングデバイス202によってアクセスされる。
[0034]上述のように、デジタイザーコンポーネント212は、現実世界のオブジェクトの仮想表現をデジタル化または作成するための任意の利用可能な手段を使用する。デジタイザー212は、現実世界のオブジェクト206の1つまたは複数の画像222をカメラ204から受信する。ある実施形態では、画像222は、現実世界のオブジェクト206の前面の少なくとも1つの画像222、および現実世界のオブジェクト206の背面の1つの画像222を含む。これらの画像222は、現実世界のオブジェクト206の3次元仮想表現220を生成するためにデジタイザーによって使用可能である。他の実施形態では、現実世界のオブジェクト206の2次元または3次元の仮想表現220を生成するために、任意の数の画像222が使用される。
[0035]仮想表現220は任意の利用可能な仮想モデリング技法を使用し、またそれに基づく。たとえば、仮想表現220は、現実世界のオブジェクトの画像(RGBD画像)から取得した赤色、緑色、および青色、ならびに深度データに基づく。仮想表現は、他のコンポーネントのうち、3次元ポイントクラウド、三角形メッシュ、テクスチャー、スケルトン、およびリギング(rigging)も含みうる。
[0036]以下でより完全に記述するように、属性関連コンポーネント214は、仮想表現220の1つまたは複数の特性を識別するために、仮想表現220に追加するために属性を決定するために、およびそれらの属性を仮想表現220に追加するために、デジタイザー212によって生成された現実世界のオブジェクト206の仮想表現220を使用する。ある実施形態では、仮想表現220の特性は、特性リスト216に基づいて識別される。
[0037]特性リスト216は、仮想表現内に存在しうる複数の特性を含む。リスト216からの特性のそれぞれは関連する特性検出器218を含むか、単一の検出器218がリスト216からの複数の特性に関連付けられる。特性リスト216は、コンピューティングデバイス202のメモリーに格納されるか、たとえばデータストア210に遠隔に格納される。特性リスト216は、仮想表現を使用するコンピューティングデバイス上のアプリケーションにわたってグローバルに使用されるか、特性リスト216はアプリケーション特有である。アプリケーション特有リスト216は、仮想表現またはその中のコンテキストを使用するアプリケーションに基づいて、一意の特性を識別して、一意の属性を仮想表現に提供するために使用可能である。
[0038]検出器218は、関連する特性の存在を識別するために、仮想表現220に関連付けられる1つまたは複数のデータを分析するように構成されたアプリケーション、コードセグメント、またはプログラムオブジェクトを備える。ある実施形態では、検出器118は、仮想表現220による特性の表示の程度を識別する。たとえば、「色=赤」という特性について、検出器118は、仮想表現が赤色を表示する程度を決定する。たとえば、紫色のオブジェクトの仮想表現は少量の赤色だけを表示するが、赤色のオブジェクトの仮想表現は大量の赤色を表示する。検出器118は、他の潜在的な値のうち、仮想オブジェクトの色における真の赤のパーセンテージなどの表示程度の値、または仮想オブジェクトの色を識別するカラースペクトル値を生成する。ある実施形態では、検出器118は、仮想表現が、たとえば「赤い」または「赤くない」といった特性を有するかどうかだけを示すバイナリ値を提供する。
[0039]次に図3を参照すると、本発明の実施形態による、属性を仮想オブジェクトに関連付けるための方法300が記述されている。まず、ユーザーによって現実世界のオブジェクトが選択される。たとえば、現実世界のオブジェクトは図4Aに示される斧400、または図5Aに示される赤いビリヤードボール500、あるいは他の任意の所望の現実世界のオブジェクトを備えうる。ある実施形態では、コンピューティングデバイス上で実行しているゲームアプリケーションなどのアプリケーションが、現実世界のオブジェクトを提供するようユーザーに要求する。ユーザーは、現実世界のオブジェクトの仮想表現をゲームシナリオで使用できるように、所望の性質を有する現実世界のオブジェクトを提供するよう要求される場合がある。
[0040]現実世界のオブジェクトは、実際の斧またはビリヤードボールなどの実際のオブジェクトであるか、あるいは、現実世界のオブジェクトは、おもちゃの斧、またはビリヤードボールを表すために塗装されたゴムボールなどの、現実世界のオブジェクトのおもちゃまたはレプリカバージョンである。レプリカオブジェクトは、「本物の」対応物と類似または同一の視覚特性を表示しながら、安全度を提供できる。本物かレプリカかに関わらず、このような現実世界のオブジェクトをアプリケーションに提供できうる。たとえば、ゲームアプリケーションキットは、ゲームアプリケーションで使用するためのいくつかのオブジェクトを提供されうる。または、ある実施形態では、現実世界のオブジェクトは、利用可能なアイテムからユーザーによって任意に選択される。
[0041]現実世界のオブジェクトのいくつかのデジタル画像が、1つまたは複数の異なる角度から取り込まれる。ステップ302で、現実世界のオブジェクトをデジタル化して、現実世界のオブジェクトの仮想表現を仮想空間に生成するために、画像が使用される。デジタル化は、現実世界のオブジェクトの複数の特性を仮想表現に取り込む。特性は、いくつか例を挙げると、色、表面テクスチャーまたは外観および機能、大きさ、比率、体積、表面積、およびオブジェクトの形状を含む。仮想表現は、一般的に現実世界のオブジェクトの視覚的外観と似ている。または、ある実施形態では、現実世界のオブジェクトとは異なる外観を有する仮想表現を生成するために1つまたは複数の処理が使用される。たとえば、仮想表現は漫画のような外観を備えていてもよい。
[0042]ステップ304で、仮想表現内の特性が検出される。ある実施形態では、仮想表現を探すために、あらかじめ定められた特性のリスト内で特性が識別される。特性は、特に形状、体積、表面積、寸法、色、手足の数、反射率、形状ノイジネス(shape noisiness)を含みうる。これらの特性のうちのほとんどは一目瞭然であるが、手足の数は仮想オブジェクトの本体から伸びる識別される付属物の数を指し、反射率は仮想オブジェクトによって示される輝きやまぶしさを指し、形状ノイジネスは形状境界の滑らかさを指す。たとえば、ボールは形状ノイジネスが低いが、ウニは形状ノイジネスが高い。特性は、一般的にたとえば「色」と検出されるか、またはより具体的に赤、青、緑などと検出される。
[0043]ある実施形態では、検出器は、特性の存在について仮想表現を分析するために実行される。複数の検出器がリスト内のそれぞれの特性にそれぞれ専用であるか、または単一の検出器がいくつかの特性を分析する。検出器は、特性のバイナリ型の検出を提供してもよく、スライディングスケールに基づいて特性の表示の程度を決定してもよい。たとえば、検出器は、仮想表現が所与の形状を有するかどうかを単に決定してもよい。仮想表現が所与の形状を有する場合、検出器は肯定的な表示を提供し、仮想表現が所与の形状を有さない場合、検出器は否定的な表示を提供する。または、検出器は、仮想表現の形状とあらかじめ定められた形状と間の類似性の程度を決定できる。たとえば、検出器は、完全な一致と完全なミスマッチとの間のスケールに基づいて類似性を示す。
[0044]ステップ306で、仮想表現に追加するために、検出された特性、および/またはその検出された表示の程度を1つまたは複数の属性にマッピングするために、マッピングスキーマが使用される。マッピングスキーマはあらかじめ定められており、いくつかのアプリケーションにわたってグローバルに使用されてもよく、個々のアプリケーションに特有でもよい。マッピングスキーマは、アプリケーションの特定の部分にコンテキスト特有でもよい。たとえば、ゲームアプリケーションでは、格闘を含むゲームの一部のマッピングスキーマは、自動車の運転を含む部分によって使用されるマッピングスキーマとは異なる場合がある。
[0045]マッピングスキーマは、特性と属性との間の1対1、多対多、多対1、および/または1対多の関係を含む。このように、属性は仮想表現の単一または複数の特性に基づいて識別されうる。
[0046]仮想表現に追加するために仮想表現の特性を属性にマッピングすることによって、仮想表現の生成にさらなる知性が追加される。たとえば、図4Aおよび4Bに示されるように、現実世界の斧400の仮想表現402が生成される。仮想表現402の形状および色などの特性が検出される。ある実施形態では、形状がコンピューティングデバイスによって知られている形状と類似していると決定され、形状特性は知られている形状(知られている形状は、たとえば手斧である)への高度の類似性を与えられる。したがって、知られている手斧の形状の知られている品質が仮想表現402に追加されうる。「色」の特性も、知られている手斧の形状への類似性を示しうる。たとえば、仮想表現400は、斧の柄の茶色と刃の灰色というそれぞれの2つの主な色を表示しうる。仮想表現402における斧の刃に沿った滑らかで薄いエッジの存在のようなさらなる特性も使用されうる。ある実施形態では、検出された形状および色のデータが「鋭利」という属性にマッピングされ、その属性が、刃のエッジの星形404によって示されるように仮想表現402に追加される。
[0047]ある実施形態では、特性と属性との間の相関関係の1つまたは複数の信頼水準を決定するために、1つまたは複数のアルゴリズムも使用される。信頼水準の計算は、計算を通知するために特性の表示の程度を使用しうる。ある実施形態では、信頼水準の計算は、マッピングスキーマに統合されるか、マッピングスキーマを生成するために使用される。
[0048]このように、現実世界の斧400の仮想表現402は、斧400に似た表現を含むだけではなく、斧400のように鋭利である。この属性は、仮想世界における仮想表現402の相互作用を通知または指示するためにアプリケーションによって使用可能である。たとえば、仮想表現402は木を切り倒すために仮想世界で使用されうる。仮想表現402に「鋭利」という属性を追加しないと、アプリケーションは、仮想世界において仮想表現402がオブジェクトにどのように影響を及ぼすかを知らされない。
[0049]マッピングスキーマは、斧は鋭利な刃を有するといった、現実世界のオブジェクトに予想される特性を属性にマッピングする必要がない。たとえば、図5A〜5Cに示されるように、現実世界のオブジェクト500は赤いビリヤードボールを備える。前述の通り、「色」の特性を分析する検出器が、現実世界のオブジェクト500は赤いと識別する。マッピングスキーマは、色の特性をオブジェクトの温度の属性にマッピングし、赤色が「熱い」にマッピングされる。また、検出器は、カラースペクトル上に表示された赤色の位置を検出して、その色に基づいて仮想温度を識別しうる。このように、赤いビリヤードボール500の仮想表現502は熱いという属性に関連付けられ、これを視覚的に示すために仮想表現に炎504が追加される。あるいは、燃えるボールや太陽のように見えるように現実世界のオブジェクト500の外観を覆うまたは変化させる仮想表現506を生成するために、全く異なる外観が提供されうる。
[0050]続けて図3を参照すると、ステップ308に示されるように、1つまたは複数の属性が追加された仮想表現が提供される。仮想表現は任意のアプリケーションに提供され、そのアプリケーション内で任意の所望の方法で使用可能である。ある実施形態では、アプリケーションは、現実世界のオブジェクトのデジタル化、仮想表現への属性の追加、および仮想表現を視覚的に提示する方法の決定のうちの1つまたは複数を担当する。ある実施形態では、アプリケーションは実行時にこれらの処理を完了する。仮想表現は、図4Bの星形404または図5Bの炎504などの、追加された属性を示す1つまたは複数の特徴を含んでもよく、追加された属性が視覚的に示されなくてもよい。ある実施形態では、追加された属性は、仮想表現と仮想世界との間の相互作用を指示するためにのみ使用される。
[0051]次に図6を参照すると、本発明の実施形態による、属性を仮想表現に関連付けるための方法600が記述されている。ステップ602で、現実世界のオブジェクトの仮想表現によって表示される複数の特性が識別される。仮想表現は、利用可能な任意のデジタル化手段によって生成される。ある実施形態では、現実世界のオブジェクトのデジタル化は、ラップトップまたはゲーム機などのパーソナルコンピューティングデバイスによって実行時に完了される。ステップ604で、仮想表現における特性のそれぞれの表示の程度が定量化される。表示の程度は、あらかじめ定められたスケールで決定されるか、単にバイナリ値を示してよい。
[0052]ステップ606で、特性のうちの1つまたは複数を、仮想表現に追加されるべき1つまたは複数の属性にマッピングする際に使用するためのマッピングスキーマが識別される。マッピングスキーマは、仮想表現が使用されるべきアプリケーションに基づいて識別される。または、マッピングスキーマは、このようなアプリケーション内の特定のコンテキストに基づいて識別される。
[0053]ステップ608に示されるように、複数の特性における特性のうちの1つまたは複数に基づいて、およびそれらの特性の表示の程度に基づいて、識別されたマッピングスキーマを使用して仮想表現に追加するための属性が識別される。属性は、特性のうちの1つまたは複数の表示の程度を使用して識別され、現実世界のオブジェクトに予想される性質に対応してもよく、任意でそれに関連してもよい。さらに、ある実施形態では、ステップ610に示されるように、仮想表現による属性の表示の程度または強度が決定される。表示の程度または強度は、仮想表現による関連する特性の表示の程度に基づいて決定される。たとえば、色がライトブルーの仮想表現は冷たい属性を与えられる可能性があるが、ダークブルーの仮想表現は凍結している属性を与えられる可能性がある。
ステップ612で、属性が追加された仮想表現が提供される。仮想表現は、仮想世界のシナリオで使用するためにアプリケーションに提供されうる。アプリケーションは、属性のうちの1つまたは複数を示すために仮想表現に適用するための視覚的特徴を決定できる。また、アプリケーションは、仮想世界における仮想表現の相互作用を指示するために属性を使用できる。たとえば、仮想表現は重いという属性を与えられうる。このため、アプリケーションは仮想世界における仮想表現の動きの物理学のためのアルゴリズムを指示するために、重い属性を使用する。
[0054]本発明のある実施形態では、ユーザーはデジタル化のためのアイテムを任意で選択できる。アイテムは、アプリケーションの設計者によってあらかじめ知られている必要はなく、デジタル化コンポーネントによって企図されている必要もない。したがって、このような特定のオブジェクトの属性も、あらかじめ企図されている必要はない。ある実施形態では、属性は、特有の、予期された、事前にプログラムされた現実世界のオブジェクトのあらかじめ定められた属性ではなく、それらの仮想表現の識別された特性に基づいて識別されて、仮想表現に追加される。したがって、任意の現実世界のオブジェクトの仮想表現の品質に関するさらなる属性または知性を仮想世界に組み込むことができる。
[0055]以下の特許請求の範囲から逸脱することなく、図示した様々なコンポーネント、ならびに図示していないコンポーネントの多くの異なる構成が可能である。技術の実施形態は、限定よりも例示的であること意図して記載されている。代替実施形態は、本開示を読んだ後に、および本開示を読めば、読者に明らかになるだろう。上述したものを実現する代替手段は、以下の特許請求の範囲を逸脱することなしに完了しうる。特定の特徴およびサブコンビネーションは有用であり、他の特徴およびサブコンビネーションを参照することなく用いることができ、特許請求の範囲内であると考えられる。

Claims (10)

  1. □実行されると、属性(attributes)を仮想オブジェクト(virtual object)に関連付ける(associating)ための方法を実行するコンピューター実行可能命令を実施した、1つまたは複数のコンピューター可読媒体であって、
    現実世界のオブジェクトの仮想表現を仮想空間に生成するために前記現実世界のオブジェクトをデジタル化するステップであって、前記仮想表現が前記現実世界のオブジェクトの複数の特性(characteristics)を示すステップと、
    前記仮想表現によって表示される(exhibited)第1の特性を検出するステップと、
    前記仮想表現に追加するために、前記特性を属性にマッピングするステップと、
    前記仮想表現に前記属性を提供するステップとを備える、媒体。
  2. 前記特性が、前記仮想表現によって表示される形状、体積、表面積、寸法、表面テクスチャー、または色のうちの1つまたは複数を備える、請求項1に記載の媒体。
  3. 前記現実世界のオブジェクトの仮想表現を仮想空間に生成するために前記現実世界のオブジェクトをデジタル化するステップが、テクスチャーマップ、リギング(rigging)、およびスケルトンのうちの1つまたは複数を生成するステップを含み、前記仮想表現によって表示される前記第1の特性が、前記テクスチャーマップ、前記リギング、および前記スケルトンのうちの1つまたは複数から検出される、請求項1に記載の媒体。
  4. 前記仮想表現に追加するために前記特性を前記属性にマッピングするステップが、あらかじめ定められたマッピングスキーマ(schema)に基づき、前記マッピングスキーマがコンテキスト特有(specific)または非コンテキスト特有(non-context specific)の1つである、請求項1に記載の媒体。
  5. 前記属性が、仮想世界における前記仮想表現の相互作用(interactions)を指示する(instructs)前記仮想表現に関連付けられる仮想物理的(virtual pgysical)特性である、請求項1に記載の媒体。
  6. 属性を仮想表現に関連付けるための方法であって、
    現実世界のオブジェクトの仮想表現によって表示される複数の特性を識別するステップと、
    プロセッサーおよびメモリーを有するコンピューティングデバイスによって、前記仮想表現によって前記複数の特性における前記特性のそれぞれの表示の程度を定量化するステップと、
    前記複数の特性における前記特性のうちの1つまたは複数の表示の前記程度(degree)に基づいて前記仮想表現に追加するために属性を決定するステップと、
    前記属性を有する前記仮想表現を提供するステップとを備える、方法。
  7. 前記属性の表示の第2の程度が、前記複数の特性における前記1つまたは複数の特性表示の前記程度に基づいて決定される、請求項6に記載の方法。
  8. 前記属性を有する前記仮想表現が、前記仮想表現を含む仮想世界を生成するソフトウェアアプリケーションに提供され、前記属性が、前記仮想表現が前記仮想世界と相互作用する方法を定義する、請求項6に記載の方法。
  9. 前記仮想表現によって表示される前記複数の特性が、あらかじめ定められた特性のリストに基づいて識別される、請求項6に記載の方法。
  10. 実行されると、仮想オブジェクトを提供するコンピューター実行可能命令を実施した、1つまたは複数のコンピューター可読媒体であって、前記仮想オブジェクトが、
    複数の取り込まれた画像に基づいて、前記現実世界のオブジェクトのデジタル化から構築される現実世界のオブジェクトの3次元仮想表現と、
    前記仮想表現と仮想世界との間の相互作用を指示する前記仮想表現に関連付けられる属性とを備え、前記属性が、
    前記仮想表現によって表示される複数の特性を識別するステップと、
    前記仮想表現によって前記複数の特性における前記特性のそれぞれの表示の程度を定量化するステップと、
    前記複数の特性における前記特性のうちの1つまたは複数の表示の前記程度に基づいて前記仮想表現に追加するために前記属性を決定するステップとによって前記仮想表現に関連付けられる、媒体。
JP2014514565A 2011-06-06 2012-06-05 現実世界のオブジェクトの仮想表現への属性の追加 Active JP6034859B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161493859P 2011-06-06 2011-06-06
US61/493,859 2011-06-06
US13/186,666 US10796494B2 (en) 2011-06-06 2011-07-20 Adding attributes to virtual representations of real-world objects
US13/186,666 2011-07-20
PCT/US2012/040952 WO2012170444A2 (en) 2011-06-06 2012-06-05 Adding attributes to virtual representations of real-world objects

Publications (2)

Publication Number Publication Date
JP2014516188A true JP2014516188A (ja) 2014-07-07
JP6034859B2 JP6034859B2 (ja) 2016-11-30

Family

ID=47261303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014514565A Active JP6034859B2 (ja) 2011-06-06 2012-06-05 現実世界のオブジェクトの仮想表現への属性の追加

Country Status (6)

Country Link
US (1) US10796494B2 (ja)
EP (1) EP2718904A4 (ja)
JP (1) JP6034859B2 (ja)
KR (1) KR101961969B1 (ja)
CN (1) CN103582902B (ja)
WO (1) WO2012170444A2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280788B2 (en) * 2012-06-13 2016-03-08 Oracle International Corporation Information retrieval and navigation using a semantic layer
WO2014119097A1 (ja) * 2013-02-01 2014-08-07 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US10592580B2 (en) * 2014-04-25 2020-03-17 Ebay Inc. Web UI builder application
GB2532075A (en) * 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
US10235807B2 (en) * 2015-01-20 2019-03-19 Microsoft Technology Licensing, Llc Building holographic content using holographic tools
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
US20160379405A1 (en) * 2015-06-26 2016-12-29 Jim S Baca Technologies for generating computer models, devices, systems, and methods utilizing the same
CN108136257B (zh) * 2015-08-17 2021-09-21 乐高公司 创建虚拟游戏环境的方法和采用该方法的互动游戏系统
US10373381B2 (en) 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
DK3436773T3 (da) 2016-04-01 2021-07-12 Lego As Legetøjsscanner
WO2018007351A1 (en) 2016-07-05 2018-01-11 Lego A/S Method for creating a virtual object
WO2018007369A1 (en) 2016-07-05 2018-01-11 Lego A/S Method for creating a virtual object
US10325407B2 (en) 2016-09-15 2019-06-18 Microsoft Technology Licensing, Llc Attribute detection tools for mixed reality
GB201700545D0 (en) * 2017-01-12 2017-03-01 Univ Bath Techniques for object representation
US11132728B2 (en) 2017-02-06 2021-09-28 Lego A/S Electronic ordering system and method
US10713840B2 (en) * 2017-12-22 2020-07-14 Sony Interactive Entertainment Inc. Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot
US10970937B2 (en) * 2018-05-04 2021-04-06 Intel Corporation Technologies for virtual attribute assignment referencing real objects
KR102236957B1 (ko) * 2018-05-24 2021-04-08 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 가상 세계를 통해 가상 현실 응용 프로그램을 개발, 테스트하고, 실제 세계로 배포하기 위한 시스템 및 방법
US11010986B2 (en) * 2018-08-30 2021-05-18 Apple Inc. Virtual object kit

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003036450A (ja) * 2001-05-16 2003-02-07 Sega Corp 画像処理方法
JP2003099799A (ja) * 2001-08-15 2003-04-04 Mitsubishi Electric Research Laboratories Inc 変化のないシーン内の静止した3dの物理的な物体の動きをシミュレートするための方法
JP2004152164A (ja) * 2002-10-31 2004-05-27 Toshiba Corp 画像処理システム及び画像処理方法
JP2005196670A (ja) * 2004-01-09 2005-07-21 Sony Corp 携帯端末装置及びオブジェクト生成方法
WO2009127701A1 (en) * 2008-04-16 2009-10-22 Virtual Proteins B.V. Interactive virtual reality image generating system
US20100302247A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Target digitization, extraction, and tracking

Family Cites Families (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ja) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ スポーテク コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
ATE232621T1 (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6411744B1 (en) 1997-10-15 2002-06-25 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ, インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
JP4578686B2 (ja) 1998-12-16 2010-11-10 マイクロソフト インターナショナル ホールディングス ビイ.ヴイ. 3dカメラ
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
JP2002288687A (ja) 2001-03-22 2002-10-04 Olympus Optical Co Ltd 特徴量算出装置および方法
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US20020188372A1 (en) 2001-05-10 2002-12-12 Lane Kenneth M. Method and system for computer aided garment selection
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US7275235B2 (en) 2001-08-29 2007-09-25 Molinari Alfred A Graphical application development system for test, measurement and process control applications
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP3962588B2 (ja) 2002-01-07 2007-08-22 キヤノン株式会社 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
DE50302813D1 (de) 2002-04-19 2006-05-18 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US20030222977A1 (en) * 2002-06-03 2003-12-04 Kazutora Yoshino Intelligent system and 3D virtual object generator
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004111687A2 (en) 2003-06-12 2004-12-23 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
DE102004018813A1 (de) 2004-04-19 2006-02-23 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und/oder Verfolgung von Objekten
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7668376B2 (en) 2004-06-30 2010-02-23 National Instruments Corporation Shape feature extraction and classification
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US8131694B2 (en) 2004-11-12 2012-03-06 Sap Ag Process-oriented classification
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
WO2006086508A2 (en) 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
CA2606477C (en) 2005-04-27 2013-05-28 Siemens Medical Solutions Usa, Inc. In situ click chemistry method for screening high affinity molecular imaging probes
US7389591B2 (en) 2005-05-17 2008-06-24 Gesturetek, Inc. Orientation-sensitive signal output
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
WO2007013833A1 (en) * 2005-09-15 2007-02-01 Oleg Stanilasvovich Rurin Method and system for visualising virtual three-dimensional objects
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
GB0603106D0 (en) 2006-02-16 2006-03-29 Virtual Mirrors Ltd Design and production of garments
US7843471B2 (en) 2006-03-09 2010-11-30 International Business Machines Corporation Persistent authenticating mechanism to map real world object presence into virtual world object awareness
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US7840059B2 (en) 2006-09-21 2010-11-23 Microsoft Corporation Object recognition using textons and shape filters
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8272951B2 (en) 2007-05-02 2012-09-25 Ganz Attribute building for characters in a virtual environment
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
KR20080034419A (ko) * 2007-11-23 2008-04-21 야파 코포레이션 3d 영상 생성 및 디스플레이 시스템
US20090138377A1 (en) 2007-11-27 2009-05-28 Uk Oh Clothes fitting service method of providing information about fitting of clothes
DE102007062991B3 (de) 2007-12-21 2009-05-07 Navigon Ag Verfahren zur Erzeugung einer elektronisch speicherbaren, digitalen Landkarte und Navigationsgerät mit digitaler Landkarte
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8427503B2 (en) 2009-05-18 2013-04-23 Nokia Corporation Method, apparatus and computer program product for creating graphical objects with desired physical features for usage in animation
US9424583B2 (en) 2009-10-15 2016-08-23 Empire Technology Development Llc Differential trials in augmented reality
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
JP5778967B2 (ja) * 2011-04-08 2015-09-16 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US9547938B2 (en) * 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003036450A (ja) * 2001-05-16 2003-02-07 Sega Corp 画像処理方法
JP2003099799A (ja) * 2001-08-15 2003-04-04 Mitsubishi Electric Research Laboratories Inc 変化のないシーン内の静止した3dの物理的な物体の動きをシミュレートするための方法
JP2004152164A (ja) * 2002-10-31 2004-05-27 Toshiba Corp 画像処理システム及び画像処理方法
JP2005196670A (ja) * 2004-01-09 2005-07-21 Sony Corp 携帯端末装置及びオブジェクト生成方法
WO2009127701A1 (en) * 2008-04-16 2009-10-22 Virtual Proteins B.V. Interactive virtual reality image generating system
US20100302247A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Target digitization, extraction, and tracking

Also Published As

Publication number Publication date
JP6034859B2 (ja) 2016-11-30
US10796494B2 (en) 2020-10-06
KR20140038442A (ko) 2014-03-28
CN103582902B (zh) 2016-05-25
WO2012170444A3 (en) 2013-04-25
EP2718904A4 (en) 2014-09-10
KR101961969B1 (ko) 2019-07-17
EP2718904A2 (en) 2014-04-16
US20120306853A1 (en) 2012-12-06
WO2012170444A2 (en) 2012-12-13
CN103582902A (zh) 2014-02-12

Similar Documents

Publication Publication Date Title
JP6034859B2 (ja) 現実世界のオブジェクトの仮想表現への属性の追加
KR102612347B1 (ko) 장치 위치 측정을 위한 다중 동기화 통합 모델
JP7486565B2 (ja) クラウド支援型の新しい視点を利用したローカルマップデータの生成
CN106575450B (zh) 通过反照率模型、系统和方法的增强现实内容渲染
US8458225B2 (en) Spatially referenced multi-sensory data digitally encoded in a voxel database
WO2019060787A1 (en) DETECTION OF AT LEAST ONE OBJECT IN AN IMAGE, OR A SEQUENCE OF IMAGES, AND DETERMINATION OF A CATEGORY AND AT LEAST ONE DESCRIPTOR FOR EACH OF THESE OBJECTS, GENERATION OF SYNTHETIC LEARNING DATA, AND FORMATION OF A NEURONAL NETWORK USING SYNTHETIC LEARNING DATA
US11256958B1 (en) Training with simulated images
JP2015501044A (ja) 実世界オブジェクトの3dモデルおよび正しい縮尺のメタデータをキャプチャし移動させるための方法およびシステム
US8392354B2 (en) Probabilistic voxel-based database
CN108292450A (zh) 确定虚拟放置的灯具的照明效果
JP2017004065A5 (ja)
Chung et al. Point cloud framework for rendering 3D models using Google Tango
JP6963030B2 (ja) 情報処理装置および計測可能領域模擬方法
Khan et al. Immervol: An immersive volume visualization system
KR20230069415A (ko) 3차원 가상공간 구축 장치 및 방법
Konsén 3D model of a real world model: Creating import-ready asset.
Seth et al. Comparative Study of Geometric and Image Based Modelling and Rendering Techniques
Göransson et al. Kinect@ Home: A Crowdsourced RGB-D Dataset
Raya et al. Perceptual evaluation of illumination effects in virtual environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150520

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161028

R150 Certificate of patent or registration of utility model

Ref document number: 6034859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250