JP2011521318A - インタラクティブな仮想現実画像生成システム - Google Patents

インタラクティブな仮想現実画像生成システム Download PDF

Info

Publication number
JP2011521318A
JP2011521318A JP2011504472A JP2011504472A JP2011521318A JP 2011521318 A JP2011521318 A JP 2011521318A JP 2011504472 A JP2011504472 A JP 2011504472A JP 2011504472 A JP2011504472 A JP 2011504472A JP 2011521318 A JP2011521318 A JP 2011521318A
Authority
JP
Japan
Prior art keywords
image
manipulator
virtual
image generation
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011504472A
Other languages
English (en)
Inventor
フランシスカ ジェラルダ マリア スクーレマン，ジャクリーン
デン ベルゲン，ジーノ ヨハネス アポロニア ヴァン
Original Assignee
バーチュアル プロテインズ ベー．フェー．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バーチュアル プロテインズ ベー．フェー． filed Critical バーチュアル プロテインズ ベー．フェー．
Publication of JP2011521318A publication Critical patent/JP2011521318A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、オブザーバーに、仮想物体を含む仮想空間が上に重ね合わされた物理作業空間の、実質的にリアルタイムの複合現実体験を提供すると共に、オブザーバーが、物理作業空間において実行されるアクションによって、仮想空間内の仮想物体を操作することを可能にする画像生成システム及び画像生成方法と、本方法を実施するためのプログラム及び本方法を実施するための該プログラムを記憶するストレージ媒体とを提供する。
【選択図】図２

Description

本発明は、仮想現実のためのシステム及び仮想現実の操作に関する。特に、本発明は、オブザーバーに、仮想物体を含む仮想空間が上に重ね合わされた物理作業空間の、実質的にリアルタイムの複合現実体験を提供すると共に、オブザーバーがその仮想物体を、物理作業空間において実行されるアクション、並びに本方法を実施するためのプログラム、及び本方法を実施するための該プログラムを記憶するストレージ媒体によって操作することを可能にする画像生成システム及び画像生成方法に関する。
オブザーバーが、該オブザーバーを取り囲む現実の物理空間のフィード上に重ね合わされた、仮想物体を含む仮想空間のビューを提示される、複合現実システムが既知である。
例えば、米国特許出願公開第２００２／００７５２８６号はそのようなシステムを開示している。該システムでは、オブザーバーは、オブザーバーの眼の位置及び視線方向において複合現実空間の立体画像を投影するヘッドマウントディスプレイ（ＨＭＤ）を装着する。複雑な周辺送受信機センサー機器を使用してオブザーバーの頭部及び手の動きが追跡される。このため、システムは、上記周辺機器の広範にわたるインストール及びキャリブレーションを必要とし、これによってシステムの可搬性が低減すると共に、比較的専門的知識のないユーザーにとって使用が容易でなくなる。さらに、システムは、オブザーバーと知覚される仮想物体とのインタラクションを、提供するとしても非常に限定されたものしか提供せず、道具を使用して仮想現実を操作することを可能にしない。
このため、標準的な作業エリア上に容易に位置決めすることができ、例えば机上に取り付けることができ、ＨＭＤを備える必要がなく、オペレーション前の複雑な周辺機器のインストール及びキャリブレーションを必要とせず、比較的不慣れなオブザーバーがオペレーションを行うことができると共に、オブザーバーが広範にわたりかつ直感的に複合現実作業空間内の仮想物体とインタラクトすると共に該仮想物体を操作することを可能にする、複雑でない設計の可搬性の複合現実システムに対する差し迫った需要が存在する。そのようなシステムは、中でも、トレーニング、指導、及び研究の用途、プレゼンテーション、デモンストレーション、娯楽、並びにゲームのような非常に多岐にわたる用途を享受することができる。
したがって、本発明は、オブザーバーに、仮想物体を含む仮想空間が上に重ね合わされた物理作業空間の、実質的にリアルタイムの複合現実体験を与えると共に、オブザーバーが、物理作業空間において実行されるアクションによって、広範にわたりかつ直感的に仮想空間内の仮想物体とインタラクトすると共に該仮想物体を操作することを可能にする画像生成システム及び画像生成方法と、本方法を実施するためのプログラム及び本方法を実施するための該プログラムを記憶するストレージ媒体とを提供することを目的とする。
確立された専門用語に即して、本画像生成システムは、インタラクティブ画像生成システム若しくはインタラクティブ画像生成ユニット、インタラクティブ仮想現実システム若しくはインタラクティブ仮想現実ユニット、又はインタラクティブ複合現実システム若しくはインタラクティブ複合現実ユニットとして適切に表記することもできる。
好ましくは、本インタラクティブ仮想現実ユニットは、小型であり、ユーザーが簡単にオペレーションを行うことができる。例えば、ユーザーは、オペレーションのためにシステムを準備するために、該システムをテーブルのような標準的な作業エリア上に配置し、システムの画像撮像部材の照準を、上記作業エリアの表面上の又は該表面の近くの作業空間に定めると共に、複合現実空間の画像を受信するために該システムをコンピューター（オプションでディスプレイを備える）に接続し、より多次元の（more-dimensional）仮想物体を簡単に操作することができる。
好ましくは、本システムは可搬とすることができ、可搬性と両立する寸法及び重量を有することができる。
また、好ましくは、本システムは、複雑でない設計を有することができる、標準的な作業エリア上に容易に位置決めすることができる、例えば机上に取り付ることができる、ＨＭＤを備える必要がない、使用前に広範にわたる周辺機器のインストール及びキャリブレーションを必要としなくてもよい、及び／又は比較的未熟なオブザーバーがオペレーションを行うことができる等の、１つ又は複数のさらなる利点を有することができる。
したがって、本発明の一態様は、オブザーバーが仮想物体を操作することを可能にするための画像生成システムであって、物理作業空間の画像を捕捉する画像撮像手段と、仮想物体を含む仮想空間の画像を生成する仮想空間画像生成手段と、該仮想空間画像生成手段によって生成された仮想空間の画像と、画像撮像手段によって出力された物理作業空間の画像とを合成することによって合成画像を生成する合成画像生成手段と、該合成画像生成手段によって生成された合成画像を表示する表示手段と、オブザーバーによって仮想物体を操作するためのマニピュレーターと、物理作業空間におけるマニピュレーターの姿勢を確定するマニピュレーター姿勢確定手段とを備え、該システムは、マニピュレーター姿勢確定手段によって確定された、物理作業空間におけるマニピュレーターの姿勢の変化を、仮想空間における仮想物体の姿勢及び／又は状態の変化に変換するように構成されることを特徴とする、画像生成システムを提供する。
本画像生成システムは、一般に、物理作業空間内の物体の姿勢及び状態に関する情報を管理すると共に、仮想空間内の仮想物体の姿勢及び状態に関する情報を管理する管理手段を備えることができる。管理手段は、上記物体の姿勢及び状態に関する情報を、受信、計算、記憶、及び更新することができると共に、物理作業空間の画像、仮想空間の画像、及びそれらを組み合わせた合成画像を生成することを可能にする等のために上記情報をシステムの他の構成要素に通信することができる。システムのリアルタイムのオペレーションを可能にするために、管理手段は、ストリーミング形式でデータ及び情報を受信、処理、及び出力するように構成することができる。
別の態様は、オブザーバーが仮想物体を操作することを可能にするための画像生成方法であって、物理作業空間の画像を取得するステップと、仮想物体を含む仮想空間の画像を生成するステップと、仮想空間の画像と、物理作業空間の画像とを合成することによって合成画像を生成するステップと、物理作業空間におけるマニピュレーターの姿勢を確定するステップとを含み、物理作業空間におけるマニピュレーターの姿勢の変化は、仮想空間における仮想物体の姿勢及び／又は状態の変化に変換されることを特徴とする、画像生成方法を提供する。本方法は、有利には、本画像生成システムを使用して実行される。
さらなる態様は、機械実行可能命令（プログラム）と、該プログラムを記憶するコンピュータ可読ストレージ媒体とを提供する。プログラムは、本発明の上記画像生成システムに対し上記画像生成方法を実行するように構成される。
本明細書において使用される場合、用語「物理作業空間」は、画像撮像手段によってその画像が捕捉される物理世界の部分を指す。仮想境界、及びしたがって物理作業空間の範囲は、画像撮像手段のために選択されたビューの角度に依拠する。一実施の形態では、表示手段によってオブザーバーに表示される物理世界の部分は、画像撮像手段によって捕捉される物理作業空間に一致することができる（例えば、該物理作業空間と実質的に同じ角度範囲を有することができる）。別の実施の形態では、オブザーバーに表示される画像は、「クロップ」することができる、すなわち、オブザーバーに表示される物理世界の部分は、画像撮像手段によって捕捉される物理作業空間よりも小さくすることができる（例えば、該物理作業空間よりも小さな角度範囲を有することができる）。
用語「姿勢」は通常、物理空間又は仮想空間のような所与の空間における物体の並進自由度及び回転自由度を指す。所与の空間における物体の姿勢は、上記空間における物体の位置及び配向の観点から表現することができる。例えば、３次元空間において、物体の姿勢は、該物体の３並進自由度及び３回転自由度を指すことができる。
仮想物体のような物体の用語「状態」は、オブザーバーによって視覚的に又は他の形（例えば触覚入力）で知覚可能な該物体の姿勢以外の該物体の属性を包含する。一般に、用語「状態」は、物体のサイズ、形状、形態、質感、透明度等のような該物体の外観、及び／又は、触覚刺激、例えば硬さ、柔らかさ、粗さ、重量等として知覚可能な該物体の特性を包含することができる。
本明細書において意図される仮想物体は、限定ではないが、任意の２次元（２Ｄ）の画像若しくはムービー物体、及び３次元（３Ｄ）若しくは４次元（４Ｄ、すなわち時間と共に変化する３Ｄ物体）の画像若しくはムービー物体、又はそれらの組み合わせを含むことができる。そのような仮想物体を表現するデータは、ストレージ媒体又はメモリに適宜記憶すると共に該データ媒体又はメモリからロードすることができる。
オブザーバーの体験を向上させるために、画像撮像手段は、物理作業空間の画像を、実質的にオブザーバーの眼の位置及び視野方向に捕捉するように構成することができる。また、仮想空間画像生成手段は、仮想空間の画像を、実質的にオブザーバーの眼の位置及び視野方向に生成するように構成することができる。これによって、オブザーバーが感知する物理世界と、該オブザーバーが見る物理作業空間及び仮想作業空間の合成画像との整合性が高まる。例えば、オブザーバーは、マニピュレーター（複数可）及びオプションで自身の手（複数可）を、実質的に、該オブザーバーが、例えば固有受容感覚入力、触知性入力、及び／又は聴覚入力のような他の感覚入力によってそれらを感知した位置に合成画像で見ることができる。これによって、合成画像内に位置する仮想物体の操作は、オブザーバーにとってより直感的にかつ自然なものとなる。
実質的にオブザーバーの眼の位置で物理作業空間の画像を捕捉するために、画像撮像手段は、有利には、システムが使用されているとき（すなわち、オブザーバーが自身の視野を表示手段に向けるとき）、オブザーバーの眼に対し、ごく近傍になるように構成することができる。例えば、システムが使用されているとき、画像撮像手段とオブザーバーの眼との間の距離は約５０ｃｍ未満、好ましくは約４０ｃｍ未満、さらにより好ましくは約３０ｃｍ未満の、例えば約２０ｃｍ以下、約１５ｃｍ以下、約１０ｃｍ以下、又は約５ｃｍ以下等とすることができる。
物理作業空間の画像を実質的にオブザーバーの視野方向に捕捉するために、画像撮像手段は、有利には、システムが使用されているとき（すなわち、オブザーバーが自身の視野を表示手段に向けるとき）、該画像撮像手段の（１つ又は複数の）光軸が、オブザーバーの視野方向に実質的に平行になるように構成することができる。例えば、システムが使用されているとき、画像撮像手段の光軸は、オブザーバーの視野方向に対して、約３０度未満、好ましくは約２０度未満、より好ましくは、約１５度未満の、例えば約１０度以下、約７度以下、約５度以下、若しくは約３度以下等の角度、又は、さらに好ましくは０度に近似するか若しくは０度の角度を定義することができる。特に好ましくは、画像撮像手段の光軸はシステムが使用されているときのオブザーバーの視野方向に実質的に対応し（重なり）、それによって高度にリアリティのある体験をオブザーバーに提供することができる。
例として、システムが使用されているとき、画像撮像手段とオブザーバーの眼との間の距離は約３０ｃｍ以下、より好ましくは約２５ｃｍ以下、さらにより好ましくは約２０ｃｍ以下の、好ましくは約１５ｃｍ、約１０ｃｍ、又は約５ｃｍ以下等とすることができ、画像撮像手段の光軸とオブザーバーの視野方向との間の角度は、約２０度以下、好ましくは約１５度以下、より好ましくは約１０度以下、さらにより好ましくは約７度以下、またさらにより好ましくは約５度以下の、好ましくは約４度、約３度、約２度、約１度以下等とすることができ、若しくは、さらにより好ましくは０度若しくは０度に近似することができ、又は、画像撮像手段の光軸がオブザーバーの視野方向に実質的に対応することができる。
本システムは、有利には、オブザーバーが自身の視野を表示手段に向けるとき（すなわちオブザーバーがシステムを使用しているとき）に、画像撮像手段が、上記で説明したように物理作業空間の画像を実質的にオブザーバーの眼の位置及び視野方向に捕捉するように、画像撮像手段及び表示手段を互いに対して位置決めするように構成される位置決め手段を備えることができる。上記位置決め手段は、画像撮像手段及び／又は表示手段の、（例えば、特定のシステムのオペレーションを行うのに最適であるとされる位置における）永続的な位置決め、又は調整可能な位置決め（例えばオブザーバーが画像撮像手段及び／又は表示手段の位置を変化させ、それによってそれらの相対位置を調整することができるようにする）を可能にすることができる。例として、位置決め手段は、画像撮像手段及び表示手段を備えると共に、それらを互いに対して位置決めするように構成されるハウジングとすることができる。
さらに有利には、画像撮像手段は、システムのオペレーションを行うセッション（ここでは「オペレーティングセッション」と呼ばれる）中、物理作業空間のロケーション及び範囲が実質的に変化しない、すなわち、物理作業空間の仮想境界が実質的に同じままであるように構成することができる。換言すれば、オペレーティングセッション中、画像撮像手段は物理世界の実質的に同じ部分の画像を捕捉することができる。例として、システムは、画像撮像手段を物理世界における予め定められたか又は予め調整された位置及び配向において支持及び／又は保持するように構成される支持手段を備えることができ、それによって、画像撮像手段は、オペレーティングセッション中、実質的に同じ物理作業空間の画像を捕捉することができる。例えば、支持手段は、標準的な作業エリア（例えば、テーブル、机、机上、台、ベンチ、カウンター等）上に配置することができ、該作業エリアの上方で該作業エリア又はその一部の画像の捕捉等を行うように方向付けられた画像撮像手段を、支持及び／又は保持するように構成することができる。
このため、この実施の形態では、画像撮像手段によって捕捉される（と共に表示手段によってオブザーバーに提示される）物理作業空間は、オブザーバーが自身の頭部及び／又は眼を動かしても変化しない。例えば、画像撮像手段はヘッドマウントではない。したがって、この実施の形態では、システムは周辺機器がオブザーバーの頭部及び／又は眼の姿勢及び／又は動きを検出することを必要としない。したがって、本システムは、複雑な周辺機器を最初にインストールすると共にそのように頻繁にキャリブレーションする必要がなく、可搬性の高速な用途に非常に適している。さらに、仮想空間は、オブザーバーが自身の頭部及び／又は眼を動かしたときに知覚される新たな物理作業空間と同時発生するように絶えず調整される必要がないため、本システムが必要とする演算能力はかなり少なくなる。これによって、本システムは、オブザーバーによる仮想空間の操作に起因する該仮想空間の変化により高速に反応することができ、このため、仮想物体とのリアルタイムのインタラクション体験をオブザーバーに与えることができる。
同様に、表示手段は、オブザーバーの頭部及び／又は眼の動きを追わないように構成することができる。例えば、表示手段はヘッドマウントではない。特に、画像撮像手段によって捕捉される（と共に表示手段によってオブザーバーに提示される）物理作業空間が、オブザーバーが自身の頭部及び／又は眼を動かしても変化しない場合（上記を参照）、オブザーバーが実際に自身の頭部及び／又は眼を動かしたときに、動かない物理作業空間を該オブザーバーに表示することによって、オブザーバーの視覚入力と、例えば固有受容感覚のような該オブザーバーの他の感覚からの入力との間の不快なずれがもたらされる場合がある。このずれは、表示手段がオブザーバーの頭部及び／又は眼の動きを追わないとき、発生しない。一例では、表示手段は、オペレーティングセッション中、表示手段の位置及び配向が実質的に変化しないように構成することができる。例として、システムは、表示手段を物理世界における予め定められたか又は予め調整された位置及び配向において支持及び／又は保持するように構成される支持手段を備えることができる。表示手段を支持及び／又は保持する支持手段は、画像撮像手段を支持及び／又は保持する支持手段と同じであってもよく、又は異なっていてもよい。
このため、この実施の形態では、オブザーバーがシステムを使用するとき、該オブザーバーは表示手段を見て、該表示手段によって表示される仮想現実シーンに没入するが、該オブザーバーは、単に自身の注視（眼）を表示手段から逸らすことによって、自身の物理環境に瞬時に「戻る」ことができる。この特性によって、システムは、中でも、拡張現実と通常現実（normal realities）との間の頻繁な切り替えを必要とする用途、又はセッション中、オブザーバーの頻繁な交代又はローテーションを必要とする用途（例えば、デモンストレーション、教育等）に非常に適したものとなる。
好ましくは、システムは、物理作業空間及び／又は仮想空間、並びに好ましくは双方の立体ビュー（３Ｄビュー）を提供することができる。そのような立体ビューは、オブザーバーが、見ているシーンの奥行きを知覚することを可能にし、よりリアリティのある体験を確実にし、したがって、オブザーバーが物理作業空間内で動作することによって仮想空間をより正確に操作するのに役立つ。
物理空間の立体画像を捕捉する手段及び方法、仮想空間の立体画像を生成する手段及び方法、該画像を結合して物理空間と仮想空間とを足し合わせた（すなわち複合現実空間の）合成立体画像を作成する手段及び方法、並びに立体画像表示のための手段及び方法は、それら自体で既知であり、本明細書において、それらを本システムのそれぞれの要素に適用することができる（中でも、Judge「Stereoscopic Photography」（Ghose Press 2008, ISBN: 1443731366）、Girling「Stereoscopic Drawing: A Theory of 3-D Vision and its application to StereoscopicDrawing」（1st ed., Reel Three-D Enterprises 1990, ISBN: 0951602802）を参照されたい）。
上述したように、本システムは１つ又は複数のマニピュレーターを備え、それによって、オブザーバーは、物理作業空間においてマニピュレーターを制御すること（例えば、マニピュレーターの姿勢を変更すること）によって、仮想空間内の物体とインタラクトすることができる。
一実施の形態では、システムは、オブザーバーがマニピュレーターを所与の仮想物体又は仮想物体のグループに可逆的に関連付けることを可能にすることができる。これによって、システムは、物理作業空間におけるマニピュレーターの姿勢の変化によって、そのように関連付けられた仮想物体（複数可）の姿勢及び／又は状態に変化が生じるべきであることを通知される。仮想物体をマニピュレーターに可逆的に関連付けることが可能であることによって、オブザーバーは仮想空間をより正確に操作することが可能になる。該関連付けは、例えば、複合現実ビューにおいてマニピュレーターを仮想物体のごく近傍に持っていくか又は該仮想物体と接触させ、該関連付けを始動するコマンドを送信する（例えば、ボタンを押下する）ことによって達成することができる。
一実施の形態では、物理作業空間におけるマニピュレーターの姿勢の変化によって、仮想空間における仮想物体の姿勢に、質的に、かつより好ましくは量的にも同一の変化が生じることができる。これによって、仮想物体の操作がオブザーバーにとって直感的なままであることが確実にされる。例えば、仮想物体の姿勢変化の少なくとも方向（例えば並進及び／又は回転）が、マニピュレーターの姿勢変化と同一であることができる。好ましくは、仮想物体の姿勢変化の範囲（程度）（例えば上記並進及び／又は回転の程度）も、マニピュレーターの姿勢変化と同一であることができる。代替的に、仮想物体の姿勢変化の範囲（程度）（例えば上記並進及び／又は回転の程度）は、マニピュレーターの姿勢変化に比例する所与の係数によってスケールアップ又はスケールダウンすることができる。
有利には、マニピュレーターはハンドヘルド型であるか、又は他の形で手につなげることが可能である。これによって、オブザーバーは、自身の手（マニピュレーターを握っているか又は他の形でマニピュレーターにつながれている）を用いて物理作業空間におけるマニピュレーターの姿勢を変化させ、それによって仮想空間における仮想物体の姿勢及び／又は状態の変化を引き起こすことが可能になる。このため、物理世界におけるオブザーバーの手の動きは、仮想空間における仮想物体に影響すると共に、該仮想物体を操作し、それによって、オブザーバーは仮想世界とのインタラクションを体験する。
また有利には、オブザーバーは、画像撮像手段によって出力された物理作業空間の画像において、マニピュレーターと、該オブザーバーの手も物理作業空間に入っている限り、自身の手とを見ることができる。このため、オブザーバーは、マニピュレーターの姿勢に関する視覚情報、及びオプションで物理作業空間における自身の手に関する視覚情報を受け取ることができる。そのような視覚情報によって、オブザーバーは、マニピュレーターをより直感的にかつ正確に制御することができる。
オプションで、好ましくは、仮想カーソルを（例えば、仮想空間画像生成手段によって）仮想空間の画像内に生成し、該仮想カーソルが画像撮像手段によって出力された物理作業空間におけるマニピュレーターの画像の上に重ね合わせられるようにすることができる。仮想空間における仮想カーソルの姿勢は、好ましくは物理作業空間におけるマニピュレーターの姿勢に対応し、それによって、仮想カーソルの知覚によって、物理作業空間におけるマニピュレーターの姿勢に関する適切な視覚情報がオペレーターに提供される。仮想カーソルは、マニピュレーター全体又はその一部の上に重ね合わせることができる。
本システムは、１つのマニピュレーターを備えることができるか、又は２つ以上（例えば、３つ、４つ、５つ、又はそれ以上等）のマニピュレーターを備えることができる。通常、マニピュレーターは、オブザーバーの任意の一方の手での使用のために構成することができるが、オブザーバーの特定の（例えば左又は右の）手での使用（例えば排他的使用又は好ましい使用）のために構成されたマニピュレーターを想定することができる。さらに、システムにおいて２つ以上のマニピュレーターが含まれる場合、システムは、該マニピュレーターのうちの任意の２つ以上が仮想空間を同時に又は別個に操作することを可能にするように構成することができる。本システムは、上記マニピュレーターのうちの任意の２つ以上が、同じか又は異なる仮想物体（複数可）又は物体のセットを操作することを可能にするように構成することもできる。このため、オブザーバーは、仮想空間とインタラクトするのに任意の一方の手又は双方の手を使用することを選択することができると共に、該任意の一方の手又は双方の手によって１つ又は複数のマニピュレーターを制御することができる。例えば、オブザーバーは、特定のマニピュレーター又は特定のマニピュレーターのセットを制御するために特定の手を確保してもよく、又は代替的に、該マニピュレーター若しくはマニピュレーターのサブセットを制御するために任意の一方の手若しくは双方の手を使用してもよい。
物理作業空間におけるマニピュレーターの姿勢は、マニピュレーター姿勢確定手段によって評価される。マニピュレーター姿勢確定手段は、この目的のために、様々な手段及びプロセスを用いることができる。ここでは以下で、マニピュレーターの姿勢を確定するためのいくつかの直感的な基準を提案する。
好ましい実施の形態では、マニピュレーター姿勢確定手段は、画像撮像手段によって出力される物理作業空間の画像から、物理作業空間におけるマニピュレーターの姿勢を全体的に又は部分的に確定するように構成される。このため、本実施の形態において、物理作業空間におけるマニピュレーターの姿勢は、画像撮像手段によって出力される物理作業空間の画像から全体的に又は部分的に確定される。
これによって有利には、マニピュレーターの姿勢を確定するための従来の周辺機器の必要性が回避又は低減される。周辺機器は通常、マニピュレーターと通信する放射（例えば電磁放射又は超音波放射）送受信機装置を伴うため、そのような周辺機器を回避又は低減することによって、システム及び該システムのマニピュレーター（複数可）の（電気的）設計の複雑性及びエネルギー要件が低減される。複雑な周辺機器を最初にインストールすると共にそのように頻繁にキャリブレーションする必要性も回避又は低減され、それによって、本システムは、可搬性の高速な用途にも非常に適している。さらに、マニピュレーターの姿勢は、高速画像分析アルゴリズム及びソフトウェアを使用して、全体的に又は部分的に確定することができる。これらの高速画像分析アルゴリズム及びソフトウェアは、必要とする演算能力が少なく、より高速であり、したがって、仮想物体を操作する、よりリアリティのあるリアルタイムの体験をオブザーバーに提供する。
画像撮像手段によって出力される画像においてマニピュレーター及び該マニピュレーターの姿勢を認識することを可能にするために、該マニピュレーターは、認識部材を備えることができる。認識部材は、画像認識アルゴリズムによって認識可能な、画像における外観を有することができる。さらに、認識部材は、画像撮像手段によって捕捉される画像における該認識部材の外観（例えばサイズ及び／又は形状）が、画像撮像手段に対する該認識部材の姿勢の関数（及びしたがって、適切な変換によって、物理作業空間における該認識部材の姿勢の関数）となるように構成することができる。このため、上記関数が既知である（例えば、理論的に予測可能であるか、又は経験的に求められた）とき、画像撮像手段に対する認識部材の姿勢（及び認識部材を備えるマニピュレーターの姿勢）は、画像撮像手段によって捕捉される画像における上記認識部材の外観から導出することができる。次に、画像撮像手段に対する姿勢を、物理作業空間における姿勢に容易に変換することができる。認識部材は、１つ又は複数の弁別的なグラフィックマーカー又はグラフィックパターンのような１つ又は複数の適切なグラフィック要素を含むことができる。必須の機能を有する任意の画像認識アルゴリズム又はソフトウェアがここでの使用に適している。例示的なアルゴリズムは、中でも、PJ Besl and ND McKay「A MEthod for registration of 3-d shapes」（IEEETrans. Pattern Anal. Mach. Intell. 14(2): 239-256, 1992.）において論考されている。
別の実施の形態では、マニピュレーターは、加速度計であって、重力及び／又はオブザーバーが生成したマニピュレーターの動きによって該マニピュレーターに加えられた加速度を測定することによって、物理作業空間におけるマニピュレーターの姿勢を測定するように構成される加速度計を備えることができる。したがって、この実施の形態において、物理作業空間におけるマニピュレーターの姿勢は、重力及び／又はオブザーバーが生成したマニピュレーターの動きによって該マニピュレーターに加えられた加速度を測定することによって少なくとも部分的に確定することができる。加速度計を使用することによって、周辺機器の必要性が回避又は低減され、上記で論考した利点がもたらされる。
加速度計は任意の従来の加速度計とすることができ、好ましくは３軸加速度計、すなわち３つ全ての座標軸に沿った加速度を測定するように構成される加速度計とすることができる。マニピュレーターが静止しているとき、加速度計は３つの軸に沿って重力を読み取る。有利には、加速度計は、水平面に対するマニピュレーターのチルト（傾斜、勾配）を高速に求めることができる。このため、加速度計は、マニピュレーターのロール及びピッチを測定するのに特に有用であることができる。
またさらなる実施の形態では、マニピュレーターは、（直接的に又は関節的に）ｎ自由度の連結式装置に接続されることができる。装置の自由度の数は、所望の操作範囲に依拠する。好ましくは、装置は３次元作業空間における実質的に制限のない操作を可能にする６自由度の連結式装置とすることができる。例として、６自由度の装置は触覚装置とすることができる。連結式装置の基準座標系に対する（例えば連結式装置の基部に対する）マニピュレーターの姿勢は容易に入手可能であり、物理作業空間における姿勢に適切に変換することができる。このため、この実施の形態は、マニピュレーターの姿勢をさらに高速に確定し、それによって、仮想物体を操作する、リアリティのあるリアルタイムの体験をオブザーバーに提供することを可能にする。
本明細書は、上述した本発明によるマニピュレーターの姿勢を確定する手段のうちの任意の１つを単独で、又は上述した本発明によるマニピュレーターの姿勢を確定する手段のうちの任意の２つ以上を組み合わせたものを使用するシステムを想定する。有利には、上記手段を組み合わせることによって、上記姿勢確定の正確度及び／又は速度を上げることができる。例えば、異なる複数の手段を組み合わせて冗長な姿勢情報又は補足的姿勢情報を生成することができる。
例として、マニピュレーターの認識部材の画像認識を使用する姿勢確定はアーチファクトを受けやすい場合がある。認識部材の２Ｄ画像から、遠近法のわずかな歪みによって、誤った配向が生じる場合がある（位置推定はそのようなアーチファクトの影響をより受けにくい）。例えば、歪みはコントラストの欠如（不良な照明状態）、又はラスタライゼーションに起因して生じる場合がある。認識部材の２Ｄ画像を所与とすると、画像認識及び姿勢推定アルゴリズムは、複数の可能性の高い姿勢を返すことができる。次に、この入力を加速度計からの入力と結合して、加速度計によって求められたマニピュレーターのチルト角に従って不可能である姿勢を除外することができる。
さらに、本明細書は、上述した本発明によるマニピュレーターの姿勢を確定する手段のうちの任意の１つ、２つ、又はそれ以上を、例えば適切な周辺機器のような他の従来の姿勢確定手段と組み合わせて使用することも予見している。本明細書は、そのような従来の手段を単独で使用することも想定している。
したがって、本発明は、本明細書において説明されるマニピュレーターにも関する。特に、該マニピュレーターは、上記で教示した認識部材、及び／又は上記で教示した加速度計を備え、かつ／又は上記で教示したｎ自由度の連結式装置に接続される。
本システム、本方法、及び本プログラムは、２人以上のオブザーバーに対応するネットワーク化された用途に適合させることができる。例えば、オブザーバーのそれぞれが、複合現実空間のシーンを受け取ることができ、該複合現実空間のシーンは、背景として、該オブザーバーの物理作業空間を含み、残りのオブザーバーと共有される（すなわち残りのオブザーバーに見える）１つ又は複数の仮想物体をさらに含む。
有利には、任意の１人のオブザーバーによる、該オブザーバー自身の作業空間における共有仮想物体の操作によって、残りのネットワーク接続されたオブザーバーのうちの１人若しくは複数人又は全員の複合現実ビューにおいて、該物体に、その姿勢及び／又は状態を変更させることができる。有利には、オブザーバーは互いのマニピュレーター（又は仮想マニピュレーターカーソル）を視覚的に知覚することもでき、マニピュレーター（カーソル）は、それらを制御するそれぞれのオブザーバーを一意に識別するように構成する（例えばラベル付けする）ことができる。
したがって、一実施の形態は、２人以上のオブザーバーが仮想物体を操作することを可能にするための画像生成システムであって、それぞれのオブザーバーの物理作業空間の画像を捕捉する、オブザーバー毎の画像撮像手段と、仮想物体を含む仮想空間の画像を生成する仮想空間画像生成手段と、オブザーバー毎に、該仮想空間画像生成手段によって生成された仮想空間の画像と、画像撮像手段によってそれぞれのオブザーバーに対して出力された物理作業空間の画像とを合成することによって合成画像を生成する合成画像生成手段と、該合成画像生成手段によって生成された合成画像をそれぞれのオブザーバーに表示する、オブザーバー毎の表示手段と、それぞれのオブザーバーによって仮想物体を操作するための、オブザーバー毎のマニピュレーターと、それぞれのオブザーバーの物理作業空間におけるマニピュレーターの姿勢を確定するマニピュレーター姿勢確定手段とを備え、該システムは、任意の１人のオブザーバーのマニピュレーター姿勢確定手段によって確定された、該オブザーバーの物理作業空間におけるマニピュレーターの姿勢の変化を、仮想空間における仮想物体の姿勢及び／又は状態の変化に変換するように構成されることを特徴とする、画像生成システムを提供する。本発明の方法及びプログラムは、そのようなシステムに従って容易に適合させることができる。
本システムは、画像撮像手段によって捕捉され、オブザーバーに表示される物理作業空間が、オブザーバーが自身のアクションを実行する実際の作業エリアに対応する（すなわち、画像撮像手段、及びしたがって該画像撮像手段によって捕捉される物理画像空間が、通常オブザーバーの近くにあるか又は近傍にある）状況において特に有用であることができるが、画像撮像手段によって捕捉され、オブザーバーに表示される物理作業空間が、該オブザーバーからリモートにある（例えば、別の部屋、ロケーション、国、地球座標、又はさらには、例えば月のような別の天体にある）状況も想定することができる。例として、この文脈における「リモート」は、５メートル以上（例えば１０ｍ以上、５０ｍ以上、１００ｍ以上、５００ｍ以上、又はそれ以上）を意味することができる。したがって、オブザーバーは、自身の実際の作業エリアにおいてマニピュレーターのオペレーションを行うことによって、リモート物理作業空間の背景にある仮想物体の姿勢及び／又は状態を変化させることができる。マニピュレーターの姿勢を再生する仮想カーソルを複合現実空間内に投影してオブザーバーの操作を補助することができる。
したがって、一実施の形態は、オブザーバーが仮想物体を操作することを可能にするための画像生成システムであって、物理作業空間の画像を捕捉するリモート画像撮像手段と、仮想物体を含む仮想空間の画像を生成する仮想空間画像生成手段と、該仮想空間画像生成手段によって生成された仮想空間の画像と、画像撮像手段によって出力された物理作業空間の画像とを合成することによって合成画像を生成する合成画像生成手段と、該合成画像生成手段によって生成された合成画像を表示する表示手段と、オブザーバーによって仮想物体を操作するためのマニピュレーターと、オブザーバーの近傍の作業エリアにおけるマニピュレーターの姿勢を確定するマニピュレーター姿勢確定手段とを備え、該システムは、マニピュレーター姿勢確定手段によって確定された、上記近傍の作業エリアにおけるマニピュレーターの姿勢の変化を、仮想空間における仮想物体の姿勢及び／又は状態の変化に変換するように構成されることを特徴とする、画像生成システムを提供する。本発明の方法及びプログラムは、そのようなシステムに従って容易に適合させることができる。
本画像生成システム、本画像生成方法、及び本画像生成プログラムは、様々な分野、特に、物体（好ましくは３Ｄ又は４Ｄの物体）の仮想表現の視覚化、操作、及び分析が有益であり得る分野において適用可能である。例えば、そのような分野のうちの任意のものにおいて、本システム、本方法、及び本プログラムを実際の訓練、研究及び／若しくは開発のために、又はトレーニング、デモンストレーション、教育、展示（例えば博物館）、シミュレーション等の目的で使用することができる。本システム、本方法、及び本プログラムを適用することができる分野の非限定的な例は、中でも、：
−一般に、物体の仮想表現の視覚化、操作、及び分析の分野；本システム、本方法、及び本プログラムによって任意の物体を視覚化、操作、及び分析することができるが、特に適切であるのは、例えば、その寸法、入手不可能性、アクセス不可能性等に起因して実際の環境において分析に（容易には）適しない物体とすることができる；例えば、物体は、現実環境において分析するには小さすぎるか又は大きすぎる場合がある（例えば、小さな物体、例えばタンパク質若しくは核酸を含む生体分子のような微小物体又は微生物の適切にスケールアップされた表現、例えば、機械若しくは構造物等のような人工の物体、又は生物若しくは非生物、地質学的物体、惑星物体、宇宙物体等のような非人工物体のような大きな物体の適切にスケールダウンされた表現）；
−一般に、データ分析の分野、例えば比較的「無限の」仮想空間において視覚化される大量のデータの視覚化、操作、及び分析に適用される；別個のレベルのデータを、分析、グループ化することができ、それらのデータ間の関係を識別及び視覚化することができる；
そして、特に、例示的な分野には限定ではないが以下が含まれる：
−医学分野、例えば医療イメージング分析（例えば、Ｘ線イメージング、ＣＴイメージング、ＭＲＩイメージング、ＰＥＴイメージング、超音波イメージング、又は他のイメージングにおいて取得された２Ｄデータ、３Ｄデータ、又は４Ｄデータの閲覧及び操作）、実際の又はシミュレートされた、侵襲性又は非侵襲性の、治療的又は診断的処置、及び実際の又はシミュレートされた外科的処置、組織、臓器、又は身体部分の解剖学的分析及び／又は機能分析に適用される；例として、医学分野における用途のうちの任意のものは、実際の医療行為（例えば、診断行為、治療行為、及び／又は外科診療）の目的とすることができるか、又は研究、トレーニング、教育、若しくはデモンストレーションの目的とすることができる；
−創薬及び薬剤開発の分野、例えば、目標生体分子（例えば、タンパク質、ポリペプチド、ペプチド、ＤＮＡ又はＲＮＡのような核酸）、目標細胞構造、候補薬剤、候補薬剤と目標分子又は目標細胞構造との間の結合等の３Ｄ視覚化又は４Ｄ視覚化、操作、及び分析に適用される；
−タンパク質構造発見の分野、例えば、タンパク質折り畳み、タンパク質複合体折り畳み、タンパク質構造、タンパク質の安定性及び変性、タンパク質リガンド相互作用、タンパク質間相互作用、又はタンパク質核酸相互作用等の３Ｄ視覚化又は４Ｄ視覚化、操作、及び分析に適用される；
−構造科学、材料科学、及び／又は材料工学の分野、例えば、人工及び非人工の材料及び物体を含む物理材料及び物理物体の仮想表現の視覚化、操作、及び分析に適用される；
−例えば、石油、天然ガス、鉱物、又は他の天然資源の探査の分野、例えば、地質学的構造、（可能性のある）採掘現場又は掘削現場（例えば沖合いの現場）等の仮想表現の視覚化、操作、及び分析に適用される；
−製品の設計及び開発、工学（例えば、化学工学、機械工学、土木工学、又は電気工学）、及び／又は建築の分野、例えば、製品、試作品、機械、建造物等の関連物体の仮想表現の視覚化、操作、及び分析に適用される；
−ナノテクノロジー及びバイオナノテクノロジーの分野、例えば、ナノサイズの物体の仮想表現の視覚化、操作、及び分析に適用される；
−通常、多層３Ｄ設計を伴う、集積回路及びウェハーの設計及び開発等の電子回路の設計及び開発の分野、例えば、電子回路、部分回路、回路層等の仮想表現の視覚化、操作、及び分析に適用される；
−遠隔オペレーション、すなわちリモート機器（例えば機械、道具、装置）のオペレーションの分野；例えば、オブザーバーは、ビデオ録画された物理物体を表す仮想物体を見て操作することができ、該リモート物理物体は、リモート機器による操作を受け、オブザーバーによって仮想物体に対して実行された操作は、上記リモート機器によって物理物体に（同じ規模又は異なる規模で）コピーされる（例えば、医療処置及び医療介入のリモート制御）；
−地球外の環境又は状況のシミュレーションの分野。例えば、地球上のオブザーバーに、リモートの地球外の物理作業空間の背景（例えば、宇宙、宇宙ステーション、宇宙船、又は月面の画像撮像手段によって撮られた画像）を示すことができ、それによって地球外の物理作業空間の画像上に仮想物体が重ね合わせられ、該仮想物体をオブザーバーの近傍の作業エリアにおいて該オブザーバーのアクションによって操作することができる。このため、オブザーバーは、表示される地球外環境内に没入すると共に、該地球外環境内の物体を操作又は操縦しているという感覚を得る。さらに、画像撮像手段よって捕捉される地球外の物理作業空間を、さらに別の地球外環境（例えば、別の惑星、例えば火星等）の表現又は代用モデルとして使用することができる。有利には、オブザーバーはマニピュレーターからの触覚入力も受信し、中でも、画像撮像手段によって捕捉された地球外環境、又はこれがさらに別の地球外環境の表現又は代用モデルとしての役割を果たす場合にはその地球外環境における、重力状態を体験することができる。したがって、航空宇宙技術の分野における用途、及び（例えば展示会及び博物館の）「空間リアリティ（space reality）」の大衆認識を高める用途が予見される；
−販売並びに他のプレゼンテーション及びデモンストレーションの分野、例えば製品の視覚化、操作、及び分析に適用される；
−システム生物学の分野、例えば、遺伝子発現研究、プロテオミクス研究、タンパク質間相互作用網研究等によって作成されるような、例えば大きなデータセットの視覚化及び分析に適用される；
−金融及び／又は経済の分野、例えば、複雑で動的な経済システム及び／又は金融システムの視覚化及び分析に適用される；
−娯楽及びゲームの分野；
を含む。
有利には、上記の使用及びさらなる使用において、システムの１つ又は複数のマニピュレーターを（直接的又は間接的に）触覚装置に接続して、オブザーバーの、仮想物体とのインタラクション及び該仮想物体の操作に、触覚を加える（例えば、マニピュレーターを介してオブザーバーに力、振動、及び／又は動きを与える）ことができる。仮想現実ソリューションにおける触覚装置及び触覚のレンダリングは、それ自体が既知であり、本システムと適切に統合することができる（中でも、McLaughlin他「Touch in Virtua; Environments: Haptics and the Design ofInteractive Systems」（1st ed., Pearson Education 2001, ISBN 0130650978）、MGrunwald編「Human Haptic Perception: Basics and Applications」（1st ed., Birkhauser Basel 2008, ISBN 3764376112）、 Lin & Otaduy編「HapticRendering: Foundations, Algorithms and Applications」（A K Peters 2008, ISBN1568813325）を参照されたい）。
本発明を、例示としてのみ、本発明の非限定的な実施形態の添付の図面を参照して、以下でより詳細に説明する。
本発明の画像生成システムの一実施形態の概略表現である。 本発明の画像生成システムの一実施形態の斜視図である。 本発明の画像生成システムと共に使用するためのマニピュレーターの一実施形態の斜視図である。 ベースマーカーを含む作業エリア上に取り付けられた本発明の画像生成システムの一実施形態の斜視図であり、カメラ座標系（ｘｖ，ｙｖ，ｚｖ，ｏｖ）及び世界座標系（ｘｗ，ｙｗ，ｚｗ，ｏｗ）（本明細書全体を通じて使用される符号「ｏ」又は「Ｏ」は、所与の座標系の原点を適切に表すことができる）を描く図である。 ベースマーカーの斜視図であり、世界座標系（ｘｗ，ｙｗ，ｚｗ，ｏｗ）及びナビゲーション座標系（ｘｎ，ｙｎ，ｚｎ，ｏｎ）を描く図である。 ベースマーカーを備える作業エリア上に取り付けられ、マニピュレーターをさらに備える本発明の画像生成システムの一実施形態の斜視図であり、カメラ座標系（ｘｖ，ｙｖ，ｚｖ，ｏｖ）、世界座標系（ｘｗ，ｙｗ，ｚｗ，ｏｗ）、及びマニピュレーター座標系（ｘｍ，ｙｍ，ｚｍ，ｏｍ）を描く図である。 作業エリア上に取り付けられ、６自由度の連結式装置に接続されたマニピュレーターをさらに備える本発明の画像生成システムの一実施形態の斜視図であり、カメラ座標系（ｘｖ，ｙｖ，ｚｖ，ｏｖ）、マニピュレーター座標系（ｘｍ，ｙｍ，ｚｍ，ｏｍ）、及び連結式装置ベース座標系（ｘｄｂ，ｙｄｂ，ｚｄｂ，ｏｄｂ）を描く図である。 物理作業空間の捕捉画像のクロッピングの一例を示す図である。 仮想空間が仮想物体によって互いに及び作業表面上に投じられる影を含む、合成画像を示す図である。 本画像生成システムの一実施形態のキャリブレーションを示す図である。 本画像生成システムの一実施形態のキャリブレーションを示す図である。 本画像生成システムの一実施形態のキャリブレーションを示す図である。 本画像生成システムの一実施形態のキャリブレーションを示す図である。 コンピューターを含む、本発明の画像生成システムの一実施形態の機能配置を示すブロック図である。
本明細書において使用される場合、単数形、「a」、「an」、及び「the」は、文脈によって明確に別段の指定がない限り、単数及び複数双方の指示対象を含む。
本明細書において使用される場合、用語「含む、備える（comprising、comprises）」及び「から成る（compresed of）」は、「含む、備える（including、includes）」又は「含有する（containing,contains）」と同義であり、包括的又は拡張可能であり、さらなる列挙されていない部材、要素、又は方法ステップを排除しない。
端点による数値範囲の列挙は、それぞれの範囲内に包含される全ての数及び有理数、並びに列挙された端点を含む。
本明細書において使用される場合、用語「約（about）」は、パラメータ、量、時間期間等のような測定可能な値を指している場合、特定された値の変動、及び特定された値からの変動、特に、特定された値の、及び特定された値からの、＋／−１０％以下、好ましくは＋／−５％以下、より好ましくは＋／−１％以下、さらにより好ましくは＋／−０．１％以下の変動が、開示される本発明における実施に適している限り、そのような変動を包含するように意図される。修飾語「約（about）」が指す値自体も、明確に好ましくは開示されることを理解されたい。
本明細書において挙げられる全ての文献は参照によりそれらの全体が本明細書に援用される。
別段の規定がない限り、技術用語及び科学用語を含む、本発明の開示において使用される全ての用語は、本発明が属する当該技術分野の当業者によって共通に理解される意味を有する。さらなる指導により、本発明の教示をより良好に理解するための用語定義を含む場合がある。
図１による画像生成システムは、ハウジング１を含む。ハウジング１は、作業空間２に向かって方向付けられた側面に、画像撮像手段５、６を備え、反対側の側面に表示手段７、８を備える。画像撮像手段５、６は、物理作業空間２の画像を捕捉することを目的とし、そのように適合される。
画像撮像手段５、６は、適切には対物レンズ又は対物レンズ系を設けられた、カメラ、より適切にはビデオデータのフレームを捕捉することが可能なデジタルビデオカメラのような、１つ又は複数の（例えば、１つ又は少なくとも２つの）画像撮像部材５、６を含むことができる。システムの実質的にリアルタイムのオペレーションを可能にするために、画像撮像手段５、６は、少なくとも毎秒約３０フレームのレート、好ましくは、例えば毎秒６０フレームのような、表示手段のリフレッシュレートに対応するレートで物理作業空間２の画像を捕捉するように構成することができる。このため、システムの管理手段は、そのようなストリーミング入力情報を処理するように構成することができる。
図１に示す実施形態では、画像撮像手段は、互いから或る距離で並んで位置する２つの画像撮像部材、すなわちビデオカメラ５、６を含む。左眼カメラ５は、オブザーバーの左眼９を対象とする物理作業空間２の画像を捕捉するように構成されるのに対し、右眼カメラ６は、オブザーバーの右眼１０を対象とする物理作業空間２の画像を捕捉するように構成される。それによって、左眼カメラ５は物理作業空間２の左眼画像を供給することができ、右眼カメラ６は、物理作業空間２の右眼画像を供給することができ、該左眼画像がオブザーバーの左眼９に提示され、該右眼画像がオブザーバーの右眼１０に提示されると、オブザーバーに対し、物理作業空間２の立体ビュー（３Ｄビュー）が作成される。カメラ５とカメラ６との間の距離は、適切には、平均の意図されるオブザーバーの瞳孔間の距離に対応することができる。
一実施形態では、画像撮像手段の光軸（又は、例えば画像撮像手段が２つ以上の画像撮像部材を備える場合、複数の光軸）は調整可能とすることができる。例えば、一実施形態では、個々の画像撮像部材の光軸は互いに対してかつ／又は表示手段に対して（したがって、表示手段に向けられたときのオブザーバーの眼の位置に対して）調整可能とすることができる。例えば、図１の実施形態において、画像撮像部材（カメラ）５、６の光軸は、互いに対してかつ／又は表示部材７、８、（したがって眼９、１０）の位置に対して調整可能とすることができる。カメラ５の対物レンズの光軸は１３によって示され、カメラ６の対物レンズの光軸は１４によって示され、パースビュー（perspective view）１６、１７を定義する。また、画像撮像部材５と、画像撮像部材６との間の距離は調整可能とすることができる。このため、オブザーバーは、画像撮像部材５、６の照準を物理世界に定め、物理作業空間２の適切な立体３Ｄビューの捕捉等を行うことができる。これは、画像撮像部材５と、画像撮像部材６との間の距離及び／又は画像撮像部材５、６の方向に依拠し、経験のあるオブザーバーが容易に選択することができる。これによって、物理作業空間のビューを、仮想物体（複数可）を含む立体表示される仮想空間の所望の形式及び寸法に適合させることもできる。画像撮像部材５、６の上記で説明した調整可能性によって、オブザーバーが、自身の需要に合わせてシステムを調整し、リアリティがありかつ高品質の３次元体験を達成すると共に、オペレーションの容易さを提供することを可能にすることができる。
別の実施形態では、画像撮像手段の位置及び光軸（又は、例えば画像撮像手段が２つ以上の画像撮像部材を備える場合、複数の光軸）は、調整不可能とする、すなわち予め定めるか又はプリセットしてもよい。例えば、一実施形態では、個々の画像撮像部材５、６の光軸は、互いに対して、及び表示部材７、８に対して調整不可能としてもよい。また、画像撮像部材５と、画像撮像部材６との間の距離は調整不可能としてもよい。例えば、画像撮像部材５、６の、互いに対する距離及び光軸、並びに表示部材７、８に対する距離及び光軸は、製造者が、例えば理論的考察に基づいて、例えば特定のシステムに最適と考えられる設定を使用してプリセットするか、経験的に予め定めることができる。
オペレーティングセッション中、実質的に同じ物理作業空間２の画像を捕捉する等のために、好ましくは、オペレーティングセッション中、ハウジング１は画像撮像部材５、６を、物理世界における予め定められるか又は予め調整された位置及び配向で支持及び／又は保持する。
表示手段７、８は、従来の液晶ディスプレイ及びプリズムディスプレイのような１つ又は複数の（例えば、１つ又は少なくとも２つの）表示部材７、８を含むことができる。システムの実質的にリアルタイムのオペレーションを可能にするために、表示手段５、６は、好ましくは画像撮像手段５、６の画像捕捉レートと実質的に同じか又はそれより高いリフレッシュレートを提供することができる。例えば、表示手段７、８は、例えば毎秒６０フレームのような、少なくとも毎秒約３０フレームのリフレッシュレートを提供することができる。表示部材は好ましくは色が異なることができる。表示部材は、限定ではないが、３原色ＲＧＢ又はそれらの組み合わせ毎に、水平方向に少なくとも約８００画素、及び垂直方向に少なくとも約６００画素の解像度を有することができる。このため、システムの管理手段は、そのようなストリーミング出力情報を処理するように構成することができる。
図１に示す実施形態では、表示手段は、互いから或る距離で並んで位置する２つの表示部材７、８を含む。左眼表示部材７は、左眼９の位置から見える仮想物体（複数可）を含む仮想空間画像が上に重ね合わせられた、左眼画像撮像部材５によって捕捉された物理作業空間２の画像から合成される合成画像を表示するように構成される。右眼表示部材８は、右眼１０の位置から見える仮想物体（複数可）を含む仮想空間画像が上に重ね合わせられた、右眼画像撮像部材６によって捕捉された物理作業空間２の画像から合成される合成画像を表示するように構成される。そのような接続は通常、直接ではなく、適切にはコンピューターのような管理手段を通じて行われる。それによって、左眼表示部材７は複合現実空間の左眼合成画像を供給することができ、右眼表示部材８は複合現実空間の右眼合成画像を供給することができ、該左眼合成画像がオブザーバーの左眼９に提示され、該右眼合成画像が右眼１０に提示されると、オブザーバーに対し、複合現実作業空間の立体ビュー（３Ｄビュー）が作成される。カメラ５とディスプレイ７との接続は、破線５ａによって概略的に示され、カメラ６とディスプレイ８との接続は、破線６ａによって概略的に示される。コンピューターのメモリ３内に記憶されている仮想空間及び／又は仮想物体４の表現から、左眼表示部材７のための仮想物体を含む仮想空間の立体画像及び右眼表示部材８のための仮想物体を含む仮想空間の立体画像をそれぞれ生成（分割）することができる。この分割は、１１及び１２によって概略的に示される。仮想空間及び／又は仮想物体４の表現を記憶するメモリは、画像生成システムの内部にあってもよく、又は外部にあってもよい。好ましくは、システムは、コンピュータのような演算手段のメモリと接続するための接続手段を備えることができる。該接続手段も、上記メモリ内に記憶されている仮想空間及び／又は仮想物体の画像を提供するように構成することができる。
表示部材７と表示部材８との間の距離は、適切には平均の意図されるオブザーバーの瞳孔間の距離に対応することができる。一実施形態では、表示部材７と表示部材８との間の距離（及び、オプションで表示部材の他の位置的側面）は、様々なオブザーバーに個々に適応させることを可能にするために調整可能とすることができる。代替的に、表示部材７と表示部材８との間の距離は、製造者が予め定めるか又はプリセットすることができる。例えば、製造者は、上記表示部材７と上記表示部材８との間の単一距離又は幾つかの別個の標準距離（例えば３つの別個の距離）が実質的に全ての意図されるオブザーバーに対応することを予見することができる。
好ましくは、オペレーティングセッション中、ハウジング１は、表示部材７、８を、物理世界において予め定められたか又は予め調整された位置及び配向に支持及び／又は保持する。
さらに、ハウジング１は、好ましくは、オブザーバーが自身の視野を表示部材７、８に向けるとき、画像撮像部材５、６が実質的にオブザーバーの眼の位置及び視野方向に物理作業空間の画像を捕捉するように、画像撮像部材５、６及び表示部材７、８を互いに対して位置決めするように構成される。
このため、図１で概略的に示される画像生成システムは、互いから或る距離に位置する少なくとも２つの画像撮像部材５、６を備え、画像撮像部材５、６のそれぞれは、オブザーバーの各１つの眼９、１０を対象とする画像を供給するように構成され、各眼を対象とする画像をオブザーバーの眼９、１０に提供するための表示部材７、８をさらに備え、画像表示部材７、８は仮想物体４の立体画像１１、１２（すなわち仮想物体表現）を受信するように構成され、それによって、それらの立体画像を各眼９、１０を対象とする作業空間２の画像と組み合わせて、仮想物体４及び作業空間２の３次元画像の提供等を行う。
図２に示すように、上部２０が見えるハウジングが、基部部材２２及び介在する細長い脚部材２１によって、テーブル２６によって表される標準作業エリア上に取り付けられる。基部部材２２は、有利には、実質的に水平の平らにされた作業エリア２６上の固定配置を提供するように構成される。有利には、基部部材２２及び脚部材２１は、（例えばそれらの間の標準的な結合接続部によって）折り曲げ可能又は折りたたみ式とすることができ、システムの寸法を低減させて可搬性を向上させること等が可能になる。システムの取り付け、ロケーション、及びサイズは、図示した例に限定されず、自由に変更することができる。
したがって、本発明は、本明細書において教示される画像撮像手段５、６及び表示手段７、８を備えるハウジング１を備え、基部部材２２と、本明細書において教示される標準作業エリア２６上にハウジングを取り付けるように構成される介在する細長い脚部材２１とをさらに備える画像捕捉及び表示ユニットも検討する。ユニットは、コンピューターのようなプログラム可能な演算手段に接続可能とすることができる。
基部部材２２に対する、したがって作業エリア２６に対するハウジングの仰角は、仰角調整手段２３及び２４を活用して選択された仰角に調整可能であると共に可逆的に固定可能とすることができる。基部部材２２に対する、したがって作業エリア２６に対するハウジングの勾配も、上記仰角調整手段２３及び２４又は他の適切な勾配調整手段（例えば従来の結合接続部）を活用して選択された勾配に調整可能であると共に可逆的に固定可能とすることができる。
それぞれ対物レンズを備えるカメラ５及び６は、ハウジングの正面に見ることができる。オブザーバーの眼に面するハウジングの反対面は、ディスプレイ７及び８（図２では見ることができない）を備える。電気接続ケーブル２５は、ハウジング及び基部部材２２を接続する。
システムのオペレーションを行うために、オブザーバー２７は、基部部材２２を、テーブル２６のような適切な作業エリア上に配置することができる。次に、オブザーバー２７は、例えば作業エリア２６に対するハウジングの仰角及び／又は勾配を調整することによって、かつ／又はハウジングに対するカメラ５、６の位置及び／又は方向（光軸）を調整することによって、カメラ５、６を作業エリア２６に向けることができ、それによってカメラ５、６が物理作業空間の画像を捕捉することができる。図示される例では、テーブル２６上に存在する基部部材２２の概ね正面及び上部にある空間は、オブザーバー２７の物理作業空間としての役割を果たす。
オブザーバー２７は、システムを使用するとき、１つ又は複数の仮想物体２８を含む仮想空間の画像が上に重ね合わせられた物理作業空間の合成画像を提示する表示手段を観察する。好ましくは、仮想物体２８は、物理作業空間背景よりもオブザーバーの近くに投影される。好ましくは、合成画像は物理作業空間及び／又は仮想空間、より好ましくは双方を立体ビューで提示し、オブザーバー２７に３Ｄ複合現実体験を提供する。これは机上に取り付けられたインタラクティブ仮想現実システムを提供し、これによって、オブザーバーは物理作業空間内の３Ｄ仮想画像２８を見て、１つ又は複数のマニピュレーター３０を使用して上記仮想画像２８を容易に操作することができ、その画像も作業空間２内に表示される。
一実施形態において、仮想物体２８は、平均の意図されるオブザーバーに適切な作業距離、例えばオブザーバーの眼から約０．２ｍ〜約１．２ｍに投影することができる。座位作業の場合、適切な距離は約０．３〜０．５ｍとすることができ、一方、立位作業の場合、適切な距離は約０．６ｍ〜０．８ｍとすることができる。
さらに、オブザーバーがシステムを使用するとき、表示手段（表示部材７、８）は、オブザーバーが、自身の注視を水平面に対してわずかに下方向に、例えば約２度〜約１２度、好ましくは約５度〜約９度の角度に向けることができるように位置決めすることができる。これによって、オブザーバーが眼筋を弛緩させてのんびりと見ることが容易になる。
図１及び図２にさらに示すように、オブザーバーが仮想空間と対話することを可能にする手段３０、３５をシステムに含めると共に、オプションで物理作業空間２内に展開することができる。例えば、システムは１つ又は複数のマニピュレーター３０と、オプションで１つ又は複数のナビゲーター３５を備えることができる。このため、一実施形態では、仮想物体２８の姿勢及び／又は状態は、上記１つ又は複数のマニピュレーター３０及び１つ又は複数のナビゲーター３５を介して同時に制御することができる。
例えば、システムはナビゲーター３５を備えることができる。有利には、ナビゲーター３５は、仮想空間上のアクションを、物理作業空間２におけるナビゲーター３５の姿勢から実質的に独立して実行するように構成することができる。例えば、ナビゲーター３５を使用して、該ナビゲーター３５によって与えられるコマンドを受けて、１つ又は複数の仮想物体２８を移動、回転、パン、及び／又はスケーリングすることができる。例として、ナビゲーターは、２Ｄ又は３Ｄのジョイスティク、空間マウス（３Ｄマウス）、キーボード、又は同様のコマンド装置とすることができる。
オブザーバー２７は自由裁量によりさらにマニピュレーター３０を有する。
図３ａは、マニピュレーター３０の一実施形態の斜視図を示している。マニピュレーターは、ほぼ人間の手の寸法を有する。マニピュレーターは、本実施例では立方体形状のグラフィックパターンによって形成される認識部材３１を備える。上記グラフィックパターンは、適切な画像認識アルゴリズムによって画像撮像手段（カメラ５、６）によって撮られる画像において認識することができ、これによって、画像撮像手段によって捕捉される物理作業空間の画像内の上記グラフィックパターンのサイズ及び／又は形状によって、画像認識アルゴリズムが画像撮像手段に対する認識部材３１（したがってマニピュレーター３０）の姿勢を確定することが可能になる。
コンピュータによって生成された仮想３Ｄカーソル３３の画像を、マニピュレーター３０の画像又はその一部の上、例えば認識部材３１の画像の上に重ね合わせることができる。このため、オブザーバーに提示される複合現実空間において、マニピュレーター３０及びカーソルが単一の部材３４を形成しているかのように見える場合がある（図３ｃを参照）。カーソル３３は任意の寸法及び／又は形状を取ることができ、その外観を変更して特定の機能を表すことができる（例えば、カーソル３３は、選択部材、把持部材、測定装置、又は仮想光源等を提供することができる）。このため、３Ｄカーソルの様々な３Ｄ表現をマニピュレーター上に重ね合わせて、該マニピュレーターの別個の機能を提供することができる。
マニピュレーター３０は、オブザーバーと１つ又は複数の仮想物体２８とのインタラクションを可能にする。該インタラクションは、オブザーバーの視野内で知覚及び解釈される。例えば、そのようなインタラクションは、マニピュレーター３０若しくはその一部（例えば認識部材３１）又はカーソル３３と、仮想物体２８との間の観測される接触又は複合現実画像の近似度を含むことができる。
マニピュレーター３０は、オペレーション部材３２をさらに設けられることができる（図３ａを参照）。ユーザーは、該オペレーション部材を用いて、表現を把持する（すなわちマニピュレーター３０を所与の仮想物体２８と関連付けて、該仮想物体の操作を可能にする）か若しくは押しのけるか、又はナビゲーター若しくは仮想触覚部材のような別個の道具のオペレーションを行う等の、仮想物体に対する特殊なアクションを実行することができる。このため、一実施形態では、オペレーション部材３２はナビゲーター３５に関して上述したものと実質的に同じ機能を提供することができる。
本画像生成システムのオペレーションに含まれるプロセスは、有利には、コンピューターのようなデータ処理（演算）機器によって実行することができる。上記コンピューターは、システムの管理手段の機能を実行することができる。図１４は、このコンピューターの一実施形態の機能配置を示すブロック図である。
参照符号５１はコンピューターを表し、該コンピュータは、画像撮像手段（カメラ）５及び６によって捕捉される画像信号（フィード）を受信し、オプションで外部のマニピュレーター姿勢読取り装置５２（例えば加速度計、又は６自由度の連結式装置）によって収集されるマニピュレーター３０の姿勢に関する情報を受信することができ、オプションで外部ナビゲーター３５からのコマンドを受信することができ、受信データの管理及び分析のような処理を実行し、システムの表示部材７及び８のための画像出力信号を生成する。
左眼ビデオ捕捉ユニット５３はカメラ５から物理作業区間の画像入力を捕捉し、右眼ビデオ捕捉ユニット５４はカメラ６から物理作業区間の画像入力を捕捉する。カメラ５、６は、（画像表面にわたってラスタライズ及び量子化された入力のような）デジタル入力を供給することができ、該デジタル入力を、ビデオ捕捉ユニット５３及び５４によって適切に処理することができる。
コンピューターは、左眼ビデオ捕捉ユニット５３によって捕捉された画像を修正するための左眼ビデオ修正ユニット５５及び右眼ビデオ捕捉ユニット５４によって捕捉された画像を修正するための右眼ビデオ修正ユニット５６をオプションでそれぞれ備えることができる。上記修正は、例えば、画像のクロッピング及び／若しくはサイズ変更、又は、例えばコントラスト、輝度、色等のような他の画像属性の変更を含むことができる。
左眼ビデオ捕捉ユニット５３（又は左眼ビデオ修正ユニット５５）によって出力される画像データは、該画像データを、仮想空間画像レンダリングユニット５９によって供給される仮想空間の左眼画像表現と合成するように構成される左眼ビデオ合成ユニット５７に供給され、右眼ビデオ捕捉ユニット５４（又は右眼ビデオ修正ユニット５６）によって出力される画像データは、該画像データを、仮想空間画像レンダリングユニット５９によって供給される仮想空間の右眼画像表現と合成するように構成される右眼ビデオ合成ユニット５８に供給される。
左眼ビデオ合成ユニット５７によって合成された合成複合現実画像データは、左眼グラフィックユニット６０に出力され、次に左眼ディスプレイ７に表示され、右眼ビデオ合成ユニット５８によって合成された合成複合現実画像データは、右眼グラフィックユニット６１に出力され、次に右眼ディスプレイ８に表示される。グラフィックユニット６０、６１は、ディスプレイ７、８による表示に適合される（各画素が量子化された値を保持するラスタライズされた画像のような）デジタルビデオデータ出力信号を適切に生成することができる。
仮想３Ｄ物体を特徴付けるデータは、３Ｄ物体データユニット６２内に記憶されると共に、該３Ｄ物体データユニット６２から供給される。３Ｄ物体データユニット６２は、例えば仮想物体の幾何学的形状、色、質感、透明度、及び他の属性を指示するデータを含むことができる。
３Ｄ物体データユニット６２によって供給される３Ｄ物体データは、適切な座標系に対する１つ又は複数の仮想物体の姿勢及び／又は状態を計算する、３Ｄ物体姿勢／状態計算ユニット６３によって処理される。３Ｄ物体姿勢／状態計算ユニット６３は、マニピュレーター姿勢計算ユニット６４からの入力を受信し、それによって、３Ｄ物体姿勢／状態計算ユニット６３は、マニピュレーター姿勢計算ユニット６４によって出力された適切な座標系に対するマニピュレーターの姿勢の変化を、同じ座標系又は他の適切な座標系における１つ又は複数の仮想物体の姿勢及び／又は状態の変化に変換するように構成される。３Ｄ物体姿勢／状態計算ユニット６３はまた、オプションで、ナビゲーター入力ユニット６５からのコマンド入力を受信することができ、該コマンド入力を適切な座標系に対する１つ又は複数の仮想物体の姿勢及び／又は状態の変化に変換するように構成することができる。ナビゲーター入力ユニット６５は、外部ナビゲーター３５からのコマンドを受信する。
マニピュレーター姿勢計算ユニット６４は、有利には、左眼ビデオ捕捉ユニット５３及び右眼ビデオ捕捉ユニット５４のうちの一方又は双方からの入力を受信する。マニピュレーター姿勢計算ユニット６４は、上記ビデオ捕捉ユニット（複数可）５３、５４によって供給される物理作業空間の画像（複数可）におけるマニピュレーター３０の認識部材３１を認識し、該画像（複数可）から、カメラ５及び／又は６に対する該認識部材３１の姿勢を確定すると共に、この情報を、適切な座標系における認識部材３１（及びしたがってマニピュレーター３０）の姿勢に変換するように構成される画像認識アルゴリズムを実行することができる。
代替的に又は付加的に、マニピュレーター姿勢計算ユニット６４は、外部マニピュレーター姿勢読取り装置５２（例えば加速度計、又は６自由度の連結式装置）からの入力を受信することができ、この入力を、適切な座標系におけるマニピュレーター３０の姿勢に変換することができる。
有利には、適切な座標系におけるマニピュレーター３０（又は該マニピュレーター３０の認識部材３１）の姿勢に関する情報をマニピュレーターカーソル計算ユニット６６に供給することができる。該マニピュレーターカーソル計算ユニット６６は、この情報を、同じ座標系又は他の適切な座標系における仮想カーソル３３の姿勢に変換するように構成される。
３Ｄ物体姿勢／状態計算ユニット６３及びオプションでマニピュレーターカーソル計算ユニット６６からのデータは仮想空間画像レンダリングユニット５９に出力される。該仮想空間画像レンダリングユニット５９は、この情報を仮想空間の画像に変換し、該画像をオブザーバーの個々の眼を対象とする立体ビュー画像に分割すると共に、該立体ビュー画像を、合成画像の生成のために左眼ビデオ合成ユニット５７及び右眼ビデオ合成ユニット５８に供給するように構成される。
実質的に任意の汎用コンピューターを、図１４に示す機能配置のような、本発明の画像生成システムのための機能配置に構成することができる。そのようなコンピューターのハードウェアアーキテクチャは、当業者によって実現することができ、１つ又は複数のプロセッサ（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、内部データストレージ媒体又は外部データストレージ媒体（例えばハードディスクドライブ）、（画像撮像手段からの入力を受信及び処理するための）１つ又は複数のビデオ捕捉ボード、（グラフィック情報を処理し表示手段に出力するための）１つ又は複数のグラフィックボードを含む、ハードウェア構成要素を含むことができる。上記の構成要素は、コンピューター内部のバスを介して適切に相互接続することができる。コンピューターは、モニター、キーボード、マウス、ネットワーク等のような汎用外部構成要素、及びビデオカメラ５、６、ディスプレイ７、８、ナビゲータ３５、又はマニピュレーター姿勢読取り装置５２のような本画像生成システムの外部構成要素と通信するための適切なインターフェースをさらに備えることができる。画像生成システムのオペレーションを行うのに必要とされるプロセスを実行するために、適切な機械実行可能命令（プログラム）を内部データストレージ媒体又は外部データストレージ媒体上に記憶し、オペレーション時にコンピューターのメモリ内にロードすることができる。
本システムの本実施形態のオペレーションの関連する態様をさらに論考する。
画像生成システムが使用のために準備され（例えば図２に示すように作業エリア２６に取り付けられる）、開始されるとき、及びオプションでシステムのオペレーション中も、システムのキャリブレーションが実施される。該キャリブレーションの詳細は、本明細書の他の場所で説明する。
物理作業空間の画像は、画像撮像手段（カメラ５、６）によって捕捉される。
位置認識部材（パターン）４４を備えるベースマーカー３６がカメラ５、６の視野内に配置される（図４を参照されたい）。ベースマーカー３６は画像カード（黒いフレーム内に白い背景の正方形画像）とすることができる。画像認識ソフトウェアを使用して、カメラの局所空間（座標系）に対するベースマーカー３６の位置（図４では、カメラの座標系は、右眼カメラの開口において原点（ｏｖ）を有し、互いに直交する軸ｘｖ、ｙｖ、ｚｖを定義するものとして示される）を求めることができる。
物理作業空間画像は、オプションでクロッピング等の修正を行うことができる。例えば、図８は、作業空間のフル画像３９ではなくクロッピングされたライブフィードフレーム４０が背景としてオブザーバーに提示される状況を示している。これによって、閲覧／操作される仮想物体に、より良好に焦点を当てることが可能になる。このようにして、マニピュレーター３０をオブザーバーのビューの（部分的に）外にすることができ（破線部分）、それでも、マニピュレーター３０の認識部材３１は、姿勢推定アルゴリズムのためにカメラに依然として見えることができる。したがって、本発明は、本明細書において開示される画像生成システム、画像生成方法、及び画像生成プログラムにおけるズーム機能を容易にするために、カメラ入力ラスターをクロッピングするように構成されるアルゴリズム又はプログラムの使用も提供する。
ベースマーカー３６は、世界座標系、すなわち、物理作業空間座標系ｘｗ，ｙｗ，ｚｗ，ｏｗのためのプレースホルダーとしての役割を果たす。仮想環境は、上記ベースメーカーの使用を通じて実世界内に配置される。このため、仮想空間内に存在する全ての仮想物体（例えば、システムのオペレーションを行っている間にロード又は生成される仮想物体）がベースマーカー３６座標系に対して配置される。
次に、仮想現実シーン（空間）がロードされる。このシーンは、別個の種類のアイテム、すなわち、１）静的シーン：各ロードされたか又は新たに作成された物体が静的シーン内に配置される；好ましくは、静的シーンは、６自由度のナビゲーターとすることができるナビゲーター３５によって制御される、２）操作されるアイテム：操作されるアイテムはマニピュレーターに関連付けられる、を含むことができる。
プロセスは、ナビゲーター３５から受信したコマンドの分析をさらに含む。静的シーンは、世界座標系ｘｗ，ｙｗ，ｚｗ，ｏｗに対するナビゲーション座標系（ｘｎ，ｙｎ，ｚｎ，ｏｎ）内に配置される（図５を参照されたい）。静的シーン内の仮想物体の位置は、ナビゲーション座標系ｘｎ，ｙｎ，ｚｎ，ｏｎにおいて定義される。ナビゲーション座標系は、シーンの容易なパン及びチルトを可能にする。６自由度ナビゲーター３５は、静的シーンの操作（チルト、パン）に使用される。この目的のために、ナビゲーター３５の姿勢が読み取られ、線速度及び角速度にマッピングされる。線速度は、ナビゲーターの相対並進と、或る所与の並進スケール係数とを乗算したものとなるようにとられる。スケール係数は、並進速度を確定する。角速度は、ナビゲーターの（ｘ軸、ｙ軸、及びｚ軸を中心とする）３つの回転角についての相対回転角の３倍である。線速度の場合と同様に、角速度は、角度の３倍と、所与の回転スケール係数との乗算によって得られる。線速度及び角速度の双方が、ビュー空間（ｘｖ，ｙｖ，ｚｖ，ｏｖ）において所与であると想定される。ナビゲーターはオブザーバーによって制御されるため、ビュー空間においてデバイスが制御されていると想定することによって、最も直感的な制御を得ることができる。線形変換（３×３の行列）を使用して、速度は世界空間ｘｗ，ｙｗ，ｚｗ，ｏｗに変換される。次に、世界空間の線速度及び角速度を経時的に統合して、世界空間ｘｗ，ｙｗ，ｚｗ，ｏｗ内のナビゲーション座標系ｘｎ，ｙｎ，ｚｎ，ｏｎ内の新たな位置及び配向を求めることができる。
図６を参照すると、１つ又は複数のマニピュレーター３０を使用して、静的シーン内の物体を選択及びドラッグすることができる。例として、本明細書では、物理空間におけるマニピュレーターの姿勢の所与の変化が、操作されている仮想物体の姿勢に同じ変化を引き起こす状況を説明する。
オブザーバーは、適切なコマンドをシステムに送信することによって、静的シーン内の所与の仮想物体をマニピュレーター３０に関連付けることができる。これによって、選択された仮想物体は静的シーンから切り離され、マニピュレーターの座標系ｘｍ，ｙｍ，ｚｍ，ｏｍ（図６）に配置される。物理作業空間におけるマニピュレーター３０の姿勢が変化すると、世界座標系ｘｗ，ｙｗ，ｚｗ，ｏｗに対するマニピュレーター座標系ｘｍ，ｙｍ，ｚｍ，ｏｍの位置及び配向も変化する。マニピュレーターに関連付けられる仮想物体はマニピュレーター座標系ｘｍ，ｙｍ，ｚｍ，ｏｍにおいて定義されるため、世界座標系ｘｗ，ｙｗ，ｚｗ，ｏｗにおける仮想物体の姿勢はそれに従って変化する。マニピュレーターが仮想物体との関係を切り離されると、物体を静的シーン内に戻すことができ、それによって該物体の位置は再びナビゲーター座標系ｘｎ，ｙｎ，ｚｎ，ｏｎにおいて定義される。
このため、プロセスはマニピュレーター姿勢計算をさらに含む。
図６に示す例では、マニピュレーター３０は、認識部材を備える。該認識部材は、既知の（ここでは立方体）構成に配置される複数のグラフィックマーカー（パターン）を含む。このため、マニピュレーター３０がビュー内に配置されているとき、１つ〜３つのマーカーをカメラによってスキャンすることができる。カメラ座標系ｘｖ，ｙｖ，ｚｖ，ｏｖに対するマーカーの姿勢を、画像認識及び分析ソフトウェアによって確定し、世界座標系ｘｗ，ｙｗ，ｚｗ，ｏｗに変換することができる。これによって、世界座標系ｘｗ，ｙｗ，ｚｗ，ｏｗに対し、（マニピュレーターと関連付けられる仮想物体が定義される）マニピュレーター座標系ｘｍ，ｙｍ，ｚｍ，ｏｍの位置及び配向を計算することができる。
図７に示す例では、マニピュレーター３０は連結式の６自由度の装置３８に接続される。該装置３８は、例えば触覚装置（例えばＳｅｎｓａｂｌｅ Ｐｈａｎｔｏｍ）とすることができる。
６ＤＯＦの装置の基部の座標系（ｘｄｂ，ｙｄｂ，ｚｄｂ，ｏｄｂ）に対するマニピュレーターの相対配置は容易に入手可能である。ビュー座標系（ｘｖ，ｙｖ，ｚｖ，ｏｖ）に対する６ＤＯＦの装置の基部の姿勢は、装置の基部に位置するマーカー３７、例えば作業エリア上に配置されるベースマーカー３６（図６を参照されたい）に類似のマーカーの使用を通じて確定することができる。
ナビゲーター３５及び／又はマニピュレーター３０からの入力に基づいて、該ナビゲーター及び／又は該マニピュレーターによって制御される仮想物体の姿勢及び／又は状態が、それ自体が既知の線形変換アルゴリズムを使用して計算される。同様に、マニピュレーター３０からの入力に基づいて、仮想カーソル３３の姿勢が計算される。
次に、仮想物体を含む仮想空間画像がレンダリングされる。仮想物体は、物理作業空間のライブフィード背景の上にレンダリングされると共に重ね合わされ、従来のリアルタイムの３Ｄグラフィックソフトウェア（例えばＯｐｅｎＧＬ、Ｄｉｒｅｃｔ３Ｄ）等を使用して合成複合現実画像が生成される。
好ましくは、図９に示すように、３次元レンダリングは１つ又は複数の仮想光源４３を含むことができ、それによって、仮想物体は照明され、仮想物体間のリアルタイムの影（物体影４２）及び仮想物体と机上平面との間のリアルタイムの影（机上影４１）が投じられる。これは、Reeves, WT, DH Salesin, and PL Cook. 1987.「Rendering AntialiasedShadows with Depth Maps.」（Computer Graphics 21 (4) (Proceedings of SIGGRAPH 87)）に記載されているプロセスのような既知のプロセスを使用して行うことができる。影は、見る人が仮想物体間の相対距離及び仮想物体と机上との間の相対距離を推定するのに役立つことができる。物体間の相対距離、特に仮想物体とマニピュレーターの３Ｄ表現との間の距離を知ることは、仮想物体を選択及び操作するのに有用である。仮想物体と地平面との間の距離を知ることは、実世界に対する仮想物体のサイズを推定するのに有用である。したがって、本発明は、特に本明細書において開示される画像生成システム、画像生成方法、及び画像生成プログラムにおいて、オブザーバーが仮想物体間の相対距離及び物理環境に対する仮想物体の相対サイズを推定するのに役立つために、人工光源を使用して影を作成するように構成されるアルゴリズム又はプログラムの使用も提供する。
最後に、合成画像が表示手段に出力され、オブザーバーに提示される。次に、複合現実シーンがリフレッシュされ、リアルタイム（ライブフィード）オペレーション体験が得られる。好ましくは、リフレッシュレートは少なくとも毎秒約３０フレームとすることができ、好ましくは、該リフレッシュレートは、例えば毎秒６０フレームのような表示手段のリフレッシュレートに対応することができる。
ここで、本画像生成システムの起動時及びオプションでオペレーション中に実行されるキャリブレーションを詳細に説明する。
キャリブレーションプロセスによって、１）カメラ５、６が、オブザーバーが該オブザーバーの左眼において左カメラ５からの画像を受け取り、右眼において右カメラ６からの画像を受け取るように構成される；２）カメラ５、６が、オブザーバーによって受け取られる画像が、カメラの視野において特定の距離範囲にわたって満足な形で立体画像として知覚されることができる（すなわち、立体の知覚が２つの別個の画像に分裂しない）ように位置決めされる；３）物理世界における物体の全ての３Ｄ仮想表現の２つの投影（すなわちオブザーバーの各眼に１つ送られる投影）が、対応する物理世界の物体自体の（双方の画像に対する）２つの投影と位置合わせされる。
第１のプロセス、すなわち左カメラ５からの画像が左眼に送られ、右カメラ６からの画像が右眼に送られるという確認、及び必要な場合は画像のスワップがシステムの起動時に自動で成される。望ましい状況が図１０の右パネルに示され、一方図１０の左パネルは、補正される必要がある誤った状況を示している。
図１１を参照すると、自動ルーチンは、短い時間期間内に、任意の位置認識部材（パターン）４４がカメラから受信した双方の画像において検出されるまで待機する。検出は、姿勢推定のための既知の方法によって実行される。これによって、各画像につき１つとして、２つの変換行列が生成される。該行列の各一方は、カメラの局所空間（座標系）における位置認識部材（パターン）４４の位置を表す。該位置は、概略的に、左カメラ５に関してｘＬＣ，ｙＬＣとして示され、右カメラ６に関してｘＲＣ，ｙＲＣとして示されるか、又は逆行列を使用することによって、位置認識部材（パターン）４４の局所空間（座標系）におけるカメラの位置は、概略的にｘＲＰ，ｙＲＰとして示される。これらの変換行列に基づいて、アルゴリズムはどちらが左カメラの局所空間（ＭＬ）に属し、どちらが右カメラの局所空間（ＭＲ）に属するかを確認することができる。初期状態において、これらの行列のうちの一方は、位置認識部材を左カメラの局所空間に変換する（すなわち左カメラ変換）と想定されるため、この行列の逆行列は、左カメラから、位置認識部材の局所空間への変換（ＭＬ −１）を表す。したがって、左カメラの逆変換を使用して原点（Ｏ）を変換することによって、位置認識部材の局所空間における左カメラの位置
ＭＬ −１＊Ｏ
が生成され、右カメラ変換によってこの位置を続けて変換することによって、右カメラの局所空間における左カメラの位置（Ｐ）
Ｐ＝ＭＲ＊ＭＬ −１＊Ｏ
が生成される。
左カメラ変換（及びしたがって対応する画像）が左カメラに属するという想定が正しい場合、右カメラの局所空間における左カメラ位置は、負のｘＲＣ成分（Ｐｘ（ＲＣ））
Ｐｘ（ＲＣ）＜０
を有しなくてはならない。
想定が誤っていることが示される場合、画像は左眼と右眼との間で自動的にスワップされる。画像生成システムは、オブザーバーが任意の時点において、左眼及び右眼に送られた画像を（例えばコンピューターにコマンドを与えるか又はキーを押すことによって）手動でスワップし、例えば自動検出が正しい結果をもたらさない事例を解消することも可能にする。
第２のプロセス、すなわち、立体知覚を最大限にするカメラの位置決めは、経験のあるオブザーバーが実行してもよく、又は本画像生成システムの製造中に完了し、例えば一般的な作業距離、特に好ましい実施例ではカメラ５、６の位置から３０ｃｍの距離にいるユーザーによる立体の知覚を最大限にする等のようにカメラ５、６を位置決めしてもよい。カメラ画像の鮮明度は、カメラドライバーを通じて適切に制御することができる。
第３のプロセス、すなわち、実世界における物体の投影された３Ｄ表現と、投影された物体自体との位置合わせは、好ましくは左カメラ画像及び右カメラ画像についてそれぞれ異なって実行される。
図１２及び図１３を参照されたい。位置認識部材（パターン）４４は、カメラ画像４５、４６上に投影された実世界の物体が、同じ画像上に投影された仮想表現４７、４８と組み合わせられた（＋）ものである。これらの２つ画像は、位置合わせ４９、５０に示されるように位置合わせされなくてはならない。
左カメラ画像及び右カメラ画像のための提供される位置合わせアルゴリズムは、レンダリングプロセスが、図１２におけるような仮想表現を物理位置認識部材４４としてカメラ画像上の同じエリアに投影するのに必要とする成分のサブセットのみに関する。全体では、レンダリングプロセスは、適切なモデルビュー行列及び適切な投影行列から成る行列のセットを必要とし、単一のセットを左画像に使用し、別のセットを右画像に使用する。レンダリングプロセス中、仮想表現は、該仮想表現が表す物理位置認識部材と同じ寸法を与えられ、該仮想表現自体の局所空間（座標系）の原点に配置され、一般的なグラフィックライブラリによく知られた形で（例えば詳細に関してはＯｐｅｎＧＬ仕様の「座標変換」のセクションを参照されたい）対応する行列セットを使用して左画像又は右画像に投影される。レンダラーによって使用される投影行列は、物理物体が捕捉されるときにカメラレンズによって実行される、カメラ画像への投影と等しい。すなわち、投影行列はカメラの局所空間からカメラ画像空間への変換である。投影行列は仮想現実システムの実行範囲の外側にある外部ライブラリによってキャリブレーションされ、実行中固定されたままである。モデルビュー行列は、物理位置認識部材の局所空間（座標系）からカメラの局所空間への変換に等しい。この行列は、その後提供される位置合わせアルゴリズムによって、仮想現実システムの実行範囲内で左カメラ及び右カメラについて別個に計算される。
左カメラの場合、全ての物理位置認識部材４４の局所空間から左カメラの局所空間への変換行列ＭＬ（図１１）が計算され、それによって仮想表現投影４７と実世界物体４５投影との位置合わせ４９が達成される。これは新たなカメラ画像毎に発生する。すなわち、姿勢推定のための既知の方法を左カメラ画像に適用して、全ての新たな画像から、物理世界における位置認識部材（パターン）４４毎の変換ＭＬを抽出することができる。そのような変換を抽出することができない場合、仮想表現の位置合わせは発生しない。
右カメラの場合、全ての物理位置認識部材４４の局所空間から右カメラの局所空間への変換行列ＭＲ（図１１）が計算され、それによって右カメラ画像４６における仮想表現投影４８と実世界投影との位置合わせ５０が達成される。ＭＲの計算は、ＭＬの計算とは異なる形で実行される。
図１３を参照すると、コヒーレンスを改善するために、ＭＲを計算するためのアルゴリズムは、最初に、左カメラの局所空間（ｘＬＣ，ｙＬＣ）から右カメラの局所空間（ｘＲＣ，ｙＲＣ）への固定変換ＭＬ２Ｒを確立する。この変換を使用して、左カメラの局所空間において正しく位置合わせされた（４９）物体を、右カメラの局所空間における正しい位置合わせ５０に変換し、それによってＭＲを以下のように定義する。
ＭＲ＝ＭＬ２Ｒ＊ＭＬ
変換ＭＬ２Ｒは、単一の特定の時点においてのみ計算すればよい。これは、システムのオペレーション中、カメラは互いに対して固定の位置及び配向を有するため、変換ＭＬ２Ｒが経時的に変化しないためである。この変換行列を求めるためのアルゴリズムは、画像生成システムの起動時に自動的に実行され、オブザーバーからのコマンドによって指示される任意の他の時点において反復して実行することができる。アルゴリズムは最初、任意の位置認識部材（パターン）４４が、短い時間期間内に双方の画像において検出されるのを待つ。ここでも、この検出は、姿勢推定のための既知の方法によって実行される。検出結果は双方の画像につき１つとして、２つの変換行列である。これらの行列のうちの一方は、認識パターンの局所空間（ｘＲＰ，ｙＲＰ）の、左カメラの局所空間ｘＬＣ，ｙＬＣへの変換（左カメラ変換、ＭＬ）を表し、他方は、右カメラの局所空間ｘＲＣ，ｙＲＣにおける認識パターン４４の位置（右カメラ変換、ＭＲ）を表す。逆左カメラ変換（ＭＬ −１）と右カメラ変換との乗算によって、左カメラ局所空間ｘＬＣ，ｙＬＣから認識パターンの局所空間ｘＲＰ，ｙＲＰへ、右カメラの局所空間ｘＲＣ，ｙＲＣへの変換（ＭＬ２Ｒ）が生じ、これが所望の結果である。
ＭＬ２Ｒ＝ＭＲ＊ＭＬ −１
長期間、左カメラによって生成される画像において認識パターン４４が１つも検出されない場合、位置合わせアルゴリズムは、左カメラのための位置合わせ方法を右カメラのための位置合わせ方法にスワップする。したがってこの時点で、仮想物体４８は、フレーム毎に認識パターン４４を検出すると共に、正しい変換行列を抽出することによって、右カメラの画像４６に位置合わせされ、一方、ここで左画像内の仮想物体４７の位置合わせ４９は、右カメラの局所空間ｘＲＣ，ｙＲＣから左カメラの局所空間ｘＬＣ，ｙＬＣへの固定変換を使用して実行される。これは、左カメラの局所空間から右カメラの局所空間への変換の逆である。
ＭＲ２Ｌ＝ＭＬ２Ｒ −１
変換行列ＭＬ及びＭＲを別個に抽出する代わりに、固定のＭＲ２Ｌ及びＭＬ２Ｒを使用する利点は、固定のＭＲ２Ｌ及びＭＬ２Ｒを使用する場合、単一の画像においてＭＬ又はＭＲのいずれかを首尾よく抽出すれば、双方の画像において仮想表現投影と実世界物体投影とを位置合わせするのに十分であるということである。
本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶するストレージ媒体を有するシステム又は機器を供給すると共に、システム又は機器のコンピューター（又はＣＰＵ若しくはＭＰＵ）に、ストレージ媒体内に記憶されているプログラムコードを読み出すと共に実行させることによって達成することもできる。
この場合、ストレージ媒体から読み出されるプログラムコード自体が、上述した実施形態の機能を実現する。したがって、プログラムコードを記憶するストレージ媒体も、及びプログラムコード自体が、本発明を構成する。
プログラムコードを供給するためのストレージ媒体を、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤーＲ、磁気テープ、不揮発性メモリカード、ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイディスク、半導体ディスク、及びネットワーク接続ストレージ（ＮＡＳ）から選択することができる。
上述した実施形態の機能は、コンピューターによって読み出されたプログラムコードを実行することのみでなく、コンピューターに対してオペレーションを行うオペレーティングシステム（ＯＳ）に、プログラムコードの命令に従って実際のオペレーションの一部又は全体を実行させることによっても実現することができることを理解されたい。
さらに、ストレージ媒体から読み出されるプログラムコードは、コンピューターに挿入される拡張ボード、又はコンピューターに接続される拡張ユニットにおいて提供されるメモリ内に書き込むことができ、該拡張ボード又は拡張ユニットにおいて提供されるＣＰＵ等は、プログラムコードの命令に従ってオペレーションの一部又は全てを実際に実行することができ、それによって、上述した実施形態の機能が達成される。
本発明に従って、上記で述べたような実質的な利点を提供する画像生成システム、画像生成方法、及び画像生成プログラム、並びにそれらの使用が提供されたことが明らかである。本発明をその特定の実施形態と合わせて説明してきたが、上記の説明を考慮した当業者には、多くの代替形態、変更形態、及び変形形態が明らかとなることは明白である。したがって、以下のような（as follows）そのような全ての代替形態、変更形態、及び変形形態を、添付の特許請求の範囲の精神及び広範にわたる範囲に含めることが意図される。
１：ハウジング
２：作業空間
３：コンピューターのメモリ
４：仮想物体
４：仮想空間及び／又は仮想物体
５：左眼カメラ
５ａ:破線
６：右眼カメラ
６ａ:破線
５，６：画像撮像手段
７，８：表示手段
７，８：表示部材
７：ディスプレイ
７：左眼表示部材
７：左眼ディスプレイ
８：右眼表示部材
８：右眼ディスプレイ
９：オブザーバーの左眼
１０：オブザーバーの右眼
１１，１２：仮想物体４の立体画像
１３：カメラ５の対物レンズの光軸
１４：カメラ６の対物レンズの光軸
１６，１７：パースビュー（perspective view）
２０：上部
２１：介在する細長い脚部材
２２：基部部材
２３，２４：仰角調整手段
２５：電気接続ケーブル
２６：テーブル
２６：作業エリア
２７：オブザーバー
２８：仮想物体
２８：３Ｄ仮想画像
３０：マニピュレーター
３０，３５：オブザーバーが仮想空間と対話することを可能にする手段
３１：立方体形状のグラフィックパターンによって形成される認識部材
３２：オペレーション部材
３３：コンピュータによって生成された仮想３Ｄカーソル
３４：部材
３５：ナビゲーター
３５：外部ナビゲーター
３６：ベースマーカー
３７：装置の基部に位置するマーカー
３８：連結式の６自由度の装置
３９：作業空間のフル画像
４０：クロッピングされたライブフィードフレーム
４１：机上影
４２：物体影
４３：仮想光源
４４：任意の位置認識部材（パターン）
４５，４６：カメラ画像
４５：実世界物体
４７，４８：仮想表現
４７：仮想表現投影
４９，５０：位置合わせ
４９：投影との位置合わせ
４８：右カメラ画像４６における仮想表現投影
５０：実世界投影との位置合わせ
５１：コンピューター
５２：マニピュレーター姿勢読取り装置
５３：左眼ビデオ捕捉ユニット
５４：右眼ビデオ捕捉ユニット
５５：左眼ビデオ修正ユニット
５６：右眼ビデオ修正ユニット
５７：左眼ビデオ合成ユニット
５８：右眼ビデオ合成ユニット
５９：仮想空間画像レンダリングユニット
６０：左眼グラフィックユニット
６１：右眼グラフィックユニット
６２：３Ｄ物体データユニット
６３：３Ｄ物体姿勢／状態計算ユニット
６４：マニピュレーター姿勢計算ユニット
６５：ナビゲーター入力ユニット
６６：マニピュレーターカーソル計算ユニット

Claims (19)

  1. オブザーバーが仮想物体を操作することを可能にするための画像生成システムであって、
    物理作業空間の画像を捕捉する画像撮像手段と、
    該仮想物体を含む仮想空間の画像を生成する仮想空間画像生成手段と、
    該仮想空間画像生成手段によって生成された該仮想空間の該画像と、該画像撮像手段によって出力された該物理作業空間の該画像とを合成することによって合成画像を生成する合成画像生成手段と、
    該合成画像生成手段によって生成された該合成画像を表示する表示手段と、
    該オブザーバーによって該仮想物体を操作するためのマニピュレーターと、
    該物理作業空間における該マニピュレーターの姿勢を確定するマニピュレーター姿勢確定手段と、
    を備え、
    該システムは、該マニピュレーター姿勢確定手段によって確定された、該物理作業空間における該マニピュレーターの該姿勢の変化を、該仮想空間における該仮想物体の該姿勢及び／又は状態の変化に変換するように構成されることを特徴とする、画像生成システム。
  2. 該物理作業空間における該マニピュレーターの該姿勢は、該画像撮像手段によって出力される該物理作業空間の該画像から全体的に又は部分的に確定される、請求項１に記載の画像生成システム。
  3. 該マニピュレーターは認識部材を備え、該認識部材は、画像認識アルゴリズムによって該物理作業空間の該画像において認識され、該物理作業空間の該画像における該認識部材の外観は、該画像撮像手段に対する該認識部材の該姿勢の関数である、請求項２に記載の画像生成システム。
  4. 該物理作業空間における該マニピュレーターの該姿勢は、重力及び／又はオブザーバーが生成した該マニピュレーターの動きによって該マニピュレーターに加えられる加速度を測定することによって少なくとも部分的に確定される、請求項１〜３のいずれか一項に記載の画像生成システム。
  5. 該マニピュレーターは加速度計を備える、請求項４に記載の画像生成システム。
  6. 該マニピュレーターは、ｎ自由度の連結式装置に接続される、請求項１〜５のいずれか一項に記載の画像生成システム。
  7. 該物理作業空間における該マニピュレーターの該姿勢の変化は、該仮想空間における該仮想物体の該姿勢に、質的に及び好ましくは量的にも同一の変化を引き起こす、請求項１〜６のいずれか一項に記載の画像生成システム。
  8. 該仮想空間の該画像において仮想カーソルが生成され、該仮想カーソルが、該画像撮像手段によって出力された該物理作業空間における該マニピュレーターの該画像上に重ね合わせられるようにされる、請求項１〜７のいずれか一項に記載の画像生成システム。
  9. 机上のような標準的な作業エリア上に取り付け可能である、請求項１〜８のいずれか一項に記載の画像生成システム。
  10. 該画像撮像手段は、該物理作業空間の該画像を、実質的に該オブザーバーの眼の位置及び視野方向に捕捉するように構成され、該仮想空間画像生成手段は、該仮想空間の該画像を、実質的に該オブザーバーの該眼の位置及び該視野方向に生成するように構成される、請求項１〜９のいずれか一項に記載の画像生成システム。
  11. 該画像撮像手段は、該システムのオペレーションを行うセッション中、該物理作業空間の該ロケーション及び範囲が実質的に変化しないように構成される、請求項１〜１０のいずれか一項に記載の画像生成システム。
  12. 該表示手段は、該システムのオペレーションを行うセッション中、該表示手段の該位置及び配向が実質的に変化しないように構成される、請求項１〜１１のいずれか一項に記載の画像生成システム。
  13. 該物理作業空間及び／又は該仮想空間、好ましくは双方の立体ビューを提供するように構成される、請求項１〜１２のいずれか一項に記載の画像生成システム。
  14. ２人以上のオブザーバーに対応するネットワーク用途に適合される、請求項１〜１３のいずれか一項に記載の画像生成システム。
  15. 該画像撮像手段によって捕捉される該物理作業空間は該オブザーバーからリモートである、請求項１〜１４のいずれか一項に記載の画像生成システム。
  16. オブザーバーが仮想物体を操作することを可能にするための画像生成方法であって、請求項１〜１５のいずれか一項において定義される該画像生成システムを使用して実行されるように構成され、
    物理作業空間の画像を取得するステップと、
    該仮想物体を含む仮想空間の画像を生成するステップと、
    該仮想空間の該画像と、該物理作業空間の該画像とを合成することによって合成画像を生成するステップと、
    該物理作業空間におけるマニピュレーターの姿勢を確定するステップと、
    を含み、
    該物理作業空間における該マニピュレーターの該姿勢の変化は、該仮想空間における該仮想物体の該姿勢及び／又は状態の変化に変換されることを特徴とする、画像生成方法。
  17. プログラム及び前記プログラムを記憶するコンピュータ可読ストレージ媒体であって、該プログラムは、請求項１６に記載の該画像生成方法を、請求項１〜１５のいずれか一項において定義される該画像生成システムに対し実行するように構成される、プログラム及び前記プログラムを記憶するコンピュータ可読ストレージ媒体。
  18. 物体の仮想表現の視覚化、操作、及び分析、又はデータ分析のための、請求項１〜１５のいずれか一項において定義される該システム、請求項１６において定義される該方法、及び／又は請求項１７において定義される該プログラム若しくは前記プログラムを記憶する媒体の使用。
  19. 医学、創薬及び薬剤開発、タンパク質構造発見、構造科学、材料科学、材料工学、探査、製品の設計及び開発、工学、建築、ナノテクノロジー、バイオナノテクノロジー、電子回路の設計及び開発、遠隔オペレーション、地球外の環境又は状況のシミュレーション、販売並びに他のプレゼンテーション及びデモンストレーション、システム生物学、金融、経済、娯楽、又はゲームにおける、請求項１〜１５のいずれか一項において定義される該システム、請求項１６において定義される該方法、及び／又は請求項１７において定義される該プログラム若しくは前記プログラムを記憶する媒体の使用。
JP2011504472A 2008-04-16 2009-04-16 インタラクティブな仮想現実画像生成システム Pending JP2011521318A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NL1035303 2008-04-16
NL1035303A NL1035303C2 (nl) 2008-04-16 2008-04-16 Interactieve virtuele reality eenheid.
PCT/EP2009/054553 WO2009127701A1 (en) 2008-04-16 2009-04-16 Interactive virtual reality image generating system

Publications (1)

Publication Number Publication Date
JP2011521318A true JP2011521318A (ja) 2011-07-21

Family

ID=39865298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011504472A Pending JP2011521318A (ja) 2008-04-16 2009-04-16 インタラクティブな仮想現実画像生成システム

Country Status (8)

Country Link
US (1) US20110029903A1 (ja)
EP (1) EP2286316A1 (ja)
JP (1) JP2011521318A (ja)
CN (1) CN102047199A (ja)
CA (1) CA2721107A1 (ja)
IL (1) IL208649A0 (ja)
NL (1) NL1035303C2 (ja)
WO (1) WO2009127701A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010838A (ja) * 2012-06-29 2014-01-20 Disney Enterprises Inc 拡張現実感シミュレーション連続体
JP2014071520A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置、制御方法および制御プログラム
CN103785169A (zh) * 2013-12-18 2014-05-14 微软公司 混合现实的竞技场
WO2014171200A1 (ja) * 2013-04-16 2014-10-23 ソニー株式会社 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム
JP2016151792A (ja) * 2015-02-16 2016-08-22 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP2016151791A (ja) * 2015-02-16 2016-08-22 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP6057396B2 (ja) * 2013-03-11 2017-01-11 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法
US10078914B2 (en) 2013-09-13 2018-09-18 Fujitsu Limited Setting method and information processing device
JP2019527376A (ja) * 2016-06-24 2019-09-26 マイクロソフト テクノロジー ライセンシング，エルエルシー ホログラフィックオブジェクトのリレーショナルレンダリング

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2914092T3 (es) * 2009-08-02 2022-06-07 Tel Hashomer Medical Res Infrastructure & Services Ltd Sistema y método para el análisis de la perimetría cromática objetiva mediante el uso del pupilómetro
US8311791B1 (en) * 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
US8593512B2 (en) * 2010-02-05 2013-11-26 Creative Technology Ltd Device and method for scanning an object on a working surface
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2395768B1 (en) * 2010-06-11 2015-02-25 Nintendo Co., Ltd. Image display program, image display system, and image display method
JP5548038B2 (ja) * 2010-06-14 2014-07-16 任天堂株式会社 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
JP5739674B2 (ja) 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US8854356B2 (en) 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
JP5738569B2 (ja) * 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法
WO2012101286A1 (en) 2011-01-28 2012-08-02 Virtual Proteins B.V. Insertion procedures in augmented reality
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US8643703B1 (en) 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
JP6316186B2 (ja) * 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
CN102221832A (zh) * 2011-05-10 2011-10-19 江苏和光天地科技有限公司 一种煤矿无人工作面开发系统
JP5670255B2 (ja) 2011-05-27 2015-02-18 京セラ株式会社 表示機器
US10796494B2 (en) * 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
JP5864144B2 (ja) 2011-06-28 2016-02-17 京セラ株式会社 表示機器
US20150153172A1 (en) * 2011-10-31 2015-06-04 Google Inc. Photography Pose Generation and Floorplan Creation
US9852135B1 (en) 2011-11-29 2017-12-26 Amazon Technologies, Inc. Context-aware caching
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
CN103258338A (zh) * 2012-02-16 2013-08-21 克利特股份有限公司 利用真实数据来驱动仿真的虚拟环境的方法和系统
CN103258339A (zh) * 2012-02-16 2013-08-21 克利特股份有限公司 基于实况记录和基于计算机图形的媒体流的实时合成
US9355585B2 (en) * 2012-04-03 2016-05-31 Apple Inc. Electronic devices with adaptive frame rate displays
US9135735B2 (en) 2012-06-26 2015-09-15 Qualcomm Incorporated Transitioning 3D space information to screen aligned information for video see through augmented reality
US8532675B1 (en) 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
CN103873840B (zh) * 2012-12-12 2018-08-31 联想(北京)有限公司 显示方法及显示设备
US9412201B2 (en) 2013-01-22 2016-08-09 Microsoft Technology Licensing, Llc Mixed reality filtering
US9142063B2 (en) * 2013-02-15 2015-09-22 Caterpillar Inc. Positioning system utilizing enhanced perception-based localization
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US10456030B2 (en) * 2013-07-29 2019-10-29 Bioptigen, Inc. Procedural optical coherence tomography (OCT) for surgery and related methods
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
KR102077105B1 (ko) * 2013-09-03 2020-02-13 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
US20150199106A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Augmented Reality Display System
WO2015189972A1 (ja) * 2014-06-13 2015-12-17 三菱電機株式会社 情報重畳画像表示装置および情報重畳画像表示プログラム
DE112014006745T5 (de) 2014-06-13 2017-05-18 Mitsubishi Electric Corporation Informationsverarbeitungseinrichtung, Anzeigeeinrichtung für ein Bild mit Einblendungsinformationen, Marker-Anzeigeprogramm, Anzeigeprogramm für ein Bild mit Einblendungsinformationen, Marker-Anzeigeverfahren, und Anzeigeverfahren für ein Bild mit Einblendungsinformationen
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
GB2527503A (en) * 2014-06-17 2015-12-30 Next Logic Pty Ltd Generating a sequence of stereoscopic images for a head-mounted display
US9710711B2 (en) 2014-06-26 2017-07-18 Adidas Ag Athletic activity heads up display systems and methods
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10191637B2 (en) * 2014-08-04 2019-01-29 Hewlett-Packard Development Company, L.P. Workspace metadata management
JP2015109092A (ja) * 2014-12-17 2015-06-11 京セラ株式会社 表示機器
US10235807B2 (en) * 2015-01-20 2019-03-19 Microsoft Technology Licensing, Llc Building holographic content using holographic tools
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
CA2882968C (en) * 2015-02-23 2023-04-25 Sulfur Heron Cognitive Systems Inc. Facilitating generation of autonomous control information
JP6328579B2 (ja) * 2015-03-13 2018-05-23 富士フイルム株式会社 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム
JP6742701B2 (ja) * 2015-07-06 2020-08-19 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
CN105160942A (zh) * 2015-08-17 2015-12-16 武汉理工大学 面向船舶可视导航的通航环境可视化表示方法
KR20170025656A (ko) * 2015-08-31 2017-03-08 엘지전자 주식회사 가상 현실 기기 및 그의 렌더링 방법
CN105869214A (zh) * 2015-11-26 2016-08-17 乐视致新电子科技（天津）有限公司 一种基于虚拟现实设备的视锥体裁剪方法及装置
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
US10242505B2 (en) 2016-05-12 2019-03-26 Google Llc System and method relating to movement in a virtual reality environment
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
CN105957000A (zh) * 2016-06-16 2016-09-21 北京银河宇科技股份有限公司 用于实现艺术品虚拟展示的设备以及方法
CN106249875A (zh) * 2016-07-15 2016-12-21 深圳奥比中光科技有限公司 体感交互方法以及设备
JP6440909B2 (ja) * 2016-07-26 2018-12-19 三菱電機株式会社 ケーブル可動域表示装置、ケーブル可動域表示方法、及びケーブル可動域表示プログラム
US10345925B2 (en) * 2016-08-03 2019-07-09 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
KR102210993B1 (ko) * 2016-08-26 2021-02-02 매직 립, 인코포레이티드 가상 및 증강 현실 디스플레이 시스템들 및 방법들을 위한 연속 시간 와핑 및 양안 시간 와핑
US10525355B2 (en) * 2016-11-01 2020-01-07 Htc Corporation Method, device, and non-transitory computer readable storage medium for interaction to event in virtual space
CN106406543A (zh) * 2016-11-23 2017-02-15 长春中国光学科学技术馆 人眼控制vr场景变换装置
CN108614636A (zh) * 2016-12-21 2018-10-02 北京灵境世界科技有限公司 一种3d实景vr制作方法
US11132840B2 (en) 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
WO2018187171A1 (en) * 2017-04-04 2018-10-11 Usens, Inc. Methods and systems for hand tracking
EP3595850A1 (en) * 2017-04-17 2020-01-22 Siemens Aktiengesellschaft Mixed reality assisted spatial programming of robotic systems
US9959905B1 (en) 2017-05-05 2018-05-01 Torus Media Labs Inc. Methods and systems for 360-degree video post-production
US10713485B2 (en) 2017-06-30 2020-07-14 International Business Machines Corporation Object storage and retrieval based upon context
TWI643094B (zh) * 2017-07-03 2018-12-01 拓集科技股份有限公司 可變內容之虛擬實境方法及系統，及其相關電腦程式產品
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
US10751877B2 (en) * 2017-12-31 2020-08-25 Abb Schweiz Ag Industrial robot training using mixed reality
CN110119194A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 虚拟场景处理方法、装置、交互系统、头戴显示装置、视觉交互装置及计算机可读介质
CN108492657B (zh) * 2018-03-20 2019-09-20 天津工业大学 一种用于颞骨手术术前培训的混合现实模拟系统
US11741845B2 (en) * 2018-04-06 2023-08-29 David Merwin Immersive language learning system and method
CN111223187B (zh) * 2018-11-23 2024-09-24 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及系统
CN110634048A (zh) * 2019-09-05 2019-12-31 北京无限光场科技有限公司 一种信息显示方法、装置、终端设备及介质
CN113129358A (zh) * 2019-12-30 2021-07-16 北京外号信息技术有限公司 用于呈现虚拟对象的方法和系统
CN111317490A (zh) * 2020-02-25 2020-06-23 京东方科技集团股份有限公司 一种远程操作控制系统及远程操作控制方法
CN111887990B (zh) * 2020-08-06 2021-08-13 杭州湖西云百生科技有限公司 基于5g技术的远程手术导航云桌面系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06143161A (ja) * 1992-10-29 1994-05-24 Kobe Steel Ltd マニピュレータの制御方法及びその装置
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2004537227A (ja) * 2001-07-23 2004-12-09 セーコー マネージメント アクティエボラーグ イメージディスプレイ方法およびイメージディスプレイ装置
JP2006150567A (ja) * 2004-12-01 2006-06-15 Toyota Motor Corp ロボットの安定化制御装置
JP2006318095A (ja) * 2005-05-11 2006-11-24 Canon Inc 画像処理方法、画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590062A (en) * 1993-07-02 1996-12-31 Matsushita Electric Industrial Co., Ltd. Simulator for producing various living environments mainly for visual perception
US5803738A (en) * 1994-06-24 1998-09-08 Cgsd Corporation Apparatus for robotic force simulation
US6421048B1 (en) * 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
US20020133264A1 (en) * 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
JP2005339377A (ja) * 2004-05-28 2005-12-08 Canon Inc 画像処理方法、画像処理装置
EP2764899A3 (en) * 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
US8157651B2 (en) * 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4777182B2 (ja) * 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8248462B2 (en) * 2006-12-15 2012-08-21 The Board Of Trustees Of The University Of Illinois Dynamic parallax barrier autosteroscopic display system and method
US20090305204A1 (en) * 2008-06-06 2009-12-10 Informa Systems Inc relatively low-cost virtual reality system, method, and program product to perform training

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06143161A (ja) * 1992-10-29 1994-05-24 Kobe Steel Ltd マニピュレータの制御方法及びその装置
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2004537227A (ja) * 2001-07-23 2004-12-09 セーコー マネージメント アクティエボラーグ イメージディスプレイ方法およびイメージディスプレイ装置
JP2006150567A (ja) * 2004-12-01 2006-06-15 Toyota Motor Corp ロボットの安定化制御装置
JP2006318095A (ja) * 2005-05-11 2006-11-24 Canon Inc 画像処理方法、画像処理装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010838A (ja) * 2012-06-29 2014-01-20 Disney Enterprises Inc 拡張現実感シミュレーション連続体
JP2014071520A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置、制御方法および制御プログラム
JP6057396B2 (ja) * 2013-03-11 2017-01-11 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法
US10007351B2 (en) 2013-03-11 2018-06-26 Nec Solution Innovators, Ltd. Three-dimensional user interface device and three-dimensional operation processing method
JPWO2014141504A1 (ja) * 2013-03-11 2017-02-16 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法
US10269180B2 (en) 2013-04-16 2019-04-23 Sony Corporation Information processing apparatus and information processing method, display apparatus and display method, and information processing system
WO2014171200A1 (ja) * 2013-04-16 2014-10-23 ソニー株式会社 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム
JPWO2014171200A1 (ja) * 2013-04-16 2017-02-16 ソニー株式会社 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム
US10078914B2 (en) 2013-09-13 2018-09-18 Fujitsu Limited Setting method and information processing device
CN103785169A (zh) * 2013-12-18 2014-05-14 微软公司 混合现实的竞技场
WO2016132822A1 (ja) * 2015-02-16 2016-08-25 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
WO2016132817A1 (ja) * 2015-02-16 2016-08-25 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP2016151791A (ja) * 2015-02-16 2016-08-22 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP2016151792A (ja) * 2015-02-16 2016-08-22 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
US10359916B2 (en) 2015-02-16 2019-07-23 Fujifilm Corporation Virtual object display device, method, program, and system
JP2019527376A (ja) * 2016-06-24 2019-09-26 マイクロソフト テクノロジー ライセンシング，エルエルシー ホログラフィックオブジェクトのリレーショナルレンダリング
JP2022066297A (ja) * 2016-06-24 2022-04-28 マイクロソフト テクノロジー ライセンシング，エルエルシー ホログラフィックオブジェクトのリレーショナルレンダリング

Also Published As

Publication number Publication date
EP2286316A1 (en) 2011-02-23
CA2721107A1 (en) 2009-10-22
CN102047199A (zh) 2011-05-04
WO2009127701A1 (en) 2009-10-22
NL1035303C2 (nl) 2009-10-19
US20110029903A1 (en) 2011-02-03
IL208649A0 (en) 2010-12-30

Similar Documents

Publication Publication Date Title
JP2011521318A (ja) インタラクティブな仮想現実画像生成システム
CN109791442B (zh) 表面建模系统和方法
JP7337104B2 (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
US6049622A (en) Graphic navigational guides for accurate image orientation and navigation
US20190371072A1 (en) Static occluder
WO2009153975A1 (ja) 電子ミラー装置
US20110169832A1 (en) 3D Motion Interface Systems and Methods
US7382374B2 (en) Computerized method and computer system for positioning a pointer
JP2009276996A (ja) 情報処理装置、情報処理方法
KR100971667B1 (ko) 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
Cosco et al. Visuo-haptic mixed reality with unobstructed tool-hand integration
Cosco et al. Augmented touch without visual obtrusion
JP2008293357A (ja) 情報処理方法および情報処理装置
CN101477702B (zh) 计算机显卡的植入式真三维立体驱动方法
Scheggi et al. Shape and weight rendering for haptic augmented reality
JP2009087161A (ja) 画像処理装置、画像処理方法
CN103339660B (zh) 用于可视化信息的方法、装置和配置
Saggio et al. Augmented reality for restoration/reconstruction of artefacts with artistic or historical value
Kratz et al. GPU-based high-quality volume rendering for virtual environments
Arora et al. Introduction to 3d sketching
Vogt et al. An AR system with intuitive user interface for manipulation and visualization of 3D medical data
JP2019133310A (ja) 画像処理装置、画像処理プログラム及び画像処理方法
Dech et al. Rigorous exploration of medical data in collaborative virtual reality applications
Zhang et al. An efficient method for creating virtual spaces for virtual reality
Bolton et al. BodiPod: interacting with 3d human anatomy via a 360 cylindrical display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130805

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140107