JP2004199496A - 情報処理装置および方法、並びにプログラム - Google Patents
情報処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2004199496A JP2004199496A JP2002368664A JP2002368664A JP2004199496A JP 2004199496 A JP2004199496 A JP 2004199496A JP 2002368664 A JP2002368664 A JP 2002368664A JP 2002368664 A JP2002368664 A JP 2002368664A JP 2004199496 A JP2004199496 A JP 2004199496A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- virtual space
- real object
- dimensional virtual
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Abstract
【課題】ユーザが、３次元仮想空間内の所定の情報を容易かつ直感的に操作することができるようにする。
【解決手段】主制御部１２は、実物体１４の所定の情報に基づいて実空間３１の第１の座標系を設定するとともに、第１の座標系に基づいて実空間３１に対応する３次元仮想空間３２の第２の座標系を設定する。ユーザが、実物体１４を指標として、入力部１１を第１の座標系における所定の位置および角度で配置させた場合、主制御部１２は、第１の座標系における入力部１１の位置および角度に対応する第２の座標系の位置および角度で、オブジェクト３３を３次元仮想空間３２内に配置させ、それに対応する画像を表示部１３に表示させる。本発明は、パーソナルコンピュータに適用可能である。
【選択図】 図２
【解決手段】主制御部１２は、実物体１４の所定の情報に基づいて実空間３１の第１の座標系を設定するとともに、第１の座標系に基づいて実空間３１に対応する３次元仮想空間３２の第２の座標系を設定する。ユーザが、実物体１４を指標として、入力部１１を第１の座標系における所定の位置および角度で配置させた場合、主制御部１２は、第１の座標系における入力部１１の位置および角度に対応する第２の座標系の位置および角度で、オブジェクト３３を３次元仮想空間３２内に配置させ、それに対応する画像を表示部１３に表示させる。本発明は、パーソナルコンピュータに適用可能である。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、ユーザが、３次元仮想空間内の所定の情報を容易かつ直感的に操作することができるようにした情報処理装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、情報処理技術の発達が著しく、パーソナルコンピュータに代表される、一般ユーザが利用する汎用的な情報処理装置においても、コンピュータグラフィックス（以下、CGと称する）による３次元仮想空間の表現およびその利用が容易に実現可能となっている。
【０００３】
また、近年、情報通信技術の発達が著しく、インターネット等のネットワーク上のサーバを利用することで、複数のクライアント（例えば、上述した汎用的な情報処理装置）によるデータの共有や、複数のクライアントのそれぞれに対するデータの配信が容易に実現可能となっている。
【０００４】
さらに、最近では、これらの情報処理および通信技術の融合により、複数のクライアントのそれぞれが、サーバ上に構築された３次元仮想空間内のデータを共有して利用するといった技術（例えば、特許文献１参照）も普及し、この技術を利用した様々なサービスが行われるようになっている。
【０００５】
従来、このようなCGによって表現された３次元仮想空間の座標系は、その３次元仮想空間をサーバ等に実装した開発者によって設定されることが多い。従って、ユーザは、所定の入力装置を利用して、そのような３次元仮想空間内のオブジェクトを操作する場合、開発者によって予め設定された座標系に従って操作することになる。
【０００６】
【特許文献１】
特開２００２−２７９２８４
【０００７】
【非特許文献１】
「3ds max」商品説明、[online]、Discreet社ホームページ プロダクト、［2002年11月8日検索］、インターネット,<URL : http://www.discreet.jp/products/max5/index_max5.htm>
【０００８】
【発明が解決しようとする課題】
しかしながら、開発者によって予め設定された座標系により構築される３次元仮想空間と、ユーザが入力装置を操作する周辺の実空間との間には対応関係がほとんど存在しない。従って、ユーザは、非直感的なインタフェースで３次元仮想空間内のオブジェクトを操作することになり、ユーザにとって非常に困難な操作が必要になるという課題がある。
【０００９】
具体的には、例えば、３次元仮想空間内のオブジェクトを操作する入力装置として、パーソナルコンピュータに接続されたマウスが利用される場合、実空間内のマウス本体の移動距離と、画面内（３次元仮想空間内）のマウスポインタの移動距離が大きく異なることが多い。
【００１０】
従って、例えば、ユーザは、マウスポインタを画面（３次元仮想空間）の端から端まで移動させるのに、マウスを実空間内でどれだけ移動させる必要があるのかを直感的に理解することができず、その結果、実際にマウスを何度も移動させてその移動距離を覚えなければならない。
【００１１】
さらに、３次元仮想空間の視点の変化も考慮すると（通常、３次元仮想空間の視点は自由に変更できるので）、ユーザは、マウスをどのように動かしたらいいのかさえ直感的に理解することができず、その結果、マウスをあらゆる方向に何度も動かすといった、試行錯誤を重ねることが多々ある。
【００１２】
また、人間の目は、奥行き方向に対する認識が劣っていると言われている。従って、CRT（Cathode Ray Tube）ディスプレイ等の２次元表示装置に３次元仮想空間に対応する画像が表示されている場合、ユーザがその３次元仮想空間内の奥行き方向を直感的に認識することは、非常に困難であるという課題もある。換言すると、ユーザが奥行き方向を直感的に認識することができるように、３次元仮想空間に対応する画像を２次元表示装置に表示させることは、非常に困難であるという課題がある。
【００１３】
そこで、従来、例えば、３次元CGをモデリングするアプリケーションソフトウエア（例えば、非特許文献１参照）等においては、オブジェクトの表示方法として、オブジェクトの周囲の３次元空間を、前面、上面、および側面の３方向から表示する３面図法が採用されていることが多い。これにより、奥行き方向の表示が実現可能となっている。
【００１４】
しかしながら、３面図法では、１画面に少なくとも前面図、上面図、および側面図といった３つの表示が必要とされる（少なくとも画面が３分割される）。このような表示形態は、自然な表示形態であるとは言い難い。また、ユーザは、これら３つの表示を総合的に判断して奥行き方向に対する認識を行うことになるが、このような認識は、直感的な認識であるとは言い難い。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、ユーザが、３次元仮想空間内の所定の情報を容易かつ直感的に操作することができるようにするものである。
【００１６】
【課題を解決するための手段】
本発明の情報処理装置は、３次元仮想空間に対応する画像の表示を制御する情報処理装置であって、予め入力された第１の実物体の所定の情報に基づいて、第１の実物体を含む実空間における第１の座標系を設定するとともに、設定した第１の座標系に基づいて、実空間に対応する３次元仮想空間における第２の座標系を設定する設定手段と、設定手段により設定された第２の座標系を用いて３次元仮想空間を構築する構築手段と、構築手段により構築された３次元仮想空間に対応する画像の表示を制御する表示制御手段とを備えることを特徴とする。
【００１７】
第１の実物体は、少なくとも所定の１方向に対する断面の断面積が所定の面積以上を有する実物体であるようにすることができる。
【００１８】
第１の実物体は、１枚のシート状の実物体、または複数のシート状の実物体が束ねられたものであるようにすることができる。
【００１９】
３次元仮想空間における所定の仮想物体の位置および角度を指定する指定情報を入力する入力手段と、入力手段より入力された指定情報に基づいて、仮想物体の第２の座標系における位置および角度を決定する決定手段とをさらに設け、構築手段は、決定手段により決定された第２の座標系における位置および角度で配置された仮想物体を含む３次元仮想空間を構築するようにすることができる。
【００２０】
入力手段は、仮想物体に対応づけられた第２の実物体が実空間内に配置された場合、第２の実物体の実空間における位置および角度を第１の座標系とは異なる第３の座標系で測定し、その測定結果を指定情報として入力し、決定手段は、入力手段より入力された第２の実物体の位置および角度の座標系を第３の座標系から第２の座標系に変換し、第２の座標系に変換した第２の実物体の位置および角度を、仮想物体の第２の座標系における位置および角度として決定するようにすることができる。
【００２１】
入力手段は、第２の実物体として、入力手段自身のうちの少なくとも一部分を利用するようにすることができる。
【００２２】
入力手段は、第２の実物体として、仮想物体の所定の特徴が表現された実物体を利用するようにすることができる。
【００２３】
構築手段は、表示制御手段により表示が制御される画像に、第１の実物体に対応する仮想領域が少なくとも含まれるように３次元仮想空間を構築するようにすることができる。
【００２４】
本発明の情報処理方法は、３次元仮想空間に対応する画像の表示を制御する情報処理方法であって、予め入力された所定の実物体の所定の情報に基づいて、実物体を含む実空間における第１の座標系を設定するとともに、設定した第１の座標系に基づいて、実空間に対応する３次元仮想空間における第２の座標系を設定する設定ステップと、設定ステップの処理により設定された第２の座標系を用いて３次元仮想空間を構築する構築ステップと、構築ステップの処理により構築された３次元仮想空間に対応する画像の表示を制御する表示制御ステップとを含むことを特徴とする。
【００２５】
本発明のプログラムは、３次元仮想空間に対応する画像の表示を制御する処理を、コンピュータに実行させるプログラムであって、予め入力された所定の実物体の所定の情報に基づいて、実物体を含む実空間における第１の座標系を設定するとともに、設定した第１の座標系に基づいて、実空間に対応する３次元仮想空間における第２の座標系を設定する設定ステップと、設定ステップの処理により設定された第２の座標系を用いて３次元仮想空間を構築する構築ステップと、構築ステップの処理により構築された３次元仮想空間に対応する画像の表示を制御する表示制御ステップとを含むことを特徴とする。
【００２６】
本発明の情報処理装置および方法、並びにプログラムにおいては、予め入力された所定の実物体の所定の情報に基づいて、その実物体を含む実空間における第１の座標系が設定されるとともに、設定された第１の座標系に基づいて、実空間に対応する３次元仮想空間における第２の座標系が設定され、設定された第２の座標系が用いられて３次元仮想空間が構築され、構築された３次元仮想空間に対応する画像が表示される。
【００２７】
本発明の情報処理装置により表示が制御される画像の表示を行う表示装置は、情報処理装置に搭載されているものでもよいし、情報処理装置の外部の装置でもよい。同様に、本発明の情報処理装置に情報を入力する入力装置は、情報処理装置に搭載されているものでもよいし、情報処理装置の外部の装置でもよい。
【００２８】
【発明の実施の形態】
図１は、本実施の形態が適用される情報処理装置のハードウエアの構成例を表している。
【００２９】
図１に示されるように、情報処理装置１は、入力部１１、主制御部１２、および、表示部１３により構成される。情報処理装置１は、実物体１４とともに利用される。
【００３０】
本実施の形態においては、例えば、主制御部１２が、実物体１４の所定の情報（例えば、その形状、位置、および角度等）に基づいて３次元仮想空間を構築し、それに対応する画像を表示部１３に表示させる。さらに、ユーザが入力部１１を操作した場合、主制御部１２は、その操作に応じて３次元仮想空間内の所定の３次元仮想物体（以下、オブジェクトと称する）の位置や角度を変更し（３次元仮想空間を再構築し）、それに対応する画像を表示部１３に表示させる。ただし、情報処理装置１の用途は、本実施の形態の例に限定されず、単に、後述する３次元仮想空間の座標系の定義方法を利用する用途であればよい。
【００３１】
入力部１１は、基本機能として、３次元仮想空間内の所定のオブジェクトの位置および角度を指定する指定情報を主制御部１２に入力する第１の機能を有している。即ち、ユーザは、入力部１１の第１の機能を利用することで、３次元仮想空間内の所定のオブジェクトを自在に移動させることができる。
【００３２】
換言すると、入力部１１は、３次元仮想空間内の所定のオブジェクトの位置および角度を指定する指定情報を主制御部１２に入力させることが可能なものであれば、その形態は特に限定されない。例えば、入力部１１は、３次元位置角度センサにより構成することが可能である。具体的には、例えば、磁気方式、光学方式、超音波方式、または機械方式といった様々な方式の３次元位置角度センサが、入力部１１として利用可能である。勿論、入力部１１は、３次元位置角度センサに限定されず、その他の入力装置、例えば、キーボードやマウスに代表される、オンオフ入力装置若しくは２次元位置入力装置により構成してもよい。
【００３３】
ところで、本実施の形態においては、後述するように、情報処理装置１が利用する座標系として、実空間の３次元座標系（例えば、後述する図６に示される実空間３１の座標系（rx,ry,rz））と３次元仮想空間を定義する座標系（例えば、後述する図７に示される３次元仮想空間３２の座標系（vx,vy,vz））といった、少なくとも２種類の独立した座標系が存在する。これら２種類の座標系の対応関係は、実物体１４の所定の情報（例えば、形状、位置、および角度等）に基づいて定義される。
【００３４】
そのため、これら２種類の座標系の定義が行われる前に、この実物体１４の情報が主制御部１２に予め入力されている必要がある。そこで、入力部１１は、上述した第１の機能に加えて、所定のデータを主制御部１２に入力する第２の機能をさらに有し、ユーザは、入力部１１の第２の機能を利用して、実物体１４の情報を主制御部１２に入力する。
【００３５】
この場合、入力部１１のうちの第１の機能を有する入力装置自身が第２の機能をさらに有してもよいし（入力部１１が１つの入力装置で構成されてもよいし）、第１の機能を有する入力装置とは異なる、第２の機能を有する別の入力装置が入力部１１に新たに設けられてもよい。具体的には、例えば、別の入力装置としてカメラ等の撮像装置が利用可能である。即ち、カメラが実物体１４を撮影し、主制御部１２が、撮影された実物体１４の画像データに対して所定の画像処理を施すことで、実物体１４の情報の取得が可能になる。このように、入力部１１は、１つの入力装置で構成する必要はなく、上述した機能を実現可能なものであれば、その構成や個数は特に限定されない。
【００３６】
なお、実物体１４の形状等が予め規定されている場合には、実物体１４の情報としてその規定された値を、ユーザの使用前（例えば、情報処理装置１の出荷前）に、情報処理装置１に予め入力しておくことができる。この場合、入力部１１は、実物体１４の情報を入力する第２の機能を有する必要がない。さらに、情報処理装置１が座標系定義のみを目的として利用される場合、第１の機能も必要なくなるので、情報処理装置１の構成として入力部１１自身が必須なものでなくなる。
【００３７】
また、第２の機能により入力されるデータは、上述した実物体１４の情報に限定されない。例えば、後述するように、本実施の形態においては、表示部１３には、所定の視点から３次元仮想空間を見た場合の風景に対応する画像が表示される。従って、その視点を指定する情報が第２の機能により主制御部１２に入力されてもよい。
【００３８】
主制御部１２は、例えば、パーソナルコンピュータの本体部分（キーボート等の入力装置と、ディスプレイ等の出力装置を除いた部分）により構成される。主制御部１２は、後述する各座標系への変換処理や３次元仮想空間の構築処理を行い、構築した３次元仮想空間に対応する画像信号を生成し、表示部１３に出力する。
【００３９】
主制御部１２において、CPU（Central Processing Unit）２１は、ROM（Read Only Memory）２２に記録されているプログラム、または記憶部２６からRAM（Random Access Memory）２３にロードしたプログラムに従って各種の処理を実行する。RAM２３にはまた、CPU２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００４０】
CPU２１、ROM２２、およびRAM２３は、バス２４を介して相互に接続されている。このバス２４にはまた、入出力インタフェース２５も接続されている。
【００４１】
入出力インタフェース２５には、上述した入力部１１、および後述する表示部１３が接続されている。
【００４２】
入出力インタフェース２５にはまた、ハードディスクなどより構成される記憶部２６、および、インターネットを含むネットワークを介する他の情報処理装置（図示せず）との通信処理を実行する通信部２７が接続されている。
【００４３】
入出力インタフェース２５にはさらに、必要に応じてドライブ２８が接続される。ドライブ２８には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体２９が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２６にインストールされる。
【００４４】
表示部１３は、例えば、CRT（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、またはプロジェクタ等により構成される。表示部１３は、主制御部１２からの出力に応じて、３次元仮想空間に対応する画像を表示する。
【００４５】
実物体１４は、主制御部１２により構築される３次元仮想空間の座標系を示す指標となる。実物体１４は、実空間内に実際に存在する物体であって、上方から見下ろした場合に面積がある（水平断面積が所定の面積以上を有する）物体であれば、その形態（例えば、材質や形状）は特に限定されない。具体的には、例えば、実物体１４として、シート、本、またはジオラマ模型等が利用可能である。
【００４６】
なお、上述したように、実物体１４の所定の情報に基づいて、各種座標系が設定される。従って、実物体１４の情報の入力後は、実物体１４は、その情報の入力時に設定された位置および角度で配置される必要がある。
【００４７】
図２は、情報処理装置１の外観構成の１例を表している。
【００４８】
図２の例では、実物体１４は、シート状の物体とされている。主制御部１２は、デスクトップ型のパーソナルコンピュータの本体部分とされている。主制御部１２は、予め入力されている実物体１４の情報に基づいて３次元仮想空間３２を構築する。表示部１３は、CRTディスプレイとされている。表示部１３は、主制御部１２により構築された３次元仮想空間３２に対応する画像を表示する。入力部１１のうちの上述した第１の機能を有する部分は、３次元位置角度センサ１１−１とされている。３次元位置角度センサ１１−１は、実空間３１における測定対象物体（図２の例では、３次元位置角度センサ１１−１自身）の位置および角度を測定し、その測定結果を主制御部１２に供給する。
【００４９】
表示部１３に表示される３次元仮想空間（画像）３２には、オブジェクト（画像）３３が含まれており、このオブジェクト３３は、３次元位置角度センサ１１−１と予め対応付けられている。また、上述したように、３次元仮想空間３２の座標系は、実物体１４の情報に基づいて定義されるため、実物体１４は、３次元仮想空間３２の座標系の指標として機能する。
【００５０】
従って、ユーザが、実物体１４を指標として３次元位置角度センサ１１−１を実空間３１内の所望の位置および角度に配置すると、３次元位置角度センサ１１−１の測定結果（３次元位置角度センサ１１−１自身の実空間における位置および角度）が、３次元仮想空間３２内のオブジェクト３３の位置および角度を指定する指定情報として主制御部１２に入力される。その結果、オブジェクト３３が、３次元仮想空間３２内の指定された位置および角度（３次元位置角度センサ１１−１の位置および角度に対応する位置および角度）で配置される。即ち、ユーザの所望の位置および角度で配置されたオブジェクト３３を含む３次元仮想空間３２に対応する画像が、表示部１３に表示される。
【００５１】
図３は、情報処理装置１の主制御部１２（図２）が有している機能のうちの、３次元仮想空間の座標系を定義し、定義した座標系により３次元仮想空間を構築し、それに対応する画像（オブジェクトを含む画像）の表示を制御する処理（以下、そのような処理を、３次元表示制御処理と称する）を行う機能を実現するソフトウエアプログラムの構成例を表している。
【００５２】
即ち、図３の例のソフトウエアプログラムは、座標系設定モジュール４１、オブジェクト位置角度決定モジュール４２、仮想空間構築モジュール４３、および表示制御モジュール４４といった複数のモジュールにより構成される。これらの各モジュールのそれぞれは、１つの独立したアルゴリズムを持ち、かつ、そのアルゴリズムに従って固有の動作を実行する。各モジュールのそれぞれは、CPU２１（図１）により適宜読み出され、実行される。
【００５３】
座標系設定モジュール４１は、予め入力された実物体１４の所定の情報（例えば、その形状、位置、および角度等）に基づいて、実物体１４を含む実空間３１における第１の座標系（例えば、後述する図６の実空間３１の座標系（rx,ry,rz））を設定する。さらに、座標系設定モジュール４１は、設定した第１の座標系に基づいて、実空間３１に対応する３次元仮想空間３２における第２の座標系（例えば、後述する図７の３次元仮想空間３２の座標系（vx,vy,vz））を設定する。また、座標系設定モジュール４１は、設定したこれらの座標系の対応関係（座標系変換関数）も演算する。
【００５４】
オブジェクト位置角度決定モジュール４２は、上述した入力部１１の第１の機能が利用されて入力された情報（以下、第１の機能が利用されて入力された情報を、第２の機能のそれと区別するため、位置角度情報と称する。図３の例では、位置角度情報は、３次元位置角度センサ１１−１の測定結果である）に基づいて、座標系設定モジュール４１により設定された第２の座標系におけるオブジェクト３３の位置および角度を決定する。
【００５５】
仮想空間構築モジュール４３は、所定の視点（図３の例では、入力部１１からの情報に指定されている視点）から、座標系設定モジュール４１により設定された第２の座標系により定義される３次元仮想空間３２を見た場合の風景に対応する画像データを生成し、表示制御モジュール４４に供給する。なお、以下、このような３次元仮想空間３２の画像データを生成することを、３次元仮想空間３２を構築すると称する。
【００５６】
さらに、仮想空間構築モジュール４３は、オブジェクト位置角度決定モジュール４２により第２の座標系におけるオブジェクト３３の位置および角度が決定された場合、決定された位置および角度でオブジェクト３３が配置された３次元仮想空間３２を構築し、表示制御モジュール４４に供給する。
【００５７】
表示制御モジュール４４は、仮想空間構築モジュール４３により構築された３次元仮想空間３２に対応する画像を、表示部１３に表示させるように制御する。換言すると、表示制御モジュール４４は、仮想空間構築モジュール４３より供給された画像データを、表示部１３のフォーマットの画像信号に変換して、表示部１３に供給する。表示部１３は、供給された画像信号に対応する画像（３次元仮想空間３２に対応する画像）を表示する。
【００５８】
次に、図４と図５のフローチャートを参照して、情報処理装置１の主制御部１２（図３）の３次元表示制御処理例について説明する。
【００５９】
なお、この例においては、例えば、情報処理装置１は、上述した図２の構成とされている。即ち、入力部１１の第１の機能を有する部分は、所定の方式の３次元位置角度センサ１１−１で構成されている。また、この例においては、例えば、３次元位置角度センサ１１−１は、自分自身の位置および角度（位置角度情報）を、図６に示されるような３次元位置角度センサ１１−１独自の座標系（sx,sy,sz）（以下、センサ座標系（sx,sy,sz）と称する）で主制御部１２に入力する。
【００６０】
そこで、はじめに図４のステップＳ１において、座標系設定モジュール４１は、３次元位置角度センサ１１−１のセンサ情報に基づいて、図６のセンサ座標系(sx,sy,sz)を設定する。即ち、初期設定として、これから利用される３次元位置角度センサ１１−１独自のセンサ座標系(sx,sy,sz)が登録される。
【００６１】
次に、ステップＳ２において、座標系設定モジュール４１は、実物体１４の情報（形状、位置、および角度等）に基づいて、実空間３１における第１の座標系（rx,ry,rz）（以下、このような座標系を、センサ座標系と区別するため、実物体座標系（rx,ry,rz）と称する）を設定する。
【００６２】
この例においては、例えば、実物体１４の形状、位置、および角度は予め規定されており、その規定された情報が主制御部１２に予め入力されているとする（例えば、図１の記憶部２６等に予め記憶されているとする）。
【００６３】
ただし、上述したように、実物体１４の情報は、特に限定されず、例えば、ステップＳ２の処理の時点で、ユーザが、入力部１１（３次元位置角度センサ１１−１とは異なるキーボード等の入力装置）を操作して入力した情報そのものが、実物体１４の情報として使用されてもよい。或いは、例えば、３次元位置角度センサ１１−１とは異なるカメラ等の入力部１１より入力され、所定の認識手法によって実物体１４を認識した情報が、実物体１４の情報として使用されてもよい。
【００６４】
また、この例においては、例えば、図６に示される実物体座標系(rx,ry,rz)が定義（設定）されるとする。即ち、図６の実物体座標系（rx,ry,rz）では、実物体１４のシート表面が、X-Y平面とされ、実物体１４のシート表面の法線方向が、Z軸と定義されている。また、原点（図６中の０点）は、図６中、実物体１４のシート表面の左手前の端点とされている。勿論、原点、X-Y平面の方向、およびz軸の方向のそれぞれは、実物体１４が有する情報のうちの所定の１以上の情報を指標とする限り、図６の例に限定されず、また、その座標系の定義方法も、上述した例に限定されない。
【００６５】
例えば、実物体１４が、四角いシート状の物体である場合、その隅を原点とし、各辺を各座標軸とすることが可能である。また、例えば、実物体１４が、任意の形状である場合、実物体１４に書かれている線や色の差異による境界線などを指標とすることも可能である。
【００６６】
このことは、後述する座標系の定義の他の説明においても同様である。
【００６７】
図４に戻り、ステップＳ３において、座標系設定モジュール４１は、実物体１４を利用して設定した実物体座標系(rx,ry,rz）に基づいて、３次元仮想空間３２における第２の座標系(vx,vy,vz）（以下、仮想空間座標系(vx,vy,vz）と称する）を設定する。
【００６８】
この例においては、例えば、図７に示される仮想空間座標系(vx,vy,vz)が設定されるとする。即ち、図７の仮想空間座標系（vx,vy,vz）では、図６の実物体１４（シート状の実物体１４が存在する領域）に対応する仮想領域３４が設定され、その仮想領域３４の上面（実物体１４の表面に対応する面）が、X-Y平面とされ、その上面の法線方向が、Z軸と定義されている。また、原点（図７中の０点）は、図７中、仮想領域３４の上面の左手前の端点とされている。勿論、原点、X-Y平面の方向、およびz軸の方向のそれぞれは、図７の例に限定されず、また、その座標系の定義方法も上述した例に限定されない。
【００６９】
ただし、上述したように、ユーザは、実物体１４を指標として３次元位置角度センサ１１−１（図６）を操作することで、３次元仮想空間３２内のオブジェクト３３を移動させる。この場合、表示部１３にも実物体１４に対応するものが表示されると、ユーザはより直感的かつ容易に操作を行うことが可能になる。このため、実物体１４に対応するものとして仮想領域３４が表示部１３に表示されるように、仮想空間座標系(vx,vy,vz)が設定されるとよい。勿論、仮想領域３４は、後述する図８に示される部屋の床の様な明示的なもの（ユーザの目に映るもの）として表示されてもよいし、単なる透明な領域（ユーザの目には映らないもの）として表示されてもよい。
【００７０】
図４に戻り、ステップＳ４において、座標系設定モジュール４１は、ステップＳ１乃至Ｓ３の処理で設定したセンサ座標系(sx,sy,sz）、実物体座標系(rx,ry,rz)、および仮想空間座標系(vx,vy,vz)それぞれの座標系変換関数を演算する。この座標系変換関数によって、それぞれの座標系の対応関係が数式で記述されることになる。
【００７１】
具体的には、例えば、この例においては、次の式（１）と式（２）に示されるような座標系変換関数が演算される。
【００７２】
【数１】
【００７３】
式（１）は、センサ座標系(sx,sy,sz）から実物体座標系(rx,ry,rz)に変換する関数を表している。式（１）において、m11乃至m44は、センサ座標系(sx,sy,sz）から実物体座標系(rx,ry,rz)に変換する変換行列の各成分を表している。
【００７４】
式（２）は、実物体座標系(rx,ry,rz)から仮想空間座標系(vx,vy,vz)に変換する関数を表している。式（２）において、n11乃至n44は、実物体座標系(rx,ry,rz)から仮想空間座標系(vx,vy,vz)に変換する変換行列の各成分を表している。
【００７５】
即ち、この例においては、例えば、座標系設定モジュール４１は、最小二乗法等を利用して、m11乃至m44、およびn11乃至n44のそれぞれの値を演算することで、センサ座標系(sx,sy,sz）、実物体座標系(rx,ry,rz)、および仮想空間座標系(vx,vy,vz)それぞれの座標系変換関数を演算する。
【００７６】
なお、ステップＳ４の処理で演算される座標系変換関数や、その演算方法は、上述した例に限定されず、その他、例えば、人間の脳の機能を模擬したニューラルネットワークなどの非線形変換により、座標系変換関数が演算されてもよい。
【００７７】
このように、座標系設定モジュール４１は、ステップＳ１乃至Ｓ４の処理を実行することで、実物体１４を用いて仮想空間座標系(vx,vy,vz)の定義を行うことができる。
【００７８】
次に、座標系設定モジュール４１により仮想空間座標系(vx,vy,vz)の定義が行われると、ステップＳ５において、仮想空間構築モジュール４３は、視点を設定する。なお、視点の設定方法は、特に限定されず、例えば、予め登録された視点が設定されてもよい。ただし、この例においては、例えば、入力部１１の第２の機能により入力された情報（上述した視点を設定する情報）に指定されている視点が設定されるとする。
【００７９】
ステップＳ６において、仮想空間構築モジュール４３は、設定された仮想空間座標系(vx,vy,vz)と視点を利用して、図７に示されるような３次元仮想空間３２を構築する。
【００８０】
そして、ステップＳ７において、表示制御モジュール４４は、ステップＳ６の処理で仮想空間構築モジュール４３により構築された３次元仮想空間３２の画像を、初期画像として表示部１３に表示させる。
【００８１】
例えば、いま、初期画像として、図８に示される画像が表示部１３に表示されたとする。即ち、図８は、実物体１４（この例の実物体１４は、シート状の物体であるので、以下、この例の実物体１４を、シート１４−１と称する）によって定義された仮想空間座標系(vx,vy,vz)に対応して３次元仮想空間３２が構築され、それに対応する画像が、初期画像として表示部１３に表示されている状態を表している。
【００８２】
３次元仮想空間３２は、シート１４−１に対応する仮想領域３４を床面とする部屋として表現されている。なお、３次元仮想空間３２内の壁や床は、領域を示すためだけに存在するものであり、存在しなくても構わない。
【００８３】
ただし、床は、シート１４−１に対応する仮想領域３４を明示的に示すことができるので存在する方が好適である。即ち、後述する図９や図１０に示されるように、シート１４−１に対応する床面（仮想領域）３４が表示されていれば、ユーザは、シート１４−１を指標とし、シート１４−１と床面３４を対比させることで、仮想空間座標系(vx,vy,vz)におけるオブジェクト３３の位置および角度と、実物体座標系(rx,ry,rz)における３次元位置角度センサ１１−１の位置および角度の対応を容易かつ直感的に認識することが可能になる。
【００８４】
従って、ユーザは、オブジェクト３３を３次元仮想空間３２内の所望の位置および角度で配置させる場合、その位置および角度を、床面３４に対する相対的な位置および角度として把握し、３次元位置角度センサ１１−１を、把握した位置および角度に対応する、シート１４−１に対する相対的な位置および角度で単に配置させればよい。その結果、後述するように、オブジェクト３３は、３次元位置角度センサ１１−１のシート１４−１に対する相対的な位置および角度に対応する、床面３４に対する相対的な位置および角度で３次元仮想空間３２内に配置される。
【００８５】
さらに、図８の例では、シート１４−１には、椅子の絵５１、および机の絵５２が描画されている。そして、実物体座標系(rx,ry,rz)における椅子の絵５１の位置に対応する仮想空間座標系(vx,vy,vz)の位置（３次元仮想空間３２内の対応する位置）には、椅子の３次元モデル６１が配置されている。同様に、実物体座標系(rx,ry,rz)における机の絵５２の位置に対応する仮想空間座標系(vx,vy,vz)の位置（３次元仮想空間３２内の対応する位置）には、机の３次元モデル６２が配置されている。
【００８６】
なお、図８の例では、椅子の絵５１と机の絵５２のそれぞれとの対応をユーザに容易かつ直感的に認識させることを目的として、椅子の絵５１と机の絵５２のそれぞれと同一の形状を有する椅子の３次元モデル６１、および机の３次元モデル６２が利用されている。従って、この目的が不要な場合、椅子の３次元モデル６１、および机の３次元モデル６２のそれぞれが配置されている位置（仮想空間座標系(vx,vy,vz)の位置）と同一の位置に、所定の３次元モデルが単に配置されればよい。即ち、３次元モデルの形状は、図８の例に限定されず、任意の形状でよい。
【００８７】
また、椅子の３次元モデル６１、および机の３次元モデル６２のそれぞれは、主制御部１２に予め入力されている必要があるが、その入力方法および入力装置は任意の方法および装置でよい。
【００８８】
このようにして、表示部１３に初期画像が表示された状態（いまの場合、図８に示される状態）で、３次元位置角度センサ１１−１（図２）が実空間３１内を移動すると、上述したように、オブジェクト３３（図２）も、３次元位置角度センサ１１−１の動きに追随して３次元仮想空間３２内を移動する。このような３次元位置角度センサ１１−１の移動（ユーザ操作）に対応してオブジェクト３３を移動させる処理が、図５のステップＳ８乃至Ｓ１３の処理で実行される。
【００８９】
即ち、例えば、いま、図８に示される状態で、ユーザが、３次元位置角度センサ１１−１をシート１４−１の机の絵５２の上に置いたとする（３次元位置角度センサ１１−１の状態を、図８に示される状態から、後述する図９に示される状態に変化させたとする）。
【００９０】
この場合、図５のステップＳ８において、オブジェクト位置角度決定モジュール４２が、３次元位置角度センサ１１−１からの位置角度情報（いまの場合、センサ座標系(sx,sy,sz）における３次元位置角度センサ１１−１自身の位置および角度)を入力する。
【００９１】
ステップＳ９において、オブジェクト位置角度決定モジュール４２は、入力された位置角度情報の座標系を、センサ座標系(sx,sy,sz）から実物体座標系(rx,ry,rz)に変換する。いまの場合、上述した式（１）が利用されて、位置角度情報の座標系が、センサ座標系(sx,sy,sz）から実物体座標系(rx,ry,rz)に変換される。
【００９２】
さらに、ステップＳ１０において、オブジェクト位置角度決定モジュール４２は、位置角度情報の座標系を、実物体座標系(rx,ry,rz)から仮想空間座標系(vx,vy,vz)に変換する。いまの場合、上述した式（２）が利用されて、位置角度情報の座標系が、実物体座標系(rx,ry,rz)から仮想空間座標系(vx,vy,vz)に変換される。
【００９３】
なお、ステップＳ９とＳ１０の処理は、図５の例では、分割された処理とされているが、同時に実行されてもよい。この場合、ステップＳ４（図４）の処理では、上述した式（１）と式（２）のそれぞれで表される２つの座標系変換関数が演算されるのではなく、式（１）と式（２）を合成した次の式（３）で表される座標系変換関数が演算される。
【００９４】
【数２】
【００９５】
式（３）は、センサ座標系(sx,sy,sz）から仮想空間座標系(vx,vy,vz)に直接変換する関数を表している。式（３）において、m11乃至m44は、式（１）におけるセンサ座標系(sx,sy,sz）から実物体座標系(rx,ry,rz)に変換する変換行列と同様の行列の各成分を表している。また、n11乃至n44は、式（２）における実物体座標系(rx,ry,rz)から仮想空間座標系(vx,vy,vz)に変換する変換行列と同様の行列の各成分を表している。
【００９６】
そして、オブジェクト位置角度決定モジュール４２は、ステップＳ９とＳ１０に相当する処理として、上述した式（３）を利用して、入力された位置角度情報の座標系を、センサ座標系(sx,sy,sz）から仮想空間座標系(vx,vy,vz)に直接（一括して）変換する。
【００９７】
次に、ステップＳ１１において、オブジェクト位置角度決定モジュール４２は、仮想空間座標系(vx,vy,vz)に座標変換された位置角度情報に基づいて、オブジェクト３３の位置および角度を決定する。この例においては、例えば、３次元位置角度センサ１１−１とオブジェクト３３が対応付けられていることを考慮して、仮想空間座標系(vx,vy,vz)に座標変換された位置角度情報がそのまま、オブジェクト３３の仮想空間座標系(vx,vy,vz)における位置および角度として決定される。
【００９８】
そして、ステップＳ１２において、仮想空間構築モジュール４３が、オブジェクト位置角度決定モジュール４２により決定された位置および角度（仮想空間座標系(vx,vy,vz)における位置および角度）で配置されたオブジェクト３３を含む３次元仮想空間３２を再構築する。
【００９９】
ステップＳ１３において、表示制御モジュール４４は、ステップＳ１２の処理で仮想空間構築モジュール４３により再構築された３次元仮想空間３２の画像を表示部１３に表示させる。
【０１００】
いまの場合、上述したように、３次元位置角度センサ１１−１は、図９に示されるように、シート１４−１に描画された机の絵５２の上に置かれている。即ち、３次元位置角度センサ１１−１は、実物体座標系（rx,ry,rz）におけるX-Y平面に接するように配置されている。従って、図示はしないが、３次元仮想空間３２内のオブジェクト３３が、床面（仮想領域）３４に接し、机の３次元モデル６２と重なるように表示されることになる。例えば、ユーザが、単に、椅子の３次元モデル６１と机の３次元モデル６２のうちの机の３次元モデル６２を選択することを目的として、３次元位置角度センサ１１−１を、シート１４−１上に描画された机の絵５２の上に置いた場合、この表示方法で構わない。
【０１０１】
しかしながら、例えば、ユーザが、オブジェクト３３を机の３次元モデル６２の上に配置させる（そのような画像を表示させる）ことを目的として、３次元位置角度センサ１１−１を、シート１４−１上に描画された机の絵５２の上に置いた場合、この表示方法では、ユーザの目的を達成することができない。
【０１０２】
そこで、このような場合、例えば、仮想空間構築モジュール４３が、３次元モデルの交差判定を行った後、３次元仮想空間３２を構築するとよい。このようにして構築された３次元仮想空間３２は、例えば、図９に示されるような画像として表示部１３に表示される。即ち、３次元仮想空間３２内のオブジェクト３３は、机の３次元モデル６２と重ならずに、机の３次元モデル６２の上に配置される（ように表示部１３に表示される）。
【０１０３】
図５に戻り、ステップＳ１４において、表示制御モジュール４４は、処理の終了条件が満たされたか否かを判定する。
【０１０４】
ステップＳ１４における処理の終了条件は、特に限定されず、様々な条件が使用可能である。具体的には、例えば、ユーザからの終了コマンドが入力された場合、若しくは記憶部２６（図１）の残量が不足する場合等によるソフトウエアまたはハードウエア上の制約条件が使用可能である。
【０１０５】
ステップＳ１４において、処理の終了条件が満たされたと判定された場合、その処理は終了される。
【０１０６】
これに対して、ステップＳ１４において、処理の終了条件がまだ満たされていないと判定された場合、処理はステップＳ８に戻され、それ以降の処理が繰り返される。
【０１０７】
即ち、例えば、いま、図１０に示されるように、ユーザが、３次元位置角度センサ１１−１を、シート１４−１の机の絵５２の上から椅子の絵５１の上に移動させたとする。換言すると、３次元位置角度センサ１１−１の状態が、図９に示される状態から図１０に示される状態に変化したとする。
【０１０８】
この場合、ステップＳ１４において、処理の終了が指示されていないと判定され、上述したステップＳ８乃至Ｓ１３の処理が再度繰り返される。
【０１０９】
即ち、オブジェクト位置角度決定モジュール４２が、新たに取得した３次元位置角度センサ１１−１の位置角度情報の座標系を仮想空間座標系(vx,vy,vz)に変換し、それを、オブジェクト３３の新たな位置および角度として決定する。次に、仮想空間構築モジュール４３が、新たに決定された位置および角度で配置されたオブジェクト３３を含む３次元仮想空間３２を再構築する。そして、表示制御モジュール４４が、再構築された３次元仮想空間３２の画像を、表示部１３に表示させる。
【０１１０】
いまの場合、表示部１３には、図１０に示されるような画像、即ち、オブジェクト３３が、机の３次元モデル６２の上から椅子の３次元モデル６１の上に移動された３次元仮想空間３２に対応する画像が表示されることになる。
【０１１１】
なお、図１０の例では、図９の例と対応させて、上述した交差判定が行われたとして、オブジェクト３３が椅子の３次元モデル６１の上に配置されているが、上述したように、交差判定の実行は必須ではない。ただし、交差判定が行われない場合、図示はしないが、オブジェクト３３が、床面（仮想領域）３４の上に配置され、椅子の３次元モデル６１と重ねられて表示されることになる。
【０１１２】
このように、ステップＳ８乃至Ｓ１３の処理が繰り返されることで、３次元仮想空間３２内のオブジェクト３３は、ユーザによる３次元位置角度センサ１１−１の操作とほぼ同時に、３次元位置角度センサ１１−１の移動パスと同じ移動パスを経て、机の３次元モデル６２の位置から椅子の３次元モデル６１の位置まで移動する。
【０１１３】
以上、本発明の実施の形態として、図２の構成の情報処理装置１について説明したが、本発明の実施の形態は、図２の例に限定されず、様々な形態を取ることが可能である。
【０１１４】
例えば、仮想空間座標系（vx,vy,vz）の指標となる実物体１４は、上述したように、少なくとも所定の１方向に対する断面の断面積が所定の面積以上を有するものであれば、特に限定されず、上述したシート１４−１の他、様々な実施の形態を取ることが可能である。
【０１１５】
具体的には、例えば、実物体１４として、図１１に示されるように、紙（シート状の物体）が束ねられた本１４−２の利用も可能である。この場合、例えば、情報処理装置１の主制御部１２（図１）は、本１４−２の頁の表面（印刷面）をX-Y座標平面とし、その表面の法線方向をZ軸とすることで、実空間３１の実物体座標系(rx,ry,rz)を定義する。そして、主制御部１２は、定義した実物体座標系(rx,ry,rz)を指標として、３次元仮想空間３２の仮想空間座標系(vx,vy,vz)を定義する。勿論、上述したように、座標系の定義方法は、この方法に限定されず、様々な方法が使用可能である。
【０１１６】
これにより、例えば、図１１に示されるように、表示部１３には、本１４−２の所定の頁の表面（X-Y平面）に対応する仮想領域３４が床面とされる３次元仮想空間３２が表示される。そして、例えば、３次元位置角度センサ１１−１が机の絵５２の上に配置されると、それに対応して、オブジェクト３３も、３次元仮想空間３２内の机の３次元モデル６２の上に配置される（ように表示部１３に表示される）。ただし、いまの場合、上述した交差判定が行われたとする。
【０１１７】
このように、実物体１４が、図８乃至図１０に示されるような、１枚のシート１４−１である場合、単に１シーンの３次元仮想空間３２のみが定義される。これに対して、実物体１４として、図１１に示されるような、複数のシート（紙）が束ねられた本１４−２が利用されると、本１４−２の頁の切り替えによる複数のシーン（各頁のそれぞれに対応するシーン）のそれぞれの３次元仮想空間の定義が可能になる。
【０１１８】
また、例えば、実物体１４として、図１２に示されるように、台座７１と、その上に配設された模型７２および模型７３から構成される実物体１４−３の利用も可能である。なお、台座７１の材質は、上述したシート１４−１（図８乃至図１０）や本１４−２（図１１）のような紙である必要はなく、面積を持っているものであれば任意の材質でよい。
【０１１９】
この場合、図１２に示されるように、表示部１３には、台座７１に対応する仮想領域３４が地面とされる３次元仮想空間３２が表示される。
【０１２０】
なお、図１２の実物体１４−３のように、座標系の定義に利用されるもの（図１２の例では、台座７１）以外の実物体（図１２の例では、模型７２と模型７３）が含まれる場合、３次元仮想空間３２内にも、それらと同じ形状を持つ３次元モデル（図１２の例では、家の模型７２に対応する家の３次元モデル８１、および、林（複数の木）の模型７３に対応する林の３次元モデル８２）が存在する方が好適である。なぜならば、実空間３１と３次元仮想空間３２が対応する空間であることを強くユーザに印象付けることができ、上述した他の例と同様、３次元仮想空間３２での操作をユーザが行う場合、模型７２や模型７３を指標として、より簡単かつ直感的に操作を行うことが可能になるからである。
【０１２１】
また、例えば、実物体１４として、図１３に示されるように、任意の模型１４−４自身の利用も可能である。即ち、実空間３１における実物体座標系(rx,ry,rz)の定義方法は、上述したように、任意の方法が可能であるので、情報処理装置１の主制御部１２（図１）は、模型１４−４のような任意の形状のものを指標として実物体座標系(rx,ry,rz)を定義しても構わない。例えば、図１３の例では、模型１４−４を床面に射影させ、その射影面をX-Y平面とすることで、上述した他の例と同様に、実空間３１の実物体座標系(rx,ry,rz)の定義が可能になる。勿論、上述したように、XYZ各座標軸の設定方法はこの方法に限定されるものではない。
【０１２２】
この場合、図１３に示されるように、表示部１３には、その下部（図中下部）に、実空間３１の定義されたX-Y平面（模型１４−４の射影面）に対応する仮想領域３４が配置される３次元仮想空間３２（それに対応する画像）が表示される。
【０１２３】
ただし、図１３の例の場合、仮想領域３４を表すものとして、上述した他の例における床面や地面のような明示的なものが存在しない。このような場合、例えば、図１３に示されるように、３次元仮想空間３２内に、模型１４−４（指標となる実物体１４−４）と同じ形状を持つ３次元モデル９１を配置させればよい。これにより、図１２と同様に、実空間３１と３次元仮想空間３２が対応する空間であることを強くユーザに印象付けることができ、上述した他の例と同様、３次元仮想空間３２での操作をユーザが行う場合、模型１４−４を指標として、より簡単かつ直感的に操作を行うことが可能になる。
【０１２４】
さらに、実物体１４のみならず、第１の機能を有する入力部１１も、上述したように、様々な実施の形態を取ることが可能である。
【０１２５】
例えば、図２の例では、３次元位置角度センサ１１−１が出力する位置角度情報の座標系（センサ座標系（sx,sy,sz））と、実物体１４に基づいて定義される実空間３１の座標系（実物体座標系(rx,ry,rz)）は異なっているため、情報処理装置１は、上述した図４のステップＳ１、ステップＳ４、および図５のＳ９の処理のような、センサ座標系(sx,sy,sz)から実物体座標系(rx,ry,rz)への変換に伴う処理を実行する。
【０１２６】
これにより、上述したように、独自のセンサ座標系(sx,sy,sz)を有する３次元位置角度センサ１１−１を操作する場合であっても、ユーザは、センサ座標系(sx,sy,sz)を意識することなく、実物体１４を指標として（実物体座標系(rx,ry,rz)を利用して）操作することが可能になる。
【０１２７】
一方、第１の機能を有する入力部１１として、それが出力する位置角度情報の座標系（センサ座標系（sx,sy,sz））が、実空間３１の座標系（実物体座標系(rx,ry,rz)）と同一の座標系となるような入力装置を利用した場合には、センサ座標系(sx,sy,sz)から実物体座標系(rx,ry,rz)への変換に伴う処理を省略することができる。
【０１２８】
或いは、図１４に示されるように、オブジェクト３３に対応付けられた実物体として、３次元位置角度センサとは独立した任意の実物体１０１を利用して、カメラ１１−２等により実物体１０１の実空間３１における位置および角度を入力してもよい。即ち、図１４の例では、カメラ１１−２が、第１の機能を有する入力部１１とされており、主制御部１２が、カメラ１１−２により撮影された実物体１０１の画像に対して所定の画像処理を施すことで、実物体１０１の実空間３１における位置および角度を測定する。
【０１２９】
なお、実物体１０１として、任意の実物体の利用が可能であるが、実物体１０１がオブジェクト３３と対応付けられていることを考慮すると、ユーザがそれを見てオブジェクト３３を直感的に連想できる実物体が好適である。即ち、実物体１０１として、オブジェクト３３の所定の特徴が表現された実物体が利用されるとよい。具体的には、例えば、図１４の例では、オブジェクト３３の形状と同一の形状を有する実物体１０１が用いられている。勿論、オブジェクト３３の特徴は、その形状以外にも、色や、３次元仮想空間３２における相対的な大きさといった様々な特徴を有しており、実物体１０１として、これら様々な特徴のうちのいずれの特徴が表現されたものであっても利用可能である。
【０１３０】
換言すると、実物体１０１は、単体では情報処理装置１に対して特定の機能を有していないが、オブジェクト３３の所定の特徴を表現していることを考慮すると、ユーザに対してオブジェクト３３を直感的に連想させる機能を有しているとも言える。また、ユーザが実物体１０１の実空間３１における位置や角度を変えることで、オブジェクト３３の３次元仮想空間３２における位置や角度も変更されるので、カメラ１１−２を補助的な入力装置とみなし、実物体１０１を実質上の入力装置（上述した３次元位置角度センサ１１−１の代わりとなる装置）とみなすことも可能である。即ち、入力部１１のうちの第１の機能を有する部分は、カメラ１１−２のみではなく、実物体１０１とカメラ１１−２をあわせた入力装置であるとも言える。
【０１３１】
以上、説明したように、本実施の形態の情報処理装置は、所定の実物体を指標として実空間における第１の座標系（例えば、実物体座標系(rx,ry,rz)）を定義し、それに基づいて、３次元仮想空間における第２の座標系（例えば、仮想空間座標系(vx,vy,vz)）を定義する。従って、例えば、ユーザが３次元仮想空間内のオブジェクトを操作する場合、操作の指標として実物体を利用することができ、容易かつ直感的に操作を行うことが可能になる。特に、人間が認知しにくいと言われている奥行き知覚のサポートに大きく貢献することが可能になる。
【０１３２】
換言すると、上述したように、従来、ユーザは、３次元仮想空間の第２の座標系とは関連のない入力装置独自の第３の座標系（例えば、入力装置が３次元位置角度センサである場合、センサ座標系(sx,sy,sz)）に基づいて、入力装置の操作を行っていたため、直感的な操作ができず、３次元仮想空間内のオブジェクトの操作が非常に困難であった。
【０１３３】
これに対して、本実施の形態においては、実物体に基づいて実空間の第１の座標系が定義され、さらに、第１の座標系に基づいて３次元仮想空間の第２の座標系が定義されるので、第２の座標系により定義される３次元仮想空間と、第１の座標系により定義される実空間は相互に対応することになる。従って、ユーザは、第１の座標系に基づいて入力装置の操作を行うことができるので（入力装置自体は、従来と同様に、独自の第３の座標系を利用するが、ユーザは、第３の座標系を意識することなく入力装置の操作を行うことができるので）、容易かつ直感的に３次元仮想空間内のオブジェクトを操作することが可能になる。
【０１３４】
なお、上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３５】
この記録媒体は、図１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）２９により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２や、記憶部２６に含まれるハードディスクなどで構成される。
【０１３６】
また、上述した図３の座標系設定モジュール４１、オブジェクト位置角度決定モジュール４２、仮想空間構築モジュール４３、および表示制御モジュール４４のそれぞれは、対応する機能を果たすものであれば、その形態は限定されない。即ち、ハードウエアなどでモジュールが構成されてもよい。この場合、例えば、製造者等は、座標系設定モジュール４１、オブジェクト位置角度決定モジュール４２、仮想空間構築モジュール４３、および表示制御モジュール４４のそれぞれに対応する装置（ハードウエア）を製作し、それらを図３に示されるようにそれぞれ接続することで、本発明が適用される情報処理装置１を、図１の構成とは異なる構成で実現することも可能である。
【０１３７】
さらに、モジュールは、全体として上述した図４と図５のフローチャート等に従って３次元表示制御処理の実行が可能なものであれば、図３の例に限定されず、様々なモジュールに分割可能であるし、或いは、モジュール構成とせずに、単なる１アルゴリズムを有するソフトウエアプログラムとして扱ってもよい。
【０１３８】
さらにまた、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３９】
【発明の効果】
以上のごとく、本発明によれば、３次元仮想空間を構築し、構築した３次元仮想空間に対応する画像を表示させることができる。特に、ユーザに対して容易かつ直感的な操作で３次元仮想空間内の所定の情報を操作させることができる。
【図面の簡単な説明】
【図１】本実施の形態が適用される情報処理装置のハードウエアの構成例を示すブロック図である。
【図２】図１の情報処理装置の外観の構成例を示す図である。
【図３】図１の情報処理装置のソフトウエアの構成例を示すブロック図である。
【図４】図３の情報処理装置の３次元表示制御処理例を説明するフローチャートである。
【図５】図３の情報処理装置の３次元表示制御処理例を説明するフローチャートである。
【図６】図３の情報処理装置が実物体を指標として定義した実空間の座標系を示す図である。
【図７】図３の情報処理装置が図６の実空間の座標系に基づいて定義した３次元仮想空間の座標系を示す図である。
【図８】図７の座標系に基づいて構築される３次元仮想空間の表示例を説明する図である。
【図９】ユーザが、実物体を指標として、３次元仮想空間内のオブジェクトに対応する入力部を配置した場合における、図８の３次元仮想空間に対してオブジェクトが配置された３次元仮想空間の表示例を説明する図である。
【図１０】ユーザが、実物体を指標として、入力部を図９とは異なる位置に配置した場合に、図８の３次元仮想空間に対してオブジェクトが配置された３次元仮想空間の表示例を説明する図である。
【図１１】実物体として本を利用した場合における、図３の情報処理装置が構築した３次元仮想空間の表示例を説明する図である。
【図１２】実物体として模型とその台座を利用した場合における、図３の情報処理装置が構築した３次元仮想空間の表示例を説明する図である。
【図１３】実物体として模型を利用した場合における、図３の情報処理装置が構築した３次元仮想空間の表示例を説明する図である。
【図１４】図１の情報処理装置の外観の構成の他の例を示す図である。
【符号の説明】
１ 情報処理装置， １１ 入力部， １１−１ ３次元位置角度センサ， １１−２ カメラ， １２ 主制御部， １３ 表示部， １４ 実物体， １４−１ シート（実物体）， １４−２ 本（実物体）， １４−３ 実物体，１４−４ 模型（実物体）， ２１ CPU， ３１ 実空間， ３２ ３次元仮想空間， ３３ オブジェクト， ３４ 仮想領域， ４１ 座標系設定モジュール， ４２ オブジェクト位置角度決定モジュール， ４３ 仮想空間構築モジュール， ４４ 表示制御モジュール， ７１ 台座， ７２，７３ 模型， １０１ 実物体
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、ユーザが、３次元仮想空間内の所定の情報を容易かつ直感的に操作することができるようにした情報処理装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、情報処理技術の発達が著しく、パーソナルコンピュータに代表される、一般ユーザが利用する汎用的な情報処理装置においても、コンピュータグラフィックス（以下、CGと称する）による３次元仮想空間の表現およびその利用が容易に実現可能となっている。
【０００３】
また、近年、情報通信技術の発達が著しく、インターネット等のネットワーク上のサーバを利用することで、複数のクライアント（例えば、上述した汎用的な情報処理装置）によるデータの共有や、複数のクライアントのそれぞれに対するデータの配信が容易に実現可能となっている。
【０００４】
さらに、最近では、これらの情報処理および通信技術の融合により、複数のクライアントのそれぞれが、サーバ上に構築された３次元仮想空間内のデータを共有して利用するといった技術（例えば、特許文献１参照）も普及し、この技術を利用した様々なサービスが行われるようになっている。
【０００５】
従来、このようなCGによって表現された３次元仮想空間の座標系は、その３次元仮想空間をサーバ等に実装した開発者によって設定されることが多い。従って、ユーザは、所定の入力装置を利用して、そのような３次元仮想空間内のオブジェクトを操作する場合、開発者によって予め設定された座標系に従って操作することになる。
【０００６】
【特許文献１】
特開２００２−２７９２８４
【０００７】
【非特許文献１】
「3ds max」商品説明、[online]、Discreet社ホームページ プロダクト、［2002年11月8日検索］、インターネット,<URL : http://www.discreet.jp/products/max5/index_max5.htm>
【０００８】
【発明が解決しようとする課題】
しかしながら、開発者によって予め設定された座標系により構築される３次元仮想空間と、ユーザが入力装置を操作する周辺の実空間との間には対応関係がほとんど存在しない。従って、ユーザは、非直感的なインタフェースで３次元仮想空間内のオブジェクトを操作することになり、ユーザにとって非常に困難な操作が必要になるという課題がある。
【０００９】
具体的には、例えば、３次元仮想空間内のオブジェクトを操作する入力装置として、パーソナルコンピュータに接続されたマウスが利用される場合、実空間内のマウス本体の移動距離と、画面内（３次元仮想空間内）のマウスポインタの移動距離が大きく異なることが多い。
【００１０】
従って、例えば、ユーザは、マウスポインタを画面（３次元仮想空間）の端から端まで移動させるのに、マウスを実空間内でどれだけ移動させる必要があるのかを直感的に理解することができず、その結果、実際にマウスを何度も移動させてその移動距離を覚えなければならない。
【００１１】
さらに、３次元仮想空間の視点の変化も考慮すると（通常、３次元仮想空間の視点は自由に変更できるので）、ユーザは、マウスをどのように動かしたらいいのかさえ直感的に理解することができず、その結果、マウスをあらゆる方向に何度も動かすといった、試行錯誤を重ねることが多々ある。
【００１２】
また、人間の目は、奥行き方向に対する認識が劣っていると言われている。従って、CRT（Cathode Ray Tube）ディスプレイ等の２次元表示装置に３次元仮想空間に対応する画像が表示されている場合、ユーザがその３次元仮想空間内の奥行き方向を直感的に認識することは、非常に困難であるという課題もある。換言すると、ユーザが奥行き方向を直感的に認識することができるように、３次元仮想空間に対応する画像を２次元表示装置に表示させることは、非常に困難であるという課題がある。
【００１３】
そこで、従来、例えば、３次元CGをモデリングするアプリケーションソフトウエア（例えば、非特許文献１参照）等においては、オブジェクトの表示方法として、オブジェクトの周囲の３次元空間を、前面、上面、および側面の３方向から表示する３面図法が採用されていることが多い。これにより、奥行き方向の表示が実現可能となっている。
【００１４】
しかしながら、３面図法では、１画面に少なくとも前面図、上面図、および側面図といった３つの表示が必要とされる（少なくとも画面が３分割される）。このような表示形態は、自然な表示形態であるとは言い難い。また、ユーザは、これら３つの表示を総合的に判断して奥行き方向に対する認識を行うことになるが、このような認識は、直感的な認識であるとは言い難い。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、ユーザが、３次元仮想空間内の所定の情報を容易かつ直感的に操作することができるようにするものである。
【００１６】
【課題を解決するための手段】
本発明の情報処理装置は、３次元仮想空間に対応する画像の表示を制御する情報処理装置であって、予め入力された第１の実物体の所定の情報に基づいて、第１の実物体を含む実空間における第１の座標系を設定するとともに、設定した第１の座標系に基づいて、実空間に対応する３次元仮想空間における第２の座標系を設定する設定手段と、設定手段により設定された第２の座標系を用いて３次元仮想空間を構築する構築手段と、構築手段により構築された３次元仮想空間に対応する画像の表示を制御する表示制御手段とを備えることを特徴とする。
【００１７】
第１の実物体は、少なくとも所定の１方向に対する断面の断面積が所定の面積以上を有する実物体であるようにすることができる。
【００１８】
第１の実物体は、１枚のシート状の実物体、または複数のシート状の実物体が束ねられたものであるようにすることができる。
【００１９】
３次元仮想空間における所定の仮想物体の位置および角度を指定する指定情報を入力する入力手段と、入力手段より入力された指定情報に基づいて、仮想物体の第２の座標系における位置および角度を決定する決定手段とをさらに設け、構築手段は、決定手段により決定された第２の座標系における位置および角度で配置された仮想物体を含む３次元仮想空間を構築するようにすることができる。
【００２０】
入力手段は、仮想物体に対応づけられた第２の実物体が実空間内に配置された場合、第２の実物体の実空間における位置および角度を第１の座標系とは異なる第３の座標系で測定し、その測定結果を指定情報として入力し、決定手段は、入力手段より入力された第２の実物体の位置および角度の座標系を第３の座標系から第２の座標系に変換し、第２の座標系に変換した第２の実物体の位置および角度を、仮想物体の第２の座標系における位置および角度として決定するようにすることができる。
【００２１】
入力手段は、第２の実物体として、入力手段自身のうちの少なくとも一部分を利用するようにすることができる。
【００２２】
入力手段は、第２の実物体として、仮想物体の所定の特徴が表現された実物体を利用するようにすることができる。
【００２３】
構築手段は、表示制御手段により表示が制御される画像に、第１の実物体に対応する仮想領域が少なくとも含まれるように３次元仮想空間を構築するようにすることができる。
【００２４】
本発明の情報処理方法は、３次元仮想空間に対応する画像の表示を制御する情報処理方法であって、予め入力された所定の実物体の所定の情報に基づいて、実物体を含む実空間における第１の座標系を設定するとともに、設定した第１の座標系に基づいて、実空間に対応する３次元仮想空間における第２の座標系を設定する設定ステップと、設定ステップの処理により設定された第２の座標系を用いて３次元仮想空間を構築する構築ステップと、構築ステップの処理により構築された３次元仮想空間に対応する画像の表示を制御する表示制御ステップとを含むことを特徴とする。
【００２５】
本発明のプログラムは、３次元仮想空間に対応する画像の表示を制御する処理を、コンピュータに実行させるプログラムであって、予め入力された所定の実物体の所定の情報に基づいて、実物体を含む実空間における第１の座標系を設定するとともに、設定した第１の座標系に基づいて、実空間に対応する３次元仮想空間における第２の座標系を設定する設定ステップと、設定ステップの処理により設定された第２の座標系を用いて３次元仮想空間を構築する構築ステップと、構築ステップの処理により構築された３次元仮想空間に対応する画像の表示を制御する表示制御ステップとを含むことを特徴とする。
【００２６】
本発明の情報処理装置および方法、並びにプログラムにおいては、予め入力された所定の実物体の所定の情報に基づいて、その実物体を含む実空間における第１の座標系が設定されるとともに、設定された第１の座標系に基づいて、実空間に対応する３次元仮想空間における第２の座標系が設定され、設定された第２の座標系が用いられて３次元仮想空間が構築され、構築された３次元仮想空間に対応する画像が表示される。
【００２７】
本発明の情報処理装置により表示が制御される画像の表示を行う表示装置は、情報処理装置に搭載されているものでもよいし、情報処理装置の外部の装置でもよい。同様に、本発明の情報処理装置に情報を入力する入力装置は、情報処理装置に搭載されているものでもよいし、情報処理装置の外部の装置でもよい。
【００２８】
【発明の実施の形態】
図１は、本実施の形態が適用される情報処理装置のハードウエアの構成例を表している。
【００２９】
図１に示されるように、情報処理装置１は、入力部１１、主制御部１２、および、表示部１３により構成される。情報処理装置１は、実物体１４とともに利用される。
【００３０】
本実施の形態においては、例えば、主制御部１２が、実物体１４の所定の情報（例えば、その形状、位置、および角度等）に基づいて３次元仮想空間を構築し、それに対応する画像を表示部１３に表示させる。さらに、ユーザが入力部１１を操作した場合、主制御部１２は、その操作に応じて３次元仮想空間内の所定の３次元仮想物体（以下、オブジェクトと称する）の位置や角度を変更し（３次元仮想空間を再構築し）、それに対応する画像を表示部１３に表示させる。ただし、情報処理装置１の用途は、本実施の形態の例に限定されず、単に、後述する３次元仮想空間の座標系の定義方法を利用する用途であればよい。
【００３１】
入力部１１は、基本機能として、３次元仮想空間内の所定のオブジェクトの位置および角度を指定する指定情報を主制御部１２に入力する第１の機能を有している。即ち、ユーザは、入力部１１の第１の機能を利用することで、３次元仮想空間内の所定のオブジェクトを自在に移動させることができる。
【００３２】
換言すると、入力部１１は、３次元仮想空間内の所定のオブジェクトの位置および角度を指定する指定情報を主制御部１２に入力させることが可能なものであれば、その形態は特に限定されない。例えば、入力部１１は、３次元位置角度センサにより構成することが可能である。具体的には、例えば、磁気方式、光学方式、超音波方式、または機械方式といった様々な方式の３次元位置角度センサが、入力部１１として利用可能である。勿論、入力部１１は、３次元位置角度センサに限定されず、その他の入力装置、例えば、キーボードやマウスに代表される、オンオフ入力装置若しくは２次元位置入力装置により構成してもよい。
【００３３】
ところで、本実施の形態においては、後述するように、情報処理装置１が利用する座標系として、実空間の３次元座標系（例えば、後述する図６に示される実空間３１の座標系（rx,ry,rz））と３次元仮想空間を定義する座標系（例えば、後述する図７に示される３次元仮想空間３２の座標系（vx,vy,vz））といった、少なくとも２種類の独立した座標系が存在する。これら２種類の座標系の対応関係は、実物体１４の所定の情報（例えば、形状、位置、および角度等）に基づいて定義される。
【００３４】
そのため、これら２種類の座標系の定義が行われる前に、この実物体１４の情報が主制御部１２に予め入力されている必要がある。そこで、入力部１１は、上述した第１の機能に加えて、所定のデータを主制御部１２に入力する第２の機能をさらに有し、ユーザは、入力部１１の第２の機能を利用して、実物体１４の情報を主制御部１２に入力する。
【００３５】
この場合、入力部１１のうちの第１の機能を有する入力装置自身が第２の機能をさらに有してもよいし（入力部１１が１つの入力装置で構成されてもよいし）、第１の機能を有する入力装置とは異なる、第２の機能を有する別の入力装置が入力部１１に新たに設けられてもよい。具体的には、例えば、別の入力装置としてカメラ等の撮像装置が利用可能である。即ち、カメラが実物体１４を撮影し、主制御部１２が、撮影された実物体１４の画像データに対して所定の画像処理を施すことで、実物体１４の情報の取得が可能になる。このように、入力部１１は、１つの入力装置で構成する必要はなく、上述した機能を実現可能なものであれば、その構成や個数は特に限定されない。
【００３６】
なお、実物体１４の形状等が予め規定されている場合には、実物体１４の情報としてその規定された値を、ユーザの使用前（例えば、情報処理装置１の出荷前）に、情報処理装置１に予め入力しておくことができる。この場合、入力部１１は、実物体１４の情報を入力する第２の機能を有する必要がない。さらに、情報処理装置１が座標系定義のみを目的として利用される場合、第１の機能も必要なくなるので、情報処理装置１の構成として入力部１１自身が必須なものでなくなる。
【００３７】
また、第２の機能により入力されるデータは、上述した実物体１４の情報に限定されない。例えば、後述するように、本実施の形態においては、表示部１３には、所定の視点から３次元仮想空間を見た場合の風景に対応する画像が表示される。従って、その視点を指定する情報が第２の機能により主制御部１２に入力されてもよい。
【００３８】
主制御部１２は、例えば、パーソナルコンピュータの本体部分（キーボート等の入力装置と、ディスプレイ等の出力装置を除いた部分）により構成される。主制御部１２は、後述する各座標系への変換処理や３次元仮想空間の構築処理を行い、構築した３次元仮想空間に対応する画像信号を生成し、表示部１３に出力する。
【００３９】
主制御部１２において、CPU（Central Processing Unit）２１は、ROM（Read Only Memory）２２に記録されているプログラム、または記憶部２６からRAM（Random Access Memory）２３にロードしたプログラムに従って各種の処理を実行する。RAM２３にはまた、CPU２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００４０】
CPU２１、ROM２２、およびRAM２３は、バス２４を介して相互に接続されている。このバス２４にはまた、入出力インタフェース２５も接続されている。
【００４１】
入出力インタフェース２５には、上述した入力部１１、および後述する表示部１３が接続されている。
【００４２】
入出力インタフェース２５にはまた、ハードディスクなどより構成される記憶部２６、および、インターネットを含むネットワークを介する他の情報処理装置（図示せず）との通信処理を実行する通信部２７が接続されている。
【００４３】
入出力インタフェース２５にはさらに、必要に応じてドライブ２８が接続される。ドライブ２８には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体２９が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２６にインストールされる。
【００４４】
表示部１３は、例えば、CRT（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、またはプロジェクタ等により構成される。表示部１３は、主制御部１２からの出力に応じて、３次元仮想空間に対応する画像を表示する。
【００４５】
実物体１４は、主制御部１２により構築される３次元仮想空間の座標系を示す指標となる。実物体１４は、実空間内に実際に存在する物体であって、上方から見下ろした場合に面積がある（水平断面積が所定の面積以上を有する）物体であれば、その形態（例えば、材質や形状）は特に限定されない。具体的には、例えば、実物体１４として、シート、本、またはジオラマ模型等が利用可能である。
【００４６】
なお、上述したように、実物体１４の所定の情報に基づいて、各種座標系が設定される。従って、実物体１４の情報の入力後は、実物体１４は、その情報の入力時に設定された位置および角度で配置される必要がある。
【００４７】
図２は、情報処理装置１の外観構成の１例を表している。
【００４８】
図２の例では、実物体１４は、シート状の物体とされている。主制御部１２は、デスクトップ型のパーソナルコンピュータの本体部分とされている。主制御部１２は、予め入力されている実物体１４の情報に基づいて３次元仮想空間３２を構築する。表示部１３は、CRTディスプレイとされている。表示部１３は、主制御部１２により構築された３次元仮想空間３２に対応する画像を表示する。入力部１１のうちの上述した第１の機能を有する部分は、３次元位置角度センサ１１−１とされている。３次元位置角度センサ１１−１は、実空間３１における測定対象物体（図２の例では、３次元位置角度センサ１１−１自身）の位置および角度を測定し、その測定結果を主制御部１２に供給する。
【００４９】
表示部１３に表示される３次元仮想空間（画像）３２には、オブジェクト（画像）３３が含まれており、このオブジェクト３３は、３次元位置角度センサ１１−１と予め対応付けられている。また、上述したように、３次元仮想空間３２の座標系は、実物体１４の情報に基づいて定義されるため、実物体１４は、３次元仮想空間３２の座標系の指標として機能する。
【００５０】
従って、ユーザが、実物体１４を指標として３次元位置角度センサ１１−１を実空間３１内の所望の位置および角度に配置すると、３次元位置角度センサ１１−１の測定結果（３次元位置角度センサ１１−１自身の実空間における位置および角度）が、３次元仮想空間３２内のオブジェクト３３の位置および角度を指定する指定情報として主制御部１２に入力される。その結果、オブジェクト３３が、３次元仮想空間３２内の指定された位置および角度（３次元位置角度センサ１１−１の位置および角度に対応する位置および角度）で配置される。即ち、ユーザの所望の位置および角度で配置されたオブジェクト３３を含む３次元仮想空間３２に対応する画像が、表示部１３に表示される。
【００５１】
図３は、情報処理装置１の主制御部１２（図２）が有している機能のうちの、３次元仮想空間の座標系を定義し、定義した座標系により３次元仮想空間を構築し、それに対応する画像（オブジェクトを含む画像）の表示を制御する処理（以下、そのような処理を、３次元表示制御処理と称する）を行う機能を実現するソフトウエアプログラムの構成例を表している。
【００５２】
即ち、図３の例のソフトウエアプログラムは、座標系設定モジュール４１、オブジェクト位置角度決定モジュール４２、仮想空間構築モジュール４３、および表示制御モジュール４４といった複数のモジュールにより構成される。これらの各モジュールのそれぞれは、１つの独立したアルゴリズムを持ち、かつ、そのアルゴリズムに従って固有の動作を実行する。各モジュールのそれぞれは、CPU２１（図１）により適宜読み出され、実行される。
【００５３】
座標系設定モジュール４１は、予め入力された実物体１４の所定の情報（例えば、その形状、位置、および角度等）に基づいて、実物体１４を含む実空間３１における第１の座標系（例えば、後述する図６の実空間３１の座標系（rx,ry,rz））を設定する。さらに、座標系設定モジュール４１は、設定した第１の座標系に基づいて、実空間３１に対応する３次元仮想空間３２における第２の座標系（例えば、後述する図７の３次元仮想空間３２の座標系（vx,vy,vz））を設定する。また、座標系設定モジュール４１は、設定したこれらの座標系の対応関係（座標系変換関数）も演算する。
【００５４】
オブジェクト位置角度決定モジュール４２は、上述した入力部１１の第１の機能が利用されて入力された情報（以下、第１の機能が利用されて入力された情報を、第２の機能のそれと区別するため、位置角度情報と称する。図３の例では、位置角度情報は、３次元位置角度センサ１１−１の測定結果である）に基づいて、座標系設定モジュール４１により設定された第２の座標系におけるオブジェクト３３の位置および角度を決定する。
【００５５】
仮想空間構築モジュール４３は、所定の視点（図３の例では、入力部１１からの情報に指定されている視点）から、座標系設定モジュール４１により設定された第２の座標系により定義される３次元仮想空間３２を見た場合の風景に対応する画像データを生成し、表示制御モジュール４４に供給する。なお、以下、このような３次元仮想空間３２の画像データを生成することを、３次元仮想空間３２を構築すると称する。
【００５６】
さらに、仮想空間構築モジュール４３は、オブジェクト位置角度決定モジュール４２により第２の座標系におけるオブジェクト３３の位置および角度が決定された場合、決定された位置および角度でオブジェクト３３が配置された３次元仮想空間３２を構築し、表示制御モジュール４４に供給する。
【００５７】
表示制御モジュール４４は、仮想空間構築モジュール４３により構築された３次元仮想空間３２に対応する画像を、表示部１３に表示させるように制御する。換言すると、表示制御モジュール４４は、仮想空間構築モジュール４３より供給された画像データを、表示部１３のフォーマットの画像信号に変換して、表示部１３に供給する。表示部１３は、供給された画像信号に対応する画像（３次元仮想空間３２に対応する画像）を表示する。
【００５８】
次に、図４と図５のフローチャートを参照して、情報処理装置１の主制御部１２（図３）の３次元表示制御処理例について説明する。
【００５９】
なお、この例においては、例えば、情報処理装置１は、上述した図２の構成とされている。即ち、入力部１１の第１の機能を有する部分は、所定の方式の３次元位置角度センサ１１−１で構成されている。また、この例においては、例えば、３次元位置角度センサ１１−１は、自分自身の位置および角度（位置角度情報）を、図６に示されるような３次元位置角度センサ１１−１独自の座標系（sx,sy,sz）（以下、センサ座標系（sx,sy,sz）と称する）で主制御部１２に入力する。
【００６０】
そこで、はじめに図４のステップＳ１において、座標系設定モジュール４１は、３次元位置角度センサ１１−１のセンサ情報に基づいて、図６のセンサ座標系(sx,sy,sz)を設定する。即ち、初期設定として、これから利用される３次元位置角度センサ１１−１独自のセンサ座標系(sx,sy,sz)が登録される。
【００６１】
次に、ステップＳ２において、座標系設定モジュール４１は、実物体１４の情報（形状、位置、および角度等）に基づいて、実空間３１における第１の座標系（rx,ry,rz）（以下、このような座標系を、センサ座標系と区別するため、実物体座標系（rx,ry,rz）と称する）を設定する。
【００６２】
この例においては、例えば、実物体１４の形状、位置、および角度は予め規定されており、その規定された情報が主制御部１２に予め入力されているとする（例えば、図１の記憶部２６等に予め記憶されているとする）。
【００６３】
ただし、上述したように、実物体１４の情報は、特に限定されず、例えば、ステップＳ２の処理の時点で、ユーザが、入力部１１（３次元位置角度センサ１１−１とは異なるキーボード等の入力装置）を操作して入力した情報そのものが、実物体１４の情報として使用されてもよい。或いは、例えば、３次元位置角度センサ１１−１とは異なるカメラ等の入力部１１より入力され、所定の認識手法によって実物体１４を認識した情報が、実物体１４の情報として使用されてもよい。
【００６４】
また、この例においては、例えば、図６に示される実物体座標系(rx,ry,rz)が定義（設定）されるとする。即ち、図６の実物体座標系（rx,ry,rz）では、実物体１４のシート表面が、X-Y平面とされ、実物体１４のシート表面の法線方向が、Z軸と定義されている。また、原点（図６中の０点）は、図６中、実物体１４のシート表面の左手前の端点とされている。勿論、原点、X-Y平面の方向、およびz軸の方向のそれぞれは、実物体１４が有する情報のうちの所定の１以上の情報を指標とする限り、図６の例に限定されず、また、その座標系の定義方法も、上述した例に限定されない。
【００６５】
例えば、実物体１４が、四角いシート状の物体である場合、その隅を原点とし、各辺を各座標軸とすることが可能である。また、例えば、実物体１４が、任意の形状である場合、実物体１４に書かれている線や色の差異による境界線などを指標とすることも可能である。
【００６６】
このことは、後述する座標系の定義の他の説明においても同様である。
【００６７】
図４に戻り、ステップＳ３において、座標系設定モジュール４１は、実物体１４を利用して設定した実物体座標系(rx,ry,rz）に基づいて、３次元仮想空間３２における第２の座標系(vx,vy,vz）（以下、仮想空間座標系(vx,vy,vz）と称する）を設定する。
【００６８】
この例においては、例えば、図７に示される仮想空間座標系(vx,vy,vz)が設定されるとする。即ち、図７の仮想空間座標系（vx,vy,vz）では、図６の実物体１４（シート状の実物体１４が存在する領域）に対応する仮想領域３４が設定され、その仮想領域３４の上面（実物体１４の表面に対応する面）が、X-Y平面とされ、その上面の法線方向が、Z軸と定義されている。また、原点（図７中の０点）は、図７中、仮想領域３４の上面の左手前の端点とされている。勿論、原点、X-Y平面の方向、およびz軸の方向のそれぞれは、図７の例に限定されず、また、その座標系の定義方法も上述した例に限定されない。
【００６９】
ただし、上述したように、ユーザは、実物体１４を指標として３次元位置角度センサ１１−１（図６）を操作することで、３次元仮想空間３２内のオブジェクト３３を移動させる。この場合、表示部１３にも実物体１４に対応するものが表示されると、ユーザはより直感的かつ容易に操作を行うことが可能になる。このため、実物体１４に対応するものとして仮想領域３４が表示部１３に表示されるように、仮想空間座標系(vx,vy,vz)が設定されるとよい。勿論、仮想領域３４は、後述する図８に示される部屋の床の様な明示的なもの（ユーザの目に映るもの）として表示されてもよいし、単なる透明な領域（ユーザの目には映らないもの）として表示されてもよい。
【００７０】
図４に戻り、ステップＳ４において、座標系設定モジュール４１は、ステップＳ１乃至Ｓ３の処理で設定したセンサ座標系(sx,sy,sz）、実物体座標系(rx,ry,rz)、および仮想空間座標系(vx,vy,vz)それぞれの座標系変換関数を演算する。この座標系変換関数によって、それぞれの座標系の対応関係が数式で記述されることになる。
【００７１】
具体的には、例えば、この例においては、次の式（１）と式（２）に示されるような座標系変換関数が演算される。
【００７２】
【数１】
式（１）は、センサ座標系(sx,sy,sz）から実物体座標系(rx,ry,rz)に変換する関数を表している。式（１）において、m11乃至m44は、センサ座標系(sx,sy,sz）から実物体座標系(rx,ry,rz)に変換する変換行列の各成分を表している。
【００７４】
式（２）は、実物体座標系(rx,ry,rz)から仮想空間座標系(vx,vy,vz)に変換する関数を表している。式（２）において、n11乃至n44は、実物体座標系(rx,ry,rz)から仮想空間座標系(vx,vy,vz)に変換する変換行列の各成分を表している。
【００７５】
即ち、この例においては、例えば、座標系設定モジュール４１は、最小二乗法等を利用して、m11乃至m44、およびn11乃至n44のそれぞれの値を演算することで、センサ座標系(sx,sy,sz）、実物体座標系(rx,ry,rz)、および仮想空間座標系(vx,vy,vz)それぞれの座標系変換関数を演算する。
【００７６】
なお、ステップＳ４の処理で演算される座標系変換関数や、その演算方法は、上述した例に限定されず、その他、例えば、人間の脳の機能を模擬したニューラルネットワークなどの非線形変換により、座標系変換関数が演算されてもよい。
【００７７】
このように、座標系設定モジュール４１は、ステップＳ１乃至Ｓ４の処理を実行することで、実物体１４を用いて仮想空間座標系(vx,vy,vz)の定義を行うことができる。
【００７８】
次に、座標系設定モジュール４１により仮想空間座標系(vx,vy,vz)の定義が行われると、ステップＳ５において、仮想空間構築モジュール４３は、視点を設定する。なお、視点の設定方法は、特に限定されず、例えば、予め登録された視点が設定されてもよい。ただし、この例においては、例えば、入力部１１の第２の機能により入力された情報（上述した視点を設定する情報）に指定されている視点が設定されるとする。
【００７９】
ステップＳ６において、仮想空間構築モジュール４３は、設定された仮想空間座標系(vx,vy,vz)と視点を利用して、図７に示されるような３次元仮想空間３２を構築する。
【００８０】
そして、ステップＳ７において、表示制御モジュール４４は、ステップＳ６の処理で仮想空間構築モジュール４３により構築された３次元仮想空間３２の画像を、初期画像として表示部１３に表示させる。
【００８１】
例えば、いま、初期画像として、図８に示される画像が表示部１３に表示されたとする。即ち、図８は、実物体１４（この例の実物体１４は、シート状の物体であるので、以下、この例の実物体１４を、シート１４−１と称する）によって定義された仮想空間座標系(vx,vy,vz)に対応して３次元仮想空間３２が構築され、それに対応する画像が、初期画像として表示部１３に表示されている状態を表している。
【００８２】
３次元仮想空間３２は、シート１４−１に対応する仮想領域３４を床面とする部屋として表現されている。なお、３次元仮想空間３２内の壁や床は、領域を示すためだけに存在するものであり、存在しなくても構わない。
【００８３】
ただし、床は、シート１４−１に対応する仮想領域３４を明示的に示すことができるので存在する方が好適である。即ち、後述する図９や図１０に示されるように、シート１４−１に対応する床面（仮想領域）３４が表示されていれば、ユーザは、シート１４−１を指標とし、シート１４−１と床面３４を対比させることで、仮想空間座標系(vx,vy,vz)におけるオブジェクト３３の位置および角度と、実物体座標系(rx,ry,rz)における３次元位置角度センサ１１−１の位置および角度の対応を容易かつ直感的に認識することが可能になる。
【００８４】
従って、ユーザは、オブジェクト３３を３次元仮想空間３２内の所望の位置および角度で配置させる場合、その位置および角度を、床面３４に対する相対的な位置および角度として把握し、３次元位置角度センサ１１−１を、把握した位置および角度に対応する、シート１４−１に対する相対的な位置および角度で単に配置させればよい。その結果、後述するように、オブジェクト３３は、３次元位置角度センサ１１−１のシート１４−１に対する相対的な位置および角度に対応する、床面３４に対する相対的な位置および角度で３次元仮想空間３２内に配置される。
【００８５】
さらに、図８の例では、シート１４−１には、椅子の絵５１、および机の絵５２が描画されている。そして、実物体座標系(rx,ry,rz)における椅子の絵５１の位置に対応する仮想空間座標系(vx,vy,vz)の位置（３次元仮想空間３２内の対応する位置）には、椅子の３次元モデル６１が配置されている。同様に、実物体座標系(rx,ry,rz)における机の絵５２の位置に対応する仮想空間座標系(vx,vy,vz)の位置（３次元仮想空間３２内の対応する位置）には、机の３次元モデル６２が配置されている。
【００８６】
なお、図８の例では、椅子の絵５１と机の絵５２のそれぞれとの対応をユーザに容易かつ直感的に認識させることを目的として、椅子の絵５１と机の絵５２のそれぞれと同一の形状を有する椅子の３次元モデル６１、および机の３次元モデル６２が利用されている。従って、この目的が不要な場合、椅子の３次元モデル６１、および机の３次元モデル６２のそれぞれが配置されている位置（仮想空間座標系(vx,vy,vz)の位置）と同一の位置に、所定の３次元モデルが単に配置されればよい。即ち、３次元モデルの形状は、図８の例に限定されず、任意の形状でよい。
【００８７】
また、椅子の３次元モデル６１、および机の３次元モデル６２のそれぞれは、主制御部１２に予め入力されている必要があるが、その入力方法および入力装置は任意の方法および装置でよい。
【００８８】
このようにして、表示部１３に初期画像が表示された状態（いまの場合、図８に示される状態）で、３次元位置角度センサ１１−１（図２）が実空間３１内を移動すると、上述したように、オブジェクト３３（図２）も、３次元位置角度センサ１１−１の動きに追随して３次元仮想空間３２内を移動する。このような３次元位置角度センサ１１−１の移動（ユーザ操作）に対応してオブジェクト３３を移動させる処理が、図５のステップＳ８乃至Ｓ１３の処理で実行される。
【００８９】
即ち、例えば、いま、図８に示される状態で、ユーザが、３次元位置角度センサ１１−１をシート１４−１の机の絵５２の上に置いたとする（３次元位置角度センサ１１−１の状態を、図８に示される状態から、後述する図９に示される状態に変化させたとする）。
【００９０】
この場合、図５のステップＳ８において、オブジェクト位置角度決定モジュール４２が、３次元位置角度センサ１１−１からの位置角度情報（いまの場合、センサ座標系(sx,sy,sz）における３次元位置角度センサ１１−１自身の位置および角度)を入力する。
【００９１】
ステップＳ９において、オブジェクト位置角度決定モジュール４２は、入力された位置角度情報の座標系を、センサ座標系(sx,sy,sz）から実物体座標系(rx,ry,rz)に変換する。いまの場合、上述した式（１）が利用されて、位置角度情報の座標系が、センサ座標系(sx,sy,sz）から実物体座標系(rx,ry,rz)に変換される。
【００９２】
さらに、ステップＳ１０において、オブジェクト位置角度決定モジュール４２は、位置角度情報の座標系を、実物体座標系(rx,ry,rz)から仮想空間座標系(vx,vy,vz)に変換する。いまの場合、上述した式（２）が利用されて、位置角度情報の座標系が、実物体座標系(rx,ry,rz)から仮想空間座標系(vx,vy,vz)に変換される。
【００９３】
なお、ステップＳ９とＳ１０の処理は、図５の例では、分割された処理とされているが、同時に実行されてもよい。この場合、ステップＳ４（図４）の処理では、上述した式（１）と式（２）のそれぞれで表される２つの座標系変換関数が演算されるのではなく、式（１）と式（２）を合成した次の式（３）で表される座標系変換関数が演算される。
【００９４】
【数２】
式（３）は、センサ座標系(sx,sy,sz）から仮想空間座標系(vx,vy,vz)に直接変換する関数を表している。式（３）において、m11乃至m44は、式（１）におけるセンサ座標系(sx,sy,sz）から実物体座標系(rx,ry,rz)に変換する変換行列と同様の行列の各成分を表している。また、n11乃至n44は、式（２）における実物体座標系(rx,ry,rz)から仮想空間座標系(vx,vy,vz)に変換する変換行列と同様の行列の各成分を表している。
【００９６】
そして、オブジェクト位置角度決定モジュール４２は、ステップＳ９とＳ１０に相当する処理として、上述した式（３）を利用して、入力された位置角度情報の座標系を、センサ座標系(sx,sy,sz）から仮想空間座標系(vx,vy,vz)に直接（一括して）変換する。
【００９７】
次に、ステップＳ１１において、オブジェクト位置角度決定モジュール４２は、仮想空間座標系(vx,vy,vz)に座標変換された位置角度情報に基づいて、オブジェクト３３の位置および角度を決定する。この例においては、例えば、３次元位置角度センサ１１−１とオブジェクト３３が対応付けられていることを考慮して、仮想空間座標系(vx,vy,vz)に座標変換された位置角度情報がそのまま、オブジェクト３３の仮想空間座標系(vx,vy,vz)における位置および角度として決定される。
【００９８】
そして、ステップＳ１２において、仮想空間構築モジュール４３が、オブジェクト位置角度決定モジュール４２により決定された位置および角度（仮想空間座標系(vx,vy,vz)における位置および角度）で配置されたオブジェクト３３を含む３次元仮想空間３２を再構築する。
【００９９】
ステップＳ１３において、表示制御モジュール４４は、ステップＳ１２の処理で仮想空間構築モジュール４３により再構築された３次元仮想空間３２の画像を表示部１３に表示させる。
【０１００】
いまの場合、上述したように、３次元位置角度センサ１１−１は、図９に示されるように、シート１４−１に描画された机の絵５２の上に置かれている。即ち、３次元位置角度センサ１１−１は、実物体座標系（rx,ry,rz）におけるX-Y平面に接するように配置されている。従って、図示はしないが、３次元仮想空間３２内のオブジェクト３３が、床面（仮想領域）３４に接し、机の３次元モデル６２と重なるように表示されることになる。例えば、ユーザが、単に、椅子の３次元モデル６１と机の３次元モデル６２のうちの机の３次元モデル６２を選択することを目的として、３次元位置角度センサ１１−１を、シート１４−１上に描画された机の絵５２の上に置いた場合、この表示方法で構わない。
【０１０１】
しかしながら、例えば、ユーザが、オブジェクト３３を机の３次元モデル６２の上に配置させる（そのような画像を表示させる）ことを目的として、３次元位置角度センサ１１−１を、シート１４−１上に描画された机の絵５２の上に置いた場合、この表示方法では、ユーザの目的を達成することができない。
【０１０２】
そこで、このような場合、例えば、仮想空間構築モジュール４３が、３次元モデルの交差判定を行った後、３次元仮想空間３２を構築するとよい。このようにして構築された３次元仮想空間３２は、例えば、図９に示されるような画像として表示部１３に表示される。即ち、３次元仮想空間３２内のオブジェクト３３は、机の３次元モデル６２と重ならずに、机の３次元モデル６２の上に配置される（ように表示部１３に表示される）。
【０１０３】
図５に戻り、ステップＳ１４において、表示制御モジュール４４は、処理の終了条件が満たされたか否かを判定する。
【０１０４】
ステップＳ１４における処理の終了条件は、特に限定されず、様々な条件が使用可能である。具体的には、例えば、ユーザからの終了コマンドが入力された場合、若しくは記憶部２６（図１）の残量が不足する場合等によるソフトウエアまたはハードウエア上の制約条件が使用可能である。
【０１０５】
ステップＳ１４において、処理の終了条件が満たされたと判定された場合、その処理は終了される。
【０１０６】
これに対して、ステップＳ１４において、処理の終了条件がまだ満たされていないと判定された場合、処理はステップＳ８に戻され、それ以降の処理が繰り返される。
【０１０７】
即ち、例えば、いま、図１０に示されるように、ユーザが、３次元位置角度センサ１１−１を、シート１４−１の机の絵５２の上から椅子の絵５１の上に移動させたとする。換言すると、３次元位置角度センサ１１−１の状態が、図９に示される状態から図１０に示される状態に変化したとする。
【０１０８】
この場合、ステップＳ１４において、処理の終了が指示されていないと判定され、上述したステップＳ８乃至Ｓ１３の処理が再度繰り返される。
【０１０９】
即ち、オブジェクト位置角度決定モジュール４２が、新たに取得した３次元位置角度センサ１１−１の位置角度情報の座標系を仮想空間座標系(vx,vy,vz)に変換し、それを、オブジェクト３３の新たな位置および角度として決定する。次に、仮想空間構築モジュール４３が、新たに決定された位置および角度で配置されたオブジェクト３３を含む３次元仮想空間３２を再構築する。そして、表示制御モジュール４４が、再構築された３次元仮想空間３２の画像を、表示部１３に表示させる。
【０１１０】
いまの場合、表示部１３には、図１０に示されるような画像、即ち、オブジェクト３３が、机の３次元モデル６２の上から椅子の３次元モデル６１の上に移動された３次元仮想空間３２に対応する画像が表示されることになる。
【０１１１】
なお、図１０の例では、図９の例と対応させて、上述した交差判定が行われたとして、オブジェクト３３が椅子の３次元モデル６１の上に配置されているが、上述したように、交差判定の実行は必須ではない。ただし、交差判定が行われない場合、図示はしないが、オブジェクト３３が、床面（仮想領域）３４の上に配置され、椅子の３次元モデル６１と重ねられて表示されることになる。
【０１１２】
このように、ステップＳ８乃至Ｓ１３の処理が繰り返されることで、３次元仮想空間３２内のオブジェクト３３は、ユーザによる３次元位置角度センサ１１−１の操作とほぼ同時に、３次元位置角度センサ１１−１の移動パスと同じ移動パスを経て、机の３次元モデル６２の位置から椅子の３次元モデル６１の位置まで移動する。
【０１１３】
以上、本発明の実施の形態として、図２の構成の情報処理装置１について説明したが、本発明の実施の形態は、図２の例に限定されず、様々な形態を取ることが可能である。
【０１１４】
例えば、仮想空間座標系（vx,vy,vz）の指標となる実物体１４は、上述したように、少なくとも所定の１方向に対する断面の断面積が所定の面積以上を有するものであれば、特に限定されず、上述したシート１４−１の他、様々な実施の形態を取ることが可能である。
【０１１５】
具体的には、例えば、実物体１４として、図１１に示されるように、紙（シート状の物体）が束ねられた本１４−２の利用も可能である。この場合、例えば、情報処理装置１の主制御部１２（図１）は、本１４−２の頁の表面（印刷面）をX-Y座標平面とし、その表面の法線方向をZ軸とすることで、実空間３１の実物体座標系(rx,ry,rz)を定義する。そして、主制御部１２は、定義した実物体座標系(rx,ry,rz)を指標として、３次元仮想空間３２の仮想空間座標系(vx,vy,vz)を定義する。勿論、上述したように、座標系の定義方法は、この方法に限定されず、様々な方法が使用可能である。
【０１１６】
これにより、例えば、図１１に示されるように、表示部１３には、本１４−２の所定の頁の表面（X-Y平面）に対応する仮想領域３４が床面とされる３次元仮想空間３２が表示される。そして、例えば、３次元位置角度センサ１１−１が机の絵５２の上に配置されると、それに対応して、オブジェクト３３も、３次元仮想空間３２内の机の３次元モデル６２の上に配置される（ように表示部１３に表示される）。ただし、いまの場合、上述した交差判定が行われたとする。
【０１１７】
このように、実物体１４が、図８乃至図１０に示されるような、１枚のシート１４−１である場合、単に１シーンの３次元仮想空間３２のみが定義される。これに対して、実物体１４として、図１１に示されるような、複数のシート（紙）が束ねられた本１４−２が利用されると、本１４−２の頁の切り替えによる複数のシーン（各頁のそれぞれに対応するシーン）のそれぞれの３次元仮想空間の定義が可能になる。
【０１１８】
また、例えば、実物体１４として、図１２に示されるように、台座７１と、その上に配設された模型７２および模型７３から構成される実物体１４−３の利用も可能である。なお、台座７１の材質は、上述したシート１４−１（図８乃至図１０）や本１４−２（図１１）のような紙である必要はなく、面積を持っているものであれば任意の材質でよい。
【０１１９】
この場合、図１２に示されるように、表示部１３には、台座７１に対応する仮想領域３４が地面とされる３次元仮想空間３２が表示される。
【０１２０】
なお、図１２の実物体１４−３のように、座標系の定義に利用されるもの（図１２の例では、台座７１）以外の実物体（図１２の例では、模型７２と模型７３）が含まれる場合、３次元仮想空間３２内にも、それらと同じ形状を持つ３次元モデル（図１２の例では、家の模型７２に対応する家の３次元モデル８１、および、林（複数の木）の模型７３に対応する林の３次元モデル８２）が存在する方が好適である。なぜならば、実空間３１と３次元仮想空間３２が対応する空間であることを強くユーザに印象付けることができ、上述した他の例と同様、３次元仮想空間３２での操作をユーザが行う場合、模型７２や模型７３を指標として、より簡単かつ直感的に操作を行うことが可能になるからである。
【０１２１】
また、例えば、実物体１４として、図１３に示されるように、任意の模型１４−４自身の利用も可能である。即ち、実空間３１における実物体座標系(rx,ry,rz)の定義方法は、上述したように、任意の方法が可能であるので、情報処理装置１の主制御部１２（図１）は、模型１４−４のような任意の形状のものを指標として実物体座標系(rx,ry,rz)を定義しても構わない。例えば、図１３の例では、模型１４−４を床面に射影させ、その射影面をX-Y平面とすることで、上述した他の例と同様に、実空間３１の実物体座標系(rx,ry,rz)の定義が可能になる。勿論、上述したように、XYZ各座標軸の設定方法はこの方法に限定されるものではない。
【０１２２】
この場合、図１３に示されるように、表示部１３には、その下部（図中下部）に、実空間３１の定義されたX-Y平面（模型１４−４の射影面）に対応する仮想領域３４が配置される３次元仮想空間３２（それに対応する画像）が表示される。
【０１２３】
ただし、図１３の例の場合、仮想領域３４を表すものとして、上述した他の例における床面や地面のような明示的なものが存在しない。このような場合、例えば、図１３に示されるように、３次元仮想空間３２内に、模型１４−４（指標となる実物体１４−４）と同じ形状を持つ３次元モデル９１を配置させればよい。これにより、図１２と同様に、実空間３１と３次元仮想空間３２が対応する空間であることを強くユーザに印象付けることができ、上述した他の例と同様、３次元仮想空間３２での操作をユーザが行う場合、模型１４−４を指標として、より簡単かつ直感的に操作を行うことが可能になる。
【０１２４】
さらに、実物体１４のみならず、第１の機能を有する入力部１１も、上述したように、様々な実施の形態を取ることが可能である。
【０１２５】
例えば、図２の例では、３次元位置角度センサ１１−１が出力する位置角度情報の座標系（センサ座標系（sx,sy,sz））と、実物体１４に基づいて定義される実空間３１の座標系（実物体座標系(rx,ry,rz)）は異なっているため、情報処理装置１は、上述した図４のステップＳ１、ステップＳ４、および図５のＳ９の処理のような、センサ座標系(sx,sy,sz)から実物体座標系(rx,ry,rz)への変換に伴う処理を実行する。
【０１２６】
これにより、上述したように、独自のセンサ座標系(sx,sy,sz)を有する３次元位置角度センサ１１−１を操作する場合であっても、ユーザは、センサ座標系(sx,sy,sz)を意識することなく、実物体１４を指標として（実物体座標系(rx,ry,rz)を利用して）操作することが可能になる。
【０１２７】
一方、第１の機能を有する入力部１１として、それが出力する位置角度情報の座標系（センサ座標系（sx,sy,sz））が、実空間３１の座標系（実物体座標系(rx,ry,rz)）と同一の座標系となるような入力装置を利用した場合には、センサ座標系(sx,sy,sz)から実物体座標系(rx,ry,rz)への変換に伴う処理を省略することができる。
【０１２８】
或いは、図１４に示されるように、オブジェクト３３に対応付けられた実物体として、３次元位置角度センサとは独立した任意の実物体１０１を利用して、カメラ１１−２等により実物体１０１の実空間３１における位置および角度を入力してもよい。即ち、図１４の例では、カメラ１１−２が、第１の機能を有する入力部１１とされており、主制御部１２が、カメラ１１−２により撮影された実物体１０１の画像に対して所定の画像処理を施すことで、実物体１０１の実空間３１における位置および角度を測定する。
【０１２９】
なお、実物体１０１として、任意の実物体の利用が可能であるが、実物体１０１がオブジェクト３３と対応付けられていることを考慮すると、ユーザがそれを見てオブジェクト３３を直感的に連想できる実物体が好適である。即ち、実物体１０１として、オブジェクト３３の所定の特徴が表現された実物体が利用されるとよい。具体的には、例えば、図１４の例では、オブジェクト３３の形状と同一の形状を有する実物体１０１が用いられている。勿論、オブジェクト３３の特徴は、その形状以外にも、色や、３次元仮想空間３２における相対的な大きさといった様々な特徴を有しており、実物体１０１として、これら様々な特徴のうちのいずれの特徴が表現されたものであっても利用可能である。
【０１３０】
換言すると、実物体１０１は、単体では情報処理装置１に対して特定の機能を有していないが、オブジェクト３３の所定の特徴を表現していることを考慮すると、ユーザに対してオブジェクト３３を直感的に連想させる機能を有しているとも言える。また、ユーザが実物体１０１の実空間３１における位置や角度を変えることで、オブジェクト３３の３次元仮想空間３２における位置や角度も変更されるので、カメラ１１−２を補助的な入力装置とみなし、実物体１０１を実質上の入力装置（上述した３次元位置角度センサ１１−１の代わりとなる装置）とみなすことも可能である。即ち、入力部１１のうちの第１の機能を有する部分は、カメラ１１−２のみではなく、実物体１０１とカメラ１１−２をあわせた入力装置であるとも言える。
【０１３１】
以上、説明したように、本実施の形態の情報処理装置は、所定の実物体を指標として実空間における第１の座標系（例えば、実物体座標系(rx,ry,rz)）を定義し、それに基づいて、３次元仮想空間における第２の座標系（例えば、仮想空間座標系(vx,vy,vz)）を定義する。従って、例えば、ユーザが３次元仮想空間内のオブジェクトを操作する場合、操作の指標として実物体を利用することができ、容易かつ直感的に操作を行うことが可能になる。特に、人間が認知しにくいと言われている奥行き知覚のサポートに大きく貢献することが可能になる。
【０１３２】
換言すると、上述したように、従来、ユーザは、３次元仮想空間の第２の座標系とは関連のない入力装置独自の第３の座標系（例えば、入力装置が３次元位置角度センサである場合、センサ座標系(sx,sy,sz)）に基づいて、入力装置の操作を行っていたため、直感的な操作ができず、３次元仮想空間内のオブジェクトの操作が非常に困難であった。
【０１３３】
これに対して、本実施の形態においては、実物体に基づいて実空間の第１の座標系が定義され、さらに、第１の座標系に基づいて３次元仮想空間の第２の座標系が定義されるので、第２の座標系により定義される３次元仮想空間と、第１の座標系により定義される実空間は相互に対応することになる。従って、ユーザは、第１の座標系に基づいて入力装置の操作を行うことができるので（入力装置自体は、従来と同様に、独自の第３の座標系を利用するが、ユーザは、第３の座標系を意識することなく入力装置の操作を行うことができるので）、容易かつ直感的に３次元仮想空間内のオブジェクトを操作することが可能になる。
【０１３４】
なお、上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３５】
この記録媒体は、図１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）２９により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２や、記憶部２６に含まれるハードディスクなどで構成される。
【０１３６】
また、上述した図３の座標系設定モジュール４１、オブジェクト位置角度決定モジュール４２、仮想空間構築モジュール４３、および表示制御モジュール４４のそれぞれは、対応する機能を果たすものであれば、その形態は限定されない。即ち、ハードウエアなどでモジュールが構成されてもよい。この場合、例えば、製造者等は、座標系設定モジュール４１、オブジェクト位置角度決定モジュール４２、仮想空間構築モジュール４３、および表示制御モジュール４４のそれぞれに対応する装置（ハードウエア）を製作し、それらを図３に示されるようにそれぞれ接続することで、本発明が適用される情報処理装置１を、図１の構成とは異なる構成で実現することも可能である。
【０１３７】
さらに、モジュールは、全体として上述した図４と図５のフローチャート等に従って３次元表示制御処理の実行が可能なものであれば、図３の例に限定されず、様々なモジュールに分割可能であるし、或いは、モジュール構成とせずに、単なる１アルゴリズムを有するソフトウエアプログラムとして扱ってもよい。
【０１３８】
さらにまた、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３９】
【発明の効果】
以上のごとく、本発明によれば、３次元仮想空間を構築し、構築した３次元仮想空間に対応する画像を表示させることができる。特に、ユーザに対して容易かつ直感的な操作で３次元仮想空間内の所定の情報を操作させることができる。
【図面の簡単な説明】
【図１】本実施の形態が適用される情報処理装置のハードウエアの構成例を示すブロック図である。
【図２】図１の情報処理装置の外観の構成例を示す図である。
【図３】図１の情報処理装置のソフトウエアの構成例を示すブロック図である。
【図４】図３の情報処理装置の３次元表示制御処理例を説明するフローチャートである。
【図５】図３の情報処理装置の３次元表示制御処理例を説明するフローチャートである。
【図６】図３の情報処理装置が実物体を指標として定義した実空間の座標系を示す図である。
【図７】図３の情報処理装置が図６の実空間の座標系に基づいて定義した３次元仮想空間の座標系を示す図である。
【図８】図７の座標系に基づいて構築される３次元仮想空間の表示例を説明する図である。
【図９】ユーザが、実物体を指標として、３次元仮想空間内のオブジェクトに対応する入力部を配置した場合における、図８の３次元仮想空間に対してオブジェクトが配置された３次元仮想空間の表示例を説明する図である。
【図１０】ユーザが、実物体を指標として、入力部を図９とは異なる位置に配置した場合に、図８の３次元仮想空間に対してオブジェクトが配置された３次元仮想空間の表示例を説明する図である。
【図１１】実物体として本を利用した場合における、図３の情報処理装置が構築した３次元仮想空間の表示例を説明する図である。
【図１２】実物体として模型とその台座を利用した場合における、図３の情報処理装置が構築した３次元仮想空間の表示例を説明する図である。
【図１３】実物体として模型を利用した場合における、図３の情報処理装置が構築した３次元仮想空間の表示例を説明する図である。
【図１４】図１の情報処理装置の外観の構成の他の例を示す図である。
【符号の説明】
１ 情報処理装置， １１ 入力部， １１−１ ３次元位置角度センサ， １１−２ カメラ， １２ 主制御部， １３ 表示部， １４ 実物体， １４−１ シート（実物体）， １４−２ 本（実物体）， １４−３ 実物体，１４−４ 模型（実物体）， ２１ CPU， ３１ 実空間， ３２ ３次元仮想空間， ３３ オブジェクト， ３４ 仮想領域， ４１ 座標系設定モジュール， ４２ オブジェクト位置角度決定モジュール， ４３ 仮想空間構築モジュール， ４４ 表示制御モジュール， ７１ 台座， ７２，７３ 模型， １０１ 実物体
Claims (10)
- ３次元仮想空間に対応する画像の表示を制御する情報処理装置において、
予め入力された第１の実物体の所定の情報に基づいて、前記第１の実物体を含む実空間における第１の座標系を設定するとともに、設定した前記第１の座標系に基づいて、前記実空間に対応する前記３次元仮想空間における第２の座標系を設定する設定手段と、
前記設定手段により設定された前記第２の座標系を用いて前記３次元仮想空間を構築する構築手段と、
前記構築手段により構築された前記３次元仮想空間に対応する画像の表示を制御する表示制御手段と
を備えることを特徴とする情報処理装置。 - 前記第１の実物体は、少なくとも所定の１方向に対する断面の断面積が所定の面積以上を有する実物体である
ことを特徴とする請求項１に記載の情報処理装置。 - 前記第１の実物体は、１枚のシート状の実物体、または複数の前記シート状の実物体が束ねられたものである
ことを特徴とする請求項２に記載の情報処理装置。 - 前記３次元仮想空間における所定の仮想物体の位置および角度を指定する指定情報を入力する入力手段と、
前記入力手段より入力された前記指定情報に基づいて、前記仮想物体の前記第２の座標系における前記位置および前記角度を決定する決定手段と
をさらに備え、
前記構築手段は、前記決定手段により決定された前記第２の座標系における前記位置および前記角度で配置された前記仮想物体を含む前記３次元仮想空間を構築する
ことを特徴とする請求項１に記載の情報処理装置。 - 前記入力手段は、前記仮想物体に対応づけられた第２の実物体が前記実空間内に配置された場合、前記第２の実物体の前記実空間における前記位置および前記角度を前記第１の座標系とは異なる第３の座標系で測定し、その測定結果を前記指定情報として入力し、
前記決定手段は、前記入力手段より入力された前記第２の実物体の前記位置および前記角度の座標系を前記第３の座標系から前記第２の座標系に変換し、前記第２の座標系に変換した前記第２の実物体の前記位置および前記角度を、前記仮想物体の前記第２の座標系における前記位置および前記角度として決定する
ことを特徴とする請求項４に記載の情報処理装置。 - 前記入力手段は、前記第２の実物体として、前記入力手段自身のうちの少なくとも一部分を利用する
ことを特徴とする請求項５に記載の情報処理装置。 - 前記入力手段は、前記第２の実物体として、前記仮想物体の所定の特徴が表現された実物体を利用する
ことを特徴とする請求項５に記載の情報処理装置。 - 前記構築手段は、前記表示制御手段により表示が制御される前記画像に、前記第１の実物体に対応する仮想領域が少なくとも含まれるように前記３次元仮想空間を構築する
ことを特徴とする請求項１に記載の情報処理装置。 - ３次元仮想空間に対応する画像の表示を制御する情報処理方法において、
予め入力された所定の実物体の所定の情報に基づいて、前記実物体を含む実空間における第１の座標系を設定するとともに、設定した前記第１の座標系に基づいて、前記実空間に対応する前記３次元仮想空間における第２の座標系を設定する設定ステップと、
前記設定ステップの処理により設定された前記第２の座標系を用いて前記３次元仮想空間を構築する構築ステップと、
前記構築ステップの処理により構築された前記３次元仮想空間に対応する画像の表示を制御する表示制御ステップと
を含むことを特徴とする情報処理方法。 - ３次元仮想空間に対応する画像の表示を制御する処理を、コンピュータに実行させるプログラムであって、
予め入力された所定の実物体の所定の情報に基づいて、前記実物体を含む実空間における第１の座標系を設定するとともに、設定した前記第１の座標系に基づいて、前記実空間に対応する前記３次元仮想空間における第２の座標系を設定する設定ステップと、
前記設定ステップの処理により設定された前記第２の座標系を用いて前記３次元仮想空間を構築する構築ステップと、
前記構築ステップの処理により構築された前記３次元仮想空間に対応する画像の表示を制御する表示制御ステップと
を含むことを特徴とするプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002368664A JP2004199496A (ja) | 2002-12-19 | 2002-12-19 | 情報処理装置および方法、並びにプログラム |
| US10/742,701 US7724250B2 (en) | 2002-12-19 | 2003-12-19 | Apparatus, method, and program for processing information |
| CNB2003101097720A CN1293519C (zh) | 2002-12-19 | 2003-12-19 | 用于处理信息的设备、方法和程序 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002368664A JP2004199496A (ja) | 2002-12-19 | 2002-12-19 | 情報処理装置および方法、並びにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004199496A true JP2004199496A (ja) | 2004-07-15 |
Family
ID=32677125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002368664A Pending JP2004199496A (ja) | 2002-12-19 | 2002-12-19 | 情報処理装置および方法、並びにプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7724250B2 (ja) |
| JP (1) | JP2004199496A (ja) |
| CN (1) | CN1293519C (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021051537A (ja) * | 2019-09-25 | 2021-04-01 | ミストウォーカー・コーポレーション | 画像表示システム、方法、およびプログラム |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7930434B2 (en) * | 2003-03-05 | 2011-04-19 | Microsoft Corporation | System and method for managing communication and/or storage of image data |
| US7133054B2 (en) * | 2004-03-17 | 2006-11-07 | Seadragon Software, Inc. | Methods and apparatus for navigating an image |
| US7042455B2 (en) * | 2003-05-30 | 2006-05-09 | Sand Codex Llc | System and method for multiple node display |
| US7254271B2 (en) * | 2003-03-05 | 2007-08-07 | Seadragon Software, Inc. | Method for encoding and serving geospatial or other vector data as images |
| US7546419B2 (en) * | 2004-06-01 | 2009-06-09 | Aguera Y Arcas Blaise | Efficient data cache |
| US7912299B2 (en) * | 2004-10-08 | 2011-03-22 | Microsoft Corporation | System and method for efficiently encoding data |
| US7075535B2 (en) * | 2003-03-05 | 2006-07-11 | Sand Codex | System and method for exact rendering in a zooming user interface |
| US20060235941A1 (en) * | 2005-03-29 | 2006-10-19 | Microsoft Corporation | System and method for transferring web page data |
| JP4304639B2 (ja) * | 2007-01-16 | 2009-07-29 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP2008210276A (ja) * | 2007-02-27 | 2008-09-11 | Canon Inc | 三次元モデル情報の生成方法及び装置 |
| US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
| TWI370418B (en) * | 2008-10-27 | 2012-08-11 | Ind Tech Res Inst | Computer system and controlling method thereof |
| CN101727175B (zh) * | 2008-10-29 | 2012-07-04 | 财团法人工业技术研究院 | 计算机系统及其控制方法 |
| DE102009007477A1 (de) * | 2009-01-30 | 2010-08-05 | Siemens Aktiengesellschaft | Modellaufbau einer Fertigungsstätte mit maßstabsgerechten Modellen von Fertigungseinrichtungen sowie Verfahren zur Eingabe eines räumlichen Aufbaus von Fertigungseinrichtungen in ein rechnergestütztes Planungsprogramm |
| US20110164032A1 (en) * | 2010-01-07 | 2011-07-07 | Prime Sense Ltd. | Three-Dimensional User Interface |
| DE102010018634B4 (de) * | 2010-04-23 | 2014-07-31 | Siemens Aktiengesellschaft | Verfahren zur Eingabe eines räumlichen Aufbaus von Fertigungseinrichtungen in ein rechnergestütztes Planungsprogramm und dessen Optimierung |
| CN102959616B (zh) | 2010-07-20 | 2015-06-10 | 苹果公司 | 自然交互的交互真实性增强 |
| US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
| US8666978B2 (en) | 2010-09-16 | 2014-03-04 | Alcatel Lucent | Method and apparatus for managing content tagging and tagged content |
| US20120067954A1 (en) * | 2010-09-16 | 2012-03-22 | Madhav Moganti | Sensors, scanners, and methods for automatically tagging content |
| US8655881B2 (en) | 2010-09-16 | 2014-02-18 | Alcatel Lucent | Method and apparatus for automatically tagging content |
| US8533192B2 (en) | 2010-09-16 | 2013-09-10 | Alcatel Lucent | Content capture device and methods for automatically tagging content |
| US8959013B2 (en) | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
| US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
| EP3527121B1 (en) | 2011-02-09 | 2023-08-23 | Apple Inc. | Gesture detection in a 3d mapping environment |
| US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
| US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
| US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
| US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
| US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
| US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
| WO2013032955A1 (en) | 2011-08-26 | 2013-03-07 | Reincloud Corporation | Equipment, systems and methods for navigating through multiple reality models |
| DE102011112618A1 (de) * | 2011-09-08 | 2013-03-14 | Eads Deutschland Gmbh | Interaktion mit einem dreidimensionalen virtuellen Szenario |
| US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
| EP2798443B1 (en) * | 2011-12-28 | 2018-12-19 | Femtonics Kft. | Method for the 3-dimensional measurement of a sample with a measuring system comprising a laser scanning microscope and such measuring system |
| US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
| US9377863B2 (en) | 2012-03-26 | 2016-06-28 | Apple Inc. | Gaze-enhanced virtual touchscreen |
| US20140002443A1 (en) * | 2012-06-29 | 2014-01-02 | Blackboard Inc. | Augmented reality interface |
| CN102901488B (zh) * | 2012-09-07 | 2015-12-16 | 曹欢欢 | 一种自动生成房间平面图的方法及设备 |
| US20140078137A1 (en) * | 2012-09-14 | 2014-03-20 | Nagabhushanam Peddi | Augmented reality system indexed in three dimensions |
| WO2014129105A1 (ja) * | 2013-02-22 | 2014-08-28 | ソニー株式会社 | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム |
| JP2014191718A (ja) * | 2013-03-28 | 2014-10-06 | Sony Corp | 表示制御装置、表示制御方法および記録媒体 |
| JP5981591B1 (ja) * | 2015-03-17 | 2016-08-31 | 株式会社コロプラ | 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム |
| BE1023079B1 (fr) * | 2015-10-06 | 2016-11-17 | Next-Tech Sprl | Système de conception pour aider à la conception d'un aménagement d'un espace |
| JP6888411B2 (ja) * | 2017-05-15 | 2021-06-16 | 富士フイルムビジネスイノベーション株式会社 | 三次元形状データの編集装置、及び三次元形状データの編集プログラム |
| US11113887B2 (en) * | 2018-01-08 | 2021-09-07 | Verizon Patent And Licensing Inc | Generating three-dimensional content from two-dimensional images |
| CN110083226B (zh) * | 2018-01-25 | 2022-08-09 | 财团法人资讯工业策进会 | 虚空间定位方法及装置 |
| US11373374B2 (en) * | 2019-11-07 | 2022-06-28 | Volvo Car Corporation | Aligning the augmented reality or virtual reality world with the real world using natural position understanding |
| CN115699157A (zh) * | 2020-02-10 | 2023-02-03 | 奇跃公司 | 虚拟内容的动态共置 |
Family Cites Families (88)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4902229A (en) * | 1984-01-23 | 1990-02-20 | Ez Designer, Inc. | Modular layout assembly |
| JPS62229380A (ja) * | 1986-03-29 | 1987-10-08 | Toshiba Corp | ３次元物体表示装置 |
| JPH0194420A (ja) | 1987-10-06 | 1989-04-13 | Shiga Pref Gov | コンピュータへの３次元入力装置 |
| US5237647A (en) * | 1989-09-15 | 1993-08-17 | Massachusetts Institute Of Technology | Computer aided drawing in three dimensions |
| US5355314A (en) * | 1990-03-26 | 1994-10-11 | Hammond Incorporated | Method and apparatus for automatically generating symbol images against a background image without collision utilizing distance-dependent attractive and repulsive forces in a computer simulation |
| US5261041A (en) * | 1990-12-28 | 1993-11-09 | Apple Computer, Inc. | Computer controlled animation system based on definitional animated objects and methods of manipulating same |
| US5227985A (en) * | 1991-08-19 | 1993-07-13 | University Of Maryland | Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object |
| JP3318680B2 (ja) * | 1992-04-28 | 2002-08-26 | サン・マイクロシステムズ・インコーポレーテッド | 画像生成方法及び画像生成装置 |
| US5287437A (en) * | 1992-06-02 | 1994-02-15 | Sun Microsystems, Inc. | Method and apparatus for head tracked display of precomputed stereo images |
| US5629594A (en) * | 1992-12-02 | 1997-05-13 | Cybernet Systems Corporation | Force feedback system |
| US5495576A (en) * | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
| US5394202A (en) * | 1993-01-14 | 1995-02-28 | Sun Microsystems, Inc. | Method and apparatus for generating high resolution 3D images in a head tracked stereo display system |
| US5347459A (en) * | 1993-03-17 | 1994-09-13 | National Research Council Of Canada | Real time collision detection |
| US5297061A (en) * | 1993-05-19 | 1994-03-22 | University Of Maryland | Three dimensional pointing device monitored by computer vision |
| US5418712A (en) * | 1993-06-04 | 1995-05-23 | Matsushita Electric Industrial Co., Ltd. | Manipulation performance evaluating apparatus for evaluating manipulation performance of a commodity having operating parts |
| US6411266B1 (en) * | 1993-08-23 | 2002-06-25 | Francis J. Maguire, Jr. | Apparatus and method for providing images of real and virtual objects in a head mounted display |
| US5423554A (en) * | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
| JP2552427B2 (ja) * | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
| US6004134A (en) * | 1994-05-19 | 1999-12-21 | Exos, Inc. | Interactive simulation including force feedback |
| US5846086A (en) * | 1994-07-01 | 1998-12-08 | Massachusetts Institute Of Technology | System for human trajectory learning in virtual environments |
| US5766016A (en) * | 1994-11-14 | 1998-06-16 | Georgia Tech Research Corporation | Surgical simulator and method for simulating surgical procedure |
| US5548694A (en) * | 1995-01-31 | 1996-08-20 | Mitsubishi Electric Information Technology Center America, Inc. | Collision avoidance system for voxel-based object representation |
| US5729471A (en) * | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
| US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
| US6072902A (en) * | 1995-05-03 | 2000-06-06 | Apple Computer, Inc. | Method and system for color matching between digital display devices |
| US6016147A (en) * | 1995-05-08 | 2000-01-18 | Autodesk, Inc. | Method and system for interactively determining and displaying geometric relationships between three dimensional objects based on predetermined geometric constraints and position of an input device |
| JP3029553B2 (ja) | 1995-05-22 | 2000-04-04 | 株式会社ハドソン | ３次元図形処理装置 |
| US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
| RU2109336C1 (ru) * | 1995-07-14 | 1998-04-20 | Нурахмед Нурисламович Латыпов | Способ погружения пользователя в виртуальную реальность и устройство для его реализации |
| JP3622094B2 (ja) | 1995-10-05 | 2005-02-23 | 株式会社日立製作所 | 地図更新支援装置および地図情報の編集方法 |
| US6308565B1 (en) * | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
| US5847710A (en) * | 1995-11-24 | 1998-12-08 | Imax Corp. | Method and apparatus for creating three dimensional drawings |
| US6028593A (en) * | 1995-12-01 | 2000-02-22 | Immersion Corporation | Method and apparatus for providing simulated physical interactions within computer generated environments |
| US6278418B1 (en) * | 1995-12-29 | 2001-08-21 | Kabushiki Kaisha Sega Enterprises | Three-dimensional imaging system, game device, method for same and recording medium |
| US5923318A (en) * | 1996-04-12 | 1999-07-13 | Zhai; Shumin | Finger manipulatable 6 degree-of-freedom input device |
| US6084587A (en) * | 1996-08-02 | 2000-07-04 | Sensable Technologies, Inc. | Method and apparatus for generating and interfacing with a haptic virtual reality environment |
| JP3558104B2 (ja) * | 1996-08-05 | 2004-08-25 | ソニー株式会社 | ３次元仮想物体表示装置および方法 |
| US6151009A (en) * | 1996-08-21 | 2000-11-21 | Carnegie Mellon University | Method and apparatus for merging real and synthetic images |
| US6308144B1 (en) * | 1996-09-26 | 2001-10-23 | Computervision Corporation | Method and apparatus for providing three-dimensional model associativity |
| US6069634A (en) * | 1997-01-08 | 2000-05-30 | Mitsubishi Electric Information Technology Center America, Inl | System for rapidly deforming a graphical object |
| WO1998033151A1 (fr) * | 1997-01-24 | 1998-07-30 | Sony Corporation | Dispositif, procede et support permettant de generer des donnees graphiques |
| US6307563B2 (en) * | 1997-04-30 | 2001-10-23 | Yamaha Corporation | System for controlling and editing motion of computer graphics model |
| US5903271A (en) * | 1997-05-23 | 1999-05-11 | International Business Machines Corporation | Facilitating viewer interaction with three-dimensional objects and two-dimensional images in virtual three-dimensional workspace by drag and drop technique |
| US6034739A (en) * | 1997-06-09 | 2000-03-07 | Evans & Sutherland Computer Corporation | System for establishing a three-dimensional garbage matte which enables simplified adjusting of spatial relationships between physical and virtual scene elements |
| US5883628A (en) * | 1997-07-03 | 1999-03-16 | International Business Machines Corporation | Climability: property for objects in 3-D virtual environments |
| US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| US6226004B1 (en) * | 1997-09-12 | 2001-05-01 | Autodesk, Inc. | Modeling system using surface patterns and geometric relationships |
| FR2768528B1 (fr) * | 1997-09-18 | 2001-01-12 | Aerospatiale | Peripherique d'entree pour ordinateur, a commutation automatique entre des modes de fonctionnement 3d et 2d, et son procede d'interaction avec un ecran d'affichage |
| US6191796B1 (en) * | 1998-01-21 | 2001-02-20 | Sensable Technologies, Inc. | Method and apparatus for generating and interfacing with rigid and deformable surfaces in a haptic virtual reality environment |
| JP3415438B2 (ja) * | 1998-05-12 | 2003-06-09 | 富士通株式会社 | 干渉チェック装置および方法 |
| JP3646969B2 (ja) * | 1998-05-25 | 2005-05-11 | 富士通株式会社 | ３次元画像表示装置 |
| JP3420504B2 (ja) | 1998-06-30 | 2003-06-23 | キヤノン株式会社 | 情報処理方法 |
| US6421048B1 (en) * | 1998-07-17 | 2002-07-16 | Sensable Technologies, Inc. | Systems and methods for interacting with virtual objects in a haptic virtual reality environment |
| US6222465B1 (en) * | 1998-12-09 | 2001-04-24 | Lucent Technologies Inc. | Gesture-based computer interface |
| JP3024968B1 (ja) * | 1998-12-25 | 2000-03-27 | 川崎重工業株式会社 | 模擬加工方法および装置 |
| US6384823B1 (en) * | 1999-01-05 | 2002-05-07 | C. Michael Donoghue | System and method for real-time mapping and transfer of coordinate position data from a virtual computer-aided design workspace to the real workspace |
| US6480190B1 (en) * | 1999-01-29 | 2002-11-12 | Mitsubishi Electric Research Laboratories, Inc | Graphical objects represented as surface elements |
| DE19917660A1 (de) * | 1999-04-19 | 2000-11-02 | Deutsch Zentr Luft & Raumfahrt | Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts |
| JP2001256511A (ja) * | 2000-01-06 | 2001-09-21 | Canon Inc | データ処理システム、プリンタ、画像記録システム及び画像記録方法 |
| US20010024533A1 (en) * | 2000-03-08 | 2001-09-27 | Mitchell Kriegman | System & method for compositing of real and virtual images in a cinematographic puppetry production |
| JP2001266175A (ja) * | 2000-03-15 | 2001-09-28 | Sony Corp | ３次元モデル処理装置および３次元モデル処理方法、並びにプログラム提供媒体 |
| JP2001291119A (ja) | 2000-04-11 | 2001-10-19 | Sony Corp | ユーザインタフェース制御装置およびユーザインタフェース制御方法、並びにプログラム提供媒体 |
| JP2001307134A (ja) * | 2000-04-19 | 2001-11-02 | Sony Corp | 三次元モデル処理装置および三次元モデル処理方法、並びにプログラム提供媒体 |
| US7193633B1 (en) * | 2000-04-27 | 2007-03-20 | Adobe Systems Incorporated | Method and apparatus for image assisted modeling of three-dimensional scenes |
| US7224357B2 (en) * | 2000-05-03 | 2007-05-29 | University Of Southern California | Three-dimensional modeling based on photographic images |
| JP2001325611A (ja) * | 2000-05-15 | 2001-11-22 | Sony Corp | ３次元モデル処理装置および３次元モデル処理方法、並びにプログラム提供媒体 |
| JP2001325614A (ja) * | 2000-05-15 | 2001-11-22 | Sony Corp | ３次元モデル処理装置および３次元モデル処理方法、並びにプログラム提供媒体 |
| JP4389350B2 (ja) * | 2000-05-18 | 2009-12-24 | ソニー株式会社 | オブジェクト属性変更処理装置、オブジェクト属性変更処理方法、および３次元モデル処理装置、３次元モデル処理方法、並びにプログラム提供媒体 |
| AU2001275308A1 (en) * | 2000-06-06 | 2001-12-17 | Frauenhofer Institut Fuer Graphische Datenverarbeitung | The extended virtual table: an optical extension for table-like projection systems |
| JP4701479B2 (ja) * | 2000-07-05 | 2011-06-15 | ソニー株式会社 | リンク情報表示装置及びその表示方法 |
| US20020024517A1 (en) * | 2000-07-14 | 2002-02-28 | Komatsu Ltd. | Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space |
| US6795068B1 (en) * | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
| US7043695B2 (en) * | 2000-09-19 | 2006-05-09 | Technion Research & Development Foundation Ltd. | Object positioning and display in virtual environments |
| WO2002035909A2 (en) * | 2000-11-03 | 2002-05-10 | Siemens Corporate Research, Inc. | Video-supported planning and design with physical marker objects sign |
| JP2002157607A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像生成システム、画像生成方法および記憶媒体 |
| JP2002279284A (ja) | 2001-03-15 | 2002-09-27 | Sony Corp | コミュニティサービス提供方法、コミュニティサービス提供装置、プログラム格納媒体およびプログラム |
| JP4009433B2 (ja) * | 2001-03-29 | 2007-11-14 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲームプログラム及びゲームシステム |
| US7136786B2 (en) * | 2001-04-12 | 2006-11-14 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for modeling interaction of objects |
| US6798415B2 (en) * | 2001-06-21 | 2004-09-28 | Intel Corporation | Rendering collisions of three-dimensional models |
| JP4635392B2 (ja) * | 2001-08-09 | 2011-02-23 | コニカミノルタホールディングス株式会社 | ３次元物体の表面形状モデリング装置、および、プログラム |
| JP4028708B2 (ja) * | 2001-10-19 | 2007-12-26 | 株式会社コナミデジタルエンタテインメント | ゲーム装置及びゲームシステム |
| JP3805231B2 (ja) * | 2001-10-26 | 2006-08-02 | キヤノン株式会社 | 画像表示装置及びその方法並びに記憶媒体 |
| US20030117397A1 (en) * | 2001-12-21 | 2003-06-26 | Hubrecht Alain Yves Nestor | Systems and methods for generating virtual reality (VR) file(s) for complex virtual environments |
| US20030117398A1 (en) * | 2001-12-21 | 2003-06-26 | Hubrecht Alain Yves Nestor | Systems and methods for rendering frames of complex virtual environments |
| US6791549B2 (en) * | 2001-12-21 | 2004-09-14 | Vrcontext S.A. | Systems and methods for simulating frames of complex virtual environments |
| US7427996B2 (en) * | 2002-10-16 | 2008-09-23 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2004287699A (ja) * | 2003-03-20 | 2004-10-14 | Tama Tlo Kk | 画像合成装置及びその合成方法 |
| US7277572B2 (en) * | 2003-10-10 | 2007-10-02 | Macpearl Design Llc | Three-dimensional interior design system |
-
2002
- 2002-12-19 JP JP2002368664A patent/JP2004199496A/ja active Pending
-
2003
- 2003-12-19 US US10/742,701 patent/US7724250B2/en not_active Expired - Fee Related
- 2003-12-19 CN CNB2003101097720A patent/CN1293519C/zh not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021051537A (ja) * | 2019-09-25 | 2021-04-01 | ミストウォーカー・コーポレーション | 画像表示システム、方法、およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1508759A (zh) | 2004-06-30 |
| US20040130579A1 (en) | 2004-07-08 |
| CN1293519C (zh) | 2007-01-03 |
| US7724250B2 (en) | 2010-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004199496A (ja) | 情報処理装置および方法、並びにプログラム | |
| US9495802B2 (en) | Position identification method and system | |
| JP7337104B2 (ja) | 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体 | |
| Wang | Augmented reality in architecture and design: potentials and challenges for application | |
| CN106846497B (zh) | 应用于终端的呈现三维地图的方法和装置 | |
| KR20100063793A (ko) | 홀로그래픽 사용자 인터페이스 통신을 위한 방법 및 장치 | |
| Wang et al. | A user-centered taxonomy for specifying mixed reality systems for aec industry | |
| KR100971667B1 (ko) | 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치 | |
| JP5387668B2 (ja) | 情報処理端末、情報処理方法、およびプログラム | |
| Wang et al. | Modelling and visualizing holographic 3D geographical scenes with timely data based on the HoloLens | |
| CN114445525A (zh) | 虚拟对象的显示方法、装置及电子设备 | |
| Kensek et al. | Augmented reality: An application for architecture | |
| JP5830055B2 (ja) | 画像処理装置および画像処理システム | |
| CN113129362A (zh) | 一种三维坐标数据的获取方法及装置 | |
| CN109064537A (zh) | 基于3d渲染引擎的图像生成方法以及装置 | |
| KR101850134B1 (ko) | 3차원 동작 모델 생성 방법 및 장치 | |
| WO2021131941A1 (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
| KR20190074562A (ko) | Vr기술 기반의 3d모델링 저작도구를 이용한 3d프린팅 시스템 | |
| Merckel et al. | Multi-interfaces approach to situated knowledge management for complex instruments: First step toward industrial deployment | |
| KR20190014894A (ko) | 가상 현실 기반의 고인 맞춤형 추모 시스템 | |
| JP3559913B2 (ja) | 三次元形状モデル変形方法及び装置 | |
| WO2015141214A1 (ja) | 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法 | |
| de Araújo et al. | An haptic-based immersive environment for shape analysis and modelling | |
| KR102579463B1 (ko) | 확장현실 기술 기반 미디어아트 시스템 | |
| Vodilka et al. | Designing a Workplace in Virtual and Mixed Reality Using the Meta Quest VR Headset |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060607 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070322 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070511 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070710 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070717 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070824 |