JP2020074108A - Information processing system, control method thereof, and program - Google Patents
Information processing system, control method thereof, and program Download PDFInfo
- Publication number
- JP2020074108A JP2020074108A JP2019232295A JP2019232295A JP2020074108A JP 2020074108 A JP2020074108 A JP 2020074108A JP 2019232295 A JP2019232295 A JP 2019232295A JP 2019232295 A JP2019232295 A JP 2019232295A JP 2020074108 A JP2020074108 A JP 2020074108A
- Authority
- JP
- Japan
- Prior art keywords
- user
- viewpoint
- virtual space
- movement amount
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、仮想空間におけるユーザの視点の高さを変更した場合でも、適切な移動量で仮想空間を移動することの可能な情報処理システム、その制御方法、及びプログラムに関する。 The present invention relates to an information processing system capable of moving a virtual space with an appropriate amount of movement even when the height of a user's viewpoint in the virtual space is changed, a control method thereof, and a program.
従来技術として、三次元モデリングされたＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ、以下、三次元モデルという。）を含む画像を、現実空間を撮像した画像に重畳し、これを観察者に提示する仕組みが存在する。この仕組みを用いることで、観察者にあたかも現実空間中に三次元モデルが存在しているかのように見せることができる。この仕組みは、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、以下、ＭＲという。）や拡張現実感と呼ばれている。 As a conventional technique, there is a mechanism in which an image including three-dimensional modeled CG (Computer Graphics, hereinafter referred to as a three-dimensional model) is superimposed on an image obtained by capturing a real space, and the image is presented to an observer. By using this mechanism, it is possible to make an observer look as if a three-dimensional model exists in the real space. This mechanism is called mixed reality (hereinafter referred to as MR) or augmented reality.
こうした仕組みにおいて、現実空間におけるユーザの視点の高さとは異なる高さに仮想空間上のユーザの視点を設定することで、現実空間とは異なるスケール感で仮想空間を提示する仕組みが特許文献１に開示されている。
In such a mechanism, a mechanism for presenting a virtual space with a sense of scale different from the real space by setting the user's viewpoint in the virtual space to a height different from the height of the user's viewpoint in the real space is disclosed in
ところで、複数の拠点において設計物のレビューを行う場合がある。この場合には、複数の拠点それぞれに存在する各ユーザに対して、レビュー対象の三次元モデルを含む同一の仮想空間を複合現実感によって提示する仕組みを用いることで、リアルタイムに情報共有を行うことができる。 By the way, there are cases where a design product is reviewed at a plurality of locations. In this case, information sharing is performed in real time by using a mechanism that presents the same virtual space including the 3D model to be reviewed to each user existing in each of the plurality of bases with mixed reality. You can
また、例えば設計物が建築物のように比較的大きなものである場合には、ユーザは建築物の内部や外部を確認することが多い。特に建築物の上部から俯瞰的に確認したい場合には、特許文献１に開示されている仕組みを適用することで、仮想空間上の視点の高さを変更すると共に、この高さに応じた移動量で視点を移動させることができる。こうすることにより、あたかも巨人になったかのような感覚で自由に歩き回って確認をすることができる。
Further, for example, when the design is a relatively large one such as a building, the user often confirms the inside or the outside of the building. Especially when it is desired to check from the upper part of the building from a bird's-eye view, by applying the mechanism disclosed in
しかしながら、前述したレビューでは複数のユーザが参加して、自由に仮想空間内を見て回るため、特許文献１の仕組みを単純に適用してしまうと、すべてのユーザが同じ高さに設定されてしまう問題がある。すなわち、複数のユーザが閲覧している仮想空間は同一であるので、あるユーザが仮想空間上の視点の高さを変更すると、その設定変更が他のユーザにも適用されてしまい、他のユーザも同様に視点の高さが変更されてしまう問題がある。
However, in the above-mentioned review, since a plurality of users participate and freely browse around the virtual space, if the mechanism of
そのため、各ユーザが所望のスケール感で仮想空間を体験するには、順番にスケールを変更する必要があり、目的としないスケールで表示されているユーザに待ち時間が発生してしまう問題がある。 Therefore, in order for each user to experience the virtual space with a desired sense of scale, it is necessary to change the scale in order, and there is a problem that a user displayed on an undesired scale has a waiting time.
また、ユーザごとに仮想空間上の視点の高さを変更できたとしても、ユーザの移動量をそのユーザの視点の高さに応じて調整しなければ、効率的にレビューをすることができない問題もある。例えば巨人のような視点で歩き回れたとしても、現実空間での移動量を仮想空間での移動量にそのまま適用してしまうと、なかなか前に進めないことになってしまう。巨人のような視点になったのであれば、歩幅、すなわち仮想空間での移動量も大きくする必要がある。 In addition, even if the height of the viewpoint in the virtual space can be changed for each user, it is not possible to review efficiently unless the movement amount of the user is adjusted according to the height of the viewpoint of the user. There is also. For example, even if you can walk around from the perspective of a giant, if you apply the amount of movement in the real space to the amount of movement in the virtual space as is, it will be difficult to move forward. If you look like a giant, you need to increase your stride, that is, the amount of movement in the virtual space.
しかしながら、特許文献１には仮想空間における視点の高さに応じて移動量を調整する仕組みが開示されているものの、ユーザごとにこうした調整を行う仕組みについては開示されていない。
However, although
本発明は、仮想空間におけるユーザの視点の高さを変更した場合でも、ユーザごとの適切な移動量で仮想空間を移動することの可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of moving the virtual space with an appropriate amount of movement for each user even when the height of the viewpoint of the user in the virtual space is changed.
上記の目的を達成するために本発明の情報処理システムは、仮想空間を提示するための情報処理システムであって、前記仮想空間に設定される視点の高さを変更するためのパラメータをユーザごとに記憶する記憶手段と、現実空間に存在するユーザの視点の高さに基づいて、前記仮想空間に当該ユーザの視点を設定する視点設定手段と、前記視点設定手段で設定された前記ユーザの視点の高さを、前記記憶手段に記憶される当該ユーザに対応する前記パラメータに応じて変更する視点変更手段と、前記現実空間における前記ユーザの移動量を取得する移動量取得手段と、前記移動量取得手段で移動量を取得されたユーザに対応する前記パラメータと前記移動量取得手段で取得した当該ユーザの移動量とを用いて、前記視点変更手段で変更された当該ユーザの視点の移動量を決定する移動量決定手段と、前記移動量決定手段で決定された移動量で前記ユーザの視点を移動する視点移動手段とを備えることを特徴とする。 In order to achieve the above object, the information processing system of the present invention is an information processing system for presenting a virtual space, wherein a parameter for changing the height of a viewpoint set in the virtual space is set for each user. And a viewpoint setting means for setting the viewpoint of the user in the virtual space based on the height of the viewpoint of the user existing in the real space, and the viewpoint of the user set by the viewpoint setting means. Viewpoint changing means for changing the height of the user according to the parameter corresponding to the user stored in the storage means, moving amount acquiring means for acquiring the moving amount of the user in the physical space, and the moving amount. It is changed by the viewpoint changing unit using the parameter corresponding to the user whose movement amount is acquired by the acquisition unit and the movement amount of the user acquired by the movement amount acquisition unit. Characterized in that it comprises a moving amount determining means for determining the movement amount of the viewpoint of the user, and a viewpoint moving means for moving the viewpoint of the user by the movement amount determined by the movement amount determination means.
本発明によれば、仮想空間におけるユーザの視点の高さを変更した場合でも、ユーザごとの適切な移動量で仮想空間を移動することが可能となる。 According to the present invention, even when the height of the viewpoint of the user in the virtual space is changed, it is possible to move in the virtual space with an appropriate amount of movement for each user.
以下、図面を参照しながら、本発明の第１の実施形態について説明する。 Hereinafter, the first embodiment of the present invention will be described with reference to the drawings.
図１は、第１の実施形態における情報処理システムのシステム構成の一例を示す図である。図１に示す情報処理システムは、複合現実感技術（以下、ＭＲ技術という。）を用いた、複数の拠点のユーザに同一の仮想空間を閲覧・共有させるためのシステムである。情報処理システムは、クライアント装置１０１にＨＭＤ１０２が相互にデータ通信可能に接続される複数のＭＲシステムを含み、各ＭＲシステムのクライアント装置１０１は、ネットワークを介してサーバ装置１０３と通信可能に接続されている。クライアント装置１０１とＨＭＤ１０２との接続は、有線接続であってもよいし、無線接続であってもよい。また、情報処理システムに含まれるＭＲシステムはいくつ存在してもよい。本実施形態では、クライアント装置１０１−１とＨＭＤ１０２−１とが接続されるＭＲシステムと、クライアント装置１０１−２とＨＭＤ１０２−２とが接続されるＭＲシステムと、その他複数のＭＲシステムとを含む情報処理システムとして説明を行う。また、ＭＲシステムは部屋ごとに設けてもよいし、同一の部屋に設けてもよいため、本実施形態では拠点ごとに設けるものとして説明するがこれに限定されない。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。
FIG. 1 is a diagram illustrating an example of a system configuration of an information processing system according to the first embodiment. The information processing system shown in FIG. 1 is a system using mixed reality technology (hereinafter referred to as MR technology) for allowing users at a plurality of locations to browse and share the same virtual space. The information processing system includes a plurality of MR systems in which the
クライアント装置１０１は、汎用的なコンピュータである。クライアント装置１０１は、ＨＭＤ１０２で撮影（撮像）された現実空間の画像（以下、現実空間画像という。）と、クライアント装置１０１で生成された仮想空間の画像（以下、仮想空間画像という。）とを重畳する。こうして生成された画像（以下、複合現実画像という。）を、ＨＭＤ１０２に送信する。尚、ＭＲ技術に関しては従来技術を用いるため、詳細な説明は省略する。また、クライアント装置１０１は、パーソナルコンピュータであってもよいし、サーバのような大型のコンピュータであってもよい。更には、携帯電話やタブレット端末といった携帯端末であってもよい。コンピュータの種類は特に問わない。また、拠点ごとにクライアント装置１０１を設置せず、１台のクライアント装置１０１で処理するようにしてもよい。すなわち、１台のクライアント装置１０１が本実施形態における各ＭＲシステムを構築してもよい。更には、クライアント装置１０１が設置される場所は特に問わない。
The
ＨＭＤ１０２は、ヘッドマウントディスプレイである。ＨＭＤ１０２は、ユーザの頭部に装着する装置であり、右目用と左目用のビデオカメラと、右目用と左目用のディスプレイを備えている。ＨＭＤ１０２は、ＨＭＤ１０２のビデオカメラで撮影された現実空間画像をクライアント装置１０１に送信する。そして、クライアント装置１０１から複合現実画像を受信し、ディスプレイに表示する。ＨＭＤ１０２では、右目用と左目用のディスプレイを設けているので、視差によって立体感を得ることができる。尚、ＨＭＤ１０２で撮影する現実空間画像とＨＭＤ１０２で表示する複合現実画像は、動画（映像）が望ましいが、所定の間隔で撮影された静止画であってもよい。また、スマートフォンのようにディスプレイとビデオカメラがハードウェアの前面と背面に設置されている装置を、ヘッドマウントディスプレイの代用としてもよい。
The
図２は、各拠点のＭＲシステムのシステム構成の一例を示す図である。前述した通り、クライアント装置１０１はＨＭＤ１０２と通信可能に接続されている。更に、クライアント装置１０１には赤外線カメラ２０２が接続されている。赤外線カメラ２０２は、赤外線を用いた光学式のセンサである。赤外線カメラ２０２は、現実空間に赤外線を照射し、現実空間の物体で反射した赤外線を撮影することにより、赤外線カメラ２０２が定義する座標系における、現実空間の物体の位置及び姿勢を特定する。この赤外線カメラ２０２を用いて、現実空間におけるＨＭＤ１０２（すなわちユーザ）の位置及び姿勢（向きや傾き、視線の方向等。以下、同じ。）を特定する。ＨＭＤ１０２には、オプティカルマーカ２０１という赤外線を反射する物体を備えており、赤外線カメラ２０２はこのオプティカルマーカ２０１で反射した赤外線を撮影することで、ＨＭＤ１０２の位置及び姿勢を特定できるようになっている。ユーザがどのような位置や姿勢であっても、当該ユーザが装着するＨＭＤ１０２のオプティカルマーカ２０１を撮影または検知できるように、ＭＲシステムでは赤外線カメラ２０２を複数台設置することが望ましい。また、位置及び姿勢を特定可能なＨＭＤ１０２は、赤外線カメラ２０２の撮影範囲に存在するＨＭＤ１０２である。
FIG. 2 is a diagram showing an example of the system configuration of the MR system at each base. As described above, the
尚、本実施形態においては、現実空間におけるＨＭＤ１０２の位置及び姿勢を特定するために、赤外線カメラ２０２を用いるが、ＨＭＤ１０２の現実空間における位置及び姿勢を特定できるのであれば、これに限らない。例えば、磁気センサを用いてもよいし、ＨＭＤ１０２が撮影した画像を解析して位置及び姿勢を特定してもよい。
Although the
図３は、クライアント装置１０１とＨＭＤ１０２の各ハードウェア構成の一例を示す図である。
FIG. 3 is a diagram illustrating an example of each hardware configuration of the
ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。
The
また、ＲＯＭ３０２あるいは外部メモリ３１１には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムが記憶されている。更には、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。
The
ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。
The
また、入力コントローラ（入力Ｃ）３０５は、キーボードやマウス等のポインティングデバイス（入力デバイス３１０）からの入力を制御する。 The input controller (input C) 305 controls input from a pointing device (input device 310) such as a keyboard and a mouse.
クライアント装置１０１のビデオコントローラ（ＶＣ）３０６は、ＨＭＤ１０２が備える右目・左目ディスプレイ３２２やディスプレイ３１２等の表示器への表示を制御する。右目・左目ディスプレイ３２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ３２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。また、ディスプレイ３１２は、液晶ディスプレイ等であり、右目・左目ディスプレイ３２２と同様の表示、または仮想空間を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が表示される。
The video controller (VC) 306 of the
メモリコントローラ（ＭＣ）３０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部メモリ３１１（記憶手段）へのアクセスを制御する。外部メモリ３１１は、例えばハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等がある。
A memory controller (MC) 307 controls access to an external memory 311 (storage unit) that stores a boot program, browser software, various applications, font data, user files, edit files, various data, and the like. The
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。特に、クライアント装置１０１の通信Ｉ／Ｆコントローラ３０８は、赤外線カメラ２０２との通信も制御する。
A communication I / F controller (communication I / FC) 308 connects and communicates with an external device via a network, and executes communication control processing on the network. For example, internet communication using TCP / IP is possible. In particular, the communication I /
クライアント装置１０１の汎用バス３０９は、クライアント装置１０１に接続されるＨＭＤ１０２の右目・左目ビデオカメラ３２１で撮影した画像を取り込むために使用される。右目・左目ビデオカメラ３２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。また、右目・左目ビデオカメラ３２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。
The general-
尚、ＣＰＵ３０１は、例えばＲＡＭ３０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ３０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
本発明のクライアント装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ３１１に記録されており、必要に応じてＲＡＭ３０３にロードされることによりＣＰＵ３０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ３１１に格納されている。
Various programs used by the
図４は、サーバ装置１０３のハードウェア構成を示す図である。尚、図４に示すハードウェア構成はあくまで一例である。
FIG. 4 is a diagram showing a hardware configuration of the
ＣＰＵ４０１は、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。
The
また、ＲＯＭ４０２あるいは外部メモリ４１１には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラムが記憶されている。また外部メモリ４１１には、サーバ装置１０３が実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。
Further, the
ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＡＭ４０３にロードして、プログラムを実行することで各種動作を実現するものである。
The
また、入力コントローラ４０５は、キーボードやマウス等のポインティングデバイスといった入力デバイス４０９からの入力を制御する。
Further, the
ビデオコントローラ４０６は、ディスプレイ４１２等の表示器への表示を制御する。表示器はＣＲＴや液晶ディスプレイでも構わない。
The
メモリコントローラ４０７は、ハードディスクやフレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ４１１へのアクセスを制御する。外部メモリ４１１（記憶手段）は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する。
The
通信Ｉ／Ｆコントローラ４０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
The communication I /
尚、ＣＰＵ４０１は、例えばＲＡＭ４０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ４１２上での表示を可能としている。また、ＣＰＵ４０１は、ディスプレイ４１２上の不図示のマウスカーソル等でのユーザ指示を可能とする。
Incidentally, the
本発明のサーバ装置１０３が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ４１１に記録されている。この各種プログラム等は必要に応じてＲＡＭ４０３にロードされることによりＣＰＵ４０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ４１１に格納されている。
Various programs used by the
図５は、クライアント装置１０１とサーバ装置１０３の機能構成を示す機能構成図である。尚、図５のクライアント装置１０１とサーバ装置１０３の機能構成は一例であり、用途や目的に応じて様々な構成例がある。
FIG. 5 is a functional configuration diagram showing the functional configurations of the
クライアント装置１０１は機能部として、通信制御部５０１と、位置姿勢取得部５０２と、位置姿勢特定部５０３と、現実空間画像取得部５０４と、仮想空間生成部５０５と、仮想空間画像取得部５０６と、複合現実画像生成部５０７とを備える。また、表示制御部５０８と、記憶部５０９と、オブジェクト制御部５１０と、視点制御部５１１と、スケール設定部５１２とを備える。
The
通信制御部５０１は、クライアント装置１０１と通信可能なＨＭＤ１０２と赤外線カメラ２０２との各種情報の送受信を行う機能部である。通信制御部５０１は、前述したビデオコントローラ３０６、通信Ｉ／Ｆコントローラ３０８、汎用バス３０９等を通じてこれらの装置と情報の送受信を行う。また、通信制御部５０１は、他のクライアント装置１０１とサーバ装置１０３との各種情報の送受信も行う。
The
位置姿勢取得部５０２は、オプティカルマーカ２０１を備える装置の現実空間における位置及び姿勢（向き）を示す情報を赤外線カメラ２０２から取得する機能部である。本実施形態では、ＨＭＤ１０２がオプティカルマーカ２０１を備えているため、位置姿勢取得部５０２は赤外線カメラ２０２が解析した、現実空間におけるＨＭＤ１０２の位置及び姿勢（ＨＭＤ１０２を装着しているユーザの位置及び姿勢。以下同じ。）を示す情報を取得する。また、位置姿勢取得部５０２は、現実空間画像取得部５０４で右目・左目ビデオカメラ３２１から取得した右目用の現実空間画像と左目用の現実空間画像とを用いて、三角測量等の方法により、現実空間の物体の位置及び姿勢を特定することもできる。
The position /
位置姿勢特定部５０３は、位置姿勢取得部５０２で取得した、現実空間におけるＨＭＤ１０２の位置及び姿勢（向き）に対応する仮想空間上の位置及び姿勢（向き）を特定する機能部である。現実空間の座標系（赤外線カメラ２０２の座標系）と仮想空間の座標系とはあらかじめキャリブレーションがなされており、現実空間と仮想空間とが対応付けられている。つまり、この対応付けに基づいて現実空間におけるＨＭＤ１０２の位置及び姿勢に対応する仮想空間上の位置及び姿勢を特定する。
The position /
現実空間画像取得部５０４は、ＨＭＤ１０２の右目・左目ビデオカメラ３２１で撮影された現実空間画像を取得する機能部である。
The physical space
仮想空間生成部５０５は、クライアント装置１０１の外部メモリ３１１に記憶されている情報に基づいて仮想空間を生成する機能部である。仮想空間はクライアント装置１０１の内部に生成される仮想的な空間であるので、その空間の形や大きさに関する情報が外部メモリ３１１に記憶されており、これに基づいて仮想空間を生成する。仮想空間には三次元モデルからなるオブジェクトを配置可能である。オブジェクトはオブジェクト制御部５１０によって配置される。
The virtual
仮想空間画像取得部５０６は、仮想空間生成部５０５で生成した仮想空間の画像を取得する機能部である。仮想空間画像取得部５０６が仮想空間の画像を取得する場合には、位置姿勢特定部５０３で特定した仮想空間におけるＨＭＤ１０２の位置及び姿勢に基づいて視点制御部５１１が仮想空間上の視点を設定する。そして、当該視点から見た場合の仮想空間画像を生成し、これを取得する。この視点に仮想的なカメラを設置し、仮想空間を撮像するようにすればよい。すなわちレンダリングする。
The virtual space
複合現実画像生成部５０７は、現実空間画像取得部５０４で取得した現実空間画像に仮想空間画像取得部５０６で取得した仮想空間画像を重畳することにより、複合現実画像を生成する機能部である。
The mixed reality
表示制御部５０８は、クライアント装置１０１に接続されたＨＭＤ１０２の右目・左目ディスプレイ３２２やクライアント装置１０１に接続されたディスプレイ３１２における各種情報の表示制御を行う機能部である。特に、複合現実画像生成部５０７で生成された複合現実画像をＨＭＤ１０２の右目・左目ディスプレイ３２２に表示させる機能を有する。
The
記憶部５０９は、後述する各種テーブルの情報や仮想空間を生成するための情報、オブジェクト等の情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。本実施形態においては、共通の仮想空間やオブジェクトが各クライアント装置１０１の記憶部５０９で記憶されるものとして説明を行う。
The
オブジェクト制御部５１０は、三次元モデルからなるオブジェクトを仮想空間に配置するための機能部である。仮想空間が生成された場合には、あらかじめ定義された位置及び姿勢でオブジェクトを配置する。必要に応じて、配置されたオブジェクトを異なる位置及び姿勢で再配置する。
The
視点制御部５１１は、現実空間に存在するユーザの位置及び姿勢に基づいて、仮想空間に当該ユーザの視点を設定するための機能部である。現実空間に存在するユーザの位置及び姿勢は、すなわちＨＭＤ１０２の位置及び姿勢である。そのため、ＨＭＤ１０２が備えるオプティカルマーカ２０１の位置及び姿勢を位置姿勢取得部５０２が取得し、位置姿勢特定部５０３によって仮想空間における位置及び姿勢を特定し、その特定した位置及び姿勢に基づいてユーザの視点を仮想空間に設定する。また、視点制御部５１１は、仮想空間における視点の高さを変更したり、視点を移動したりすることも可能である。
The
スケール設定部５１２は、仮想空間に設定される視点の高さや視点の移動量を変更するためのスケール情報をユーザごとに設定するための機能部である。スケール設定部５１２は、ユーザごとに受け付けたスケール情報を、当該ユーザと対応づけて管理する。スケール情報は、ユーザから指定されたパラメータであり、具体的には倍率を示す。例えば、スケール情報が“２”である場合には２倍を示すので、仮想空間に設定される視点の高さを通常の２倍の高さに設定することになる。
The
次にサーバ装置１０３は機能部として、通信制御部５３１と、記憶部５３２とを備える。
Next, the
通信制御部５３１は、サーバ装置１０３と通信可能なクライアント装置１０１と各種情報の送受信を行う機能部である。通信制御部５３１は、前述した通信Ｉ／Ｆコントローラ３０８を通じてクライアント装置１０１と情報の送受信を行う。
The
記憶部５３２は、後述する各種テーブル等の情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。
The
次に、クライアント装置１０１−１から仮想空間を配信し、各クライアント装置１０１で仮想空間を設定する処理の流れについて、図６に示すフローチャートを用いて説明する。
Next, a flow of processing for distributing the virtual space from the client device 101-1 and setting the virtual space in each
ステップＳ６０１では、クライアント装置１０１−１のＣＰＵ３０１は、記憶部５０９の機能によりクライアント装置１０１−１の外部メモリ３１１に記憶された仮想空間情報を取得する。仮想空間情報とは、仮想空間を生成するための各種情報のことである。具体的には、仮想空間の形やその大きさ、また配置するオブジェクトやその配置場所といった、仮想空間を形作るために必要な情報である。この仮想空間情報は、クライアント装置１０１にインストールされている専用のＣＡＤアプリケーションで作成することが可能である。しかしながら、すべてのクライアント装置１０１にこの専用のアプリケーションがインストールされているとは限らない。そこで、後述するステップＳ６０２において、生成した仮想空間情報を他のクライアント装置１０１に配布、すなわち送信する。
In step S601, the
ステップＳ６０２では、クライアント装置１０１−１のＣＰＵ３０１は、通信制御部５０１の機能により、ステップＳ６０１で取得した仮想空間情報をサーバ装置１０３に送信する。
In step S602, the
ステップＳ６０３では、クライアント装置１０１−１のＣＰＵ３０１は、仮想空間生成部５０５の機能により、ステップＳ６０１で取得した仮想空間情報を用いて、仮想空間を生成する（仮想空間生成手段）。生成される仮想空間は、仮想空間情報が示す形や大きさの仮想空間であり、更には仮想空間情報が示すオブジェクトが仮想空間上に配置される。クライアント装置１０１−１には、ＭＲ体験をするための専用のビューワアプリケーションがインストールされており、このビューワアプリケーションによって仮想空間が生成される。すなわち、仮想空間情報を作成するためには、ＣＡＤアプリケーションが必要であり、仮想空間を生成するためには、ビューワアプリケーションが必要となる。
In step S603, the
ステップＳ６０４では、クライアント装置１０１−１のＣＰＵ３０１は、視点制御部５１１の機能により、ステップＳ６０４で生成された仮想空間上にユーザの視点を設定する（視点設定手段）。クライアント装置１０１−１と通信可能なＨＭＤ１０２−１を装着するユーザの視点の高さに基づいて、仮想空間に当該ユーザの視点を設定する。図７は、ステップＳ６０４で仮想空間上に視点が設定された場合を示す図である。図７（ｂ）に示すように、現実空間に存在するユーザの視点７０２（すなわち、ＨＭＤ１０２の位置）の座標が、（０，１５０，０）であった場合、図７（ａ）に示すように仮想空間上の座標（０，１５０，０）の位置に、当該ユーザの視点７０１を設定する。
In step S604, the
ステップＳ６０５では、クライアント装置１０１−１のＣＰＵ３０１は、ＨＭＤ１０２−１を介してユーザに対して複合現実感を体験させるべく、複合現実感提示処理を実行する。複合現実感提示処理の詳細は、後述する図１１に示す。
In step S605, the
一方、ステップＳ６０６では、サーバ装置１０３のＣＰＵ４０１は、通信制御部５３１の機能により、ステップＳ６０２でクライアント装置１０１−１から送信された仮想空間情報を受信する。そして、ステップＳ６０７では、サーバ装置１０３のＣＰＵ４０１は、通信制御部５３１の機能により、ステップＳ６０６で受信した仮想空間情報を、サーバ装置１０３が通信可能なクライアント装置１０１に送信する。ここで、ステップＳ６０６で受信した仮想空間情報の送信元であるクライアント装置１０１−１には、仮想空間情報を送信する必要がないので、送信しないことが望ましい。
On the other hand, in step S606, the
ステップＳ６０８では、クライアント装置１０１−２のＣＰＵ３０１は、通信制御部５０１の機能により、ステップＳ６０７でサーバ装置１０３から送信された仮想空間情報を受信する。そして、受信した仮想空間情報をクライアント装置１０１−２の外部メモリ３１１に記憶する。
In step S608, the
ステップＳ６０９では、クライアント装置１０１−２のＣＰＵ３０１は、仮想空間生成部５０５の機能により、ステップＳ６０８で受信した仮想空間情報を用いて、仮想空間を生成する（仮想空間生成手段）。仮想空間の生成については、ステップＳ６０３と同様である。これにより、いずれのクライアント装置１０１においても、同じ仮想空間が生成されることになる。また、クライアント装置１０１にＣＡＤアプリケーションがインストールされていないと自身で仮想空間情報を作成・編集することはできないが、他のクライアント装置１０１から仮想空間情報を受信することでＣＡＤアプリケーションが不要となる。ただし、ＣＡＤアプリケーションがインストールされていなければ、仮想空間の大きさや形、オブジェクトの配置位置を変更することはできない。すなわち、クライアント装置１０１ごとに異なる大きさや形の仮想空間とすることはできない。
In step S609, the
ステップＳ６１０では、クライアント装置１０１−２のＣＰＵ３０１は、視点制御部５１１の機能により、ステップＳ６０９で生成された仮想空間上にユーザの視点を設定する（視点設定手段）。視点の設定についてもステップＳ６０４と同様である。
In step S610, the
ステップＳ６１１では、クライアント装置１０１−２のＣＰＵ３０１は、ＨＭＤ１０２−２を介してユーザに対して複合現実感を体験させるべく、複合現実感提示処理を実行する。複合現実感提示処理の詳細は、後述する図１１に示す。
In step S611, the
このように、あるクライアント装置１０１から他のクライアント装置１０１に仮想空間情報を配信することで、いずれのクライアント装置１０１においても同じ仮想空間を生成することが可能となる。また、各クライアント装置１０１は、生成した共通の仮想空間を用いて各ユーザに複合現実感を体験させることが可能となる。
In this way, by distributing the virtual space information from one
次に、ユーザごとにスケールを設定する処理の流れについて、図８に示すフローチャートを用いて説明する。 Next, the flow of processing for setting the scale for each user will be described using the flowchart shown in FIG.
図８に示す一連の処理は、図６に示す一連の処理とは別のプロセスとして実行されるものである。そのため、どのようなタイミングで実行されてもよい。つまり、後述する図１１の複合現実感提示処理を行っている間であっても、リアルタイムに任意の倍率にスケール情報を変更することが可能である。 The series of processing shown in FIG. 8 is executed as a different process from the series of processing shown in FIG. Therefore, it may be executed at any timing. That is, it is possible to change the scale information to an arbitrary magnification in real time even while the mixed reality presentation process of FIG. 11 described later is being performed.
ステップＳ８０１では、クライアント装置１０１のＣＰＵ３０１は、表示制御部５０８の機能により、図９に示すようなスケール設定画面９００をディスプレイ３１２に表示する。そして、スケール設定画面９００が備える入力フォームやボタンに対する入力を受け付ける。
In step S801, the
スケール設定画面９００は、スケール情報を設定するための画面である。スケール設定画面９００は、スケール情報を入力するための入力フォーム９０１と、入力フォームに入力されたスケール情報を保存するための設定ボタン９０２等を備える。入力フォーム９０１には、スケール情報、すなわち倍率を入力するための入力フォームと、変更後の視点の高さを入力するための入力フォームとを備える。ユーザはラジオボタンによって、これらのいずれかを選択し、パラメータを入力する。
The
入力フォーム９０１にパラメータが入力された状態で設定ボタン９０２の押下を検知すると、ステップＳ８０２では、クライアント装置１０１のＣＰＵ３０１は、記憶部５０９の機能により、入力フォーム９０１に入力されたパラメータを取得する。そして、取得したパラメータをスケール情報として、ユーザ設定スケール情報１０００（図１０参照）に格納する。ここで、倍率を入力するための入力フォームに入力された場合には、入力された倍率をそのままユーザ設定スケール情報１０００に格納する。一方、変更後の視点の高さを入力するための入力フォームに入力された場合には、仮想空間における現在のユーザの視点の高さと、入力された高さとに基づいて倍率を算出し、算出した倍率をユーザ設定スケール情報１０００に格納する。すなわち、「入力された高さ÷現在のユーザの視点の高さ」で算出すればよい（パラメータ算出手段）。算出方法はこれに限らない。
When the pressing of the
ステップＳ８０３では、クライアント装置１０１のＣＰＵ３０１は、通信制御部５０１の機能により、ステップＳ８０２でユーザ設定スケール情報１０００に格納したスケール情報をサーバ装置１０３に送信する。
In step S803, the
ステップＳ８０４では、サーバ装置１０３のＣＰＵ４０１は、通信制御部５３１の機能により、ステップＳ８０３でクライアント装置１０１から送信されたスケール情報を受信する。そして、ステップＳ８０５では、サーバ装置１０３のＣＰＵ４０１は、記憶部５３２の機能により、ステップＳ８０４で受信したスケール情報を、図１０に示すクライアント情報テーブル１０２０に格納する。
In step S804, the
クライアント情報テーブル１０２０は、サーバ装置１０３の外部メモリ４１１に記憶されるデータテーブルである。クライアント情報テーブル１０２０は、クライアントＩＤ１０２１と、接続先情報１０２２と、スケール情報１０２３と、仮想空間位置姿勢情報１０２４とを備える。尚、クライアント情報テーブル１０２０が備える各項目はあくまで一例であり、これに限らない。
The client information table 1020 is a data table stored in the
クライアントＩＤ１０２１は、クライアント装置１０１ごとに割り振られる一意な識別情報が格納される項目である。接続先情報１０２２は、クライアント装置１０１の接続先を示すＩＰアドレス等の情報が格納される項目である。スケール情報１０２３は、クライアント装置１０１で設定されたスケール情報が格納される項目である。仮想空間位置姿勢情報１０２４は、クライアント装置１０１で設定した、仮想空間におけるユーザの位置及び姿勢を示す情報が格納される項目である。
The
ステップＳ８０４では、クライアント情報テーブル１０２０にスケール情報を格納する際に、新たにレコードを作成し、クライアントＩＤ１０２１を発行する。そして、スケール情報の送信元であるクライアント装置１０１のＩＰアドレス等を接続先情報１０２２に格納し、更に受信したスケール情報をスケール情報１０２３に格納する。
In step S804, when storing the scale information in the client information table 1020, a new record is created and the
本実施形態では、１台のクライアント装置１０１につき１台のＨＭＤ１０２が接続されているため、このＨＭＤ１０２を装着するユーザとクライアント装置１０１とが対応づくことになる。すなわち、クライアント装置１０１に設定したスケール情報は、クライアント装置１０１に接続されたＨＭＤ１０２を装着するユーザに対応するスケール情報である。よって、情報処理システムは、ユーザごとにスケール情報の設定を受け付けて、これを保存することになる。そして、サーバ装置１０３は各ユーザのスケール情報をクライアント情報テーブル１０２０で管理する。
In the present embodiment, since one
次に、複合現実感提示処理の詳細について、図１１に示すフローチャートを用いて説明する。 Next, details of the mixed reality presentation process will be described with reference to the flowchart shown in FIG.
ステップＳ１１０１では、クライアント装置１０１のＣＰＵ３０１は、現実空間画像取得部５０４の機能により、ＨＭＤ１０２の右目・左目ビデオカメラ３２１から現実空間画像を取得し、これをＲＡＭ３０３に記憶する。
In step S1101, the
ステップＳ１１０２では、クライアント装置１０１のＣＰＵ３０１は、位置姿勢取得部５０２の機能により、クライアント装置１０１と通信可能なＨＭＤ１０２の現実空間における位置及び姿勢を示す情報を取得し、ＲＡＭ３０３に記憶する（向き取得手段）。前述した通り、ＨＭＤ１０２が備えるオプティカルマーカ２０１を赤外線カメラ２０２が検知することで特定した位置及び姿勢を示す情報を、赤外線カメラ２０２から取得する。そして、図１０に示す設定情報テーブル１０１０の現在位置姿勢情報１０１２に格納する。すでに現在位置姿勢情報１０１２が格納されている場合には、格納されている位置及び姿勢を示す情報を前位置姿勢情報１０１３にコピーし、新たに取得した位置及び姿勢を示す情報を現在位置姿勢情報１０１２に上書きする。また、仮想空間位置姿勢情報１０１４に格納されている姿勢の情報を、取得した現実空間における姿勢の情報で上書きする（向き変更手段）。
In step S1102, the
例えば、１フレーム前は図７（ｂ）の視点７０２の位置であり、現在のフレームは図１２の視点１２０１の位置である場合には、前位置姿勢情報１０１３に座標（０，１５０，０）、現在位置姿勢情報１０１２に座標（１００，１５０，０）が格納される。尚、ここでいうフレームとは、ＨＭＤ１０２に表示する映像のコマのことである。
For example, if one frame before is the position of the viewpoint 702 in FIG. 7B and the current frame is the position of the
設定情報テーブル１０１０は、クライアント装置１０１の外部メモリ３１１に記憶されるデータテーブルである。設定情報テーブル１０１０は、スケール情報１０１１と、現在位置姿勢情報１０１２と、前位置姿勢情報１０１３と、仮想空間位置姿勢情報１０１４とを備える。
The setting information table 1010 is a data table stored in the
スケール情報１０１１は、仮想空間をユーザが閲覧する際のスケール感を示す倍率が格納される項目である。現在位置姿勢情報１０１２は、現在のフレームにおけるユーザの位置及び姿勢を示す情報が格納される項目である。前位置姿勢情報１０１３は、１つ前のフレームにおけるユーザの位置及び姿勢を示す情報が格納される項目である。仮想空間位置姿勢情報１０１４は、仮想空間におけるユーザの位置及び姿勢を示す情報が格納される項目である。仮想空間位置姿勢情報１０１４には初期値として、前述したステップＳ６０４及びステップＳ６１０で設定された位置及び姿勢を示す情報が格納される。
The
ステップＳ１１０３では、クライアント装置１０１のＣＰＵ３０１は、位置姿勢特定部５０３の機能により、現実空間におけるＨＭＤ１０２の移動量を算出する。より具体的には、１フレーム前の時点で取得したＨＭＤ１０２の現実空間における位置（前位置姿勢情報１０１３）と、現時点で取得したＨＭＤ１０２の位置（現在位置姿勢情報１０１２）とを用いて、どのくらい移動したのかを算出（取得）する（移動量取得手段）。例えば、１フレーム前の時点は図７（ｂ）の視点７０２の位置（座標（０，１５０，０））で、現時点では図１２に示す視点１２０１の位置（座標（１００，１５０，０））だった場合、Ｘ軸方向に１００ｃｍ移動していることがわかる。よって、この１００ｃｍを現実空間におけるＨＭＤ１０２の移動量とする。二点間の距離は例えば、三平方の定理等によって算出してもよい。算出方法は特に問わない。
In step S1103, the
ステップＳ１１０４では、クライアント装置１０１のＣＰＵ３０１は、ユーザごとにスケール設定を行うべく、スケール設定処理を実行する。スケール設定処理の詳細は、後述する図１６に示す。スケール設定処理を実行することで、設定情報テーブル１０１０のスケール情報１０１１に倍率が格納される。
In step S1104, the
ステップＳ１１０５では、クライアント装置１０１のＣＰＵ３０１は、視点制御部５１１の機能により、仮想空間に設定されたユーザの視点の高さを、ステップＳ１１０４で設定した当該ユーザに対応するスケール情報に応じて変更する（視点変更手段）。そして、変更後の視点の位置を示す情報で、１フレーム前の情報が格納されている仮想空間位置姿勢情報１０１４の位置を示す情報を上書きする。より具体的には、図７（ａ）に示すように、仮想空間におけるユーザの視点１２０１が座標（０，１５０，０）だった場合、垂直座標に対してスケール情報の値を乗算する。すなわち、本実施形態における垂直座標はＹ座標であるので、Ｙ座標である“１５０”に例えば当該ユーザに対応するスケール情報１０１１の値である“１０”を乗算する。その結果、図１３に示すように、ユーザの視点１３０１は座標（０，１５００，０）となる。
In step S1105, the
ステップＳ１１０６では、クライアント装置１０１のＣＰＵ３０１は、視点制御部５１１の機能により、ステップＳ１１０３で算出した移動量とステップＳ１１０４で設定した当該ユーザに対応するスケール情報とを用いて、仮想空間上の視点の移動量を算出する。すなわち、ステップＳ１１０３で算出した移動量にスケール情報１０１１の値を乗算することで、仮想空間上の視点の移動量を算出する（移動量決定手段）。
In step S1106, the
ステップＳ１１０７では、クライアント装置１０１のＣＰＵ３０１は、視点制御部５１１の機能により、ステップＳ１１０６で算出した移動量を用いて、仮想空間上のユーザの視点を移動する（視点移動手段）。すなわち、視点の高さを変更した後の仮想空間上のユーザの視点の位置を示す情報は仮想空間位置姿勢情報１０１４に格納されているので、この位置に算出した移動量を加算する。例えば、図１３に示すように、高さを変更した後のユーザの視点１３０１の座標は、（０，１５００，０）である。これに、ステップＳ１１０３で算出した移動量（Ｘ軸方向に１００ｃｍ）にスケール情報１０１１（例えば、“１０”）を乗算して、１フレーム前の仮想空間における視点の位置に加算する。つまり、現実空間ではＸ軸方向に１００ｃｍしか移動していないが、仮想空間ではその１０倍の１０００ｃｍ移動することになる。よって、図１４の視点１４０１に示すように、この視点１４０１の座標は、（１０００，１５００，０）となる。このようにして、スケールに応じた高さと移動量で仮想空間におけるユーザの視点を移動させる。これをクライアント装置１０１ごとに実行することで、ユーザごとに設定されたスケール情報に応じた視点の高さに変更でき、更には当該スケール情報に応じた移動量で仮想空間を移動することが可能となる。
In step S1107, the
そして、あくまでスケール情報を用いるのは仮想空間におけるユーザの視点の位置に対する変更だけであり、その視点の向き（姿勢）に対してはスケール情報を適用しない。例えば、ユーザの頭が右に９０度回転した場合に、この回転角度にスケール情報が示す値を乗算してしまうと、意図しない方向を向いてしまうことになる。これを防ぐために、現実空間においてユーザの視点の向きが移動した場合であっても、この移動量にはスケール情報を乗算しない。 Then, the scale information is used only for the change of the position of the viewpoint of the user in the virtual space, and the scale information is not applied to the direction (posture) of the viewpoint. For example, when the user's head is rotated 90 degrees to the right, if this rotation angle is multiplied by the value indicated by the scale information, the user will face an unintended direction. In order to prevent this, even if the direction of the user's viewpoint moves in the physical space, this movement amount is not multiplied by the scale information.
ステップＳ１１０８では、クライアント装置１０１のＣＰＵ３０１は、通信制御部５０１の機能により、クライアント装置１０１に記憶された仮想空間位置姿勢情報１０１４とスケール情報１０１１とをサーバ装置１０３に送信する。送信する仮想空間位置姿勢情報１０１４は、ステップＳ１１０５で視点の高さが変更され、ステップＳ１１０７で視点が移動されたものである。また、送信するスケール情報１０１１は、ステップＳ１１０４で設定されたものである。
In step S1108, the
ステップＳ１１０９では、サーバ装置１０３のＣＰＵ４０１は、通信制御部５３１の機能により、クライアント装置１０１から送信された仮想空間位置姿勢情報１０１４とスケール情報１０１１とを受信する。受信した仮想空間位置姿勢情報１０１４とスケール情報１０１１とは、クライアント情報テーブル１０２０の仮想空間位置姿勢情報１０２４とスケール情報１０２３とにそれぞれ上書きする。ここで更新するレコードは、各情報の送信元であるクライアント装置１０１に対応するレコードである。
In step S1109, the
ステップＳ１１１０では、サーバ装置１０３のＣＰＵ４０１は、通信制御部５３１の機能により、クライアント情報テーブル１０２０の各レコード（以下、クライアント情報という。）を、送信元のクライアント装置１０１に対して送信する。
In step S1110, the
ステップＳ１１１１では、サーバ装置１０３のＣＰＵ３０１は、通信制御部５０１の機能により、サーバ装置１０３から送信されたクライアント情報を受信する。
In step S1111, the
ステップＳ１１１２では、サーバ装置１０３のＣＰＵ３０１は、オブジェクト制御部５１０の機能により、他のユーザを示すアバターを仮想空間上に配置する（三次元モデル配置手段）。ステップＳ１１１１で受信したクライアント情報には、他のクライアント装置１０１が管理している仮想空間位置姿勢情報１０１４とスケール情報１０１１とが含まれている。これを利用することで、仮想空間上に他のユーザを示す三次元モデルであるアバターを配置する。より具体的には、受信したクライアント情報に含まれる仮想空間位置姿勢情報１０２４が示す位置及び姿勢で仮想空間上に他のユーザの視点を設定し、その視点が頭の位置となるようアバターを配置する。そしてこのアバターの大きさをスケール情報１０２３が示す倍率で拡大または縮小する（サイズ変更手段）。このとき頭の位置は固定しておく。また、他のユーザのアバターだけを仮想空間に配置することが望ましい。自分のアバターまでも仮想空間に配置してしまうと、アバターの形状によってはアバターを示す三次元モデルによって視界を遮られる可能性があるためである。
In step S1112, the
このようにすることで、同一の仮想空間を共有している他のユーザがどこにいるのか、更にはそのユーザがどういうスケール感で仮想空間を閲覧しているのかを把握することができるようになる。図１５は、アバターを配置した場合の様子を示す。スケール情報が１０倍の他のユーザのアバターを仮想空間に配置すると、図１５の１５０１に示すような三次元モデルが仮想空間上に表示される。一方、スケール情報が１倍の他のユーザのアバターを仮想空間に配置すると、図１５の１５０２に示すような三次元モデルが仮想空間上に配置される。このように、アバターの大きさをスケール情報に応じて調整することで、俯瞰的に仮想空間を見ているのか、等身大で仮想空間を見ているのかといった状況を把握することが可能となる。
By doing so, it becomes possible to grasp where other users who share the same virtual space are, and further what kind of scale the user is viewing in the virtual space. .. FIG. 15 shows how an avatar is placed. When an avatar of another user whose scale information is 10 times is placed in the virtual space, a three-dimensional model as shown by 1501 in FIG. 15 is displayed in the virtual space. On the other hand, when an avatar of another user whose scale information is 1 is placed in the virtual space, a three-
ステップＳ１１１３では、クライアント装置１０１のＣＰＵ３０１は、仮想空間画像取得部５０６の機能により、仮想空間を撮像することにより仮想空間画像を取得し、これをＲＡＭ３０３等に記憶する。すなわち、仮想空間位置姿勢情報１０１４が示す視点から見た仮想空間を撮像する（レンダリングする）。これにより仮想空間画像を生成し、これをＲＡＭ３０３等に記憶する。尚、ＨＭＤ１０２の右目・左目ディスプレイ３２２のそれぞれに表示するために右目用の仮想空間画像と左目用の仮想空間画像の２枚を取得する。
In step S1113, the
ステップＳ１１１４では、クライアント装置１０１のＣＰＵ３０１は、複合現実画像生成部５０７の機能により、ステップＳ１１０１で取得した現実空間画像とステップＳ１１１３で取得した仮想空間画像とをＲＡＭ３０３等から読み出す。そして、当該現実空間画像に当該仮想空間画像を重畳し、複合現実画像を生成する。生成した複合現実画像はＲＡＭ３０３等に記憶する。尚、前述した通り、現実空間画像と仮想空間画像とは右目用と左目用の２枚ずつがＲＡＭ３０３等に記憶されているので、右目用の現実空間画像に右目用の仮想空間画像を重畳し、左目用の現実空間画像に左目用の仮想空間画像を重畳する。
In step S1114, the
ステップＳ１１１５では、クライアント装置１０１のＣＰＵ３０１は、表示制御部５０８の機能により、ステップＳ１１１６で生成した複合現実画像をＲＡＭ３０３等から読み出す。そして、ビデオコントローラ３０６を通じてＨＭＤ１０２の右目・左目ディスプレイ３２２に表示する（仮想空間提示手段）。ＲＡＭ３０３等に記憶された複合現実画像は、右目用と左目用の２枚が存在する。そのため、右目用の複合現実画像を右目・左目ディスプレイ３２２の右目のディスプレイに表示するよう制御し、左目用の複合現実画像を右目・左目ディスプレイ３２２の左目のディスプレイに表示するよう制御する。
In step S1115, the
ステップＳ１１１６では、クライアント装置１０１のＣＰＵ３０１は、ＨＭＤ１０２を装着しているユーザに複合現実感を提示する処理の終了指示があったか否かを判定する。例えば、前述したステップＳ１１０１乃至ステップＳ１１１５の処理を実行するクライアント装置１０１のアプリケーションの停止指示や終了指示があったか否かを判定する。終了指示があったと判定した場合には、本一連の処理を終了する。終了指示があったと判定しなかった場合、すなわち終了指示がなかった場合にはステップＳ１１０１に処理を戻し、終了指示があるまでステップＳ１１０１乃至ステップＳ１１１５の処理を繰り返す。このように、繰り返しステップＳ１１０１乃至ステップＳ１１１５の処理を実行することで、リアルタイムに情報を更新して提示することができる。
In step S1116, the
次に、スケール設定処理の詳細について、図１６に示すフローチャートを用いて説明する。 Next, details of the scale setting process will be described with reference to the flowchart shown in FIG.
ステップＳ１６０１では、クライアント装置１０１のＣＰＵ３０１は、記憶部５０９の機能により、仮想空間位置姿勢情報１０１４を参照する。
In step S1601, the
ステップＳ１６０２では、クライアント装置１０１のＣＰＵ３０１は、オブジェクト制御部５１０の機能により、仮想空間位置姿勢情報１０１４が示すユーザの視点の位置が、仮想空間に配置されたいずれかのオブジェクトの内部であるか否かを判定する。ユーザの視点の位置である座標と、オブジェクトを取り囲むバウンディングボックスとを比較することで、ユーザの視点の位置が、オブジェクトの内部であるか否かを判定する。オブジェクトの内部であると判定されると、ユーザの視点の位置に応じて仮想空間に配置されるオブジェクトが選択される。バウンディングボックスの座標は、図１０に示すオブジェクト情報テーブル１０３０のバウンディングボックス１０３３で管理されている。
In step S1602, the
オブジェクト情報テーブル１０３０は、クライアント装置１０１の外部メモリ３１１で記憶されているデータテーブルである。オブジェクト情報テーブル１０３０は、図６で前述した仮想空間情報に含まれる情報である。オブジェクトＩＤ１０３１は、オブジェクトごとに割り振られる一意な識別情報が格納されている項目である。オブジェクト固有スケール情報１０３２は、オブジェクトごとに対応するスケール情報が格納されている項目である。バウンディングボックス１０３３は、オブジェクトを囲む直方体の座標が格納されている項目である。
The object information table 1030 is a data table stored in the
このバウンディングボックス１０３３が示す座標の範囲にユーザの視点が位置しているのであれば、オブジェクトの内部であると判定される。ユーザの視点の位置がいずれかのオブジェクトの内部であると判定した場合には、ステップＳ１６０４に処理を進める。ユーザの視点の位置がいずれかのオブジェクトの内部でないと判定した場合には、ステップＳ１６０３に処理を進める。
If the user's viewpoint is located within the range of coordinates indicated by the
ステップＳ１６０３では、クライアント装置１０１のＣＰＵ３０１は、スケール設定部５１２の機能により、ユーザ設定スケール情報１０００に格納されている倍率を取得し、ＲＡＭ３０３に保存する。
In step S1603, the
一方、ステップＳ１６０４では、クライアント装置１０１のＣＰＵ３０１は、オブジェクト制御部５１０の機能により、ユーザの視点が内部にあるとされたオブジェクトに対応するスケール情報が存在するか否かを判定する。オブジェクトに対応するスケール情報は、当該オブジェクトのオブジェクト固有スケール情報１０３２を参照し、ここに倍率が格納されていれば、オブジェクトに対応するスケール情報が存在すると判定する。ユーザの視点が内部にあるとされたオブジェクトに対応するスケール情報が存在すると判定した場合には、ステップＳ１６０５に処理を進める。ユーザの視点が内部にあるとされたオブジェクトに対応するスケール情報が存在しないと判定した場合には、ステップＳ１６０３に処理を進める。
On the other hand, in step S1604, the
ステップＳ１６０５では、クライアント装置１０１のＣＰＵ３０１は、スケール設定部５１２の機能により、ユーザの視点が内部にあるとされたオブジェクトに対応するスケール情報を、オブジェクト固有スケール情報１０３２から取得する。すなわち、このオブジェクト固有スケール情報１０３２に格納されている倍率を取得し、ＲＡＭ３０３に保存する。
In step S1605, the
ステップＳ１６０６では、クライアント装置１０１のＣＰＵ３０１は、スケール設定部５１２の機能により、ステップＳ１６０３またはステップＳ１６０５でＲＡＭ３０３に保存したスケール情報で、スケール情報１０１１を上書きする。
In step S1606, the
図１７は、ユーザの視点がオブジェクトの内部に存在する場合の一例を示す。スケール情報１０１１が“１０”倍のユーザが１５０１である。このユーザが家の内部を見るために自身の視点をオブジェクトの内部に移動させると、バウンディングボックス１７０１と視点の位置とを比較する。これにより、ユーザの視点がオブジェクトの内部に存在すると判定されると、このオブジェクトが選択され、選択された当該オブジェクトに対応するオブジェクト固有スケール情報１０３２が取得できる。図１７の場合には、オブジェクト固有スケール情報１０３２として“１”倍が取得できたとする。そうすると、このパラメータをスケール情報１０１１に設定される。この設定されたスケール情報１０１１を用いて、視点の高さを調整すると、１７０２に示すようなスケール感になる。このように、ユーザが接触したオブジェクトに対応するスケール情報で、当該ユーザの視点の高さや移動量を変更することが可能となるので、例えば建築物の内部を閲覧する際にスケール設定画面９００を介してスケールを設定する必要がなくなる。すなわち、オブジェクトに接触するだけで自動的にスケールを変更することが可能となる。
FIG. 17 shows an example in which the user's viewpoint exists inside the object. The number of users whose
次に、第２の実施形態について説明する。第２の実施形態は、第１の実施形態における図１６の変形例である。第１の実施形態では、ユーザの視点がオブジェクトの内部に存在するか否かを判定したが、第２の実施形態ではオブジェクトが存在する領域に視点が存在するか否かによって、スケールの調整を行う判定する仕組みである。ここでいう領域とは平面領域のことであり、建築物でいえば土地の部分に相当する。つまり、その建築物が配置されている土地の部分に入ると、ユーザが建築物の中を覗き込むことなく、その建築物に対応するスケール情報が取得できるものである。以下、この説明を行う。 Next, a second embodiment will be described. The second embodiment is a modified example of FIG. 16 in the first embodiment. In the first embodiment, it is determined whether or not the user's viewpoint is inside the object, but in the second embodiment, the scale adjustment is performed depending on whether or not the viewpoint exists in the area where the object exists. This is a judgment mechanism. The area referred to here is a plane area, and corresponds to a land portion in a building. That is, when the user enters the portion of the land where the building is located, the scale information corresponding to the building can be acquired without the user looking into the building. This will be described below.
第２の実施形態は、第１の実施形態における図１６の変形例であることから、図１６及び図１０のオブジェクト情報テーブル１０３０以外の図については、第１の実施形態と同様であるので説明を省略する。 Since the second embodiment is a modification of FIG. 16 in the first embodiment, the drawings other than the object information table 1030 of FIGS. 16 and 10 are the same as those of the first embodiment, and therefore will be described. Is omitted.
第２の実施形態における、スケール設定処理の詳細について、図１８に示すフローチャートを用いて説明する。第２の実施形態におけるスケール設定処理は、第１の実施形態と同様に、図１１のステップＳ１１０４における処理である。 Details of the scale setting process in the second embodiment will be described with reference to the flowchart shown in FIG. The scale setting process in the second embodiment is the process in step S1104 of FIG. 11 as in the first embodiment.
ステップＳ１８０１では、クライアント装置１０１のＣＰＵ３０１は、記憶部５０９の機能により、仮想空間位置姿勢情報１０１４を参照する。
In step S1801, the
ステップＳ１８０２では、クライアント装置１０１のＣＰＵ３０１は、オブジェクト制御部５１０の機能により、仮想空間位置姿勢情報１０１４が示すユーザの視点の位置が、仮想空間に配置されたいずれかのオブジェクトの領域内であるか否かを判定する。ユーザの視点の位置である座標（例えば、Ｘ座標とＺ座標）と、オブジェクトが配置された領域（例えば、ＸＺ平面）を比較することで、ユーザの視点の位置が、オブジェクトの領域内であるか否かを判定する。ユーザの視点の位置がオブジェクトの領域内であると判定された場合には、ステップＳ１８０５に処理を進める。ユーザの視点の位置がオブジェクトの領域内でないと判定した場合には、ステップＳ１８０３に処理を進める。
In step S1802, the
ステップＳ１８０３では、クライアント装置１０１のＣＰＵ３０１は、スケール設定部５１２の機能により、変数Ｆｌｇに“０”を代入する。変数Ｆｌｇは視点がいずれかのオブジェクトの領域内にあり、当該オブジェクトに対応するスケール情報を用いてユーザの視点が調整されているか否かを示すフラグである。
In step S1803, the
ステップＳ１８０４では、クライアント装置１０１のＣＰＵ３０１は、スケール設定部５１２の機能により、ユーザ設定スケール情報１０００に格納されている倍率を取得し、ＲＡＭ３０３に保存する。
In step S1804, the
一方、ステップＳ１８０５では、クライアント装置１０１のＣＰＵ３０１は、オブジェクト制御部５１０の機能により、ユーザの視点が領域内にあるとされたオブジェクトに対応するスケール情報が存在するか否かを判定する。オブジェクトに対応するスケール情報は、当該オブジェクトのオブジェクト固有スケール情報１０３２を参照し、ここに倍率が格納されていれば、オブジェクトに対応するスケール情報が存在すると判定する。ユーザの視点が領域内にあるとされたオブジェクトに対応するスケール情報が存在すると判定した場合には、ステップＳ１８０６に処理を進める。ユーザの視点が領域内にあるとされたオブジェクトに対応するスケール情報が存在しないと判定した場合には、ステップＳ１８０３に処理を進める。
On the other hand, in step S1805, the
ステップＳ１８０６では、クライアント装置１０１のＣＰＵ３０１は、スケール設定部５１２の機能により、変数Ｆｌｇが“０”であるか否かを判定する。変数Ｆｌｇが“０”であると判定された場合には、ステップＳ１８０７に処理を進める。変数Ｆｌｇが“１”であると判定された場合には、ステップＳ１８１０に処理を進める。
In step S1806, the
ステップＳ１８０７では、クライアント装置１０１のＣＰＵ３０１は、スケール設定部５１２の機能により、ユーザの視点が領域内にあるとされたオブジェクトに、スケール適用方向１９３１が存在するか否かを判定する。スケール適用方向１９３１は、図１９に示すオブジェクト情報テーブル１０３０の項目である。第２の実施形態におけるオブジェクト情報テーブル１０３０は、第１の実施形態で備えていたバウンディングボックス１０３３の代わりに、このスケール適用方向１９３１を新たに備えている。スケール適用方向１９３１は、オブジェクト固有スケール情報１０３２を適用すべき方向を示す情報が格納される項目である。ユーザの視点が領域内にあるとされたオブジェクトに、スケール適用方向１９３１が存在すると判定した場合には、ステップＳ１８０８に処理を進める。ユーザの視点が領域内にあるとされたオブジェクトに、スケール適用方向１９３１が存在しない（スケール適用方向１９３１が“ＮＵＬＬ”である）と判定した場合には、ステップＳ１８０９に処理を進める。
In step S1807, the
ステップＳ１８０８では、クライアント装置１０１のＣＰＵ３０１は、オブジェクト制御部５１０の機能により、ユーザの視点が領域内にあるとされたオブジェクトのスケール適用方向１９３１と、当該視点の移動方向とが合致するか否かを判定する。つまりスケール適用方向１９３１という所定の条件を満たすか否かを判定する。スケール適用方向１９３１は、ある程度幅を持った方向である。そのため、スケール適用方向１９３１と視点の移動方向とが同様の移動方向であればよい。ユーザの視点が領域内にあるとされたオブジェクトのスケール適用方向１９３１と、当該視点の移動方向とが合致すると判定した場合には、ステップＳ１８０９に処理を進める。ユーザの視点が領域内にあるとされたオブジェクトのスケール適用方向１９３１と、当該視点の移動方向とが合致しないと判定しなかった場合には、ステップＳ１８０３に処理を進める。
In step S1808, the
ステップＳ１８０９では、クライアント装置１０１のＣＰＵ３０１は、スケール設定部５１２の機能により、変数Ｆｌｇに“１”を代入する。
In step S1809, the
ステップＳ１８１０では、クライアント装置１０１のＣＰＵ３０１は、スケール設定部５１２の機能により、ユーザの視点が領域内にあるとされたオブジェクトに対応するスケール情報を、オブジェクト固有スケール情報１０３２から取得する。すなわち、このオブジェクト固有スケール情報１０３２に格納されている倍率を取得し、ＲＡＭ３０３に保存する。
In step S1810, the
ステップＳ１８１１では、クライアント装置１０１のＣＰＵ３０１は、スケール設定部５１２の機能により、ステップＳ１８０４またはステップＳ１８１０でＲＡＭ３０３に保存したスケール情報で、スケール情報１０１１を上書きする。このようにして、ユーザの視点の位置がオブジェクトの配置された領域内にあるか否かに応じて、当該オブジェクトのスケール情報とユーザが設定したスケール情報のいずれかを適用することが可能となる。
In step S1811, the
例えば、図２０に示すように仮想空間でユーザ２００１が歩き回っている際に、建築物のオブジェクトが配置された領域に視点が移動したとする。この場合に、このオブジェクトに対応するオブジェクト固有スケール情報１０３２を取得し、スケール情報１０１１に設定する。つまり、ユーザはオブジェクトが配置された領域内に移動するだけで、そのオブジェクトに設定されたスケール感により、当該オブジェクトを閲覧することができる。
For example, as shown in FIG. 20, when the
また、図２１に示すように、オブジェクトが配置された領域にどの方向から侵入したのかによって、オブジェクト固有スケール情報１０３２を適用するのか否かを決定することができる。例えば、オブジェクトのスケール適用方向１９３１が“１８０度±６０度”であった場合を想定する。当該オブジェクトの１２０度から２４０度の範囲の方向からユーザが侵入した場合（２１０２）には、オブジェクト固有スケール情報１０３２をスケール情報１０１１に設定する（図２１の例で言えば、１０倍から１倍にする）。こうして設定されると、図２０のユーザ２００１は、２００２に示すように視点の位置が変更される。しかし、これ以外の方向から進入した場合（２１０１）は、元のスケール情報のままとなる（図２１の例で言えば、１０倍のままとなる）。このように、オブジェクト固有スケール情報１０３２を適用する方向を制限することにより、オブジェクトが配置された領域に意図せず侵入してしまった場合であっても、オブジェクト固有スケール情報１０３２が適用されずに済むという効果がある。
Further, as shown in FIG. 21, it is possible to determine whether or not to apply the object-
以上説明したように、仮想空間におけるユーザの視点の高さを変更した場合でも、ユーザごとの適切な移動量で仮想空間を移動することが可能となる。 As described above, even when the height of the viewpoint of the user in the virtual space is changed, it is possible to move in the virtual space with an appropriate amount of movement for each user.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。 The present invention can be embodied as, for example, a system, an apparatus, a method, a program, a storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. It may be applied to a device consisting of one device.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 It should be noted that the present invention includes a software program that realizes the functions of the above-described embodiments, which directly or remotely supplies the system or device with the software program. The present invention also includes a case in which the computer of the system or the device reads and executes the supplied program code.
したがって、本発明の機能処理をコンピュータで実現（実行可能と）するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Therefore, the program code itself installed in the computer to implement (execute) the functional processing of the present invention by the computer also implements the present invention. That is, the present invention also includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 In that case, the program may take any form such as an object code, a program executed by an interpreter, or script data supplied to an OS as long as it has the function of the program.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。 Examples of the recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, a magneto-optical disk, MO, a CD-ROM, a CD-R, a CD-RW, and the like. There are also magnetic tapes, non-volatile memory cards, ROMs, DVDs (DVD-ROMs, DVD-Rs), and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another method of supplying the program, a browser of a client computer is used to connect to a home page on the Internet. The computer program itself of the present invention or a compressed file containing an automatic installation function can be supplied from the home page by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from different homepages. That is, a WWW server that allows a plurality of users to download a program file for implementing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 Further, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and the key information for decrypting the encryption is downloaded from the home page via the Internet to users who have satisfied predetermined conditions. Let It is also possible to execute the encrypted program by using the downloaded key information and install the program in a computer to realize the program.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, the OS or the like running on the computer performs a part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted in the computer or a function expansion unit connected to the computer. After that, based on the instructions of the program, a CPU or the like included in the function expansion board or the function expansion unit performs a part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of specific embodiments for carrying out the present invention, and the technical scope of the present invention should not be limitedly interpreted by these. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１０１ クライアント装置
１０２ ＨＭＤ
１０３ サーバ装置
２０１ オプティカルマーカ
２０２ 赤外線カメラ
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ システムバス
３０５ 入力コントローラ
３０６ ビデオコントローラ
３０７ メモリコントローラ
３０８ 通信Ｉ／Ｆコントローラ
３０９ 汎用バス
３１０ 入力デバイス
３１１ 外部メモリ
３１２ ディスプレイ
３２１ 右目・左目ビデオカメラ
３２２ 右目・左目ディスプレイ
101
103
302 ROM
303 RAM
304
Claims (7)
前記仮想空間に設定される視点の高さを変更するためのパラメータをユーザごとに記憶する記憶手段と、
現実空間に存在するユーザの視点の高さに基づいて、前記仮想空間に当該ユーザの視点を設定する視点設定手段と、
前記視点設定手段で設定された前記ユーザの視点の高さを、前記記憶手段に記憶される当該ユーザに対応する前記パラメータに応じて変更する視点変更手段と、
前記現実空間における前記ユーザの移動量を取得する移動量取得手段と、
前記移動量取得手段で移動量を取得されたユーザに対応する前記パラメータと前記移動量取得手段で取得した当該ユーザの移動量とを用いて、前記視点変更手段で変更された当該ユーザの視点の移動量を決定する移動量決定手段と、
前記移動量決定手段で決定された移動量で前記ユーザの視点を移動する視点移動手段と
を備えることを特徴とする情報処理システム。 An information processing system for presenting a virtual space,
Storage means for storing, for each user, a parameter for changing the height of the viewpoint set in the virtual space,
Viewpoint setting means for setting the viewpoint of the user in the virtual space based on the height of the viewpoint of the user existing in the real space,
Viewpoint changing means for changing the height of the viewpoint of the user set by the viewpoint setting means according to the parameter corresponding to the user stored in the storage means,
Movement amount acquisition means for acquiring the movement amount of the user in the physical space,
Using the parameter corresponding to the user whose movement amount is acquired by the movement amount acquisition unit and the movement amount of the user acquired by the movement amount acquisition unit, the viewpoint of the user changed by the viewpoint changing unit A movement amount determining means for determining the movement amount,
An information processing system, comprising: viewpoint moving means for moving the viewpoint of the user by the movement amount determined by the movement amount determining means.
前記仮想空間に前記ユーザを示す三次元モデルを配置する三次元モデル配置手段と、
前記三次元モデル配置手段で配置された三次元モデルを、当該三次元モデルが示すユーザに対応する前記パラメータに応じたサイズに変更するサイズ変更手段と
を更に備えることを特徴とする請求項１に記載の情報処理システム。 The information processing system,
A three-dimensional model placement means for placing a three-dimensional model showing the user in the virtual space,
The size change means for changing the size of the three-dimensional model placed by the three-dimensional model placement means to a size corresponding to the parameter corresponding to the user indicated by the three-dimensional model is further provided. Information processing system described.
前記現実空間に存在するユーザの視点の高さと前記仮想空間に設定するユーザの視点の高さとに応じて、当該ユーザに対応する前記パラメータを算出するパラメータ算出手段
を更に備えることを特徴とする請求項１または２に記載の情報処理システム。 The information processing system,
It further comprises parameter calculation means for calculating the parameter corresponding to the user according to the height of the viewpoint of the user existing in the real space and the height of the viewpoint of the user set in the virtual space. The information processing system according to item 1 or 2.
前記現実空間における前記ユーザの向きを取得する向き取得手段と、
前記視点移動手段で移動された視点の向きを、前記向き取得手段で取得した向きに変更する向き変更手段と
を更に備え、
前記向き変更手段は、前記移動量取得手段で取得した当該ユーザの移動量は用いずに、前記仮想空間における視点の向きを変更することを特徴とする請求項１乃至３のいずれか1項に記載の情報処理システム。 The information processing system,
Orientation acquisition means for acquiring the orientation of the user in the physical space,
And a direction changing unit for changing the direction of the viewpoint moved by the viewpoint moving unit to the direction acquired by the direction acquiring unit,
The said direction changing means changes the direction of the viewpoint in the said virtual space, without using the movement amount of the said user acquired by the said movement amount acquisition means, The any one of Claim 1 thru | or 3 characterized by the above-mentioned. Information processing system described.
前記ユーザごとに仮想空間を生成する仮想空間生成手段と、
前記仮想空間生成手段で生成された仮想空間を、当該仮想空間に対応する前記ユーザに対して提示する仮想空間提示手段と
を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。 The information processing system,
Virtual space generation means for generating a virtual space for each user,
5. A virtual space presenting means for presenting the virtual space generated by the virtual space generating means to the user corresponding to the virtual space, further comprising: Information processing system described.
前記情報処理システムの視点設定手段が、現実空間に存在するユーザの視点の高さに基づいて、前記仮想空間に当該ユーザの視点を設定する視点設定ステップと、
前記情報処理システムの視点変更手段が、前記視点設定ステップで設定された前記ユーザの視点の高さを、前記記憶手段に記憶される当該ユーザに対応する前記パラメータに応じて変更する視点変更ステップと、
前記情報処理システムの移動量取得手段が、前記現実空間における前記ユーザの移動量を取得する移動量取得ステップと、
前記情報処理システムの移動量決定手段が、前記移動量取得ステップで移動量を取得されたユーザに対応する前記パラメータと前記移動量取得ステップで取得した当該ユーザの移動量とを用いて、前記視点変更ステップで変更された当該ユーザの視点の移動量を決定する移動量決定ステップと、
前記情報処理システムの視点移動手段が、前記移動量決定ステップで決定された移動量で前記ユーザの視点を移動する視点移動ステップと
を備えることを特徴とする情報処理システムの制御方法。 A control method of an information processing system for presenting a virtual space, comprising a storage unit that stores a parameter for changing a height of a viewpoint set in the virtual space for each user,
A viewpoint setting step of the viewpoint setting means of the information processing system, which sets the viewpoint of the user in the virtual space based on the height of the viewpoint of the user existing in the physical space,
A viewpoint changing step of the viewpoint changing means of the information processing system changing the height of the viewpoint of the user set in the viewpoint setting step according to the parameter corresponding to the user stored in the storage means; ,
A movement amount acquisition means of the information processing system, a movement amount acquisition step of acquiring the movement amount of the user in the physical space,
The movement amount determination means of the information processing system uses the parameter corresponding to the user whose movement amount is acquired in the movement amount acquisition step and the movement amount of the user acquired in the movement amount acquisition step, and the viewpoint A movement amount determining step of determining the movement amount of the viewpoint of the user changed in the changing step,
The viewpoint moving means of the information processing system comprises a viewpoint moving step of moving the viewpoint of the user by the moving amount determined in the moving amount determining step.
前記情報処理システムを、
現実空間に存在するユーザの視点の高さに基づいて、前記仮想空間に当該ユーザの視点を設定する視点設定手段と、
前記視点設定手段で設定された前記ユーザの視点の高さを、前記記憶手段に記憶される当該ユーザに対応する前記パラメータに応じて変更する視点変更手段と、
前記現実空間における前記ユーザの移動量を取得する移動量取得手段と、
前記移動量取得手段で移動量を取得されたユーザに対応する前記パラメータと前記移動量取得手段で取得した当該ユーザの移動量とを用いて、前記視点変更手段で変更された当該ユーザの視点の移動量を決定する移動量決定手段と、
前記移動量決定手段で決定された移動量で前記ユーザの視点を移動する視点移動手段
として機能させることを特徴とするプログラム。
A program capable of executing a control method of an information processing system for presenting a virtual space, comprising a storage unit that stores a parameter for changing a height of a viewpoint set in the virtual space for each user,
The information processing system,
Viewpoint setting means for setting the viewpoint of the user in the virtual space based on the height of the viewpoint of the user existing in the real space,
Viewpoint changing means for changing the height of the viewpoint of the user set by the viewpoint setting means according to the parameter corresponding to the user stored in the storage means,
Movement amount acquisition means for acquiring the movement amount of the user in the physical space,
Using the parameter corresponding to the user whose movement amount is acquired by the movement amount acquisition unit and the movement amount of the user acquired by the movement amount acquisition unit, the viewpoint of the user changed by the viewpoint changing unit A movement amount determining means for determining the movement amount,
A program causing a viewpoint moving means for moving the viewpoint of the user by the movement amount determined by the movement amount determining means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019232295A JP2020074108A (en) | 2019-12-24 | 2019-12-24 | Information processing system, control method thereof, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019232295A JP2020074108A (en) | 2019-12-24 | 2019-12-24 | Information processing system, control method thereof, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015213902A Division JP6638326B2 (en) | 2015-10-30 | 2015-10-30 | Information processing system, control method thereof, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020074108A true JP2020074108A (en) | 2020-05-14 |
| JP2020074108A5 JP2020074108A5 (en) | 2020-08-20 |
Family
ID=70610169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019232295A Pending JP2020074108A (en) | 2019-12-24 | 2019-12-24 | Information processing system, control method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020074108A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021261346A1 (en) * | 2020-06-23 | 2021-12-30 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device, method, and program, and information processing system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005115595A (en) * | 2003-10-07 | 2005-04-28 | Canon Inc | Mixed reality presentation apparatus |
| JP2005148844A (en) * | 2003-11-11 | 2005-06-09 | Fukuda Gakuen | Display system |
| JP2005293413A (en) * | 2004-04-02 | 2005-10-20 | Matsushita Electric Works Ltd | Movable unit in virtual space |
| JP2009093478A (en) * | 2007-10-10 | 2009-04-30 | Yahoo Japan Corp | Virtual space broadcasting apparatus |
-
2019
- 2019-12-24 JP JP2019232295A patent/JP2020074108A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005115595A (en) * | 2003-10-07 | 2005-04-28 | Canon Inc | Mixed reality presentation apparatus |
| JP2005148844A (en) * | 2003-11-11 | 2005-06-09 | Fukuda Gakuen | Display system |
| JP2005293413A (en) * | 2004-04-02 | 2005-10-20 | Matsushita Electric Works Ltd | Movable unit in virtual space |
| JP2009093478A (en) * | 2007-10-10 | 2009-04-30 | Yahoo Japan Corp | Virtual space broadcasting apparatus |
Non-Patent Citations (1)
| Title |
|---|
| ファミリーコンピュータ スーパーマリオブラザーズ 取扱説明書, JPN6021009994, 1985, pages 8 - 9, ISSN: 0004468509 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021261346A1 (en) * | 2020-06-23 | 2021-12-30 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device, method, and program, and information processing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590771B (en) | 2D video with options for projection viewing in modeled 3D space | |
| JP7208549B2 (en) | VIRTUAL SPACE CONTROL DEVICE, CONTROL METHOD THEREOF, AND PROGRAM | |
| JP7060778B2 (en) | Information processing system, information processing system control method and program | |
| KR101860313B1 (en) | Method and system for editing scene in three-dimensional space | |
| JP6677890B2 (en) | Information processing system, its control method and program, and information processing apparatus, its control method and program | |
| CN108377361B (en) | Display control method and device for monitoring video | |
| US10777009B2 (en) | Dynamically forming an immersive augmented reality experience through collaboration between a consumer and a remote agent | |
| JP2015125641A (en) | Information processing device, control method therefor, and program | |
| JP6871501B2 (en) | Information processing equipment, information processing system, its control method and program | |
| CN106980378B (en) | Virtual display method and system | |
| JP2018106297A (en) | Mixed reality presentation system, information processing apparatus and control method thereof, and program | |
| EP3616402A1 (en) | Methods, systems, and media for generating and rendering immersive video content | |
| JP6011567B2 (en) | Information processing apparatus, control method thereof, and program | |
| JP7273325B2 (en) | Information processing device, information processing system, information processing method and program | |
| JP6152888B2 (en) | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof | |
| JP2020074108A (en) | Information processing system, control method thereof, and program | |
| JP2017084215A (en) | Information processing system, control method thereof, and program | |
| JP6617547B2 (en) | Image management system, image management method, and program | |
| JP6638326B2 (en) | Information processing system, control method thereof, and program | |
| JP7279113B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, COMPUTER PROGRAM | |
| JP6357412B2 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| JP2022181153A (en) | Information processing system, information processing method and program | |
| JP7119854B2 (en) | Changed pixel region extraction device, image processing system, changed pixel region extraction method, image processing method and program | |
| JP6810342B2 (en) | Information processing equipment, information processing system, its control method and program | |
| JP2015121892A (en) | Image processing apparatus, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210823 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211130 |