JP2021043476A - 情報処理装置 - Google Patents

Abstract

【課題】ユーザの仮想現実体験の利便性を向上させることができる情報処理装置を提供する。【解決手段】情報処理システムにおいて、情報処理装置１０は、ユーザに装着されたＨＭＤ１に表示される仮想空間の画像を提供する。情報処理装置は、ユーザの付近の実空間を撮像した実空間画像を取得する画像取得部１２と、実空間画像に含まれる物体を認識し、仮想空間Ｖ上に物体に対応する仮想オブジェクトを生成する仮想オブジェクト生成部１３と、仮想オブジェクトを含む仮想空間Ｖの少なくとも一部を示す仮想空間画像であって、ＨＭＤ１に表示される該仮想空間画像を生成する画像生成部１６と、を備える。【選択図】図１

Description

本発明の一側面は、情報処理装置に関する。

従来、ＨＭＤ（Head Mounted Display）等を装着したユーザに、あたかも当該ユーザが仮想空間上に存在するかのような視界を提供することにより、仮想空間に没入させる仮想現実（ＶＲ：Virtual Reality）と呼ばれる技術が知られている（例えば、特許文献１参照）。このようなＶＲ技術では、例えば、ユーザの動作（例えば頭部及び手等の身体の一部の動作）に連動するユーザオブジェクト（アバター、キャラクタ等）が、仮想空間上に生成され、ユーザの動作に応じて制御される。そして、ユーザオブジェクトから見た視界を示す画像がＨＭＤに表示されることにより、あたかも仮想空間上にユーザオブジェクトとして存在しているかのような体験が、ユーザに提供される。

特開２０１７−５５８５１号公報

しかしながら、例えば仮想空間を介して複数のユーザ間で打合せ等のビジネスコミュニケーションを行う場合等には、ユーザが手元にある物（例えば、議事メモ、ノートＰＣ等）を全く認識できないことは、ユーザの利便性を損なう結果となり得る。

そこで、本発明の一側面は、ユーザの仮想現実体験の利便性を向上させることができる情報処理装置を提供することを目的とする。

本発明の一側面に係る情報処理装置は、ユーザに装着された表示装置に表示される仮想空間の画像を提供する情報処理装置であって、ユーザの付近の実空間を撮像した実空間画像を取得する画像取得部と、実空間画像に含まれる物体を認識し、仮想空間上に上記物体に対応する仮想オブジェクトを生成する仮想オブジェクト生成部と、上記仮想オブジェクトを含む仮想空間の少なくとも一部を示す仮想空間画像であって、表示装置に表示される該仮想空間画像を生成する画像生成部と、を備える。

本発明の一側面に係る情報処理装置によれば、ユーザの付近の実空間を撮像した実空間画像に含まれる物体が、仮想空間上の仮想オブジェクトとして生成され、当該仮想オブジェクトを含む仮想空間画像（当該仮想オブジェクトが写り込んだ仮想空間画像）が生成される。このような処理により、表示装置を装着したユーザは、仮想空間画像を介して自身の付近に存在する物体を視認することができる。したがって、上記情報処理装置によれば、ユーザの仮想現実体験の利便性を向上させることができる。

本発明の一側面によれば、ユーザの仮想現実体験の利便性を向上させることができる情報処理装置を提供することができる。

一実施形態に係る情報処理装置を含む情報処理システムの機能構成を示す図である。 実空間画像の取得及び仮想オブジェクトの生成について説明するための図である。 情報処理システムの動作の一例を示すシーケンス図である。 情報処理システムの動作の一例を示すシーケンス図である。 情報処理システムの動作の一例を示すシーケンス図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。

以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。

図１は、本発明の一実施形態に係る情報処理装置１０を含む情報処理システム１００の機能構成を示す図である。情報処理装置１０は、ゲーム空間及びチャット空間等の任意のＶＲコンテンツが展開される仮想空間を、ユーザに装着されたＨＭＤ（Head Mounted Display）１（表示装置）を介してユーザに提供する装置である。すなわち、情報処理装置１０は、ＨＭＤ１に表示される仮想空間の画像を介してユーザに仮想現実（ＶＲ）体験を提供する装置である。情報処理装置１０は、実空間に存在する物体から当該物体に対応する仮想オブジェクトを仮想空間上に生成する機能を有する。

本実施形態では、同一の仮想空間上に複数のユーザの各々によって操作される複数のユーザオブジェクト（アバター、キャラクタ等）が存在する場合について説明する。ただし、後述する情報処理装置１０の処理は、同一の仮想空間上に一人のユーザのユーザオブジェクトのみが存在する場合にも適用され得る。

図１に示されるように、情報処理装置１０は、通信部１１と、画像取得部１２と、仮想オブジェクト生成部１３と、仮想オブジェクト記憶部１４と、共有設定部１５と、画像生成部１６と、物体検出部１７と、仮想オブジェクト更新部１８と、を備えている。情報処理装置１０は、例えば、複数のユーザの各々によって装着された複数のＨＭＤ１と通信可能なゲーム端末、パーソナルコンピュータ、タブレット端末等である。ただし、情報処理装置１０の実装形態は、特定の形態に限定されない。例えば、情報処理装置１０は、ＨＭＤ１と同じ装置に内蔵されたコンピュータ装置であってもよい。また、情報処理装置１０は、インターネット等の通信回線を介して複数のユーザの各々のＨＭＤ１（又は各ＨＭＤ１の動作を制御する各コンピュータ端末）と通信可能なサーバ装置等であってもよい。また、情報処理装置１０は、物理的に単一の装置によって構成されてもよいし、複数の装置によって構成されてもよい。例えば、情報処理装置１０は、一部の機能（例えば、画像生成部１６の機能）が各ＨＭＤ１の動作を制御するコンピュータ端末（ＨＭＤ１毎に設けられたコンピュータ端末）により実現され、他の機能が当該コンピュータ端末と通信可能なサーバ装置により実現される分散システムとして構成されてもよい。

ＨＭＤ１は、ユーザの身体（例えば頭部）に装着される表示装置である。ＨＭＤ１は、例えば、ユーザの頭部に装着された状態においてユーザの各目の前に画像（左目用画像及び右目用画像）を表示する表示部を備えている。左目用画像と右目用画像とに互いに異なる画像（映像）が表示されることにより、立体的な画像（３次元画像）がユーザによって認識される。なお、上述した表示部は、眼鏡型、ヘルメット型等のようなユーザの身体に装着される本体部と一体的に構成されたディスプレイであってもよいし、ＨＭＤ１の本体部と着脱自在なデバイス（例えば、本体部に取り付けられるスマートフォン等の端末のディスプレイ）が、上記表示部として機能してもよい。

ＨＭＤ１は、例えば、ユーザの頭部（すなわち、ＨＭＤ１）の位置、向き（傾き）、速度、加速度等を検出可能なセンサ（例えば、加速度センサ、角速度センサ、地磁気センサ、ジャイロセンサ等）を備えている。ＨＭＤ１は、このようなセンサにより検出されたユーザの頭部の動作（位置、向き、速度、加速度等）の情報を、ユーザの頭部の動作情報として定期的に情報処理装置１０に送信する。

また、ＨＭＤ１は、例えば、ユーザの目の動作（例えば、黒目部分の位置及び動き等）を検出する赤外線カメラ等のセンサを備えている。当該センサは、例えば、公知のアイトラッキング機能を有するセンサである。当該センサは、例えば、ユーザの右目及び左目に照射した赤外光の角膜等からの反射光を受けることで、各眼球の動作を検出する。ＨＭＤ１は、上述のようにして検出されるユーザの目の動作情報を、定期的に情報処理装置１０に送信する。

また、ＨＭＤ１は、当該ＨＭＤ１を装着したユーザの音声を入力するためのマイク（不図示）と、各ユーザの音声等を出力するスピーカー（不図示）と、を付属品として備えている。マイクにより取得された音声は、情報処理装置１０に送信される。また、スピーカーは、情報処理装置１０から受信した他ユーザの音声等を出力する。このようなマイク及びスピーカーにより、複数ユーザ間で会話（チャット）を行うことが可能となっている。なお、マイク及びスピーカーは、ＨＭＤ１と一体型のデバイスであってもよいし、ＨＭＤ１とは異なるデバイスであってもよい。

また、ＨＭＤ１は、当該ＨＭＤ１を装着したユーザの付近の空間（本実施形態では、ユーザの前方の空間）を撮影するためのカメラ２（撮影装置）を付属品として備えている。ＨＭＤ１とカメラ２とは相互に通信可能となっている。カメラ２は、ＨＭＤ１の本体部と一体的に構成されたカメラであってもよいし、ＨＭＤ１の本体部と着脱自在なデバイス（例えばスマートフォン等）に設けられたカメラであってもよい。

本実施形態では、図２に示されるように、ＨＭＤ１のカメラ２は、当該ＨＭＤ１を装着したユーザ５の前方の机３上の特定領域４を認識し、当該特定領域４上に存在する物体を撮像する。例えば、特定領域４は、机３の上に置かれたグリーンバックのマット等によって規定される。例えば、当該マットの特定位置（例えば中央位置又は四隅等）にカメラ２と通信可能なセンサ（又はカメラ２により認識可能なマーカ）が埋め込まれており、カメラ２は、当該センサとの通信（又はマーカの認識）によって把握した当該センサ（又はマーカ）の位置に基づいて特定領域４を認識してもよい。なお、カメラ２は、必ずしもＨＭＤ１に付随する装置でなくてもよく、特定領域４を含む空間を撮影可能な位置に固定的に配置されるカメラ（ＨＭＤ１とは別体の装置）であってもよい。また、カメラ２は、特定領域４を含む空間を互いに異なる複数のアングルから撮影する複数の固定カメラによって構成されていてもよい。この場合、複数の固定カメラにより撮影された互いに異なる複数のアングルの画像に基づいて、特定領域４上に存在する物体の三次元画像を得ることが可能となる。

例えば、カメラ２は、ＨＭＤ１に付随するコントローラ（或いは、ＨＭＤ１とは別体としてのコントローラ）に対するユーザからの操作に応じて、特定領域４を含む実空間の撮影を開始する。カメラ２により撮影された映像は、随時、ＨＭＤ１に送信され、ＨＭＤ１に表示される仮想空間画像に重畳して表示される。ここで、仮想空間画像は、当該ＨＭＤ１を装着したユーザの頭部及び目の動作情報に基づいて特定されたアングルの仮想空間の画像である。例えば、カメラ２により撮影された映像は、仮想空間画像の隅部（例えば右上隅等）に設けられた小窓状の画面（いわゆるワイプ）に表示されてもよい。この場合、ユーザは、仮想空間画像を視認することにより仮想現実を体験すると同時に、当該小窓状の画面を確認することにより、特定領域４を含む空間（実空間）の状態を把握することができる。なお、この段階では、特定領域４上の物体は、仮想オブジェクトとして生成されていない。このため、当該特定領域４上の物体を仮想空間上で物のように扱ったり（例えば持ち運んだり）、当該ユーザ以外のユーザに認識させたりすることはできない。

通信部１１は、有線又は無線の通信ネットワークを介して、ＨＭＤ１（ＨＭＤ１の付属品であるマイク、スピーカー、カメラ２、コントローラ等を含む）等の外部装置との間でデータを送受信する。本実施形態では、通信部１１は、上述のようにＨＭＤ１において取得されたユーザの頭部及び目の動作情報を、ＨＭＤ１から受信する。また、通信部１１は、後述する画像生成部１６により生成された画像をＨＭＤ１に送信する。この処理により、各ユーザに装着された各ＨＭＤ１おいて、各ユーザの頭部及び目の動作情報に基づいて決定されたアングルの仮想空間の画像が表示される。また、通信部１１は、上述したマイクに入力された各ユーザの音声を受信すると共に、受信された各ユーザの音声を各ユーザのスピーカーに送信する。このような処理により、ユーザ間で音声が共有され、上述したチャットが実現される。

画像取得部１２は、ユーザの付近の実空間を撮像した実空間画像を取得する。例えば、画像取得部１２は、通信部１１を介して、上述したカメラ２により取得された画像（詳しくは後述）を実空間画像として取得する。また、仮想オブジェクト生成部１３は、実空間画像に含まれる物体を認識し、仮想空間上に当該物体に対応する仮想オブジェクトを生成する。本実施形態では、仮想オブジェクト生成部１３は、実空間画像に含まれる複数の物体のうちユーザにより指定された物体に対応する仮想オブジェクトを生成する。つまり、仮想オブジェクト生成部１３は、実空間画像に含まれる全ての物体に対応する仮想オブジェクトを直ちに生成するのではなく、ユーザにより指定された物体に対応する仮想オブジェクトのみを生成する。このような処理により、ユーザが所望する仮想オブジェクトのみを生成でき、仮想オブジェクトの生成（以下「オブジェクト化」ともいう。）の処理負荷を低減できる。

図２の（Ｂ）は、ユーザ５の前方の特定領域４上に２つの物体６（６Ａ，６Ｂ）が存在している状態を表している。物体６Ａは、飲料が入ったペットボトルであり、物体６Ｂは、ユーザ５により操作されるノートＰＣである。例えば、上述したコントローラ等に対するユーザからの操作（画像取得指示）に応じて、カメラ２は、特定領域４を含む実空間画像を取得してＨＭＤ１に送信する。このような処理により、物体６Ａ，６Ｂが含まれる実空間画像がＨＭＤ１に表示される。そして、例えば、ユーザ５は、上記コントローラ等を用いた操作により、実空間画像のうちオブジェクト化の対象となる物体６（ここでは一例として物体６Ｂ）を含む対象領域を指定する。続いて、当該実空間画像と対象領域を示す情報とが、ＨＭＤ１から情報処理装置１０へと送信される。

画像取得部１２は、通信部１１を介してこれらの情報（実空間画像及び対象領域を示す情報）を取得する。そして、仮想オブジェクト生成部１３は、実空間画像における対象領域に対して公知の画像認識を実行する。このような処理により、当該対象領域に含まれる物体６Ｂの外観情報が抽出される。図２の（Ｂ）に示されるように、仮想オブジェクト生成部１３は、このように抽出された外観情報に基づいて、物体６Ｂに対応する仮想オブジェクト８を生成する。

なお、図２の（Ｂ）の例では、仮想空間Ｖ上にユーザ５に対応付けられたユーザオブジェクト７が配置されている。本実施形態では一例として、仮想オブジェクト生成部１３は、仮想空間Ｖ上におけるユーザオブジェクト７に対する仮想オブジェクト８の相対位置と実空間におけるユーザ５に対する物体６Ｂの相対位置とが一致するように、仮想オブジェクト８の位置を決定する。このような処理により、ユーザは、仮想空間Ｖ上でユーザオブジェクト７を介して仮想オブジェクト８に対する操作（例えば持ち運ぶ操作等）を行うことにより、実空間の物体６Ｂに対する操作を行うことが可能となる。ただし、ユーザオブジェクト７に対する仮想オブジェクト８の相対位置は、ユーザ５に対する物体６Ｂの相対位置と一致しなくてもよい。すなわち、仮想オブジェクト生成部１３は、仮想空間上の任意の位置（例えば、ユーザ５によって指定された位置）に仮想オブジェクト８を生成してもよい。

仮想オブジェクト記憶部１４は、仮想オブジェクト生成部１３により生成された仮想オブジェクトに関する情報（以下「仮想オブジェクト情報」）を記憶する。本実施形態では一例として、仮想オブジェクト情報は、仮想オブジェクト毎に、仮想オブジェクトを一意に特定するための仮想オブジェクトＩＤ、仮想オブジェクトを描画するための外観情報、仮想オブジェクトが生成された生成時刻、仮想オブジェクトを生成する基となった実空間画像を取得したカメラ２（或いは当該カメラ２のユーザ５等）を一意に特定するためのカメラＩＤ、仮想オブジェクトの共有を許可されたユーザ（又はＨＭＤ１等の機器）を示す共有設定情報等を含んでいる。なお、カメラＩＤは、例えば、カメラ２により実空間画像が撮影された際に、当該実空間画像に対して付加情報として関連付けられる。

ここで、仮想空間Ｖは、複数のユーザによって共有される空間である。すなわち、仮想空間Ｖは、少なくとも第１ＨＭＤ（ＨＭＤ１、第１表示装置）を装着した第１ユーザ（ここではユーザ５）と第２ＨＭＤ（ＨＭＤ１、第２表示装置）を装着した第２ユーザ（ユーザ５とは異なるユーザ）とに共有される空間である。仮想空間Ｖは、例えば、複数ユーザ間で打合せ等のビジネスコミュニケーションを行うためのチャット空間である。このような場合、第１ユーザは、実空間の物体をオブジェクト化しつつも、当該オブジェクト化により生成された仮想オブジェクトの内容を特定のユーザ以外のユーザには知られたくない場合がある。例えば、機密情報が記載されたメモ等に対応する仮想オブジェクトについては、特定の役職以上のユーザのみに閲覧させたい場合がある。

そこで、共有設定部１５は、第１ユーザによる指定に基づいて仮想オブジェクト生成部１３により生成された仮想オブジェクトについて、第１ユーザから受け付けた操作内容に応じて、第２ユーザと当該仮想オブジェクトを共有するか否かを設定する。図２の（Ｂ）の例において、例えば、仮想オブジェクト８の共有を許可するユーザを設定するための共有設定画面が第１ＨＭＤに表示される。共有設定画面には、例えば、共有設定の対象となる仮想オブジェクト８の外観等を示す情報、当該仮想オブジェクト８の共有を許可するユーザを設定するための画面等が表示される。なお、仮想オブジェクト生成部１３により複数の仮想オブジェクトが生成された場合には、上記共有設定画面は、当該複数の仮想オブジェクトの各々の共有設定を行うことが可能な設定画面であってもよい。

ユーザ５（第１ユーザ）は、当該共有設定画面に対して、上述したコントローラ等を用いた操作を行うことにより、仮想オブジェクト８の共有を許可するユーザ（或いは、共有を許可しないユーザ）を指定する。共有設定部１５は、このような処理により生成された設定情報を取得し、当該設定情報に基づいて仮想オブジェクト８の共有設定情報を設定する。具体的には、共有設定部１５は、仮想オブジェクト記憶部１４に記憶された仮想オブジェクト８の仮想オブジェクト情報にアクセスし、当該仮想オブジェクト情報の共有設定情報を設定又は更新する。

画像生成部１６は、仮想オブジェクト生成部１３により生成された仮想オブジェクト８を含む仮想空間Ｖの少なくとも一部を示す仮想空間画像を生成する。具体的には、画像生成部１６は、ＨＭＤ１に表示される仮想空間画像（当該ＨＭＤ１を装着したユーザの頭部及び目の動作情報に基づいて決定されたアングルの画像）に仮想オブジェクト８が写り込む場合には、当該仮想オブジェクト８を含む仮想空間画像を生成する。なお、仮想空間Ｖが複数のユーザによって共有される場合には、画像生成部１６は、ユーザ毎（ＨＭＤ１毎）の仮想空間画像を生成する。

ここで、上述した共有設定部１５の処理によって、ある仮想オブジェクト（例えば、仮想オブジェクト８）について、あるユーザ（以下、第２ユーザ）との共有が許可されていない場合（すなわち、仮想オブジェクト８の閲覧が第２ユーザに許可されていない場合）があり得る。このような場合、画像生成部１６は、第２ユーザとの共有が許可されていない仮想オブジェクト８を、第２ユーザのＨＭＤ１（第２ＨＭＤ）に表示される仮想空間画像に表示しない。すなわち、画像生成部１６は、第２ＨＭＤ用の仮想空間画像に仮想オブジェクト８が含まれていたとしても、当該仮想空間画像において仮想オブジェクト８を非表示にする。一方、画像生成部１６は、仮想オブジェクト８について第２ユーザとの共有が許可されており、第２ＨＭＤ用の仮想空間画像に仮想オブジェクト８が含まれている場合には、第２ＨＭＤ用の仮想空間画像に仮想オブジェクト８を表示する。このような処理により、仮想オブジェクト８の共有が許可されたユーザにのみ、仮想オブジェクト８を認識させることができる。

画像生成部１６により生成されたユーザ毎（ＨＭＤ１毎）の仮想空間画像は、各ユーザのＨＭＤ１に送信される。このような処理により、各ユーザは、ＨＭＤ１を介して、上述した共有設定に応じた仮想オブジェクト８の表示又は非表示が反映された仮想空間画像を視認することになる。

物体検出部１７は、仮想オブジェクト生成部１３により仮想オブジェクトが生成された後に画像取得部１２により更に取得された実空間画像から、当該仮想オブジェクトに対応する物体を検出する。

具体的には、物体検出部１７は、当該更に取得された実空間画像の中に、既にオブジェクト化された物体と同一の物体が含まれている場合に、当該物体を検出する。例えば、物体検出部１７は、仮想オブジェクト記憶部１４に記憶されている一以上の仮想オブジェクト情報のうちから、当該更に取得された実空間画像に含まれる物体の外観に類似する外観情報（例えば、物体の輪郭、色、形状等に基づく公知の画像認識により、一定以上類似と認識される外観情報）と、当該更に取得された実空間画像を撮影したカメラ２を示すカメラＩＤと、当該更に取得された実空間画像が取得された時刻よりも過去の生成時刻と、が対応付けられた仮想オブジェクト情報を検索する。このような条件に合致する仮想オブジェクト情報が抽出された場合、物体検出部１７は、当該更に取得された実空間画像に含まれる物体を、抽出された仮想オブジェクト情報により示される仮想オブジェクトに対応する物体として検出する。

上述した物体検出部１７の処理について、図２の（Ｂ）の例を用いて具体的に説明する。この例において、物体６Ｂ（ノートＰＣの画面部分を含む）に対応する仮想オブジェクト８が生成された時点よりも後の時点において、画像取得部１２が、当該物体６Ｂを含む実空間画像を取得する。この場合、物体検出部１７は、仮想オブジェクト記憶部１４に記憶されている一以上の仮想オブジェクト情報のうちから、当該実空間画像に含まれる物体６Ｂの外観に類似する外観情報と、当該実空間画像を撮影したカメラ２を示すカメラＩＤと、当該実空間画像が撮影された時刻よりも過去の生成時刻と、が対応付けられた仮想オブジェクト情報を検索する。このような処理により、仮想オブジェクト８の仮想オブジェクト情報が抽出される。その結果、物体検出部１７は、当該実空間画像に含まれる物体６Ｂを、仮想オブジェクト８に対応する物体として検出する。

仮想オブジェクト更新部１８は、物体検出部１７により検出された物体の状態に基づいて、当該物体に対応する仮想オブジェクトの状態を更新する。上述した図２の（Ｂ）の例では、仮想オブジェクト更新部１８は、物体検出部１７により検出された物体６Ｂの状態に基づいて、当該物体６Ｂに対応する仮想オブジェクト８の状態を更新する。例えば、仮想オブジェクト８が最初に生成された時点よりも後の時点において取得された実空間画像に含まれる物体６Ｂの状態は、仮想オブジェクト８の生成時点における物体６Ｂの状態と異なる場合がある。具体的には、当該後の時点における物体６Ｂ（ノートＰＣ）の画面（物体６Ｂの外観の一部）は、仮想オブジェクト８の生成時点における物体６Ｂの画面と異なっている場合がある。そこで、仮想オブジェクト更新部１８は、物体６Ｂに対応する仮想オブジェクト８の状態（ここでは画面の内容）を、当該後の時点において取得された実空間画像に写った物体６Ｂの画面の内容に更新する。具体的には、仮想オブジェクト更新部１８は、仮想オブジェクト記憶部１４に記憶された仮想オブジェクト８の仮想オブジェクト情報の外観情報を、当該後の時点において取得された実空間画像に写った物体６Ｂの画面の内容に基づいて更新する。また、仮想オブジェクト更新部１８は、仮想オブジェクト８の仮想オブジェクト情報の生成時刻を、当該更新が行われた時刻に変更する。以上のような処理により、実空間における最新の物体６Ｂの内容を、当該物体６Ｂに対応する仮想オブジェクト８に反映させることができる。

ここで、古い状態の物体に対応する仮想オブジェクトと新しい状態の物体に対応する仮想オブジェクトとを仮想空間Ｖ上に並存させ、見比べたい場合もあり得る。そこで、上述した仮想オブジェクト生成部１３、物体検出部１７、及び仮想オブジェクト更新部１８は、以下のような処理を実行してもよい。

すなわち、物体検出部１７は、上述のように更に取得された実空間画像から、既に生成されている仮想オブジェクトに対応する物体を検出した場合、当該仮想オブジェクトを更新する第１処理（すなわち、上述した仮想オブジェクト更新部１８の処理）と当該物体に対応する新たな仮想オブジェクトを生成する第２処理（すなわち、上述した仮想オブジェクト生成部１３の処理）とのいずれを実行するかについてのユーザの選択を受け付ける。例えば、物体検出部１７は、第１処理と第２処理とのいずれかを選択させるための選択画面をユーザのＨＭＤ１に表示させ、ユーザからの上記コントローラ等による選択操作の結果（ユーザの選択）を取得する。

物体検出部１７が第１処理を実行することを示すユーザの選択を受け付けた場合、仮想オブジェクト更新部１８が上記第１処理を実行する。一方、物体検出部１７が第２処理を実行することを示すユーザの選択を受け付けた場合、仮想オブジェクト生成部１３が上記第２処理を実行する。このような構成によれば、既に生成された仮想オブジェクトを更新する第１処理と、新規に新たな仮想オブジェクトを生成する第２処理とを、ユーザの希望に応じて、適切に切り替えて実行することができる。

次に、図２〜図５を参照して、情報処理システム１００の動作の一例について説明する。図３は、仮想オブジェクトを生成するまでの処理を示すシーケンス図である。図４は、仮想オブジェクトが生成されてから共有設定に応じた仮想空間画像が各ＨＭＤ１に表示されるまでの処理を示すシーケンス図である。図５は、実空間画像から既にオブジェクト化された物体が検出された場合の処理（仮想オブジェクトの更新又は新規生成）を示すシーケンス図である。

図３に示されるように、まず、情報処理装置１０が、複数のユーザによって共有される仮想空間Ｖを生成する（ステップＳ１）。具体的には、各ユーザに対応付けられたユーザオブジェクト等の各種オブジェクトが初期位置に配置された仮想空間Ｖが生成される。このように生成された仮想空間Ｖを示す仮想空間データ（各ユーザオブジェクトから見た仮想空間の画像）は、各ユーザのＨＭＤ１（ここでは、第１ＨＭＤ及び第２ＨＭＤ）に送信される（ステップＳ２）。これにより、各ユーザは、各ＨＭＤ１を介して、あたかも仮想空間Ｖにいるかのような仮想現実を体験する。

続いて、第１ＨＭＤが、上記コントローラ等に対する第１ＨＭＤのユーザ５（第１ユーザ）からの操作に応じて、カメラ２に対して撮影開始を指示する（ステップＳ３）。撮影開始指示を受け取ったカメラ２は、特定領域４（図２参照）を含む実空間の撮影を開始し、当該実空間の映像を取得する（ステップＳ４）。カメラ２により撮影された映像は、随時第１ＨＭＤに送信され（ステップＳ５）、第１ＨＭＤに表示される仮想空間画像に重畳して表示される（ステップＳ６）。例えば、カメラ２により撮影された映像は、仮想空間画像の隅部に設けられた小窓状の画面（ワイプ）に表示される。

続いて、第１ＨＭＤが、上記コントローラ等に対するユーザ５からの操作に応じて、カメラ２に対して実空間画像の取得を指示する（ステップＳ７）。ここで、実空間画像は、仮想オブジェクトを抽出する基となる静止画像である。画像取得指示を受け取ったカメラ２は、特定領域４を含む実空間を撮像した実空間画像を取得する（ステップＳ８）。カメラ２により取得された実空間画像は、第１ＨＭＤに送信され（ステップＳ９）、第１ＨＭＤに表示される（ステップＳ１０）。

続いて、第１ＨＭＤは、ユーザ５による上記コントローラ等に対する操作を受け付けることにより、実空間画像のうちオブジェクト化の対象となる物体を含む対象領域（ここでは一例として、物体６Ｂを含む領域）を示す情報を取得する（ステップＳ１１）。続いて、ステップＳ９において取得された実空間画像とステップＳ１１において取得された対象領域を示す情報とが、情報処理装置１０に送信される（ステップＳ１２）。

続いて、画像取得部１２が、ステップＳ１２において送信された実空間画像及び対象領域を示す情報を取得する（ステップＳ１３）。続いて、仮想オブジェクト生成部１３が、実空間画像における対象領域に対して公知の画像認識を実行することにより、当該対象領域に含まれる物体６Ｂに対応する仮想オブジェクト８を生成する（ステップＳ１４）。この際、仮想オブジェクト８に関する仮想オブジェクト情報が、仮想オブジェクト記憶部１４に記憶される。

続いて、図４に示されるように、共有設定部１５が、仮想オブジェクト８の外観等のデータを第１ＨＭＤに送信し（ステップＳ１５）、上述した共有設定画面（例えば、共有設定の対象となる仮想オブジェクト８の外観を含む設定画面）を第１ＨＭＤに表示させる（ステップＳ１６）。第１ＨＭＤ（例えば、第１ＨＭＤに付随する上記コントローラ）は、共有設定画面に対してユーザ５によって入力された共有設定の内容を示す設定情報を取得し（ステップＳ１７）、情報処理装置１０に送信する（ステップＳ１８）。続いて、共有設定部１５が、当該設定情報に基づいて、仮想オブジェクト８の共有設定情報を設定する（ステップＳ１９）。

続いて、画像生成部１６が、仮想オブジェクト生成部１３により生成された仮想オブジェクト８を含む仮想空間Ｖの少なくとも一部を示す仮想空間画像を生成する（ステップＳ２０）。ここで、画像生成部１６は、ユーザ毎（ＨＭＤ１毎）に仮想空間画像を生成し、第１ＨＭＤ用の仮想空間画像を第１ＨＭＤに送信すると共に、第２ＨＭＤ用の仮想空間画像を第２ＨＭＤに送信する（ステップＳ２１，Ｓ２２）。続いて、第１ＨＭＤ及び第２ＨＭＤの各々において、仮想空間画像が表示される（ステップＳ２３，Ｓ２４）。

ここで、仮想オブジェクト８について、第２ＨＭＤのユーザ（第２ユーザ）との共有が許可されていない場合には、ステップＳ２０において、画像生成部１６は、第２ＨＭＤ用の仮想空間画像に仮想オブジェクト８を表示しない。すなわち、画像生成部１６は、仮想オブジェクト８が非表示とされた仮想空間画像を生成する。この場合、ステップＳ２４において第２ＨＭＤに表示される仮想空間画像には、仮想オブジェクト８が表示されない。一方、仮想オブジェクト８について、第２ユーザとの共有が許可されている場合には、ステップＳ２０において、画像生成部１６は、第２ＨＭＤ用の仮想空間画像に仮想オブジェクト８を表示する。その結果、ステップＳ２４において第２ＨＭＤに表示される仮想空間画像には、仮想オブジェクト８が表示される。

続いて、図５を参照して、仮想オブジェクト８が生成された後に、実空間画像が再度取得された場合の処理の一例について説明する。

ステップＳ３１〜Ｓ３６の処理は、ステップＳ８〜Ｓ１３の処理と同様であるため、詳細な説明を省略する。続いて、物体検出部１７が、ステップＳ３６において取得された実空間画像から、既に生成された仮想オブジェクト８に対応する物体６Ｂを検出する（ステップＳ３７）。

続いて、物体検出部１７は、当該仮想オブジェクト８を更新する第１処理（仮想オブジェクト更新部１８の処理）と当該物体６Ｂに対応する新たな仮想オブジェクト（既に生成された仮想オブジェクト８とは異なる新規のオブジェクト）を生成する第２処理（仮想オブジェクト生成部１３の処理）とのいずれを実行するかについてのユーザ５の選択を受け付ける。このために、例えば、物体検出部１７は、既に生成された仮想オブジェクト８に対応する物体６Ｂが実空間画像から検出されたことを第１ＨＭＤに通知する（ステップＳ３８）。例えば、物体検出部１７は、第１ＨＭＤに通知ポップアップ等を表示させる。

続いて、第１ＨＭＤ（上記コントローラ等）が、第１処理及び第２処理のいずれを実行するかについてのユーザ５の選択を受け付け（ステップＳ３９）、当該選択の結果を情報処理装置１０に送信する（ステップＳ４０）。続いて、情報処理装置１０は、ユーザ５の選択に応じた処理を実行する（ステップＳ４１）。具体的には、物体検出部１７が第１処理を実行することを示すユーザ５の選択を受け付けた場合、仮想オブジェクト更新部１８が上記第１処理を実行する。この例では、仮想オブジェクト更新部１８が、ステップＳ３６において取得された実空間画像から検出された物体６Ｂの状態に基づいて、仮想オブジェクト８の状態を更新する。一方、物体検出部１７が第２処理を実行することを示すユーザ５の選択を受け付けた場合、仮想オブジェクト生成部１３が上記第２処理を実行する。この例では、仮想オブジェクト生成部１３が、ステップＳ３６において取得された実空間画像から検出された物体６Ｂの状態に基づいて、新たな仮想オブジェクトを生成する。この場合、このように生成された新たな仮想オブジェクトと既に生成済みの仮想オブジェクト８とは、仮想空間Ｖ上において併存する。

以上述べた情報処理装置１０によれば、ユーザ５の付近の実空間を撮像した実空間画像に含まれる物体６（本実施形態では物体６Ｂ）が、仮想空間Ｖ上の仮想オブジェクト８として生成され、当該仮想オブジェクト８を含む仮想空間画像（当該仮想オブジェクト８が写り込んだ仮想空間画像）が生成される。このような処理により、ＨＭＤ１を装着したユーザ５は、仮想空間画像を介して自身の付近に存在する物体６を視認することができる。したがって、情報処理装置１０によれば、ユーザ５の仮想現実体験の利便性を向上させることができる。

また、情報処理装置１０は、物体検出部１７と、仮想オブジェクト更新部１８と、を備えている。これにより、既にオブジェクト化された物体６Ｂを含む実空間画像が再度取得された場合に、当該実空間画像に含まれる物体６Ｂの状態に基づいて、当該物体６Ｂに対応する仮想オブジェクト８を更新することができる。その結果、実空間における物体６Ｂの最新の状態を仮想空間Ｖ上の仮想オブジェクト８を通じて認識することが可能となる。また、同一の物体に対応する仮想オブジェクトを複数生成しないことにより、使用メモリ量を抑制できる。

また、物体検出部１７は、更に取得された実空間画像から仮想オブジェクト８に対応する物体６Ｂを検出した場合、当該仮想オブジェクト８を更新する第１処理と当該物体６Ｂに対応する新たな仮想オブジェクトを生成する第２処理とのいずれを実行するかについてのユーザの選択を受け付ける。物体検出部１７が第１処理を実行することを示すユーザの選択を受け付けた場合、仮想オブジェクト更新部１８が第１処理を実行し、物体検出部１７が第２処理を実行することを示すユーザの選択を受け付けた場合、仮想オブジェクト生成部１３が第２処理を実行する。この構成によれば、ユーザの希望に応じて、既存の仮想オブジェクト８の更新と新たな仮想オブジェクトの生成とを適切に切り替えて実行することができる。

また、仮想オブジェクト生成部１３は、実空間画像に含まれる複数の物体６（図２の例では、物体６Ａ，６Ｂ）のうちユーザ５により指定された物体６（図２の例では、物体６Ｂ）に対応する仮想オブジェクト８を生成する。この構成によれば、ユーザが所望する物体に対応する仮想オブジェクトのみを生成することができるため、無駄なオブジェクト化処理を省略して処理量を低減できると共に、無駄な仮想オブジェクトによる使用メモリ量の増大を抑制できる。

また、仮想空間Ｖは、少なくとも第１ＨＭＤを装着した第１ユーザと第２ＨＭＤを装着した第２ユーザとに共有される空間であり、情報処理装置１０は、上述した共有設定部１５を備えている。画像生成部１６は、第２ユーザとの共有が許可されていない仮想オブジェクトを、第２ＨＭＤに表示される仮想空間画像に表示しない。この構成によれば、仮想オブジェクト毎に上述したような共有設定を行うことにより、特定の仮想オブジェクト（例えば機密情報が記載された書類等に対応するオブジェクト）を、特定のユーザ（例えば特定の役職以上のユーザ）にのみ閲覧させることができる。これにより、仮想空間Ｖを介した打合せ等のビジネスコミュニケーションをより円滑に進めることが可能となる。

なお、上記実施形態の説明に用いたブロック図（図１）は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線で）接続し、これら複数の装置により実現されてもよい。

例えば、上記実施形態における情報処理装置１０は、上記実施形態の情報処理装置１０の処理を行うコンピュータとして機能してもよい。図６は、本実施形態に係る情報処理装置１０のハードウェア構成の一例を示す図である。上述の情報処理装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、及びバス１００７等を含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニット等に読み替えることができる。情報処理装置１０のハードウェア構成は、図６に示された各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

情報処理装置１０における各機能は、プロセッサ１００１、メモリ１００２等のハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、及び／又はデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、情報処理装置１０の仮想オブジェクト生成部１３は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、図１に示した他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）等の少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）等と呼ばれてもよい。メモリ１００２は、上記実施形態に係る情報処理方法（例えば図３〜図５のシーケンス図に示される手順等）を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュール等を保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）等の光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップ等の少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバ、その他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等ともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ等）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプ等）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１及びメモリ１００２等の各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、情報処理装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更された態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いられてもよいし、組み合わせて用いられてもよいし、実行に伴って切り替えて用いられてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能等を意味するよう広く解釈されるべきである。

また、ソフトウェア、命令等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）等の有線技術及び／又は赤外線、無線及びマイクロ波等の無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報及び信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

また、本明細書で説明した情報、パラメータ等は、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

上述したパラメータに使用される名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」との両方を意味する。

「含む（including）」、「含んでいる（comprising）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」及び「或いは（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈又は技術的に明らかに１つのみしか存在しない装置であることが示されていなければ、複数の装置をも含むものとする。

本明細書で使用する「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「決定」は、例えば、判定（judging）、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「決定」したとみなす事等を含み得る。また、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「決定」したとみなす事等を含み得る。また、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)等した事を「決定」したとみなす事を含み得る。つまり、「決定」は、何らかの動作を「決定」したとみなす事を含み得る。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１…ＨＭＤ（表示装置）、５…ユーザ、６，６Ａ，６Ｂ…物体、７…ユーザオブジェクト、８…仮想オブジェクト、１０…情報処理装置、１２…画像取得部、１３…仮想オブジェクト生成部、１５…共有設定部、１６…画像生成部、１７…物体検出部、１８…仮想オブジェクト更新部、Ｖ…仮想空間。

Claims (5)

1. ユーザに装着された表示装置に表示される仮想空間の画像を提供する情報処理装置であって、
   前記ユーザの付近の実空間を撮像した実空間画像を取得する画像取得部と、
   前記実空間画像に含まれる物体を認識し、前記仮想空間上に前記物体に対応する仮想オブジェクトを生成する仮想オブジェクト生成部と、
   前記仮想オブジェクトを含む前記仮想空間の少なくとも一部を示す仮想空間画像であって、前記表示装置に表示される該仮想空間画像を生成する画像生成部と、
   を備える情報処理装置。
2. 前記仮想オブジェクトが生成された後に前記画像取得部により更に取得された前記実空間画像から、当該仮想オブジェクトに対応する物体を検出する物体検出部と、
   前記物体検出部により検出された物体の状態に基づいて、当該物体に対応する前記仮想オブジェクトの状態を更新する仮想オブジェクト更新部と、
   を更に備える、請求項１に記載の情報処理装置。
3. 前記物体検出部は、前記更に取得された前記実空間画像から前記仮想オブジェクトに対応する物体を検出した場合、当該仮想オブジェクトを更新する第１処理と当該物体に対応する新たな仮想オブジェクトを生成する第２処理とのいずれを実行するかについての前記ユーザの選択を受け付け、
   前記物体検出部が前記第１処理を実行することを示す前記ユーザの選択を受け付けた場合、前記仮想オブジェクト更新部が前記第１処理を実行し、
   前記物体検出部が前記第２処理を実行することを示す前記ユーザの選択を受け付けた場合、前記仮想オブジェクト生成部が前記第２処理を実行する、
   請求項２に記載の情報処理装置。
4. 前記仮想オブジェクト生成部は、前記実空間画像に含まれる複数の物体のうち前記ユーザにより指定された物体に対応する前記仮想オブジェクトを生成する、
   請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記仮想空間は、少なくとも第１表示装置を装着した第１ユーザと第２表示装置を装着した第２ユーザとに共有される空間であり、
   前記情報処理装置は、前記第１ユーザによる指定に基づいて生成された前記仮想オブジェクトについて、前記第１ユーザから受け付けた操作内容に応じて、前記第２ユーザと当該仮想オブジェクトを共有するか否かを設定する共有設定部を更に備え、
   前記画像生成部は、前記第２ユーザとの共有が許可されていない前記仮想オブジェクトを、前記第２表示装置に表示される前記仮想空間画像に表示しない、
   請求項４に記載の情報処理装置。

Images