JP2023091481A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】他ユーザの仮想視点と実視点との関係性の不整合を解消することを目的とする。【解決手段】本発明は、仮想の３次元モデルが提示される空間を他ユーザと共有するための情報処理装置２１７であって、前記他ユーザの実視点の情報を取得する取得手段と、前記他ユーザの仮想視点が前記他ユーザの実視点と異なる場合に、前記他ユーザの実視点の情報に基づいた映像効果を生成する生成手段と、を有することを特徴とする。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

近年、人工現実感（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）、拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）が広く利用されている。ＶＲ、ＭＲ、ＡＲでは、例えば、仮想の３次元モデルで表現された建築物や巨大な建造物に対して、仮想の３次元モデルを描画する視点（以下、仮想視点）のみをユーザ操作によって移動できる機能がある。このような、ユーザ操作によって仮想視点を移動できる機能をウォークスルー機能という。ウォークスルー機能によれば、ユーザ自身が移動することなく様々な場所を観察することができる。ウォークスルー機能を円滑に利用するためには、観察対象となる仮想の３次元モデルと自身の位置関係を把握できることが好ましい。

特許文献１には、実寸の仮想３次元空間に没入して観察する実寸観察モードと、仮想３次元空間ＣＧを縮小して観察する縮小観察モードとを備える仮想現実感提示装置が開示されている。特許文献１の仮想現実感提示装置は、ユーザの位置姿勢情報を付加したＣＧマップを縮小観察モードにて提示することで、自分が仮想３次元空間内のどの位置にいるかを把握できる。

特開２００６－７９１７４号公報

現実空間に対して仮想の３次元モデルを重畳して表示するＭＲやＡＲでは、ウォークスルー機能を使用すると、仮想視点が移動するために、現実空間と仮想の３次元モデルとの間で位置の不整合が発生する。ここで、仮想の３次元モデルを複数人で観察する場合を想定する。このとき、特定のユーザがウォークスルー機能を使用すると、他ユーザから見たウォークスルー中のユーザの実際の頭部の視点（以下、実視点）と、ウォークスルー中のユーザに表示する３次元モデルを描画する仮想視点との間でずれが生じてしまう。したがって、ウォークスルー中のユーザの仮想の３次元モデルに対する注視点を他ユーザが理解できず、コミュニケーションが取りにくくなるという問題が生じる。

本発明は、上述したような問題点に鑑みてなされたものであり、他ユーザの仮想視点と実視点との関係性の不整合を解消することを目的とする。

本発明は、仮想の３次元モデルが提示される空間を他ユーザと共有するための情報処理装置であって、前記他ユーザの実視点の情報を取得する取得手段と、前記他ユーザの仮想視点が前記他ユーザの実視点と異なる場合に、前記他ユーザの実視点の情報に基づいた映像効果を生成する生成手段と、を有することを特徴とする。

本発明によれば、他ユーザの仮想視点と実視点との関係性の不整合を解消することができる。

特定のユーザがウォークスルー機能を使用した場合を示す模式図である。 第１の実施形態の情報処理システムの機能構成を示す図である。 情報処理装置のハードウェア構成を示す図である。 自ユーザから見た複合現実画像を模式的に示した図である。 情報処理装置の処理を示すフローチャートである。 第２の実施形態の状況を模式的に示した平面図である。 自ユーザから見た複合現実画像を模式的に示した図である。 第２の実施形態の情報処理システムの機能構成を示す図である。 情報処理装置の処理を示すフローチャートである。 第３の実施形態の状況を模式的に示した平面図である。 自ユーザから見た複合現実画像を模式的に示した図である。 情報処理装置の処理を示すフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１は、仮想の３次元モデルを複数人で観察する場合、特定のユーザがウォークスルー機能を使用した場合の位置関係を模式的に示した平面図である。ここでは、ユーザＡ１０１とユーザＢ１０２が仮想の３次元モデルが提示された空間を共有している。ユーザＡ１０１が自ユーザであり、ユーザＢ１０２が他ユーザである。ユーザＡ１０１は実視点１０４と仮想視点１０５とが同じ位置である。一方、ユーザＢ１０２はウォークスルー機能を使用していることで、実視点１０６と仮想視点１０７とが異なっている。ユーザＢ１０２の仮想視点１０７の位置には、ユーザＢのアバタ１０３が表示されている。この状況をユーザＡ１０１が実視点１０４から見た場合、ユーザＢ１０２の実視点１０６は仮想モデル１０８の右側に存在するにも関わらず、ユーザＢ１０２の仮想視点１０７は仮想モデル１０８の左側に存在することになる。これによって、ユーザＡ１０１はユーザＢ１０２の位置を把握しにくくなる。

以下の各実施形態では、他ユーザの仮想視点が実視点と異なる場合に、他ユーザの実視点の情報に基づいた映像効果を生成することにより、他ユーザの仮想視点と実視点との関係性の不整合を解消する。

［第１の実施形態］
本実施形態では、ウォークスルー中の他ユーザの実視点の情報に基づいた映像効果を生成する。具体的には、他ユーザの実視点に対応した位置に、他ユーザの仮想視点が存在しないことを示す画像を提示する。自ユーザが他ユーザの実視点に対応した位置を見たときに、他ユーザの仮想視点が存在しないことを示す画像を認識できることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。

図４は、ユーザＡ１０１の実視点から見た複合現実画像を模式的に示した図である。なお、アバタ１０３、仮想モデル１０８等の各オブジェクトの位置関係は図１に対応している。
ユーザＢ１０２はウォークスルー中であり、ユーザＢ１０２の仮想視点の位置姿勢にユーザＢ１０２のアバタ１０３が表示されている。ここで、位置姿勢とは、位置および姿勢（向き）をいう。また、ユーザＢ１０２の身体を囲む領域４０１の色が変更されている。領域４０１の近傍にはウォークスルー中であることを示す文字情報４０２が表示されている。

図２は、情報処理システムの機能構成の一例を示す図である。
情報処理システムは、ユーザごとに利用する装置が各装置内に実装されている送信部と受信部を介して連携することで、仮想の３次元モデルを複数人で観察する複合現実感または拡張現実感を実現できる。図２に示す情報処理システムでは、ユーザが２人であることを想定し、装置２０１と装置２２１との２台が連携する構成である。なお、仮想の３次元モデルを３人以上で観察する場合には３台以上で連携する。以下では、ユーザが２人である場合の実施形態について説明する。

装置２０１は、端末２０２、操作入力部２０５、情報処理装置２１７を備える。
端末２０２は、周囲の実環境を撮像したり、ユーザに対して複合現実画像を提示したりする。端末２０２は、撮像部２０３と、表示部２０４とを有する。
撮像部２０３は、周囲の実環境の撮像を行う。表示部２０４は、ユーザに対して複合現実画像を提示する。

本実施形態の端末２０２は、撮像部２０３と表示部２０４とが頭部搭載型の筐体に実装されたヘッドマウントディスプレイ（以下、ＨＭＤ）を用いている。ユーザは頭部にＨＭＤを装着することで、ＨＭＤがユーザの動きおよび頭部の動きに連動して移動する。なお、端末２０２はタブレット端末やスマートフォン端末等であってもよい。また、本実施形態の端末２０２は、撮像部２０３によって撮像された実画像に仮想の３次元モデルを重畳して表示部２０４に表示するビデオシースルー型であるが、光学シースルー型であってもよい。

撮像部２０３は、ユーザに提示するための画像を撮像するカメラと、端末２０２の位置姿勢を推定するために必要な画像を取得するカメラを有する。
なお、撮像部２０３は、同一のカメラで、画像を撮像する機能と位置姿勢を推定するために必要な画像を取得する機能とを兼ねてもよい。また、撮像部２０３は、端末２０２の位置姿勢を取得する方式や仮想の３次元モデルを重畳する方式に応じて、２つのカメラのうち一方または両方を省略することができる。

また、本実施形態の端末２０２は、立体視を実現するためにユーザに提示するための画像を撮像するカメラと、複合現実画像を提示する表示デバイスとが、右目、左目でそれぞれ個別に実装される。ただし、端末２０２に実装されるカメラおよび表示デバイスの構成は、端末２０２の形態、端末２０２の位置姿勢を取得する方式、仮想の３次元モデルを重畳する方式に応じて変更することができる。

操作入力部２０５は、ユーザがウォークスルー機能を使用できるように設定する操作を受け付けたり、ウォークスルーするために入力した仮想視点を移動させる操作を受け付けたりする。具体的には、操作入力部２０５は、コントローラデバイス等のボタン入力、ジェスチャ入力、音声入力等のうち一つあるいは複数を受け付ける。操作入力部２０５は、端末２０２に設けてもよく、個別のデバイスとして構成してもよい。

情報処理装置２１７は、仮想の３次元モデルが提示される空間を他ユーザと共有するための装置である。情報処理装置２１７は、端末２０２の位置姿勢を推定したり、複合現実画像を生成したりする。
情報処理装置２１７は、操作情報取得部２０６、撮像画像取得部２０７、実視点位置姿勢取得部２０８、仮想視点位置姿勢生成部２０９、送信部２１０、受信部２１１、仮想画像生成部２１２、合成部２１３を有する。

操作情報取得部２０６は、操作入力部２０５が受け付けた操作情報を取得する。
撮像画像取得部２０７は、端末２０２が情報処理装置２１７に送信した、実環境を撮像した撮像画像を取得する。
実視点位置姿勢取得部２０８は、自ユーザの実視点の情報を取得する。具体的に、実視点位置姿勢取得部２０８は、撮像画像から自ユーザの実視点の位置姿勢を算出することにより自ユーザの実視点の情報を取得する。

仮想視点位置姿勢生成部２０９は、自ユーザの仮想視点の情報を生成する。具体的に、仮想視点位置姿勢生成部２０９は、実視点の情報と、操作情報取得部２０６によって取得した操作情報とに基づいて、仮想視点の位置姿勢を算出することにより自ユーザの仮想視点の情報を生成する。
送信部２１０は、装置２２１に対して、自ユーザの実視点の位置姿勢の情報、自ユーザの仮想視点の位置姿勢の情報を送信する。
受信部２１１は、装置２２１から、他ユーザの実視点の位置姿勢の情報、他ユーザの仮想視点の位置姿勢の情報を受信する。

仮想画像生成部２１２は、自ユーザの仮想視点の位置姿勢の情報、自ユーザの実視点の位置姿勢の情報、他ユーザの仮想視点の位置姿勢の情報、他ユーザの実視点の位置姿勢の情報に基づいて仮想の３次元モデルを生成する。また、仮想画像生成部２１２は、他ユーザがウォークスルー中である場合、すなわち他ユーザの仮想視点と実視点とが異なる場合に、他ユーザの実視点の情報に基づいた映像効果を生成する。
合成部２１３は、仮想画像と実環境の画像とを合成して、複合現実画像を生成する。

なお、装置２２１は、装置２０１と同一の構成である。したがって、装置２２１は、他ユーザの頭部に装着される端末２０２としてのＨＭＤを有している。また、装置２２１は、装置２０１の情報処理装置２１７と同一の構成の情報処理装置を有している。図２では、装置２２１の情報処理装置を構成する、送信部２３０および受信部２３１のみを図示している。

図３は、情報処理装置２１７のハードウェア構成の一例を示す図である。
情報処理装置２１７は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、入力Ｉ／Ｆ３０４、出力Ｉ／Ｆ３０５を有する。情報処理装置２１７のハードウェア構成の各部は、バス３０６によって接続される。

ＣＰＵ３０１は、情報処理装置２１７の全体を制御する。また、ＣＰＵ３０１は、ＲＯＭ３０２に記憶されたプログラムをＲＡＭ３０３に展開して実行することにより、上述した情報処理装置２１７の機能構成を実現する。
ＲＯＭ３０２は、ＣＰＵ３０１が実行するプログラムおよび各種データが記憶される。
ＲＡＭ３０３は、ＣＰＵ３０１がＲＯＭ３０２に記憶されたプログラムを実行するときにプログラムを一時的に記憶したり、実行した結果を一時的に記憶したりする。

入力Ｉ／Ｆ３０４は、装置２０１内の構成部または装置２２１から各種データを入力するためのインタフェースである。具体的に、情報処理装置２１７は入力Ｉ／Ｆ３０４を介して、操作入力部２０５からの操作情報、撮像部２０３により撮像された撮像画像、装置２２１の送信部２３０からの情報が入力される。
出力Ｉ／Ｆ３０５は、装置２０１内の構成部または装置２２１に各種データを出力するためのインタフェースである。具体的に、情報処理装置２１７は出力Ｉ／Ｆ３０５を介して、端末２０２に画像を出力したり、装置２２１の受信部２３１に情報を出力したりする。

なお、情報処理装置２１７は、パーソナルコンピュータやワークステーション等の据え置き型のコンピュータであってもよく、持ち運び可能なコンピューティングデバイスであってもよい。また、情報処理装置２１７は、端末２０２と一体であってもよい。

次に、情報処理装置２１７による処理の一例について図５のフローチャートを参照して説明する。図５を含む各フローチャートは、情報処理装置２１７のＣＰＵ３０１がＲＯＭ３０２に記憶されたプログラムをＲＡＭ３０３に展開して実行することにより実現する。ここでは、自ユーザおよび他ユーザが操作入力部２０５を介してウォークスルー機能を使用するように設定しているものとする。

Ｓ５０１では、実視点位置姿勢取得部２０８は、自ユーザの実視点の情報として、世界座標における自ユーザの実視点の位置姿勢の情報を取得する。ここで、実視点の位置姿勢の情報を取得する方法としては、空間中に配置されたマーカを撮像した撮像画像に基づいて、画像中のマーカの特徴点の配置から実視点の位置姿勢を推定する方法がある。また、実画像中の自然特徴点を利用して自己位置の推定と環境地図の作成を同時に行うＳｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）を利用する方法がある。また、モーションキャプチャ等の外部計測装置を利用することで実視点の位置姿勢の情報を取得してもよい。
なお、世界座標系の原点および向きは、事前にマーカあるいは特定の実物体を用いて決定しておく。また、世界座標系の原点および向きは、複数のユーザ間において共通の設定となるようにしておく。

Ｓ５０２では、仮想視点位置姿勢生成部２０９は、自ユーザの仮想視点の情報として、世界座標における自ユーザの仮想視点の位置姿勢の情報を生成する。具体的に、仮想視点位置姿勢生成部２０９は、操作情報取得部２０６が取得した操作情報に基づいて視点移動量を算出する。次に、仮想視点位置姿勢生成部２０９は、世界座標における自ユーザの実視点の位置姿勢に算出した視点移動量を加えることで、世界座標における自ユーザの仮想視点の位置姿勢の情報を算出する。
なお、操作情報から視点移動量を対応付ける方法については特に限定しない。また、操作入力部２０５を構成する装置または実視点位置姿勢取得部２０８を構成する装置が自ユーザの手等の身体部位の位置姿勢を取得できる場合には、身体部位の位置姿勢にも視点移動量を加えることで、後述するアバタの生成に活用することができる。

Ｓ５０３では、送信部２１０は、自ユーザの実視点の情報および仮想視点の情報を装置２２１に送信する。また、Ｓ５０２において身体部位の位置姿勢の情報を取得している場合には、送信部２１０は自ユーザの身体部位の位置姿勢の情報および身体部位の位置姿勢に視点移動量を加えた情報を送信する。
また、受信部２１１は、装置２２１から他ユーザの実視点の情報および仮想視点の情報を受信する。また、装置２２１が他ユーザの身体部位の位置姿勢の情報を取得している場合には、受信部２１１は他ユーザの身体部位の位置姿勢の情報および身体部位の位置姿勢に視点移動量を加えた情報を受信する。
したがって、装置２０１および装置２２１は互いにユーザの実視点等の情報を共有することができる。

Ｓ５０４では、仮想画像生成部２１２は、他ユーザの仮想視点の位置姿勢の情報に基づいてアバタを生成する。仮想画像生成部２１２は、頭部のみのアバタを生成してもよく、頭部位置から類推される位置に胴や脚等の身体部位の表現を加えたアバタを生成してもよい。また、他ユーザの身体部位の位置姿勢に視点移動量を加えた情報を受信している場合には、仮想画像生成部２１２は受信した情報に基づいて、ウォークスルーによって移動した他ユーザの仮想の身体部位の表現を加えたアバタを生成してもよい。なお、アバタにはユーザを識別するために識別情報を、アバタの近傍またはアバタに重畳して付加してもよい。識別情報には、例えば、ユーザ名、ユーザＩＤ、ユーザの特徴を示すテクスチャ等が含まれる。

Ｓ５０５では、仮想画像生成部２１２は、他ユーザの実視点の位置姿勢の情報に基づいて、他ユーザの身体が存在する領域を推定する。具体的には、仮想画像生成部２１２は、世界座標系において他ユーザの実視点の位置姿勢の情報に基づいて、頭部を含む領域を楕円球状の形状によって推定する。また、頭部以外の全身領域については鉛直方向を規定したり、床面を推定したりすることによって得られる鉛直あるいは床面情報に基づいて、視点位置から鉛直下向きの所定の距離に足が存在すると推定する。次に、足と頭部を結んだ鉛直軸回りに所定の半径で存在する円柱を他ユーザの全身が含まれる全身領域として決定する。なお、鉛直方向の規定や床面を推定するには、Ｓ５０１において世界座標系の原点を床面に設定して鉛直方向を所定の向きに合わせる方法、ＳＬＡＭの自然特徴点を利用して床面を推定する方法がある。また、端末２０２に姿勢センサを搭載して鉛直方向を推定してもよく、他の方法を用いてもよい。また、他ユーザの身体部位の位置姿勢の情報を受信している場合には、仮想画像生成部２１２は、受信した情報に基づいて、他ユーザの身体が存在する領域を適宜、修正したり追加したりしてもよい。

また、身体領域の推定は、世界座標系における３次元多面体を組み合わせることで推定してもよく、自ユーザに提示する２次元画像上で行ってもよい。この場合、世界座標上の視点の位置と、上述の方法で推定した他ユーザの足の位置、他ユーザの身体部位の位置姿勢の情報を受信している場合には受信した情報に基づいて、自ユーザに提示する画像を２次元画像上に射影する。仮想画像生成部２１２は、射影された２次元座標上に他ユーザの身体領域を含む多角形を生成してもよい。ただし、他ユーザの領域の形状は限定されず、どのような形状であってもよい。

Ｓ５０６では、仮想画像生成部２１２は、他ユーザの実視点に対応した位置に、他ユーザの仮想視点が他ユーザの実視点と異なることを示す映像を生成する。本実施形態では、仮想画像生成部２１２は、他ユーザの身体が存在する領域に他ユーザの仮想視点が存在しないことを提示する映像を生成する。

具体的には、仮想画像生成部２１２はＳ５０５において推定した領域の色を異なる色に変更した画像を生成する。
例えば、推定した領域に色を付加して描画することにより領域の色を変更することができる。仮想画像生成部２１２は、Ｓ５０５で生成した３次元多面体をそのまま描画することで実現してもよく、推定した領域内あるいは３次元多面体の領域内に特定のテクスチャ画像を重ねることで実現してもよい。
また、例えば、推定した領域を利用してマスクを生成し、マスク領域内に対応する実画像の色を変更することにより領域の色を変更することができる。仮想画像生成部２１２により色が変更された実画像を、合成部２１３が実環境の画像と合成することで実現することができる。
また、推定した領域の色を変更するには、推定した領域の彩度および明度の少なくとも何れか一方を低下させることにより、他ユーザの仮想視点が存在しないことを演出してもよい。推定した領域の色を変更する方法は特に限定されず、どのような方法であってもよい。

また、仮想画像生成部２１２は、他ユーザの身体が存在する領域の近傍または当該領域に重畳して他ユーザが存在しないこと、具体的にはウォークスルー中であることを示す文字情報を生成する。なお、ウォークスルー中であることを示す情報は、文字情報に限られず、記号情報、アイコン等の画像であってもよい。

Ｓ５０７では、合成部２１３は、仮想画像生成部２１２が生成した仮想画像と、実環境の画像とを合成して複合現実画像を生成する。なお、合成部２１３は、ウォークスルー中の他ユーザの仮想視点の位置にアバタの画像も合成する。合成部２１３は、生成した複合現実画像を端末２０２に出力する。

端末２０２は、出力された複合現実画像を自ユーザに提示する。具体的には、端末２０２の表示部２０４が複合現実画像を表示することにより自ユーザに提示する。表示部２０４に表示された複合現実画像には、他ユーザの実視点に対応した位置に他ユーザの仮想視点が他ユーザの実視点と異なることを示す画像が含まれることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。したがって、複合現実感または拡張現実感においてウォークスルー中の他ユーザの実視点と仮想視点との関係性の不整合を解消することができる。

なお、他ユーザの実視点の情報と他ユーザの仮想視点の情報とが同一または略同一である場合には、仮想画像生成部２１２は他ユーザの実視点の情報に基づいた映像効果を生成する処理を省略することができる。

［第２の実施形態］
本実施形態では、他ユーザの実視点の情報に基づいた映像効果として、他ユーザが存在する領域を背景画像に変更する、いわゆる隠消現実感（Ｄｉｍｉｎｉｓｈｅｄ Ｒｅａｌｉｔｙ）を適用する。自ユーザが他ユーザを観察したときに、他ユーザの身体が消えたように見えることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。

図６は、本実施形態が適用される複合現実感または拡張現実感の状況を模式的に示した平面図である。なお、図１と同様の構成は、同一符号を付して適宜、説明を省略する。ここでは、ユーザＡ１０１から見てウォークスルー中のユーザＢ１０２の身体の背後に、背景物体６０１が配置されている。背景物体６０１は、複合現実感の体験空間内あるいは体験空間の周囲に配置された実物の物体である。

図７は、ユーザＡ１０１の実視点から見た複合現実画像を模式的に示した図である。ユーザＢ１０２の身体が存在する領域には、ユーザＢ１０２の身体が存在しない場合に観察することができる背景物体６０１の画像７０１が表示されている。また、ユーザＢ１０２の仮想視点の位置姿勢にユーザＢ１０２のアバタ１０３が表示されている。

図８は、情報処理システムの機能構成の一例を示す図である。なお、第１の実施形態と同様の構成については同一符号を付して適宜、説明を省略する。また、情報処理装置２１７のハードウェア構成は、第１の実施形態と同様であり適宜、説明を省略する。
装置２０１の情報処理装置２１７は、背景情報生成部８０１が追加されている。
背景情報生成部８０１は、撮像部２０３により撮像された撮像画像と、実視点位置姿勢取得部２０８により取得された実視点の位置姿勢の情報と、ＳＬＡＭを利用した場合の自然特徴点の情報とに基づいて、他ユーザが存在しない場合の背景情報を再構成する。

次に、情報処理装置２１７による処理の一例について図９のフローチャートを参照して説明する。図９のフローチャートは、例えば、図５のフローチャートのＳ５０４の処理後に続くフローチャートである。

Ｓ９０１では、背景情報生成部８０１は、背景実空間のテクスチャ付きの三次元再構成を実施することで背景情報を生成する。例えば、三次元再構成の方法として、実視点の位置姿勢の情報と実画像とに基づいたＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）による方法や、ＳＬＡＭを利用した場合の過程で得られる自然特徴点を利用する方法がある。また、撮像部２０３がステレオカメラである場合には、ステレオカメラの情報に基づいて背景情報を生成してもよい。具体的には、ステレオカメラの情報から画像中の深度情報を生成し、深度情報から生成する点群情報を、フレーム間でＩＣＰ（Ｉｎｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムを適用して結合したり、実視点の位置姿勢を利用して結合したりする。背景情報生成部８０１は、三次元再構成情報をメッシュに変換すると共に、メッシュの頂点と三次元再構成中に撮影した実画像を対応付けてテクスチャとすることで背景情報を生成する。ただし、三次元再構成の方法は限定されず、どのような方法であってもよい。

なお、三次元再構成を実施しない簡略化した方法で背景情報を生成してもよい。例えば、背景空間を球状あるいは立方体等の多面体であるとみなす方法がある。具体的には、多面体の内側に、魚眼カメラを用いて事前に撮影した背景空間の画像をテクスチャとして貼付する。または、撮像部２０３と実視点の位置姿勢を利用して、撮像部２０３で周囲を見回した際に取得できる画像を、撮像部２０３の方向に応じて多面体の内側にマッピングする方法である。三次元再構成を実施しない簡略化した方法は正確性には欠けるものの、三次元再構成を実施する計算リソースが不足している場合等には有用である。

Ｓ９０２では、仮想画像生成部２１２は、他ユーザの実視点の位置姿勢の情報に基づいて、他ユーザの身体が存在する領域を推定する。本実施形態では、推定された領域に対して背景画像を貼付するため、推定する領域は他ユーザの輪郭の頂点を自ユーザに提示する画像上の２次元座標として算出する。具体的には、まず、ウォークスルー中の他ユーザの実視点の位置、他ユーザの足元位置、他ユーザの身体部位の位置姿勢を取得している場合には他ユーザの身体部位の位置姿勢を加えた３次元世界座標系における位置情報群を取得する。なお、足元位置の推定方法については、第１の実施形態のＳ５０６において説明した足の存在を推定する方法を用いることができる。次に、取得した位置情報群を、ユーザに提示する画像上の２次元画像上に射影して、射影された位置情報群から、他ユーザの身体を包含する領域を生成する。例えば、他ユーザの実視点の位置までの距離情報を利用して２次元画像上のマージン量を決定し、決定したマージン量に基づいて実視点の位置の右上と左上、足元位置の右下と左下の４頂点を算出する。そして、算出した頂点情報を用いて他ユーザの身体を包含する矩形の領域を生成することで、他ユーザの身体が存在する領域を推定することができる。ただし、他ユーザの領域の形状は限定されず、どのような形状を用いてもよい。また、上述した領域の推定と同様の結果が得られるのであれば、計算の過程や方法は限定されない。

Ｓ９０３では、背景情報生成部８０１は、推定された他ユーザの身体が存在する領域に、三次元再構成の情報から生成した背景画像を生成する。具体的には、背景情報生成部８０１は、Ｓ９０２において推定された領域内にＳ９０１において生成した背景情報を観察する自ユーザの視点から描画することで背景画像を生成する。

Ｓ９０４では、仮想画像生成部２１２は、生成された背景画像を実画像上に重畳することで現実空間の合成画像を生成する。したがって、推定された他ユーザの身体が存在する領域が背景画像に変更されたような合成画像が生成される。なお、本実施形態では、ウォークスルー中の他ユーザの身体が存在しないかのように表現されるため、観察中の自ユーザとウォークスルー中の他ユーザの身体が近接した際に、両者が接触してしまう場合が想定される。したがって、仮想画像生成部２１２は、自ユーザの実視点の位置とウォークスルー中の他ユーザの実視点の位置との位置関係に応じて背景画像を変化させる。具体的には、仮想画像生成部２１２は、実視点間の距離が所定の距離以下である場合には背景画像を透明にしたり、実視点間の距離に応じて連続的あるいは段階的に背景画像の透明度を大きくしたりするように変化させる。また、実視点間の距離が所定の距離以下である場合には背景画像の色を変化させたり、実視点間の距離に応じて連続的あるいは段階的に背景画像の色を変化させたりしてもよい。また、背景画像の全体の色に限られず、背景画像の輪郭の色を変化させてもよい。また、合成部２１３は実視点間の距離が所定の距離以下あるいは実視点間の距離に応じて警告音を鳴らすように端末２０２に指示してもよい。

Ｓ９０５では、合成部２１３は、仮想画像生成部２１２が生成した合成画像に仮想の３次元モデルを描画して複合現実画像を生成する。なお、合成部２１３は、ウォークスルー中の他ユーザの仮想視点の位置にアバタの画像も合成する。合成部２１３は、生成した複合現実画像を端末２０２に出力する。

端末２０２は、出力された複合現実画像を自ユーザに提示する。具体的には、端末２０２の表示部２０４が複合現実画像を表示することにより自ユーザに提示する。表示部２０４に表示された複合現実画像には、他ユーザの実視点に対応した位置に背景画像を表示されることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。したがって、複合現実感または拡張現実感においてウォークスルー中の他ユーザの実視点と仮想視点との関係性の不整合を解消することができる。

［第３の実施形態］
本実施形態では、他ユーザの実視点の情報に基づいた映像効果として、仮想空間または仮想の３次元モデルを変形したり加工したりする。自ユーザが仮想の３次元モデルを観察したときに、３次元モデルの一部が他ユーザの仮想視点から見た状態の仮想の３次元モデルで表示されることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。

図１０は、本実施形態が適用される複合現実感または拡張現実感の状況を模式的に示した平面図である。なお、図１と同様の構成は、同一符号を付して適宜、説明を省略する。
図１１は、ユーザＡ１０１の実視点から見た複合現実画像を模式的に示した図である。
ユーザＢ１０２はウォークスルーによって仮想視点１００１に移動しているものとする。このとき、ユーザＢ１０２は仮想視点１００１の位置姿勢から仮想モデル１０８を見ていることになる。ここで、仮想視点１００１と仮想モデル１０８との相対的な位置関係を維持したまま、仮想視点１００１がユーザＢ１０２の実視点１０６の位置姿勢、すなわち仮想視点１００２の位置姿勢に戻ることができれば、実視点と仮想視点との位置の不整合が解消される。しかしながら、このような仮想モデルは幾何的な矛盾が生じてしまう。

本実施形態では、仮想空間自体または仮想の３次元モデルを変形したり加工したりする。具体的には、ユーザＡ１０１の実視点１０４の位置とユーザＢ１０２の実視点１０６の位置との間に境界面１００３を設定し、この境界を挟んで、仮想空間を分断する。そして、ユーザＡ１０１、ユーザＢ１０２の仮想空間のそれぞれにおいて、仮想視点１０５、１００１と仮想モデルとの相対的な位置姿勢の関係が維持される座標系を設定する。その結果、ユーザＢ１０２側の仮想空間では仮想モデル１００４が分断されて表示されると共に、ユーザＢ１０２の仮想視点１００２と実視点１０６との位置が一致する。

次に、情報処理装置２１７による処理の一例について図１２のフローチャートを参照して説明する。図１２のフローチャートは、例えば、図５のフローチャートのＳ５０３の処理後に続くフローチャートである。なお、情報処理システムの機能構成および情報処理装置２１７のハードウェア構成は、第１の実施形態と同様であり適宜、説明を省略する。

Ｓ１２０１では、仮想画像生成部２１２は、他ユーザのウォークスルーによって変化する実視点の位置姿勢から仮想視点の位置姿勢への変化に対応する逆変換行列を求める。次に、仮想画像生成部２１２は、算出した逆変換行列を仮想空間に適用して、逆変換を適用した仮想空間を生成する。なお、仮想画像生成部２１２は、算出した逆変換行列を仮想空間内の仮想の３次元モデルに適用することで、逆変換を適用した仮想の３次元モデルを生成してもよい。

Ｓ１２０２では、仮想画像生成部２１２は、自ユーザの実視点の位置姿勢の情報と、他ユーザの実視点の位置姿勢の情報を用いて、両者の実視点位置の間に境界面を設定する。具体的には、まず鉛直方向を法線とした作業面を定義する。第１の実施形態で説明した床面が推定されている場合は床面を作業面とする。床面の情報がない場合には、各ユーザの視野の上方向のベクトルの平均、あるいは前記平均ベクトルと最もなす角が小さい世界座標系のＸ，Ｙ，Ｚ軸の何れかを法線とし、適当な座標を通る面を作業面とする。次に、各ユーザの実視点の作業面に対する垂線の足を算出する。ユーザが２名の場合は、垂線の足の垂直２等分線を通り、作業面に垂直な面を境界面とする。ユーザが３名以上の場合は、各ユーザの垂線の足に対するボロノイ境界を作業面上に生成し、このボロノイ境界を通り作業面に垂直な面を境界面とする。ボロノイ境界を生成するには、自ユーザの実視点と、他ユーザの実視点とを所定の平面としての作業面に投影して、投影された点に基づいてボロノイ境界を算出することができる。

Ｓ１２０３では、仮想画像生成部２１２は、設定した境界面に基づいて仮想空間をクリップする（切り取る）。ここで、図１０を参照して仮想空間に含まれる仮想の３次元モデルをクリップする場合について説明する。まず、ユーザＡ１０１とユーザＢ１０２の間に生成された境界面１００３に対して、ユーザＡ１０１側の仮想モデル１０８は境界面１００３でユーザＢ１０２側をクリップする。一方、ユーザＢ１０２側の逆変換適用後の仮想モデル１００４は境界面１００３でユーザＡ１０１側をクリップする。

Ｓ１２０４では、仮想画像生成部２１２は、クリップされた仮想空間を観察する自ユーザの視点から描画した仮想画像を生成する。生成される仮想画像は、自ユーザの実視点から他ユーザを見たときに、他ユーザの仮想視点の位置が他ユーザの実視点の位置と一致して見えるような画像になる。このとき、自ユーザが境界面に基づいて、仮想空間あるいは仮想の３次元モデルがクリップされていることを認識できるように、仮想画像には境界面を付加したり、境界面と作業面の交線を境界線として付加したりしてもよい。

また、仮想画像生成部２１２は、境界面あるいは境界線の付近に他ユーザの仮想視点が他ユーザの実視点と異なること、具体的には図１１に示すウォークスルー中であることを示す文字情報１１０１を生成する。なお、ウォークスルー中であることを示す情報は、文字情報に限られず、記号情報、アイコン等の画像であってもよい。
合成部２１３は、仮想画像生成部２１２が生成した仮想画像を端末２０２に出力する。なお、必要に応じて、合成部２１３は、仮想画像生成部２１２が生成した仮想画像と実環境の画像とを合成して複合現実画像を生成し、生成した複合現実画像を端末２０２に出力してもよい。

端末２０２は、出力された仮想画像あるいは複合現実画像を自ユーザに提示する。具体的には、端末２０２の表示部２０４が仮想画像あるいは複合現実画像を表示することにより自ユーザに提示する。表示部２０４に表示された画像には、境界面で分断された仮想の３次元モデルが表示されることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。したがって、複合現実感または拡張現実感においてウォークスルー中の他ユーザの実視点と仮想視点との関係性の不整合を解消することができる。

なお、本実施形態では、境界面で仮想空間をクリップする場合について説明したが、境界面で仮想の３次元モデルをクリップして、クリップした仮想の３次元モデルと実環境の画像とを合成して複合現実画像を生成してもよい。
また、境界面上で仮想の３次元モデルをクリップする場合に限られず、境界面に対してオフセットを設定して境界の間に隙間を設けてもよく、逆に仮想の３次元モデルがオーバーラップするようにしてもよい。また、自ユーザまたは他ユーザの実視点を通る鉛直軸回りに所定の半径をもつ円柱の側面を境界面としてもよい。

また、自ユーザと境界面との間の距離に応じて、連続的または段階的に境界面に透明度を付加するようにしたり、境界面の色を変化させたりしてもよい。
また、ウォークスルーにより移動した位置や姿勢によっては、境界面全体が仮想の３次元モデルで遮られてしまい、ユーザがどのような行動をしているか視認できなくなることがある。この場合、第１の実施形態で説明した方法で他ユーザの身体の領域を推定する。そして、推定した領域と他ユーザを観察する自ユーザの実視点を結んだ領域に対して仮想の３次元モデルが交差する場合には、交差する部分あるいは交差する部分の周辺を含めた仮想の３次元モデルの領域を透明や半透明にしてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更したり、各実施形態の構成の一部または処理の一部を、他の実施形態に組み合わせたりすることができる。

なお、上述した各実施形態において、自ユーザにステレオ画像を提示する場合には、各実施形態のフローチャートの処理を適宜、左右の画像に対してそれぞれ実施する。

上述した各実施形態では、装置２０１と装置２２１とが同一の構成である場合について説明したが、この場合に限られず、異なる構成であってもよい。例えば、装置２０１はウォークスルー機能を有しておらず、装置２２１がウォークスルー機能を有していてもよい。

２１１：受信部 ２１２：仮想画像生成部 ２１７：情報処理装置

Claims (14)

1. 仮想の３次元モデルが提示される空間を他ユーザと共有するための情報処理装置であって、
   前記他ユーザの実視点の情報を取得する取得手段と、
   前記他ユーザの仮想視点が前記他ユーザの実視点と異なる場合に、前記他ユーザの実視点の情報に基づいた映像効果を生成する生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記生成手段は、
   前記映像効果として、前記他ユーザの実視点に対応した位置に、前記他ユーザの仮想視点が存在しないことを示す画像を生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記生成手段は、
   前記他ユーザの実視点の情報に基づいて前記他ユーザが存在する領域を推定し、
   前記映像効果として、前記推定した領域の実画像を加工した画像を生成することを特徴とする請求項２に記載の情報処理装置。
4. 前記生成手段は、
   前記映像効果として、前記推定した領域の色を異なる色に変更した画像を生成することを特徴とする請求項３に記載の情報処理装置。
5. 前記生成手段は、
   前記映像効果として、前記推定した領域を背景画像に変更した画像を生成することを特徴とする請求項３に記載の情報処理装置。
6. 前記生成手段は、
   自ユーザの実視点の位置と前記他ユーザの実視点の位置との関係に応じて変化させる画像を生成することを特徴とする請求項１ないし５の何れか１項に記載の情報処理装置。
7. 前記生成手段は、
   自ユーザの実視点の位置と前記他ユーザの実視点の位置との関係に応じて、前記推定した領域に重畳する背景画像の透明度を変更した画像を生成することを特徴とする請求項５に記載の情報処理装置。
8. 前記生成手段は、
   前記映像効果として、前記他ユーザの実視点の情報および前記他ユーザの仮想視点の情報に基づいて前記空間または前記仮想の３次元モデルを変形した画像を生成することを特徴とする請求項１に記載の情報処理装置。
9. 前記生成手段は、
   自ユーザの実視点から前記他ユーザを見たときに、前記他ユーザの仮想視点の位置が前記他ユーザの実視点の位置と一致して見えるように、前記空間または前記仮想の３次元モデルを変形した画像を生成することを特徴とする請求項８に記載の情報処理装置。
10. 前記生成手段は、
    前記空間または前記仮想の３次元モデルのうち、自ユーザの実視点と前記他ユーザの実視点との間に設定された境界を挟んで前記他ユーザの側を変形した画像を生成することを特徴とする請求項８または９に記載の情報処理装置。
11. 前記生成手段は、
    前記自ユーザの実視点と前記他ユーザの実視点を所定の平面にそれぞれ投影し、投影した点に基づいて算出されるボロノイ境界を挟んで前記他ユーザの側を変形した画像を生成することを特徴とする請求項１０に記載の情報処理装置。
12. 前記生成手段は、
    前記他ユーザの仮想視点と前記他ユーザの実視点とが一致する場合には、前記映像効果を生成しないことを特徴とする請求項１ないし１１の何れか１項に記載の情報処理装置。
13. 仮想の３次元モデルが提示される空間を他ユーザと共有するための情報処理方法であって、
    前記他ユーザの実視点の情報を取得する取得ステップと、
    前記他ユーザの仮想視点が前記他ユーザの実視点と異なる場合に、前記他ユーザの実視点の情報に基づいた映像効果を生成する生成ステップと、
    を有することを特徴とする情報処理方法。
14. コンピュータを、請求項１ないし１２の何れか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

Images