WO2018084087A1

WO2018084087A1 - 画像表示システム、画像表示装置、その制御方法、及びプログラム

Info

Publication number: WO2018084087A1
Application number: PCT/JP2017/038936
Authority: WO
Inventors: 中島　聡; 掛　智一
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2016-11-01
Filing date: 2017-10-27
Publication date: 2018-05-11
Also published as: JPWO2018084087A1; JP6687751B2; US20190259211A1; US10957106B2

Abstract

ユーザの頭部に装着される表示装置に接続される画像処理装置が、ユーザの周囲を撮像したパノラマ画像データを取得し、当該パノラマ画像データを、仮想空間内のユーザの視点位置周囲に仮想的に配した所定形状の投影面に投影した、背景画像データを生成する。また画像処理装置は所定の三次元モデルデータに基づいて生成されたモデル画像データを、背景画像データに合成して合成画像データを生成し、表示装置に対し、合成画像データに基づいて生成した、ユーザの視野画像を出力する。

Description

画像表示システム、画像表示装置、その制御方法、及びプログラム

　本発明は、画像表示システム、画像表示装置、その制御方法、及びプログラムに関する。

　ＨＭＤ（Head Mount Display）などのようにユーザの頭部に装着され、ユーザの左右の目に、それぞれ左目用，右目用の画像を提示して立体視を可能とする画像表示システムが存在する。こうした画像表示システムでは、いわゆる全天球画像など、パノラマ画像を表示する際には、ユーザ視点を中心とした仮想的な球体にパノラマ画像を投影した投影像を生成する。そして当該投影像のうち、ユーザの視野範囲の画像を表示装置に表示させている。これによりユーザは頭部を動かして視野範囲を移動させると、パノラマ画像のうち当該視野の方向の画像を見ることができるようになる。

　このようなＨＭＤのうちには、ユーザ周囲の現実の画像をユーザに視認させない、いわゆる非透過型のＨＭＤがある。こうした非透過型のＨＭＤに例えば仮想的なゲーム空間の映像を表示する場合、ユーザはＨＭＤの装着時に、現実の空間からいきなりＨＭＤ内に表示される仮想のゲーム空間に移動することとなる。こうした唐突な場面変換が生じると、当該仮想のゲーム空間に対する没入感が損なわれる場合がある。

　本発明は上記実情に鑑みて為されたもので、没入感をより向上できる画像表示システム、画像表示装置、その制御方法、及びプログラムを提供することを、その目的の一つとする。

　上記従来例の問題点を解決するための本発明の一態様は、ユーザの頭部に装着される表示装置に接続される画像処理装置であって、ユーザの周囲を撮像したパノラマ画像データを取得し、当該パノラマ画像データを、仮想空間内のユーザの視点位置周囲に仮想的に配した所定形状の投影面に投影した、背景画像データを生成する手段と、所定の三次元モデルデータに基づいて生成されたモデル画像データを、前記背景画像データに合成して合成画像データを生成する手段と、前記表示装置に対し、合成画像データに基づいて生成した、ユーザの視野画像を出力する出力手段と、を有することとしたものである。

　本発明によると、没入感をより向上できる。

本発明の実施の形態に係る画像処理装置を含む画像表示システムの構成例を表すブロック図である。本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。本発明の実施の形態に係る画像処理装置が設定する投影面の例を表す説明図である。本発明の実施の形態に係る画像処理装置が設定するもう一つの投影面の例を表す説明図である。本発明の実施の形態に係る画像処理装置が設定するまた別の投影面の例を表す説明図である。本発明の実施の形態に係る画像処理装置が設定するさらに別の投影面の例を表す説明図である。

　本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１０を含む画像処理システム１は、図１に例示するように、画像処理装置１０と、操作デバイス２０と、中継制御装置３０と、表示装置４０と、を含んで構成されている。

　画像処理装置１０は、表示装置４０が表示すべき画像を表す画像データを供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、またはタブレット等である。図１に示されるように、この画像処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。

　制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されているプログラムを実行する。本実施の形態では、この制御部１１は、ユーザの周囲を撮像したパノラマ画像データを取得する。制御部１１は、また、当該パノラマ画像データを、仮想空間内のユーザの視点位置周囲に仮想的に配した所定形状の投影面に投影した、背景画像データを生成する。そして制御部１１は、所定の三次元モデルデータに基づいて生成されたモデル画像データを、上記背景画像データに合成して合成画像データを生成する。制御部１１は、表示装置４０に対し、この合成画像データに基づいて生成した、ユーザの視野画像を出力する。この制御部１１の詳しい動作については、後に述べる。

　記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラムを格納する。また、この記憶部１２は制御部１１のワークメモリとしても動作し、制御部１１がプログラム実行の過程で使用するデータを格納する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。

　また本実施の形態の例では、この記憶部１２には、予めユーザの所在する部屋を撮影して得たパノラマ画像データが格納されていてもよい。本実施の形態のある例では、このパノラマ画像データは、全天球画像データ（image data of the entire celestial sphere）であってもよい。

　インタフェース部１３は、操作デバイス２０や中継制御装置３０との間で画像処理装置１０の制御部１１がデータ通信を行うためのインタフェースである。画像処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで操作デバイス２０や中継制御装置３０等と接続される。一例として、このインタフェース部１３は、画像処理装置１０が供給する画像データ（歪像画像データ）や音声を中継制御装置３０に送信するために、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのマルチメディアインタフェースを含んでよい。また、中継制御装置３０経由で表示装置４０から各種の情報を受信したり、制御信号等を送信したりするために、ＵＳＢ等のデータ通信インタフェースを含んでよい。さらにインタフェース部１３は、操作デバイス２０に対するユーザの操作入力の内容を示す信号を受信するために、ＵＳＢ等のデータ通信インタフェースを含んでよい。

　操作デバイス２０は、家庭用ゲーム機のコントローラ等であって、ユーザが画像処理装置１０に対して各種の指示操作を行うために使用される。操作デバイス２０に対するユーザの操作入力の内容は、有線又は無線のいずれかにより画像処理装置１０に送信される。なお、操作デバイス２０は必ずしも画像処理装置１０と別体でなくてもよく、画像処理装置１０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。

　中継制御装置３０は、表示装置４０と接続されており、画像処理装置１０から供給される画像データを受け付ける。そして中継制御装置３０は、入力された画像データを、後に述べる、表示装置４０の映像表示素子５１における表示部Ｄの画素の配列に並べ替えた画像データを生成し、さらに必要に応じて、供給された画像データが表す画像に対して、表示装置４０の光学系によって生じる歪みに対応して、当該画像を補正する処理などを実行し、補正された画像を表す映像信号を出力する。

　なお、中継制御装置３０から表示装置４０に出力される映像信号は、左目用のものと右目用のものとの二つの映像信号を含んでいる。また、中継制御装置３０は、映像信号以外にも、音声データや制御信号など、画像処理装置１０と表示装置４０との間で送受信される各種の情報を中継する。また、画像処理装置１０が中継制御装置３０としての機能を兼ねてもよい。この場合は、画像処理装置１０が左目用のものと右目用のものとの二つの映像信号を含む映像信号を表示装置４０に出力することとなり、画像処理装置１０と別体の中継制御装置３０は必ずしも必要でない。

　表示装置４０は、ユーザが頭部に装着して使用する表示デバイスであって、中継制御装置３０から入力される映像信号に応じた映像を表示し、ユーザに閲覧させる。本実施形態では、表示装置４０はユーザの右目と左目とのそれぞれの目の前に、それぞれの目に対応した映像を表示するものとする。この表示装置４０は、図１に示したように、映像表示素子５１、及び光学素子５２を含んで構成される。

　映像表示素子５１は、有機ＥＬ表示パネルや液晶表示パネルなどであって、中継制御装置３０から入力される指示に従って映像を表示する。この映像表示素子５１は、左目用の映像と右目用の映像とを一列に並べて表示する１つの表示素子であってもよいし、左目用の映像と右目用の映像とをそれぞれ独立に表示する一対の表示素子を含んで構成されてもよい。また、本実施の形態の別の例では、スマートフォンの画面をそのまま映像表示素子５１として用いてもよい。また表示装置４０は、ユーザの網膜に直接映像を投影する網膜照射型（網膜投影型）の装置であってもよい。この場合、映像表示素子５１は、光を発するレーザーとその光を走査するＭＥＭＳ（Micro Electro Mechanical Systems）ミラーなどによって構成されてもよい。

　光学素子５２は、ホログラムやプリズム、ハーフミラーなどであって、ユーザの目の前に配置され、映像表示素子５１が表示する映像の光を透過又は屈折させて、ユーザの目に入射させる。具体的に、この光学素子５２は、左目用光学素子５２Ｌと、右目用光学素子５２Ｒとを含み、映像表示素子５１が表示する左目用の映像は、左目用光学素子５２Ｌを経由してユーザの左目に入射し、右目用の映像は右目用光学素子５２Ｒを経由してユーザの右目に入射するようにしてもよい。これによりユーザは、表示装置４０を頭部に装着した状態で、左目用の映像を左目で、右目用の映像を右目で、それぞれ見ることができるようになる。なお、本実施形態において表示装置４０は、ユーザが外界の様子を視認することができない非透過型の表示装置である。

　次に、画像処理装置１０の制御部１１の動作について説明する。本実施の形態では、この制御部１１は機能的には、図２に例示するように、取得部２１と、投影面設定部２２と、背景生成部２３と、モデル画像処理部２４と、合成処理部２５と、出力部２６とを含んで構成される。

　取得部２１は、ユーザの周囲を撮像したパノラマ画像データを取得する。本実施の形態の一例では、このパノラマ画像データは、予め画像処理装置１０が設置されている室内を撮影して得たパノラマ画像データが、記憶部１２に格納されているものとする。こうしたパノラマ画像データは、いわゆる全天球カメラや、パノラマ画像の撮影機能を有したスマートフォン等を用いて撮影できるので、ここでの詳しい説明を省略する。

　投影面設定部２２は、取得部２１が取得したパノラマ画像データを投影する投影面を設定する。本実施の形態の一例では、この投影面設定部２２は、ユーザの視点位置（ユーザの両目の中心位置などとして予め定めておく）を中心とした半径Ｒの仮想的な球体を投影面として設定する。なお、ここでの例では、ユーザの視線方向（ユーザが表示装置４０を装着したときの初期の視線方向でよい）を法線とする仮想的な面において、重力の方向に引いた線分を当該面に射影してできる線分に沿った軸をＺ軸（鉛直上向きを正の向きとする）とする。また、このユーザの視線方向をＹ軸（ユーザの視線の向きを正の方向とする）とし、これらＺ軸とＹ軸とに直交する方向をＸ軸（ユーザの左手から右手に向かう方向を正の方向とする）としたＸＹＺ三次元座標（便宜的にワールド座標と呼ぶ）が設定され、ユーザの視点の位置を、このワールド座標系の中心（０，０，０）とする。

　また、上記仮想的な球体の半径Ｒは、例えばユーザの所在する部屋の広さに応じて決定してもよいし、予め定められた値としておいてもよい。部屋の広さに応じて決定する場合は、例えばユーザに所在する部屋の大きさ（どれほどの面積であるかや、縦横高さのそれぞれの長さなど）の入力を求め、当該求めに応じてユーザが入力した値に応じて決定することとすればよい。

　背景生成部２３は、投影面設定部２２が設定した投影面に対して、取得部２１が取得したパノラマ画像データを投影して背景画像データを生成する。この投影像の生成方法は、仮想的な球体の内側にパノラマ画像データを位置合わせする、広く知られたテクスチャーマッピング技術を用いることができるので、ここでの詳しい説明を省略する。

　モデル画像処理部２４は、ユーザからの指示により、あるいはゲームアプリケーション等、他のアプリケーションによって指定される三次元モデルデータを取得する。またここで取得する三次元モデルデータは、複数あってもよい。この場合、三次元モデルデータに固有の座標系（ローカル座標系と呼ぶ）の座標情報でそれぞれの三次元モデルデータの相対的な配置位置が指定される。モデル画像処理部２４は、ここで取得した三次元モデルデータに基づき、モデル画像データを生成する。具体的にこのモデル画像処理部２４は、椅子や机など、仮想的な三次元の物体の三次元モデルデータを、（例えばそれぞれ上記ローカル座標系の座標情報で指定された位置に）複数配置した状態を表すモデル画像データを生成する。

　なお、以下の説明ではモデル画像データに含まれる仮想的な物体に外接する仮想的な外接直方体の面のうち、予め定められた方向の面（上記ローカル座標系がξηζ直交座標系である場合に、ξ，η，ζの各軸を法線とする面で構成した外接直方体としたときには、ζ軸の負の方向の面と定めればよい）を、このモデル画像データの底面とする。

　合成処理部２５は、背景生成部２３が生成した背景画像データを背景として、モデル画像処理部２４で生成したモデル画像データを、所定の座標情報で示される位置（例えばモデル画像データの底面が、ユーザの視点位置からワールド座標系のＺ軸方向にＬだけ下（Ｚ＝－Ｌ）のＸＹ面に接する位置）に配する。つまり、合成処理部２５は、モデル画像データが表す仮想的な物体を、上記座標情報で示される位置に配置して合成画像データを生成する。なお、合成処理部２５は、Ｘ，Ｙ軸方向の位置については、ユーザの視線方向に合わせ、仮想的にユーザの眼前にあるように設定する。具体的にはＸ軸方向にはユーザの前方（Ｘ＝０）でよく、Ｙ軸方向については、所定の距離だけ前方（Ｙ＝ｙ，ｙは、投影面である仮想的な球体の半径Ｒより十分小さく、ｙ＞０なる所定の値）に設定すればよい。また、合成処理部２５は、モデル画像データのＹＺ面内での傾きも所定の方法で定める。一例としては、ξ，η，ζの法線方向を、ワールド座標系のＸ，Ｙ，Ｚの法線方向に一致させることとしてもよい。

　またこの合成処理部２５は、ユーザの視点位置及び視線方向の情報を取得する。具体的に合成処理部２５は、ユーザの頭部の動きをトラッキング（所定のタイミングごとに検出）し、当該頭部の位置及び方向を検出して視点位置及び視線方向の情報を取得する。このような視点の位置や視線方向の情報取得方法は広く知られた方法を採用できる。

　合成処理部２５は当該合成画像データに基づいて、取得した情報で特定されるユーザの視点位置から見た、ユーザの視線方向の視野範囲の画像（視野画像）をレンダリングして生成する。この処理は、仮想的なカメラの位置、方向を設定して、仮想的な物体をレンダリング処理する、一般的な三次元グラフィック画像の生成処理によることができる。出力部２６は、合成処理部２５にて生成された視野画像を、表示装置４０に対して出力する。

　また、本実施の形態において合成処理部２５は、ユーザの視点の位置や視線方向が変化するごとに、合成画像データに基づくレンダリングを行い、出力部２６に対してレンダリング結果である視野画像を出力する。これにより、ユーザが頭部を動かして視点の位置や視線方向を変化させると、パノラマ画像のうち、当該視点の位置から見た視線方向にある像が背景として視認でき、またモデル画像データに基づいて生成された仮想的な物体の画像のうち、視野内にある画像があれば、当該画像が前景として視認できるようになる。

　以上の構成を備えた本実施の形態の画像処理装置１０によると、ユーザが表示装置４０を装着したときに、当該ユーザが所在している部屋のパノラマ画像が背景として表示されるとともに、モデル画像データに基づいてレンダリングされた仮想的な物体が前景として表示されることとなる。従って、例えばパノラマ画像に含まれる机の天板の画像上に仮想的なゲーム空間を表す三次元モデルデータに基づく仮想的な物体を配しておき、ユーザの操作デバイス２０に対する操作によって当該仮想的な物体に入り込む（仮想的な物体の内部に向かって仮想的に視点を移動させていく）演出を行うといった処理が可能となって、ゲーム空間への遷移が自然に演出できるようになり、没入感を向上できる。

　しかしながら、このようにパノラマ画像に対して、三次元モデルデータに基づき、演算によりレンダリングして得られた仮想的な物体の画像を合成すると、次のような場合に違和感を生じることがある。

　すなわち、図３に例示するように、パノラマ画像のうち、球体の投影面Ｓに投影された机の天板Ｔが表示されている位置にモデル画像データに基づく仮想的な物体Ｍを配置すると、パノラマ画像の机の天板Ｔが平板ではなく球面である投影面Ｓに投影された像となっているのに対して、合成された、モデル画像データに基づく仮想的な物体Ｍが平面に配置された像となる。このため、ユーザが頭部を動かして視野を図３のＡからＢへ変動させたとき、背景となっているパノラマ画像はほとんど移動しないのに対して、当初は机の上に配置されていると視認される仮想的な物体はその向きを大きく変えて表示されることとなって違和感が生じてしまう。

　本実施の形態の画像処理装置１０では、このような事情を考慮して、次の動作を行ってもよい。すなわち、本実施の形態の画像処理装置１０の制御部１１は、投影面設定部２２の動作として、少なくともユーザ視点位置の下方側を平面とした投影面を設定してもよい。

　具体的に、この例の投影面設定部２２は、図４に模式的に示すように、ユーザの視点位置Ｕよりも距離Ｌ（モデル画像データの底面の位置に相当する）だけ下方に平面の投影面Ｐを配し、この投影面Ｐから上側の投影面を、半径をＲ（Ｒ＞Ｌ）とし、中心をユーザの視点位置Ｕとした球の一部Ｓとする。

　背景生成部２３は、投影面設定部２２が設定したこの投影面に対して、取得部２１が取得したパノラマ画像データを投影して背景画像データを生成する。

　合成処理部２５は、背景生成部２３が生成した背景画像データを背景（無限遠にある像）として、モデル画像処理部２４で生成したモデル画像データの底面を、上記平面の投影面Ｐ上に配する。すなわち、合成処理部２５は、重力方向をＺ軸として、Ｚ軸方向にユーザの視点位置からＬだけ下方の位置に、モデル画像データの底面が接するように、モデル画像データを配置する。

　そして合成処理部２５は、ユーザの視点位置及び視線方向の情報を取得し、上記の位置にモデル画像データが表す仮想的な物体の画像を配置した合成画像データに基づいて、取得した情報で特定されるユーザの視点位置から見た、ユーザの視線方向の視野範囲の画像（視野画像）をレンダリングして生成する。

　これによると、モデル画像データによる仮想的な物体は、平面の投影面Ｐ上に配置された状態として視認される。一般的に、現実空間の机の天板等の面は、ユーザの視点位置よりも下方であるので、上記平面の投影面Ｐにはパノラマ画像に撮像された像のうち、机の天板や床面の像が投影される。このため、ユーザが頭部を動かして視野を図４のＵからＵ′へ変動させたときでも、背景となっているパノラマ画像と、モデル画像とが一体的に見えることとなり、違和感が軽減される。さらに別の例では、本実施の形態における投影面設定部２２は投影面を、球面ではなく、直方体等の六面体としてもよい。六面体とする場合、投影面の底面（Ｚ軸方向に下方向）の位置を、ユーザの視点位置から上記Ｌだけ下方とする。また投影面の底面は現実の床面に平行とする（Ｚ軸を法線とする）。

　さらに本実施の形態のある例では、投影面設定部２２及び背景生成部２３は、取得部２１が取得したパノラマ画像データに基づいて投影面を設定してもよい。一例として本実施の形態の投影面設定部２２は、ユーザの視点位置を中心とし、半径ｒi（ｉ＝１，２，…，ｎ、ただしｒ1＞ｒ2＞…＞ｒnとする）の複数の仮想球を投影面として設定する。

　背景生成部２３は、取得部２１が取得したパノラマ画像データに対して、領域分割処理を実行する。この領域分割処理は例えば、グラフカット等の公知の方法を用いる。

　背景生成部２３は、パノラマ画像データから領域分割処理で得られた領域ごとにラベリングを行う。例えば背景生成部２３は、領域内の画素値によって表される色相（Hue）の平均値を演算し、当該演算された色相の平均値の差が、予め定めたしきい値より小さい領域同士に共通のラベルを割り当てて、領域をラベリングする。この例ではそれぞれの色相の差が上記しきい値より小さい複数の領域には同じラベルが割り当てられることとなる。これは、壁などでは色相が比較的共通するのに対して、壁より手前側に配される物体は、一般には色相が互いに異なることを考慮したものである。もっとも本実施の形態におけるラベリングの方法はこれに限られるものではない。

　背景生成部２３は、割り当てたラベルごとに、当該ラベルが割り当てられた領域の面積の合計値（当該ラベルが割り当てられた領域が一つだけの場合は当該領域の面積そのものとする）を求める。そして背景生成部２３は、予め定めた複数の面積しきい値Ａth_1，Ａth_2，…Ａth_n（Ａth_1＞Ａth_2＞…＞Ａth_nとする）を用い、面積しきい値Ａth_(i-1)より小さくかつ、Ａth_i以上である（ｉ＝１，２，…，ｎ、ただし、Ａth_0は無限大とする）領域について推定距離ラベルｉを割り当てる。

　背景生成部２３は、予め定められた、ユーザの視点位置を中心とし、半径ｒi（ｉ＝１，２，…，ｎ）の複数の仮想球を投影面として、半径ｒiの仮想球である投影面の対応する範囲に、パノラマ画像データのうち、推定距離ラベルｉが割り当てられている領域内の部分的な画像データ（部分画像データ）をテクスチャーマッピングにより投影する。なお、例えば推定距離ラベルｋが割り当てられた領域がなければ、半径ｒkの仮想球である投影面には何も投影されないこととなる。ここでの各仮想球が本発明における、ユーザの視点位置からの距離が互いに異なる位置に、仮想的に複数配された投影面に相当する。

　この例によると、パノラマ画像データを領域に分割し、領域ごとに推定された距離に基づき、対応する距離にある投影面に当該領域の部分画像データが投影されて背景画像データが生成されるので、距離感の違和感を軽減できる。

　また、この例の場合においても、投影面設定部２２は、ユーザの視点位置Ｕよりも距離Ｌ（モデル画像データの底面の位置に相当する）だけ下方には単一の平面の投影面Ｐを配してもよい。この場合、背景生成部２３は、パノラマ画像データのうち、ユーザの視点位置Ｕよりも上記距離Ｌ以上だけ下方に投影されるべき部分の部分画像データは、領域分割の処理により得られた領域によらず、この投影面Ｐにテクスチャーマッピングにより投影する。

［仮想的な物体の配置位置に基づく投影面の設定］
　ここまでの説明においては、合成処理部２５が、投影面設定部２２により設定された平面の投影面に、モデル画像データに含まれる仮想的な物体Ｍ１，Ｍ２…に外接する外接直方体の底面（モデル画像データの底面）が接するように、モデル画像データを配置することとしていたが、本実施の形態はこれに限られない。

　すなわち、本実施の形態の一例では、モデル画像データに含まれる仮想的な物体Ｍ１，Ｍ２…に外接する外接直方体Ｂの面のうち、指定された面が接するように、投影面設定部２２が投影面を設定してもよい。

　具体的に、この例では、投影面設定部２２は、ワールド座標系のどの方向にモデル画像データを配置するかを指定する情報を受け入れる。この方向を指定する情報は、方向を表すベクトル（ｘ，ｙ，ｚ）によって表されてもよい。

　投影面設定部２２は、図６に例示するように、当該情報であるベクトルを法線とし、ユーザの視点の位置から所定の距離Ｌだけ離れた位置に平面の投影面Ｐを配する。また投影面設定部２２は、半径をＲ（Ｒ＞Ｌ）とし、中心をユーザの視点位置Ｕとした球形の投影面Ｓ′を配して、球形投影面Ｓ′が平面の投影面Ｐによって切断された形状の投影面を設定する。

　さらに合成処理部２５は、モデル画像データに含まれる仮想的な物体Ｍ１，Ｍ２…に外接する外接直方体Ｂのうち、どの方向の面を平面の投影面Ｐに一致させるかの指示を受け入れる。この指示は、例えば、ξ，η，ζのどの軸を法線とする面であるか、またそのうち、当該法線とする軸の正の方向側の面か負の方向側の面であるかを特定する情報を含む。

　合成処理部２５は、当該情報で特定される面に対する法線となる軸が、平面の投影面Ｐの法線（ベクトル（ｘ，ｙ，ｚ）で表される方向の線分）に一致するよう、三次元画像データを回転させ、また当該情報で特定される面が投影面Ｐに接するよう三次元画像データを平行移動して、三次元画像データを配置する。

　この例によると、当初の画角（以下の説明では当初画角と呼ぶ）から徐々に画角が小さくなるように（仮想的な空間が大きく見えるように）制御しつつ、三次元画像データを配した位置にユーザの仮想的な視点を移動させるなどの制御を行って、壁面に貼り付けられた三次元画像データの表すゲーム空間に入り込むような演出を実現できる。

　また、三次元画像データを複数配置する場合、それぞれについて平面とする投影面の方向を指定しておくことで、種々の方向に三次元画像データが配された仮想的な空間をユーザに提示できる。この例では、ユーザが三次元画像データを選択できるようにしておき、当該選択された三次元画像データの表すゲーム空間に入り込む、といった演出が可能となる。

［終了時処理］
　さらに、ゲームなどのアプリケーション終了時には、合成処理部２５が三次元画像データを配置した、投影面内部に戻ってくるように演出してもよい。この場合、合成処理部２５は、合成画像データを記憶部１２に保持しておき、ゲーム等のアプリケーション終了時に、終了したアプリケーションに対応する三次元画像データの配置位置から、当初画角となるまで徐々に画角が大きくなるように（仮想的な空間が小さく見えるように）制御し、また三次元画像データを配した位置からワールド座標系の中心方向にユーザの仮想的な視点を移動させるなどの制御を行いながら、上記記憶している合成画像データに基づいて、ユーザに提示する視野範囲の画像（視野画像）をレンダリングして生成して表示させる。

　これにより、ユーザに対して、ゲーム空間から離れて、現実空間に戻ってきたかのような演出を提示できる。

［視点位置からの距離に基づく投影面の設定］
　なお、投影面は、ユーザの視点位置が当初の位置から移動したときに、当該移動の内容に応じて動的に変化されてもよい。具体的に、本実施の形態のある例では、投影面設定部２２が、図４に模式的に示したように、ユーザの当初の視点位置Ｕよりも上記距離Ｌだけ下方に平面の投影面Ｐを配し、この投影面Ｐから上側の投影面を、半径をＲ（Ｒ＞Ｌ）とし、中心をユーザの当初の視点位置Ｕとした球の一部Ｓとする（図５（ａ））。

　その後、合成処理部２５が、ユーザの頭部の動きをトラッキング（所定のタイミングごとに検出）し、当該頭部の位置及び方向を検出して視点位置Ｕ′及び視線方向の情報を取得し、取得した視点位置Ｕ′と投影面との距離が予め定めた距離Ｒth（Ｒth＜Ｒ）を下回っているときには、取得したユーザの視点位置及び視線方向の情報を投影面設定部２２に出力する。

　ユーザの視点位置Ｕ′及び視線方向の情報の入力を受けた投影面設定部２２は、入力された視点位置Ｕ′の情報からユーザの視線方向に所定の距離Ｌだけ離れた位置に、ユーザの視線方向を法線方向とする平面の投影面Ｑを設定する（図５（ｂ））。

　そして背景生成部２３が、投影面設定部２２が設定した、投影面Ｑを含む投影面に対して、取得部２１が取得したパノラマ画像データを投影して背景画像データを生成する。

　この例では、ユーザが移動して、壁等に近接すると、当該近接した方向に仮想的に配された平面の投影面に、パノラマ画像データのうち、当該方向の部分の画像が背景として提示される。またユーザが視線方向を変化させると、平面の投影面の法線方向が視線方向となるよう動的に変更される。これによりユーザは自然に壁に近接していることを認識できるようになる。

　なお、ここで距離Ｌは、予め定めた値としておいてもよいし、当該投影面Ｑの方向に三次元画像データが配置されているときには、ユーザの視線方向を法線とし、当該三次元画像データに外接する面までの距離としてもよい。

［影のレンダリング］
　また本実施の形態の例では、合成処理部２５は、合成画像データに基づいて、取得した情報で特定されるユーザの視点位置から見た、ユーザの視線方向の視野範囲の画像（視野画像）をレンダリングして生成するとともに次のように影をレンダリングしてもよい。すなわち合成処理部２５は、予め定めた光源位置に仮想的な光源を配したときに、モデル画像データによる仮想的な物体が当該光源からの光を遮ることで投影面に形成される影の画像（影画像データ）を背景画像データに合成して描画してもよい。ここで描画される影の形状や描画の方法は、一般的なレンダリングの処理と同様であるのでここでの詳しい説明を省略するが、本実施の形態の一例では、図４に例示したように、ユーザの視点位置Ｕよりも距離Ｌ（モデル画像データの底面の位置に相当する）だけ下方に平面の投影面Ｐが配されているので、仮想的な物体の影は、この投影面Ｐに投影された（テクスチャとしてマッピングされた）パノラマ画像データの一部に合成されることとなる。このためモデル画像データの底面に配された仮想的な物体の影は、当該底面に接して描画されることとなり、投影面を球面とする場合に比べて違和感が軽減される。

　１０　画像処理装置、１１　制御部、１２　記憶部、１３　インタフェース部、２０　操作デバイス、２１　取得部、２２　投影面設定部、２３　背景生成部、２４　モデル画像処理部、２５　合成処理部、２６　出力部、３０　中継制御装置、４０　表示装置、５１　映像表示素子、５２　光学素子。

Claims

　ユーザの頭部に装着される表示装置と、
　当該表示装置に接続される画像処理装置とを含み、
　前記画像処理装置は、
　ユーザの周囲を撮像したパノラマ画像データを取得し、当該パノラマ画像データを、仮想空間内のユーザの視点位置周囲に仮想的に配した所定形状の投影面に投影した、背景画像データを生成する手段と、
　所定の三次元モデルデータに基づいて生成されたモデル画像データを、前記背景画像データに合成して合成画像データを生成する手段と、
　前記表示装置に対し、合成画像データに基づいて生成した、ユーザの視野画像を出力する出力手段と、
　を有する画像表示システム。
　ユーザの頭部に装着される表示装置に接続され、
　ユーザの周囲を撮像したパノラマ画像データを取得し、当該パノラマ画像データを、仮想空間内のユーザの視点位置周囲に仮想的に配した所定形状の投影面に投影した、背景画像データを生成する手段と、
　所定の三次元モデルデータに基づいて生成されたモデル画像データを、前記背景画像データに合成して合成画像データを生成する手段と、
　前記表示装置に対し、合成画像データに基づいて生成した、ユーザの視野画像を出力する出力手段と、
　を有する画像処理装置。
　請求項２に記載の画像処理装置であって、
　前記投影面は、少なくともユーザ視点位置の下方側が平面となっている投影面である画像処理装置。
　請求項２に記載の画像処理装置であって、
　前記投影面は、ユーザの視点位置からの距離が互いに異なる位置に、仮想的に複数配され、
　前記背景画像データを生成する手段は、パノラマ画像データ内の複数の部分について、各部分に撮像された対象物のユーザの視点位置からの距離を推定して、当該推定された距離に基づいて前記パノラマ画像データを複数の部分画像データに分割し、当該部分画像データごとに推定された距離に基づいて、前記複数配された投影面のいずれかを選択して、当該選択した投影面に当該部分画像データを投影し、背景画像データを生成する画像処理装置。
　請求項４に記載の画像処理装置であって、
　前記投影面は、ユーザ視点位置の下方側には単一の平面が配された投影面であり、
　前記背景画像データを生成する手段は、前記パノラマ画像データに撮像された画像部分のうち、ユーザの視点から予め定めた距離以上下方に相当する画像部分は、前記単一の平面に投影する画像処理装置。
　請求項２から５のいずれか一項に記載の画像処理装置であって、
　前記合成画像データを生成する手段は、前記モデル画像データとともに、前記三次元モデルデータに基づいて生成される影画像データを、前記背景画像データに合成する画像処理装置。
　ユーザの頭部に装着される表示装置に接続された画像処理装置の制御方法であって、
　ユーザの周囲を撮像したパノラマ画像データを取得し、当該パノラマ画像データを、仮想空間内のユーザの視点位置周囲に仮想的に配した所定形状の投影面に投影した、背景画像データを生成する工程と、
　所定の三次元モデルデータに基づいて生成されたモデル画像データを、前記背景画像データに合成して合成画像データを生成する工程と、
　前記表示装置に対し、合成画像データに基づいて生成した、ユーザの視野画像を出力する出力工程と、
　を有する画像処理装置の制御方法。
　ユーザの頭部に装着される表示装置に接続されたコンピュータを、
　ユーザの周囲を撮像したパノラマ画像データを取得し、当該パノラマ画像データを、仮想空間内のユーザの視点位置周囲に仮想的に配した所定形状の投影面に投影した、背景画像データを生成する手段と、
　所定の三次元モデルデータに基づいて生成されたモデル画像データを、前記背景画像データに合成して合成画像データを生成する手段と、
　前記表示装置に対し、合成画像データに基づいて生成した、ユーザの視野画像を出力する出力手段と、
として機能させるプログラム。