JP2020174329A - 情報処理装置、表示方法およびコンピュータプログラム - Google Patents

Abstract

【課題】仮想空間を視聴するユーザに斬新な視聴体験を提供する。【解決手段】情報処理装置２０２は、仮想空間に設けられたスクリーンにおいて映像コンテンツが再生される表示用画像であって、かつ、仮想空間におけるユーザの視聴位置からスクリーンまでの空間に映像コンテンツに基づくエフェクト画像を配置した表示用画像を生成する。情報処理装置２０２は、生成した表示用画像を表示装置（例えばヘッドマウントディスプレイ１００）に表示させる。【選択図】図３

Description

本発明は、データ処理技術に関し、特に情報処理装置、表示方法およびコンピュータプログラムに関する。

ヘッドマウントディスプレイにパノラマ画像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、仮想空間への没入感を高めることができる。

国際公開第２０１７／１１０６３２号

仮想空間をユーザに体験させる様々なアプリケーションが提供されている中、仮想空間を視聴するユーザに斬新な視聴体験を提供することが求められている。

本発明はこうした課題に鑑みてなされたものであり、１つの目的は、仮想空間を視聴するユーザに斬新な視聴体験を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、仮想空間に設けられたスクリーンにおいて映像コンテンツが再生される表示用画像であって、かつ、仮想空間におけるユーザの視聴位置からスクリーンまでの空間に映像コンテンツに基づくエフェクト画像を配置した表示用画像を生成する生成部と、生成部により生成された表示用画像を表示装置に表示させる出力部と、を備える。

本発明の別の態様は、表示方法である。この方法は、仮想空間に設けられたスクリーンにおいて映像コンテンツが再生される表示用画像であって、かつ、仮想空間におけるユーザの視聴位置からスクリーンまでの空間に映像コンテンツに基づくエフェクト画像を配置した表示用画像を生成するステップと、生成するステップで生成された表示用画像を表示装置に表示させるステップと、をコンピュータが実行する。

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、上記情報処理装置の機能を含むヘッドマウントディスプレイなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、仮想空間を視聴するユーザに斬新な視聴体験を提供することができる。

実施例に係るヘッドマウントディスプレイの外観図である。 図１のヘッドマウントディスプレイの機能ブロックを示すブロック図である。 実施例に係るエンタテインメントシステムの構成を示す図である。 図３の情報処理装置の内部回路構成を示す図である。 図３の情報処理装置の機能ブロックを示すブロック図である。 画像生成部における表示用画像の描画処理の具体例を説明する図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。

実施例の情報処理装置（後述の情報処理装置２０２）は、仮想空間に設置されたスクリーンにおいて映像コンテンツを再生表示させ、そのスクリーンを含む仮想現実映像（以下「ＶＲ画像」とも呼ぶ。）をユーザに視聴させる。実施例の情報処理装置は、映像コンテンツの再生表示中、仮想空間におけるスクリーンの外に、映像コンテンツに同期させて特殊効果用の画像（以下「エフェクト画像」とも呼ぶ。）を表示させる。

実施例の仮想空間はスクリーンが設置された仮想的な映画館であり、ユーザは、映画館内の座席からスクリーンに映る映像コンテンツを視聴する。この際、ユーザの視聴位置からスクリーンまでの間には空間が生じる。実施例では、この空間にエフェクト画像を表示することにより、スクリーンに映る映像コンテンツの立体感を高める。

実施例では、複数種類のエフェクト画像が表示され得る。複数種類のエフェクト画像は、稲妻が光る様子を示す稲妻画像（火花が光る様子を示す火花画像とも言える）、煙が立ちこめる様子を示す煙画像、およびビームが飛ぶ様子を示すビーム画像を含む。特に断らない限り、実施例における「画像」は、動画像（言い換えれば映像）と静止画の両方を含み得る。

図１は、実施例に係るヘッドマウントディスプレイの外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。ヘッドマウントディスプレイ１００の形状に制限はなく、例えば、帽子型でもよく、眼鏡型でもよい。

実施例では、ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報およびユーザの視線を計測する。変形例として、ユーザがモーションセンサを頭部に装着したり、注視点検出装置を用いて赤外線の反射を検出したりすることで視線を検出してもよい。あるいは、ヘッドマウントディスプレイまたはユーザの頭部にマーカーを装着させ、その姿をカメラにより撮影し、撮影した画像を解析することにより、ヘッドマウントディスプレイまたはユーザの姿勢と視線を推定してもよい。

図２は、図１のヘッドマウントディスプレイ１００の機能ブロックを示すブロック図である。本明細書のブロック図で示す複数の機能ブロックは、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムをＣＰＵが実行すること等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。

通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

モーションセンサ６４は、ヘッドマウントディスプレイ１００の本体部１１０の回転角や傾きなどの姿勢情報を検出する。モーションセンサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。外部入出力端子インタフェース７０は、周辺機器を接続するためのインタフェースであり、例えばＵＳＢ（Universal Serial Bus）コントローラである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。

時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させたりすることができる。

図３は、実施例に係るエンタテインメントシステムの構成を示す。エンタテインメントシステム２００は、様々な映像コンテンツを、ユーザの頭部に装着されたヘッドマウントディスプレイ１００に表示させる情報処理システムである。映像コンテンツは、例えば、映画、アニメーション、コンサート、ゲーム映像等を含む。

情報処理装置２０２は、ヘッドマウントディスプレイ１００における表示用画像を生成する画像生成装置であり、ヘッドマウントディスプレイ１００の表示内容を制御する表示制御装置とも言える。実施例の情報処理装置２０２は、据置型ゲーム機とするが、変形例として、情報処理装置２０２は、ＰＣ、タブレット端末、スマートフォン、携帯型ゲーム機等であってもよい。また、情報処理装置２０２は、ヘッドマウントディスプレイ１００と一体化されてもよく、言い換えれば、情報処理装置２０２の機能は、ヘッドマウントディスプレイ１００に組み込まれてもよい。

情報処理装置２０２は、無線通信またはＵＳＢ等の周辺機器を接続するインタフェースを介してヘッドマウントディスプレイ１００およびコントローラ２０４に接続される。また、情報処理装置２０２は、ＬＡＮ・ＷＡＮ・インターネット等を含む通信網２０８を介して、配信サーバ２０６と接続される。

コントローラ２０４は、ヘッドマウントディスプレイ１００を装着したユーザが把持する操作デバイスであり、情報処理装置２０２に対するユーザの操作を受け付け、操作内容を情報処理装置２０２へ送信する。また、コントローラ２０４は、内蔵されたモーターを回転させることで持ち手部分を振動させる振動部（不図示）を備える。

配信サーバ２０６は、所定の記憶装置に記憶された映像コンテンツのデータを、所定のストリーミングプロトコルにしたがって情報処理装置２０２へ送信するストリーミングサーバである。

図４は、図３の情報処理装置２０２の内部回路構成を示す。情報処理装置２０２は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インタフェース２２８が接続されている。

入出力インタフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや、有線又は無線ＬＡＮのネットワークインタフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００などの表示装置へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより情報処理装置２０２の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図５は、図３の情報処理装置２０２の機能ブロックを示すブロック図である。情報処理装置２０２は、コンテンツ取得部２５０、コンテンツ記憶部２５２、操作検出部２５４、位置・姿勢取得部２５６、画像生成部２５８、画像出力部２６０、コントローラ制御部２６２、エフェクト画像記憶部２６４を備える。図５に示す複数の機能ブロックのうち少なくとも一部は、ヘッドマウントディスプレイ１００（図２の制御部１０、記憶部５０等）に実装されてもよい。

また、図５に示す複数の機能ブロックのうち少なくとも一部は、コンピュータプログラム（例えば映像視聴アプリケーション）のモジュールとして実装されてもよい。このコンピュータプログラムは、ＤＶＤ等の記録メディアに格納され、または、ネットワークからダウンロードされて、情報処理装置２０２の記憶部２３４にインストールされてもよい。情報処理装置２０２のＣＰＵ２２２およびＧＰＵ２２４は、このコンピュータプログラムをメインメモリ２２６に読み出して実行することにより、各機能ブロックの機能を発揮してもよい。

コンテンツ取得部２５０は、配信サーバ２０６から送信された映像コンテンツのデータであって、仮想空間において再生すべき映像コンテンツのデータを取得する。実施例の映像コンテンツは、一般的なディスプレイに表示されるものと同じ平面映像（言い換えれば２次元映像）とする。変形例として、映像コンテンツは、立体視が可能なよう視差を設けた立体映像（言い換えれば３次元映像）であってもよい。

なお、実施例の配信サーバ２０６は、映像コンテンツのデータとともに、エフェクトの態様を定めたデータ（以下「エフェクト定義データ」とも呼ぶ。）を提供する。コンテンツ取得部２５０は、映像コンテンツのデータとともにエフェクト定義データを取得する。実施例のエフェクト定義データは、複数個のレコードを含み、各レコードは、（１）映像コンテンツの再生期間におけるエフェクト画像を配置すべきタイミング、（２）エフェクト画像の種類、（３）エフェクト画像の配置位置、および（４）コントローラの振動態様を含む。

（１）エフェクト画像を配置すべきタイミングは、映像コンテンツの再生開始時点からの経過時間の形で、エフェクト画像の表示開始タイミングと表示終了タイミングを定めたデータでもよい。（２）エフェクト画像の種類は、稲妻画像、煙画像、ビーム画像のいずれかまたは組合せを指定するデータでもよい。なお、エフェクト画像の種類は、映像コンテンツのシーンと整合するものが指定されることが望ましい。例えば、エフェクト定義データは、爆発のシーンには煙画像を指定し、銃撃戦のシーンにはビーム画像を指定し、火花が飛ぶシーンには稲妻画像を指定するものであってもよい。

（３）エフェクト画像の配置位置は、仮想空間内の空間位置（例えば３次元座標位置）を指定するデータでもよい。実施例では、エフェクト画像の配置位置として、スクリーン３０２の外にあたる空間位置が指定され、言い換えれば、スクリーン３０２の空間位置と重複しない位置が指定される。また、エフェクト画像の配置位置として、ユーザの視聴位置（言い換えればユーザの視点位置）からスクリーン３０２までの間の空間位置が指定され得る。（４）コントローラの振動態様は、エフェクト画像の表示に伴いコントローラ２０４を振動させるか否かを指定するデータと、振動時間の長さを指定するデータとを含んでもよい。

コンテンツ記憶部２５２は、コンテンツ取得部２５０により取得された映像コンテンツのデータと、エフェクト定義データとを記憶する。

エフェクト画像記憶部２６４は、ＶＲ画像に配置すべき複数種類のエフェクト画像のデータを記憶する。実施例では、エフェクト画像記憶部２６４は、稲妻画像のデータ、煙画像のデータおよびビーム画像のデータを記憶する。これらのエフェクト画像のデータは、予めエフェクト画像記憶部２６４に格納されてもよい。または、配信サーバ２０６は、映像コンテンツのデータ、エフェクト定義データとともに、映像コンテンツの種類やストーリ等に適合するエフェクト画像のデータを情報処理装置２０２へ提供してもよい。コンテンツ取得部２５０は、配信サーバ２０６からエフェクト画像のデータを取得してエフェクト画像記憶部２６４に格納してもよい。

操作検出部２５４は、コントローラ２０４に対して入力されたユーザ操作を検出し、ユーザ操作に関するデータを画像生成部２５８へ出力する。なお、操作検出部２５４は、ユーザ操作に関するデータをコンテンツ取得部２５０へも出力する。コンテンツ取得部２５０は、ユーザの操作に応じて映像コンテンツを配信サーバ２０６から取得する。例えば、コンテンツ取得部２５０は、配信サーバ２０６が配信可能な複数の映像コンテンツのうちユーザにより選択された映像コンテンツを配信サーバ２０６に要求し、その選択された映像コンテンツを配信サーバ２０６から取得する。

位置・姿勢取得部２５６は、ヘッドマウントディスプレイ１００の位置および／または姿勢を取得し、言い換えれば、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置および／または姿勢を取得する。例えば、位置・姿勢取得部３３６は、ヘッドマウントディスプレイ１００のモーションセンサ６４の検出値に基づいて、ヘッドマウントディスプレイ１００の位置および姿勢を所定のレートで検出する。

ヘッドマウントディスプレイ１００の位置は、現実世界の３次元空間においてヘッドマウントディスプレイ１００が存在する位置を示す座標であってもよい。ヘッドマウントディスプレイ１００の姿勢は、縦方向、横方向、高さ方向の３軸におけるヘッドマウントディスプレイ１００の傾きであってもよい。位置・姿勢取得部３３６は、情報処理装置２０２に接続した図示しない撮像装置による撮像画像に基づき、頭部の位置や姿勢を取得してもよく、その結果をモーションセンサによる情報と統合してもよい。位置・姿勢取得部２５６は、ヘッドマウントディスプレイ１００の位置および／または姿勢を示すデータを画像生成部２５８へ出力する。

画像生成部２５８は、操作検出部２５４から入力されたユーザ操作に応じて、ヘッドマウントディスプレイ１００に提供する表示用画像を生成する。また、画像生成部２５８は、位置・姿勢取得部２５６から入力されたヘッドマウントディスプレイ１００の位置および姿勢に整合する内容の表示用画像を生成する。実施例における表示用画像は、ヘッドマウントディスプレイ１００に表示されるＶＲ画像である。

また、画像生成部２５８は、コンテンツ記憶部２５２に格納された映像コンテンツのデータおよびエフェクト定義データ、エフェクト画像記憶部２６４に格納されたエフェクト画像に基づいて、ＶＲ画像を生成する。実施例では、画像生成部２５８は、仮想空間に設けられたスクリーンにおいて映像コンテンツが再生されるＶＲ画像であって、かつ、仮想空間におけるユーザの視聴位置からスクリーンまでの空間に映像コンテンツに基づくエフェクト画像を配置したＶＲ画像を生成する。

また、画像生成部２５８は、アルファブレンド等の公知の方法により、エフェクト画像に所定の透過率を設定する。すなわち、画像生成部２５８は、仮想空間のスクリーンに映る映像コンテンツの上に重ねてエフェクト画像を配置する場合に、エフェクト画像の背後の映像コンテンツがエフェクト画像を通して見える態様のＶＲ画像を生成する。エフェクト画像の透過率は、０％より大きい値であり、開発者の知見や、エンタテインメントシステム２００を用いた実験により適切な値が決定されてよい。

図６は、画像生成部２５８におけるＶＲ画像の描画処理の具体例を説明する図である。同図は、仮想スクリーンＶＳと二つの視点カメラＣ１及びＣ２とが配置された仮想空間を上方から見た様子を示している。同図に示すように、画像生成部２５８は、仮想空間内に仮想スクリーンＶＳ（後述のスクリーン３０２に対応）を配置し、この仮想スクリーンＶＳに相対する位置に二つの視点カメラＣ１およびＣ２を配置する。二つの視点カメラＣ１およびＣ２は、左右方向に沿って所定距離離れて並んでいる。そして、画像生成部２５８は、仮想スクリーンＶＳの表面に、映像コンテンツのデータ（実施例では平面映像）をテクスチャとして貼り付ける。

この状態において、画像生成部２５８は、視点カメラＣ１から仮想空間内を見た様子を示す画像を描画して左目用のＶＲ画像を生成し、また、視点カメラＣ２から仮想空間内を見た様子を示す画像を描画して右目用のＶＲ画像を生成する。左目用のＶＲ画像は、ヘッドマウントディスプレイ１００の左目用ディスプレイに表示され、また、右目用のＶＲ画像がヘッドマウントディスプレイ１００の右目用ディスプレイに表示される。これにより、ユーザーは、自分の前方の離れた位置に存在する仮想スクリーンＶＳに平面映像Ｍが映っている様子を閲覧することできる。

さらに、画像生成部２５８は、ヘッドマウントディスプレイ１００の姿勢（言い換えれば向き）の変化に応じて、二つの視点カメラＣ１およびＣ２の向き（すなわち視線方向）を変化させる。ここでヘッドマウントディスプレイ１００の向きは、例えばヘッドマウントディスプレイ１００の上下方向、左右方向、および前後方向のそれぞれの方向に沿った回転軸を中心とした回転角（すなわち、ヨー角、ピッチ角、及びロール角）によって定義されてよい。また、画像生成部２５８は、ヘッドマウントディスプレイ１００の位置の変化（例えば平行移動）に応じて、二つの視点カメラＣ１及びＣ２の位置を変化させる。

具体的には、画像生成部２５８は、ヘッドマウントディスプレイ１００の向きが変化した場合、その回転と同じ回転方向、および同じ回転量だけ視点カメラＣ１およびＣ２を回転させる。このとき、視点カメラＣ１およびＣ２は、両者の中心位置を回転中心として、互いの距離を保ったまま仮想空間内で回転する。また、ヘッドマウントディスプレイ１００が基準位置から平行移動した場合、画像生成部２５８は、その移動方向及び移動量に応じて視点カメラＣ１とＣ２の両方を仮想空間内で移動させる。そして、位置および向きの変化した視点カメラＣ１とＣ２のそれぞれから仮想スクリーンＶＳを見た様子を描画することにより、左目用ＶＲ画像と右目用ＶＲ画像を生成する。このとき、視点カメラの位置や向きは変化するが、仮想スクリーンＶＳの仮想空間内における位置は変化しない。そのため、ユーザーは、あたかも映像コンテンツを映すスクリーンが固定されているかのような感覚で、映像コンテンツを視聴することができる。

図５に戻り、画像生成部２５８は、コンテンツ記憶部２５２に記憶されたエフェクト定義データにしたがって、エフェクト画像の配置態様を決定する。画像生成部２５８は、映像コンテンツの再生中に、上記決定した態様にて仮想空間内にエフェクト画像を配置したＶＲ画像を生成する。すなわち、画像生成部２５８は、エフェクト定義データが定めるタイミングで、エフェクト定義データが定める種類のエフェクト画像を、エフェクト定義データが定める空間位置に配置する。

既述したように、実施例のエフェクト画像は、仮想空間におけるユーザの視聴位置からスクリーンまでの空間に配置され得る。この空間は、図６の例では、視点カメラＣ１および視点カメラＣ２から仮想スクリーンＶＳまでの間の空間である。

また、画像生成部２５８は、ユーザと同じ仮想空間で、ユーザと同じ映像コンテンツを視聴する１人以上のキャラクタの画像を含むＶＲ画像を生成する。画像生成部２５８は、エフェクト画像の表示に伴ってキャラクタが動作する（言い換えればキャラクタの動きを含む）ＶＲ画像を生成する。例えば、画像生成部２５８は、稲妻画像等を含むＶＲ画像を生成する際に、そのＶＲ画像内でキャラクタを動作させてもよい。キャラクタの動作は、例えば、頭部を動かすこと、顔を覆うこと、または後ろを振り返ることでもよい。

なお、画像生成部２５８は、特定種類のエフェクト画像と、特定種類のキャラクタの特定種類の動作との対応関係を保持してもよい。画像生成部２５８は、特定種類のエフェクト画像をＶＲ画像に設定する場合に、対応する特定種類のキャラクタの特定種類の動作をそのＶＲ画像に含めてもよい。

画像出力部２６０は、画像生成部２５８により生成されたＶＲ画像（実際には左目用ＶＲ画像および右目用ＶＲ画像）のデータを、出力部２３６を介してヘッドマウントディスプレイ１００に所定のレートで送信する。これにより、ヘッドマウントディスプレイ１００のディスプレイにＶＲ画像を表示させる。

コントローラ制御部２６２は、コンテンツ記憶部２５２に記憶されたエフェクト定義データを参照して、エフェクト画像が表示される場合に、ユーザが把持するコントローラ２０４を振動させる。コントローラ制御部２６２は、エフェクト定義データにコントローラ２０４の振動有りを定めたレコードがある場合、そのレコードが定めるエフェクト表示タイミングにおいて、コントローラ２０４に対して振動を指示する所定の信号を送信することにより、コントローラ２０４を振動させてもよい。また、コントローラ制御部２６２は、エフェクト定義データが定める振動時間の長さだけ、コントローラ２０４を振動させてもよい。

変形例として、コントローラ制御部２６２は、特定種類のエフェクト画像と、コントローラ２０４の振動との対応関係を保持してもよい。コントローラ制御部２６２は、特定種類のエフェクト画像が表示される場合に、コントローラ２０４を振動させてもよい。

以上の構成によるエンタテインメントシステム２００の動作を説明する。
ユーザが、情報処理装置２０２において映像視聴アプリケーションを起動すると、情報処理装置２０２の画像生成部２５８は、仮想空間として映画館を示すＶＲ画像を生成する。情報処理装置２０２の画像出力部２６０は、映画館を示すＶＲ画像をヘッドマウントディスプレイ１００に表示させる。

図７は、ＶＲ画像３００の例を示す。同図のＶＲ画像３００は、仮想空間としての映画館を示しており、映画館内の座席から左を向いた場合に見える内容を示している。すなわち、同図のＶＲ画像３００は、現実空間においてユーザが自身の頭部を左へ向けた場合に、ヘッドマウントディスプレイ１００に表示される内容を示している。ＶＲ画像３００は、ユーザの前方（ステージ側）に設けられた、映像コンテンツを映すためのスクリーン３０２を含む。また、ＶＲ画像３００は、ユーザ以外の観客である複数のキャラクタ３０４を含む。

キャラクタ３０４は、ユーザと同じ映像コンテンツを視聴する他のユーザ、すなわち、異なる情報処理装置２０２を使用して同じ映像コンテンツを視聴する他のユーザのアバターでもよい。また、キャラクタ３０４は、ＮＰＣ（Non Player Character）でもよい。例えば、情報処理装置２０２のコンテンツ取得部２５０は、ユーザと同じ映像コンテンツの配信を要求した他のユーザの情報（ＩＤやアバターに関する情報等）を配信サーバ２０６から取得し、当該他のユーザを示すキャラクタ３０４をユーザと異なる座席に配置したＶＲ画像３００を生成してもよい。

ユーザが所望の映像コンテンツの再生開始を指示する操作をコントローラ２０４に入力すると、情報処理装置２０２の操作検出部２５４は、その操作を検出する。情報処理装置２０２のコンテンツ取得部２５０は、ユーザにより選択された映像コンテンツの提供を配信サーバ２０６に要求し、配信サーバ２０６は、その映像コンテンツのストリーミング送信を開始する。

情報処理装置２０２のコンテンツ取得部２５０は、配信サーバ２０６から送信された映像コンテンツのデータを取得する。画像生成部２５８は、映像コンテンツの再生結果である平面映像をスクリーン３０２に貼り付けたＶＲ画像３００を生成する。情報処理装置２０２の画像出力部２６０は、平面映像を再生中のスクリーン３０２を含むＶＲ画像３００をヘッドマウントディスプレイ１００に表示させる。

図８も、ＶＲ画像３００の例を示す。同図のＶＲ画像３００は、映画観内の座席から前方（正面）を向いた場合に見える内容を示している。すなわち、同図のＶＲ画像３００は、現実空間においてユーザが自身の頭部を正面へ向けた場合に、ヘッドマウントディスプレイ１００に表示される内容を示している。ＶＲ画像３００は、映像コンテンツを再生中のスクリーン３０２と複数のキャラクタ３０４（図８では後頭部が映る）とを含む。また、スクリーン３０２には、映像コンテンツの１シーンであって、具体的には、司令室が破壊されたシーンが映っている。

ここでは、配信サーバ２０６から提供されたエフェクト定義データに、図８に示す映像コンテンツのシーンの再生時間に対応付けて、稲妻画像を表示することと、その表示位置が定められている。画像生成部２５８は、図８に示すシーンの再生期間に、エフェクト定義データが定める仮想空間の位置に稲妻画像３１０（図８の網掛けで示すオブジェクト）を配置する。図８の例では、画像生成部２５８は、少なくとも一部の稲妻画像３１０を、ユーザの視聴位置（言い換えればユーザの座席位置）からスクリーン３０２までの間の空間内に配置している。図８の稲妻画像３１０には所定の透過率が設定される。ユーザは、稲妻画像３１０を通して、その背後に映る司令室の破壊シーンを見ることができる。

実施例の情報処理装置２０２によると、仮想空間のスクリーン３０２上で映像コンテンツを再生表示中に、ユーザの視聴位置からスクリーン３０２までの空間内にエフェクト画像を配置する。これにより、ユーザの目には、スクリーン３０２に映る映像コンテンツとエフェクト画像とが渾然一体となって見え、仮想空間ならではの斬新な視聴体験をユーザに提供できる。また、映像コンテンツの世界への臨場感および没入感を高めやすくなる。

また、情報処理装置２０２によると、エフェクト画像に透過性を持たせることにより、映像コンテンツの上にエフェクト画像を重ねても、映像コンテンツの視認性の低下を抑制できる。また、スクリーン３０２に２次元映像を映す場合でも、ユーザの視点位置から２次元映像までの間にエフェクト画像を配置することでユーザに奥行きを感じさせ、スクリーン３０２に３次元映像が映っているかのような立体感を醸成することができる。なお、既述したが、スクリーン３０２に映る映像コンテンツは３次元映像であってもよく、この場合、映像の立体感を一層高めることができる。

また、画像生成部２５８は、ＶＲ画像３００で稲妻画像３１０を表示させる場合に、キャラクタ３０４の動作も表示させる。例えば、画像生成部２５８は、稲妻画像３１０を表示する一連のＶＲ画像３００（ＶＲ映像）の中に、キャラクタ３０４が仰け反る動きを含める。これにより、実際の映画館にいるような感覚をユーザに抱かせやすくなり、また、他の観客と一緒に同じ映像コンテンツを視聴しているという連帯感を醸成しやすくなる。

また、上記のエフェクト定義データには、図８に示す映像コンテンツのシーンの再生時間に対応付けて、コントローラを振動させることが定められている。情報処理装置２０２のコントローラ制御部２６２は、図８のシーンの再生期間、言い換えれば、稲妻画像３１０の表示期間に、コントローラ２０４を振動させる。これにより、映像コンテンツの世界への没入感およびユーザの興奮を一層高めやすくなる。

図９も、ＶＲ画像３００の例を示す。同図のスクリーン３０２には、図８のシーンから先に進んだシーンであって、司令室が炎上しているシーンが映っている。ここでは、配信サーバ２０６から提供されたエフェクト定義データに、図９に示すシーンの再生時間に対応付けて、稲妻画像および煙画像を表示することと、それらの表示位置が定められている。画像生成部２５８は、稲妻画像３１０と煙画像３１２を、エフェクト定義データが定めるそれぞれの位置に配置する。図９の稲妻画像３１０および煙画像３１２には所定の透過率が設定される。ユーザは、稲妻画像３１０および煙画像３１２を通して、それらの背後に映る司令室の炎上シーンを見ることができる。

図１０も、ＶＲ画像３００の例を示す。同図のスクリーン３０２には、ロボット等による戦闘シーンであり、ミサイルやビームが飛び交う戦闘シーンが映っている。ここでは、配信サーバ２０６から提供されたエフェクト定義データに、図１０に示すシーンの再生時間に対応付けて、煙画像およびビーム画像を表示することと、それらの表示位置が定められている。画像生成部２５８は、煙画像３１２とビーム画像３１４を、エフェクト定義データが定めるそれぞれの位置に配置する。図１０の煙画像３１２およびビーム画像３１４には所定の透過率が設定される。ユーザは、煙画像３１２およびビーム画像３１４を通して、それらの背後に映る戦闘シーンを見ることができる。

このように、画像生成部２５８は、エフェクト定義データにしたがって、１つのＶＲ画像に複数種類のエフェクト画像を配置し、言い換えれば、１つのＶＲ画像において複数種類のエフェクト画像を同時に表示させる。複数種類のエフェクト画像を同時に表示させることで、映像コンテンツの世界への没入感およびユーザの興奮を一層高めやすくなる。

なお、エフェクト定義データでは、映像コンテンツに含まれる各シーンに適合するようにエフェクト画像の態様が定められることが望ましい。例えば、エフェクト定義データは、爆発のシーンには煙画像、銃撃戦のシーンにはビーム画像、火花が飛ぶシーンには稲妻画像を表示するように定められてもよい。映像コンテンツの各シーンに適合した態様のエフェクト画像を表示させることで、映像コンテンツの世界への臨場感および没入感を一層高めることができる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

第１変形例を説明する。情報処理装置２０２の画像生成部２５８は、複数種類のエフェクト画像の中から仮想空間のスクリーン３０２で再生中の映像コンテンツの態様に適合する種類のエフェクト画像を動的に選択し、選択したエフェクト画像を配置したＶＲ画像を生成してもよい。例えば、画像生成部２５８は、映像コンテンツの画像データを解析して、映像コンテンツの特定のシーンの場合に、そのシーンに対応するエフェクト画像の表示を動的に決定してもよい。

例えば、画像生成部２５８は、爆発のシーンには煙画像、銃撃戦のシーンにはビーム画像、火花が飛ぶシーンには稲妻画像という対応関係を予め記憶してもよい。画像生成部２５８は、公知の画像解析技術を使用して、表示対象のシーンが爆発のシーンか、銃撃戦のシーンか、火花が飛ぶシーンかを特定してもよい。画像生成部２５８は、特定した表示対象のシーンの種類に対応するエフェクト画像（例えば煙画像、ビーム画像、稲妻画像のいずれかまたは組合せ）を配置したＶＲ画像を生成してもよい。

別の態様として、画像生成部２５８は、映像コンテンツのシーンに含まれるオブジェクトを画像解析により特定し、そのオブジェクトと同一または類似するエフェクト画像を配置したＶＲ画像を生成してもよい。例えば、映像コンテンツにおいてビームが飛び交うシーンが表示される際、画像生成部２５８は、ビーム画像３１４を配置したＶＲ画像を生成してもよい。また、映像コンテンツにおいて煙が上がるシーンが表示される際、画像生成部２５８は、煙画像３１２を配置したＶＲ画像を生成してもよい。

また、画像生成部２５８は、映像コンテンツの音声データを解析して、再生される音声が特定の態様の場合に、その態様に対応するエフェクト画像の表示を動的に決定してもよい。音声の態様は、再生される音声の周波数と音量のいずれかまたは組合せであってもよい。画像生成部２５８は、第１の音声態様と煙画像、第２の音声態様とビーム画像、第３の音声態様と稲妻画像という対応関係を予め記憶してもよい。

画像生成部２５８は、公知の音声解析技術を使用して、再生対象音声が第１〜第３の音声態様のいずれかに一致するか否かを判定してもよい。画像生成部２５８は、再生対象音声が第１の音声態様の場合に煙画像を表示させ、第２の音声態様の場合にビーム画像を表示させ、第３の音声対象の場合に稲妻画像を表示させてもよい。このように、映像コンテンツの各シーンの表示内容または音声に適合した態様のエフェクト画像を表示させることで、映像コンテンツの世界への臨場感および没入感を一層高めることができる。

第２変形例を説明する。情報処理装置２０２の画像生成部２５８は、映像コンテンツの画像データを解析して、映像コンテンツの特定のシーンの場合に、キャラクタ３０４を動作させることを動的に決定してもよい。例えば、画像生成部２５８は、爆発のシーンと、キャラクタ３０４の特定動作との対応関係を予め記憶してもよい。画像生成部２５８は、公知の画像解析技術により表示対象シーンが爆発のシーンであると判定した場合、キャラクタ３０４の特定動作を含むＶＲ画像を生成してもよい。

また、画像生成部２５８は、映像コンテンツの音声データを解析して、再生される音声が特定の態様の場合に、キャラクタ３０４を動作させることを動的に決定してもよい。例えば、画像生成部２５８は、特定の音声態様とキャラクタ３０４の特定動作との対応関係を予め記憶してもよい。画像生成部２５８は、公知の音声解析技術を使用して、再生対象音声が特定の音声態様に一致するか否かを判定してもよい。画像生成部２５８は、再生対象音声が特定の音声態様に一致する場合、キャラクタ３０４の特定動作を含むＶＲ画像を生成してもよい。

なお、画像生成部２５８は、映像コンテンツの終了とキャラクタ３０４の拍手動作との対応関係を予め記憶してもよい。画像生成部２５８は、画像解析や音声解析等により映像コンテンツの終了を検出した場合、キャラクタ３０４の拍手動作を含むＶＲ画像を生成してもよい。

第３変形例を説明する。情報処理装置２０２のコントローラ制御部２６２は、公知の画像解析技術により映像コンテンツが特定のシーンであることを検出した場合、コントローラ２０４を振動させることを動的に決定してもよい。また、コントローラ制御部２６２は、公知の音声解析技術により再生対象音声が特定の態様であることを検出した場合、コントローラ２０４を振動させることを動的に決定してもよい。

上記の第１〜第３変形例において、情報処理装置２０２は、映像コンテンツが特定のシーンか否かを判定する画像解析部、再生対象音声が特定の態様か否かを判定する音声解析部を備えてもよい。画像解析部および音声解析部は、判定結果を画像生成部２５８およびコントローラ制御部２６２へ出力してもよい。

第４変形例を説明する。情報処理装置２０２の画像生成部２５８は、仮想空間のスクリーン３０２で再生される映像コンテンツの色に適合する色のエフェクト画像を配置したＶＲ画像を生成してもよい。これにより、映像コンテンツに対して自然な立体感を付与でき、また、エフェクト画像の背後にある映像コンテンツの視認性の低下を抑制できる。

第４変形例の第１の構成例として、エフェクト画像記憶部２６４は、複数種類のエフェクト画像のそれぞれについて、互いに異なる色が設定された複数のエフェクト画像を記憶してもよい。例えば、エフェクト画像記憶部２６４は、互いに異なる色が設定された複数の稲妻画像３１０を記憶してもよい。煙画像３１２、ビーム画像３１４に着いても同様である。なお、互いに異なる色が設定された複数のエフェクト画像は、色相、明度、彩度のうち少なくとも１つが異なるものであってよい。

画像生成部２５８は、映像コンテンツの或るシーンの表示に同期させて特定の種類のエフェクト画像（例えば煙画像３１２）を表示させる場合、そのシーンの色やそのシーンに含まれるオブジェクトの色と同一または類似する（言い換えれば同系統の）色が設定されたエフェクト画像を、エフェクト画像記憶部２６４に記憶された複数のエフェクト画像の中から選択してもよい。白い煙が上がっているシーンに同期させて煙画像３１２を表示させる場合、画像生成部２５８は、互いに色が異なる複数の煙画像３１２の中から白色の煙画像３１２を選択してＶＲ画像に配置してもよい。

第４変形例の第２の構成例として、画像生成部２５８は、仮想空間のスクリーン３０２で再生される映像コンテンツの色に適合するように、エフェクト画像の色を動的に調整してもよい。例えば、画像生成部２５８は、映像コンテンツの或るシーンの表示に同期させて特定の種類のエフェクト画像を表示させる場合に、そのシーンの色やそのシーンに含まれるオブジェクトの色を特定し、特定した色と同一または類似する（言い換えれば同系統の）色をエフェクト画像に設定してもよい。白い煙が上がっているシーンに同期させて煙画像３１２を表示させる場合、画像生成部２５８は、白色に設定した煙画像３１２をＶＲ画像に配置してもよい。

第５変形例を説明する。映像コンテンツに含まれる所定のオブジェクトの画像が仮想空間のスクリーン３０２に表示中の場合、エフェクト画像は、当該オブジェクトの画像に重ならない位置に配置されてもよい。所定のオブジェクトは、映像コンテンツにおける主要なキャラクタ（主役等）であってもよく、映像コンテンツのストーリにおいて重要な役割を果たす物体であってもよく、ここでは「重要オブジェクト」と呼ぶ。第５変形例の構成によると、エフェクト画像の表示によって、映像コンテンツで重要な役割を果たす物体の画像の視認性が低下することを防止できる。

第５変形例の第１の構成例として、エフェクト画像の配置位置が静的に定められる場合を説明する。エフェクト定義データには、エフェクト画像の配置位置として、ユーザから見て重要オブジェクトに重ならない位置が定められてもよい。言い換えれば、エフェクト定義データには、エフェクト画像の配置位置として、予め定まるユーザの視点位置から重要オブジェクトの表示領域までの間を除外した位置が定められてもよい。画像生成部２５８は、エフェクト定義データが定める位置にエフェクト画像を配置することで、エフェクト画像を重要オブジェクトの画像に重ならない位置に配置する。

第５変形例の第２の構成例として、エフェクト画像の配置位置が動的に決定される場合を説明する。画像生成部２５８は、公知の手法でスクリーン３０２に映る映像コンテンツを解析し、重要オブジェクトの有無およびその位置を特定してもよい。画像生成部２５８は、ＶＲ画像にエフェクト画像を配置する場合に、エフェクト画像の配置位置として、ユーザから見て重要オブジェクトに重ならない位置を決定してもよい。言い換えれば、画像生成部２５８は、エフェクト画像の配置位置として、予め定まるユーザの視点位置から重要オブジェクトの表示領域までの間を除外した位置を決定してもよい。

第６変形例を説明する。映像コンテンツの再生中にエフェクトを表示するか否かが、ユーザにより選択されてもよい。情報処理装置２０２の操作検出部２５４は、コントローラ２０４に対して入力された、エフェクトの有無を選択するユーザ操作を受け付けてもよい。操作検出部２５４は、エフェクトの有無に関するユーザの選択結果を画像生成部２５８へ入力し、画像生成部２５８は、その選択結果に応じて、エフェクト画像の付加有無を決定してもよい。例えば、エフェクト無しが選択された場合、画像生成部２５８は、スクリーン３０２において映像コンテンツが再生されるＶＲ画像を生成しつつ、そのＶＲ画像にエフェクト画像を付加する処理をスキップしてもよい。

第７変形例を説明する。情報処理装置２０２の画像生成部２５８は、ユーザから見える仮想空間においてエフェクト画像をスクリーン３０２の上に被らないように配置してもよい。この場合、エフェクト定義データでは、ユーザの視聴位置からスクリーン３０２までの間の空間位置が排除されたエフェクト画像の配置位置が定められてもよい。

第８変形例を説明する。情報処理装置２０２は、ヘッドマウントディスプレイ１００に搭載された各種センサから出力されたデータまたは外部カメラの撮像画像に基づいて、ユーザの視線方向を検出し、その視線方向に該当する仮想空間の領域を注目領域として検出する注目領域検出部をさらに備えてもよい。画像生成部２５８は、エフェクト画像を注目領域に被らないように配置してもよい。例えば、画像生成部２５８は、エフェクト定義データで定められたエフェクト画像の配置位置のうち注目領域に含まれる位置にエフェクト画像を配置すること（すなわち表示させること）を抑制してもよい。

第９変形例を説明する。上記実施例では、エフェクト画像として、稲妻画像３１０、煙画像３１２およびビーム画像３１４を示したが、エフェクト画像はこれらに制限されない。例えば、エフェクト画像は、気象現象を示す画像（雨画像、雪画像、雷画像等）を含んでもよい。情報処理装置２０２の画像生成部２５８は、映像コンテンツの再生中のシーンが示す気象現象に適合するエフェクト画像をＶＲ画像に配置してもよい。

第１０変形例を説明する。上記実施例では言及していないが、情報処理装置２０２の画像生成部２５８は、映像コンテンツの再生中のシーンに応じて、仮想的な映画館内の環境を調整してもよい。仮想的な映画館内の環境は、スクリーン３０２の周辺領域、天井、壁の少なくとも１つにおける輝度または明度であってもよい。例えば、映像コンテンツの再生中のシーンが所定の基準より明るいシーンの場合、画像生成部２５８は、映画館内のスクリーン３０２以外の所定領域における輝度または明度を相対的に高くしたＶＲ画像を生成してもよい。一方、映像コンテンツの再生中のシーンが所定の基準より暗いシーンの場合、画像生成部２５８は、映画館内のスクリーン３０２以外の所定領域における輝度または明度を相対的に低くしたＶＲ画像を生成してもよい。

第１１変形例を説明する。上記実施例では、映像コンテンツのデータおよびエフェクト定義データは、配信サーバ２０６から情報処理装置２０２へストリーミング配信されることとしたが、実施例に記載の技術思想はこれに制限されない。例えば、映像コンテンツのデータおよびエフェクト定義データは、情報処理装置２０２の記憶部２３４に予め記憶されてもよく、リムーバブル記録媒体に格納されてもよい。情報処理装置２０２のコンテンツ取得部２５０は、記憶部２３４またはリムーバブル記録媒体から映像コンテンツのデータおよびエフェクト定義データを読み出してもよい。

第１２変形例を説明する。上記実施例では仮想空間の画像を表示する装置としてヘッドマウントディスプレイ１００を例示したが、仮想空間の画像を表示する装置は、ヘッドマウントディスプレイ１００に制限されない。例えば、一般的なディスプレイで仮想空間の画像（例えばスクリーンを備える映画館の画像）を表示させ、そのスクリーンに映像コンテンツを表示する場合にも実施例に記載の技術思想は有用である。

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

１００ ヘッドマウントディスプレイ、 ２００ エンタテインメントシステム、 ２０２ 情報処理装置、 ２０４ コントローラ、 ２０６ 配信サーバ、 ２５８ 画像生成部、 ２６０ 画像出力部、 ２６２ コントローラ制御部。

Claims (10)

1. 仮想空間に設けられたスクリーンにおいて映像コンテンツが再生される表示用画像であって、かつ、前記仮想空間におけるユーザの視聴位置から前記スクリーンまでの空間に前記映像コンテンツに基づくエフェクト画像を配置した表示用画像を生成する生成部と、
   前記生成部により生成された表示用画像を表示装置に表示させる出力部と、
   を備えることを特徴とする情報処理装置。
2. 前記エフェクト画像には、所定の透過率が設定されることを特徴とする請求項１に記載の情報処理装置。
3. 前記生成部は、前記スクリーンで再生される映像コンテンツの色に適合する色のエフェクト画像を配置することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記映像コンテンツの再生期間における前記エフェクト画像を配置すべきタイミングと、その位置に関するデータを取得する取得部をさらに備え、
   前記生成部は、前記取得部により取得されたデータにしたがって、前記エフェクト画像の配置態様を決定する請求項１から３のいずれかに記載の情報処理装置。
5. 前記生成部は、複数種類のエフェクト画像のうち前記スクリーンで再生中の映像コンテンツの態様に応じた種類のエフェクト画像を配置することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 前記映像コンテンツに含まれる所定のオブジェクトの画像が前記スクリーンに表示中の場合、前記エフェクト画像は、当該オブジェクトの画像に重ならない位置に配置されることを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 前記生成部は、前記映像コンテンツを視聴する１人以上のキャラクタを含む表示用画像を生成し、
   前記生成部は、前記エフェクト画像の表示に伴って前記キャラクタが動作する表示用画像を生成する請求項１から６のいずれかに記載の情報処理装置。
8. 前記エフェクト画像が表示される場合に、ユーザが把持するコントローラを振動させるコントローラ制御部をさらに備える請求項１から７のいずれかに記載の情報処理装置。
9. 仮想空間に設けられたスクリーンにおいて映像コンテンツが再生される表示用画像であって、かつ、前記仮想空間におけるユーザの視聴位置から前記スクリーンまでの空間に前記映像コンテンツに基づくエフェクト画像を配置した表示用画像を生成するステップと、
   前記生成するステップで生成された表示用画像を表示装置に表示させるステップと、
   をコンピュータが実行することを特徴とする表示方法。
10. 仮想空間に設けられたスクリーンにおいて映像コンテンツが再生される表示用画像であって、かつ、前記仮想空間におけるユーザの視聴位置から前記スクリーンまでの空間に前記映像コンテンツに基づくエフェクト画像を配置した表示用画像を生成する機能と、
    前記生成する機能により生成された表示用画像を表示装置に表示させる機能と、
    をコンピュータに実現させるためのコンピュータプログラム。

Images