JP2018157331A - プログラム、記録媒体、画像生成装置、画像生成方法 - Google Patents

Abstract

【課題】両眼立体視用のコンテンツを、興趣性を担保しつつ、観賞者にとって好適な態様で提示する。
【解決手段】プログラムは、コンテンツに係る両眼立体視用の画像を生成するコンピュータに、観賞者の視点の動きの情報を取得する取得処理と、観賞者の視点の動きに対応する両眼立体視に係る左眼用及び右眼用の画像を描画して生成する生成処理と、を実行させる。生成処理において、観賞者の視点の動きに応じて立体知覚させる要素を描画する第１の領域は左眼用及び右眼用の画像それぞれの一部に制限され、その他の第２の領域には立体知覚させる要素は描画されない。
【選択図】図５

Description

本発明は、プログラム、記録媒体、画像生成装置、画像生成方法に関し、特に両眼立体視で観賞される画像の生成方法に関する。

バーチャルリアリティ（以下、単にＶＲ）技術の発展に伴い、ヘッドマウンテッドディスプレイ（ＨＭＤ：Head Mounted Display）やドーム型ディスプレイ等の、両眼立体視コンテンツの観賞を可能ならしめる機器が存在する。このような観賞機器では、観賞者の視界を覆うことで外界からの視覚情報を遮断し、没入感を高める構造が採用されている。また提示する両眼立体視用のコンテンツも、観賞者の頭部、顔面、眼球の位置や姿勢等の身体的移動をトラッキングし、これに応じて描画内容を変更することで観賞者をより没入させることができる（特許文献１）。近年では両眼立体視用の観賞機器は、ゲームや映画鑑賞といった用途にも利用されている。

特開２０１６−１９２０２９号公報

ところで、ゲームや映画等のコンテンツでは興趣性を高めるため、ストーリー展開に合わせて、視点変更（移動あるいは切り替え）を行うことが好ましい。

しかしながら、これらのコンテンツを両眼立体視で提供する場合、例えば広大なフィールドを移動する等、ストーリー展開に応じた視点移動を、観賞者の身体的移動に応じたものだけで表現することは困難である。即ち、トラッキングが可能な範囲は有限であり、特に家庭用の観賞機器では身体的移動が可能な範囲は狭小に制限されるため、これを基準とすると、提供される両眼立体視用のコンテンツの興趣性も限定的となる。

一方、ユーザによりなされる操作入力に基づく視点移動や、ストーリー展開に合わせた強制的な視点切り替えにより、両眼立体視用のコンテンツに係る興趣性を向上させることは可能である。しかしながら、このような身体的移動と乖離する視点変更は、観賞者に不快感を与え得、ヴェクション等による所謂ＶＲ酔いを引き起こす要因となり得る。

本発明の少なくとも１つの実施形態は、上述の問題点に鑑みてなされたものであり、両眼立体視用のコンテンツを、興趣性を担保しつつ、観賞者にとって好適な態様で提示するプログラム、記録媒体、画像生成装置、画像生成方法を提供することを目的とする。

前述の目的を達成するために、本発明の少なくとも１つの実施形態に係るプログラムは、コンテンツに係る両眼立体視用の画像を生成するコンピュータに、観賞者の視点の動きの情報を取得する取得処理と、観賞者の視点の動きに対応する両眼立体視に係る左眼用及び右眼用の画像を描画して生成する生成処理と、を実行させ、生成処理において、観賞者の視点の動きに応じて立体知覚させる要素を描画する第１の領域は左眼用及び右眼用の画像それぞれの一部に制限され、その他の第２の領域には立体知覚させる要素は描画されない。

このような構成により本発明の少なくとも１つの実施形態によれば、両眼立体視コンテンツを、興趣性を担保しつつ、観賞者にとって好適な態様で提示することが可能となる。

本発明の実施形態及び変形例に係るコンテンツ提示システムの構成を示した図 本発明の実施形態及び変形例に係るＰＣ１００の機能構成を示したブロック図 本発明の実施形態及び変形例に係るＰＣ１００で実行される画像生成処理を例示したフローチャート 本発明の実施形態１に係る、立体知覚させる要素を説明するための図 本発明の実施形態１に係る、生成される画像を例示した図 本発明の実施形態２に係る、立体知覚させる要素を説明するための図 本発明の実施形態２に係る、生成される画像を例示した図 本発明の実施形態３に係る視点移動演出の一例を説明するための図 本発明の実施形態３に係る視点移動演出につき生成される画像を例示した図 本発明の実施形態３に係る視点切替演出の一例を説明するための図 本発明の実施形態３に係る視点切替演出につき生成される画像を例示した図 本発明の実施形態３に係る描画方式を説明するための図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像生成装置の一例としての、視点の動きに応じた両眼立体視用の画像を生成可能なＰＣに、本発明を適用した例を説明する。しかし、本発明は、視点の動きに応じた両眼立体視用の画像を生成することが可能な任意の機器に適用可能である。また、本明細書において、「描画視点」とは、両眼立体視用の画像のうちの、立体知覚させる要素を提示する領域の描画において実際に処理に用いられる視点を指すものとする。

《コンテンツ提示システムの構成》
図１は、本実施形態のコンテンツ提示システムの構成を示したシステム図である。

図１に示されるように、本実施形態のコンテンツ提示システムでは、提供コンテンツに係る両眼立体視用の画像を観賞者に提示するために、ＨＭＤ３００が用いられる。ＨＭＤ３００は、不図示の表示装置を有しており、装着者（観賞者４００）の各眼球に対し、左眼用の画像または右眼用の画像を提示する。表示装置は、左眼と右眼のそれぞれについて設けられている必要はなく、表示領域を分割して左眼用及び右眼用の画像を表示し、フレネルレンズ等を用いることで、対応する画像が各眼球に導かれるよう構成されているものであってもよい。

トラッキングセンサ２００は、例えば２つの光学系で構成される撮像装置等の、観賞者４００の頭部（視点）の動き（移動及び姿勢変化）を検出するためのセンサである。本実施形態では観賞者４００の頭部の動きは、装着されたＨＭＤ３００に設けられた不図示のマーカに基づき検出され、トラッキングセンサ２００は検出結果をＰＣ１００に出力する。ＰＣ１００では、このように入力された頭部の動きの検出結果に基づき、観賞者４００に提示する両眼立体視用の画像に係る描画視点を決定する。

なお、本実施形態ではトラッキングセンサ２００を用いて観賞者４００の視点の動きを検出するものとして説明するが、本発明の実施はこれに限られるものではないことは理解されよう。即ち、本実施形態のように外部のセンサに基づき視点の移動を検出する態様ではなく、例えばＨＭＤ３００が方位センサ、加速度センサ、ジャイロセンサ等を有し、その検出結果をＰＣ１００に出力する態様であってもよいし、その他の手法により視点の動きを検出する態様であってもよい。

また本実施形態のコンテンツ提示システムでは没入感を高めるために観賞者４００の眼球を覆いつつ、両眼立体視用の画像提示を行うＨＭＤ３００を用いるものとして説明するが、これはあくまでも例示であり、本発明の実施において画像提示を行う装置がいずれであってもよいことは容易に理解されよう。即ち、両眼立体視用の画像提示は、視差を有する関係にある画像を観賞者４００の左右各々の眼球に提供することで、両眼立体視でのコンテンツ観賞を観賞者に可能ならしめる装置であれば、いずれの装置が用いられるものであってもよい。

また、本実施形態ではＰＣ１００、トラッキングセンサ２００及びＨＭＤ３００によりコンテンツ提示システムが構成されるものとして説明するが、本発明の実施はこれらが分離されている態様に限られるものではない。例えば、加速度センサ、ジャイロセンサにより自己位置及び姿勢を検出可能に構成されたデバイスにて、該デバイスに設けられた表示装置に表示領域を分割する態様で両眼立体視用の画像を提示し、専用の頭部搭載用器具を使用することで、観賞者に同様の観賞体験を提供することができる。即ち、両眼立体視用の画像の描画機能、その提示機能、及び観賞者の視点の動きの検出機能は、単体の装置により実現されるものであってもよいし、その他複数の装置により機能分割されることで実現されるものであってもよい。

ＨＭＤ３００への両眼立体視用の画像の提供は、ＰＣ１００が行う。上述したように、ＰＣ１００はトラッキングセンサ２００の検出結果に基づき、観賞者の視点の動きに応じた描画視点について、提供コンテンツに係る両眼立体視用の画像の描画を行い、順次送出する。

〈ＰＣ１００の機能構成〉
ここで、ＰＣ１００の機能構成について、図２のブロック図を用いて詳細を説明する。

制御部１０１は、例えばＣＰＵであり、ＰＣ１００が有する各ブロックの動作を制御する。制御部１０１は、記録媒体１０２に記憶されている各ブロックの動作プログラムを読み出し、メモリ１０３に展開して実行することにより各ブロックの動作を制御する。

記録媒体１０２は、例えばＰＣ１００が有する書き換え可能な内蔵ＲＯＭや、ＨＤＤや光学ドライブを介して読み取り可能になる光学ディスクを含む、不揮発性の記録装置である。記録媒体１０２は、各ブロックの動作プログラムだけでなく、各ブロックの動作において必要となる各種パラメータ等の情報を記録する。本実施形態のコンテンツ提示システムにおいて観賞者に両眼立体視での観賞を提供するコンテンツ（提供コンテンツ）に係る各種データも、記録媒体１０２に格納されているものとする。メモリ１０３は、例えば揮発性メモリであり、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。

取得部１０４は、トラッキングセンサ２００により入力された観賞者の視点の動きに係る検出結果（動き検出結果）の情報を取得するインタフェースである。取得部１０４は、動き検出結果の情報を取得すると、必要であれば適切な形式への変換を行い、メモリ１０３に格納する。

描画部１０５は、取得部１０４によりメモリ１０３に格納された動き検出結果に基づき、ＨＭＤ３００において表示させる左眼用及び右眼用の画像を生成する。本実施形態のコンテンツ提示システムでは、３次元空間に配置した、立体知覚させる要素（描画オブジェクト）群を、観賞者の視点に対応して定義した左眼用及び右眼用の描画視点について描画することで、両眼立体視に係る左眼用及び右眼用の画像を生成する。

表示出力部１０６は、描画部１０５により生成された左眼用及び右眼用の画像をＨＭＤ３００に出力するインタフェースである。表示出力の形式は、ＨＭＤ３００の構成に応じて選択されるものであってよく、表示出力部１０６は必要であれば適切な形式に変換して画像出力を行う。本実施形態では、計測及び描画の多少のタイムラグはあり得るものの、基本的には観賞者４００の視点の動きに応じた左眼用及び右眼用の画像が、ＨＭＤ３００を介して観賞者４００に提示される。

操作入力部１０７は、例えばコントローラやグローブ型デバイス等のＰＣ１００が有するユーザインタフェースである。操作入力部１０７は、観賞者４００により操作入力がなされたことを検出すると、該操作入力に対応する制御信号を制御部１０１に出力する。

《画像生成処理》
このような構成をもつ本実施形態のＰＣ１００において実行される、両眼立体視用の画像を生成する画像生成処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。なお、本画像生成処理は、例えば提供コンテンツの観賞に係るアプリケーションが起動された際に開始され、ＨＭＤ３００に画像出力するフレームごとに実行されるものとして説明する。

Ｓ３０１で、制御部１０１は、表示するフレーム（表示フレーム）について、提供コンテンツに係る描画オブジェクトの３次元空間における配置位置の決定、及び各描画オブジェクトの挙動制御を行う。描画オブジェクトの配置位置及び挙動の制御は、提供コンテンツについて予め定められたストーリー進行や意思決定プログラム等に基づき行われるものであってよい。

Ｓ３０２で、制御部１０１は、表示フレームに対応して受信した動き検出結果に基づき、左眼用及び右眼用の画像に係る描画視点の位置及び方向を決定する。本実施形態のコンテンツ提示システムでは、観賞者４００の身体的移動に対応した視覚提示を担保するため、描画視点の位置及び方向の前フレームからの変更量は、前フレームから表示フレームまでの観賞者４００の視点の移動及び方向の変更量と同一であるものとして決定される。なお、視覚提示の安定性を担保するため、検出誤差等による値の微細変動については種々の平滑化処理により吸収するものであってよい。

Ｓ３０３で、制御部１０１は、左眼用及び右眼用の描画視点について定まる描画範囲に、立体知覚させる要素が含まれるか否かを判断する。本実施形態では提供コンテンツの両眼立体視での観賞において、立体知覚させる範囲、即ち左眼用及び右眼用の画像が観賞される場合に奥行き方向の距離に応じた視差を知覚させる範囲を、観賞者４００に提示される観賞範囲よりも狭い、一部の範囲に限定する。このようにすることで、提供コンテンツにおける、周辺視野での動きに起因するヴェクションの発生を低減しつつ、仮に観賞者４００の身体的移動と乖離する視点移動演出が生じたとしても、それによって引き起こされる不快感を低減する。

〈立体知覚させる要素〉
ここで、観賞者４００に立体知覚させる要素の詳細について、図を参照して説明する。

本実施形態のコンテンツ提示システムでは、ＨＭＤ３００において提示される画像中の一部の領域においてのみ立体知覚がなされるよう、図４（ａ）に示されるような板状オブジェクトのフレームオブジェクト４０１を用いる。フレームオブジェクト４０１は、観賞者４００の視点の動きや提供コンテンツの進行に依らず３次元空間中の固定の位置に保持され、左眼用及び右眼用の描画視点４０２、４０３について描画することで、観賞者４００に立体知覚せしめる態様で左眼用及び右眼用の画像に現れる。またフレームオブジェクト４０１は基本的には、両眼立体視での観賞時において観賞者４００の観賞範囲の全てを占有しないよう、その大きさ及び配置位置（あるいは描画視点との離間距離）が定められているものとする。なお、フレームオブジェクトは、提供コンテンツのストーリー進行を直接的に形成する用途で用いられるものではなくてよく、本実施形態では提供コンテンツの注目すべき要素に観賞者の視点を好適に誘導する、あるいはこれを効果的に演出する用途で用いられるものとする。

また、キャラクタや背景等、提供コンテンツのストーリー進行を直接的に形成する要素の描画オブジェクト（コンテンツオブジェクト）は、３次元空間に配置されるものの、フレームオブジェクトを介してのみ観賞可能に構成される。換言すれば、観賞者４００は、窓の如く設けられたフレームオブジェクトを介することで、これらコンテンツオブジェクトを観賞することが可能である。具体的には図４（ｂ）に示されるように、左眼用の描画視点４０２であれば、３次元空間に配置されたコンテンツオブジェクトのうち、描画視点４０２とフレームオブジェクト４０１とで規定される錐体範囲４１０に含まれるオブジェクト（範囲に含まれるハッチングを付した部位のみ）が、左眼用の画像に描画され、観賞者４００に提示される。

このようなフレームオブジェクト４０１の範囲のみでコンテンツオブジェクトの観賞を可能ならしめるため、本実施形態では描画部１０５は、板状オブジェクトであるフレームオブジェクト４０１の予め定められた観賞面に対し投影する方式で、錐体範囲４１０のコンテンツオブジェクトを描画することで、図５のような左眼用の画像を生成する。即ち、錐体範囲において表現されるコンテンツオブジェクトの前後関係は、左眼用の描画視点４０２とオブジェクトとを結ぶ直線（あるいは結んだ延長線）上であって、フレームオブジェクト４０１の観賞面と交わる点に投影され描画される。故に、生成される左眼用及び右眼用の画像によれば、観賞者４００はフレームオブジェクト４０１を立体として知覚し、またその観賞面（の範囲）において、視点の動きやコンテンツオブジェクトの動作に伴って提供コンテンツに係る立体表現を観賞することができる。

一方、錐体範囲４１０に含まれなかったオブジェクト（または部位）についてはフレームオブジェクト４０１への投影がなされず、両眼立体視用の画像には現れない。本実施形態では上述したように周辺視野での動きに起因するヴェクションの発生を低減するべく、画像におけるフレームオブジェクト４０１以外の領域には立体知覚させる要素を描画せず、図５に示されるよう無地の画像を描画する。このようにすることで、左眼用及び右眼用の画像により両眼立体視を行ったとしても、無地の領域においては観賞者４００は描画されるオブジェクトがないため、移動や視差を知覚せず、結果、好適な観賞を続けることができる。

故に、Ｓ３０３において制御部１０１は、そもそも左眼用及び右眼用の画像について、コンテンツオブジェクトやフレームオブジェクトに係る、所謂「描画演算」を行う必要があるかの判断を行っている。制御部１０１は、左眼用及び右眼用の描画視点について定まる描画範囲に立体知覚させる要素が含まれると判断した場合は処理をＳ３０４に移す。また制御部１０１は、左眼用及び右眼用の描画視点について定まる描画範囲に立体知覚させる要素が含まれないと判断した場合は処理をＳ３０６に移し、無地の画像を左眼用及び右眼用の画像として生成する。なお、簡単には本ステップの判断は、描画視点について定まる描画範囲（視野）に、フレームオブジェクトが含まれるか否かにより行われるものであってよい。

Ｓ３０４で、描画部１０５は、各眼球用の画像についてフレームオブジェクトに係る領域の描画を行う。上述したように、本実施形態ではフレームオブジェクトの観測面側に、立体知覚させる要素を投影する方式で描画を行うため、本ステップの処理において描画部１０５は、フレームオブジェクトと、これに基づき規定される錐体範囲に含まれるコンテンツオブジェクトとを、各眼球用の描画視点について描画する。

Ｓ３０５で、描画部１０５は、Ｓ３０４において描画を行わなかった領域について、所定の無地の画像を描画（無地の色で各ピクセルを埋める）し、左眼用及び右眼用の画像を生成する。

Ｓ３０７で、表示出力部１０６は制御部１０１の制御の下、描画部１０５により生成された左眼用及び右眼用の画像をＨＭＤ３００に出力し、表示フレームに係る本画像生成処理を完了する。

このようにすることで、本実施形態の画像生成装置によれば、両眼立体視用のコンテンツを、興趣性を担保しつつ、観賞者にとって好適な態様で提示することが可能となる。より詳しくは、観賞範囲の一部の領域にのみ立体知覚させる要素をこれが可能な状態で描画し、その他の領域には立体知覚をさせる要素を描画しないよう制御することで、注視させるべき方向に観賞者の視点を誘導しつつ、観賞中に生じ得る視覚的な不快感の発生を低減することができる。

［実施形態２］
上述した実施形態１では、板状オブジェクトであるフレームオブジェクトの観賞面に投影する方式で立体知覚させる要素を描画し、観賞者４００に立体知覚させる領域を制限することで好適な観賞体験を提供するものとして説明した。一方で、両眼立体視での観賞としてはやはり全周囲を見回せるようなコンテンツも魅力的であり、フレームオブジェクトにより窓の如く制限された態様において、より一層の没入感を得るため、観賞者４００が窓から覗き込むようにして全周囲の観賞体験を所望することも考えられる。

しかし、フレームオブジェクトの観賞面に投影する方式では、観賞面よりも手前に描画視点が存在する場合には、破綻なくコンテンツオブジェクトの立体知覚を可能に提示がなされるが、観賞面よりも奥に描画視点が配置される場合、即ち、描画視点の背後にフレームオブジェクトが存在する状況では、観賞面に投影されたコンテンツオブジェクトを提示することができない。故に、フレームオブジェクトに係り提示されている提供コンテンツのシーンについて、例えば観賞者４００が両眼立体視での全周囲の観賞を所望し、単純にフレームオブジェクトの観賞面側から描画視点を観賞面に近づけていく動作を行ったとしても、描画視点が観賞面側から非観賞面側に移動した際に（正確には視点につき設定されるニアクリッピング面が観賞面側から非観賞面側に移動した際に）フレームオブジェクトが描画されず、コンテンツオブジェクトの観賞もできない。

従って、このような観賞者が所望する観賞体験を提供するため、本実施形態では描画視点がフレームオブジェクトで規定される面を、観賞面側から非観賞面側に通過して移動するような観賞者４００の視点の動きがなされた場合に、これを契機に提供コンテンツに係る３次元空間を両眼立体視可能な全周囲の描画方式に切り替える。即ち、描画視点が観賞面を通過して非観賞面側に移動する際に、観賞面に投影する方式で立体知覚させる要素の提示を観賞範囲の一部の領域に制限していた態様から、これを制限しない態様に切り替える。換言すれば、描画視点がフレームオブジェクトの観賞面を見ることができる範囲に配置される場合には、フレームオブジェクトの観賞面に投影する方式でフレームオブジェクトと描画視点とで規定される錐体範囲に含まれるコンテンツオブジェクトを描画し、両眼立体視用の画像を生成する。一方、描画視点がフレームオブジェクトで規定される面の範囲を通過し、観賞面を見ることができない範囲に配置される場合には、観賞面に投影する方式ではなく、錐体範囲に含まれず提示されていなかったコンテンツオブジェクトも含めて描画視点の視野に含まれるコンテンツオブジェクトを描画し、両眼立体視用の画像を生成する。このようにフレームオブジェクトによる制限を行わない場合は、従来のように描画視点を変化させることで３次元空間の全周囲を両眼立体視での観賞が可能に構成されるため、好適な観賞体験を提供するよう、描画視点の移動は観賞者４００の身体的移動に基づいてのみ行われるものとしてよい。

なお、本実施形態では描画視点がフレームオブジェクトの面を観賞面側から非観賞面側に通過する際に提供コンテンツに係る立体知覚させる要素の提示を、観賞範囲の一部の領域に制限する態様から制限しない態様に切り替えるものとして説明したが、本発明の実施はこれに限られるものではない。例えば、図６（ａ）に示されるようにフレームオブジェクト６０１を、観賞者４００が覗きこめるような窓の如く構成し、フレームオブジェクトよりも奥（非観賞面側）に存在するコンテンツオブジェクトについては、非観賞面側に設けられた部屋状の所定の空間６０２の内部壁面に投影する方式とすることで、描画方式を切り替えなくとも、シームレスに同様の観賞体験を提供することも可能である。この場合、窓（フレームオブジェクト６０１）の内側（非観賞面側）から見た観賞面側の空間は無地の空間となるため、必ずしも「全周囲が」両眼立体視での観賞が可能となるのではなく、描画視点の位置や姿勢によっては当該無地の空間も含み得る。例えば描画視点６０３について描画される画像は図７のように、観賞面側では観賞できなかったコンテンツオブジェクト６０４を含みつつ、観賞面側の空間に係る無地の領域７０１が描画される。故に、図６（ａ）のように構成する態様では、描画視点が窓の外側にある場合よりも内側に入った場合には、提供コンテンツに係る立体知覚させる要素の観賞範囲における制限、即ちフレームオブジェクト６０１に起因する制限が低減された状態となる。

また、図６（ａ）の例では簡単のため、フレームオブジェクトの観賞面側に立体知覚させるコンテンツオブジェクトが存在しない例について説明したが、図６（ｂ）のように存在する場合は、例えば以下のように制御すればよい。図６（ｂ）に示されるように、描画視点６１１とフレームオブジェクト６１２との間（観賞面側）に錐体範囲６１３に含まれるコンテンツオブジェクト６１４が存在する場合、コンテンツオブジェクト６１４はフレームオブジェクト６１２の観賞面に投影されて描画され、非観賞面側に存在するコンテンツオブジェクトについては、図６（ａ）と同様に空間６１５の内部壁面に投影されるものとすればよい。この場合、描画視点がフレームオブジェクト６１２の観賞面を通過して空間６１５内に進入する場合、あるいは描画視点がコンテンツオブジェクト６１４よりも観賞面に近づく場合、コンテンツオブジェクト６１４の観賞面への投影は行わないよう制御すればよい。

なお、本実施形態では観賞者４００が移動することで上述のような描画視点の変更が生じるものとして説明したが、これに限られるものではなく、例えばフレームオブジェクトを引き寄せるような操作入力がなされることにより、描画視点とフレームオブジェクトとの位置関係が変化することで、上記遷移が生じるものであってもよいことは言うまでもない。

このように、本実施形態のコンテンツ提示システムによれば、観賞者の要求に応じて、立体知覚させる提示領域を制限した状態から、制限を低減させた状態に、両眼立体視用のコンテンツの提示態様を変化させることができるため、ストーリー等の進行とは無関係に、例えば両眼立体視用のコンテンツのポータルとしても利用してもよい。

［実施形態３］
近年家庭用の観賞機器等で提供される、一般的な全周囲の観賞を想定した両眼立体視用のインタラクティブコンテンツは、上述したように観賞者の身体的移動と乖離する視点移動を避けつつ、観賞者が所望する視点での観賞を実現するよう構成される。

一方、提供コンテンツによっては、視点移動演出や視点切替演出を行うことが、観賞において好適となるものもある。例えば漫画や絵本のようなコンテンツでは、コマやページごとに視点移動あるいは視点切替を行うことで、注目させたいポイントに読者を効果的に誘導し、ストーリー進行の興趣性を高める演出がなされている。このようなコンテンツを全周囲の両眼立体視用に昇華させる場合、観賞者の身体的移動と乖離する視点移動や視点切替を強制的に行わないのであれば、注目させたいポイントに観賞者の視線を誘導することが困難となる。

本実施形態では、複数のフレームオブジェクトを配置し、これらを介して各々異なる視点に係るコンテンツオブジェクトを提示することで、両眼立体視用のコンテンツにおける視点移動演出や視点切替演出を好適に提供する方法について説明する。なお、上述した実施形態１及び２で説明したような、１つのフレームオブジェクトを配置し、該フレームオブジェクトを介して、コンテンツオブジェクトの観賞を可能ならしめる態様であっても、多少の移動量の視点移動演出であれば、観賞者４００の好適な観賞を妨げる可能性は少ない。しかしながら、観賞範囲のうちの一部の領域において立体知覚させる要素の提示を行う態様では、観賞者４００が提供コンテンツに係る３次元空間を把握する情報量は必然的に少なくなるため、移動量がある一定量を超える視点移動演出や、異なる視点からの観賞に切り替える視点切替演出は、観賞者４００の好適な観賞を妨げ得る。故に、本実施形態では複数のフレームオブジェクトを配置する態様を採用することで、これら演出を好適に観賞者４００に提供する構成について説明する。

《視点演出》
以下、本実施形態のコンテンツ提示システムで、提供コンテンツに係る視点移動演出及び視点切替演出の提示方法について、概要を説明する。なお、以下の視点演出の説明では簡単のため、特に明示をしない限り「描画視点」とは、左眼用と右眼用のいずれであるかを問わない位置及び姿勢、あるいは左眼用と右眼用とを規定するための代表位置及び姿勢を示す概念を指すものとする。

視点移動演出の一例として、図８（ａ）に示されるようにキャラクタ８０１が１つのフレームオブジェクト８０２に係る錐体範囲外に移動する場合に、これを追従する形で視点のパンニングを行う演出を考える。即ち、該キャラクタを立体知覚せしめるべく、描画視点８０３に係り規定される錐体範囲の中央に該キャラクタを捉えるよう、フレームオブジェクト８０２及び描画視点８０３は移動（旋回）制御されることになる。このとき、描画視点８０３につき描画される両眼立体視用の画像では、例えば図９（ａ）に示されるように、キャラクタ８０１の周囲に描画される背景の描画内容が急峻に変化（画像９０１→９０２→９０３の順に遷移）し得、結果、観賞者４００に不快感を与え得る。ここで、画像９０１、９０２及び９０３中の領域９００は、全て上述の移動及び姿勢制御が行われた描画視点８０３及びフレームオブジェクト８０２に基づいて描画されたものである。

このような好適でない視点移動演出が提示されぬよう、本実施形態のＰＣ１００では、例えば図８（ｂ）に示されるように、描画視点８０３とは別にキャラクタ８０１の移動範囲を部分的に捉える、描画視点８１１とフレームオブジェクト８１２とを追加的に設け、各視点について立体知覚を可能ならしめるよう描画制御が行われる。

図示されるように、移動前にキャラクタを錐体範囲に捉える描画視点８０３とフレームオブジェクト８０２とに基づいて、移動演出序盤に係る範囲を立体知覚させるべく、図９（ｂ）に示される画像９１１中のフレームオブジェクト８０２の領域９１２の画像が描画される。一方、追加的に設けられる描画視点８１１とフレームオブジェクト８１２とは、キャラクタの移動演出の開始前後の所定のタイミングに３次元空間上に定義され、移動演出終盤に係る範囲を立体知覚させるべく、図９（ｂ）に示される画像９１１から遷移する画像９１３以降（画像９１３→９１５→９１６）に現れる領域９１４の画像が描画される。

このように複数のフレームオブジェクトを用いることで、キャラクタの移動を部分的に追従する２種類の描画視点についての画像を、観賞範囲中の制限された領域で提示することで全ての移動を追従しなくとも、好適な視点移動演出を提示することができる。即ち、各フレームオブジェクト間で各々時間差をもった立体知覚体験が提供されるため、領域間の移動が描写されていなくとも、漫画の如く、観賞者の認識においてその移動が補完され、観賞者４００に与える不快感を低減できる。

次に、視点切替演出の一例として、図１０（ａ）に示されるようにキャラクタ１００１とキャラクタ１００２との対話シーンを、所謂「寄り」の状態で各キャラクタを描写する描画視点１００３、１００４、及び所謂「引き」の状態で両キャラクタを描写する描画視点１００５を切り替えながら行う演出を考える。このとき、図１０（ａ）に示されるように、フレームオブジェクト１００６を使用する描画視点に応じて位置を順次変更して描画が行われるとすると、立体知覚させる要素を提示する観賞範囲中の領域を制限していたとしても、図１１（ａ）に示されるように該領域（領域１１００）中で、主被写体（立体知覚されるキャラクタ）や、主被写体と描画視点との距離が急峻に変化（画像１１０１→１１０２→１１０３の順に遷移）し得、結果、やはり観賞者４００に不快感を与え得る。

このような好適でない視点切替演出が提示されぬよう、本実施形態のＰＣ１００では、例えば図１０（ｂ）に示されるように描画視点ごとにフレームオブジェクト１００７、１００８、１００９を設け、これら各視点について立体知覚を可能ならしめる領域を、順次観賞範囲に提示するよう描画制御が行われる。

図示されるように、ストーリー進行で定められた順序で選択される該当の描画視点とフレームオブジェクトとに基づいて、各々の錐体範囲のコンテンツオブジェクトを立体知覚させるべく、図１１（ｂ）に示されるように画像１１１１→１１１２→１１１３の遷移で、順次フレームオブジェクト１００６、１００７、１００８に対応する領域１１１４、１１１５、１１１６が順次、観賞範囲中に追加される。故に、このように複数のフレームオブジェクトを用いることで、視点演出変更に係る複数の描画視点についての画像を、観賞範囲中の制限された領域で提示することで、同一の領域での描画内容の急峻な切り替わりを抑止し、好適な視点切替演出を提示することができる。

このように、所定の移動量や変化量を伴う視点移動演出や視点切替演出が提供コンテンツにおいて行われる場合に、本実施形態のコンテンツ提示システムでは該移動等の演出効果を複数のフレームオブジェクトを介して立体知覚可能に提示する。より詳しくは、各フレームオブジェクトを介して提示される視点移動量が予め定められた許容量以下となるよう、演出内容を細分し、これらを例えば時間差を設けて提示することで、観賞者４００に不快感を抱かせるような視覚的影響を低減しつつ、同等の演出効果を提供することができる。

なお、これら複数のフレームオブジェクト及び該オブジェクトの観賞面に投影されて提示されるコンテンツオブジェクトは、上述した実施形態と同様に観賞者４００の視点の動きに応じて切り替えられ、立体知覚可能に構成されていてよい。またこのような演出効果に係るフレームオブジェクトの増加は、予め観賞用に定められているものに限られるものでなく、例えば視点移動に係る操作入力がなされた場合や提供コンテンツについて該当の演出が生じることが検出された場合に、これに応じて制御部１０１が動的にフレームオブジェクトを増加させるよう制御することにより実現されるものであってよい。

《描画方式》
上述した視点演出例の説明では、フレームオブジェクトごとに描画視点を定義し、各描画視点について描画された立体知覚させる領域に係る画像を、最終的に合成することで両眼立体視用の画像を生成する方式であるものとして概要を説明した。当該方式であっても上述の効果を得る両眼立体視用の画像を生成することができるが、描画処理の観点では描画視点の数に応じてパス数や合成処理の分、描画リソースを消費し得、結果として両眼立体視用のコンテンツとして好適でないフレーム遅延等を引き起こし得る。

故に、本実施形態では描画処理のパス数を低減するため、左眼用及び右眼用のそれぞれについて１つの描画視点のみについての描画処理で、複数のフレームオブジェクトごとに異なる錐体範囲内のコンテンツオブジェクトの立体知覚を可能ならしめる画像を描画する方式を採用する。即ち、観賞者４００に提示する左眼用及び右眼用の画像の描画処理において、複数のフレームオブジェクトは一時に描画される。より詳しくは、１組の左眼用及び右眼用の描画視点と複数のフレームオブジェクトとの３次元空間における位置関係は保持し、描画視点と各フレームオブジェクトとで規定される錐体範囲に配置されるコンテンツオブジェクトを、フレームオブジェクトごとに複製して位置関係が整合するように配置する。

即ち、図８（ｂ）のように描画視点８０３とフレームオブジェクト８０２の組み合わせ、及び描画視点８１１とフレームオブジェクト８１２の組み合わせについて描画を行う場合、各視点を基準にしたカメラ座標系でのコンテンツオブジェクトの配置はそれぞれ、図１２（ａ）、（ｂ）のようになるが、これらを１パス（左眼用と右眼用それぞれ）の描画処理で描画するためには、描画視点との相対的位置関係を維持して、これらを同一の３次元空間に統合し、図１２（ｃ）のようにすればよい。即ち、２つの描画視点８０３と８１１についての描画を１パスで行うためには、少なくとも１つの描画視点について、コンテンツオブジェクト群を複製して３次元空間中に配置することになる。これにより、同一のコンテンツオブジェクトが３次元空間中に複数配置されることになるが、フレームオブジェクト８０２とフレームオブジェクト８１２のそれぞれの観賞面に投影されるコンテンツオブジェクトは、対応付けられたオブジェクトのみとなる。

図１２（ｃ）の例では、フレームオブジェクト８０２の観賞面に投影されるコンテンツオブジェクト群は、図１２（ａ）で示された相対的位置関係にある実線で示したオブジェクトのみとなり、破線で示されるコンテンツオブジェクトは描画処理においてマスクされた状態となる。一方、フレームオブジェクト８１２の観賞面に投影されるコンテンツオブジェクト群は、図１２（ｂ）で示された相対的位置関係にある破線で示したオブジェクトのみとなり、実線で示されるコンテンツオブジェクトは描画処理においてマスクされた状態となる。換言すれば、このように描画処理のパス数を最小とする構成では、各フレームオブジェクトと、該フレームオブジェクトの観賞面に投影されるコンテンツオブジェクトとの間には関連付けがなされており、関連付けがなされていないコンテンツオブジェクトはマスクされ、該フレームオブジェクトの描画処理（投影含む）において描画の対象とはならない。

このようにすることで、本実施形態の画像生成装置によれば、視点移動演出や視点切替演出を含む両眼立体視用のコンテンツであっても、観賞範囲において立体知覚させる領域を限定し、観賞者にとって好適な態様で提示することが可能となる。より詳しくは、複数のフレームオブジェクトを介して演出内容を分離することで、観賞者４００の容易な内容認識を阻害し得るような、あるいは酔いを引き起こし得るような、視点移動や視点切替に起因する視覚的な不快感の発生を低減することができる。また演出を分離させ、順次異なるフレームオブジェクトを配置して立体知覚させる要素の提示を行うことで、観賞者の視線を注目させたい要素に好適に誘導することができる。

［変形例１］
上述した実施形態３では、観賞領域中の立体知覚させるコンテンツオブジェクトを提示する領域を制限する態様において、さらに複数のフレームオブジェクトを用いて演出を分離することで好適なコンテンツ提供を実現するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、３次元空間の全周囲を両眼立体視での観賞を可能に構成されたコンテンツの提示中、視点移動演出や視点切替演出のように、観賞者の身体的移動と乖離する視覚演出が生じることを検出した際に、１以上のフレームオブジェクトを用いて、観賞領域中の一部の領域に立体知覚させる要素の提示領域を制限するよう描画方式を制御するものであってもよい。即ち、所定の視点変更を行う場合に、全周囲の両眼立体視を可能ならしめる態様で提供していた左眼用及び右眼用の画像から、一部の領域でのみ立体知覚を可能ならしめる態様の左眼用及び右眼用の画像に切り替え、視点変更による視覚的な影響を低減するように、提示する情報量を動的に制御するものであってもよい。

［変形例２］
上述した実施形態では、フレームオブジェクトよりも描画視点よりに立体知覚させるコンテンツオブジェクトが配置され得るため、フレームオブジェクトの観賞面に投影する方式を用いるものとして説明したが、本発明の実施はこれに限られるものではない。即ち、フレームオブジェクトは単に枠として、あるいはフレームオブジェクトで構成される面が透過属性を有する窓のようなオブジェクトとして、３次元空間に配置されるものであってよい。この場合、決定された描画視点について、該描画視点とフレームオブジェクトとで規定される錐体範囲にのみ描画オブジェクトが存在するものとして、これら描画オブジェクトとフレームオブジェクトとを描画するものであってよい。換言すれば、本発明の実施は、板状のオブジェクトを観賞するとの態様で、両眼立体視用のコンテンツを提供するものに限られるものではなく、空洞を有する壁の手前から該空洞を介して壁の向こうの３次元空間を観賞するとの態様で、両眼立体視用のコンテンツを提供するものであってもよいことは言うまでもない。

［変形例３］
これまで、両眼立体視用の画像において立体知覚させるコンテンツオブジェクトを提示しないとした領域については、無地の画像で構成し、観賞者に立体知覚をさせない、即ち視差を生じさせないような画像であればいずれであってもよい。即ち、遠景として配置され、視差が無視できるオブジェクトを描画した画像や、ボケ味を付した背景画像であってもよい。

また、観賞者への視覚的負担を低減するとの観点では立体知覚をさせない画像とすることが好ましいが、観賞者の身体的移動と乖離していなければ、観賞によって不快感を与える可能性は低減される。故に、立体知覚させるコンテンツオブジェクトを提示しないとした領域に、身体的移動と乖離しない両眼立体視用のコンテンツに係る画像を提示するよう構成してもよい。即ち、観賞者の身体的移動と異なる観賞演出を、観賞領域中の一部の領域に限定する構成であっても、両眼立体視用のコンテンツを、興趣性を担保しつつ、観賞者にとって好適な態様で提示することは可能である。

［その他の実施形態］
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係る画像生成装置は、１以上のコンピュータを該画像生成装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供／配布することができる。

１００：ＰＣ、１０１：制御部、１０２：記録媒体、１０３：メモリ、１０４：取得部、１０５：描画部、１０６：表示出力部、１０７：操作入力部、２００：トラッキングセンサ、３００：ＨＭＤ、４００：観賞者

Claims (14)

1. コンテンツに係る両眼立体視用の画像を生成するコンピュータに、
   観賞者の視点の動きの情報を取得する取得処理と、
   前記観賞者の視点の動きに対応する両眼立体視に係る左眼用及び右眼用の画像を描画して生成する生成処理と、
   を実行させ、
   前記生成処理において、前記観賞者の視点の動きに応じて立体知覚させる要素を描画する第１の領域は前記左眼用及び右眼用の画像それぞれの一部に制限され、その他の第２の領域には前記立体知覚させる要素は描画されないプログラム。
2. 前記第１の領域に描画される要素は、前記コンテンツに対応する３次元空間中に配置されたフレームオブジェクトと、左眼用及び右眼用それぞれの描画視点とで規定される錐体範囲に含まれる要素である請求項１に記載のプログラム。
3. 前記生成処理において、前記第１の領域に係る描画は、前記錐体範囲に含まれる要素を前記フレームオブジェクトで規定される面に投影した状態の板状オブジェクトの描画として行われる請求項２に記載のプログラム。
4. 前記フレームオブジェクトは、フレームの縁を示す中空のオブジェクトもしくはフレーム内部に透過属性が設定されたオブジェクトであり、
   前記生成処理において、前記第１の領域に係る描画には、前記錐体範囲に含まれない要素をマスクする処理が含まれる請求項２に記載のプログラム。
5. 前記観賞者の視点が、前記フレームオブジェクトで規定される面を観賞面側から非観賞面側に通過して移動した場合に、前記生成処理において、前記第１の領域に係る制限が低減される請求項２または３に記載のプログラム。
6. 前記コンテンツにおいて所定の視点移動演出または視点切替演出を行う場合に、前記生成処理において前記第１の領域に係る制限が行われる請求項２乃至５のいずれか１項に記載のプログラム。
7. 前記所定の視点移動演出または視点切替演出を行う場合に、前記フレームオブジェクトが前記３次元空間中に複数配置され、
   前記第１の領域は、複数の前記フレームオブジェクトの各々について描画された領域を含む請求項６に記載のプログラム。
8. １組の左眼用及び右眼用の描画視点について、前記複数のフレームオブジェクトそれぞれに係る前記錐体範囲が定義され、
   前記立体知覚させる要素は、前記複数のフレームオブジェクトの各々について複製されて前記３次元空間中に配置され、
   前記生成処理において、前記第１の領域に係る描画には、各フレームオブジェクトに対応する要素のみを描画対象とするようマスクする処理が含まれる請求項７に記載のプログラム。
9. 前記複数のフレームオブジェクトのそれぞれについて、１組の左眼用及び右眼用の描画視点が定義され、
   前記生成処理において、
   各左眼用及び右眼用の描画視点について、対応するフレームオブジェクトとで規定される錐体範囲に含まれる要素が描画され、
   前記複数のフレームオブジェクトの各々に係り描画された画像を合成することで、前記第１の領域が構成される
   請求項７に記載のプログラム。
10. 前記第２の領域は、生成された左眼用及び右眼用の画像で両眼立体視を行った場合に、視差を知覚させない画像で構成される請求項１乃至９のいずれか１項に記載のプログラム。
11. 前記第２の領域は、無地の画像で構成される請求項１乃至１０のいずれか１項に記載のプログラム。
12. 請求項１乃至１１のいずれか１項に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
13. コンテンツに係る両眼立体視用の画像を生成する画像生成装置であって、
    観賞者の視点の動きの情報を取得する取得手段と、
    前記観賞者の視点の動きに対応する両眼立体視に係る左眼用及び右眼用の画像を描画して生成する生成手段と、を有し、
    前記生成手段は、前記観賞者の視点の動きに応じて立体知覚させる要素を描画する第１の領域を前記左眼用及び右眼用の画像それぞれの一部に制限し、その他の第２の領域には前記立体知覚させる要素を描画しない画像生成装置。
14. コンテンツに係る両眼立体視用の画像を生成する画像生成方法であって、
    観賞者の視点の動きの情報を取得する取得工程と、
    前記観賞者の視点の動きに対応する両眼立体視に係る左眼用及び右眼用の画像を描画して生成する生成工程と、を有し、
    前記生成工程において、前記観賞者の視点の動きに応じて立体知覚させる要素を描画する第１の領域は前記左眼用及び右眼用の画像それぞれの一部に制限され、その他の第２の領域には前記立体知覚させる要素は描画されない画像生成方法。

Images