JP6198157B2 - プログラム、記録媒体、画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、プログラム、記録媒体、画像処理装置及び画像処理方法に関し、特に両眼立体視用の画像の描画技術に関する。

近年、映像コンテンツの提示において、観賞者の眼球の各々に両眼立体視可能な態様で画像を提示し、より没入感の高い観賞体験を可能ならしめるものがある。両眼立体視に係る各眼球用の画像は、例えばコンピュータグラフィックスコンテンツに係る３次元シーン内に眼間距離に対応する距離（基線長）離間させた、平行な視線方向を有する２種類の視点（カメラ）を定義し、各視点についてシーンを描画することにより生成することができる。

例えばＨＭＤを用いて提供される両眼立体視コンテンツでは、観賞者の頭部の位置や方向を順次検出（ヘッドトラック）し、検出した位置や方向を視点の定義に反映させることで、観賞者がより没入しやすい観賞体験を与えることができる。一方で、このようなヘッドトラックに応じた視点変更に基づき生成された両眼立体視コンテンツは、頭部の動きを検出する１人の観賞者のみに対応して提供されるものであり、第三者の観賞者にとっては好適な提供態様とならない。

これに対し、映画館等では大型の平面スクリーンに対して各眼球に対応する画像をプロジェクタ等の投影装置により投影し、ヘッドトラックはせずとも、多人数に対して両眼立体視に係る観賞体験を同時提供可能としている。このとき、投影装置の各々には照射する光の偏光を異ならせるフィルタが使用され、観賞者は各々の眼球に対応する偏光の反射光を観賞可能なように構成された所謂偏光メガネを使用することで、両眼立体視が可能となる。

ところで、左眼用及び右眼用の画像が平行な視線方向を有して定義された視点に基づく場合、通常であればこのような画像を表示面の同位置に表示して観賞させれば、無限遠の被写体について視差が生じない両眼立体視が実現されることになる。即ち、無限遠以外の、近景として配置された描画オブジェクトが表示面から飛び出すような立体感が提示される。しかしながら両眼立体視コンテンツでは、表示面よりも奥まった表現を可能ならしめるために、特定の距離の被写体について視差が生じなくなるよう、表示面における各眼球用の画像の表示位置を制御している。例えば特定の距離に存在する描画オブジェクトについて左右の眼球間で視差が生じないよう、投影を行う画像からの表示用切り出し範囲の変更、または投影方向の調整を行うことで、表示位置の制御がなされる。あるいは、例えば描画を行う２つの視点の視線方向を、特定の距離にて交差させるよう変更することで、表示位置の制御がなされる。

しかしながら、スクリーン投影による映像コンテンツの提供は、近年では上述したような平面スクリーンに限らず行われている。例えばプラネタリウム等では、シリンダー型、ドーム型、天球型のような、曲面を伴う様々な立体的形状を有するスクリーンを用いることで、観賞者の全周囲、全方位（全天周）の映像コンテンツを観賞者に提供することができる。特許文献１には、このような任意形状の表示パネルに表示した際に、歪みなく観賞されるように画像処理を行うことが開示されている。

立体的形状を有するスクリーンを用いる場合、解像度の高い映像コンテンツの観賞を可能ならしめるため、スクリーンの領域を複数に分割し、領域ごとにコンテンツを投影するプロジェクタを異ならせて構成されている。このような態様では、各領域についてさらに左眼用及び右眼用の投影装置を設けることは、各プロジェクタの投影制御に係る演算量の増加だけでなく、導入コストの増加も導くため、各領域に１つのプロジェクタを使用し、時分割で左眼用の画像と右眼用の画像を交互に投影する方式が用いられることも少なくない。

特開２０１４−１５７３２４号公報

一方、上述したように時分割にて左眼用及び右眼用の画像を投影する態様では、立体的形状を有し、観賞者の視野よりも広い範囲で両眼立体視コンテンツを提供する場合に、以下のような問題が生じる。

例えば図１１（ａ）に示されるように観賞者の全天周を覆う形で半球型のスクリーン１１００を設け、観賞者の基準の観賞方向を該スクリーンに係る球の中心１１０１から延びる矢印１１０２とし、観賞者にＹａｗ方向１１０３での観賞方向の移動を許容するケースを考える。なお、投影面の位置に存在する描画オブジェクトの視差をなくすため、図１１（ｂ）に示されるよう、３次元シーン中に規定された視点の基準位置１１１１（左眼用視点１１１２と右眼用視点１１１３との中点Ｏの位置）から観賞方向に延びる直線上の、基準位置１１１１からスクリーン半径に対応する距離ｒ離れた点１１１４にて交差するよう、各眼球用の視点の視線方向を定めたとする。即ち、左眼用視点１１１２と右眼用視点１１１３の各々が、点１１１４に向かう視線方向を各々有しているものとする。

このとき、図１２（ａ）に示される２つの視点の視線方向ベクトルで定義される面内において、中点Ｏを中心として半径ｒで定まる、投影面に対応する円上の２つの点オブジェクト１２０１及び１２０２が、どのようにスクリーン１１００に投影されるかを検討する。図１２（ａ）において、破線で示す直交軸は、左眼用視点１１１２から視線方向に延びた左眼用の深度ｚ_L軸と、面内で該軸と直交する横ｘ_L軸とを示し、破線で示す円１２０３は、左眼用視点１１１２から視線方向を基準に描画して得られる画像をスクリーン１１００に投影する際の、投影面に対応する位置を示している。また一点鎖線で示す直交軸は、右眼用視点１１１３から視線方向に延びた右眼用の深度ｚ_R軸と、面内で該軸と直交する横ｘ_R軸とを示し、一点鎖線で示す円１２０４は、右眼用視点１１１３から視線方向を基準に描画して得られる画像をスクリーン１１００に投影する際の、投影面に対応する位置を示している。なお、「視線方向を基準に描画する」とは、視点について予め定められた６方向（＋ｘ方向、−ｘ方向、＋ｙ方向、−ｙ方向、＋ｚ方向、−ｚ方向）を、各々９０度の画角で描画し、所謂キューブマッピング用のテクスチャを生成することを指すものとする。

スクリーン１１００の中心１１０１に設けられた複数台のプロジェクタにて各視点について描画された画像を、図１２（ｂ）に示されるように視線方向（ｚ_L軸、ｚ_R軸）が一致するように描画することで、点オブジェクト１２０１については投影面にて像を一致させることができ、視差のない提示態様とすることができる。一方で、点オブジェクト１２０２については、左眼用視点１１１２から点オブジェクト１２０２に向かう方向と右眼用視点１１１３から点オブジェクト１２０２に向かう方向とが異なるため、各々に対応して投影面に形成される像の位置が１２１１と１２１２とで一致しない。またさらに、左眼用視点１１１２から点オブジェクト１２０２までの距離と右眼用視点１１１３から点オブジェクト１２０２までの距離とも異なるため、投影面において各像の大きさに違いが生じることになる。

点オブジェクト１２０１と点オブジェクト１２０２とは、視点の基準位置１１１１からの距離が同一であり、観賞者が視線方向を変更しても両眼立体視においても視差が生じないことが好ましい。しかしながら、図１２（ｂ）に示したような従来の視点決定方式では、基準の観賞方向からずれるほど視差が生じ、好適な両眼立体視を観賞者に提供できない可能性があった。

これに対し、Ｙａｗ方向のそれぞれについて、正対するよう左眼用視点及び右眼用視点を決定し、生成された画像を合成することでＹａｗ方向における観賞方向の変更を観賞者に可能ならしめる両眼立体視が実現され得る。しかしながら、このような方向毎に２つの視点を定義して描画し、さらにそれらを合成する処理を行う方式は、従来の視点決定方式に比べて処理に係る演算量が多くなるため、例えば操作入力に応じて動的に観賞内容が変化するような所謂リアルタイムコンテンツには不向きであった。

本発明は、上述の問題点に鑑みてなされたものであり、観賞方向の変更を観賞者に可能ならしめる両眼立体視に係る画像を好適な演算量で生成するプログラム、記録媒体、画像処理装置及び画像処理方法を提供することを目的とする。

前述の目的を達成するために、本発明のプログラムは、立体的形状を有するスクリーンに投影されることで、観賞者に両眼立体視を可能ならしめる左眼用画像及び右眼用画像を生成するプログラムであって、コンピュータに、描画オブジェクトを配置する３次元シーン内の基準配置位置を取得する処理と、３次元シーンを描画する視点の位置を決定する処理と、視点の位置と描画オブジェクトの基準配置位置とに基づいて、該描画オブジェクトの左眼用及び右眼用の配置位置を決定する処理と、スクリーンに投影された際の観賞の基準方向を取得する処理と、観賞の基準方向と、描画オブジェクトに対応する画像が投影されるスクリーン位置に係る観賞方向とに基づき、該描画オブジェクトについての、基準配置位置から決定された左眼用の配置位置または右眼用の配置位置への移動量を調整する処理と、視点について、移動量の調整を反映した左眼用の配置位置に描画オブジェクトを配置して３次元シーンを描画した左眼用画像と、移動量の調整を反映した右眼用の配置位置に描画オブジェクトを配置して３次元シーンを描画した右眼用画像とを生成する処理と、を実行させることを特徴とする。

このような構成により本発明によれば、所望の視点についての好適な両眼立体視を実現可能な画像を、少ない演算量で生成することが可能となる。

本発明の実施形態に係るＰＣ１００の機能構成を示したブロック図 本発明の実施形態に係る投影態様を示したブロック図 本発明の実施形態に係る画像生成手法を説明するための図 本発明の実施形態に係る画像生成手法及び投影態様を説明するための別の図 従来技術に係る画像生成手法及び投影態様を説明するための図 従来技術に係る画像生成手法及び投影態様を説明するための別の図 本発明の実施形態に係るＰＣ１００において実行される投影処理を例示したフローチャート 本発明の実施形態３に係る視差量の制御を説明するための図 本発明の実施形態３に係る視差量の制御を説明するための別の図 本発明の変形例２に係る画像生成手法及び投影態様を説明するための図 従来技術に係る投影態様を示したブロック図 従来技術に係る両眼立体視が破綻するケースを説明するための図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、リアルタイムレンダリングにより両眼立体視用の左眼用及び右眼用の画像を生成し、接続された投影装置に投影させることが可能なＰＣに、本発明を適用した例を説明する。しかし、本発明は、両眼立体視用の左眼用及び右眼用の画像を生成することが可能な任意の機器に適用可能である。

《ＰＣ１００の構成》
図１は、本発明の実施形態に係るＰＣ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、ＰＣ１００が有する各ブロックの動作を制御する。より詳しくは、制御部１０１は、例えば記録媒体１０２に格納された各ブロックの動作プログラムを読み出し、メモリ１０３に展開して実行することにより各ブロックの動作を制御する。

記録媒体１０２は、例えばＰＣ１００が内蔵する内蔵メモリや、ＰＣ１００に着脱可能に構成されるＨＤＤ等の恒久的なデータ保持が可能な不揮発性の記録装置である。記録媒体１０２には、ＰＣ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作において必要となる各種パラメータを記録する。また記録媒体１０２には、両眼立体視での観賞が可能に構成された、後述の映像コンテンツを生成するアプリケーションに係るプログラム及び描画オブジェクトについて設けられた各種データを記録する。またメモリ１０３は、例えば不揮発性メモリであり、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において必要となるデータの一時展開領域、あるいは各ブロックの動作において出力された中間データ等を記録する格納領域としても用いられる。

描画部１０４は、例えばＧＰＵであり、映像コンテンツを生成するアプリケーションにおけるリアルタイムレンダリング処理を行い、映像コンテンツの各フレームの画像を生成する。描画部１０４は、例えば不図示の描画用メモリを有していてよく、映像コンテンツについて定義される３次元シーンに各種描画オブジェクトを配置し、順次描画しながら、描画用メモリに画像を生成する。本実施形態では、映像コンテンツの両眼立体視に係る左眼用及び右眼用の画像は時分割で生成されるものであり、例えば６０ｆｐｓの両眼立体視の映像コンテンツを提供するために、１２０ｆｐｓにて左眼用の画像と右眼用の画像が交互に描画される。このとき、両眼立体視の１フレームで提示される１セット（２回の描画分）の左眼用の画像と右眼用の画像は、同一の時間に係る各種描画オブジェクト及び視点の状態について各々描画が行われる。なお、本実施形態の描画部１０４は、上述したようにリアルタイムレンダリングにより映像コンテンツに係る各フレームの画像を生成するものとして説明するが、本発明の実施はリアルタイムレンダリングに限らず適用可能であることは容易に理解されよう。

投影制御部１０５は、本実施形態のＰＣ１００に接続されたプロジェクタ１１０の投影制御を行う。本実施形態では映像コンテンツの両眼立体視の実現方式は、アクティブ・シャッタ方式を用いるものとし、投影制御部１０５は時分割で描画された左眼用及び右眼用の画像を、順次プロジェクタ１１０に出力し、スクリーン２００に投影させる。プロジェクタ１１０は、例えば液晶プロジェクタ等の、入力された画像を投影する投影装置である。プロジェクタ１１０は入力された順に、即ち両眼立体視に係る左眼用の画像と右眼用の画像を交互に投影する。このとき、観賞者の各眼球に対応する画像が観賞されるよう、観賞者に装着された例えば液晶シャッタを制御するための制御信号、あるいはシャッタ開閉の切り替えタイミング示す同期信号を投影制御部１０５は出力する。

なお、本実施形態では図２（ａ）に示されるようなドーム型スクリーンを投影面とするため、６台のプロジェクタ１１０を用いてスクリーン全面に両眼立体視コンテンツを投影する。各プロジェクタ１１０は、図２（ｂ）に示されるようにスクリーン２００の異なる領域（第１〜第６範囲）に画像を投影するよう配設される。またスクリーン２００において隣接する領域を投影するプロジェクタ１１０は、その投影領域が重複するよう構成され、重複領域では輝度調整を行い、ブレンディングにより各投影領域の境界が目立たぬよう処理される。

本実施形態では、本発明の好適な提示態様として、立体的形状を有するスクリーンであって、所定の観賞位置で観賞される場合に、観賞者の通常の視野よりも広い範囲にコンテンツを提示し、観賞中における観賞方向に自由度を設けた態様を例に説明する。しかしながら本発明の実施はこれに限られるものである必要はなく、両眼立体視に係る左眼用及び右眼用の画像を生成するいずれの提示態様についても適用可能である。

また、本実施形態では簡単のため、１つのＰＣ１００においてスクリーン２００の全体に投影する画像に係る描画処理を行うものとして説明するが、投影画像の生成は複数台のＰＣにより実行され、そして例えば統括用のＰＣが全ＰＣの動作を制御し、各プロジェクタ１１０に投影を行わせる構成であってもよいことは言うまでもない。より詳しくは、プロジェクタの投影する領域ごとに１つの描画用ＰＣまたは左眼用及び右眼用の描画ＰＣが割り当てられ、各描画ＰＣへの情報伝送や投影制御を行う制御ＰＣを加えた投影システムにより、本発明が実現されるものであってもよい。

また画像の提示も、アクティブ・シャッタ方式に限られるものである必要はなく、両眼立体視を可能ならしめるその他の方式が用いられるものであってよい。さらには、本発明の実施は投影装置により投影されることで観賞可能となる態様に限られるものである必要はなく、観賞者の左右の眼球に異なる画像を提示可能とする所定の表示装置が用いられるものであってもよい。

また本実施形態では投影面としてドーム型スクリーンを用いる例について説明するが、映像コンテンツを提示する投影面あるいは表示装置の表示面の形状はこれに限られるものでない。上述した課題を踏まえると、立体的形状を有する媒体を用い、観賞者の観賞方向を限定しない画像提示を行って両眼立体視を実現させる態様において、本発明の演算量低減に係る効果が好適に実現される。しかしながら、本発明の後述する手法は、このような態様に限られるものでなく、提示を行う媒体の形状や大きさによらず、映像コンテンツの提供において好適に両眼立体視を可能ならしめる左眼用及び右眼用の画像を生成するために利用可能である。

《画像生成手法の概要》
以下、本実施形態に係る両眼立体視を可能ならしめる投影画像の生成手法について、その概要及び従来の手法との違いを説明する。

本実施形態で用いる投影画像の生成手法は、観賞対象である３次元シーンについて左眼用及び右眼用の視点を定義するのではなく、描画を行う視点は１つの視点（カメラ）のみを定義して左眼用の画像及び右眼用の画像のそれぞれを描画する。一方で、１つの視点では視差を有する関係にある左眼用及び右眼用の画像を生成することはできないため、本手法では３次元シーンに配置する描画オブジェクトの各々を、左眼用及び右眼用の配置位置のそれぞれに配置して描画を行う。即ち、本手法では左眼用の画像を生成する際には、描画オブジェクトを左眼用の配置位置に配置して、１つの視点位置に定義されたカメラにより描画を行う。また右眼用の画像を生成する際には、描画オブジェクトを左眼用の配置位置ではなく右眼用の配置位置に配置して、同一の視点位置に定義されたカメラにより描画を行う。

より詳しくは、カメラ座標系、即ち視点位置を原点、描画を行うカメラの横方向をｘ、視線方向をｚとしたときに、図３に示されるように、視線方向に視差を生じさせない距離（観賞者からＰＣ１００の投影面に対応する距離（投影距離ｒ））離れた位置に存在する点オブジェクトＰ₀、視線方向から−ｘ方向に傾いた方向（−Ｙａｗ方向）に投影距離ｒよりも遠離した位置に存在する点オブジェクトＰ₃、視線方向から＋ｘ方向に傾いた方向（＋Ｙａｗ方向）に投影距離ｒよりも近い位置に存在する点オブジェクトＰ₄、視線方向から＋ｘ方向に傾いた方向に投影距離ｒ離れた位置に存在する点オブジェクトＰ₅を例に説明する。なお、説明を簡単にするため、図３に示す例はカメラ座標系において高さ方向（ｙ方向）を考慮していない。また説明に用いる４つの点オブジェクトは、例えば該点オブジェクトについて予め定義された３次元シーン内の配置位置であり、左眼用及び右眼用の配置位置の決定の基準となる位置（基準配置位置）である。以下では４つの点オブジェクトは、視点について決定された、画角、ニアクリッピング距離、ファークリッピング距離で定まる描画範囲に含まれるものとする。

まず本手法では、描画範囲に含まれる点オブジェクトの各々について、視点位置から各点オブジェクトの基準配置位置に向かう方向ベクトル、及び視点座標系のｙ方向ベクトルとで規定される平面に対する法線ベクトルを取得する。法線ベクトルは、各点オブジェクトについて２種類（正方向（ｙ軸周り時計回り方向）と負方向（ｙ軸周り反時計回り方向））が取得される。

次に、各点オブジェクトについて、図４（ａ）に示されるよう、眼間距離ｄ_e（あるいは対応して定められる距離）の半分量だけ各法線方向に移動させた位置を暫定的な左眼用及び右眼用の配置位置として決定する。暫定的な配置位置とは、両眼立体視用に各画像を提示する場合に生じる視差の調整を考慮せずに決定したものであることによるものである。即ち、ここで決定する暫定的な左眼用及び右眼用の配置位置は、左眼用及び右眼用の視点を各々配置して描画を行う場合において、該２視点の中点が原点となり、原点から対象の点オブジェクトに向かうように視線方向が定められた際の、各視点と該点オブジェクトとの相対位置関係を保持したものになる。即ち、点オブジェクトに正対するように左眼用及び右眼用の視点を定める場合、視線方向に直交する方向に眼間距離の半分量だけ離れた位置に左眼用及び右眼用の視点の位置は各々定義される。従って、これらの視点位置を原点に重ねるよう、視点と点オブジェクトとの位置関係を維持したままシフトした際の各点オブジェクトの位置と、暫定的な配置位置は等価である。故に、各点オブジェクトに係る左眼用及び右眼用の配置位置は、図４（ａ）においてＬまたはＲの文字を付して示されるように、各点オブジェクトの正の法線ベクトルの方向にｄ_e／２移動させた位置（Ｐ_0L、Ｐ_3L、Ｐ_4L、Ｐ_5L）と、各点オブジェクトの負の法線ベクトルの方向にｄ_e／２移動させた位置（Ｐ_0R、Ｐ_3R、Ｐ_4R、Ｐ_5R）となる。

そして本手法は、このように決定した暫定的な配置位置を、画像提示時に投影距離ｒにある点オブジェクトの視差がなくなるよう調整を行う。調整は、例えば点オブジェクトＰ₀の像のずれが左眼用の画像と右眼用の画像との間でなくなるよう、Ｐ_0LをＰ₀の位置に戻す、またはＰ_0RをＰ₀の位置に戻す回転により行われる。図４（ａ）では理解を容易にするため眼間距離を大きくしているが、通常、投影距離ｒは眼間距離よりも十分に大きく設定されるため、回転角θ（[rad]）は、
で近似することができる。従って、全ての点オブジェクトについて決定した暫定的な左眼用の配置位置を、ｙ軸周りに反時計回り方向に回転角θで回転する（ｚ→Ｖ_L）ことで、最終的な各点オブジェクトの左眼用の配置位置を決定することができる。また全ての点オブジェクトについて決定した暫定的な右眼用の配置位置をｙ軸周りに時計回り方向に回転角θで回転する（ｚ→Ｖ_R）ことで、最終的な各点オブジェクトの右眼用の配置位置を決定することができる。このようにすることで、図４（ｂ）に示されるように、投影距離にある点オブジェクトＰ₀（Ｐ_0L及びＰ_0R）、Ｐ₅（Ｐ_5L及びＰ_5R）については、左眼用及び右眼用の配置位置が、投影面上において像が一致する関係に決定される。また投影距離よりも視点に近く存在する点オブジェクトＰ₄については図示されるように、観賞者がより左右の視線を交差させることで注視可能となるような、投影面において左眼用の像（Ｒ_4L）と右眼用の像（Ｒ_4R）の左右の位置関係が逆転した、左眼用の配置位置（Ｐ_4L）及び右眼用の配置位置（Ｐ_4R）が決定される。また投影距離よりも遠離して存在する点オブジェクトＰ₃については図示されるように、観賞者の視線がより平行となることで注視可能となるような、投影面において左眼用の像（Ｒ_3L）と右眼用の像（Ｒ_3R）の左右の位置関係が逆転しない、左眼用の配置位置（Ｐ_3L）及び右眼用の配置位置（Ｐ_3R）が決定される。

このような処理により、各描画オブジェクトについての左眼用及び右眼用の配置位置は、結果として図４（ｂ）から明らかなように、視点を中心とし、半径を各描画オブジェクトまでの距離とする円周上に並ぶ形で決定される。従って、観賞者がＹａｗ方向において観賞方向の変更を行ったとしても、いずれの方向でも投影面に対応する位置に存在する描画オブジェクトについては視差がなく、投影面よりも遠離するあるいは近くにある描画オブジェクトについては好適な視差を与えることが可能となる。

これに対し、従来の１セットの左眼用及び右眼用の視点（Ｃ_L、Ｃ_R）を定義し、図５（ａ）に示されるように、該セットの視点に係る基準の視線方向に投影距離ｒ離れた位置に存在する点オブジェクトＰ₀に対し、各視点の描画方向（Ｖ_L、Ｖ_R）を決定して左眼用及び右眼用の画像を描画し、１つのプロジェクタから時分割で投影する手法を検討する。該手法では、図５（ｂ）に示されるように点オブジェクトＰ₀以外のオブジェクトについては各眼球に係る画像間で、眼間距離によって視点がシフトしていることに起因する、奥行き方向の視点と点オブジェクトとの距離の相違が、オブジェクトの配置位置がＹａｗ方向に変化するほど生じる。従って、観賞者がＹａｗ方向において観賞方向の変更を行った場合には、好適な視差を与えることができず、両眼立体視が破綻し得る。また、投影面上において視差がなくなることが好ましい点オブジェクトＰ₅であっても、左眼用の像（Ｒ_5L）と右眼用（Ｒ_5R）の像とでずれが生じるため、投影面に存在しないように観賞者に知覚され得る。

また、従来の１セットの左眼用及び右眼用の視点（Ｃ_L、Ｃ_R）を定義し、図６（ａ）に示されるように、該セットの視点に係る基準の視線方向と平行に各視点の描画方向を決定して左眼用及び右眼用の画像を描画し、投影時に点オブジェクトＰ₀の像が一致するよう投影方向を調整して、１つのプロジェクタから時分割で投影する手法を検討する。該手法でもやはり、図６（ｂ）に示されるように点オブジェクトＰ₀以外のオブジェクトについては各眼球に係る画像間で、眼間距離によって視点がシフトしていることに起因する、奥行き方向の視点と点オブジェクトとの距離の相違が、オブジェクトの配置位置がＹａｗ方向に変化するほど生じる。従って、観賞者がＹａｗ方向において観賞方向の変更を行った場合には、好適な視差を与えることができず、両眼立体視が破綻し得る。また、投影面上において視差がなくなることが好ましい点オブジェクトＰ₅であっても、左眼用の像（Ｒ_5L）と右眼用（Ｒ_5R）の像とでずれが生じるため、投影面に存在しないように観賞者に知覚され得る。

なお、図３〜図６では所定の画角を有するカメラの描画を例に説明したが、上述したようなキューブマッピング用のテクスチャを同時生成する、１つの視点基準位置に６種類の異なる方向について定義されるカメラ群（以下、キューブカメラ）を用いる態様においても、本手法は適用可能である。

《投影処理》
以下、上述したような構成をもつ本実施形態のＰＣ１００において実行される、プロジェクタ１１０によりスクリーン２００に両眼立体視可能な映像コンテンツの投影を行う投影処理について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。なお、本投影処理は、例えば両眼立体視可能な映像コンテンツを提供するアプリケーションの実行が指示された際に開始されるものとして説明する。また本投影処理で説明するフローチャートでは、観賞者が知覚する映像コンテンツの１フレームについて、左眼用及び右眼用のフレームを各々生成するアプリケーション（処理）上の２フレーム分の処理を行うものとして説明する。従って、本投影処理は、映像コンテンツの提供が行われる間、観賞者が知覚する映像コンテンツのフレームごと、即ち処理上の２フレームごとに繰り返し実行されるものとする。

また、本実施形態の投影対象である映像コンテンツでは、対象の３次元シーンに配置される描画オブジェクトは簡単のため点オブジェクトであるものとして説明するが、本発明の実施はこれに限られるものではない。即ち、描画オブジェクトは、所定のボリュームを有さない点オブジェクトに限られるものでなく、複数の頂点を有し、所定の体積を有するものとして構成されるオブジェクトであってもよい。この場合、以下の説明において「各描画オブジェクト」について左眼用及び右眼用の配置位置を決定する処理は、「各描画オブジェクトが有する頂点の各々」について左眼用及び右眼用の配置位置を決定するものと解釈すればよいことは容易に理解されよう。即ち、１つの描画オブジェクトの各頂点について定められた基準配置位置、あるいは描画オブジェクトについて代表的に定められた基準配置位置との相対位置関係で定まる各頂点の位置について、以下の処理が行われるものであってよい。

Ｓ７０１で、制御部１０１は、観賞対象である３次元シーンに配置される各描画オブジェクトについて、動的要素を考慮して３次元シーン中の配置位置（基準配置位置）を決定する。本実施形態では、スクリーン２００に投影される映像コンテンツはリアルタイムレンダリングにより生成されるものであり、例えば描画オブジェクトに移動や回転等の動作をさせるための操作入力や、時間経過により描画オブジェクトについて生じさせる状態変化等の動的要素を反映させた画像を生成することができる。本ステップでは制御部１０１は、このような動的要素を考慮して、各描画オブジェクトの基準配置位置を観賞者に知覚される映像コンテンツの各フレームについて決定する。なお、本実施形態の投影処理ではリアルタイムレンダリングを行う好適な態様として、描画オブジェクトの動的要素を考慮するものとして説明する。しかしながら本発明の実施において、描画オブジェクトは静的とし、各々に予め定められた３次元シーン中の固定の配置位置を取得することで、本ステップの基準配置位置の決定が行われるものであってもよい。

Ｓ７０２で、制御部１０１は、３次元シーンの描画を行う視点の位置（視点位置）を決定する。視点位置の決定は、基準配置位置の決定と同様に視点位置変更に係る操作入力や、予め定められた視点軌道に基づいて行われるものであってよい。本実施形態の投影処理において視点位置の決定は、上述したように１つの視点のみを決定する。即ち、１フレームに係る左眼用及び右眼用の画像の描画用に、２種類の視点を定義するのではなく、１種類の視点のみを定義する。

なお、本実施形態の投影処理では図２に示したような全天周のスクリーン２００に投影する画像を生成するため、視点について予め定められた６方向（＋ｘ方向、−ｘ方向、＋ｙ方向、−ｙ方向、＋ｚ方向、−ｚ方向）を、各々９０度の画角で描画し、所謂キューブマッピング用のテクスチャを生成する。換言すれば、１つの視点位置が定義されることで、該視点位置を原点とし、その全周を抜け及び重複がないよう定義されたキューブカメラが定義される。本実施形態ではューブカメラは、視点座標系の＋ｘ方向、−ｘ方向、＋ｙ方向、−ｙ方向、＋ｚ方向、−ｚ方向の６方向を向いたカメラ群を有するものとして説明するが、キューブカメラの各カメラが描画する方向はこれに限られるものではない。例えばワールド座標系の各軸の正負の方向を向くようキューブカメラのカメラ群が設定される場合は、図２に示したような半球状のスクリーン２００に投影する画像の生成において、ワールドの下方向（−ｙ方向）のカメラについて描画した画像は投影されないため、キューブカメラはこれを除く５方向のカメラを有する構成であってもよい。

Ｓ７０３で、制御部１０１は、各描画オブジェクトについて、左眼用の配置位置と右眼用の配置位置を決定する。上述したように、本実施形態の投影処理において、制御部１０１は各描画オブジェクトについての左眼用及び右眼用の配置位置は、視点位置と基準配置位置とに基づく面の法線ベクトルの決定、眼間距離に基づく暫定的な左眼用及び右眼用の配置位置の決定、及び視差調整に係る回転処理の実行により行われる。

Ｓ７０４で、制御部１０１は、各々について決定した左眼用の配置位置に描画オブジェクトを配置した３次元シーンについて、視点位置に定義したキューブカメラに係る描画を描画部１０４に行わせ、左眼用の画像に係るキューブマップを生成させる。

Ｓ７０５で、描画部１０４は、描画により生成したキューブマップをスクリーン２００に対応する形状を有する球体オブジェクトの内面に展開（テクスチャマッピング）する。そして描画部１０４は、予め定められた配置関係にあるプロジェクタ１１０の各々に投影させる領域の画像を抽出し、投影画像を出力する。各プロジェクタ１１０に投影させる領域は、プロジェクタ１１０の各々が担当する投影領域、及びプロジェクタ１１０の配置位置から投影した場合の投影面における歪みも考慮し、予め球体オブジェクト中の座標情報と定められているものであってよい。

Ｓ７０６で、投影制御部１０５は、出力された投影画像をそれぞれ対応するプロジェクタ１１０に伝送し、投影させる。これにより、両眼立体視に係る左眼用の画像を観賞者に提示させるフレームの投影が行われる。

Ｓ７０７で、制御部１０１は、各々について決定した右眼用の配置位置に描画オブジェクトを配置した３次元シーンについて、視点位置に定義したキューブカメラに係る描画を描画部１０４に行わせ、右眼用の画像に係るキューブマップを生成させる。

Ｓ７０８で、描画部１０４は、描画により生成したキューブマップをスクリーン２００に対応する形状を有する球体オブジェクトの内面に展開（テクスチャマッピング）する。そして描画部１０４は、予め定められた配置関係にあるプロジェクタ１１０の各々に投影させる領域の画像を抽出し、投影画像を出力する。

Ｓ７０９で、投影制御部１０５は、出力された投影画像をそれぞれ対応するプロジェクタ１１０に伝送し、投影させる。これにより、両眼立体視に係る右眼用の画像を観賞者に提示させるフレームの投影が行われる。

このようにすることで、図２のスクリーン２００のように、観賞者のＹａｗ方向における観賞方向の変更が可能な両眼立体視に係る左眼用及び右眼用の画像を、複数の視点セットについての描画を行うことなく少ない処理で生成し、投影することができる。なお、本発明の実施がＹａｗ方向に限られるものである必要がないことは容易に理解されよう。即ち、描画オブジェクトの基準配置位置から、観賞者に観賞方向の変更を可能ならしめる方向に移動させることで、左眼用及び右眼用の配置位置を決定する態様であれば、本発明の実施は、両眼立体視コンテンツの提供において観賞方向の変更を可能にせしめる回転方向を限定するものではない。

［変形例１］
上述した実施形態１では、描画したキューブマップをスクリーン２００に対応する形状のオブジェクトにマッピングすることで、投影面の形状を考慮した投影画像を生成するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、左眼用及び右眼用の配置位置の決定において、投影を行うスクリーンの立体的形状を考慮した歪曲補正をＳ７０３の処理においてさらに行うようにし、Ｓ７０５及びＳ７０８の処理を不要としてもよい。即ち、回転により調整された後の左眼用及び右眼用の配置位置を、投影面の形状に応じて補正することで、投影した際に歪みが補正された状態となる画像を生成するようにしてもよい。

［実施形態２］
上述した実施形態１及び変形例では、描画対象となる全ての描画オブジェクトについて、左眼用及び右眼用の配置位置の決定に係る処理を行うものとして説明した。一方で、上述したように両眼立体視に係る左眼用及び右眼用の画像の提示時に視差を有さないよう定められる点オブジェクト、即ち暫定的な左眼用及び右眼用の配置位置の決定後の回転により像を一致させるよう移動される点オブジェクトについては、結果的に基準配置位置と左眼用及び右眼用の配置位置とは略一致することになる。従って、これらの点オブジェクトについては左眼用及び右眼用の配置位置の決定に係る処理の対象から除外するよう構成してもよい。具体的には、例えばＳ７０３の処理に先立って基準配置位置と視点位置との距離が投影距離と等しいとみなすか否かを判断し、制御部１０１は等しいと判断する点オブジェクトをＳ７０３の処理の適用対象から除外するよう制御すればよい。またこの場合、制御部１０１は、各眼球用の画像に係る３次元シーンへの点オブジェクトの配置において、該除外した点オブジェクトを基準配置位置に配置すればよい。

なお、投影距離は観賞者から投影面までの距離に対応して定めるものとして説明したが、本発明の実施はこれに限られるものではない。例えば、視差を有さないものとして定める距離をコンテンツの進行について予め定めておく、あるいは操作者が自由に変更可能である態様である場合は、これにより定義される距離に基づき、処理対象から除外する描画オブジェクトを決定する構成であってもよい。あるいは、観賞者が１人であり、該観賞者の瞳の状態検出に基づき視線及び注視点を特定可能な構成では、該注視点に対応する距離に基づき、処理対象から除外する描画オブジェクトを決定する構成であってもよい。

［実施形態３］
上述した実施形態１の投影処理では、観賞者にＹａｗ方向に係る観賞方向の変更を可能ならしめる態様について説明した。ところで、図２に示したようなドーム状のスクリーンでは両眼立体視の破綻が生じ得る観賞方向の移動態様が存在する。例えば図８（ａ）に示されるように、観賞者が座位において斜め上方を観賞しやすい態様で座席８０１が配置されており、矢印８０２で示される方向に観賞方向の変更がなされた場合を考える。観賞方向の変更が行われると、頭部を後傾させ、図８（ｂ）のような態様で領域８０３を観賞することになるため、観賞者は上下反転した状態で領域８０３に投影された画像を観賞することになる。このとき、実施形態１で示したようにｙ軸周り（Ｙａｗ方向）の観賞方向の移動について両眼立体視の破綻が生じないよう投影がなされている場合、領域８０３については左眼用及び右眼用の画像が左右逆転した状態で観賞されることになる。即ち、Ｙａｗ方向における観賞方向の変更を可能ならしめた場合、Ｐｉｔｃｈ方向における観賞方向の変更では、スクリーン天頂部にて左眼用及び右眼用の画像の関係に入れ替わりが生じるため、好適な観賞体験を阻害し得る。

即ち、このような観賞方向の移動態様によっては、ある境界において左眼用及び右眼用の画像の立体感が反転し、例えば、投影面よりも手前に存在する点オブジェクトが投影面の奥に存在するように見える、または投影面よりも遠離して存在する点オブジェクトが投影面の手前に存在するように見えるようになる等、急峻な変化が生じ得る。

また、複数のＹａｗ方向に存在する描画オブジェクトについて該オブジェクトの左眼用及び右眼用の配置位置を決定する態様では、例えばドーム状スクリーンの天頂部等において各々異なる方向に視差を生じさせる（即ち、各描画オブジェクトに向かうベクトルと直交する方向に視差を有する）よう、左眼用及び右眼用の配置位置が決定された描画オブジェクトの像が集中することになるため、天頂部では上下反転等に限らず、観賞者の好適な観賞体験を困難にし得る。

本実施形態のＰＣ１００では、両眼立体視に係る映像コンテンツの提示に用いられる表示面の立体的形状及び基準の観賞方向の情報に基づき、左眼用及び右眼用の画像間で視差を生じさせる度合いを変更する態様について説明する。

図９（ａ）に示されるように、各々異なるＹａｗ方向を観賞するよう座席が設けられ、各観賞者が領域９０１または９０２で示される方向を観賞する際に、好適な両眼立体視を提供するよう映像コンテンツが構成されている場合、基準の観賞方向は例えば各領域の中心に向かうベクトル９０３または９０４にて示される。この場合、上述したようにスクリーン天頂付近に観賞方向が移動するに従って両眼立体視の破綻が生じ得るため、観賞方向を上側に移動させるほど、即ち視点から描画オブジェクトに向かうベクトルと基準観賞方向とがＰｉｔｃｈ方向においてなす角９０５が大きくなるほど、両眼立体視に係る視差が少なくなるよう制御すればよい。即ち、観賞者にＹａｗ方向における観賞方向の変更を可能ならしめるよう構成した場合には、Ｐｉｔｃｈ方向の観賞方向の移動において好ましくない態様のコンテンツの表示の提供や、急峻な立体感の切り替わりの知覚がなされ得る。故に、図９（ａ）のようなケースでは、ドーム天頂部において視差がなくなる、即ち左眼用及び右眼用の画像の生成においても該当の領域に描画される描画オブジェクトは基準配置位置に配置されるよう、制御される。このような制御は、例えば投影処理のＳ７０３において、左眼用及び右眼用の配置位置の決定に係る、暫定的な左眼用及び右眼用の配置位置の決定の処理、及び視差調整に係る回転処理の実行において視差量調整に係る係数（基準観賞方向とＰｉｔｃｈ方向においてなす角が大きいほど０に近づく）が乗じられることで実現される。

また、視差量調整に係る係数は、必ずしも基準観賞方向となす角に基づいて決定されるものである必要はなく、例えば図９（ｂ）に示されるような、Ｐｉｔｃｈ方向の所定の範囲について、該範囲に係る閾値と描画オブジェクトへの仰角との比較により、定められるものであってもよい。より詳しくは、例えば図９（ｂ）の例では好適な両眼立体視にて映像コンテンツの観賞を可能ならしめる領域αについては係数は１．０とし、また両眼立体視での観賞をさせない領域γを除いた領域βについては、領域αと領域βとの境界に対応する仰角において１．０であり、領域βと領域γの境界に対応する仰角において０．０となるように例えば線形的に係数を変化させる構成とすればよい。

また、本実施形態では主としてスクリーン２００のような半球の天頂部が観賞者の鉛直上方向に存在する観賞態様について説明したが、本発明の実施がこれに限られるものでないことは容易に理解されよう。上記係数に基づく基準配置位置から左眼用及び右眼用の配置位置への移動量の調整は、その他の要素を考慮して行われるものであってもよい。換言すれば、本実施形態に係る発明の実施において、観賞者の観賞方向の移動により視差が低減／変化する方向は、投影するスクリーンの立体的形状と、椅子の配置や向き等の観賞者の観賞態様とに基づいて決定されるものであってよい。例えば図９（ｃ）に示されるようにドーム型スクリーンが観賞者に対して傾斜して設けられる場合は、上記領域αは図９（ｂ）の態様より広くとることができ、領域γを規定する天頂部も、観賞者の正面から後傾させた位置９２０に設けるよう構成してよい。

また図示した例はＹａｗ方向における観賞方向の移動によって両眼立体視の破綻が生じないよう構成した場合の、Ｐｉｔｃｈ方向における観賞方向の移動による両眼立体視の破綻の発生を回避する態様であるが、本発明の実施はこれに限られるものではない。即ち、Ｐｉｔｃｈ方向における観賞方向の移動によって両眼立体視の破綻が生じないよう構成する場合には、Ｙａｗ方向における観賞方向の移動による両眼立体視の破綻の発生を回避する際にも適用可能であることは容易に理解されよう。

［変形例２］
なお、上述した実施形態１〜３及び変形例１では、両眼立体視コンテンツを提示する対象は、所定の凹凸や球面等の立体的形状を有するスクリーンや表示装置であるものとして説明したが、本発明に係る描画手法はこれらの表示対象の媒体の形状に依らず利用可能である。即ち、時分割で両眼立体視に係る左眼用及び右眼用の画像を提示する態様において、提示を行うスクリーンや表示装置が平面形状を有するものであっても、図１０（ａ）に示されるように、基準配置位置が取得された描画オブジェクト（Ｐ₀、Ｐ₁、Ｐ₂）について暫定的な左眼用及び右眼用の配置位置（Ｐ_0L、Ｐ_0R、Ｐ_1L、Ｐ_1R、Ｐ_2L、Ｐ_2R）を決定し、図１０（ｂ）に示されるように各眼球に係る配置位置を投影面においてＰ₀（Ｐ_0L、Ｐ_0R）の像が一致するよう各々回転させればよい。これにより、１つの視点で、両眼立体視可能な左眼用及び右眼用の画像を各々描画するための、各描画オブジェクトの配置位置を決定することができる。

［その他の実施形態］
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係る画像処理装置は、１以上のコンピュータを該画像処理装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供／配布することができる。

１００：ＰＣ、１０１：制御部、１０２：記録媒体、１０３：メモリ、１０４：描画部、１０５：投影制御部、１０６：操作入力部、１１０：プロジェクタ、２００：スクリーン

Claims (8)

1. 立体的形状を有するスクリーンに投影されることで、観賞者に両眼立体視を可能ならしめる左眼用画像及び右眼用画像を生成するプログラムであって、
   コンピュータに、
   描画オブジェクトを配置する３次元シーン内の基準配置位置を取得する処理と、
   前記３次元シーンを描画する視点の位置を決定する処理と、
   前記視点の位置と描画オブジェクトの前記基準配置位置とに基づいて、該描画オブジェクトの左眼用及び右眼用の配置位置を決定する処理と、
   スクリーンに投影された際の観賞の基準方向を取得する処理と、
   前記観賞の基準方向と、描画オブジェクトに対応する画像が投影されるスクリーン位置に係る観賞方向とに基づき、該描画オブジェクトについての、前記基準配置位置から決定された前記左眼用の配置位置または前記右眼用の配置位置への移動量を調整する処理と、
   前記視点について、前記移動量の調整を反映した前記左眼用の配置位置に描画オブジェクトを配置して前記３次元シーンを描画した前記左眼用画像と、前記移動量の調整を反映した前記右眼用の配置位置に描画オブジェクトを配置して前記３次元シーンを描画した前記右眼用画像とを生成する処理と、
   を実行させることを特徴とするプログラム。
2. 前記左眼用及び右眼用の配置位置の決定は、描画オブジェクトが有する頂点ごとに行われることを特徴とする請求項１に記載のプログラム。
3. 両眼立体視において視差を設けない前記視点からの距離を決定する処理と、
   前記基準配置位置と前記視点の位置との距離が前記視差を設けない距離にある描画オブジェクトを、前記左眼用及び右眼用の配置位置の決定対象から除外する処理と、
   をさらに前記コンピュータに実行させ、
   前記左眼用画像と右眼用画像とを生成する処理において、前記基準配置位置と前記視点の位置との距離が前記視差を設けない距離にある描画オブジェクトは、いずれの画像の生成においても該描画オブジェクトの前記基準配置位置に配置される
   ことを特徴とする請求項１または２に記載のプログラム。
4. 前記左眼用及び右眼用の配置位置は、さらに描画オブジェクトに対応する画像が投影されるスクリーンの形状に基づいて決定される
   ことを特徴とする請求項１乃至３のいずれか１項に記載のプログラム。
5. 前記移動量の調整は、観賞者の所定の方向への視線移動において前記左眼用画像と前記右眼用画像における視差が変化するよう、スクリーンの立体的形状と観賞態様とに基づいて決定されることを特徴とする請求項１乃至４のいずれか１項に記載のプログラム。
6. 請求項１乃至５のいずれか１項に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
7. 立体的形状を有するスクリーンに投影されることで、観賞者に両眼立体視を可能ならしめる左眼用画像及び右眼用画像を生成する画像処理装置であって、
   描画オブジェクトを配置する３次元シーン内の基準配置位置を取得する第１の取得手段と、
   前記３次元シーンを描画する視点の位置を決定する第１の決定手段と、
   前記第１の決定手段により決定された前記視点の位置と前記第１の取得手段により取得された描画オブジェクトの前記基準配置位置とに基づいて、該描画オブジェクトの左眼用及び右眼用の配置位置を決定する第２の決定手段と、
   スクリーンに投影された際の観賞の基準方向を決定する第２の取得手段と、
   前記観賞の基準方向と、描画オブジェクトに対応する画像が投影されるスクリーン位置に係る観賞方向とに基づき、該描画オブジェクトについての、前記基準配置位置から決定された前記左眼用の配置位置または前記右眼用の配置位置への移動量を調整する調整手段と、
   前記視点について、前記調整手段による調整を反映した前記左眼用の配置位置に描画オブジェクトを配置して前記３次元シーンを描画した前記左眼用画像と、前記調整手段による調整を反映した前記右眼用の配置位置に描画オブジェクトを配置して前記３次元シーンを描画した前記右眼用画像とを生成する生成手段と、
   を有することを特徴とする画像処理装置。
8. 立体的形状を有するスクリーンに投影されることで、観賞者に両眼立体視を可能ならしめる左眼用画像及び右眼用画像を生成する画像処理方法であって、
   描画オブジェクトを配置する３次元シーン内の基準配置位置を取得する第１の取得工程と、
   前記３次元シーンを描画する視点の位置を決定する第１の決定工程と、
   前記第１の決定工程において決定された前記視点の位置と前記第１の取得工程において取得された描画オブジェクトの前記基準配置位置とに基づいて、該描画オブジェクトの左眼用及び右眼用の配置位置を決定する第２の決定工程と、
   スクリーンに投影された際の観賞の基準方向を決定する第２の取得工程と、
   前記観賞の基準方向と、描画オブジェクトに対応する画像が投影されるスクリーン位置に係る観賞方向とに基づき、該描画オブジェクトについての、前記基準配置位置から決定された前記左眼用の配置位置または前記右眼用の配置位置への移動量を調整する調整工程と、
   前記視点について、前記調整工程における調整を反映した前記左眼用の配置位置に描画オブジェクトを配置して前記３次元シーンを描画した前記左眼用画像と、前記調整工程における調整を反映した前記右眼用の配置位置に描画オブジェクトを配置して前記３次元シーンを描画した前記右眼用画像とを生成する生成工程と、
   を有することを特徴とする画像処理方法。