JP2016024273A - 立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイ - Google Patents

Abstract

【課題】立体画像提示装置が提示する画像の立体感を向上させる技術を提供する。【解決手段】立体画像提示装置１００において、画像取得部１０２は、提示対象とする画像を取得する。画像提示部１０４は、画像取得部１０２が取得した画像の虚像を、立体画像提示装置１００のユーザの視野に提示する。画像提示部１０４は、ユーザに提示する虚像の位置を変更自在に構成されており、画像に写っているオブジェクトの奥行き情報をもとに、虚像を提示する位置を変更する。【選択図】図６

Description

本発明は、立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイに関する。

近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ（Head Mounted Display; 以下「ＨＭＤ」と記載する。）が普及してきている。このようなＨＭＤの中には、ＨＭＤを装着するユーザの視界を完全に覆って遮蔽し、映像を観察するユーザに対して深い没入感を与えることが可能な遮蔽型ＨＭＤが存在する。また別の種類のＨＭＤとして、光学透過型ＨＭＤも開発されている。光学透過型ＨＭＤは、ホログラフィック素子やハーフミラー等を用いて、仮想的な立体映像であるＡＲ（Augmented Reality）イメージをユーザに提示しつつ、かつユーザにＨＭＤの外の実空間の様子をシースルーで提示することができる立体画像装置である。

これらのＨＭＤは、ユーザに対して立体的な映像を提示するための装置である。ＨＭＤを装着したユーザに与える視覚的な違和感を軽減し、より深い没入感を与えるために、ＨＭＤが提示する立体映像の立体感を高めることが求められている。また、光学透過型ＨＭＤでＡＲイメージを提示する場合には、ＡＲイメージは実空間に重畳して表示される。このため、特に立体的な物体をＡＲイメージとして提示する場合には、光学透過型ＨＭＤのユーザにとって実空間の物体と違和感なく調和して見えることが好ましく、ＡＲイメージの立体感を向上させる技術が望まれている。

本発明のある目的は、立体画像提示装置が提示する画像の立体感を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の立体画像提示装置は、提示対象とする画像を取得する画像取得部と、画像取得部が取得した画像の虚像を、立体画像提示装置のユーザの視野に提示する画像提示部とを備える。画像提示部は、ユーザに提示する虚像の位置を変更自在に構成されており、画像に写っているオブジェクトの奥行き情報をもとに、虚像を提示する位置を変更する。

本発明の別の態様は、立体画像提示装置のプロセッサが実行する画像提示方法である。この方法は、提示対象とするオブジェクトの画像を取得するステップと、オブジェクトの奥行き情報をもとに、画像の虚像を提示する位置を設定するステップと、設定した位置に、虚像を提示するステップとを含む。

本発明のさらに別の態様は、立体画像を提示するヘッドマウントディスプレイである。このヘッドマウントディスプレイは、提示対象とする画像を取得する画像取得部と、画像取得部が取得した画像の虚像を、ヘッドマウントディスプレイを装着するユーザに提示する画像提示部とを備える。画像提示部は、画像を表示する複数の透過型表示部と、複数の透過型表示部それぞれが表示する画像の虚像を生成する光学素子とを備える。複数の透過型表示部は、画像提示部の光路上に並んで備えられており、光学素子は、画像提示部の光路においてユーザの目と複数の透過型表示部との間に備えられる。

本発明のさらに別の態様は、上記の方法の各ステップをコンピュータに実現させるプログラムである。

このプログラムは、例えばＨＭＤに内蔵されているコンピュータ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、立体画像提示装置が提示する画像の立体感を向上することができる。

実施の形態に係るＨＭＤの外観の一例を模式的に示す図である。 図２（ａ）−（ｂ）は、仮想的な３次元空間のオブジェクトと、実空間に重畳された当該オブジェクトとの関係を模式的に示す図である。 凸レンズに係るレンズの公式を説明する図である。 実施の形態に係るＨＭＤが備える光学系を模式的に示す図である。 異なる位置に同じ大きさの虚像を提示するために、透過型表示素子が表示すべき画像を示す図である。 実施の形態に係る立体画像提示装置の機能構成を模式的に示す図である。 図７（ａ）−（ｂ）は、実施の形態に係る部分領域生成部が生成する複数の部分領域と、各部分領域に含まれる仮想オブジェクトの関係の一例を模式的に示す図である。 実施の形態に係るレンダリング部が生成する画像の一例を模式的に示す図である。 実施の形態に係る立体画像提示装置が実行する立体画像提示処理の流れを説明するフローチャートである。 焦点距離を変更可能な凸レンズとその焦点距離を模式的に示す図である。 異なる位置に同じ大きさの虚像を提示するために、凸レンズの焦点があるべき位置を示す図である。 図１２（ａ）−（ｂ）は、第２の変形例に係る立体画像提示装置の光学系を模式的に示す図である。 図１３（ａ）−（ｂ）は、第３の変形例に係る立体画像提示装置の光学系を模式的に示す図である。 図１４（ａ）−（ｂ）は、第４の変形例に係る立体画像提示装置の光学系を模式的に示す図である。

以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。なお、説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。また、以下に述べる構成は例示であり、本発明の範囲を何ら限定するものではない。

図１は、実施の形態に係る立体画像提示装置１００の外観の一例を模式的に示す図である。立体画像提示装置１００は、例えば遮蔽型ＨＭＤや、光学透過型ＨＭＤによって実現できる。立体画像提示装置１００は、提示部１２０、撮像素子１４０、および種々のモジュールを収納する筐体１６０を含む。以下本明細書においては、遮蔽型ＨＭＤや光学透過型ＨＭＤ等、ＨＭＤの種類を特に区別する場合を除いて、単にＨＭＤと記載する。したがって、ＨＭＤには、遮蔽型ＨＭＤと光学透過型ＨＭＤとが含まれる。

提示部１２０は、立体的な映像をユーザの目に提示する。より具体的に提示部１２０は、左目用の視差画像と右目用の視差画像とを個別にユーザの目に提示する。これにより、提示部１２０は、奥行き感を持った立体的な映像をユーザに提示することができる。撮像素子１４０は、立体画像提示装置１００を装着するユーザの視野を含む領域にある被写体を撮像する。このため、撮像素子１４０は、立体画像提示装置１００をユーザが装着したとき、ユーザの眉間のあたりに配置されるように設置されている。撮像素子１４０は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現できる。

筐体１６０は、立体画像提示装置１００におけるフレームの役割を果たすとともに、立体画像提示装置１００が利用する様々なモジュール（図示せず）を収納する。立体画像提示装置１００が利用するモジュールとは、ホログラム導光板を含む光学部品、これらの光学部品の位置を変更するためのモータ、その他Ｗｉ−Ｆｉ（登録商標）モジュール等の通信モジュール、電子コンパス、加速度センサ、傾きセンサ、ＧＰＳ（Global Positioning System）センサ、照度センサ、およびこれらの部品を制御し動作するためのＣＰＵ（Central Processing Unit）や、ＣＰＵの作業領域となるメモリ等である。これらのモジュールは例示であり、また立体画像提示装置１００はこれらのモジュールを必ずしも全て搭載する必要はない。いずれのモジュールを搭載するかは、立体画像提示装置１００が想定する利用シーンに応じて決定すればよい。

図１は、立体画像提示装置１００としてめがね型のＨＭＤを利用する場合の例を示す図である。立体画像提示装置１００の形状は、この他にも帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状等さまざまなバリエーションが考えられるが、いずれの形状の立体画像提示装置１００も本発明の実施の形態に含まれることは、当業者であれば容易に理解されることである。

以下、図２〜図５を参照して、実施の形態に係る立体画像提示装置１００が提示する画像の立体感を向上させる原理について説明する。以下においては、立体画像提示装置１００が、実空間中にＡＲイメージを重畳して表示する場合について説明する。しかしながら、立体画像提示装置１００が提示する画像はＡＲイメージに限られず、例えば３Ｄ映画のように左目用の視差画像と右目用の視差画像とを備える立体映像であっても適用できる。後者の場合については、実施の形態の第８の変形例として後述する。

図２（ａ）−（ｂ）は、仮想的な３次元空間のオブジェクトと、実空間に重畳された当該オブジェクトとの関係を模式的に示す図である。

図２（ａ）は、仮想的な３次元空間（以下、「仮想空間」と記載する。）に設定された仮想的なカメラ（以下、「仮想カメラ３００」と記載する。）が、仮想的なオブジェクト（以下、「仮想オブジェクト３０４」と記載する。）を撮影している様子を示す図である。仮想空間には、仮想オブジェクト３０４の位置座標を規定するための仮想的な３次元直交座標系（以下、「仮想座標系３０２」と記載する。）が設定されている。

仮想カメラ３００は仮想的な両眼カメラである。仮想カメラ３００は、ユーザの左目用の視差画像と右目用の視差画像とを生成する。仮想カメラ３００から撮影される仮想オブジェクト３０４の像は、仮想空間における仮想カメラ３００から仮想オブジェクト３０４までの距離に応じて変化する。

図２（ｂ）は、仮想空間における仮想カメラ３００から見た場合における仮想オブジェクト３０４の像を、実空間に重畳して表示する様子を示す図である。図２（ｂ）において、机３１０は実空間に存在する実物の机である。立体画像提示装置１００を装着したユーザが、左目３０８ａおよび右目３０８ｂで机３１０を観察すると、ユーザには机３１０の上に仮想オブジェクト３０４が置かれているように観察される。このように、実空間に存在する実物に重畳して表示する画像が、ＡＲイメージである。以下本明細書において、ユーザの左目３０８ａと右目３０８ｂとを特に区別しない場合は、単に「視点３０８」と記載する。

仮想空間と同様に、実空間にも仮想オブジェクト３０４の位置座標を規定するための３次元直交座標系（以下、「実座標系３０６」と記載する。）が設定されている。立体画像提示装置１００は、仮想座標系３０２と実座標系３０６とを参照して、仮想空間における仮想カメラ３００から仮想オブジェクト３０４までの距離に応じて、実空間における仮想オブジェクト３０４の提示位置を変更する。より具体的には、立体画像提示装置１００は、仮想空間における仮想カメラ３００から仮想オブジェクト３０４までの距離が長いほど、現実空間において視点３０８から遠い位置に仮想オブジェクト３０４の虚像が配置されるようにする。

図３は、凸レンズに係るレンズの公式を説明する図である。より具体的に、図３は、凸レンズ３１２の焦点の内側に物体がある場合における、物体３１４とその虚像３１６との関係を説明する図である。図３に示すように、視点３０８の視線方向にＺ軸が定められており、Ｚ軸上に凸レンズ３１２の光軸とＺ軸とが一致するようにして凸レンズ３１２が配置されている。凸レンズ３１２の焦点距離はＦであり、物体３１４が、凸レンズ３１２に対して視点３０８の反対側に、凸レンズ３１２から距離Ａ（Ａ＜Ｆ）離れて配置されている。すなわち、図３において、物体３１４は凸レンズ３１２の焦点の内側に配置されている。このとき、視点３０８から物体３１４を眺めると、物体３１４は凸レンズ３１２から距離Ｂ（Ｆ＜Ｂ）離れた位置に、虚像３１６として観察される。

このとき、距離Ａ、距離Ｂ、および焦点距離Ｆの関係は、以下の式（１）で示す既知のレンズの公式によって規定される。
１／Ａ−１／Ｂ＝１／Ｆ （１）

また、物体３１４の大きさＰ（図３における実線の矢印の長さ）に対する虚像３１６の大きさＱ（図３における破線の矢印の長さ）の割合、すなわち倍率ｍ＝Ｑ／Ｐは、以下の式（２）で表される。
ｍ＝Ｂ／Ａ （２）

式（１）は、凸レンズ３１２に対して視点３０８の反対側に、凸レンズ３１２から距離Ｂ離れた位置に虚像３１６を提示するための、物体３１４の距離Ａと焦点距離Ｆとが満たすべき関係を示していると捉えることもできる。例えば、凸レンズ３１２の焦点距離Ｆが固定されている場合を考える。この場合、式（１）を変形することにより、距離Ａを距離Ｂの関数として、以下の式（３）のように表すことができる。
Ａ（Ｂ）＝ＦＢ／（Ｆ＋Ｂ）＝Ｆ／（１＋Ｆ／Ｂ） （４）

式（４）は、凸レンズの焦点距離がＦのとき、距離Ｂの位置に虚像３１６を提示するために、物体３１４を配置すべき位置を示している。式（４）から明らかなように、距離Ｂが大きくなるほど、距離Ａも大きくなる。

また、式（２）に式（１）を代入して変形すると、距離Ｂの位置にＱの大きさの虚像３１６を提示するために物体３１４がとるべき大きさＰを、以下の式（５）のように表すことができる。
Ｐ（Ｂ，Ｑ）＝Ｑ×Ｆ／（Ｂ＋Ｆ） （５）
式（５）は、物体３１４がとるべき大きさＰを、距離Ｂと虚像３１６の大きさＱとの関数として表す式である。式（５）は、虚像３１６の大きさＱが大きいほど、物体３１４の大きさＰも大きくなることを示している。また、虚像３１６の距離Ｂが大きいほど、物体３１４の大きさＰが小さくなることも示している。

図４は、実施の形態に係る立体画像提示装置１００が備える光学系を模式的に示す図である。立体画像提示装置１００は、筐体１６０内に、凸レンズ３１２と、複数の透過型表示素子３１８とを備える。図４においては、立体画像提示装置１００は、透過型表示素子３１８ａ〜３１８ｇまでの７枚の透過型表示素子を備える。以下特に区別する場合以外は、透過型表示素子３１８ａ〜３１８ｇを総称して「透過型表示素子３１８」と記載する。

限定はしないが、透過型表示素子３１８ａ〜３１８ｇは、それぞれ例えば透過型有機ＥＬ（Electro-Luminescence）を用いて実現できる。図４は、立体画像提示装置１００は７枚の透過型表示素子３１８を備える場合を例示しているが、透過型表示素子３１８の数は７に限られず、少なくとも２枚あればよい。

図３示す場合と同様に、図４においても視点３０８の視線方向にＺ軸が定められており、Ｚ軸上に凸レンズ３１２の光軸とＺ軸とが一致するようにして凸レンズ３１２が配置されている。凸レンズ３１２の焦点距離はＦであり、図４において、ふたつの点Ｆはそれぞれ凸レンズ３１２の焦点を表す。図４に示すように、複数の透過型表示素子３１８はいずれも、凸レンズ３１２に対して視点３０８の反対側において、凸レンズ３１２の焦点の内側に配置されている。したがって、１つの透過型表示素子３１８の厚さをｄとすると、配置可能な透過型表示素子３１８の最大数は、［Ｆ／ｄ］である。ここで［］はガウス記号であり、［ｘ］は、ｘ以下の最大の整数を表す。

透過型表示素子３１８はそれぞれ、独立して異なる画像を表示することができる。透過型表示素子３１８は可視光を透過可能な部材である。また複数の透過型表示素子３１８は、それぞれ立体画像提示装置１００の光路上、すなわち、凸レンズ３１２の光軸上に並んで備えられている。したがって、視点３０８に対して奥側にある透過型表示素子３１８が表示した画像であっても、視点３０８に対して手前側にある透過型表示素子３１８を透過して、視点３０８まで到達する。つまり、複数の透過型表示素子３１８が表示した画像は、視点３０８から見ると重畳されて観察される。

ここで上述したように、視点３０８と透過型表示素子３１８の間には、凸レンズ３１２が存在する。したがって、視点３０８から透過型表示素子３１８を見ると、複数の透過型表示素子３１８が表示する画像は、それぞれ式（１）および式（２）にしたがう虚像として観察されることになる。この意味で、凸レンズ３１２は、複数の透過型表示素子３１８それぞれが表示する画像の虚像を生成する光学素子として機能する。

図５は、異なる位置に同じ大きさの虚像を提示するために、透過型表示素子３１８が表示すべき画像を示す図である。図５は、３つの虚像３１６ａ、３１６ｂ、および３１６ｃが、凸レンズ３１２の光学中心から距離Ｂ１、Ｂ２、およびＢ３の距離に、同じ大きさＱで提示されている場合の例を示している。また図５において、画像３１４ａ、３１４ｂ、および３１４ｃは、それぞれ虚像３１６ａ、３１６ｂ、および３１６ｃに対応する画像である。画像３１４ａ、３１４ｂ、および３１４ｃは、複数の透過型表示素子３１８のいずれかによって表示される。なお、式（１）に示すレンズの公式に関し、図３における物体３１４が図５における透過型表示素子３１８が表示する画像に対応する。そこで、図５における画像も、図３における物体３１４と同様に、符号３１４を付す。

より具体的には、画像３１４ａ、３１４ｂ、および３１４ｃは、それぞれ凸レンズ３１２の光学中心からＡ１、Ａ２、およびＡ３離れた位置にある透過型表示素子３１８によって表示される。ここで、Ａ１、Ａ２、およびＡ３は、式（４）より、それぞれ以下の式で与えられる。
Ａ１＝Ｆ／（１＋Ｆ／Ｂ１）
Ａ２＝Ｆ／（１＋Ｆ／Ｂ２）
Ａ３＝Ｆ／（１＋Ｆ／Ｂ３）

また、表示すべき画像３１４ａ、３１４ｂ、および３１４ｃの大きさＰ１、Ｐ２、およびＰ３は、虚像３１６の大きさＱを用いて、式（５）よりそれぞれ以下の式で与えられる。
Ｐ１＝Ｑ×Ｆ／（Ｂ１＋Ｆ）
Ｐ２＝Ｑ×Ｆ／（Ｂ２＋Ｆ）
Ｐ３＝Ｑ×Ｆ／（Ｂ３＋Ｆ）

このように、画像３１４を表示させる透過型表示素子３１８を変更すること、換言すると、画像を表示させる透過型表示素子３１８の位置を変更することで、ユーザに提示する虚像３１６の位置を変更することができる。また、透過型表示素子３１８に表示する画像の大きさを変更することで、提示すべき虚像３１６の大きさを制御することもできる。

以上、物体３１４が凸レンズ３１２の焦点Ｆの内側にある場合における、物体３１４の位置と虚像３１６の位置との関係、および物体３１４の大きさと虚像３１６の大きさとの関係について説明した。続いて、実施の形態に係る立体画像提示装置１００の機能構成について説明する。実施の形態に係る立体画像提示装置１００は、上述した物体３１４と虚像３１６との関係を利用する。

図６は、実施の形態に係る立体画像提示装置１００の機能構成を模式的に示す図である。立体画像提示装置１００は、画像取得部１０２と画像提示部１０４とを備える。図６は、実施の形態に係る立体画像提示装置１００を実現するための機能構成を示しており、その他の構成は省略している。図６において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、立体画像提示装置１００の筐体１６０内に格納されたＣＰＵ、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができる。またソフトウェア的には、メインメモリにロードされたプログラム等によって実現される。したがってこれらの機能ブロックが、いろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像取得部１０２は、立体画像提示装置１００が提示対象とする画像を取得する。画像取得部１０２は、例えば、仮想空間に設定された仮想カメラ３００が撮影する仮想オブジェクト３０４の画像を取得する。ここで仮想カメラ３００が撮影する画像とは、３次元的な情報を持つ仮想オブジェクト３０４を２次元に投影して得られる２次元画像である。画像取得部１０２は、図１を参照して上述した立体画像提示装置１００の筐体１６０内に実装された各種モジュールによって実現される。画像取得部１０２の詳細は後述する。

画像提示部１０４は、画像取得部１０２が取得した画像を、立体画像提示装置１００を装着するユーザが観察する実空間に重畳して提示する。ここで画像提示部１０４は、画像取得部１０２が取得した画像の虚像３１６を、実空間に提示する。画像提示部１０４は、実空間に提示する画像の虚像３１６の位置を変更自在に構成されている。画像提示部１０４は、ユーザに提示する画像に写っている仮想オブジェクト３０４の奥行き情報をもとに、虚像３１６を提示する位置を変更する。

「奥行き情報」とは、例えばある被写体が写っている画像をユーザに提示したときに、ユーザがその被写体を見て認識される距離感を反映する情報である。そのため、仮想オブジェクト３０４における「奥行き情報」の一例として、仮想オブジェクト３０４が撮影されたときの、仮想カメラ３００から仮想オブジェクト３０４までの距離を含む。この場合、画像提示部１０４は、仮想空間における仮想カメラ３００から仮想オブジェクト３０４までの距離をもとに、画像取得部１０２が取得した画像の虚像３１６を提示する位置を変更する。

具体的には、画像提示部１０４は、仮想空間における仮想カメラ３００から仮想オブジェクト３０４までの距離が近い場合は、遠い場合と比較して、立体画像提示装置１００を装着するユーザから見て近い位置に、仮想オブジェクト３０４の画像の虚像３１６を提示する。また画像提示部１０４は、提示する虚像３１６の位置に応じて、虚像３１６に対応する画像３１４を生成する。以下、画像取得部１０２による画像３１４の生成の仕方と、画像提示部１０４による虚像３１６の提示の仕方についてより詳細に説明する。

図６に示すように、画像取得部１０２は、部分領域生成部１０６、レンダリング部１０８、仮想カメラ設定部１１０、およびオブジェクト設定部１１２を備える。また、画像提示部１０４は、虚像提示部１１４と虚像位置設定部１１６とを備える。

オブジェクト設定部１１２は、立体画像提示装置１００のユーザに提示するＡＲイメージの元となる仮想オブジェクト３０４を、仮想空間内に設定する。仮想オブジェクト３０４は、例えば３次元のボクセル（voxel）データで構成されている。オブジェクト設定部１１２は、立体画像提示装置１００の筐体１６０中の図示しない記憶部から、仮想オブジェクト３０４のボクセルデータを読み出す。あるいは、オブジェクト設定部１１２は、筐体１６０中の図示しないＷｉ−Ｆｉモジュールを介して、立体画像提示装置１００の外部にある他の機器から、ボクセルデータを無線通信で取得してもよい。オブジェクト設定部１１２はさらに、仮想空間内に設定した仮想オブジェクト３０４を照明するための仮想の光源を仮想空間内に設定してもよい。

仮想カメラ設定部１１０は、オブジェクト設定部１１２が設定した仮想オブジェクト３０４を観察するための仮想カメラ３００を、仮想空間内に設定する。限定はしないが、仮想カメラ設定部１１０は、立体画像提示装置１００が備える撮像素子１４０の動きに応じて、仮想空間内における仮想カメラ３００の設定位置を変更してもよい。

この場合、仮想カメラ設定部１１０は、筐体１６０が備える電子コンパス、加速度センサ、および傾きセンサ等の各種センサの出力をもとに、撮像素子１４０の姿勢および動きを検知する。仮想カメラ設定部１１０は、検知した撮像素子１４０の姿勢および動きに追従するように、仮想カメラ３００の姿勢および設定位置を変更する。これにより、立体画像提示装置１００を装着するユーザの頭部の動きに追従して、仮想カメラ３００から見た仮想オブジェクト３０４の見え方を変更することができる。これにより、ユーザに提示するＡＲイメージの現実感をより高めることができる。

部分領域生成部１０６は、仮想オブジェクト３０４を含む処理対象の領域を複数の部分領域に区分けする。レンダリング部１０８は、部分領域生成部１０６が生成した複数の部分領域それぞれに含まれる仮想オブジェクト３０４それぞれについて、仮想カメラ３００から観察可能な部分をレンダリングして画像を生成する。

図７（ａ）−（ｂ）は、実施の形態に係る部分領域生成部１０６が生成する複数の部分領域と、各部分領域に含まれる仮想オブジェクト３０４の関係の一例を模式的に示す図である。図７（ａ）−（ｂ）は、回転楕円体または卵形の仮想オブジェクト３０４が、７つの部分領域３２０ａ〜３２０ｇによって区切られている様子を示している。以下、特に区別する場合を除いて、複数の部分領域を「部分領域３２０」と総称する。

部分領域生成部１０６は、仮想空間において仮想カメラ３００からの距離に応じて仮想空間を区分けし、部分領域３２０を生成する。限定はしないが、部分領域生成部１０６は、仮想空間中に仮想カメラ３００の光軸（図７中のｚ軸）に対して垂直な平面を複数枚設定し、互いに隣り合う平面に挟まれた領域を部分領域３２０とする。以下説明の便宜上、部分領域３２０を規定する平面を「区分け面」と記載する。図７においては、部分領域生成部１０６は区分け面３２２ａ〜３２２ｇまでの７つの区分け面を設定し、７つの部分領域３２０ａ〜３２０ｇを生成している。なお、図７において、部分領域３２０ｇに関しては、区分け面３２２ｇから無限遠に至るまでの空間が部分領域３２０ｇとなる。

図７（ａ）は、仮想カメラ３００の光軸に対して垂直な方向、すなわち図２における仮想座標系３０２のｘｙ平面に垂直な方向から仮想オブジェクト３０４を眺めた場合の様子を示す図ある。また図７（ｂ）は、図２における仮想座標系３０２のｘｚ平面に垂直な方向から仮想オブジェクト３０４を眺めた場合の様子を示す図ある。

図７（ｂ）に示すように、部分領域生成部１０６が生成した部分領域３２０により、仮想オブジェクト３０４は複数の断片に分割される。レンダリング部１０８は、部分領域３２０によって断片化された仮想オブジェクト３０４それぞれを単位として、仮想オブジェクト３０４のレンダリングを実行する。より具体的には、レンダリング部１０８は、断片化された仮想オブジェクト３０４それぞれについて、仮想カメラ３００から見える範囲の画像を生成する。

図８は、実施の形態に係るレンダリング部１０８が生成する画像の一例を模式的に示す図である。図８は、図７に示す仮想オブジェクト３０４を、断片毎にレンダリング部１０８がレンダリングして生成した画像を示す図である。

図８において、画像３２４ａ〜３２４ｅは、それぞれ図７における部分領域３２０ａ〜３２０ｅに含まれる仮想オブジェクト３０４の断片をレンダリングして得られる画像である。例えば図７において、部分領域３２０ａには、仮想オブジェクト３０４のうち最も仮想カメラ３００に近い部分が含まれる。このため部分領域３２０ａに含まれる仮想オブジェクト３０４の断片は、仮想カメラ３００から見ると楕円に見える。そこでレンダリング部１０８は、図８における画像３２４ａで示すように、楕円形状の画像３２４ｅを生成する。

同様に、図７において部分領域３２０ｂに含まれる仮想オブジェクト３０４の断片は、仮想カメラ３００から見ると楕円形状となる。しかしながら、部分領域３２０ｂに含まれる仮想オブジェクト３０４の断片と仮想カメラ３００との間には、部分領域３２０ａに含まれる仮想オブジェクト３０４の断片が存在する。したがって、部分領域３２０ｂに含まれる仮想オブジェクト３０４の断片のうち仮想カメラ３００から観察可能な部分は、図８における画像３２４ｂで示すようなドーナツ型の形状となる。そこでレンダリング部１０８は、部分領域３２０ｂに含まれる仮想オブジェクト３０４の断片の画像として、画像３２４ｂを生成する。画像３２４ｃ〜３２４ｅも同様である。

なお、図７において部分領域３２０ｆおよび部分領域３２０ｇに含まれる仮想オブジェクト３４０の断片は、仮想オブジェクト３４０自身に遮蔽されることにより、仮想カメラ３００から観察することはできない。そのため、部分領域３２０ｆおよび部分領域３２０ｇに含まれる仮想オブジェクト３４０の断片については、レンダリング部１０８は画像を生成しない。

図６の説明に戻る。虚像位置設定部１１６は、仮想空間における仮想カメラ３００から部分領域３２０までの距離に応じて、レンダリング部１０８が生成した画像の虚像３１６を提示する位置を設定する。図３を参照して上述したように、画像３１４の位置と虚像３１６の位置とは１対１に対応する。したがって、式（４）に示すように、虚像３１６を提示する位置は、虚像３１６に対応する画像３１４を変更することで制御できる。したがって、虚像位置設定部１１６は、仮想空間における仮想カメラ３００から部分領域３２０までの距離に応じて、レンダリング部１０８が生成した画像を表示させる透過型表示素子３１８の位置を設定する。さらに具体的には、虚像位置設定部１１６は、式（４）にしたがって導出された位置に存在する透過型表示素子３１８を選択する。

例えば虚像位置設定部１１６は、図７において部分領域３２０ａに含まれる仮想オブジェクト３０４の断片から生成された画像を表示させる透過型表示素子３１８として、図４における透過型表示素子３１８ａを選択する。以下同様に、部分領域３２０ｂ〜３２０ｇに含まれる仮想オブジェクト３０４をレンダリングして得られた画像を表示させる透過型表示素子３１８として、虚像位置設定部１１６はそれぞれ透過型表示素子３１８ｂ〜３１８ｇを選択する。このように、空間における仮想カメラ３００から部分領域３２０までの距離に応じて、レンダリング部１０８が生成した画像の虚像３１６を提示する位置を設定することにより、ＡＲイメージをより立体的に提示することが可能となる。ユーザから見ると、仮想オブジェクト３０４の深さ方向の情報が、提示される虚像３１６に反映されるからである。

なお図７に示すように、部分領域３２０ｇは、区分け面３２２ｇから無限遠に至るまでの空間を含む。したがって、部分領域３２０ｇに含まれる仮想オブジェクト３０４は、レンダリング部１０８によって、深さ方向の情報がいわば丸められて、画像が生成される。つまり、仮想空間において仮想カメラ３００から最も遠いところに位置する区分け面３２２は、仮想カメラ３００から遠方であることを規定することになる。

図７に示す例では、区分け面３２２ｇが、仮想カメラ３００から最も遠方にある区分け面となる。そこで、仮想カメラ３００から最も遠いところに位置する区分け面３２２と、仮想カメラ３００との間の距離が、「遠方基準距離」として定められる。部分領域生成部１０６は、遠方基準距離よりも仮想カメラ３００から離れた領域は、遠方部分領域としてひとつの部分領域として設定する。仮想カメラ３００から最も遠いところに位置する区分け面３２２は遠方基準距離を規定するため、この区分け面３２２は「遠方基準面」ということもできる。

なお、遠方基準距離は、部分領域生成部１０６が設定する。部分領域生成部１０６は、仮想カメラ３００から遠方基準距離だけ離れた位置に遠方基準面を設定する。部分領域生成部１０６は、設定した遠方基準面よりも仮想カメラ３００に近い領域を、複数の部分領域３２０に分割する。これにより、遠方基準距離よりも仮想カメラ３００に近い領域に存在する仮想オブジェクト３０４については、レンダリング部１０８はきめ細かく画像化することができる。すなわち、距離よりも仮想カメラ３００に近い領域に存在する仮想オブジェクト３０４に由来するＡＲイメージの立体感を向上させることができる。

ここで部分領域生成部１０６は、複数の部分領域３２０それぞれについて、他の部分領域３２０と一部が重複するか、または少なくとも接するようにして区分けする。また部分領域生成部１０６は、仮想カメラ３００から最も近い区分け面３２２は、仮想カメラ３００と接するように設定する。これにより、レンダリング部１０８は、仮想空間に存在する仮想オブジェクト３０４を漏れなくレンダリングすることができる。

以上、実施の形態に係る立体画像提示装置１００の機能構成について説明した。次に、立体画像提示装置１００が実行するアプリケーションの一例について説明する。

実施の形態に係る立体画像提示装置１００は、筐体１６０内のＣＰＵを用いて種々のアプリケーションを実行することができる。このようなアプリケーションの一例として、例えばゲームアプリケーションがあげられる。

ゲームアプリケーションは、一般に、ユーザが操作可能なキャラクタの画像と、それ以外の画像とを含む。例えばレーシングゲームであれば、ユーザが操作する車がキャラクタであり、道路や対戦相手の車等が、いわば背景となる。近年のゲームアプリケーションにおいては、キャラクタ画像を生成するための仮想オブジェクト３０４や、背景画像を生成するための仮想オブジェクト３０４を仮想空間に設定し、仮想カメラ３００から見た場合の投影画像を生成することも一般に行われている。立体画像提示装置１００がゲームアプリケーションのプログラムを実行すると、画像取得部１０２は、そのゲームに登場するキャラクタや背景との仮想オブジェクト３０４を仮想空間に設定し、仮想オブジェクト３０４の画像を生成する。画像提示部１０４は、画像取得部１０２が生成した画像の虚像３１６を、立体画像提示装置１００のユーザに提示する。

画像取得部１０２中のオブジェクト設定部１１２が仮想空間に設定する仮想オブジェクト３０４には、その仮想オブジェクト３０４の特性を規定する１または複数の属性が付与されている。属性の一例としては、例えばユーザが操作可能なキャラクタか否かを示す属性である。属性の別の例としては、仮想空間における仮想オブジェクト３０４の移動速度や、加速度、光の反射や吸収の度合い等の物理的な特性も含まれる。

このように、仮想オブジェクト３０４は、あらかじめ定められた複数の属性から選択される１または複数の属性を備えている。部分領域生成部１０６は、仮想オブジェクト３０４が備える属性に応じて、部分領域３２０の区分けの仕方を変更してもよい。

上述したように、部分領域生成部１０６によって設定された遠方基準距離よりも仮想カメラ３００から遠い領域は遠方領域として１つの部分領域３２０にまとめられる。したがって、遠方領域に存在する仮想オブジェクト３０４は、レンダリング部１０８によって一枚の画像にレンダリングされる。このため、遠方領域に存在する仮想オブジェクト３０４に由来する画像の虚像３１６は、ユーザには奥行き感が乏しい像として提示されることになる。

ゲームアプリケーションにおいて、ユーザが操作するキャラクタはユーザの注目度が高いと考えられる。このため、仮にユーザが操作するキャラクタの仮想オブジェクト３０４が遠方領域に含まれると、実際にユーザに提示される虚像３１６の奥行き感が乏しくなりかねない。そこで部分領域生成部１０６は、仮想オブジェクト３０４が、ユーザが操作可能なキャラクタであることを示すキャラクタ属性を備えている場合、その仮想オブジェクトが３０４遠方部分領域から除外されるように、遠方基準距離を設定する。具体的には、部分領域生成部１０６は、キャラクタ属性を備える仮想オブジェクト３０４のうち、仮想カメラ３００から最も遠い位置にある仮想オブジェクト３０４と同じかそれよりも遠い位置に、遠方基準面を設定する。これにより、少なくともユーザが操作するキャラクタに由来するＡＲ画像の立体感を向上することができる。

図９は、実施の形態に係る立体画像提示装置１００が実行する立体画像提示処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば立体画像提示装置１００の電源が起動したときに開始する。

オブジェクト設定部１１２は、仮想空間に仮想オブジェクト３０４を設定する（Ｓ２）。部分領域生成部１０６は、オブジェクト設定部１１２が設定した仮想オブジェクト３０４に備えられた属性を取得する（Ｓ４）。部分領域生成部１０６は、取得した仮想オブジェクト３０４の属性に応じて、仮想空間中に複数の部分領域３２０を設定する（Ｓ６）。

虚像位置設定部１１６は、部分領域生成部１０６が生成した部分領域３２０毎に、仮想オブジェクト３０４の画像の虚像３１６を提示する位置を設定する（Ｓ８）。レンダリング部１０８は、部分領域生成部１０６が生成した部分領域３２０毎に、その部分領域３２０に含まれる部分の仮想オブジェクト３０４をレンダリングして画像を生成する（Ｓ１０）。虚像提示部１１４は、虚像位置設定部１１６が設定した位置にレンダリング部１０８が生成した画像の虚像３１６が提示されるように、画像を透過型表示素子３１８に表示する（Ｓ１２）。

虚像提示部１１４が虚像３１６を提示すると、本フローチャートにおける処理は終了する。

以上述べたように、実施の形態に係る立体画像提示装置１００によれば、ＡＲイメージの立体感を向上することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

（第１の変形例）
上記では、凸レンズ３１２の焦点距離が固定である場合について説明した。このため、式（１）に基づき、透過型表示素子３１８の位置を変えることで、虚像３１６の位置を制御した。これに代えて、凸レンズ３１２の光学中心から透過型表示素子３１８までの距離を固定して、凸レンズ３１２の焦点距離を変更するようにしてもよい。これは例えば凸レンズ３１２として、焦点距離を変更可能な液晶レンズを用いることで実現できる。あるいは、焦点距離が異なる複数のレンズを交換する構成としても実現できる。以下第１の変形例として、透過型表示素子３１８の位置を固定し、かつ焦点距離を可変な凸レンズ３１２を採用する立体画像提示装置１００について説明する。

図１０は、焦点距離を変更可能な凸レンズ３１２とその焦点距離を模式的に示す図である。図１０に示すように、凸レンズ３１２は焦点距離をＦ１からＦ２までの間を自由に変更することができる。例えば図１０において、実線で示す凸レンズ３１２ａの状態のとき焦点距離はＦ１となる。また破線で示す凸レンズ３１２ｂの状態のとき、焦点距離がＦ２となる。なお、説明の便宜のため図１０においては凸レンズ３１２の厚みを変えて図示しているが、凸レンズ３１２の厚み自体は必ずしも変更されるものではない。例えば複屈折性を持つ液晶の配向を変更することによっても、焦点距離を変更することができる。

式（１）において、距離Ａが固定であり、焦点距離Ｆが可変であるとする。このとき、式（１）を変形すると、焦点距離Ｆを距離Ｂの関数とする以下の式（６）を得る。
Ｆ（Ｂ）＝Ａ／（１−Ａ／Ｂ） （６）
式（６）は、ある距離Ｂが与えられたとき、焦点距離Ｆが満たすべき値を示している。式（６）より、距離Ｂが長いほど、焦点距離Ｆも大きくなることがわかる。

また、距離Ｂの位置にＱの大きさの虚像３１６を提示するために物体３１４がとるべき大きさＰは、上記式（５）と同一である。

図１１は、異なる位置に同じ大きさの虚像３１６を提示するために、凸レンズ３１２の焦点Ｆがあるべき位置を示す図である。図１１は、２つの虚像３１６ａおよび虚像３１６ｂが、それぞれ凸レンズ３１２の光学中心から距離Ｂ１および距離Ｂ２の距離に、同じ大きさＱで提示されている場合の例を示している。また図１１において、画像３１４ａおよび画像３１４ｂは、それぞれ虚像３１６ａおよび虚像３１６ｂに対応する画像である。画像３１４ａおよび画像３１４ｂは、同一の透過型表示素子３１８によって表示される。

より具体的には、画像３１４ａと画像３１４ｂとはともに、凸レンズ３１２の光学中心から距離Ａ離れた位置にある透過型表示素子３１８によって表示される。このとき、凸レンズ３１２の焦点Ｆがあるべき位置、すなわち焦点距離Ｆ１および焦点距離Ｆ２は、それぞれ以下の式で与えられる。
Ｆ１＝Ａ／（１−Ａ／Ｂ１）
Ｆ２＝Ａ／（１−Ａ／Ｂ２）

また、表示すべき画像３１４ａおよび画像３１４ｂの大きさＰ１およびＰ２は、虚像３１６の大きさＱを用いて、式（５）よりそれぞれ以下の式で与えられる。
Ｐ１＝Ｑ×Ｆ／（Ｂ１＋Ｆ）
Ｐ２＝Ｑ×Ｆ／（Ｂ２＋Ｆ）

このように、凸レンズ３１２の焦点距離を変更することで、ユーザに提示する虚像３１６の位置を変更することができる。また、透過型表示素子３１８に表示する画像の大きさを変更することで、提示すべき虚像３１６の大きさも制御することができる。この場合、部分領域３２０それぞれに含まれる仮想オブジェクト３０４に由来する画像３１４を、時分割で順番に表示する。ユーザの視覚の残像により、ユーザは虚像３１６を立体的に観察することができる。

なお、液晶レンズのように偏光の性質がある光学素子を用いる場合には、色収差や輝度のずれが生じうる。そこでレンダリング部１０８は、偏光の特性を考慮した画像を生成することが好ましい。

（第２の変形例）
上述した実施の形態に係る立体画像提示装置１００では、複数の透過型表示素子３１８の中から画像３１４を表示する透過型表示素子３１８を選択することで、画像３１４の表示位置を変更する場合について説明した。これに代えて、画像３１４を表示する透過型表示素子３１８を移動させ、その物理的な位置を変更するようにしてもよい。以下、第２の変形例として、透過型表示素子３１８の物理的な位置を変更する場合の立体画像提示装置１００について説明する。

図１２（ａ）−（ｂ）は、第２の変形例に係る立体画像提示装置１００の光学系を模式的に示す図である。図１２（ａ）に示す例と図１２（ｂ）に示す例とはともに、ひとつの透過型表示素子３１８を備える。この透過型表示素子３１８は、凸レンズ３１２の光軸に沿って、図１２（ａ）および図１２（ｂ）に示す透過型表示素子３１８ａと３１８ｂとの間を移動可能である。これは例えば立体画像提示装置１００の筐体１６０内に備えられた図示しないモータを用いて透過型表示素子３１８を動かすことで実現できる。

図１２（ａ）に示す例は、図４に示す例と同様に、凸レンズ３１２に対して視点３０８の反対側に透過型表示素子３１８が配置されている。これに対し、図１２（ｂ）に示す例は、凸レンズ３１２の代わりにホログラム等の光学素子３２６が備えられている。この光学素子３２６は、透過型表示素子３１８が表示する画像の光を受けると、その画像を拡大した虚像を視点３０８に対して提示することができる。

（第３の変形例）
上述した第２の変形例に係る立体画像提示装置１００では、画像３１４を表示する透過型表示素子３１８の物理的な位置を変更することで、虚像３１６の位置を変更する場合について説明した。これに代えて、透過型表示素子３１８の位置は固定して、レンズを移動するようにしてもよい。以下、第３の変形例として、レンズの物理的な位置を変更する場合の立体画像提示装置１００について説明する。

図１３（ａ）−（ｂ）は、第３の変形例に係る立体画像提示装置１００の光学系を模式的に示す図である。図１３（ａ）に示す例と図１３（ｂ）に示す例とはともに、図１２（ａ）−（ｂ）に示す例と同様に、立体画像提示装置１００は１つの透過型表示素子３１８を備える。

図１３（ａ）に示す例は、図４や図１２（ａ）に示す例と同様に、立体画像提示装置１００は凸レンズ３１２を１つ備える。図１３（ａ）に示す例では、立体画像提示装置１００の筐体１６０内に備えられた図示しないモータが、凸レンズ３１２を凸レンズ３１２の光軸に沿って移動させる。具体的にはモータは、凸レンズ３１２を図１３（ａ）に示す凸レンズ３１２ａと３１２ｂとの間で移動させることができる。これにより、凸レンズ３１２と透過型表示素子３１８との相対的な距離を変えることができるので、視点３０８に対して提示する虚像３１６の位置を変更することができる。

図１３（ｂ）に示す例では、立体画像提示装置１００は凹レンズ３２８とコリメータレンズ３３０とを含む。立体画像提示装置１００の筐体１６０内に備えられた図示しないモータは、凹レンズ３２８を凹レンズ３２８の光軸に沿って移動させる。具体的にはモータは、凹レンズ３２８を図１３（ｂ）に示す凹レンズ３２８ａと３２８ｂとの間で移動させることができる。これにより、視点３０８に対して提示する虚像の位置を変更することができる。

（第４の変形例）
上述した第２の変形例に係る立体画像提示装置１００と第３の変形例に係る立体画像提示装置１００とはともに、透過型表示素子３１８または凸レンズ３１２等のレンズのいずれかを移動させることにより、透過型表示素子３１８とレンズとの相対的な距離を変更する例である。これに代えて、透過型表示素子３１８と凸レンズ３１２との組を複数用意し、これらを切換ながら虚像３１６を提示してもよい。あるいは、凸レンズ３１２と透過型表示素子３１８との間に、屈折率を変更可能な光学素子を挿入し、凸レンズ３１２と透過型表示素子３１８との間の光路長を可変にしてもよい。

図１４（ａ）−（ｂ）は、第４の変形例に係る立体画像提示装置１００の光学系を模式的に示す図である。

図１４（ａ）に示す例は、凸レンズ３１２と透過型表示素子３１８との間の距離が異なる複数の凸レンズ３１２と透過型表示素子３１８の組を備える立体画像提示装置１００の例を示す。図１４（ａ）に示す例では、立体画像提示装置１００は、凸レンズ３１２ａと透過型表示素子３１８ａの組、凸レンズ３１２ｂと透過型表示素子３１８ｂの組、および凸レンズ３１２ｃと透過型表示素子３１８ｃの、３組を備える。図１４（ａ）に示す立体画像提示装置１００はさらに、図示しないモータと接続するハーフミラー３３２を備える。立体画像提示装置１００はモータを制御してハーフミラー３３２を回転させることにより、視点３０８に対していずれかの透過型表示素子３１８が表示する画像３１４の虚像３１６を提示することができる。各凸レンズ３１２と透過型表示素子３１８の組は両者の距離が異なるため、立体画像提示装置１００は視点３０８に対して提示する虚像３１６の位置を変更することができる。

図１４（ｂ）は、凸レンズ３１２と透過型表示素子３１８との間に、屈折率を変更可能な光学素子３３４を備える立体画像提示装置１００の例を示す。図１４（ｂ）に示す立体画像提示装置１００は、光学素子３３４の屈折率を変更することにより、凸レンズ３１２と透過型表示素子３１８との間の物理的な距離が一定であっても、両者の間の光学的な距離を変更する。これにより、立体画像提示装置１００は視点３０８に対して提示する画像３１４の虚像３１６の位置を変更することができる。

（第５の変形例）
上記では、視点３０８に対して提示する画像３１４の虚像３１６の位置を変更するために、透過型表示素子３１８の位置を変更する場合について説明した。これに代えて、透過型表示素子３１８の見かけ上の解像度を向上させるために、透過型表示素子３１８を移動させてもよい。この場合、立体画像提示装置１００中の図示しない駆動部が、透過型表示素子３１８が表示する画像のフレーム毎に、透過型表示素子３１８を光軸からずれる方向に、例えば半ピクセルまたは１／４ピクセルずつずらす。これと連動して、仮想カメラ設定部１１０は、仮想空間に設置する仮想カメラ３００の位置もずらす。これにより、いわば「固視微動」の効果により、立体画像提示装置１００のユーザに対して提示する虚像３１６の見かけ上の解像度を向上することができる。

（第６の変形例）
上記では、レンダリング部１０８が生成した画像を表示するデバイスは透過型表示素子３１８である場合について説明した。しかしながら、立体画像提示装置１００が備える表示デバイスが１つのみの場合には、透過型の表示デバイスではなく、例えば液晶モニタ等の非透過の表示デバイスであってもよい。

（第７の変形例）
上記の実施の形態に係る立体画像提示装置１００は、筐体１６０に備えられたＣＰＵでゲームアプリケーションを実行する場合について説明した。これに代えて、あるいはこれに加えて、立体画像提示装置１００は外部の機器（例えばゲームコンソール）と無線または有線で接続し、その機器の出力デバイスとして機能してもよい。

（第８の変形例）
上記では、立体画像提示装置１００が、実空間中にＡＲイメージを重畳して表示する場合について説明した。このため、画像提示部１０４は、ユーザに提示する画像に写っている仮想オブジェクト３０４の奥行き情報をもとに、その画像の虚像を提示する位置を変更するとした。しかしながら、上述したように、「奥行き情報」とは、例えばある被写体が写っている画像をユーザに提示したときに、ユーザがその被写体を見て認識される距離感を反映する情報である。したがって、表示対象とする画像に写っている被写体は、仮想オブジェクト３０４に限られず、例えば３Ｄ映画のように、実在するオブジェクトを被写体として、実在するカメラで写した立体映像であっても適用できる。この意味で、「オブジェクト」は、仮想的な物体のみならず実在する被写体も含み、立体画像提示装置１００の「描画対象」ということもできる。

以下立体映像が、左目用の視差画像と右目用の視差画像とを含む映像であることを前提に説明する。

左目用の視差画像と右目用の視差画像とは、それぞれ同じ被写体を異なる方向ないし角度から撮影することで得られる画像のセットである。左目用の視差画像と右目用の視差画像とでは、同じ被写体が撮影されているものの、観測地点が異なることから、それぞれの画像においてその被写体の見える方向ないし角度が相違する。この相違は、「両眼視差」として知られている。観測点から被写体までの距離に応じて、両眼視差の大きさは変化する。すなわち、左目用の視差画像と右目用の視差画像とのセットには、被写体の奥行き情報が含まれる。この視差画像が持つ両眼視差を解析することによって視差画像に撮影されている被写体の奥行き情報を取得する技術が知られている。

そこで画像提示部１０４は、立体映像に含まれる両眼視差を解析し、立体映像に映っているオブジェクトの奥行き情報を取得してもよい。具体的には、オブジェクト設定部１１２が、立体映像に含まれる左目用の視差画像と右目用の視差画像とをもとに、その立体映像に含まれるオブジェクトの奥行き情報を取得する。さらに具体的には、オブジェクト設定部１１２は、立体映像に含まれる視差画像の画素毎に、奥行き情報を取得する。オブジェクト設定部１１２が画素毎に取得した奥行き情報は、各画素が示しているオブジェクトと、そのオブジェクトを撮影したカメラとの距離を反映する情報となる。

部分領域生成部１０６は、オブジェクト設定部１１２が取得した奥行き情報をもとに、処理対象となる立体映像を複数の部分領域に区分けする。レンダリング部１０８は、部分領域生成部１０６が生成した複数の部分領域それぞれに含まれる画素から構成される映像を生成する。

虚像位置設定部１１６は、オブジェクト設定部１１２が取得した奥行き情報をもとに、レンダリング部１０８が生成した画像の虚像３１６を提示する位置を設定する。すなわち、虚像位置設定部１１６は、オブジェクト設定部１１２が取得した奥行き情報をもとに、レンダリング部１０８が生成した画像を表示させる透過型表示素子３１８の位置を設定する。虚像位置設定部１１６は、オブジェクト設定部１１２が取得した奥行き情報がユーザから遠いことを示す場合は、近いことを示す場合と比較して、ユーザの目から遠い位置に透過型表示素子３１８の位置を設定する。被写体の奥行き情報が、その被写体を含む画像の虚像の提示位置に反映されるので、ユーザに提示する立体映像の立体感を向上することができる。

なお、例えば立体映像の撮影時等に、立体映像を構成するフレーム毎に奥行き情報を紐付けて保存しているような場合には、レンダリング部１０８および虚像位置設定部１１６は、保存されている奥行き情報を利用してもよい。これは例えば被写体の撮影時に、その被写体の３次元的な位置を既知の３次元位置計測装置を用いて計測することで実現できる。事後的に視差画像を解析することを省略できるので、処理速度および消費電力を抑制できる点で効果がある。また、事後的な計算で得られる奥行き情報よりも、精度の高い奥行き情報が得られる点で有利である。

なお、以上説明した実施の形態または各変形例を組み合わせることで得られる新たな実施の形態も、本発明の実施の形態に含まれる。例えば実施の形態と、第２の変形例とを組み合わせ、複数の透過型表示素子３１８を備え、かつ移動可能な凸レンズ３１２を備える立体画像提示装置１００を構成してもよい。

１００ 立体画像提示装置、 １０２ 画像取得部、 １０４ 画像提示部、 １０６ 部分領域生成部、 １０８ レンダリング部、 １１０ 仮想カメラ設定部、 １１２ オブジェクト設定部、 １１４ 虚像提示部、 １１６ 虚像位置設定部、 １２０ 提示部、 １４０ 撮像素子、 １６０ 筐体、 ２２０ 部分領域、 ３１４ 画像、 ３１６ 虚像、 ３１８ 透過型表示素子、 ３２０ 部分領域、 ３２６ 光学素子、 ３３４ 光学素子。

Claims (10)

1. 立体画像提示装置であって、
   提示対象とする画像を取得する画像取得部と、
   前記画像取得部が取得した画像の虚像を、前記立体画像提示装置のユーザの視野に提示する画像提示部とを備え、
   前記画像提示部は、前記ユーザに提示する虚像の位置を変更自在に構成されており、前記画像に写っているオブジェクトの奥行き情報をもとに、前記虚像を提示する位置を変更することを特徴とする立体画像提示装置。
2. 前記オブジェクトの奥行き情報は、前記オブジェクトを撮影するカメラから前記オブジェクトまでの距離を含み、
   前記画像提示部は、前記カメラから前記オブジェクトまでの距離が近い場合は、遠い場合と比較して、前記ユーザから近い位置に前記虚像を提示することを特徴とする請求項１に記載の立体画像提示装置。
3. 前記画像取得部は、
   前記オブジェクトを含む処理対象を複数の部分領域に区分けする部分領域生成部と、
   前記複数の部分領域それぞれに含まれるオブジェクトそれぞれについて、前記カメラから観察可能な部分をレンダリングして画像を生成するレンダリング部とを備え、
   前記画像提示部は、
   前記カメラから前記部分領域までの距離に応じて、前記レンダリング部が生成した画像の虚像を提示する位置を設定する虚像位置設定部を備えることを特徴とする請求項２に記載の立体画像提示装置。
4. 前記部分領域生成部は、前記カメラから遠方であることを規定する遠方基準距離を定め、当該遠方基準距離よりも前記カメラから離れた位置にある領域は、遠方部分領域としてひとつの部分領域に設定することを特徴とする請求項３に記載の立体画像提示装置。
5. 前記オブジェクトと前記カメラとはそれぞれ、仮想的な３次元空間に設定された仮想的なオブジェクトおよび仮想的なカメラであり、
   前記オブジェクトは、予め定められた複数の属性から選択された１または複数の属性を備えており、
   前記部分領域生成部は、前記オブジェクトが備える属性に応じて、区分けの仕方を変更することを特徴とする請求項４に記載の立体画像提示装置。
6. 前記予め定められた複数の属性はキャラクタ属性を含み、当該キャラクタ属性はその属性を備えるオブジェクトは前記ユーザが操作可能なキャラクタであることを示すものであり、
   前記部分領域生成部は、オブジェクトがキャラクタ属性を備える場合、当該オブジェクトが前記遠方部分領域から除外されるように、前記遠方基準距離を設定することを特徴とする請求項５に記載の立体画像提示装置。
7. 前記部分領域生成部は、前記複数の部分領域それぞれについて、他の部分領域と一部が重複するかまたは接するようにして区分けすることを特徴とする請求項３から６のいずれかに記載の立体画像提示装置。
8. 立体画像提示装置のプロセッサが実行する画像提示方法であって、
   提示対象とするオブジェクトの画像を取得するステップと、
   前記オブジェクトの奥行き情報をもとに、前記画像の虚像を提示する位置を設定するステップと、
   設定した位置に、前記虚像を提示するステップとを含むことを特徴とする立体画像提示方法。
9. コンピュータを備える立体画像提示装置に画像提示機能を実現させるプログラムであって、当該機能は、
   提示対象とする画像を取得する機能と、
   前記画像に写っているオブジェクトの奥行き情報をもとに、前記画像の虚像を提示する位置を設定する機能と、
   設定した位置に、前記虚像を提示する機能とを含むことを特徴とするコンピュータが読み出し可能なプログラム。
10. 立体画像を提示するヘッドマウントディスプレイであって、
    提示対象とする画像を取得する画像取得部と、
    前記画像取得部が取得した画像の虚像を、前記ヘッドマウントディスプレイを装着するユーザに提示する画像提示部とを備え、
    前記画像提示部は、
    前記画像を表示する複数の透過型表示部と、
    前記複数の透過型表示部それぞれが表示する画像の虚像を生成する光学素子とを備え、
    前記複数の透過型表示部は、前記画像提示部の光路上に並んで備えられており、
    前記光学素子は、前記画像提示部の光路において前記ユーザの目と前記複数の透過型表示部との間に備えられることを特徴とするヘッドマウントディスプレイ。

Images