JP2016045644A - 画像生成装置、画像生成方法、及びプログラム - Google Patents

Abstract

【課題】少ない計算量でインテグラルフォトグラフィ画像の画像データを生成する。【解決手段】仮想空間内のオブジェクトのインテグラルフォトグラフィ画像を生成する画像生成装置は、前記仮想空間内における前記オブジェクトの位置を含むオブジェクト属性情報を取得し、前記仮想空間内に存在する仮想レンズアレイの位置及び屈折特性を少なくとも含む仮想レンズアレイ属性情報と、前記仮想空間内に存在する仮想撮像素子の位置を少なくとも含む仮想撮像素子属性情報とを記憶し、前記仮想撮像素子に入射する光線が前記仮想レンズアレイを透過するときの屈折のしかたを、前記仮想レンズアレイ属性情報に基づいて演算し、前記オブジェクト属性取得部が取得する前記オブジェクト属性情報に基づいて、且つ前記演算結果に基づいて、前記仮想撮像素子に入射する光線の元の位置にあるオブジェクトをレンダリングして前記インテグラルフォトグラフィ画像を生成する。【選択図】図３

Description

本発明は、画像生成装置、画像生成方法、及びプログラムに関する。

立体像を表示する手法の１つとして、ＩＰ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ、インテグラルフォトグラフィ）方式がある。ＩＰ方式は、複数の微小レンズ（以下、「要素レンズ」という。）が配列されたレンズアレイを、撮像と表示との双方に用いて、立体像を再現する方式である。
ＩＰ方式における表示用画像の生成では、要素レンズを配列して構成されるレンズアレイを介して被写体を撮像することが行われている。このとき、カメラはレンズアレイの焦平面を撮像する。そして、レンズアレイを構成する各要素レンズは、微小なカメラと同様の働きをする。その結果、レンズアレイ越しに被写体を撮像した画像は、レンズアレイを構成する要素レンズ各々の位置に応じた微小画像（以下、「要素画像」という。）が並んだ画像となる。以下では、このようにして取得される画像を、ＩＰ画像（インテグラルフォトグラフィ画像）という。このＩＰ画像を撮像時と同様のレンズアレイを介して表示することで、立体像が再現される。
また、ＩＰ方式において、被写体からの光線を制御する奥行き制御レンズを用いることにより、表示装置の表示面よりも飛び出して見える映像を実現可能であることが知られている。

Ｓｐｙｒｏｓ Ｓ． Ａｔｈｉｎｅｏｓ他、"Ｐｈｙｓｉｃａｌ ｍｏｄｅｌｉｎｇ ｏｆ ａ ｍｉｃｒｏｌｅｎｓ ａｒｒａｙ ｓｅｔｕｐ ｆｏｒ ｕｓｅ ｉｎ ｃｏｍｐｕｔｅｒ ｇｅｎｅｒａｔｅｄ ＩＰ"、Ｐｒｏｃ． ｏｆ ＳＰＩＥ−ＩＳ＆Ｔ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ、Ｖｏｌ． ５６６４ ｐｐ．４７２−４７９、２００５

近年、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、コンピュータグラフィックス）によって、ＩＰ画像を生成する技術が研究されている（例えば、非特許文献１）。この技術では、計算機内で仮想３次元空間（以下、「仮想空間」という。）を生成し、当該仮想空間内において被写体及びセットが実世界と同様に動作するように再現する。そして、計算機は、仮想空間内において被写体からの光線を追跡することでＩＰ画像を生成する。

ＣＧによってＩＰ画像を生成する従来の技術では、仮想空間内において、仮想カメラと被写体との間に、仮想レンズアレイ及び仮想奥行き制御レンズを、仮想カメラ及び被写体とは別のオブジェクトとして配置していた。そして、当該画像データの生成装置は、これら仮想レンズを介して被写体から仮想カメラに入射する光線を計算することにより、要素画像群の画像データを生成していた。しかしながら、この場合、映像のフレーム毎に、仮想カメラと、仮想レンズアレイ及び仮想奥行き制御レンズとの位置関係が変わりうる。従って、従来の技術では、仮想レンズアレイ及び仮想奥行き制御レンズを通過する光線を、フレーム毎に計算しなくてはならない場合があった。このように、従来の技術では、ＣＧによるＩＰ画像の画像データの生成において、計算量が増大してしまうことがあった。

本発明は上記の点に鑑みてなされたものであり、少ない計算量でＩＰ画像の画像データを生成することができる画像生成装置、画像生成方法、及びプログラムを提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、仮想空間内のオブジェクトのインテグラルフォトグラフィ画像を生成する画像生成装置であって、前記仮想空間内における前記オブジェクトの位置を含むオブジェクト属性情報を取得するオブジェクト属性取得部と、前記仮想空間内に存在する仮想レンズアレイの位置及び屈折特性を少なくとも含む仮想レンズアレイ属性情報と、前記仮想空間内に存在する仮想撮像素子の位置を少なくとも含む撮像素子属性情報とを記憶する仮想カメラ属性記憶部と、前記仮想撮像素子に入射する光線が前記仮想レンズアレイを透過するときの屈折のしかたを、前記仮想カメラ属性記憶部から読み出す前記仮想レンズアレイ属性情報に基づいて演算するレンズ処理部と、前記オブジェクト属性取得部が取得する前記オブジェクト属性情報に基づいて、且つ前記レンズ処理部による演算結果に基づいて、前記仮想撮像素子に入射する光線の元の位置にあるオブジェクトをレンダリングして前記インテグラルフォトグラフィ画像の画像データを生成するレンダリング処理部と、を備える画像生成装置である。

（２）また、本発明の一態様は、上記（１）に記載の画像生成装置が、前記仮想撮像素子における画素に対応する前記仮想空間内の光線の方向を表す光線方向情報を記憶する光線方向記憶部、をさらに備え、前記レンズ処理部は、演算された前記屈折のしかたに基づいて、前記仮想撮像素子の各々の画素に対応する光線の方向を演算し、前記画素と前記光線の方向との対応関係を前記光線方向記憶部に記憶させ、前記レンダリング処理部は、前記光線方向記憶部に前記画素と前記光線の方向との対応関係が既に記憶されている場合には、前記光線方向記憶部から読み出した光線方向情報に基づいて、前記画像データを生成する、ことを特徴とする。

（３）また、本発明の一態様は、上記（１）又は（２）のいずれかに記載の画像生成装置が、前記仮想空間内において前記仮想レンズアレイを挟んで前記仮想撮像素子とは反対の側に存在する仮想奥行き制御レンズの属性を示す仮想奥行き制御レンズ属性情報を記憶する奥行き制御レンズ属性記憶部、をさらに備え、前記レンズ処理部は、前記奥行き制御レンズ属性記憶部から読み出した前記仮想奥行き制御レンズ属性情報に基づき、前記仮想レンズアレイを透過して前記仮想撮像素子に入射する光線が前記仮想奥行き制御レンズを透過するときの屈折のしかたを演算する、ことを特徴とする。

（４）また、本発明の一態様は、上記（３）に記載の画像生成装置において、前記仮想奥行き制御レンズ属性記憶部は、４ｆ光学系を構成する２枚の仮想奥行き制御レンズの属性を記憶する、ことを特徴とする。

（５）また、本発明の一態様は、仮想空間内に存在する仮想レンズアレイの位置及び屈折特性を少なくとも含む仮想レンズアレイ属性情報と、前記仮想空間内に存在する仮想撮像素子の位置を少なくとも含む撮像素子属性情報とを記憶する仮想カメラ属性記憶部を備え、前記仮想空間内のオブジェクトのインテグラルフォトグラフィ画像を生成する画像生成装置における画像生成方法であって、前記仮想空間内における前記オブジェクトの位置を含むオブジェクト属性情報を取得するオブジェクト属性取得過程と、前記仮想撮像素子に入射する光線が前記仮想レンズアレイを透過するときの屈折のしかたを、前記仮想カメラ属性記憶部から読み出す前記仮想レンズアレイ属性情報に基づいて演算するレンズ処理過程と、前記オブジェクト属性取得過程において取得される前記オブジェクト属性情報に基づいて、且つ前記レンズ処理過程における演算結果に基づいて、前記仮想撮像素子に入射する光線の元の位置にあるオブジェクトをレンダリングして前記インテグラルフォトグラフィ画像の画像データを生成するレンダリング処理過程と、を含むことを特徴とする画像生成方法である。

（６）また、本発明の一態様は、仮想空間内に存在する仮想レンズアレイの位置及び屈折特性を少なくとも含む仮想レンズアレイ属性情報と、前記仮想空間内に存在する仮想撮像素子の位置を少なくとも含む撮像素子属性情報とを記憶する仮想カメラ属性記憶部を備え、前記仮想空間内のオブジェクトのインテグラルフォトグラフィ画像を生成する画像生成装置のコンピュータに、前記仮想空間内における前記オブジェクトの位置を含むオブジェクト属性情報を取得するオブジェクト属性取得手順、前記仮想撮像素子に入射する光線が前記仮想レンズアレイを透過するときの屈折のしかたを、前記仮想カメラ属性記憶部から読み出す前記仮想レンズアレイ属性情報に基づいて演算するレンズ処理手順、前記オブジェクト属性取得手順において取得される前記オブジェクト属性情報に基づいて、且つ前記レンズ処理手順における演算結果に基づいて、前記仮想撮像素子に入射する光線の元の位置にあるオブジェクトをレンダリングして前記インテグラルフォトグラフィ画像の画像データを生成するレンダリング処理手順、を実行させるためのプログラムである。

本発明によれば、少ない計算量でＩＰ画像の画像データを生成することができる。

本発明の第１の実施形態に係る画像生成装置による処理の概念図である。 本発明の第１の実施形態に係る仮想レンズアレイとＩＰ画像とを示す模式図である。 本発明の第１の実施形態に係る画像生成装置の概略機能構成を示すブロック図である。 本発明の第１の実施形態に係る画像生成装置における仮想レンズアレイ用パラメータの入力画面を示す模式図である。 本発明の第１の実施形態に係る画像生成装置による処理の流れを示すフローチャートである。 本発明の第２の実施形態に係る画像生成装置による処理の概念図である。 本発明の第２の実施形態に係る画像生成装置の概略機能構成を示すブロック図である。 本発明の第２の実施形態に係る画像生成装置における仮想レンズアレイ用パラメータの入力画面を示す模式図である。 本発明の第２の実施形態に係る画像生成装置による処理の流れを示すフローチャートである。 本発明の第３の実施形態に係る画像生成装置における仮想カメラ内のレンズ等の配置を示す概念図である。 本発明の各実施形態に係る画像生成装置による画素対応光線の方向の演算方法を説明するための第１図である。 本発明の各実施形態に係る画像生成装置による画素対応光線の方向の演算方法を説明するための第２図である。 本発明の各実施形態に係る画像生成装置による画素対応光線の方向の演算方法を説明するための第３図である。 本発明の光線方向情報の例を示す図である。

以下、図面を参照しながら本発明の実施形態について説明する。
（第１の実施形態）
本発明の第１の実施形態について説明する。
まず、図１を参照して、本実施形態の概要について説明する。
図１は、本実施形態に係る画像生成装置１０（図３）による処理の概念図である。
画像生成装置１０は、仮想空間内のオブジェクトをレンダリングしてＩＰ画像の画像（映像）データを生成する装置であり、例えば、パーソナルコンピュータ又はサーバ装置などの電子機器である。

画像生成装置１０は、仮想空間内におけるオブジェクト４０の位置を含むオブジェクト属性情報を取得するオブジェクト属性取得部１５５（図３）と、仮想空間内に存在する仮想レンズアレイ２２０の位置及び屈折特性を少なくとも含む仮想レンズアレイ属性情報と、仮想空間内に存在する仮想撮像素子２１０の位置を少なくとも含む仮想撮像素子属性情報とを記憶する仮想カメラ属性記憶部１４１（図３）と、を含んで構成される。これにより、画像生成装置１０は、オブジェクト属性取得部１５５が取得するオブジェクト属性情報に基づいて、仮想空間内にオブジェクト４０を配置する。また、画像生成装置１０は、仮想カメラ属性記憶部１４１に記憶されている仮想レンズアレイ属性情報と仮想撮像素子属性情報とに基づいて、仮想撮像素子２１０及び仮想レンズアレイ２２０を備える仮想カメラ２０を仮想空間内に配置する。

また、画像生成装置１０は、仮想撮像素子２１０に入射する光線が仮想レンズアレイを透過するときの屈折のしかたを、仮想カメラ属性記憶部１４１から読み出す仮想レンズアレイ属性情報に基づいて演算するレンズ処理部１５２と、オブジェクト属性取得部１５５が取得するオブジェクト属性情報に基づいて、且つレンズ処理部１５２による演算結果に基づいて、仮想撮像素子に入射する光線の元の位置にあるオブジェクト４０をレンダリングして画像（映像）データを生成するレンダリング処理部１５４と、を含んで構成される。これにより、画像生成装置１０は、仮想カメラ２０が備える仮想レンズアレイ２２０における光線の屈折のしかたを演算して、オブジェクト４０をレンダリングし、ＩＰ画像の画像（映像）データを生成する。

なお、映像データとは、フレームと画像データとを対応付けたデータである。換言すると、映像データとは、画像データの時系列データである。画像生成装置１０は、ＩＰ画像の画像データ及び映像データのいずれを生成してもよい。以下では、画像生成装置１０がＩＰ画像の映像データを生成する態様について説明するが、説明を簡潔にするため、映像データを構成する各フレームの画像データの生成について説明し、画像データの時系列化については説明を省略する。

画像生成装置１０が生成したＩＰ画像の映像信号は、実際の装置であるＩＰ立体映像表示装置３０に出力される。このＩＰ立体映像表示装置３０は、表示素子３１０とレンズアレイ３２０とを備える。そして、ＩＰ立体映像表示装置３０の表示素子３１０は、画像生成装置１０から取得されたＩＰ画像の映像信号が示すＩＰ画像を表示する。表示素子３１０に表示されたＩＰ画像からの光線は、レンズアレイ３２０を介することにより、オブジェクト４０に対応する立体像５０を結像する。
なお、ＩＰ立体映像表示装置３０は、仮想の装置であってもよい。

次に、図２を参照して、仮想撮像素子２１０と、仮想レンズアレイ２２０とについて説明する
図２は、仮想レンズアレイ２２０とＩＰ画像とを示す模式図である。
仮想撮像素子２１０及び仮想レンズアレイ２２０の属性は、それぞれ任意に設定可能である。仮想撮像素子２１０及び仮想レンズアレイ２２０の属性は、例えば、ＩＰ立体映像表示装置３０（図１）を仮想空間上に配置した場合の表示素子３１０及びレンズアレイ３２０の属性に合わせて設定される。
仮想撮像素子２１０の属性には、位置、サイズ、及び画素数等があり、それぞれ、表示素子３１０の位置、サイズ、及び画素数等と同様の値に設定される。換言すると、仮想撮像素子２１０の仮想撮像面は、仮想空間にＩＰ立体映像表示装置３０を配置したときに、表示部１１によりＩＰ画像が表示される表示面の位置に対応する。

上述したように、仮想レンズアレイ２２０の属性は、例えば、ＩＰ立体映像表示装置３０のレンズアレイ３２０の属性に合わせて設定される。レンズアレイ３２０は、例えば、同一の属性を有するＮ個の仮想要素レンズを、その主面が同一平面上に位置するように配列して構成される。従って、仮想レンズアレイ２２０は、同一の属性を有するＮ個の仮想要素レンズ２２−１〜２２−Ｎを、その主面が同一平面上に位置するように配列して構成される。

仮想レンズアレイ２２０の属性には、仮想レンズアレイ２２０の位置、仮想レンズアレイ２２０のサイズ、仮想要素レンズ２２−１〜２２−Ｎの数、仮想要素レンズ２２−１〜２２−Ｎの配列、及び仮想要素レンズ２２−１〜２２−Ｎの形状等がある。仮想レンズアレイ２２０の位置、仮想レンズアレイ２２０のサイズ、仮想要素レンズ２２−１〜２２−Ｎの数、仮想要素レンズ２２−１〜２２−Ｎの配列、及び仮想要素レンズ２２−１〜２２−Ｎの形状等は、それぞれ、レンズアレイ３２０の位置、レンズアレイ３２０のサイズ、レンズアレイ３２０を構成する要素レンズの数、レンズアレイ３２０を構成する要素レンズの配列、及びレンズアレイ３２０を構成する要素レンズの形状等と同様の値に設定される。そして、仮想レンズアレイ２２０の仮想要素レンズ２２−１〜２２−Ｎの主点の位置は、仮想空間にＩＰ立体映像表示装置３０を配置したときに、ＩＰ立体映像表示装置３０のレンズアレイ３２０を構成する要素レンズ各々の主点の位置に対応する。

また、ＩＰ立体映像表示装置３０は、例えば、それぞれの表示面又は主面のサイズが揃った表示素子３１０とレンズアレイ３２０とを備える。また、ＩＰ立体映像表示装置３０は、例えば、それぞれの表示面又は主面の中心を通る法線が一致し、且つ、レンズアレイ３２０を構成する要素レンズ各々の焦点距離だけ離れた距離に、表示素子３１０とレンズアレイ３２０とを配置する。この場合、画像生成装置１０は、仮想カメラ２０において、仮想撮像素子２１０の撮像面のサイズと仮想レンズアレイ２２０の主面のサイズとを揃えて設定する。また、画像生成装置１０は、仮想撮像素子２１０と仮想レンズアレイ２２０とは、それぞれの面の中心を通る法線が一致するように、且つ、仮想レンズアレイ２２０を構成する仮想要素レンズ２２−１〜２２−Ｎ各々の焦点距離だけ離れた距離に配置されるように設定する。

これにより、仮想要素レンズ２２−１〜２２−Ｎ各々を透過する光線は、それぞれ、仮想撮像素子２１０の撮像面上に要素画像２１−１〜２１−Ｎを結像する。つまり、これら要素画像２１−１〜２１−Ｎは、被写体からの光線を記録した画像であり、記録できる光線数は、仮想撮像素子２１０の解像度に依存する。画像生成装置１０（図３）は、要素画像２１−１〜２２−Ｎの画像を示すＩＰ画像データを生成する。
なお、仮想レンズアレイ２２０を構成する仮想要素レンズ２２−１〜２２−Ｎの主点の位置及び仮想撮像素子２１０の仮想撮像面の位置は、仮想空間における時間の経過とともに変化してもよい。

次に、図３を参照して、画像生成装置１０の構成について説明する。
図３は、画像生成装置１０の概略機能構成を示すブロック図である。
画像生成装置１０は、表示部１１と、入力部１２と、通信部１３と、記憶部１４と、制御部１５と、を含んで構成される。
表示部１１は、仮想カメラ２０の属性の入力を受け付けるためのユーザインターフェイスを表示する。表示部１１は、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示装置を備える。
入力部１２は、ユーザから仮想カメラ２０の属性の入力を受け付ける。入力部１２は、例えば、マウス、キーボード、又はタッチパネルなどの入力装置を備える。入力部１２が受け付け可能な操作の内容は、例えば、表示部１１が備える表示装置により表示される。
通信部１３は、通信用インターフェイスを備え、ＩＰ立体映像表示装置３０に制御部１５から出力された映像信号を送信する。

記憶部１４は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備える。また、記憶部１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）、及びフラッシュメモリ等を備えてもよい。記憶部１４は、画像生成装置１０が備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、不図示）が実行するための各種プログラムやＣＰＵが実行した処理の結果などを記憶する。

また、記憶部１４は、仮想カメラ属性記憶部１４１、オブジェクト属性記憶部１４５、及び映像信号記憶部１４６として機能する。
仮想カメラ属性記憶部１４１は、仮想カメラ２０（図１）の属性を示す仮想カメラ属性情報を記憶する。
仮想カメラ２０の属性情報は、仮想カメラ２０が備える仮想撮像素子２１０の属性を表す仮想撮像素子属性情報、及び仮想レンズアレイ２２０の属性を表す仮想レンズアレイ属性情報を含む情報である。

仮想カメラ属性記憶部１４１は、仮想撮像素子属性記憶部１４２、仮想レンズアレイ属性記憶部１４３、及び光線方向記憶部１４４として機能する。
仮想撮像素子属性記憶部１４２は、仮想カメラ属性情報が含む情報のうち、仮想撮像素子属性情報を記憶する。仮想撮像素子属性情報が表す仮想撮像素子２１０の属性は、例えば、仮想撮像素子２１０の水平方向及び垂直方向の画素数、仮想撮像素子２１０のアスペクト比、仮想撮像素子２１０の各々の画素のアスペクト比、仮想撮像素子２１０の水平方向及び垂直方向のオフセット、及び仮想撮像素子２１０のサイズ等である。

仮想レンズアレイ属性記憶部１４３は、仮想カメラ属性情報のうち、仮想レンズアレイ属性情報を記憶する。仮想レンズアレイ属性情報が表す仮想レンズアレイ２２０の属性は、例えば、要素レンズ２２−１〜２２−Ｎの焦点距離、要素レンズ２２−１〜２２−Ｎの水平方向及び垂直方向の数、隣接する要素レンズ２２−１〜２２−Ｎの距離（ピッチ）、要素レンズ２２−１〜２２−Ｎの配列、要素レンズ２２−１〜２２−Ｎの形状、並びに仮想レンズアレイ２２０と仮想撮像素子２１０との距離等である。

光線方向記憶部１４４は、仮想撮像素子２１０における画素に対応する仮想空間内の光線の方向を表す光線方向情報を記憶する。
光線方向情報は、仮想撮像素子２１０の各画素に入射する光線であって、仮想カメラ２０が備える仮想レンズのうち、仮想撮像素子２１０から最も遠い位置にある仮想レンズにおける光線の方向を示す情報である。換言すると、光線方向情報は、仮想撮像素子２１０の各画素から見た光線が、仮想カメラ２０が備える各レンズにおいて屈折しながら透過して、仮想カメラ２０から射出するときの方向を示す情報である。本実施形態において、仮想カメラ２０が備える仮想レンズのうち、仮想撮像素子２１０から最も遠い位置にある仮想レンズは、仮想レンズアレイ２２０である。従って、本実施形態において、光線方向記憶部１４４は、仮想撮像素子２１０の各画素に対応する光線が仮想レンズアレイ２２０を構成する要素レンズ２２−１〜２２−Ｎから射出する方向を、画素毎に記憶する。

オブジェクト属性記憶部１４５は、オブジェクト４０（図１）の属性を示すオブジェクト属性情報を記憶する。
オブジェクト属性情報は、仮想空間におけるオブジェクト４０の属性を表す情報であり、例えば、位置、形状、光学的特性、及び色等を表す情報である。オブジェクト属性情報が表すオブジェクト４０の仮想空間における位置及び形状は、例えば、ポリゴン（多角形）又は自由曲面等により表現される。また、そのデータ形式は、任意であってよく、例えば、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｄｒａｆｔｉｎｇ）データとして表現される。

なお、オブジェクト４０の仮想空間における位置、形状、光学的な特性、色等の属性は、仮想空間における時間の経過とともに変化してよい。すなわち、オブジェクト属性情報は、オブジェクト４０の属性を表す時系列の情報であってもよい。
映像信号記憶部１４６は、映像を構成する各フレームにおけるＩＰ画像データを記憶する。

制御部１５が有する機能の一部又は全ては、例えば、画像生成装置１０が備えるＣＰＵ（不図示）が記憶部１４に記憶されているプログラムを実行することにより実現される。
制御部１５は、表示処理部１５１、レンズ処理部１５２、レンダリング処理部１５４、及び映像信号出力部１５６として機能する。
表示処理部１５１は、仮想カメラ２０の属性の入力を受け付けるためのユーザインターフェイスを、表示部１１に表示させる。

レンズ処理部１５２は、入力部１２を介してユーザから受け付けた仮想カメラ２０の属性についての情報を、仮想レンズアレイ属性記憶部１４３に記憶させる。具体的には、レンズ処理部１５２は、入力部１２がユーザから受け付けた仮想撮像素子２１０の属性についての入力に基づいて、仮想撮像素子２１０の属性を示す仮想撮像素子属性情報を仮想撮像素子属性記憶部１４２に記憶させる。また、レンズ処理部１５２は、入力部１２がユーザから受け付けた仮想レンズアレイ２２０の属性についての入力に基づいて、仮想レンズアレイ２２０の属性を示す仮想レンズアレイ属性情報を仮想レンズアレイ属性記憶部１４３に記憶させる。

また、レンズ処理部１５２は、仮想撮像素子２１０に入射する光線の仮想空間内における進み方を演算する。このとき、レンズ処理部１５２は、例えば、仮想レンズアレイ処理部１５３として機能する。
仮想レンズアレイ処理部１５３は、仮想撮像素子２１０に入射する光線が仮想レンズアレイ２２０を透過するときの屈折のしかたを、仮想カメラ属性記憶部１４１の仮想レンズアレイ属性記憶部１４３から読み出す仮想レンズアレイ属性情報に基づいて演算する。仮想レンズアレイ処理部１５３は、演算された仮想レンズアレイ２２０における屈折のしかたに基づいて、仮想撮像素子２１０の各々の画素に対応する光線の方向を演算し、仮想撮像素子２１０の各々の画素と、光線の方向との対応関係を光線方向記憶部１４４に記憶させる。

レンダリング処理部１５４は、オブジェクト属性情報を取得するオブジェクト属性取得部１５５として機能する。本実施形態において、オブジェクト属性取得部１５５は、オブジェクト属性記憶部１４５からオブジェクト属性情報を読み出すことにより取得する。
レンダリング処理部１５４は、光線方向記憶部１４４から光線方向情報を読み出し、読み出した光線方向情報と、オブジェクト属性情報とに基づいて、仮想撮像素子２１０に入射する光線の元の位置にあるオブジェクト４０をレンダリングしてＩＰ画像の画像データを生成する。本実施形態において、レンダリング処理部１５４は、光線追跡（レイ・トレーシング）法に基づいてオブジェクト４０をレンダリングする。
なお、光線追跡法については、公知の技術を適用可能であるため、詳細は省略する。また、本実施形態では、説明を簡潔にするため、光線とは、主光線であるとするが、画像生成装置１０は、副光線についても演算してよい。

映像信号出力部１５６は、映像信号記憶部１４６から映像を構成する各フレームにおけるＩＰ画像データを順次読み出して、読み出したＩＰ画像データを示す映像信号を、通信部１３を介して、順次ＩＰ立体映像表示装置３０に送信する。

次に、図４を参照して、表示部１１が表示する仮想カメラ２０の属性を入力するためのユーザインターフェイスについて説明する。
図４は、画像生成装置１０における仮想レンズアレイ２２０用パラメータの入力画面を示す模式図である。
図４に示される例において、表示部１１の表示領域１１１には、仮想レンズアレイ２２０（図１）の属性として「１」〜「６」までの６項目の情報を設定可能に示している。

項目「１」は、仮想レンズアレイ２２０を構成する要素レンズ２２−１〜２２−Ｎの焦点距離の入力を受け付けて設定するための項目である。要素レンズ２２−１〜２２−Ｎの焦点距離は、光線の出射角及び入射角に影響する属性であり、ＩＰ立体映像表示装置３０により表示される立体像５０の視域及び解像度に影響する。項目「２」は、仮想レンズアレイ２２０を構成する要素レンズ２２−１〜２２−Ｎの数の入力を受け付けて設定するための項目である。図４に示される例において、要素レンズ２２−１〜２２−Ｎについて、水平方向のレンズ数と、垂直方向のレンズ数とが指定可能に示されている。

項目「３」は、仮想レンズアレイ２２０を構成する要素レンズ２２−１〜２２−Ｎ各々の間隔の入力を受け付けて設定するための項目である。項目「４」は、仮想レンズアレイ２２０を構成する要素レンズ２２−１〜２２−Ｎの配列の指定を受け付けて設定するための項目である。図４に示される例において、項目「４」では、仮想レンズアレイ２２０の配列として、「デルタ配列」と「正方配列」とが指定可能に示されている。

項目「５」は、仮想レンズアレイ２２０と仮想撮像素子２１０との位置関係を調整するための項目である。具体的には、項目「５」は、例えば、仮想レンズアレイ２２０と、仮想撮像素子２１０との距離を、任意の距離に設定可能とするための項目である。仮想レンズアレイ２２０と仮想撮像素子２１０との距離を要素レンズ２２−１〜２２−Ｎの焦点距離に比して短く設定した場合、ＩＰ立体映像表示装置３０が表示する立体像５０は、仮想レンズアレイ２２０に対して表示素子３１０側の像がより鮮明になる。また、仮想レンズアレイ２２０と仮想撮像素子２１０との距離を要素レンズ２２−１〜２２−Ｎの焦点距離に比して長く設定した場合、ＩＰ立体映像表示装置３０が表示する立体像５０は、仮想レンズアレイ２２０に対して表示素子３１０と反対側の像がより鮮明になる。また、最も鮮明になる奥行き位置は仮想レンズアレイ２００と撮像素子２１０との距離によって異なる。

項目「６」は、要素画像２１−１〜２１−Ｎの形状についての入力を受け付けて設定するための項目である。要素画像２１−１〜２１−Ｎの形状は、要素レンズ２２−１〜２２−Ｎの形状に大きく依存するため、項目「６」は、要素レンズ２２−１〜２２−Ｎの形状についての入力を受け付けて設定するための項目でもある。図４に示される例では、項目「６」は、要素画像２１−１〜２１−Ｎの形状として、「円」、「六角形」、「正方形」、又は「長方形」等のいずれかを指定可能に示している。
なお、上述した項目「１」〜項目「６」は、基本的に、ＩＰ立体映像表示装置３０の属性と対応させて設定されるが、ＩＰ立体映像表示装置３０の属性とは異なる値に設定されてもよい。

次に、図５を参照して、画像生成装置１０の動作について説明する。
図５は、画像生成装置１０の制御部１５（図３）による処理の流れを示すフローチャートである。
（ステップＳ１０１）まず、制御部１５のレンダリング処理部１５４（図３）は、光線方向記憶部１４４に光線方向情報が記憶されているか否かを判定する。光線方向記憶部１４４に光線方向情報が記憶されている場合（ステップＳ１０１；ＹＥＳ）、制御部１５は、ステップＳ１０７に処理を進める。また、光線方向記憶部１４４に光線方向情報が記憶されていない場合（ステップＳ１０１；ＮＯ）、制御部１５は、ステップＳ１０２に処理を進める。
（ステップＳ１０２）次に、制御部１５のレンズ処理部１５２（図３）は、仮想撮像素子２１０の各々の画素についてステップＳ１０３〜Ｓ１０６の処理を実行する。レンズ処理部１５２は、未処理の画素がなくなるまでステップＳ１０３〜Ｓ１０６の処理を繰り返す。その後、レンズ処理部１５２は、図５に示される処理を終了する。

（ステップＳ１０３）次に、レンズ処理部１５２は、仮想レンズアレイ２２０を構成する要素レンズ２２−１〜２２−Ｎのうち、計算対象の画素に対応する要素レンズを特定する。計算対象の画素に対応する要素レンズとは、計算対象の画素から追跡される光線（以下、「画素対応光線」という。）を透過する要素レンズである。レンズ処理部１５２は、例えば、要素レンズ２２−１〜２２−Ｎのうち、その主点と計算対象の画素との距離が最も近い要素レンズを計算対象の画素に対応する要素レンズとして特定する。その後、レンズ処理部１５２は、ステップＳ１０４に処理を進める。
（ステップＳ１０４）次に、レンズ処理部１５２は、仮想レンズアレイ属性記憶部１４３（図３）に記憶されている仮想レンズアレイ属性情報を参照して、仮想レンズアレイ２２０の主面の中心座標から計算対象の画素に対応する要素レンズの位置を算出する。その後、レンズ処理部１５２は、ステップＳ１０５に処理を進める。

（ステップＳ１０５）次に、レンズ処理部１５２は、要素レンズの中心と、計算対象の画素との位置関係から、要素レンズ透過時における画素対応光線の方向と透過位置とを演算する。その後、レンズ処理部１５２は、ステップＳ１０６に処理を進める。
（ステップＳ１０６）次に、レンズ処理部１５２は、計算対象の画素の識別情報と、ステップＳ１０５において演算した画素対応光線の方向及び透過位置とを対応付け、この対応関係を示す光線方向情報を光線方向記憶部１４４（図３）に記憶させる。
（ステップＳ１０７）次に、レンダリング処理部１５４は、光線方向記憶部１４４から読み出した光線方向情報と、オブジェクト属性記憶部１４５から取得したオブジェクト属性情報を読み出し、光線追跡法によりオブジェクト４０をレンダリングしてＩＰ画像の画像データを生成する。そして、制御部１５は、図５に示される処理を終了する。

なお、画素対応光線の方向は、例えば、２つの角度により表される。この２つの角度は、例えば、仮想撮像素子２１０の仮想撮像面に平行でそれぞれが直行する２つの軸Ｘ及びＹと、仮想撮像素子２１０の仮想撮像面に垂直な軸Ｚとによる直交３軸座標系を基準とした場合、画素対応光線がＺＸ方向になす角度と、ＺＹ方向になす角度とにより表される。
なお、画素対応光線の透過位置は、例えば、上述した直交３軸座標系における座標により表される。

以上説明したように、本実施形態に係る画像生成装置１０は、３次元仮想空間内に配置され、仮想撮像素子２１０と仮想レンズアレイ２２０とを備える仮想カメラ２０によって仮想的に撮像されるオブジェクト４０のＩＰ画像の画像データを生成する。
これにより、画像生成装置１０は、仮想カメラ２０とオブジェクト４０との位置関係が変化した場合であっても、仮想カメラ２０内の仮想撮像素子２１０と仮想レンズアレイ２２０との位置関係は変化しないため、仮想カメラ２０内部における光線の屈折のしかた等を改めて計算しなくてよい。例えば、複数フレームのレンダリングを行う場合であっても、画像生成装置１０は、最初の１回のみ計算を行えばよい。従って、画像生成装置１０は、少ない計算量でＩＰ画像の画像データを生成することができる。

（第２の実施形態）
本発明の第２の実施形態について説明する。
上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
まず、図６を参照して、本実施形態の概要について説明する。
図６は、本実施形態に係る画像生成装置１０ａ（図７）による処理の概念図である。
画像生成装置１０ａは、第１の実施形態に係る画像生成装置１０（図３）と同様に仮想空間内のオブジェクトをレンダリングしてＩＰ画像の画像データを生成する装置である。ただし、画像生成装置１０は、仮想撮像素子２１０及び仮想レンズアレイ２２０を備える仮想カメラ２０が仮想的に撮像したＩＰ画像の画像データを生成するのに対し、画像生成装置１０ａは、仮想奥行き制御レンズ２３０、仮想レンズアレイ２２０、及び仮想撮像素子２１０を備える仮想カメラ２０ａが仮想的に撮像したＩＰ画像の画像データを生成する。

なお、奥行き制御レンズとは、ＩＰ画像の撮像において、レンズアレイを挟んで撮像素子の反対側に配置されるレンズである。通常、レンズアレイよりも撮像面側に被写体を置いて撮像することはできないため、ＩＰ立体映像表示装置の表示面から突出した立体像の情報を取得することはできない。しかしながら、奥行き制御レンズを用いることで、被写体の光学像の位置を撮像面付近にシフトすることができるため、レンズアレイよりも撮像面側に被写体を配置して撮像したと仮定した場合と同じ光線空間を等価的に取得することができる。このように、奥行き制御レンズは、再生像の奥行き位置を調節することができる。上述した機能は、仮想空間においても同様であり、画像生成装置１０ａは、仮想奥行き制御レンズ２３０を備えた仮想カメラ２０ａが仮想的に撮像するＩＰ画像の画像データを生成することにより、ＩＰ立体映像表示装置３０が表示する立体像５０の奥行き位置を調節することができる。

次に、図７を参照して、画像生成装置１０ａの構成について説明する。
図７は、画像生成装置１０ａの概略機能構成を示すブロック図である。
画像生成装置１０ａは、画像生成装置１０（図３）における記憶部１４（図３）に代えて記憶部１４ａを含んで構成される。また、画像生成装置１０ａは、画像生成装置１０における制御部１５（図３）に代えて制御部１５ａを含んで構成される。

記憶部１４ａは、記憶部１４における仮想カメラ属性記憶部１４１（図３）に代えて仮想カメラ属性記憶部１４１ａとして機能する。仮想カメラ属性記憶部１４１ａは、仮想カメラ属性記憶部１４１と同様に、仮想撮像素子属性記憶部１４２、仮想レンズアレイ属性記憶部１４３、及び光線方向記憶部１４４として機能することに加え、仮想奥行き制御レンズ属性記憶部１４７として機能する。
仮想奥行き制御レンズ属性記憶部１４７は、仮想奥行き制御レンズ２３０（図６）の属性を表す仮想奥行き制御レンズ属性情報を記憶する。仮想奥行き制御レンズ属性情報が表す仮想奥行き制御レンズ２３０の属性は、例えば、仮想奥行き制御レンズ２３０の直径、仮想奥行き制御レンズ２３０の撮像素子側及び被写体側の焦点距離、及び仮想奥行き制御レンズ２３０の主点の位置、仮想奥行き制御レンズ２３０の枚数等である。

制御部１５ａは、制御部１５におけるレンズ処理部１５２（図３）に代えてレンズ処理部１５２ａとして機能する。
レンズ処理部１５２ａは、仮想レンズアレイ処理部１５３（図３）に代えて仮想レンズアレイ処理部１５３ａとして機能することに加え、仮想奥行き制御レンズ処理部１５７として機能する。

仮想レンズアレイ処理部１５３ａは、仮想レンズアレイ処理部１５３（図３）と同様に、仮想撮像素子２１０に入射する光線が仮想レンズアレイ２２０を透過するときの屈折のしかたを、仮想カメラ属性記憶部１４１ａの仮想レンズアレイ属性記憶部１４３から読み出す仮想レンズアレイ属性情報に基づいて演算する。仮想レンズアレイ処理部１５３ａは、演算した仮想レンズアレイ２２０における光線の屈折のしかたを示す情報を仮想奥行き制御レンズ処理部１５７に出力する。

仮想奥行き制御レンズ処理部１５７は、仮想撮像素子２１０に入射する光線が仮想奥行き制御レンズ２３０を透過するときの屈折のしかたを、仮想カメラ属性記憶部１４１ａの仮想奥行き制御レンズ属性記憶部１４７から読み出す仮想奥行き制御レンズ属性情報に基づいて演算する。仮想奥行き制御レンズ処理部１５７は、演算された仮想奥行き制御レンズ２３０における光線の屈折のしかたと、仮想レンズアレイ処理部１５３ａから取得した仮想レンズアレイ２２０における光線の屈折のしかたとに基づいて、仮想撮像素子２１０の各々の画素に対応する光線の方向を演算し、仮想撮像素子２１０の各々の画素と、光線の方向との対応関係を光線方向記憶部１４４に記憶させる。

次に、図８を参照して、表示部１１が表示する仮想カメラ２０ａ（図６）の属性を入力するためのユーザインターフェイスについて説明する。
図８は、画像生成装置１０ａにおける仮想奥行き制御レンズ２３０用パラメータの入力画面を示す模式図である。
図８に示される例において、表示部１１の表示領域１１２には、仮想奥行き制御レンズ２３０（図６）の属性として「１」〜「３」までの３項目の情報を設定可能に示している。
項目「１」は、仮想奥行き制御レンズ２３０の焦点距離の入力を受け付けて設定するための項目である。項目「２」は、仮想奥行き制御レンズ２３０の大きさの入力を受け付けて設定するための項目である。項目「３」は、仮想奥行き制御レンズ２３０と仮想レンズアレイ２２０との距離の入力を受け付けて設定するための項目である。
なお、仮想カメラ２０ａに複数枚の仮想奥行き制御レンズ２３０を含ませる場合、画像生成装置１０ａは、上述した項目「１」〜「３」を、複数枚の仮想奥行き制御レンズ２３０各々について設定可能に示してもよい。

次に、図９を参照して、画像生成装置１０ａ（図７）の動作について説明する。
図９は、画像生成装置１０ａの制御部１５（図７）による処理の流れを示すフローチャートである。
図９に示されるステップＳ２０１〜Ｓ２０９の処理のうち、ステップＳ２０１、Ｓ２０３〜Ｓ２０５、Ｓ２０８、Ｓ２０９の処理は、それぞれ、図５に示されるステップＳ１０１、Ｓ１０３〜Ｓ１０５、Ｓ１０６、Ｓ１０７と同様であるため、説明を援用する。
（ステップＳ２０２）制御部１５ａのレンズ処理部１５２ａ（図７）は、仮想撮像素子の全ての画素についてステップＳ２０３〜Ｓ２０８の処理を実行する。レンズ処理部１５２ａは、未処理の画素がなくなるまで、ステップＳ２０３〜Ｓ２０８の処理を繰り返す。その後、制御部１５ａは、ステップＳ２０９に処理を進める。

（ステップＳ２０６）レンズ処理部１５２ａは、仮想カメラ２０ａが備える各仮想奥行き制御レンズについてステップＳ２０７の処理を実行する。レンズ処理部１５２ａは、未処理の仮想奥行き制御レンズがなくなるまでステップＳ２０７の処理を繰り返す。その後、制御部１５ａは、ステップＳ２０８に処理を進める。
（ステップＳ２０７）次に、レンズ処理部１５２ａは、仮想奥行き制御レンズの中心位置と、前の仮想レンズ透過時における画素対応光線の位置との位置関係、及び、画素対応光線の前のレンズ透過時における方向から、仮想奥行き制御レンズ透過時における画素対応光線の方向と透過位置とを演算する。
（ステップＳ２０８）次に、レンズ処理部１５２ａは、ステップＳ１０６（図５）におけるレンズ処理部１５２と同様に、計算対象の画素の識別情報と、ステップＳ２０６において演算した画素対応光線の方向及び透過位置とを対応付け、この対応関係を示す光線方向情報を光線方向記憶部１４４（図７）に記憶させる。

以上説明したように、本実施形態に係る画像生成装置１０ａは、３次元仮想空間内に配置され、仮想撮像素子２１０、仮想レンズアレイ２２０、及び仮想奥行き制御レンズ２３０を備える仮想カメラ２０によって仮想的に撮像されるオブジェクト４０のＩＰ画像の画像データを生成する。
これにより、画像生成装置１０ａは、画像生成装置１０と同様に、仮想カメラ２０ａとオブジェクト４０との位置関係が変化した場合であっても、仮想カメラ２０ａ内の仮想撮像素子２１０と仮想レンズアレイ２２０との位置関係は変化しないため、仮想カメラ２０内部における光線の屈折のしかた等を改めて計算しなくてよい。従って、画像生成装置１０ａは、少ない計算量でＩＰ画像の画像データを生成することができる。また、画像生成装置１０ａは、仮想奥行き制御レンズ２３０における屈折のしかたを演算するため、ＩＰ立体映像表示装置３０に表示させたときに、その表示画面の手前に突出する立体像５０を再生するためのＩＰ画像の画像データを生成することができる。

（第３の実施形態）
本発明の第３の実施形態について説明する。
本実施形態では、第２の実施形態に係る画像生成装置１０ａにおいて、特定の設定を用いる態様について説明する。従って、以下では、本実施形態の各構成には、第２の実施形態と同一の符号を付し、説明を援用する。

ＩＰ方式では撮像時と表示時において奥行き情報の反転が起こることを防止するために、撮像時のレンズアレイを構成する各要素レンズを凹レンズにすること、波長の３／４周期のＧＲＩＮレンズの機能を有するレンズアレイにすること、又はレンズアレイの各要素レンズによって取得される要素画像に対して画像の反転処理をすることが行われている。本実施形態に係る画像生成装置１０ａのレンズ処理部１５２ａ（図７）は、仮想カメラ２０ａが備える仮想レンズアレイ２２０の各要素レンズ２２−１〜２２−Ｎの主点と仮想撮像素子２１０の各画素とを結ぶ光線について、各要素レンズ２２−１〜２２−Ｎの主点を通る光軸を基準として１８０回転させた方向を、各光線が各要素レンズ２２−１〜２２−Ｎの主点を通った後の方向として演算する。この演算により、画像生成装置１０ａは、光線の方向について、上記の凹レンズ及び３／４周期のＧＲＩＮレンズと光学的に等価な演算結果を得ることができるため、ＩＰ立体映像表示装置３０での表示時において、立体像５０の奥行きが反転することを防止することができる。

また、本実施形態に係る画像生成装置１０ａの仮想奥行き制御レンズ属性記憶部１４７は、４ｆ光学系を構成する２枚の仮想奥行き制御レンズ２３０−１、２３０−２の属性を表す仮想奥行き制御レンズ属性情報を記憶する。
図１０を参照して、４ｆ光学系について説明する。
図１０に示される例において、２枚の同一の属性を有する仮想奥行き制御レンズ２３０−１、２３０−２、及び仮想レンズアレイ２２０がそれぞれの光軸を一致させて、仮想撮像素子２１０の仮想撮像面と平行に配置されている。仮想撮像素子２１０と仮想レンズアレイ２２０との間の距離は、仮想レンズアレイ２２０の要素レンズの焦点距離ｆである。２枚の仮想奥行き制御レンズ２３０−１と２３０−２との間の距離は、それぞれの焦点距離ｆ１の２倍（２×ｆ１）である。すなわち、２枚の仮想奥行き制御レンズ２３０−１と２３０−２とは、それぞれの焦平面を平面Ａ１において一致させて配置される。また、仮想撮像素子２１０に近い仮想奥行き制御レンズ２３０−１と、仮想レンズアレイ２２０との間の距離は、焦点距離ｆ１である。４ｆ光学系では、奥行き位置の圧縮が行われないため、仮想奥行き制御レンズ２３０−１の右側の焦平面Ａ２と仮想奥行き制御レンズ２３０−２の左側の焦平面Ａ３とでは、仮想奥行き制御レンズ２３０−１、２３０−２を透過する光線について、光学的に等価な光線を取得することができる。図１０に示される例において、仮想奥行き制御レンズ２３０−１の右側の焦平面Ａ２には、仮想レンズアレイ２２０が配置されているため、仮想レンズアレイ２２０が焦平面Ａ３に配置されていることと、光学的に等価である。

従って、図１０に示される４ｆ光学系を備える仮想カメラ２０ａにおいて、オブジェクト４０（図６）を仮想カメラ２０ａ（図６）の外側に配置する場合、焦平面Ａ３（図１０）を基準として仮想カメラ２０ａに近いオブジェクト４０の部分は、ＩＰ立体映像表示装置３０（図６）に表示させたときに、ＩＰ立体映像表示装置３０の表示面より突出する。また、焦平面Ａ３を基準として仮想カメラ２０ａから遠いオブジェクト４０の部分は、ＩＰ立体映像表示装置３０に表示させたときに、ＩＰ立体映像表示装置３０の表示面より奥まる。

本実施形態に係る画像生成装置１０ａの表示処理部１５１は、仮想空間内におけるオブジェクト４０の位置の入力をユーザから受け付けるときに、仮想空間内における焦平面Ａ２を表す補助的な線又は面を表示する機能を有する。これにより、ユーザは、仮想レンズアレイ２２０に対するオブジェクト４０の奥行き位置を容易に把握することができる。

次に、図１１から図１４を参照して、画素対応光線の方向の演算方法の具体例について説明する。
図１１から図１３は、それぞれ、画像生成装置１０、１０ａによる画素対応光線の方向の演算方法を説明するための図である。また、図１１から図１３は、図１０に示す仮想的な４ｆ光学系における画素対応光線の一例を示す。

以下では、一例として、画素対応光線のＸＺ方向の演算について説明するが、ＹＺ方向についても同様に演算することができる。ＸＺ方向は、画素対応光線がＸＺ平面において、Ｚ軸となす角度により表される。なお、図１１から図１３に示される図において、仮想空間における座標軸は図１０に示される座標軸と同一である。図１０から図１３に示される例において、仮想レンズアレイ２２０の要素レンズは、半径Ｌｘ１、焦点距離ｆのレンズであり、ピッチ間隔Ｄで配列されている。また、図１０〜図１３に示される例において、仮想奥行き制御レンズ２３０−１、２３０−２は、半径ＤＬｘ、焦点距離ｆ１のレンズである。

まず、図１１を参照して、仮想レンズアレイ２２０（図１０）を透過する画素対応光線の方向の演算について説明する。
図１１は、図１０に示される仮想レンズアレイ２２０を透過する画素対応光線の一例を示す。
図１１に示される例において、仮想撮像素子２１０の画素２１１−１に、仮想レンズアレイ２２０の要素レンズ２２−１が対応している。従って、画素２１１−１の画素対応光線６１は、画素２１１−１から要素レンズ２２−１の主点２２１−１の方向に進む。そして、画素２１１−１の画素対応光線６１は、要素レンズ２２−１では屈折せずに直進する。従って、仮想レンズアレイ２２０において、画素２１１−１の画素対応光線の透過位置の座標（ｔｘ２，ｔｚ２）及び方向（ｔｄｘ２）は、画素２１１−１の位置（ｔｘ１，ｔｚ１）及び要素レンズ２２−１の主点２２１−１の位置（Ｌｘ１，ｆ）に基づいて、以下の式（１）〜（３）により表される。

レンズ処理部１５２ａは、上述の式（１）〜（３）に基づいて、仮想レンズアレイ２２０の主面における画素対応光線の透過位置及び方向を演算する。レンズ処理部１５２ａは、演算結果を示す光線方向情報を光線方向記憶部１４４に記憶させる。
なお、レンズ処理部１５２ａは、画素２１１−１の位置（ｔｘ１，ｔｚ１）を、仮想撮像素子属性記憶部１４２に記憶されている仮想撮像素子属性情報に基づいて取得する。また、レンズ処理部１５２ａは、要素レンズ２２−１の主点２２１−１の位置（Ｌｘ１，ｆ）を仮想レンズアレイ属性記憶部１４３に記憶されている仮想レンズアレイ属性情報に基づいて取得する。

なお、図１０〜図１３に示される例において、仮想レンズアレイ２２０のピッチはＤである。従って、レンズ処理部１５２ａは、要素レンズ２２−１に隣接する要素レンズ２２−２を透過する画素対応光線については、要素レンズ２２−２の主点の位置（ｔｘ１＋Ｄ，ｔｚ１）に基づいて、その透過位置及び方向を演算する。このように、レンズ処理部１５２ａは、仮想撮像素子２１０の各画素の画素対応光線について、仮想レンズアレイ２２０の主面における画素対応光線の透過位置及び方向を演算し、当該演算結果を示す光線方向情報を光線方向記憶部１４４に記憶させる。

次に、図１２を参照して、仮想奥行き制御レンズ２３０−１（図１０）を透過する画素対応光線の方向の演算について説明する。
図１２は、図１０に示される仮想奥行き制御レンズ２３０−１を透過する画素対応光線の一例を示す。
仮想レンズアレイ２２０の要素レンズ２２−１から射出した画素２１１−１（図１１）の画素対応光線６１は、仮想奥行き制御レンズ２３０−１に入射する。このとき、画素２１１−１の画素対応光線６１は、仮想奥行き制御レンズ２３０−１の主面と、点２３２−１において交わる。そして、画素２１１−１の画素対応光線６１は、仮想奥行き制御レンズ２３０−１により屈折して、点７１の方向に進む。点７１は、仮想奥行き制御レンズ２３０−１の左側の焦平面Ａ１と、直線６２との交点である。直線６２は、仮想奥行き制御レンズ２３０−１に入射する画素対応光線６１に平行な直線であって、仮想奥行き制御レンズ２３０−１の主点２３１−１を通る直線である。従って、仮想奥行き制御レンズ２３０−１の主面における画素２１１−１の画素対応光線６１の透過位置の座標（ｔｘ３，ｔｚ３）及び方向（ｔｄｘ３）は、画素対応光線６１の仮想レンズアレイ２２０の主面における透過位置（ｔｘ２、ｔｚ２）及び方向（ｔｄｘ２）と、仮想奥行き制御レンズ２３０の主点の位置（ＤＬｘ、ｔｚ２＋ｆ１）とに基づいて、以下の式（４）〜（６）により表される。

レンズ処理部１５２ａは、上述の式（４）〜（６）に基づいて、仮想奥行き制御レンズ２３０−１の主面における画素対応光線の透過位置及び方向を演算する。レンズ処理部１５２ａは、演算結果を示す光線方向情報を光線方向記憶部１４４に記憶させる。このとき、レンズ処理部１５２ａは、仮想レンズアレイ２２０の主面における画素対応光線の透過位置及び方向についての光線方向情報を、仮想奥行き制御レンズ２３０−１の主面における画素対応光線の透過位置及び方向についての光線方向情報で上書きしてもよい。

次に、図１３を参照して、仮想奥行き制御レンズ２３０−２（図１０）を透過する画素対応光線の方向の演算について説明する。
図１３は、図１０に示される仮想奥行き制御レンズ２３０−２を透過する画素対応光線の一例を示す。
仮想奥行き制御レンズ２３０−１から射出した画素２１１−１（図１１）の画素対応光線６１は、仮想奥行き制御レンズ２３０−２に入射する。このとき、画素２１１−１の画素対応光線６１は、仮想奥行き制御レンズ２３０−２の主面と、点２３２−２において交わる。そして、画素２１１−１の画素対応光線６１は、仮想奥行き制御レンズ２３０−２により屈折して、点７２の方向に進む。点７２は、仮想奥行き制御レンズ２３０−２の左側の焦平面Ａ３と、直線６３との交点である。直線６３は、仮想奥行き制御レンズ２３０−２に入射する画素対応光線６１に平行な直線であって、仮想奥行き制御レンズ２３０−２の主点２３１−２を通る直線である。従って、仮想奥行き制御レンズ２３０−２における画素２１１−１の画素対応光線６１の透過位置の座標（ｔｘ４，ｔｚ４）及び方向（ｔｄｘ４）は、画素対応光線６１の仮想奥行き制御レンズ２３０−１の主面における透過位置（ｔｘ３、ｔｚ３）及び方向（ｔｄｘ３）と、仮想奥行き制御レンズ２３０−２の主点の位置（ＤＬｘ、ｔｚ３＋２ｆ１）とに基づいて、以下の式（７）〜（９）により表される。

レンズ処理部１５２ａは、上述の式（７）〜（９）に基づいて、仮想奥行き制御レンズ２３０−２の主面における画素対応光線の透過位置及び方向を演算する。レンズ処理部１５２ａは、演算結果を示す光線方向情報を光線方向記憶部１４４に記憶させる。このとき、レンズ処理部１５２ａは、仮想奥行き制御レンズ２３０−１の主面における画素対応光線の透過位置及び方向についての光線方向情報を、仮想奥行き制御レンズ２３０−２の主面における画素対応光線の透過位置及び方向についての光線方向情報で上書きしてよい。
なお、各レンズ（仮想レンズアレイ２２０、仮想奥行き制御レンズ２３０−１、仮想奥行き制御レンズ２３０−２）における画素対応光線の透過位置の演算結果が、各レンズの外側であり、当該レンズを透過しない場合、レンダリング処理部１５４ａは、その画素対応光線に対応する画素については出力がないものとして処理する。

図１４は、図１０に示される仮想的な４ｆ光学系における各レンズ（仮想レンズアレイ２２０、仮想奥行き制御レンズ２３０−１、仮想奥行き制御レンズ２３０−２）に対応する光線方向情報の例を示す図である。
図１４に示される例において、光線方向情報は、画素識別情報（画素ＩＤ）、入力Ｘ座標情報（入力Ｘ座標）、入力Ｙ座標情報（入力Ｙ座標）、入力Ｚ座標情報（入力Ｚ座標）、入力ＺＸ角情報（入力ＺＸ角）、入力ＺＹ角情報（入力ＺＹ角）、出力Ｘ座標情報（出力Ｘ座標）、出力Ｙ座標情報（出力Ｙ座標）、出力Ｚ座標情報（出力Ｚ座標）、出力ＺＸ角情報（出力ＺＸ角）、及び出力ＺＹ角情報（出力ＺＹ角）を含み、これらを対応付けて構成される。このうち、入力Ｘ座標情報、入力Ｙ座標情報、入力Ｚ座標情報、入力ＺＸ角情報、及び入力ＺＹ角情報は、各レンズにおける屈折のしかたを演算するために用いる入力情報であり、出力Ｘ座標情報、出力Ｙ座標情報、出力Ｚ座標情報、出力ＺＸ角情報、及び出力ＺＹ角情報は、当該入力情報に基づく各レンズにおける屈折のしかたの演算結果を示す出力情報である。なお、光線方向記憶部１４４には、入力情報は記憶されなくてもよい。

画素識別情報は、仮想撮像素子２１０（図１０）が有する各画素を識別するための識別情報である。
入力Ｘ座標情報は、画素識別情報が示す画素に対応する画素対応光線の射出元の位置のＸ座標を表す情報である。
入力Ｙ座標情報は、画素識別情報が示す画素に対応する画素対応光線の射出元の位置のＹ座標を表す情報である。
入力Ｚ座標情報は、画素識別情報が示す画素に対応する画素対応光線の射出元の位置のＺ座標を表す情報である。
入力ＺＸ角情報は、画素識別情報が示す画素に対応する画素対応光線の射出元の位置において、当該画素対応光線がＺＸ平面においてＺ軸となす角度を表す情報である。
入力ＺＹ角情報は、画素識別情報が示す画素に対応する画素対応光線の射出元の位置において、当該画素対応光線がＺＹ平面においてＺ軸となす角度を表す情報である。なお、本実施形態において、射出元の位置が仮想撮像素子２１０である場合、入力ＺＸ角情報及び入力ＺＹ角情報は、ＮＵＬＬ（−）とする。

出力Ｘ座標情報は、画素識別情報が示す画素に対応する画素対応光線について、そのレンズにおける透過位置のＸ座標を表す情報である。
出力Ｙ座標情報は、画素識別情報が示す画素に対応する画素対応光線について、そのレンズにおける透過位置のＹ座標を表す情報である。
出力Ｚ座標情報は、画素識別情報が示す画素に対応する画素対応光線について、そのレンズにおける透過位置のＺ座標を表す情報である。
出力ＺＸ角情報は、画素識別情報が示す画素に対応する画素対応光線が、そのレンズからの射出時に、ＺＸ平面においてＺ軸となす角度を表す情報である。
出力ＺＹ角情報は、画素識別情報が示す画素に対応する画素対応光線が、そのレンズからの射出時に、ＺＹ平面においてＺ軸となす角度を表す情報である。

図１４（ａ）、（ｂ）、（ｃ）は、それぞれ、仮想レンズアレイ２２０（図１０）、仮想奥行き制御レンズ２３０−１（図１０）、仮想奥行き制御レンズ２３０−２（図１０）の主面における画素対応光線の透過位置及び方向を示す光線方向情報を示す。
図１４（ａ）に示される光線方向情報の出力情報は、図１１を参照して説明した仮想レンズアレイ２２０の主面における画素対応光線についての演算結果を示す。仮想レンズアレイ２２０に入射する画素対応光線は、仮想撮像素子２１０から射出するため、入力Ｘ座標情報、入力Ｙ座標情報、及び入力Ｚ座標情報の値は、それぞれ、各画素の座標の値である。また、入力ＺＸ角情報及び入力ＺＹ角情報の値は、いずれの画素についてもＮＵＬＬ（−）である。

図１４（ｂ）に示される光線方向情報の出力情報は、図１２を参照して説明した仮想奥行き制御レンズ２３０−１の主面における画素対応光線についての演算結果を示す。仮想奥行き制御レンズ２３０−１に入射する画素対応光線は、仮想レンズアレイ２２０から射出するため、入力情報は、図１４（ａ）に示される出力情報に対応する。
図１４（ｃ）に示される光線方向情報の出力情報は、図１３を参照して説明した仮想奥行き制御レンズ２３０−２の主面における画素対応光線についての演算結果を示す。仮想奥行き制御レンズ２３０−２に入射する画素対応光線は、仮想レンズアレイ２２０から射出するため、入力情報は、図１４（ｂ）に示される出力情報に対応する。

動画の場合、被写体が移動したり変形したりするように、カメラも移動したり焦点距離を変える。そして、ＩＰ画像を撮影可能なカメラの場合は、再生像の奥行き位置を変える場合がある。この処理を画像生成装置１０ａにより行う場合、仮想カメラ２０ａでは、仮想奥行き制御レンズ２３０の位置が変わるが、仮想撮像素子２１０から仮想レンズアレイ２２０までの画素対応光線についての演算結果を記憶しておくことにより、仮想レンズアレイ２２０における画素対応光線の屈折のしかたの演算を省略し、仮想奥行き制御レンズ２３０の位置変更に対する演算のみで再生像の奥行き位置の変更に対応することができる。つまり、画像生成装置１０ａは、仮想カメラ２０ａの各レンズについての光線方向情報を光線方向記憶部１４４に記憶しておくことにより、仮想カメラ２０ａ内のレンズの位置が変更された場合でも、少ない計算量でＩＰ画像の画像データを生成することができる。

また、例えば、撮像と表示との両者に液晶レンズを用いた液晶レンズアレイにより実現可能であるように、撮像と表示との両者のレンズアレイが連動して焦点距離を変更できる場合、仮想撮像素子２１０の各画素と仮想レンズアレイ２２０の要素レンズ２２−１〜２２−Ｎとの対応関係を記録しておけば、焦点距離の違いによる光線方向の違いのみを演算すればよい。つまり、画像生成装置１０、１０ａは、仮想レンズアレイ属性記憶部１４３に、例えば、仮想撮像素子２１０の各画素の識別情報と、要素レンズの識別情報とを対応付けて記憶することにより、少ない計算量でＩＰ画像の画像データを生成することができる。

なお、上述の各実施形態において、仮想レンズアレイ属性記憶部１４３が記憶する仮想レンズアレイ２２０の要素レンズ２２−１〜２２−Ｎの配列は、デルタ配置でも正方配列でもよい。また、仮想レンズアレイ属性記憶部１４３が記憶する仮想レンズアレイ２２０の種類は、２次元上に要素レンズを配列したレンズアレイだけでなく、水平方向に縦長のレンチキュラーレンズを配列したものであってもよい。

なお、上述した各実施形態において、画像生成装置１０、１０ａが仮想カメラ２０、２０ａに含ませる仮想的なレンズの枚数は任意であってよい。例えば、画像生成装置１０ａは、仮想奥行き制御レンズ２３０を仮想カメラ２０ａに３枚以上の複数枚含ませてもよい。

なお、上述した各実施形態において、仮想空間内に配置されるオブジェクト４０の数は、複数であってもよい。オブジェクト４０は、例えば、仮想的なレンズ等であってもよい。
なお、上述した各実施形態において、例示した仮想カメラ２０、２０ａの各種属性は、あくまで一例であり、その他の属性を含んでもよい。
なお、上述した各実施形態において、オブジェクト属性取得部１５５は、オブジェクト属性記憶部１４５からオブジェクト属性情報を読み出すことによりオブジェクト属性情報を取得したが、オブジェクト属性取得部１５５によるオブジェクト属性情報は、別の経路で取得されてもよい。例えば、オブジェクト属性取得部１５５は、画像生成装置１０、１０ａと通信可能な外部装置から、通信を介して、オブジェクト属性情報を取得してもよい。

なお、上述した各実施形態において、光線方向記憶部１４４が記憶する光線方向情報は、仮想カメラ２０、２０ａが備える仮想レンズのうち、仮想撮像素子２１０から最も遠い仮想レンズにおける画素対応光線の方向を表すとしたが、光線方向情報は、仮想カメラ２０、２０ａが備える別の仮想レンズにおける画素対応光線の方向を表してもよい。例えば、画像生成装置１０ａにおいて、光線方向情報は、仮想レンズアレイ２２０における画素対応光線の方向を表してもよい。ただし、仮想撮像素子２１０から遠い仮想レンズを透過する方向を表す光線方向情報を光線方向記憶部１４４に記憶させた場合の方が、仮想カメラ２０、２０ａ内における光線の屈折のしかたを演算する量が少なくなるため望ましい。

なお、上述した実施形態における画像生成装置１０、１０ａの一部、例えば、制御部１５、１５ａなどをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像生成装置１０、１０ａに内蔵されたコンピュータシステムであって、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよい。

また、上述した実施形態における画像生成装置１０、１０ａの一部、又は全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像生成装置１０、１０ａの各機能部は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１０、１０ａ…画像生成装置、１１…表示部、１２…入力部、１３…通信部、１４、１４ａ…記憶部、１４１…仮想カメラ属性記憶部、１４２…仮想撮像素子属性記憶部、１４３…仮想レンズアレイ属性記憶部、１４４…光線方向記憶部、１４５…オブジェクト属性記憶部、１４６…映像信号記憶部、１４７…仮想奥行き制御レンズ属性記憶部、１５、１５ａ…制御部、１５１…表示処理部、１５２、１５２ａ…レンズ処理部、１５３…仮想レンズアレイ処理部、１５４…レンダリング処理部、１５５…オブジェクト属性取得部、１５６…映像信号出力部、１５７…仮想奥行き制御レンズ処理部、２０、２０ａ…仮想カメラ、２１０…仮想撮像素子、２１−１〜２１−Ｎ…要素画像、２２０…仮想レンズアレイ、２２−１〜２２−Ｎ…要素レンズ、３０…ＩＰ立体映像表示装置、３１０…表示素子、３２０…レンズアレイ、４０…オブジェクト、５０…立体像

Claims (6)

1. 仮想空間内のオブジェクトのインテグラルフォトグラフィ画像を生成する画像生成装置であって、
   前記仮想空間内における前記オブジェクトの位置を含むオブジェクト属性情報を取得するオブジェクト属性取得部と、
   前記仮想空間内に存在する仮想レンズアレイの位置及び屈折特性を少なくとも含む仮想レンズアレイ属性情報と、前記仮想空間内に存在する仮想撮像素子の位置を少なくとも含む仮想撮像素子属性情報とを記憶する仮想カメラ属性記憶部と、
   前記仮想撮像素子に入射する光線が前記仮想レンズアレイを透過するときの屈折のしかたを、前記仮想カメラ属性記憶部から読み出す前記仮想レンズアレイ属性情報に基づいて演算するレンズ処理部と、
   前記オブジェクト属性取得部が取得する前記オブジェクト属性情報に基づいて、且つ前記レンズ処理部による演算結果に基づいて、前記仮想撮像素子に入射する光線の元の位置にあるオブジェクトをレンダリングして前記インテグラルフォトグラフィ画像の画像データを生成するレンダリング処理部と、
   を備える画像生成装置。
2. 前記仮想撮像素子における画素に対応する前記仮想空間内の光線の方向を表す光線方向情報を記憶する光線方向記憶部、
   をさらに備え、
   前記レンズ処理部は、演算された前記屈折のしかたに基づいて、前記仮想撮像素子の各々の画素に対応する光線の方向を演算し、前記画素と前記光線の方向との対応関係を前記光線方向記憶部に記憶させ、
   前記レンダリング処理部は、前記光線方向記憶部に前記画素と前記光線の方向との対応関係が既に記憶されている場合には、前記光線方向記憶部から読み出した光線方向情報に基づいて、前記画像データを生成する、
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記仮想空間内において前記仮想レンズアレイを挟んで前記仮想撮像素子とは反対の側に存在する仮想奥行き制御レンズの属性を示す仮想奥行き制御レンズ属性情報を記憶する仮想奥行き制御レンズ属性記憶部、
   をさらに備え、
   前記レンズ処理部は、前記仮想奥行き制御レンズ属性記憶部から読み出した前記仮想奥行き制御レンズ属性情報に基づき、前記仮想レンズアレイを透過して前記仮想撮像素子に入射する光線が前記仮想奥行き制御レンズを透過するときの屈折のしかたを演算する、
   ことを特徴とする請求項１又は請求項２のいずれか一項に記載の画像生成装置。
4. 前記仮想奥行き制御レンズ属性記憶部は、４ｆ光学系を構成する２枚の仮想奥行き制御レンズの属性を記憶する、
   ことを特徴とする請求項３に記載の画像生成装置。
5. 仮想空間内に存在する仮想レンズアレイの位置及び屈折特性を少なくとも含む仮想レンズアレイ属性情報と、前記仮想空間内に存在する仮想撮像素子の位置を少なくとも含む撮像素子属性情報とを記憶する仮想カメラ属性記憶部を備え、前記仮想空間内のオブジェクトのインテグラルフォトグラフィ画像を生成する画像生成装置における画像生成方法であって、
   前記仮想空間内における前記オブジェクトの位置を含むオブジェクト属性情報を取得するオブジェクト属性取得過程と、
   前記仮想撮像素子に入射する光線が前記仮想レンズアレイを透過するときの屈折のしかたを、前記仮想カメラ属性記憶部から読み出す前記仮想レンズアレイ属性情報に基づいて演算するレンズ処理過程と、
   前記オブジェクト属性取得過程において取得される前記オブジェクト属性情報に基づいて、且つ前記レンズ処理過程における演算結果に基づいて、前記仮想撮像素子に入射する光線の元の位置にあるオブジェクトをレンダリングして前記インテグラルフォトグラフィ画像の画像データを生成するレンダリング処理過程と、
   を含むことを特徴とする画像生成方法。
6. 仮想空間内に存在する仮想レンズアレイの位置及び屈折特性を少なくとも含む仮想レンズアレイ属性情報と、前記仮想空間内に存在する仮想撮像素子の位置を少なくとも含む撮像素子属性情報とを記憶する仮想カメラ属性記憶部を備え、前記仮想空間内のオブジェクトのインテグラルフォトグラフィ画像を生成する画像生成装置のコンピュータに、
   前記仮想空間内における前記オブジェクトの位置を含むオブジェクト属性情報を取得するオブジェクト属性取得手順、
   前記仮想撮像素子に入射する光線が前記仮想レンズアレイを透過するときの屈折のしかたを、前記仮想カメラ属性記憶部から読み出す前記仮想レンズアレイ属性情報に基づいて演算するレンズ処理手順、
   前記オブジェクト属性取得手順において取得される前記オブジェクト属性情報に基づいて、且つ前記レンズ処理手順における演算結果に基づいて、前記仮想撮像素子に入射する光線の元の位置にあるオブジェクトをレンダリングして前記インテグラルフォトグラフィ画像の画像データを生成するレンダリング処理手順、
   を実行させるためのプログラム。

Images