JP2020170979A - 立体画像生成装置及びそのプログラム - Google Patents

Abstract

【課題】立体画像の視域から瞳が外れにくい立体画像生成装置を提供する。【解決手段】立体画像生成装置３は、仮想カメラアレイの中心位置を両眼の中間位置に設定する仮想カメラアレイ設定手段３０と、瞳位置情報から瞳位置の移動量を算出する瞳移動量算出手段３１と、瞳位置の移動量に基づいて、仮想カメラアレイの中心位置を移動させる仮想カメラアレイ移動手段３２と、仮想カメラアレイで多視点画像群を撮影する多視点画像群撮影手段３４と、多視点画像群から要素画像群を生成する要素画像群生成手段３５と、を備える。【選択図】図３

Description

本発明は、立体画像生成装置及びそのプログラムに関する。

インテグラルフォトグラフィ（ＩＰ:Integral Photography）方式は、特殊な眼鏡が不要で裸眼による立体視が可能なため、従来より研究が進められている。図７に示すように、従来のＩＰ立体映像表示装置１００は、液晶や有機ＥＬなどの直視型ディスプレイ１１０と、その前面に置かれたレンズアレイ１２０とを備える。レンズアレイ１２０は、２次元方向に配列された要素レンズ１２１で構成されている。直視型ディスプレイ１１０は、各要素レンズ１２１に対応する要素画像ｅで構成される要素画像群Ｅを表示する。すると、要素レンズ１２１により要素画像ｅが空間中に投影され、立体像が形成される。

ＩＰ方式では、多くの視点で映像を再現するため、非常に多くの画素（情報量）が必要となる。ＩＰ立体映像の品質を決定づけるパラメータとして、「立体映像画素数（要素画像数）」、「視域」、「空間周波数特性（奥行再現範囲）」の３つが挙げられる。非特許文献１に記載されているように、これら３つのパラメータにはトレードオフの関係があることが知られている。つまり、「視域」を狭くすることにより、「立体映像画素数」及び「空間周波数特性」を向上させることができる。その一方、「視域」を狭くすると、立体映像の表示範囲が狭くなる。また、「視域」を狭くするためには、焦点距離の長いレンズアレイを用いればよい。

H. Hoshino, F. Okano, and I. Yuyama, "Analysis of resolution limitation of integral photography," J. Opt. Soc. Am. A 15(8), 2059-2065 (1998)

従来のＩＰ方式において、後記する視点追従技術により「視域」の方向を制御すれば、焦点距離の長いレンズアレイを用いても、広い範囲で立体映像を表示できる。この場合、図８に示すように、視聴者Ｈの反対方向に要素画像群Ｅの表示位置を平行移動させることで、「視域」の方向制御が実現できる（縮小拡大でも可）。図８（ａ）では、視聴者Ｈが上側に移動したので、要素画像群Ｅの表示位置を下側に移動させることで、ドットで図示した視域を上方向に移動させている。また、図８（ｂ）では、視聴者Ｈが下側に移動したので、要素画像群Ｅの表示位置を上側に移動させることで、ドットで図示した視域を下方向に移動させている。このようにして、ＩＰ方式では、「立体映像画素数」及び「空間周波数特性」を向上させ、かつ、「視域」を広くすることができる。

この視点追従技術では、図９に示すように、仮想空間内に、仮想ディスプレイ２１０と、仮想レンズアレイ２２０と、複数台の仮想カメラ２３１からなる仮想カメラアレイ２３０と、被写体となる３次元モデルＯｂｊを配置する。まず、視点追従技術では、瞳検出を行い、視域の中心が両眼の中間になるように仮想カメラアレイ２３０を設定する。つまり、仮想カメラアレイ２３０の中心位置が、視域の中心位置となる。そして、視点追従技術では、仮想カメラアレイ２３０により様々な方向で３次元モデルＯｂｊの多視点画像群Ｍを撮影し、撮影した多視点画像群Ｍを要素画像群Ｅに変換する。この多視点画像群Ｍは、異なる視点の画像（多視点画像ｍ）で構成されている。

なお、図９では、白抜きの‘×’が仮想カメラアレイ２３０の中心位置を示し、黒色の‘×’が瞳検出した両眼の中心位置を示す。図９では、仮想カメラアレイ２３０の中心位置、及び、瞳検出した両眼の中心位置が一致するので、白抜きの‘×’及び黒色の‘×’を重なるように図示した。

ここで、視点追従技術では、視聴者Ｈが動くタイミングによって、瞳検出に失敗する場合や、要素画像群Ｅのレンダリングが遅延する場合がある。図１０を参照し、それらが発生した場合の問題点を説明する。なお、図１０では、実際の両眼の位置を符号Ｒ，Ｌで図示した。また、図１０では、図９と同様、白抜きの‘×’及び黒色の‘×’を重なるように図示した。

図１０に示すように、時刻ｔ＝０では、視聴者Ｈが動いていないので、視域αの中心位置（仮想カメラアレイ２３０の中心位置）が、右眼Ｒ及び左眼Ｌの中間位置に一致している。時刻ｔ＝１では、右眼Ｒ及び左眼Ｌの両方とも視域αに収まっている。しかし、眼の移動方向において、右眼Ｒが視域αの境界に近づいており、視域αの余白（マージン）βが少なくなっている。時刻ｔ＝２では、視域αが追従できずに右眼Ｒが視域αから外れてしまう。すると、クロストークが発生することや、視認性が低下することがある。その後、時刻ｔ＝３では、視聴者Ｈの動きが小さくなったので、右眼Ｒ及び左眼Ｌの両方とも視域αに収まっている。

このように、視点追従技術では、視域の方向制御が視聴者Ｈの動きに追い付かず、立体画像の視域から瞳が外れてしまうことがある。その結果、クロストークが発生することや、視認性が低下することがある。

そこで、本発明は、立体画像の視域から瞳が外れにくい立体画像生成装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係る立体画像生成装置は、仮想カメラアレイで撮影した多視点画像群から、人物の瞳位置に視域を追従させた立体画像を生成する立体画像生成装置であって、仮想カメラアレイ設定手段と、瞳位置予測手段と、仮想カメラアレイ移動手段と、多視点画像群撮影手段と、立体画像生成手段と、を備える構成とした。

かかる立体画像生成装置によれば、仮想カメラアレイ設定手段は、瞳位置を示す瞳位置情報が入力され、入力された瞳位置情報に基づいて、仮想カメラアレイの中心位置を、人物の両眼の中間位置に設定する。すなわち、仮想カメラアレイ設定手段は、視域の中心位置が人物の両眼の中間位置となるように仮想カメラアレイの中心位置を設定する。なお、仮想カメラアレイの中心位置が視域の中心位置となる。

瞳位置予測手段は、瞳位置情報から瞳位置の移動量を予測する。
仮想カメラアレイ移動手段は、瞳位置予測手段が予測した瞳位置の移動量に基づいて、仮想カメラアレイの中心位置を移動させる。すなわち、仮想カメラアレイ移動手段は、人物（瞳）の動きを考慮して仮想カメラアレイの中心位置を移動させる。
多視点画像群撮影手段は、仮想カメラアレイ移動手段が移動させた仮想カメラアレイで多視点画像群を撮影する。
立体画像生成手段は、多視点画像群から立体画像を生成する。

なお、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記した立体画像生成装置として協調動作させるプログラムで実現することもできる。

本発明によれば、人物の動きを考慮して仮想カメラアレイの中心位置を移動させるので、人物の瞳位置に立体画像の視域が追従し、立体画像の視域から瞳が外れにくくなる。これにより、クロストークの発生や視認性の低下を抑制することができる。

実施形態に係る立体画像表示システムの説明図である。 実施形態に係る立体画像表示システムの概略構成図である。 実施形態に係る立体画像生成装置の構成を示すブロック図である。 実施形態において、要素画像群の生成方法を説明する説明図である。 実施形態において、仮想カメラアレイの移動と視域の追従を説明する説明図である。 図３の立体画像生成装置の動作を示すフローチャートである。 従来のＩＰ立体映像表示装置を説明する説明図である。 従来の視点追従技術を説明する説明図である。 従来の視点追従技術を説明する説明図である。 従来技術において、仮想カメラアレイの設定を説明する説明図である。

（実施形態）
［立体画像表示システムの概略］
図１及び図２を参照し、本発明の実施形態に係る立体画像表示システム１（図２）の概略について説明する。
図１に示すように、立体画像表示システム１は、視域の方向を制御する際、視聴者（人物）の動きを考慮して仮想カメラアレイ２３０の中心位置を移動させることで、立体画像の視域から視聴者の瞳を外れにくくしたものである。

なお、図１では、白抜きの‘×’が仮想カメラアレイ２３０の中心位置を示し、黒色の‘×’が瞳検出した両眼の中心位置を示す。図１では、仮想カメラアレイ２３０の中心位置を両眼の中心位置から移動させているので、白抜きの‘×’及び黒色の‘×’を異なる位置に図示した。

図２に示すように、立体画像表示システム１は、瞳位置検出装置２と、立体画像生成装置３と、立体画像表示装置４とを備える。本実施形態では、立体画像表示システム１が、ＩＰ方式の立体画像（要素画像群）を表示すると共に、視域の方向制御自体は既知の手法を用いることとして説明する（例えば、図８参照）。

瞳位置検出装置２は、視聴者Ｈの瞳を検出し、検出した瞳位置を示す瞳位置情報を生成するものである。例えば、瞳位置検出装置２は、視聴者Ｈの顔画像を撮影するための撮影装置（例えば、Ｗｅｂカメラ）を立体画像表示装置４の上部に備える。そして、瞳位置検出装置２は、撮影装置が撮影した顔画像から、瞳検出技術（例えば、ＯｐｅｎＣＶ）を用いて、右眼Ｒ及び左眼Ｌの位置をリアルタイムで検出する。
瞳位置検出装置２は、生成した瞳位置情報を立体画像生成装置３に出力する。ここで、瞳位置検出装置２は、瞳検出に失敗した場合、瞳検出に失敗した旨の通知と共に、直前に検出した瞳位置を示す瞳位置情報を出力することとする。

立体画像生成装置３は、仮想カメラアレイ２３０で撮影した多視点画像群Ｍから、視聴者Ｈの瞳位置に視域を追従させた要素画像群Ｅを生成するものである。そして、立体画像生成装置３は、生成した要素画像群Ｅを立体画像表示装置４に出力する。この立体画像生成装置３の詳細は、後記する。

立体画像表示装置４は、立体画像生成装置３が生成した要素画像群Ｅを表示する一般的なＩＰ立体ディスプレイである。例えば、立体画像表示装置４は、従来技術と同様、ＬＣＤやＯＬＥＤ等の直視型ディスプレイ（不図示）の前面にレンズアレイ４１を配置したものである。ここで、立体画像表示システム１では、視聴者Ｈの瞳位置に視域が追従するので、焦点距離が長いレンズアレイ４１を用いても、要素画像群Ｅの品質を向上させることができる。

［立体画像生成装置の構成］
図３を参照し、立体画像生成装置３の構成について説明する。
図３に示すように、立体画像生成装置３は、仮想カメラアレイ設定手段３０と、瞳移動量算出手段（瞳位置予測手段）３１と、仮想カメラアレイ移動手段３２と、３次元モデル設定手段３３と、多視点画像群撮影手段３４と、要素画像群生成手段（立体画像生成手段）３５とを備える。

仮想カメラアレイ設定手段３０は、仮想カメラアレイ２３０に関するパラメータを設定するものである。例えば、パラメータには、仮想カメラアレイ２３０の中心位置や、仮想カメラ２３１の台数、配置、間隔及び焦点距離が含まれる。具体的には、仮想カメラアレイ設定手段３０は、瞳位置検出装置２から入力された瞳位置情報に基づいて、仮想カメラアレイ２３０の中心位置を、視聴者Ｈの両眼の中間位置に設定する。この他、立体画像の制作者が、図示を省略したマウス、キーボード等の操作手段を用いて、仮想カメラ２３１の台数、配置、間隔及び焦点距離を仮想カメラアレイ設定手段３０に設定してもよい。
仮想カメラアレイ設定手段３０は、設定されたパラメータを仮想カメラアレイ移動手段３２に出力する。

瞳移動量算出手段３１は、瞳位置検出装置２より入力された瞳位置情報から瞳位置の移動量を予測するものである。本実施形態では、瞳移動量算出手段３１は、瞳位置情報が示す瞳位置の時間変化から瞳位置の移動速度ｖ_ｔを算出する。この瞳位置の移動速度ｖ_ｔは、下記の式（１）に示すように、瞳位置の変化量ｘ_ｔ−ｘ_ｔ´を時間差ｔ−ｔ´で除算したものとなる。ここでは、瞳位置の検出時刻をそれぞれｔ，ｔ´とし、検出時刻ｔ，ｔ´の瞳位置をそれぞれｘ_ｔ，ｘ_ｔ´とする（但し、ｔ＞ｔ´）。

そして、瞳移動量算出手段３１は、瞳位置の移動速度ｖ_ｔと係数ｋとを乗じることで、瞳位置の移動量ｋｖ_ｔを算出する。この係数ｋは、例えば、視域の幅、瞳の平均移動速度、瞳検出の成功率を考慮して、任意の値で予め設定する。
瞳移動量算出手段３１は、瞳位置の移動量ｋｖ_ｔを仮想カメラアレイ移動手段３２に出力する。

仮想カメラアレイ移動手段３２は、瞳移動量算出手段３１から入力された瞳位置の移動量ｋｖ_ｔに基づいて、仮想カメラアレイ２３０の中心位置を移動させるものである。すなわち、仮想カメラアレイ移動手段３２は、視聴者Ｈ（瞳）の動きを考慮して、仮想カメラアレイ２３０の中心位置を両眼の中心位置から移動させる。なお、仮想カメラアレイ移動手段３２の詳細は、後記する（仮想カメラアレイ２３０の移動による視域追従）。
仮想カメラアレイ移動手段３２は、移動させた仮想カメラアレイ２３０の中心位置を、仮想カメラアレイ設定手段３０から入力されたパラメータと共に、多視点画像群撮影手段３４に出力する。

なお、瞳位置検出装置２が瞳検出に失敗した場合、仮想カメラアレイ設定手段３０及び瞳移動量算出手段３１には、瞳検出に失敗した旨の通知と共に、直前の瞳位置情報が入力されることとする。この瞳位置情報は、瞳位置検出装置２で検出できた直前の瞳位置を示す。
また、瞳検出に失敗した旨が通知された場合、瞳移動量算出手段３１が瞳位置の移動量ｋｖ_ｔを算出せず、仮想カメラアレイ移動手段３２が仮想カメラアレイ２３０の中心位置を移動させないこととする。

３次元モデル設定手段３３は、仮想空間内に配置する３次元モデルＯｂｊを設定するものである。この３次元モデルＯｂｊは、仮想カメラアレイ２３０の撮影対象であり、帽子をかぶった女性のように任意である（図１）。例えば、立体画像の制作者が、操作手段を用いて、仮想空間内に配置する３次元モデルＯｂｊを３次元モデル設定手段３３に設定する。
３次元モデル設定手段３３は、設定された３次元モデルＯｂｊを多視点画像群撮影手段３４に出力する。

多視点画像群撮影手段３４は、仮想カメラアレイ移動手段３２が移動させた仮想カメラアレイ２３０で多視点画像群Ｍを撮影するものである。具体的には、多視点画像群撮影手段３４は、３次元モデルＯｂｊが配置された仮想空間を、両眼の中心位置から瞳位置の移動量ｋｖ_ｔだけ移動した仮想カメラアレイ２３０で撮影する。このようにして、多視点画像群撮影手段３４は、多視点画像群Ｍを生成（レンダリング）する。
多視点画像群撮影手段３４は、生成した多視点画像群を要素画像群生成手段３５に出力する。

要素画像群生成手段３５は、多視点画像群撮影手段３４より入力された多視点画像群Ｍから要素画像群Ｅを生成するものである。この要素画像群生成手段３５は、任意の手法で多視点画像群Ｍから要素画像群Ｅを生成できる。例えば、要素画像群生成手段３５は、各多視点画像ｍから同一位置の画素を抽出し、抽出した画素で構成される要素画像ｅを生成する。
要素画像群生成手段３５は、生成した要素画像群Ｅを立体画像表示装置４に出力する。

＜要素画像群の生成＞
図４を参照し、要素画像群Ｅの生成の一例について説明する。
図４（ａ）に示すように、左上視点の画像ｍ_１１、画像ｍ_１１の右側視点の画像ｍ_２１、画像ｍ_１１の下側視点の画像ｍ_１２という、３視点分の多視点画像ｍについて考える。また、説明を簡易にするため、画像ｍ_１１では、左上画素に「●１」を付し、右側画素に「●２」を付し、下側画素に「●３」を付した。これと同様、画像ｍ_２１には、「▲１」〜「▲３」を付し、画像ｍ_１２には、「■１」〜「■３」を付した。

この場合、要素画像群生成手段３５は、図４（ｂ）に示すように、画像ｍ_１１，ｍ_１２，ｍ_２１から左上画素●１，▲１，■１，…を抽出し、左上の要素画像ｅ_１１を生成する。つまり、要素画像ｅ_１１は、同一位置の左上画素●１，▲１，■１，…で構成されている。また、要素画像ｅ_１１において、左上画素●１，▲１，■１，…の並び方は、それら画素を抽出した画像ｍ_１１，ｍ_１２，ｍ_２１の視点位置に対応する。つまり、要素画像ｅ_１１では、画素●１が左上に配置され、画素▲１が画素●１の右側に配置され、画素■１が画素●１の下側に配置される。

また、要素画像群生成手段３５は、要素画像ｅ_１１と同様、画像ｍ_１１，ｍ_１２，ｍ_２１から抽出した右側画素●２，▲２，■２，…で構成される要素画像ｅ_２１を生成する。さらに、要素画像生成手段３６は、要素画像ｅ_１１，ｅ_２１と同様、画像ｍ_１１，ｍ_１２，ｍ_２１から抽出した下側画素●３，▲３，■３，…で構成される要素画像ｅ_１２を生成する。

ここで、要素画像ｅは、その要素画像ｅを構成する各画素の画素位置に対応した位置に配置される。例えば、要素画像ｅ_１１は、左上画素●１，▲１，■１，…で構成されているので、左上に配置される。また、要素画像ｅ_２１は、右側画素●２，▲２，■２，…で構成されているので、要素画像ｅ_１１の右側に配置される。さらに、要素画像ｅ_１２は、下側画素●３，▲３，■３，…で構成されるので、要素画像ｅ_１１の下側に配置される。

なお、ＩＰ立体表示装置の光学系の構成によっては、立体像の倒立像が表示される場合もある。この場合、要素画像群生成手段３５は、各画素の位置を上下左右に反転させて、立体像の正立像が表示されるように要素画像群Ｅを生成してもよい。

＜仮想カメラアレイの移動による視域追従＞
図５を参照し、仮想カメラアレイの移動による視域追従について説明する。
図５では、実際の両眼の位置を符号Ｒ，Ｌで図示した。また、図５では、図１と同様、仮想カメラアレイ２３０の中心位置を示す白抜きの‘×’と、瞳検出した両眼の中心位置を示す黒色の‘×’とを図示した。なお、仮想カメラアレイ２３０の中心位置（白抜きの‘×’）が、視域αの中心位置となる。

図５に示すように、時刻ｔ＝０では、視聴者Ｈが動いていないので、視域αの中心位置が右眼Ｒ及び左眼Ｌの中間位置に一致している。従って、時刻ｔ＝０では、白抜きの‘×’及び黒色の‘×’が重なっている。
時刻ｔ＝１では、右眼Ｒ及び左眼Ｌの両方とも視域αに収まっている。このとき、仮想カメラアレイ２３０を移動量ｋｖ_１だけ移動させているので、右眼Ｒが視域αの境界から十分に離れており、図１０に比べて、視域αの余白βに余裕がある。

時刻ｔ＝２では、瞳検出に失敗したので、視域αが時刻ｔ＝１から移動していないが、右眼Ｒの瞳が視域αに収まっている。その結果、立体画像生成装置３は、クロストークの発生や、視認性の低下を抑制できる。
時刻ｔ＝３では、右眼Ｒ及び左眼Ｌの両方とも視域αに収まっている。このときも、仮想カメラアレイ２３０を移動量ｋｖ_３だけ移動させている。
なお、視聴者Ｈが反対側に移動した場合（図５では左側に移動した場合）、移動量ｋｖ_ｔの符号を負にすればよい。

［立体画像生成装置の動作］
図６を参照し、立体画像生成装置３の動作について説明する。
図６に示すように、ステップＳ１において、仮想カメラアレイ設定手段３０は、瞳位置検出装置２から入力された瞳位置情報に基づいて、仮想カメラアレイ２３０の中心位置を、視聴者Ｈの両眼の中間位置に設定する。
ステップＳ２において、瞳移動量算出手段３１は、瞳位置検出装置２より入力された瞳位置情報から瞳位置の移動量を予測する。例えば、瞳移動量算出手段３１は、前記式（１）に示すように、瞳位置情報が示す瞳位置の変化から瞳位置の移動速度を算出し、算出した瞳位置の移動速度と係数とを乗じることで、瞳位置の移動量を算出する。

ステップＳ３において、仮想カメラアレイ移動手段３２は、ステップＳ２で算出した瞳位置の移動量に基づいて、仮想カメラアレイの中心位置を移動させる。すなわち、仮想カメラアレイ移動手段３２は、視聴者Ｈの動きを考慮して、仮想カメラアレイの中心位置を両眼の中心位置から移動させる。
ステップＳ４において、３次元モデル設定手段３３は、仮想空間内に配置する３次元モデルを設定する。

ステップＳ５において、多視点画像群撮影手段３４は、ステップＳ３で移動させた仮想カメラアレイで多視点画像群を撮影する。具体的には、多視点画像群撮影手段３４は、３次元モデルが配置された仮想空間を、両眼の中心位置から瞳位置の移動量だけ移動させた仮想カメラアレイで撮影する。
ステップＳ６において、要素画像群生成手段３５は、ステップＳ５で撮影した多視点画像群から要素画像群を生成する。例えば、要素画像群生成手段３５は、各多視点画像から同一位置の画素を抽出し、抽出した画素で構成される各要素画像を生成する。

［作用・効果］
以上のように、本発明の実施形態に係る立体画像生成装置３は、視聴者Ｈの動きを考慮して仮想カメラアレイの中心位置を移動させるので、視聴者Ｈの瞳位置に立体画像の視域が追従し、立体画像の視域から瞳が外れにくくなる。これにより、立体画像生成装置３は、クロストークの発生や視認性の低下を抑制し、高品質なＩＰ立体画像を提供することができる。

（変形例：瞳位置の移動量）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、瞳移動量算出手段が、式（１）で瞳位置の移動量を算出することとして説明したが、これに限定されない。例えば、瞳移動量算出手段は、下記の式（２）に示すように、瞳位置の移動速度ｖに関する高次の式を用いて、瞳位置の移動量を算出してもよい。なお、係数ｌは、係数ｋと同様、任意の値で予め設定しておくこととする。

また、瞳移動量算出手段は、瞳位置の移動に関するものであれば、瞳位置の加速度など、移動速度以外を用いてもよい。
また、前記した式（１）では、１フレーム間隔で瞳位置の移動速度を算出したが、２フレーム以上の間隔で瞳位置の移動速度を算出してもよい。

（その他変形例）
前記した実施形態では、全方位視差を有するＩＰ立体方式に本発明を適用することとして説明したが、これに限定されない。本発明は、ＩＰ立体方式、レンチキュラー立体方式等の光線再生型の立体方式に適用することができる。このレンチキュラー立体方式は、水平視差のみを有する光線再生型の立体方式である。

前記した実施形態では、１人分の瞳位置を検出することとして説明したが、これに限定されない。つまり、複数人の瞳位置を検出し、瞳位置を検出した人数に応じて時分割表示を行えばよい。つまり、立体画像生成装置は、立体画像生成手段が生成した立体画像を人物毎に時分割する時分割手段、を備えればよい。

前記した各実施形態では、立体画像生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した立体画像生成装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 立体画像表示システム
２ 瞳位置検出装置
３ 立体画像生成装置
４ 立体画像表示装置
３０ 仮想カメラアレイ設定手段
３１ 瞳移動量算出手段（瞳位置予測手段）
３２ 仮想カメラアレイ移動手段
３３ ３次元モデル設定手段
３４ 多視点画像群撮影手段
３５ 要素画像群生成手段（立体画像生成手段）
４１ レンズアレイ
１００ ＩＰ立体映像表示装置
１１０ 直視型ディスプレイ
１２０ レンズアレイ
１２１ 要素レンズ
２１０ 仮想ディスプレイ
２２０ 仮想レンズアレイ
２３０ 仮想カメラアレイ
２３１ 仮想カメラ
Ｅ 要素画像群
ｅ 要素画像
Ｌ 左眼
Ｍ 多視点画像群
ｍ 多視点画像
Ｈ 視聴者
Ｏｂｊ ３次元モデル
Ｒ 右眼
α 視域

Claims (5)

1. 仮想カメラアレイで撮影した多視点画像群から、人物の瞳位置に視域を追従させた立体画像を生成する立体画像生成装置であって、
   前記瞳位置を示す瞳位置情報が入力され、入力された前記瞳位置情報に基づいて、前記仮想カメラアレイの中心位置を、前記人物の両眼の中間位置に設定する仮想カメラアレイ設定手段と、
   前記瞳位置情報から前記瞳位置の移動量を予測する瞳位置予測手段と、
   前記瞳位置予測手段が予測した瞳位置の移動量に基づいて、前記仮想カメラアレイの中心位置を移動させる仮想カメラアレイ移動手段と、
   前記仮想カメラアレイ移動手段が移動させた仮想カメラアレイで前記多視点画像群を撮影する多視点画像群撮影手段と、
   前記多視点画像群から前記立体画像を生成する立体画像生成手段と、
   を備えることを特徴とする立体画像生成装置。
2. 前記瞳位置予測手段は、前記瞳位置情報が示す瞳位置の時間変化から前記瞳位置の移動速度を算出し、前記瞳位置の移動速度と予め設定した係数とを乗じることで、前記瞳位置の移動量を算出することを特徴とする請求項１に記載の立体画像生成装置。
3. 前記立体画像は、光線再生型の立体方式に対応した要素画像群であることを特徴とする請求項１又は請求項２に記載の立体画像生成装置。
4. 前記立体画像生成手段が生成した立体画像を前記人物毎に時分割する時分割手段、をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載の立体画像生成装置。
5. コンピュータを、請求項１から請求項４の何れか一項に記載の立体画像生成装置として機能させるためのプログラム。

Images