JP2012105101A - 立体画像表示装置、方法およびプログラム - Google Patents

Abstract

【課題】多重ボケを低減する。
【解決手段】立体画像表示装置は、表示部と、最適要素画像生成部と、を具備する。表示部は、複数の画素がマトリクス状に配置された表示面を有する２次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該２次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む。最適要素画像生成部は、生成または入力した仮の要素画像である初期要素画像の２つ以上の画素の値と、光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも１つの画素の値を決定して最適要素画像を生成する。表示部は最適要素画像を表示することを特徴とする。
【選択図】図７

Description

本発明の実施形態は、立体画像表示装置、方法およびプログラムに関する。

近年、裸眼で観察可能な立体画像を表示する装置が開発されている。この立体画像表示装置の１つとして、観察者が移動したときに視点に応じて像が連続的に変化して見えるインテグラル・イメージング方式（以下ＩＩ方式と称す）が知られている。このＩＩ方式では、従来の２次元画像を表示する２次元画像表示装置の前面に、光線の方向とその散らばり（光線分布）を制御する複数のレンズやバリアなどの光線制御子を設置し、観察者の右目と左目に異なる画像を提示する。これにより、観察者は両眼視差から奥行きと立体感を知覚する。

特開２００４−２１２６６６号公報

しかし、特許文献１のＩＩ方式の立体画像表示装置をある視点から片目で観察したときにその目に届く光（以下観測画像と称す）には、多重像もしくはボケが発生する問題がある。以下では多重像もしくはボケを多重ボケと呼ぶ。

本実施形態は、多重ボケを低減する立体画像表示装置、方法およびプログラムを提供することを目的とする。

実施形態によれば、立体画像表示装置は、表示部と、最適要素画像生成部と、を具備する。表示部は、複数の画素がマトリクス状に配置された表示面を有する２次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該２次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む。最適要素画像生成部は、生成または入力した仮の要素画像である初期要素画像の２つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも１つの画素の値を決定して最適要素画像を生成する。表示部は前記最適要素画像を表示することを特徴とする。

また実施形態によれば、立体画像表示装置は、表示部と、最適要素画像生成部と、を具備する。表示部は、複数の画素がマトリクス状に配置された表示面を有する２次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該２次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む。最適要素画像生成部は、前記表示部を少なくとも１つの所定の視点から見たときに観察させたい目的画像の２つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも１つの画素の値を決定して最適要素画像を生成する。表示部は前記最適要素画像を表示することを特徴とする。

立体画像表示装置の模式図。 立体画像表示装置の一部分を拡大した図。 ＩＩ方式における立体映像の見え方を表す概念図。 要素画像とタイル画像の関係を表す概念図。 多重ボケが発生する原因を説明するための図。 多重ボケが発生する様子を表した概念図。 第１の実施形態に係わる立体画像表示装置を示すブロック図。 第１の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。 第１の実施形態に係わる立体画像表示装置のハードウェア構成を表す図。 第２の実施形態に係わる立体画像表示装置を示すブロック図。 第２の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。 第２の実施形態において問題を解決する手法を示す概念図。 第２の実施形態での処理内容を説明するための図。 第３の実施形態に係わる立体画像表示装置を示すブロック図。 第３の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。 第４の実施形態に係わる立体画像表示装置を示すブロック図。 第４の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。 第４の実施形態における立体画像表示装置の外観を示す図。

以下、図面を参照しながら本発明の実施形態に係る立体画像表示装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
まず、多重ボケの発生原理について図１から図６を参照して説明する。
前述したようにＩＩ方式の立体画像表示装置１００に含まれる２次元画像表示装置１０１の前方には、観察者の右目と左目に異なる画像を届けるための光線制御子１０２としてレンズ・アレイが配置される。特に、水平方向にのみ光線を制御するレンチキュラー・シートが用いられる方式を１次元ＩＩ（以下１Ｄ−ＩＩ）方式と呼ぶ。次に、図１の領域１０３を拡大した図を図２に示す。図２に示すように、２次元画像表示装置（液晶ディスプレイやＣＲＴディスプレイ）の画素から発せられる光線は、レンズ２０１に入射し、進行方向と散らばりが制御されてディスプレイ前面に向けて射出される。観察者の両目に届く光線は、図３に示すように、両眼視差の効果によりあたかもディスプレイ面の前後に存在する物体から出ているように見え、観察者は立体像を視認する。図２における、視差番号とはレンズに対する相対位置が同じ画素に割り振られる番号である。例えば、レンズに所定の基準点を決め、画像の位置する順番に順に番号をふって、視差番号とする。また、以下視差番号の最大値を視差数と呼ぶ。ディスプレイ面上で発光させる表示データを要素画像と呼び、要素画像から同じ視差番号の画素を視差番号毎にまとめた画像をタイル画像と呼ぶ（図４参照）。図４に示す「Ａ」から「Ｆ」までのそれぞれの例では、（１）、（２）および（３）の視差番号を有する３つの画素２０２からなる１つの要素画像がある。図４はタイル画像の幅は３、高さが２の場合である。

ある視点で片目に届く光について説明する。説明を簡単にするために、１Ｄ−ＩＩ方式の場合を例にとって説明する。図５にレンズ２０１が１つ、タイル画像数が３つ、各タイル画像の幅と高さが共に１（この場合画素となる）の光線分布の模式図を示す。１つの画素から発せられた光線はレンズに入射し、制御された方向に射出される。光線は散らばりを持つため、レンズから一定距離、離れた位置でその光線の強度を計測すると、図５に示すようにある一定の範囲に分布する。ここで、横軸が位置、縦軸が強度を表し、画素５０１の光線分布が５０６、画素５０２の光線分布が５０５、画素５０３の光線分布が５０４である。ある視点からこのレンズを観察したときに目に届く光はこの光線分布に従って、各画素の画素値が重ね合わされた（例えば混色された）ものになる。例えば、位置５０７からこのレンズを観察したときに目に届く光は各光線分布の位置５０７における値５０８、５０９、５１０を重みとして、画素５０１、５０２、５０３の値を重み付き加算したものとなる。

複数のレンズの場合も同様に、ＩＩ方式の立体画像表示装置をある視点から片目で観察したときに見える観測画像は、複数のタイル画像の各画素がその視点における光線分布の強度によって重なり合った重ね合わせ画像である。前述の通りタイル画像は両眼視差の効果を出すために物体の位置がずれた画像である。従って、それらタイル画像の重ね合わせ画像には多重ボケが発生する。例えば図６に示すように、タイル画像のそれぞれを、異なる位置から同じ被写体を撮像した画像に設定した場合、ある視点での観測画像は、異なる位置での撮像画像が互いに重なり合った画像となり、多重ボケが発生する。視点によって、光線分布が異なるため、観測画像は視点によって異なる画像となる。

なお、実施形態では一例として視差数が３の場合について説明しているが、視差数は任意の値に設計することができ例えば視差数を９としてもよい。この場合での実施形態での説明は視差数が３の場合の説明と同様になる。

（第１の実施形態）
第１の実施形態に係わる立体画像表示装置７００について図７を参照して説明する。図７は、第１の実施形態に係わる立体画像表示装置７００を示すブロック図である。

この第１の実施形態に係わる立体画像表示装置７００は、最適要素画像生成部７０１と、表示部７０２とを含む。最適要素画像生成部７０１は最適な要素画像を生成する。表示部７０２は上述した、２次元画像表示装置１０１および光線制御子１０２を含んでいる。

最適要素画像生成部７０１は、初期要素画像７５１を入力してこの画像から最適な要素画像である最適要素画像７５２を生成する。初期要素画像７５１は、例えば特開２００４−２１２６６６号公報に記載の手法で生成された要素画像の初期値画像である。最適要素画像生成部７０１は初期要素画像を生成する前の原画像等から最適要素画像７５２を生成してもよい。最適要素画像生成部７０１は、生成または入力した仮の要素画像である初期要素画像７５１の２つ以上の画素の値と、光線分布に基づいて算出される重みとの加重和によって少なくとも１つの画素の値を決定することで、観測画像に多重ボケが生じないように初期要素画像７５１を変換して最適要素画像７５２を生成する。

表示部７０２は、２次元画像表示装置１０１および光線制御子１０２を含む。２次元画像表示装置１０１は、複数の画素がマトリクス状に配置された表示面を有して、２次元平面上に画像を表示する。光線制御子１０２は、複数の画素の表示データである要素画像の位置に対応して該２次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する。

次に、第１の実施形態に係わる立体画像表示装置７００の動作について図７および図８を参照して説明する。図８は第１の実施形態に係わる立体画像表示装置７００の動作の一例を示すフローチャートである。

ステップＳ８０１では、最適要素画像生成部７０１が初期要素画像７５１を入力してこの画像から最適な要素画像である最適要素画像７５２を生成する。

表示ステップＳ８０２では、表示部７０２は、最適要素画像７５２を入力しこの画像を表示し、観察者に立体像を提示する。

次に、立体画像表示装置７００のハードウェア構成について図９を参照して説明する。なお、このハードウェア構成は第１の実施形態の立体画像表示装置７００だけではなく、他の実施形態の立体画像表示装置でも同様である。

立体画像表示装置７００は、ＣＰＵ（Central Processing Unit）９０１、表示部７０２、記憶部９０２を備え、各部はバス９０３により接続されている。
ＣＰＵ９０１は、記憶部９０２、例えばＲＡＭ（Random Access Memory）の所定領域を作業領域として、ＲＯＭ（Read Only Memory）に予め記憶された各種制御プログラムとの協働により各種処理を実行し、立体画像表示装置７００を構成する各部の動作を統括的に制御する。また、ＣＰＵ９０１は、記憶部９０２に予め記憶された所のプログラムとの協働により、上述した最適要素画像生成部７０１の機能を実現させる。

記憶部９０２は、磁気的又は光学的に記録可能な記憶媒体を有し、取得された画像信号や、図示しない通信部やＩ／Ｆ（インターフェース）等を介して外部から入力される画像信号等のデータを記憶する。例えばＲＯＭに、立体画像表示装置７００の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。例えばＲＡＭは、ＳＤＲＡＭ等の記憶手段であって、ＣＰＵ９０１の作業エリアとして機能し、バッファ等の役割を果たす。
以上の第１の実施形態によれば、観測画像に多重ボケが生じない最適要素画像７５２を加重和によって生成するため、多重ボケを低減できる。

（第２の実施形態）
第２の実施形態に係わる立体画像表示装置１０００について図１０を参照して説明する。図１０は、第２の実施形態に係わる立体画像表示装置１０００を示すブロック図である。第１の実施形態とは最適要素画像生成部が異なる。

最適要素画像生成部１００１は、初期要素画像７５１だけでなく、目的画像１０５２も入力して、これらの画像から最適な要素画像である最適要素画像７５２を生成する。目的画像１０５２は、観察者が立体画像表示装置１０００を少なくとも１つの視点から片目で見たときに観察させたい画像である。

次に、第２の実施形態に係わる立体画像表示装置１０００の動作について図１０および図１１を参照して説明する。図１１は、第２の実施形態に係わる立体画像表示装置１０００の動作の一例を示すフローチャートである。

ステップＳ１１０１では、最適要素画像生成部１００１が初期要素画像７５１と目的画像１０５２を入力して、最適要素画像７５２を生成する。最適要素画像生成部１００１は、目的画像１０５２に含まれる２つ以上の画素の値と、光線分布に基づいて算出される重みとの加重和によって少なくとも１つの画素の値を決定することで、図１２に示すように観測画像が目的画像になるように、初期要素画像７５１を変換して最適要素画像７５２を生成する。

目的画像としては、任意に定めた視点から観察者に観察させたい画像を設定する。例えば、立体画像表示装置１０００に表示させる物体を異なる位置で撮像した複数の視差画像の中から、その視点に対応する位置から撮像した視差画像を目的画像として用いれば、その物体をその位置から見た場合の、多重ボケのない視差画像を観察者に提示できる。目的画像を設定する視点は、その視点における観測画像を目的画像に制約することになるため、以下、制約視点と呼ぶ。また、目的画像は、物体を異なる位置で撮像した複数の視差画像の中から選択しなければならないわけではなく、この物体とは全く異なるものを含んだ画像でもよい。この場合には最適要素画像生成部が目的画像を入力することは必須となる。換言すれば、第２の実施形態の立体画像表示装置１０００により目的画像が初期要素画像とは全く異なるものを含む画像である場合に見ることができる画像を、第１の実施形態の立体画像表示装置７００では見ることができない。逆に、第２の実施形態の立体画像表示装置１０００において目的画像が初期要素画像に含まれるものである場合には、第１の実施形態の立体画像表示装置７００でも同様な画像を見ることができる。

以下に、重みおよび初期要素画像の変換方法の一例について説明する。
議論を簡単にするために、図１３に示すようにレンズ２０１が１つ、制約視点が１つ（ｕ_１）、タイル画像数が３つ、各タイル画像の幅と高さが共に１の場合について説明する。２次元画像表示装置に表示された３つのタイル画像（この例ではそれぞれ１画素のみから構成される画像）の輝度値をｘ_１、ｘ_２、ｘ_３とし、各視点の位置ｕに関する画素ｉ（＝１，２，３）からの光線分布の強度を表す関数、すなわち、画素ｉ（＝１，２，３）の位置ｕに関する光線分布を表す関数をａ_１（ｕ）、ａ_２（ｕ）、ａ_３（ｕ）とする。視点ｕ_１で観察される観測画像は１画素のみから構成され、その唯一の画素の輝度値ｙ（ｕ_１）は以下の式で表される。

従って、視点ｕ_１で画像ｙ（ｕ_１）あるいはそれに近い画像を観測させるためには、以下のエネルギー関数が最も小さくなるｘ_１、ｘ_２、ｘ_３をタイル画像とすればよいことがわかる。すなわち、ｙ（ｕ_１）とａ_１（ｕ）、ａ_２（ｕ）、ａ_３（ｕ）とを既知としてエネルギー関数が最も小さくなるｘ_１、ｘ_２、ｘ_３を求める。

上述の例を一般化するとエネルギー関数は数式３のように表される。

ここで、Ｘは求める要素画像の画素数の次元のベクトル、Ｙは１つ以上の制約視点での目的画像の画素値を一列に並べたベクトル、Ａは光線分布の制約視点での値から構成される行列である。

上述のエネルギー関数を最小化する最適要素画像７５２は次式で与えられる。

は例えば、次の数式５のようにムーアペンローズの一般逆行列を用いて算出することができる。

ここで、Ａ^†はムーアペンローズの一般逆行列、Ｉは単位行列を表す。ＺはＸと同じサイズの任意のベクトルである。ここで、制約視点の数が視差数より少ない場合は劣決定問題となる。解を一意に定めるには、Ｚの値を定める必要がある。以下ではＺとして定めた値をＺ_０で表す。例えば、制約視点以外の視点からの画質を劣化させないために、Ｚ_０には初期要素画像７５１を用いることができる。

また、制約視点の数が視差数より多く、優決定問題である場合は数式３のエネルギー関数を最小化する数式４で示される最適要素画像は以下のようになる。この場合、最適要素画像生成部１００１は初期要素画像７５１を入力せず、目的画像１０５２のみを入力する。ここで、Ａ^†は予め計算しておき、テーブルとして最適要素画像生成部１００１の内部に保持しておくことができる。この場合のブロック図は省略するが、図１０で初期要素画像７５１がない場合に相当する。

行列Ａは立体画像表示装置１０００の光線制御子と目的画像を設定する制約視点に固有の値であるため、制約視点を事前に決定すれば、一般逆行列Ａ^†は予め計算しておくことができる。すなわち、制約視点を決定しておけば、一般逆行列Ａ^†はテーブルとして立体画像表示装置１０００が記憶しておくことができる。立体画像表示装置１０００は例えばＲＯＭ９０４に一般逆行列Ａ^†のテーブルを記憶する。更に、目的画像ＹがＺ_０の線形変換で表せる場合、Ｙは数式７で表わせる。

ここで、ＴはＺ_０をＹに変換する行列である。このとき、数式７を数式５に代入して更にＺをＺ_０に置き換えることで、数式８が得られる。

ここで、Ｈは次の数式で示される。

この行列Ｈが上述した重みの一例である。この重みはテーブルとして最適要素画像生成部１００１の内部に保持しておくことができる。例えばこのテーブルに含める値は製造時に決定してもよい。ＩＩ方式の場合、１つのレンズに対応する視差数分の画素毎に上述のフィルタを構成することができる。例えば、図１３のような１Ｄ−ＩＩ方式の場合、Ｚ_０は３つの画素値ｘ_１、ｘ_２、ｘ_３を一列に並べたベクトル、Ｘは３次元ベクトル、Ｈは（３，３）型行列となる。従って、Ｘハットの各要素、すなわち、最適要素画像生成部１００１の各画素は、Ｚ_０に対する３タップのフィルタで計算できる。なお、上述の例では視差数が３であったが，その他の値、例えば視差数が９の場合も同様に重みを計算することができる。

また、数式４の左辺である最適要素画像７５２は、最急降下法や共役勾配法などの繰り返し計算を用いて算出できる。繰り返し計算を用いる場合も数式８と同様の形で表現することができる。例えば、繰り返し計算として最急降下法を用いる場合、ｔ＋１回目の繰り返し処理は以下の式で表せる。

ここで、εは定数である。このときＹがＸ_ｔの線形変換で表せる場合、Ｙは以下の式で表せる。

ここで、Ｔ_ｔ’はＸ_ｔをＹに変換する行列である。このとき、数式１０を数式９に代入することで、以下の式が得られる。

ここで、Ｈ_ｔ’は以下の数式で表される。

ｎ回の繰り返し処理を行う場合、数式４の左辺は以下の式で表せる。

ここで、制約視点以外の視点からの画質を劣化させないために、Ｘ_０には初期要素画像７５１を用いることができる。

（変形例） エネルギー関数の変形
エネルギー関数には、正則化項を加えた数式１３に示すものを用いてもよい。

ここで、Ｒは微分を表す行列を表し、α、βは定数、ＺはＸと同じサイズのベクトルである。例えば、制約視点以外の視点からの画質を劣化させないために、Ｚには初期要素画像７５１を用いることができる。数式１３のエネルギー関数を最小化する数式４の左辺は、ムーアペンローズの一般逆行列を用いて算出することができる。

また、以下のエネルギー関数を用いて、最急降下法や共役勾配法などの繰り返し計算で算出することもできる。

例えば、繰り返し計算として最急降下法を用いる場合、ｔ＋１回目の繰り返し処理は以下の式で表せる。

ここで、εは定数である。このときＹがＸ_ｔの線形変換で表せる場合、Ｙは以下の式で表せる。

ここで、Ｔ_ｔ’はＸ_ｔをＹに変換する行列である。このとき、数式１７を数式１６に代入することで、以下の式が得られる。

ここで、Ｈ_ｔ”は次の数式で表すことができる。

ｎ回の繰り返し処理を行う場合、数式４の左辺は以下の式で表せる。

ここで、制約視点以外の視点からの画質を劣化させないために、Ｘ_０には初期要素画像７５１を用いることができる。

なお、制約視点の数は複数でもよく、制約視点の数が変化しても、計算する際の行列の大きさは変化しないので処理量は変わらない。

このように、数式１３に示す変形したエネルギー関数を用いた場合でも、目的画像に多重ボケのない画像を用いて、観測画像が目的画像になるように最適要素画像７５２を加重和によって生成するため、多重ボケを低減できる。また、要素画像に黒画素を挿入しないため、観測画像の輝度を低下させない。更に、正則化項の効果により、数式４の左辺である最適要素画像に不連続な破綻を防止し、自然な最適要素画像を生成することができる。

以上の第２の実施形態によれば、目的画像に多重ボケのない画像を用いて、観測画像が目的画像になるように最適要素画像７５２を加重和によって生成するため、多重ボケを低減できる。また目的画像は任意に設定することができるため、制約視点での観測画像を任意に設計することができる。

（第３の実施形態）
第３の実施形態に係わる立体画像表示装置１４００について図１４を参照して説明する。本実施形態の立体画像表示装置１４００は、第２の実施形態の立体画像表示装置１０００に視差画像生成部１４０１を追加したものである。

視差画像生成部１４０１は、モデリングデータ１４５１を入力し、このデータから１つ以上の所定の視点から見たときの視差画像を生成し、この視差画像を目的画像１０５２として出力する。モデリングデータ１４５１は、立体画像表示装置１４００に表示させる物体の３次元座標と輝度値を表す。視差画像生成部１４０１は、モデリングデータ１４５１を入力し、例えばＣＧ（computer graphics）レンダリングを行って視差画像を生成する。

次に、第３の実施形態に係わる立体画像表示装置１４００の動作について図１４および図１５を参照して第２の実施形態とは異なる部分のみ説明する。図１５は、第３の実施形態に係わる立体画像表示装置１４００の動作の一例を示すフローチャートである。

ステップＳ１５０１では、視差画像生成部１４０１が、モデリングデータ１４５１を入力し、このデータから１つ以上の所定の視点から見たときの視差画像を生成し、この視差画像を目的画像１０５２として出力する。

以上の第３の実施形態によれば、観測画像が多重ボケのない目的画像になるように最適要素画像７５２を加重和によって生成するため、多重ボケを低減できる。また、目的画像となる視差画像をモデリングデータから自由に生成することができるため、予め制約視点における視差画像を撮像しておく必要が無い。

（第４の実施形態）
第４の実施形態に係わる立体画像表示装置１６００について図１６を参照して説明する。本実施形態の立体画像表示装置１６００は、第２の実施形態の立体画像表示装置１０００に検出部１６０３および取得部１６０２を追加したものである。

図１８に示すように第４の実施形態に係わる立体画像表示装置１６００には、立体画像表示装置１６００を見ている観察者の頭部位置を検出するためにカメラ１８０１を設置する。

取得部１６０２は、カメラ１８０１からの映像を取得してカメラ映像１６５１を出力する。

検出部１６０３は、カメラ映像１６５１を入力しカメラ映像１６５１から顔検出により、１人以上の観察者の顔の領域を検出し、右目あるいは左目あるいは両目の位置を設定し、立体画像表示装置１６００から見たときの観察者の空間的なＸ、Ｙ座標を特定する。目の位置は例えば、顔領域内で統計的に目の存在する確率の最も高い位置を設定することができる。または、カメラ映像１６５１から目検出によって右目あるいは左目あるいは両目の位置を検出することもできる。または、カメラ映像１６５１に写っている顔の大きさを用いて、立体画像表示装置１６００と観察者との距離を推定して、立体画像表示装置１６００から見たときの観察者の空間的なＺ座標を特定することもできる。これらＸ、Ｙ、Ｚ座標の１つ以上を観察者位置１６５２として出力する。

最適要素画像生成部１６０１は、初期要素画像７５１と目的画像１０５２と観察者位置１６５２とを入力し、観察者位置１６５２を制約視点とすること以外は第２の実施形態の最適要素画像生成部１００１と同様にして、最適要素画像７５２を生成する。

次に、第４の実施形態に係わる立体画像表示装置１６００の動作について図１６および図１７を参照して説明する。図１７は、第４の実施形態に係わる立体画像表示装置１６００の動作の一例を示すフローチャートである。

ステップＳ１７０１では、取得部１６０２がカメラ１８０１からの映像を取得してカメラ映像１６５１を出力する。

ステップＳ１７０２では、検出部１６０３が、カメラ映像１６５１を入力しカメラ映像１６５１から顔検出により、１人以上の観察者の顔の領域を検出し、右目あるいは左目あるいは両目の位置を設定し、立体画像表示装置１６００から見たときの観察者の空間的なＸ、Ｙ座標を特定する。

ステップＳ１７０３では、最適要素画像生成部１６０１が、初期要素画像７５１と目的画像１０５２と観察者位置１６５２とを入力し、観察者位置１６５２を制約視点とすること以外は第２の実施形態の最適要素画像生成部１００１と同様にして、最適要素画像７５２を生成する。

このように、第４の実施形態に係わる立体画像表示装置１６００によれば、観測画像が多重ボケのない目的画像になるように最適要素画像７５２を加重和によって生成するため、多重ボケを低減できる。また、第２の実施形態では事前に定めた所定の制約視点でしか観察者に目的画像を視認させられないのに対し、第４の実施形態では、カメラ１８０１により検出した観察者の位置に合わせて最適要素画像を生成することができるため、１人以上の観察者の右目あるいは左目あるいは両目の位置で目的画像を視認させることができる。

以上の第４の実施形態によれば、表示画像の輝度を低下させることなく、多重ボケを低減することが可能となる。

例えば多重ボケ低減のために、隣接する２画素のうちの１画素に黒を表示し、隣接する画素の光線分布の重なりを少なくすることができるが、要素画像に黒画素を挿入すると観測画像の輝度を低下させる。本実施形態によれば、表示画像の輝度を低下させることなく、多重ボケを低減することが可能になる。

なお、これら立体画像表示装置において、視差画像生成部１４０１、取得部１６０２、検出部１６０３、および最適要素画像生成部７０１、１００１、１６０１は、汎用のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。

また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の立体画像表示装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の立体画像表示装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
更に、本願発明における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本願発明におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…立体画像表示装置、１０１…２次元画像表示装置、１０２…光線制御子、１０３…領域、２０１…レンズ、２０２、５０１、５０２、５０３…画素、５０７…位置、５０８、５０９、５１０…値、７００…立体画像表示装置、７０１…最適要素画像生成部、７０２…表示部、７５１…初期要素画像、７５２…最適要素画像、９０１…ＣＰＵ、９０２…記憶部、９０３…バス、１０００、１４００、１６００…立体画像表示装置、１００１、１６０１…最適要素画像生成部、１０５２…目的画像、１４０１…視差画像生成部、１４５１…モデリングデータ、１６０２…取得部、１６０３…検出部、１６５１…カメラ映像、１６５２…観察者位置、１８０１…カメラ。

Claims (13)

1. 複数の画素がマトリクス状に配置された表示面を有する２次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該２次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部と、
   生成または入力した仮の要素画像である初期要素画像の２つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも１つの画素の値を決定して最適要素画像を生成する最適要素画像生成部と、を具備し、
   前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示装置。
2. 前記最適要素画像生成部は、前記表示部を少なくとも１つの所定の視点から見たときに観察させたい目的画像を入力し、前記光線分布から算出される前記視点での重ね合わせ画像と前記目的画像との差分を表すエネルギー関数を小さくする重みを求めることを特徴とする請求項１に記載の立体画像表示装置。
3. 複数の画素がマトリクス状に配置された表示面を有する２次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該２次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部と、
   前記表示部を少なくとも１つの所定の視点から見たときに観察させたい目的画像の２つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも１つの画素の値を決定して最適要素画像を生成する最適要素画像生成部と、を具備し、
   前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示装置。
4. 前記最適要素画像生成部は、前記光線分布から算出される前記視点での重ね合わせ画像と前記目的画像との差分を表すエネルギー関数を小さくする重みを求めることを特徴とする請求項３に記載の立体画像表示装置。
5. 前記最適要素画像生成部は、前記エネルギー関数の勾配に基づいて前記重みを算出することを特徴とする請求項２または請求項４に記載の立体画像表示装置。
6. 前記重みは前記エネルギー関数を小さくするものであり、前記最適要素画像生成部は、前記光線分布によって決定される行列の一般逆行列によって該重みを算出することを特徴とする請求項２または請求項４に記載の立体画像表示装置。
7. 前記目的画像は、立体画像表示装置に表示させる複数の視差画像の中から、前記視点に対応する位置から撮像した視差画像であることを特徴とする請求項２または請求項３に記載の立体画像表示装置。
8. 立体画像表示装置に表示させる物体の３次元座標と輝度値とから、任意の視点から見たときの視差画像を生成する視差画像生成部を更に具備し、
   前記最適要素画像生成部は、前記目的画像として前記視差画像を入力することを特徴とする請求項２または請求項３に記載の立体画像表示装置。
9. 立体画像表示装置を見ている観察者の顔の領域を検出するためのカメラと、
   前記カメラが撮像したカメラ映像を取得する取得部と、
   前記カメラ映像から、観察者の顔の領域を表す観察者位置を検出する検出部と、を更に具備し、
   前記最適要素画像生成部は、前記観察者位置を前記視点として前記最適要素画像を生成することを特徴とする請求項２または請求項３に記載の立体画像表示装置。
10. 複数の画素がマトリクス状に配置された表示面を有する２次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該２次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部を用意し、
    生成または入力した仮の要素画像である初期要素画像の２つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも１つの画素の値を決定して最適要素画像を生成することを具備し、
    前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示方法。
11. 複数の画素がマトリクス状に配置された表示面を有する２次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該２次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部用意し、
    前記表示部を少なくとも１つの所定の視点から見たときに観察させたい目的画像の２つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも１つの画素の値を決定して最適要素画像を生成することを具備し、
    前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示方法。
12. コンピュータを、
    複数の画素がマトリクス状に配置された表示面を有する２次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該２次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部表示手段と、
    生成または入力した仮の要素画像である初期要素画像の２つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも１つの画素の値を決定して最適要素画像を生成する生成手段として機能させるためのものであり、
    前記表示手段は前記最適要素画像を表示することを特徴とする立体画像表示プログラム。
13. コンピュータを、
    複数の画素がマトリクス状に配置された表示面を有する２次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該２次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部手段と、
    前記表示手段を少なくとも１つの所定の視点から見たときに観察させたい目的画像の２つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも１つの画素の値を決定して最適要素画像を生成する生成手段として機能させるためのものであり、
    前記表示手段は前記最適要素画像を表示することを特徴とする立体画像表示プログラム。

Images