JP2014216719A - 画像処理装置、立体画像表示装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】ピクセルマッピングにより発生する多重像や画像ボケなどの発生を防止する。
【解決手段】実施形態にかかる立体画像表示装置は、表示パネルと光学的開口部とを有する表示部と、前記パネルにおける複数のサブピクセルが配列する面を複数の領域に区画する光線方向量子化部と、前記複数の領域それぞれに対応する１つ以上のサブピクセルをサブピクセルグループにグループ化するサブピクセル選択部と、各サブピクセルグループに含まれるサブピクセルを代表する代表光線の出射方向を示す代表光線番号を算出する代表光線算出部と、前記代表光線の前記出射方向とモデルデータとに基づいて、前記代表光線番号に対応する輝度値を前記サブピクセルグループごとに算出する輝度算出部と、前記輝度値に基づいて前記サブピクセルグループに含まれるサブピクセルの輝度値を決定するサブピクセル輝度算出部とを備える。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、立体画像表示装置、画像処理方法およびプログラムに関する。

従来、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、超音波診断装置などの医用画像診断装置の分野では、３次元の医用画像（ボリュームデータ）を生成可能な装置が実用化されている。また、近年では、ボリュームデータを任意の視点からレンダリングする技術が実用化されており、ボリュームデータを複数の視点からレンダリングして立体画像表示装置に立体的に表示することが検討されている。

立体画像表示装置では、視聴者は特殊なメガネを使用せずに裸眼で立体画像を観察することができる。このような立体画像表示装置は、視点の異なる複数の画像（以下ではそれぞれの画像を視差画像とよぶ）を表示し、これらの視差画像の光線を、光学的開口部（例えばパララックスバリア、レンチキュラレンズなど）によって制御する。この際、表示する画像は、その画素が光学的開口部を通して覗いた場合に意図した方向で意図した画像が観察されるように並びかえられたものである必要がある。このような画素の並べ替え方法は、ピクセルマッピングと呼ばれる。

光学的開口部とそれに合わせたピクセルマッピングによって制御された光線は、視聴者の両眼に導かれる。その際、視聴者の観察位置が適切であれば、視聴者は立体像を認識できる。このように視聴者が立体像を観察可能な領域を視域という。

視差画像を生成する際の視点数はあらかじめ決められており、一般に表示パネルのすべてのピクセルの輝度情報を決定するのに十分ではない。そのため、視差画像から輝度情報が決定されないピクセルについては、最も近い視点の視差画像の輝度情報を利用する、近傍の視点の視差画像の輝度情報をもとに線形補間を行うなどにより輝度値が決定される。

しかしながら、本来存在しない情報を補間処理により求めるため、異なる視点の視差画像がブレンドされてしまう。その結果、本来１つであった画像のエッジ部分が２つ以上に重なって見えたり（以下、多重像という）、画像全体がぼけて見えたり（以下、画像ボケという）などの問題が発生する。

特許第４６７２４６１号公報

C. V. Berkel, "Image preparation for 3D-LCD," Proc. SPIE, Stereoscopic Displays and Virtual Reality Systems, vol. 3639, pp. 84-91, 1999.

以下の実施形態では、ピクセルマッピングにより発生する多重像や画像ボケなどの発生を防止することが可能な画像処理装置、立体画像表示装置、画像処理方法およびプログラムを提供することを目的とする。

実施形態にかかる立体画像表示装置は、立体物の形状が表現されたモデルデータから生成される立体画像を表示可能な立体画像表示装置であって、複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部と、前記パネルにおける前記複数のサブピクセルが配列する面を複数の領域に区画する光線方向量子化部と、前記複数の領域それぞれに対応する１つ以上のサブピクセルをサブピクセルグループにグループ化するサブピクセル選択部と、各サブピクセルグループに含まれるサブピクセルを代表する代表光線の出射方向を示す代表光線番号を算出する代表光線算出部と、前記代表光線の前記出射方向と前記モデルデータとに基づいて、前記代表光線番号に対応する輝度値を前記サブピクセルグループごとに算出する輝度算出部と、前記輝度値に基づいて前記サブピクセルグループに含まれるサブピクセルの輝度値を決定することで前記立体画像を生成するサブピクセル輝度算出部と、を備える。

また、実施形態にかかる画像処理方法は、複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部に、立体物の形状が表現されたモデルデータから生成される立体画像を表示する画像処理方法であって、前記パネルにおける前記複数のサブピクセルが配列する面を複数の領域に区画し、前記複数の領域それぞれに対応する１つ以上のサブピクセルをサブピクセルグループにグループ化し、各サブピクセルグループに含まれるサブピクセルを代表する代表光線の出射方向を示す代表光線番号を算出し、前記代表光線の前記出射方向と前記モデルデータとに基づいて、前記代表光線番号に対応する輝度値を前記サブピクセルグループごとに算出し、前記輝度値に基づいて前記サブピクセルグループに含まれるサブピクセルの輝度値を決定することで前記立体画像を生成することを含む。

また、実施形態にかかるプログラムは、複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部に、立体物の形状が表現されたモデルデータから生成される立体画像を表示可能な立体画像表示装置のコンピュータを動作させるためのプログラムであって、前記パネルにおける前記複数のサブピクセルが配列する面を複数の領域に区画する光線方向量子化ステップと、前記複数の領域それぞれに対応する１つ以上のサブピクセルをサブピクセルグループにグループ化するサブピクセル選択ステップと、各サブピクセルグループに含まれるサブピクセルを代表する代表光線の出射方向を示す代表光線番号を算出する代表光線算出ステップと、前記代表光線の前記出射方向と前記モデルデータとに基づいて、前記代表光線番号に対応する輝度値を前記サブピクセルグループごとに算出する輝度算出ステップと、前記輝度値に基づいて前記サブピクセルグループに含まれるサブピクセルの輝度値を決定することで前記立体画像を生成するサブピクセル輝度算出ステップと、を前記コンピュータに実行させる。

また、実施形態にかかる画像処理装置は、複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部に、立体物の形状が表現されたモデルデータから生成される立体画像を表示させるための画像処理装置であって、前記パネルにおける前記複数のサブピクセルが配列する面を複数の領域に区画する光線方向量子化部と、前記複数の領域それぞれに対応する１つ以上のサブピクセルをサブピクセルグループにグループ化するサブピクセル選択部と、各サブピクセルグループに含まれるサブピクセルを代表する代表光線の出射方向を示す代表光線番号を算出する代表光線算出部と、前記代表光線の前記出射方向と前記モデルデータとに基づいて、前記代表光線番号に対応する輝度値を前記サブピクセルグループごとに算出する輝度算出部と、前記輝度値に基づいて前記サブピクセルグループに含まれるサブピクセルの輝度値を決定することで前記立体画像を生成するサブピクセル輝度算出部と、を備える。

図１は、実施形態１にかかる立体画像表示装置の構成例を示すブロック図。 図２は、実施形態１における表示装置の概略構成例を示す正面図。 図３は、実施形態１における表示装置の光学的開口と表示素子との関係を示す図。 図４は、実施形態１における３Ｄピクセル領域を説明するための図。 図５は、実施形態１における量子化単位領域とサブピクセルグループとの関係を示す図。 図６は、実施形態１においてパネルに対して最も右にある基準視点から順に小さい光線番号を対応付けた場合のパネルと基準視点との関係を示す図。 図７は、実施形態１においてサブピクセルグループ内に属するサブピクセルと輝度値との関係を示す図。 図８は、実施形態１にかかる画像処理装置の全体動作例を示すフローチャート。 図９は、実施形態１にかかる立体画像生成プロセスの一例を示すフローチャート。 図１０は、実施形態１におけるレンダリング空間と代表光線の始点位置および終点位置との水平方向における位置関係を示す図。 図１１は、実施形態１におけるレンダリング空間と代表光線の始点位置および終点位置との垂直方向における位置関係を示す図。 図１２は、実施形態１におけるパネルの中心と３Ｄピクセル領域の基準点との位置関係を示す図。 図１３は、実施形態１の変形例における輝度算出部の処理を説明するための図。 図１４は、実施形態２にかかる立体画像表示装置の構成例を示すブロック図。 図１５は、実施形態２におけるパネルと光学的開口部における光学素子との位置関係を示す図。

以下、添付図面を参照しながら、例示する実施形態にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを詳細に説明する。

（実施形態１）
まず、実施形態１にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを詳細に説明する。図１は、実施形態１にかかる立体画像表示装置の構成例を示すブロック図である。図１に示すように、立体画像表示装置１は、画像処理装置１０と、表示装置２０とを備える。画像処理装置１０は、クラスタリング処理部１１０と、立体画像生成部１２０と、モデルデータ取得部１３０とを備える。

モデルデータ取得部１３０は、通信網を介して他のシステムと直接的または間接的に通信する機能を備える。たとえば、モデルデータ取得部１３０は、医療システムが保持する医用画像等を、通信網を介して取得する。通信網の種類は任意であり、たとえばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどを適用することができる。また、立体画像表示装置１は、各部がインターネットなどのネットワーク上に分散配置されたクラウドシステムとして構成されてもよい。

クラスタリング処理部１１０は、サブピクセルから射出され光学的開口部を通して飛ぶ光線の方向が近いものをグループ化する。より具体的には、クラスタリング処理部１１０は、分割数によって予め決められるパネル２１上のある範囲から出射する光線の方向を同一方向と見なし、この範囲に属するサブピクセルを１つのまとまり（以下、サブピクセルグループという）としてグループ化する処理を行う。

このクラスタリング処理部１１０は、光線方向量子化部１１１とサブピクセル選択部１１２とを備える。光線方向量子化部１１１は、あらかじめ与えられた分割数に基づいて、表示装置２０におけるパネル２１（図２参照）上で同一のサブピクセルグルーブを形成する範囲（以下、量子化単位領域という）を定義（区画）し、各量子化単位領域を示すパラメータ（以下、範囲パラメータという）を算出する。なお、光線方向量子化部１１１には、パネル２１および光学的開口部２３に関する配置関係や寸法等に関するパラメータ（以下、パネルパラメータという）が入力される。光線方向量子化部１１１は、このパネルパラメータを用いて、量子化単位領域を示す範囲パラメータを算出する。

サブピクセル選択部１１２は、光線方向量子化部１１１が算出した範囲パラメータを元に、各量子化単位領域に対応するサブピクセルを選択し、選択した１つ以上のサブピクセルをサブピクセルグループとしてグループ化する。

立体画像生成部１２０は、各サブピクセルの光線番号と、サブピクセルグループの情報とから、サブピクセルグループを一まとまりとしたレンダリングを行う際に使用する光線（以下、代表光線という）を算出する。なお、光線番号とは、サブピクセルからの光が光学的開口部２３（図２参照）を通してどの方向に射出されるかを表す情報である。

また、立体画像生成部１２０は、表示装置２０で表示する立体画像の視点位置や飛び出し量を規定する基準視点から、各サブピクセルグループに対して算出された代表光線ごとの視点（以下、代表視点という）を算出する。さらに、立体画像生成部１２０は、代表視点と、立体物の形状が表現されたモデルデータとから、サブピクセルグループごとの輝度値を求め、求めた輝度値を各サブピクセルに割り当てることにより立体画像を生成する。

この立体画像生成部１２０は、代表光線算出部１２１と輝度算出部１２２とサブピクセル輝度算出部１２３とを備える。代表光線算出部１２１は、各サブピクセルグループの代表光線の方向（以下、代表光線方向という）を算出する。輝度算出部１２２は、代表光線方向に基づいて、代表光線の始点位置および終点位置および／またはその方向ベクトルを含む情報（以下、代表光線情報という）を算出し、モデルデータと代表光線情報とから各サブピクセルグループの輝度値を算出する。サブピクセル輝度算出部１２３は、算出された輝度値を元にサブピクセルグループ内の各サブピクセルの輝度値を算出し、算出された輝度値の配列よりなる立体画像を表示装置２０に入力する。

表示装置２０は、立体画像を表示するパネル２１と光学的開口部２３とを備え、立体画像をユーザが立体視可能に表示する。なお、実施形態１で説明の際に用いるモデルデータは、ボリュームデータや境界表現モデルなどの３次元画像データであってよい。このモデルデータには、３次元の医用画像データとして用いることが可能なボリュームデータが含まれる。

つぎに、図１に示す各部（装置）について、より具体的に説明する。

・表示装置
図２は、図１における表示装置の概略構成例を示す正面図である。図３は、図２に示す表示装置の光学的開口と表示素子との関係を示す図である。なお、以下の説明において、ユーザが表示装置２０によって表示された立体画像を立体視可能な範囲（領域）を視域という。

図２および図３に示すように、表示装置２０は、実空間上において、複数の画素２２がマトリクス状に２次元配列した表示素子（以下、パネルという）２１と、パネル２１の前面（ユーザ側）に配置された光学的開口部２３とを備える。ユーザは、光学的開口部（開口制御部ともいう）２３を介して表示素子（パネル）２１を観察することで、表示装置２０に表示された立体画像を視認する。以下の説明では、パネル２１の水平方向をＸ軸、鉛直方向下向きをＹ軸、パネル２１前面の法線方向をＺ軸とする。ただし、実空間に対して設定された座標系は、これに限定されるものではない。

パネル２１は、立体画像を立体視可能に表示する。パネル２１としては、直視型２次元ディスプレイ、たとえば有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、投影型ディスプレイなどを用いることができる。

画素２２は、たとえばＲＧＢ各色のサブピクセルを１つずつ含むまとまりを１単位としている。１つの画素２２内に含まれるＲＧＢ各色のサブピクセルは、たとえばＸ軸に沿って配列している。ただし、これに限定されるものではなく、たとえば４色のサブピクセルを１画素としたり、ＲＧＢ各色の内たとえばＢ成分のサブピクセルを２つ含むまとまりを１画素としたりなど、種々変形することができる。

光学的開口部２３は、パネル２１の各画素２２からその前方（−Ｚ方向）に向けて発散される光線を、開口部を介して所定方向に向けて出射させる。光学的開口部２３には、たとえばレンチキュラレンズやパララックスバリアなどの光学素子を適用することができる。たとえばレンチキュラレンズは、微細な細長いシリンドリカルレンズが短手方向に複数配列した構成を備える。

図３に示すように、表示装置２０の視域内に存在するユーザは、光学的開口部２３を介することで、たとえばパネル２１中の画素２２の内、Ｇ成分のサブピクセルを右目Ｒ１で観察し、Ｂ成分のサブピクセルを左目Ｌ１で観察することになる。そこで、図２に示すように、光学的開口部２３は、これを構成する各光学素子の延在方向がパネル２１（たとえばＹ軸方向）に対して所定角度（たとえばθ）傾斜するように構成される。表示装置２０は、この傾きによって生じる光線方向の変化に基づいて各サブピクセルの画素値が算出された立体画像を表示することで、ユーザに画像を立体視させることができる。

・モデルデータ取得部
モデルデータ取得部１３０は、外部からモデルデータを取得する。外部としては、たとえばハードディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）などの記憶メディアに限らず、通信網で接続されたサーバなどが含まれてよい。

また、モデルデータ取得部１３０と通信網を介して接続されるサーバとしては、たとえば医用画像診断装置などが挙げられる。医用画像診断装置は、３次元の医用画像データ（ボリュームデータ）を生成可能な装置である。医用画像診断装置としては、たとえばＸ線診断装置、Ｘ線ＣＴ装置、ＭＲＩ装置、超音波診断装置、ＳＰＥＣＴ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、またはこれらの装置群等が挙げられる。

医用画像診断装置は、被検体を撮影することによりボリュームデータを生成する。たとえば、医用画像診断装置は、被検体を撮影することにより投影データやＭＲ信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数（例えば３００〜５００枚）のスライス画像（断面画像）を再構成することで、ボリュームデータを生成する。つまり、被検体の体軸方向に沿って撮影された複数のスライス画像が、ボリュームデータである。また、医用画像診断装置により撮影された被検体の投影データやＭＲ信号等自体をボリュームデータとしてもよい。また、医用画像診断装置により生成されたボリュームデータの中には、骨・血管・神経・腫瘍などといった、医療現場での観察対象となる物体の画像（以下、オブジェクトと呼ぶ）が含まれてもよい。さらに、ボリュームデータは、等値面を多角形のポリゴンや曲面などの幾何的要素の集合で表現したデータを含んでもよい。

・光線方向量子化部
光線方向量子化部１１１は、あらかじめ与えられた分割数に基づいて、パネル２１上で同一のサブピクセルグルーブを形成する量子化単位領域を定義する。具体的には、３Ｄピクセル領域内を分割数Ｄｎに基づいて分割した領域（量子化単位領域）のＸ軸方向の幅Ｔｄを算出する。

ここで、３Ｄピクセル領域について説明する。図４は、３Ｄピクセル領域を説明するための図である。図４に示すように、３Ｄピクセル領域４０とは、光学的開口部２３の延伸方向に対してＸ軸を基準とした場合の水平幅Ｘｎおよび垂直幅Ｙｎの領域である。各３Ｄピクセル領域４０は、光学的開口部２３の延伸方向と平行な方向に分割線４１ができるように、Ｄｎ個の領域（量子化単位領域）に分割される。たとえば分割数Ｄｎ＝８の場合、７本の分割線４１が定義される。各分割線４１は、３Ｄピクセル領域４０の境界線のうちＹ軸方向の成分を持った側辺４０ｃおよび４０ｄと平行である。また、隣り合う分割線４１は、等間隔となるように配列される。隣り合う分割線４１の間隔Ｔｄは、たとえば以下の式（１）で求めることができる。なお、間隔Ｔｄは、Ｘ軸と平行な長さである。

ここで、１つの分割線４１は、３Ｄピクセル領域４０のＸ座標が小さい方である側辺４０ｃからの距離が一定である。これは、すべての分割線４１に関して同じである。そのため、各分割線４１上を介して射出される光の光線は、同一の方向となる。そこで、実施形態１では、３Ｄピクセル領域４０の側辺４０ｃまたは４０ｄと、これに隣接する分割線４１と、３Ｄピクセル領域４０のＸ軸方向に平行な境界線（以下、上辺４０ａおよび下辺４０ｂという）とで囲まれた領域４２、ならびに、隣接する２つ分割線４１と３Ｄピクセル領域４０の上辺４０ａおよび下辺４０ｂとで囲まれた領域４２を、それぞれサブピクセルグループを構成する際の単位とし、これを量子化単位領域と称する。

なお、３Ｄピクセル領域４０を区画した結果、パネル２１の左端や右端に３Ｄピクセル領域１つ分を構成するには不十分な大きさの領域が余る場合がある。その場合、この余り部分については、例えば横方向に隣接する３Ｄピクセル領域４０の一部を構成するものとみなし、この拡張された３Ｄピクセル領域４０の拡張部分（余り部分）がパネル２１の外側にはみ出るように３Ｄピクセル領域４０を定義して、他の３Ｄピクセル領域４０と同様に処理してもよい。また、その他の方法として、余り部分については黒や白などの単色を設定することにしてもよい。

また、図４中では、水平幅Ｘｎを、光学的開口部２３の各光学素子のＸ軸方向に沿った幅と同じとしたが、必ずしも同じである必要はない。また、上述の式（１）では、間隔Ｔｄを常に一定としたが、必ずしも一定である必要はない。たとえば、３Ｄピクセル領域４０の上辺４０ａまたは下辺４０ｂに近いほど間隔Ｔｄが大きく、遠ざかるほど、すなわち３Ｄピクセル領域４０の中心に近いほど）、間隔Ｔｄが小さくなるように構成されてもよい。

さらに、図４には、光学的開口部２３を構成する個々のレンズ（バリア）の境界とパネル２１の左上隅とが一致している場合を例示しているが、これらがずれている場合も考えられる。そのような場合には、各３Ｄピクセル領域４０が定義される位置を同様の量だけずらせばよい。また、３Ｄピクセル領域４０の位置のシフトによって左端や右端に発生する余り領域ついては、前述した処理と同様に、隣接する３Ｄピクセル領域４０を拡張して考える方法や、生じた余り部分に単色を設定する方法などを適用することができる。

・サブピクセル選択部
サブピクセル選択部１１２は、光線方向量子化部１１１によって定義された量子化単位領域４２に基づいて、それぞれの光線方向を同一方向と見なす１つ以上のサブピクセルを選定し、これらを１つのサブピクセルグループとしてグループ化する。具体的には、図５に示すように、ある量子化単位領域４２について、代表点がこの量子化単位領域４２に含まれるサブピクセルを全て選択する。代表点とは、たとえば各サブピクセルの左上隅や中心など、予め定められた位置であってよい。なお、図５では、各サブピクセルの左上隅を代表点とした場合を例示している。

サブピクセルを選択する際、サブピクセル選択部１１２は、この量子化単位領域４２の垂直幅Ｙｎの範囲内に属するＹ座標Ｙｔそれぞれに関して、量子化単位領域４２の側辺４０ｃのＸ座標Ｘｔを求める。このＸ座標Ｘｔから間隔Ｔｄの範囲（Ｘｔ＋Ｔｄ）内に代表点が含まれている全てのサブピクセルが、グループ化の対象となるサブピクセルである。したがって、たとえばＸ座標Ｘｔがサブピクセル単位で定義されている場合、Ｘｔ＋Ｔｄの範囲内に含まれる整数値が、選択されるサブピクセルのＸ座標となる。たとえば、Ｘｔ＝１．２、Ｔｄ＝２、Ｙｔ＝３の場合、選択されるサブピクセルの座標は（２，３）および（３，３）の２つとなる。サブピクセル選択部１１２は、このような選択を垂直幅Ｙｎの範囲内のすべてのＹ座標Ｙｔについて行うことで、各量子化単位領域に関して、それぞれに代表点が属する全てのサブピクセルを選定し、これらを量子化単位領域に対応するサブピクセルグループとする。

・代表光線算出部
代表光線算出部１２１は、各サブピクセルグループに属する各サブピクセルの光線番号を算出する。また、代表光線算出部１２１は、算出した各サブピクセルの光線番号から量子化単位領域４２ごとに１つの代表光線番号を算出し、算出した代表光線番号をもとに代表光線情報を算出する。より具体的には、代表光線算出部１２１は、パネル２１の各サブピクセルから射出される光線が光学的開口部２３を通して飛ぶ方向を示す光線番号を算出する。

ここで、光線番号とは、パネル２１の各サブピクセルから射出される光線が、光学的開口部２３を介して指し示す方向である。この光線番号は、たとえば、基準視点数をＮとし、光学的開口部２３の延伸方向に対してＸ軸を基準とした３Ｄピクセル領域４０（水平幅Ｘｎおよび垂直幅Ｙｎの領域）を定義し、その３Ｄピクセル領域４０の負側の側辺４０ｃに対応する位置から射出される光が飛ぶ方向を‘０’とし、その側辺４０ｃからＸｎ／Ｎだけ離れた位置から射出される光が飛ぶ方向を‘１’というように順に定義することで算出することができる。これには、例えば、非特許文献１に記載の方法を用いることができる。

これにより、各サブピクセルから射出された光の光線に対して、それぞれが光学的開口部２３を介して指し示す方向を表す番号が光線番号として与えられる。なお、予め設定される複数の基準視点は、パネル２１の中心Ｏを通る垂線と垂直に交わり、且つ、Ｘ軸方向と平行な線上に、たとえば等間隔に配列しているものとする。

光学的開口部２３の構成要素である各光学素子のＸ軸方向に沿った幅と水平幅Ｘｎとが一致していない場合、光線方向を表す光線番号は、同一の３Ｄピクセル領域４０内でのみの通し番号となる。すなわち、ある３Ｄピクセル領域４０の光線番号は、他の３Ｄピクセル領域４０における同じ光線番号とは同一の方向とならない。ただし、同様の光線番号を１つの集合にまとめた場合、各集合に属する光線番号に対応する光線は、集合毎に異なる点（以下、集光点という）で集光することになる。つまり、ある点で集光する光線同士は同じ光線番号を持ち、これとは異なる光線番号の集合に属する光線同士は、上記集光点とは異なる同一の集光点に集光する。

一方、光学的開口部２３の構成要素である各光学素子のＸ軸方向に沿った幅と水平幅Ｘｎとが一致する場合、同じ光線番号を持つ光線同士は平行光線に限りなく近くなる。そのため、全ての３Ｄピクセル領域４０における同一の光線番号の光線が同一の方向を差すことになる。また、このときの各集合に属する光線番号に対応する光線の集光点は、パネル２１から無限遠の位置に存在することになる。

また、基準視点とは、レンダリングしたい空間（以下、レンダリング空間という）に対して一定の間隔で定義された複数の視点（コンピュータグラフィクス分野ではカメラと称される場合がある）である。複数の基準視点と光線番号とを対応付ける方法としては、たとえば、パネル２１と向かい合わせで考えた場合に最も右にある視点から順に小さい光線番号を対応付ければよい。この場合、最も右に位置する基準視点に光線番号‘０’が対応づけられ、その次に右側に存在する基準視点に光線番号‘１’が対応づけられることになる。

図６は、パネルに対して最も右にある基準視点から順に小さい光線番号を対応付けた場合のパネルと基準視点との関係を示す図である。図６に示すように、パネル２１に対して＃０〜＃３の４つの基準視点３０を設定した場合、最も右に位置する基準視点＃０から順に、整数の光線番号‘０’〜‘３’を対応付ける。隣接する基準視点３０間の間隔を大きくするほど視差が大きくなり、それにより、ユーザに対してより立体感のある立体画像を表示することができる。つまり、基準視点＃０〜＃３の間隔を調整することで、立体画像の飛び出し量を制御することが可能である。

ここで、サブピクセルグループに含まれるｎ個のサブピクセルの光線番号をそれぞれｖ_１〜ｖ_ｎとした場合、代表光線番号ｖ’は例えば、以下の式（２）で求めることができる。式（２）において、ｖ_１〜ｖ_ｎはサブピクセルグループ内の各サブピクセルの光線番号を示し、ｎはサブピクセルグループに属するサブピクセルの数を示す。

ただし、各量子化単位領域４２の代表光線番号の求め方は、上記式（２）を用いた方法に限定されない。たとえば、上記式（２）を用いる方法のような、光線番号の中央値を代表光線番号とするという単純な平均を用いる代わりに、重み付き平均を用いて決定するなど、種々の方法が考えられる。重み付け平均を用いる場合、その重みは、たとえばサブピクセルの色成分の種類によって予め決定されていてもよい。その際、一般にはＧ成分の視感度が高いため、Ｇ成分を表すサブピクセルの光線番号の重みを大きくしてもよい。

また、代表光線算出部１２１は、算出した代表光線番号から、代表光線の始点位置および終点位置、および／または、代表光線の方向ベクトルを算出する。

・輝度算出部
また、輝度算出部１２２は、各量子化単位領域４２の代表光線情報とボリュームデータとから、量子化単位領域４２ごとの輝度値を算出する。輝度値の算出方法としては、コンピュータグラフィクスの分野で広く知られているレイキャスティングやレイトレーシングなどの手法を用いることができる。レイキャスティングとは、視点から光線を追跡し、光線と物体の交点における色情報を積算することでレンダリングを行う方法である。レイトレーシングとは、レイキャスティングにおいて反射光をさらに考慮するものである。

・サブピクセル輝度算出部
サブピクセル輝度算出部１２３は、輝度算出部１２２で算出された量子化単位領域４２ごとの輝度値に基づいて、この量子化単位領域４２に対応するサブピクセルグループ内の各サブピクセルの輝度値を決定する。具体的には、図７に示すように、各量子化単位領域４２に対して輝度算出部１２２が算出した輝度値の色成分４１ｒ、４１ｇおよび４１ｂで、サブピクセルグループ内の各サブピクセル４３ｒ１、４３ｒ２、４３ｇ１、４３ｇ２および４３ｂ１の値を置き換える。たとえば、サブピクセルグループ内のサブピクセル４３ｇ１および４３ｇ２がＧ成分を表現するものである場合、輝度算出部１２２で算出された輝度値のＧ成分４１ｇをそのサブピクセル４３ｇ１および４３ｇ２のＧ成分とする。

立体画像生成部１２０は、以上のようにして算出された輝度値の配列よりなる立体画像を生成する。生成された立体画像は表示装置２０に入力されて、立体視可能に表示される。

つづいて、画像処理装置１０の動作について、図面を参照して詳細に説明する。図８は、画像処理装置１０の全体動作例を示すフローチャートである。図８に示すように、本動作では、まず、光線方向量子化部１１１において、あらかじめ決められた分割数に応じて３Ｄピクセル領域４０に対する分割線４１が算出され、算出された分割線４１に基づいて量子化単位領域４２が算出される（ステップＳ１０）。なお、算出の際の基準となる３Ｄピクセル領域４０の定義は前述の通りであってよい。

つぎに、サブピクセル選択部１１２において、算出された量子化単位領域４２の内、未選択の量子化単位領域４２が１つ選択される（ステップＳ２０）。量子化単位領域４２の選択方法には、たとえばラウンドロビンなど、種々の方法を用いることができる。つづいて、サブピクセル選択部１１２において、選択された量子化単位領域４２に代表点が含まれる全てのサブピクセルが選択され、これらがグループ化されてサブピクセルグループが決定される（ステップＳ２１）。

つぎに、立体画像生成部１２０において、代表光線情報の算出からサブピクセルの輝度値の算出までを行う立体画像生成プロセスが実行される（ステップＳ３０）。

その後、画像処理装置１０は、ステップＳ１０で算出された全ての量子化単位領域４２に対してステップＳ３０の立体画像生成プロセスを完了したか否かを判定し（ステップＳ４０）、未処理の量子化単位領域４２がある場合（ステップＳ４０；ＮＯ）、ステップＳ１０にリターンし、以降の動作を全ての量子化単位領域４２に対する処理が完了するまで実行する。一方、全ての量子化単位領域４２に対して処理が完了している場合（ステップＳ４０；ＹＥＳ）、画像処理装置１０は、算出された画素値を用いて立体画像を生成し（ステップＳ５０）、この生成した立体画像を表示装置２０へ入力し（ステップＳ６０）、その後、処理を終了する。

ここで、図８のステップＳ３０に示す立体画像生成プロセスについて、以下に図面を参照して説明する。図９は、立体画像生成プロセスの一例を示すフローチャートである。

立体画像生成プロセスでは、まず、代表光線算出部１２１において、複数の量子化単位領域４２の内から未選択の量子化単位領域４２が１つ選択される（ステップＳ３０１）。量子化単位領域４２の選択方法には、たとえばラウンドロビンなど、種々の方法を用いることができる。つづいて、代表光線算出部１２１において、選択した量子化単位領域４２の代表光線番号が算出される（ステップＳ３０２）。この代表光線番号の算出方法は、前述の通りであってよい。

つぎに、代表光線算出部１２１において、算出した代表光線番号から代表光線に関する代表光線情報が算出される。具体的には、まず、算出された代表光線番号と、予め設定されている基準視点３０の位置とから、選択中の量子化単位領域４２に対する代表光線の始点位置（視点位置）が算出される（ステップＳ３０３）。

ここで、図１０に、レンダリング空間と代表光線の始点位置および終点位置との水平方向（レンダリング空間の幅方向）における位置関係を示す。また、図１１に、レンダリング空間と代表光線の始点位置および終点位置との垂直方向（レンダリング空間の高さ方向）における位置関係を示す。なお、以下の説明では、簡略化のため、レンダリング空間２４の幅Ｗｗとパネル２１の幅と、および、レンダリング空間２４の高さＷｈとパネル２１の高さとが、それぞれ一致する場合を例に挙げる。その場合、パネル２１の中心Ｏと、レンダリング空間２４の中心Ｏとは、一致する。

ステップＳ３０２で算出された代表光線番号が整数である場合、ステップＳ３０３では、代表光線の水平方向（パネル２１の幅方向）の始点位置として、代表光線番号と対応する基準視点の位置をそのまま採用することができる。一方、算出された代表光線番号が少数値を持つ場合、ステップＳ３０３では、代表光線番号に対応する視点位置が、近傍の基準視点の位置から線形補間により算出される。図１０に示すような、代表光線番号として‘２．５’が算出された例では、光線番号‘２’に対応する基準視点＃２の位置と光線番号‘３’に対応する基準視点＃３の位置とから、線形補間によって代表光線番号‘２．５’に対応する視点３１（代表視点＃２．５）の位置を特定し、この位置を代表光線の始点位置とする。なお、基準視点３０は、パネル２１の中心Ｏを通る垂線と垂直に交わり、且つ、Ｘ軸方向と平行な線上に、たとえば等間隔に配列しているため、代表光線の垂直方向（パネル２１の高さ方向）の始点位置は、図１１に示すように、変動しない。

つぎに、代表光線算出部１２１において、パネル２１の中心Ｏから各３Ｄピクセル領域４０に予め設定しておいた基準点２５までのベクトルＤｖ＝（Ｄｘ，Ｄｙ）が求められる（ステップＳ３０４）。図１２は、パネルの中心と３Ｄピクセル領域の基準点との位置関係を示す図である。図１２に示す例では、３Ｄピクセル領域４０の基準点２５が、たとえば３Ｄピクセル領域４０の左上隅に設定されているものとする。

つぎに、代表光線算出部１２１において、パネル２１に対して算出されたベクトルＤｖを、レンダリング空間２４でのベクトルＤｖ’＝（Ｄｘ’，Ｄｙ’）に変換する（ステップＳ３０５）。すなわち、３Ｄピクセル領域４０の左上隅がレンダリング空間２４のどの位置にあるかを表すベクトルＤｖ’＝（Ｄｘ’，Ｄｙ’）を求める。ここで、上述したように、レンダリング空間２４の幅Ｗｗとパネル２１の幅と、および、レンダリング空間２４の高さＷｈとパネル２１の高さとが、それぞれ一致し、パネル２１の中心Ｏとレンダリング空間２４の中心Ｏとが一致する。そのため、ベクトルＤｖ’は、ベクトルＤｖのＸ座標をパネル２１の横幅で正規化するとともに、ベクトルＤｖのＹ座標をパネル２１の縦幅で正規化し、その後、レンダリング空間２４の横幅Ｗｗと縦幅Ｗｈとを正規化後のＸ座標およびＹ座標にそれぞれ乗算することで求めることができる。

つぎに、代表光線算出部１２１において、変換後のベクトルＤｖ’から、代表光線の終点位置を算出し、算出した終点位置と、ステップＳ３０３で算出した始点位置とから、代表光線のベクトルを取得する。これにより、代表光線算出部１２１において、選択中の量子化単位領域４２の代表光線番号に対応する代表光線情報が生成される（ステップＳ３０６）。なお、この代表光線情報には、代表光線の始点位置と終点位置とが含まれていてもよい。また、この始点位置と終点位置とは、レンダリング空間２４における座標であってもよい。

なお、ステップＳ３０６の処理は透視投影に相当するが、それに限るものではなく、たとえば平行投影を用いることも可能である。その場合、代表光線の始点位置にベクトルＤｖ’が加算される。また、平行投影と透視投影を組み合わせることも可能である。その場合、ベクトルＤｖ’の成分のうち透視投影とする成分のみを代表光線の始点位置に加算すればよい。

このように、代表校線情報を算出すると、つぎに、輝度算出部１２２において、代表光線情報とボリュームデータとから量子化単位領域４２ごとの輝度値が算出される（ステップＳ３０７）。輝度値の算出方法は、上述したレイキャスティングやレイトレーシングなどの手法を用いてよい。

つぎに、サブピクセル輝度算出部１２３において、輝度算出部１２２で算出された量子化単位領域４２ごとの輝度値に基づいて、選択中の量子化単位領域４２に対応するサブピクセルグループ内の各サブピクセルの輝度値が決定される（ステップＳ３０８）。各サブピクセルに対する輝度値の決定方法は、上述において図７を用いて説明した方法と同様であってよい。

その後、立体画像生成部１２０は、全ての量子化単位領域４２に対して上述の処理を完了したか否かを判定し（ステップＳ３０９）、完了していない場合（ステップＳ３０９；ＮＯ）、ステップＳ３０１へリターンし、以降の動作を全ての量子化単位領域４２に対する処理が完了するまで実行する。一方、全ての量子化単位領域４２に対する処理が完了している場合（ステップＳ３０９；ＹＥＳ）、図８に示す動作へリターンする。

以上のように、実施形態１によれば、視差画像を補間しながら立体画像を生成する方法に比べて、ユーザに高品質な立体像を提供することが可能となる。また、サブピクセル単位で処理しないため、高速に処理可能である。さらに、実施形態１によれば、デバイスの計算能力に応じて画質と処理速度のバランスを調整することも可能である。

ここで、実施形態１における計算量と分割数との関係について説明する。上述したように、３Ｄピクセル領域４０は複数存在する。また、各３Ｄピクセル領域４０は、所定の分割数でさらに分割される。そのため、実際の処理の単位である量子化単位領域４２は複数存在することになる。例えば、３Ｄピクセル領域４０が１００個、分割数が８である場合、１００×８＝８００セットの量子化単位領域４２が存在することになる。その場合、図８のステップＳ１０〜Ｓ３０は、８００回繰り返されることになる。このように、実施形態１における計算量は、表示装置２０のサブピクセル数ではなく、３Ｄピクセル領域４０とその分割数によって決定されるため、任意に調整することが可能である。たとえば、表示装置２０が１００００個のサブピクセルを備える場合、一般的にはレンダリング回数がサブピクセル数と同様の１００００回となる。一方、実施形態１によれば、レンダリング回数は１つの量子化単位領域４２に対して１回であるため、８００セットの量子化単位領域４２に対しては８００回のレンダリングで立体像を表示することが可能である。

また、実施形態１では、表示装置２０のサブピクセル数が増加した場合でも１つの量子化単位領域４２に含まれるサブピクセル数が増加するだけであり、レンダリング回数は変化しない。このことは、ハードウェアの設計にあたって行われる処理コストの見積もりに要する作業量を低減できるという効果を奏し得る。さらに、レンダリング等の処理が量子化単位領域４２を単位として独立して実行されるため、各量子化単位領域４２に対する処理を並列して実行することが可能であるとともに、並列処理とした場合の速度面での効果が大きいという効果も奏し得る。

なお、３Ｄピクセル領域４０は、通常、光学的開口部２３の設計によってあらかじめ決定されるため、実際には分割数を調整する必要がある。ここで、分割数を小さくすれば間隔Ｔｄが大きくなり、結果として量子化単位領域４２のセット数が減少するため、処理が高速になるが、個々の量子化単位領域４２が大きくなるため、より広い範囲の光線番号を１つのグループとしてしまい、視域内で視点を移動した場合の画質が低下する可能性がある。つまり、実施形態１では、分割数を調整することで処理速度と視点移動時の画質との関係を調整することが可能である。そこで、計算能力が比較的低いデバイスでは処理速度が上がるように分割数を調整し、計算能力が比較的高いデバイスでは高画質となるように分割数を調整するなど、使用デバイスに応じて処理速度と画質との関係を柔軟に調整することが可能である。

また、実施形態１では、分割数を調整することで、視点を静止させている場合の画質を調整することも可能である。従来では、３Ｄディスプレイにおいてある視点での画質を考えた場合、クロストークと呼ばれる、本来見せたい光線以外の光線の漏れ込みにより映像がボケる場合がある。クロストークの程度はハードウェアの設計によって決定され、完全になくすことは困難であるが、実施形態１によれば、分割数を小さくすることで近傍に射出される光線が同じ情報を持つようになるため、光線の漏れ込みが映像のボケとして視認されず、結果として静止している場合の画質を向上させることが可能である。このように、実施形態１では、計算能力が比較的高いデバイスにおいて分割数を少なくすることも有効である。

なお、実施形態１では、モデルデータとしてボリュームデータを用いたが、これに限定されるものではない。たとえば境界表現モデルなど、コンピュータグラフィクス分野で一般的なその他のモデルも同様に用いることが可能である。その場合にも、輝度値算出においては、同様にレイキャスティングやレイトレーシングを用いることが可能である。

また、実施形態１では、レンズやバリアなどの光学素子１つ１つの幅を基準として３Ｄピクセル領域４０を設定したが、それに限定されるものではなく、たとえば複数の光学素子をまとめて１つの仮想的な光学素子（レンズやバリアなど）として３Ｄピクセル領域４０を設定してもよい。この場合も、上述した方法と同様に処理を行うことが可能である。また、ステップＳ３０４において３Ｄピクセル領域４０の左上隅を基準点２５としたが、それに限定されるものではなく、３Ｄピクセル領域４０の左上隅と右下隅との位置座標の平均により求められる中心など、３Ｄピクセル領域を代表する点であればどの位置に基準点２５が設定されてもよい。

さらに、実施形態１では、パネル２１の中心Ｏとレンダリング空間２４の中心Ｏ（０，０，０）とが一致する場合を例に説明したが、パネル２１の中心Ｏとレンダリング空間２４の中心Ｏとがずれていてもよい。その場合、パネル２１を基準とした座標系からレンダリング空間２４の座標系へ適切な座標変換を行うことで、同様の処理を適用することが可能である。さらにまた、実施形態１では、パネル２１の横幅とレンダリング空間２４の幅Ｗｗ、パネル２１の縦幅（高さ）とレンダリング空間２４の高さ（Ｗｈ）とを一致する場合を例に説明したが、それぞれ、もしくは、それらの内の一方が異なっていてもよい。その場合、パネル２１の縦横のサイズと、レンダリング空間２４の縦横のサイズとを一致させるように両者の座標系を変換することで、同様の処理を適用することが可能である。さらにまた、光線番号が少数値を持つ場合には線形補間によって代表光線の始点位置を求めたが、補間方法はこれに限るものではなく、他の関数が用いられてもよい。たとえば、シグモイド関数のように線形ではない関数を用いた補間によって代表光線の始点位置を求めてもよい。

（実施形態１の変形例）
実施形態１において処理対象とするモデルデータは、上述したように、ボリュームデータに限るものではない。本変形例では、モデルデータが、１視点の画像（以下、参照画像という）とそれに対応するデプスデータとの組み合わせである場合について説明する。

本変形例にかかる立体画像表示装置は、図１に示す立体画像表示装置１と同様の構成を備えてよい。ただし、本変形例では、代表光線算出部１２１と輝度算出部１２２とが、それぞれ以下のような動作を実行する。

・代表光線算出部
本変形例において、代表光線算出部１２１は、実施形態１における図９のステップＳ３０１〜Ｓ３０６に示した動作と同様の動作を実行する。ただし、代表光線算出部１２１は、基準視点３０の代わりにカメラ位置を用いる。すなわち、代表光線算出部１２１は、量子化単位領域ごとのカメラ位置を用いて代表光線のカメラ位置（始点位置）を算出するとともに、このカメラ位置とパネル２１の中心Ｏとの距離を算出する。

・輝度算出部
また、輝度算出部１２２は、代表光線算出部１２１で求めたカメラ位置とパネル２１の中心Ｏからの距離とに基づいて、参照画像と参照画像の各ピクセルに対応するデプスデータとから各サブピクセルの輝度値を算出する。以下に、本変形例における輝度算出部１２２の動作を説明する。なお、以下の説明では、簡略化のため、参照画像が光線番号‘０’に対応する画像であり、レンダリング空間２４の幅Ｗｗに参照画像の横幅が一致し、レンダリング空間２４の高さＷｈに参照画像の縦幅が一致し、さらに、参照画像の中心がレンダリング空間２４の中心Ｏと一致する場合、つまり、パネル２１と参照画像とが同じスケールでレンダリング空間２４に配置された場合を例に挙げる。

図１３は、本変形例における輝度算出部の処理を説明するための図である。図１３に示すように、本変形例１では、輝度算出部１２２は、まず、参照画像の各ピクセル（以下、参照ピクセル群）における視差ベクトルｄを求める。視差ベクトルｄとは、所望の飛び出し量を得るためにピクセルをどちらの方向にどの程度平行移動させる必要があるかを示すベクトルである。あるピクセルに対する視差ベクトルｄは、以下の式（３）で求めることができる。

式（３）において、Ｌｚはレンダリング空間２４の奥行きサイズ、ｚ_ｍａｘはデプスデータの取り得る最大値、ｚ_ｄはデプスデータ、ｚ_０はレンダリング空間２４での飛び出し距離、ｂは隣接するカメラ位置間のベクトル、ｚ_ｓはレンダリング空間２４におけるカメラ位置から参照画像（パネル２１）までの距離をそれぞれ表す。また、図１３において、Ｆ０はデプスデータの取り得る最大値に対応する面の位置、Ｆ１はデプスデータにおける対象物Ｂの位置、Ｆ２はパネル２１の位置、Ｆ３はデプスデータの取り得る最小値に対応する面の位置、Ｆ４は基準視点（ｖ＋１，ｖ，…）が配列される面の位置をそれぞれ表す。

つぎに、輝度算出部１２２は、参照画像をデプスデータに応じて平行移動した後の各ピクセルのレンダリング空間２４における位置ベクトルｐ’(ｘ，ｙ)を求める。位置ベクトルＰ’は、たとえば下記の式（４）を用いて求めることができる。

式（４）において、ｘ，ｙはそれぞれ参照画像のピクセル単位のＸ座標およびＹ座標であり、ｎ_ｖは輝度値を求めたいサブピクセルの光線番号であり、ｐ（ｘ，ｙ）はシフト前の各ピクセルのレンダリング空間２４における位置ベクトルであり、ｄ（ｘ，ｙ）は座標（ｘ，ｙ）のピクセルに対応するデプスデータから算出された視差ベクトルｄを示す。

その後、輝度算出部１２２は、求めた位置ベクトルｐ’（ｘ，ｙ）のうち、位置座標がＤｘ’に最も近くなる位置ベクトルＰ’を特定し、それに対応するピクセルを決定する。そのピクセルのサブピクセルに対応する色成分が、求める輝度値である。ここで、最も近くなるピクセルが複数存在する場合、飛び出し量が最も大きなものを採用するとよい。

なお、本変形例では、参照画像の全てのピクセルに対して視差ベクトルｄを求めたが、必ずしもこれに限るものではなく、たとえばカメラ位置がＸ軸に沿って配列している場合は、代表光線算出部１２１が求めたベクトルＤｖ’におけるＸ成分Ｄｘ’を含むピクセルを求め、画像の座標系においてそのピクセルと同様のＹ座標を持つピクセルを用いて視差ベクトルｄを求めてもよい。一方、カメラ位置がＹ軸に沿って配列している場合は、Ｘ成分Ｄｘ’を含むピクセルを求め、画像の座標系においてそのピクセルと同様のＸ座標を持つピクセルを用いて視差ベクトルｄを求めてもよい。

また、参照画像中で最大となる視差ベクトルｄの絶対値｜ｄ｜が分かっている場合、Ｘ成分Ｄｘ’から±｜ｄ｜の領域に含まれるピクセルを用いて視差ベクトルｄを求めてもよい。さらに、上記の方法を組み合わせることで、視差ベクトルを算出する領域を限定してもよい。

以上のように、本変形例によれば、モデルデータが１視点の画像とそれに対応するデプスデータとの組み合わせであって、正確な三次元データでない場合でも、最小限の補間処理で立体画像を生成することが可能となる。それにより、ユーザに高品質な立体像を提供することが可能となる。

（実施形態２）
つぎに、実施形態２にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを詳細に説明する。なお、以下の説明において、上述した実施形態１またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。

実施形態２では、ユーザの視聴位置を取得し、それに基づいて常にユーザが視域内に含まれるようにパネル２１のパラメータを補正する。

図１５は、本実施形態におけるパネルと光学的開口部における光学素子との位置関係を示す図である。パネル２１および光学的開口部２３における光学素子２３ａが図１５（Ａ）に示す状態にあるとき、パネル２１と光学的開口部２３とを水平方向（Ｘ方向）にずらすと、図１５（Ｂ）に示すように、ずらした方向に視域が移動する。図１５（Ｂ）に示す例では、光学的開口部２３を紙面に沿って左にシフトしたことで、光線がηだけ、図１５（Ａ）の場合よりも左に寄り、これによって視域も左にシフトしている。つまり、パネル２１と光学素子２３ａとが物理的にずれている場合、視域が正面に構成されず、いずれかの方向にシフトしてしまう。そのため例えば非特許文献１のピクセルマッピングは、ずれ量ｋｏｆｆｓｅｔを考慮に入れることで、両者が相対的にずれた場合でも、パネル２１の正面に視域が構成されるようになっている。本実施形態では、物理的なずれ量ｋｏｆｆｓｅｔをさらに補正することでユーザの視聴位置に視域をシフトする。これには、前述したパネル２１と光学素子２３ａの位置関係のずれによる視域のシフトを利用する。前述したパネル２１と光学素子２３ａとの位置関係による視域のシフトは、レンズの位置をもとの位置で固定して考えた場合、視域が逆方向にシフトするのと等価と考えることが可能である。そのため、ｋｏｆｆｓｅｔを補正して意図的に視域をシフトさせ、ユーザの視聴位置に合わせる。

また、パネル２１および光学的開口部２３が図１５（Ａ）に示す状態にあるときに、図１５（Ｃ）に示すように、１つの光学的開口部２３に対応するパネル２１上での幅Ｘｎを広げると、視域はパネル２１に近くなる（つまり、図１５（Ｃ）では図１５（Ａ）よりも要素画像幅が大きくなる）。したがって、幅Ｘｎの値を実際の値よりも増減させるように補正することで、ピクセルマッピングによる視域の垂直方向（Ｚ軸方向）の位置補正の程度を連続的に（細かく）できる。これにより、従来技術では視差画像の入れ替えにより離散的にしか変化させることができなかった垂直方向（Ｚ軸方向）における視域の位置を、連続的に変化させることが可能となる。よって、視聴者が任意の垂直位置（Ｚ軸方向の位置）にいる場合に、適切に視域を合わせることが可能となる。

以上より、ずれ量ｋｏｆｆｓｅｔと幅Ｘｎとを適切に補正することで、水平方向および垂直方向のいずれにも視域の位置を連続的に変化させることができる。よって、観察者の任意の位置にいる場合でも、その位置に合わせた視域を設定することが可能となる。

図１４は、実施形態２にかかる立体画像表示装置の構成例を示すブロック図である。図１４に示すように、実施形態２にかかる立体画像表示装置２は、図１に示す立体画像表示装置１と同様の構成に加え、視聴位置取得部２１１と、光線方向算出部２１２とをさらに備える。

・視聴位置取得部
視聴位置取得部２１１は、視聴領域内の実空間におけるユーザの位置を３次元座標値として取得する。視聴者の位置の取得には、例えば、可視カメラ、赤外線カメラ等の撮像機器の他、レーダやセンサ等の機器を用いることができる。視聴位置取得部２１１は、これらの機器で得られた情報（カメラの場合には撮影画像）から、公知の技術を用いて、視聴者の位置を取得する。

例えば、可視カメラを用いた場合には、撮像によって得た画像を画像解析することで、視聴者の検出および視聴者の位置の算出を行う。また、レーダを用いた場合には、得られたレーダ信号を信号処理することで、視聴者の検出及び視聴者の位置の算出を行う。

人物検出・位置算出における視聴者の検出においては、顔、頭、人物全体、マーカーなど、人であると判定可能な任意の対象を検出してもよい。視聴者の目の位置を検出してもよい。なお、視聴者の位置の取得方法は、上記の方法に限定されるものではない。

・マッピングパラメータ補正部
マッピングパラメータ補正部２１２には、視聴位置取得部２１１が取得したユーザの視聴位置に関する情報と、パネルパラメータとが入力される。マッピングパラメータ補正部２１２は、入力された視聴位置に関する情報に基づいてパネルパラメータを補正する。

ここで、パネルパラメータを視聴位置に関する情報に基づいて補正する方法について説明する。パネルパラメータの補正では、視聴位置をもとにパネル２１と光学的開口部２３とのＸ軸方向のずれ量ｋｏｆｆｓｅｔと、光学的開口部２３を構成する１つの光学素子（レンチキュラレンズやパララックスバリア等）のパネル２１上での水平幅Ｘｎとが補正される。このような補正によって、立体画像表示装置１による視域を移動することが可能となる。

たとえば非特許文献１の方法をピクセルマッピングに用いる場合、以下の式（５）のようにパネルパラメータを補正することで、視域を所望の位置に移動させることができる。

式（５）において、ｒ＿ｋｏｆｆｓｅｔは、ずれ量ｋｏｆｆｓｅｔに対する補正量を表す。ｒ＿Ｘｎは、水平幅Ｘｎに対する補正量を表す。これらの補正量の算出方法については、後述する。

上記の式（５）では、ずれ量ｋｏｆｆｓｅｔを光学的開口部２３に対するパネル２１のずれ量と定義した場合を示しているが、パネル２１に対する光学的開口部２３のずれ量と定義した場合は、以下の式（６）のようになる。なお、式（６）において、Ｘｎに対する補正は、上記式（５）と同様である。

補正量ｒ＿ｋｏｆｆｓｅｔおよび補正量ｒ＿Ｘｎ（以下、マッピング制御パラメータ）は、以下のようにして算出される。

補正量ｒ＿ｋｏｆｆｓｅｔは、視聴位置のＸ座標から算出する。具体的には、現在の視聴位置のＸ座標と、視聴位置からパネル２１（またはレンズ）までの距離である視距離Ｌと、光学的開口部２３（レンズの場合は主点Ｐ）からパネル２１までの距離であるギャップｇとを用いて、以下の式（７）で補正量ｒ＿ｋｏｆｆｓｅｔが算出される。なお、現在の視聴位置は、たとえばＣＣＤカメラや対物センサなどや、重力方向を検出する加速度センサなどで得られた情報に基づいて取得することができる。

また、補正量ｒ＿Ｘｎは、視聴位置のＺ座標から、以下の式（８）を用いて算出することができる。なお、ｌｅｎｓ＿ｗｉｄｔｈは、光学的開口部２３をＸ軸方向（レンズの長手方向）に沿って切断した場合の幅である。

・立体画像生成部
立体画像生成部１２０は、光線方向算出部２１２によって算出された各サブピクセルの光線番号と、サブピクセルグループの情報とから、補正後のパネルパラメータを用いて、各サブピクセルグループの代表光線を算出し、以降、実施形態１と同様の動作を実行する。

ただし、実施形態１の変形例のように、モデルデータが参照画像というデプスデータとの組み合わせである場合、輝度算出部１２２は、デプスデータと代表光線番号とに基づいて、参照画像をシフトし、シフト後の参照画像から各サブピクセルグループの輝度値を算出する。

以上のように、実施形態２では、ユーザのパネル２１に対する視聴位置に基づいて光線番号が補正されるため、ユーザがどの位置から視聴しても高品質な立体画像を提供することが可能となる。

また、上記実施形態およびその変形例は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施形態が可能であることは上記記載から自明である。例えば実施形態に対して適宜例示した変形例は、他の実施形態と組み合わせることも可能であることは言うまでもない。

１、２…立体画像表示装置、１０…画像処理装置、２０…表示装置、２１…パネル、２２…画素、２３…光学的開口部、２４…レンダリング空間、２５…基準点、３０…基準視点、３１…代表視点、４０…３Ｄピクセル領域、４０ａ…上辺、４０ｂ…下辺、４０ｃ，４０ｄ…側辺、４１…分割線、４１ｒ，４１ｇ，４１ｂ…画素値、４２…量子化単位領域、４３ｒ１，４３ｒ２，４３ｇ１，４３ｇ２，４３ｂ１…サブピクセル、１１０…クラスタリング処理部、１１１…光線方向量子化部、１１２…サブピクセルグループ選択部、１２０…立体画像生成部、１２１…代表光線算出部、１２２…輝度算出部、１２３…サブピクセル輝度算出部、１３０…モデルデータ取得部、２１１…視聴位置取得部、２１２…光線方向算出部

Claims (13)

1. 立体物の形状が表現されたモデルデータから生成される立体画像を表示可能な立体画像表示装置であって、
   複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部と、
   前記パネルにおける前記複数のサブピクセルが配列する面を複数の領域に区画する光線方向量子化部と、
   前記複数の領域それぞれに対応する１つ以上のサブピクセルをサブピクセルグループにグループ化するサブピクセル選択部と、
   各サブピクセルグループに含まれるサブピクセルを代表する代表光線の出射方向を示す代表光線番号を算出する代表光線算出部と、
   前記代表光線の前記出射方向と前記モデルデータとに基づいて、前記代表光線番号に対応する輝度値を前記サブピクセルグループごとに算出する輝度算出部と、
   前記輝度値に基づいて前記サブピクセルグループに含まれるサブピクセルの輝度値を決定することで前記立体画像を生成するサブピクセル輝度算出部と、
   を備える立体画像表示装置。
2. 前記光学的開口部は、所定方向に沿って配列する複数の光学素子を含み、
   前記光線方向量子化部は、前記複数の光学素子の配列に基づいて前記パネルにおける前記複数のサブピクセルが配列する面を前記複数の領域に区画する
   請求項１に記載の立体画像表示装置。
3. 前記代表光線算出部は、各サブピクセルグループに含まれる１つ以上のサブピクセルの光線番号の平均を前記代表光線番号として算出する請求項１または２に記載の立体画像表示装置。
4. 前記モデルデータは、空間分割モデルである請求項１〜３のいずれか一つに記載の立体画像表示装置。
5. 前記モデルデータは、境界表現モデルである請求項１〜３のいずれか一つに記載の立体画像表示装置。
6. 前記モデルデータは、前記モデルデータに含まれるオブジェクトの奥行き情報と、少なくとも１つの視点に対して生成された参照画像との組み合わせである請求項１〜３のいずれか一つに記載の立体画像表示装置。
7. 前記輝度算出部は、前記モデルデータと前記代表光線とが交差する部分の色情報に基づいて前記サブピクセルグループの輝度値を算出する請求項１〜６のいずれか一つに記載の立体画像表示装置。
8. 前記代表光線算出部は、前記モデルデータの定義される座標系に応じて前記代表光線番号を補正する請求項１〜７のいずれか一つに記載の立体画像表示装置。
9. 前記輝度算出部は、前記モデルデータの前記奥行き情報と、前記代表光線番号とに基づいて、前記参照画像をシフトし、シフト後の参照画像から各サブピクセルグループの輝度値を算出する請求項６に記載の立体画像表示装置。
10. 観察者の視聴位置に応じて前記代表光線番号を補正する光線方向算出部をさらに備える請求項１〜９のいずれか一つに記載の立体画像表示装置。
11. 複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部に、立体物の形状が表現されたモデルデータから生成される立体画像を表示する画像処理方法であって、
    前記パネルにおける前記複数のサブピクセルが配列する面を複数の領域に区画し、
    前記複数の領域それぞれに対応する１つ以上のサブピクセルをサブピクセルグループにグループ化し、
    各サブピクセルグループに含まれるサブピクセルを代表する代表光線の出射方向を示す代表光線番号を算出し、
    前記代表光線の前記出射方向と前記モデルデータとに基づいて、前記代表光線番号に対応する輝度値を前記サブピクセルグループごとに算出し、
    前記輝度値に基づいて前記サブピクセルグループに含まれるサブピクセルの輝度値を決定することで前記立体画像を生成すること
    を含む画像処理方法。
12. 複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部に、立体物の形状が表現されたモデルデータから生成される立体画像を表示可能な立体画像表示装置のコンピュータを動作させるためのプログラムであって、
    前記パネルにおける前記複数のサブピクセルが配列する面を複数の領域に区画する光線方向量子化ステップと、
    前記複数の領域それぞれに対応する１つ以上のサブピクセルをサブピクセルグループにグループ化するサブピクセル選択ステップと、
    各サブピクセルグループに含まれるサブピクセルを代表する代表光線の出射方向を示す代表光線番号を算出する代表光線算出ステップと、
    前記代表光線の前記出射方向と前記モデルデータとに基づいて、前記代表光線番号に対応する輝度値を前記サブピクセルグループごとに算出する輝度算出ステップと、
    前記輝度値に基づいて前記サブピクセルグループに含まれるサブピクセルの輝度値を決定することで前記立体画像を生成するサブピクセル輝度算出ステップと、
    を前記コンピュータに実行させるためのプログラム。
13. 複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部に、立体物の形状が表現されたモデルデータから生成される立体画像を表示させるための画像処理装置であって、
    前記パネルにおける前記複数のサブピクセルが配列する面を複数の領域に区画する光線方向量子化部と、
    前記複数の領域それぞれに対応する１つ以上のサブピクセルをサブピクセルグループにグループ化するサブピクセル選択部と、
    各サブピクセルグループに含まれるサブピクセルを代表する代表光線の出射方向を示す代表光線番号を算出する代表光線算出部と、
    前記代表光線の前記出射方向と前記モデルデータとに基づいて、前記代表光線番号に対応する輝度値を前記サブピクセルグループごとに算出する輝度算出部と、
    前記輝度値に基づいて前記サブピクセルグループに含まれるサブピクセルの輝度値を決定することで前記立体画像を生成するサブピクセル輝度算出部と、
    を備える画像処理装置。

Images