JP2015050482A - 画像処理装置、立体画像表示装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】ピクセルマッピングにより発生するボケや多重像の発生を抑制しつつ処理速度を向上する。【解決手段】実施形態にかかる立体画像表示装置は、立体物の形状が表現されたモデルデータから生成される立体画像を表示可能な立体画像表示装置であって、複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部と、異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割部と、前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成部と、前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価部と、を備える。【選択図】図１

Description

本発明の実施形態は、画像処理装置、立体画像表示装置、画像処理方法およびプログラムに関する。

近年、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、超音波診断装置などの医用画像診断装置の分野では、３次元の医用画像（ボリュームデータ）を生成可能な装置が実用化されている。また、ボリュームデータを任意の視点からレンダリングする技術が実用化されておいる。そこで近年では、ボリュームデータを複数の視点からレンダリングして、立体画像表示装置に立体的に表示することが検討されている。

立体画像表示装置では、視聴者は特殊なメガネを使用せずに裸眼で立体画像を観察することができる。このような立体画像表示装置は、視点の異なる複数の画像（以下ではそれぞれの画像を視差画像とよぶ）を表示する。表示された視差画像の光線は、光学的開口部（例えばパララックスバリア、レンチキュラレンズなど）によって制御される。したがって、表示する画像は、光学的開口部を通して覗いた場合に意図した方向で意図した画像が観察されるようにピクセルが並びかえられたものである必要がある。この並べ替え方法を、以下ではピクセルマッピングと呼ぶ。

以上のように、光学的開口部とそれに合わせたピクセルマッピングとによって制御された光線は、視聴者の両眼に導かれる。その際、視聴者の観察位置が適切であれば、視聴者は、立体像を認識することができる。このように、視聴者が立体像を観察可能な領域を視域という。

ただし、視差画像を生成する際の視点数はあらかじめ決められているが、一般には、表示パネルのすべてのピクセルの輝度情報を決定するのに十分の数の視点が規定されているとは限らない。そのため、視差画像から輝度情報が決定されないピクセルについては、最も近い視点の視差画像の輝度情報を利用する方法や、近傍の視点の視差画像の輝度情報をもとに線形補間を行う方法などにより輝度値が決定される。

しかしながら、本来ない情報を補間処理により求める方法では、異なる視点の視差画像がブレンドされるため、本来１つであった画像のエッジ部分が２つ以上に重なって見えたり（以下、多重像という）、画像全体がぼけて見えたりするなどの現象が発生する場合がある。

たとえば、あらかじめ視点数を決めず、観察者の視点に基づいてサブピクセルとレンズとの組み合わせを求めたのち、それらの位置関係を基にサブピクセルからレンズを通して射出される光線の方向を求め、その光線の方向に忠実に３次元モデルをレンダリングする方法が考えられる。この方法では、補間処理が介在しないため、高画質な立体表示を行うことが可能になる。しかしながら、全てのサブピクセルに対して独立に光線方向の計算とレンダリングとを行うため、高解像度のパネルになるに従って計算コストが大きくなり、リアルタイムでのレンダリング処理が困難になる場合がある。

特許第４６７２４６１号公報

C. V. Berkel, "Image preparation for 3D-LCD," Proc. SPIE, Stereoscopic Displays and Virtual Reality Systems, vol. 3639, pp. 84-91, 1999.

以下の実施形態では、ピクセルマッピングにより発生するボケや多重像の発生を抑制しつつ処理速度を向上することが可能な画像処理装置、立体画像表示装置、画像処理方法およびプログラムを提供することを目的とする。

実施形態にかかる立体画像表示装置は、立体物の形状が表現されたモデルデータから生成される立体画像を表示可能な立体画像表示装置であって、複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部と、異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割部と、前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成部と、前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価部と、を備える。

実施形態にかかる画像処理方法は、複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に、立体物の形状が表現されたモデルデータから生成された立体画像を表示する画像処理方法であって、異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成し、前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成し、前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定することを含む。

実施形態にかかるプログラムは、複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に表示するための立体画像を、立体物の形状が表現されたモデルデータから生成するようにコンピュータを動作させるためのプログラムであって、異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割処理と、前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成処理と、前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価処理とを前記コンピュータに実行させる。

実施形態にかかる画像処理装置は、複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に表示するための立体画像を、立体物の形状が表現されたモデルデータから生成する画像処理装置であって、異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割部と、前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成部と、前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価部と、を備える。

図１は、実施形態１にかかる立体画像表示装置の構成例を示すブロック図。 図２は、図１における表示装置の概略構成例を示す正面図。 図３は、図２に示す表示装置の光学的開口と表示素子との関係を示す図。 図４は、実施形態１にかかる３Ｄピクセル領域を説明するための図。 図５は、実施形態１にかかる量子化単位領域とサブピクセルグループとを説明するための図。 図６は、実施形態１におけるパネルと視点との水平方向の位置関係を示す図。 図７は、実施形態１におけるレンダリング空間と代表光線の始点位置（視点）および終点位置（基準点）との水平方向（レンダリング空間の幅方向）における位置関係を示す図。 図８は、実施形態１におけるレンダリング空間と代表光線の始点位置（視点）および終点位置（基準点）との垂直方向（レンダリング空間の高さ方向）における位置関係を示す図。 図９は、実施形態１におけるパネルの中心と３Ｄピクセル領域の基準点との位置関係を示す図。 図１０は、実施形態１におけるサブピクセルグループ内の各サブピクセルと輝度値との関係を説明するための図。 図１１は、実施形態１にかかる画像処理装置の全体動作例を示すフローチャート。 図１２は、実施形態１にかかる立体画像生成処理の一例を示すフローチャート。 図１３は、実施形態１の変形例１にかかる立体画像表示装置の構成例を示すブロック図。 図１４は、実施形態１の変形例における輝度算出部の処理を説明するための図。 図１５は、実施形態２におけるパネルと光学的開口部における光学素子との位置関係を示す図。 図１６は、実施形態２にかかる立体画像表示装置の構成例を示すブロック図。 図１７は、実施形態３において表示装置が表示する画面の一例を示す図。

以下、添付図面を参照しながら、例示する実施形態にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを詳細に説明する。

〔第１実施形態〕
まず、実施形態１にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを詳細に説明する。

（構成）
図１は、実施形態１にかかる立体画像表示装置の構成例を示すブロック図である。図１に示すように、立体画像表示装置１は、画像処理装置１０と表示装置２０とを備える。

画像処理装置１０は、クラスタリング処理部１１０と立体画像生成部１２０とモデルデータ取得部１３０と評価部１４０とを備える。図１に例示する各装置は、通信網を介して直接的又は間接的に通信することが可能である。また、各装置は、医用画像等を相互に送受信することが可能である。通信網の種類は任意である。たとえば、各装置は、病院内に設置されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、相互に通信可能であってもよい。また、例えば各装置は、インターネット等のネットワーク（クラウドを含む）を介して、相互に通信可能であってもよい。

クラスタリング処理部１１０は、分割部１１１とサブピクセル選択部１１２とを備える。クラスタリング処理部１１０では、光学的開口部によって制御された光線が似通った方向に射出されるサブピクセルを１つのまとまり（以下ではサブピクセルグループという）として選択する処理を行う。分割部１１１は、決められた分割数にしたがって、サブピクセルグループに対応するパネル上での範囲を示すパラメータ（以下では範囲パラメータという）を算出する。サブピクセル選択部１１２は、範囲パラメータに基づき、サブピクセルを選択する。

評価部１４０は、モデルデータの特徴を表す第２のモデルデータ（以下では評価用モデルデータという）を生成し、評価用の立体画像を生成する際の分割数（以下では評価対象分割数という）をクラスタリング処理部１１０に送信する。また、評価部１４０は、生成した評価用モデルデータを立体画像生成部１２０に送信する。さらに、評価部１４０は、立体画像生成部１２０で生成された１つ以上の立体画像を取得し、それらのうち基準となる立体画像とその他の立体画像との間の類似度を評価することで、クラスタリング処理部１１０で用いるべき分割数を決定する。

画像処理装置１０は、代表光線算出部１２１と輝度算出部１２２とサブピクセル輝度算出部１２３とを備える。代表光線算出部１２１は、サブピクセルグループを代表する光線の方向（以下では代表光線方向という）を算出する。輝度算出部１２２は、代表光線方向に基づいて光線の始点位置と方向ベクトル（以下光線情報）とを算出し、モデルデータと光線情報とから各サブピクセルの輝度値を算出する。サブピクセル輝度算出部１２３は、算出した輝度値を元に対応するサブピクセルグループ内の各サブピクセルの輝度値を算出して立体画像を生成する。生成された立体画像は、表示装置２０に入力されて表示される。これにより、観察者に立体像が表示される。なお、本説明におけるモデルデータは、３次元の医用画像データとして用いられることが多いボリュームデータとする。

つぎに、図１に示す各部（装置）について、より具体的に説明する。

・表示装置
図２は、図１における表示装置の概略構成例を示す正面図である。図３は、図２に示す表示装置の光学的開口と表示素子との関係を示す図である。なお、以下の説明において、観察者が表示装置２０によって表示された立体画像を立体視可能な範囲（領域）を視域という。

図２および図３に示すように、表示装置２０は、実空間上において、複数の画素２２がマトリクス状に２次元配列した表示素子（以下、パネルという）２１と、パネル２１の前面（観察者側）に配置された光学的開口部２３とを備える。観察者は、光学的開口部（開口制御部ともいう）２３を介して表示素子（パネル）２１を観察することで、表示装置２０に表示された立体画像を視認する。なお、以下の説明では、パネル表示面（ディスプレイ面ともいう）の中心を原点とし、ディスプレイ面の水平方向をＸ軸、ディスプレイ面の鉛直方向をＹ軸、ディスプレイ面の法線方向をＺ軸とする。この場合、高さ方向とはＹ軸方向を指す。ただし、実空間に対する座標系の設定方法は、これに限定されるものではない。

パネル２１は、立体画像を立体視可能に表示する。パネル２１としては、直視型２次元ディスプレイ、たとえば有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、投影型ディスプレイなどを用いることができる。

画素２２は、たとえばＲＧＢ各色のサブピクセルを１つずつ含むまとまりを１単位としている。１つの画素２２内に含まれるＲＧＢ各色のサブピクセルは、たとえばＸ軸に沿って配列している。ただし、これに限定されるものではなく、たとえば４色のサブピクセルを１画素としたり、ＲＧＢ各色の内たとえばＢ成分のサブピクセルを２つ含むまとまりを１画素としたりなど、種々変形することができる。

光学的開口部２３は、パネル２１の各画素２２からその前方（−Ｚ方向）に向けて発散される光線を、開口部を介して所定方向に向けて出射させる。光学的開口部２３には、たとえばレンチキュラレンズやパララックスバリアなどの光学素子を適用することができる。たとえばレンチキュラレンズは、微細な細長いシリンドリカルレンズが短手方向に複数配列した構成を備える。

図３に示すように、表示装置２０の視域内に存在する観察者は、光学的開口部２３を介することで、たとえばパネル２１中の画素２２の内、Ｇ成分のサブピクセルを右目Ｒ１で観察し、Ｂ成分のサブピクセルを左目Ｌ１で観察することになる。そこで、図２に示すように、光学的開口部２３は、これを構成する各光学素子の延在方向がパネル２１（たとえばＹ軸方向）に対して所定角度（たとえばθ）傾斜するように構成される。表示装置２０は、この傾きによって生じる光線方向の変化に基づいて各サブピクセルの画素値が算出された立体画像を表示することで、観察者に画像を立体視させることができる。

・画像処理装置
つづいて、図１における画像処理装置１０の各部の構成について、図面を参照して詳細に説明する。

・・モデルデータ取得部
画像処理装置１０におけるモデルデータ取得部１３０は、外部からモデルデータを取得する。外部としては、たとえばハードディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）などの記憶メディアに限らず、通信網で接続されたサーバなどが含まれてよい。また、モデルデータとしては、ボリュームデータや境界表現モデルなどが挙げられる。

モデルデータ取得部１３０と通信網を介して接続されるサーバとしては、たとえば医用画像診断装置などが挙げられる。医用画像診断装置は、３次元の医用画像データ（ボリュームデータ）を生成可能な装置である。医用画像診断装置としては、たとえばＸ線診断装置、Ｘ線ＣＴ装置、ＭＲＩ装置、超音波診断装置、ＳＰＥＣＴ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、またはこれらの装置群等が挙げられる。

医用画像診断装置は、被検体を撮影することによりボリュームデータを生成する。たとえば、医用画像診断装置は、被検体を撮影することにより投影データやＭＲ信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数（例えば３００〜５００枚）のスライス画像（断面画像）を再構成することで、ボリュームデータを生成する。つまり、被検体の体軸方向に沿って撮影された複数のスライス画像が、ボリュームデータである。また、医用画像診断装置により撮影された被検体の投影データやＭＲ信号等自体をボリュームデータとしてもよい。また、医用画像診断装置により生成されたボリュームデータの中には、骨・血管・神経・腫瘍などといった、医療現場での観察対象となる物体の画像（以下、オブジェクトと呼ぶ）が含まれてもよい。さらに、ボリュームデータは、等値面を多角形のポリゴンや曲面などの幾何的要素の集合で表現したデータを含んでもよい。

・・クラスタリング処理部
つづいて、画像処理装置１０におけるクラスタリング処理部１１０の各部について説明する。

・・・分割部
分割部１１１は、評価部１４０より与えられた分割数に基づいてパネル２１上で同一のサブピクセルグループとなる範囲（量子化単位領域）を定義する。具体的には、３Ｄピクセル領域内を分割数Ｄｎに基づいて分割した領域のＸ軸方向の幅Ｔｄを算出する。分割数の初期値は、任意の自然数であってよい。たとえば、あらかじめ決められた最大の分割数を分割数の初期値とすることができる。

ここで、３Ｄピクセル領域について説明する。図４は、３Ｄピクセル領域を説明するための図である。図４に示すように、３Ｄピクセル領域４０とは、光学的開口部２３の延伸方向に対してＸ軸を基準とした場合の水平幅Ｘｎおよび垂直幅Ｙｎの領域である。各３Ｄピクセル領域４０は、光学的開口部２３の延伸方向と平行な方向に分割線４１ができるように、Ｄｎ個の領域（量子化単位領域）に分割される。たとえば分割数Ｄｎ＝８の場合、７本の分割線４１が定義される。各分割線４１は、３Ｄピクセル領域４０の境界線のうちＹ軸方向の成分を持った側辺４０ｃおよび４０ｄと平行である。また、隣り合う分割線４１は、等間隔となるように配列される。隣り合う分割線４１の間隔Ｔｄは、たとえば以下の式（１）で求めることができる。なお、間隔Ｔｄは、Ｘ軸と平行な方向における長さである。

ここで、１つの分割線４１は、３Ｄピクセル領域４０のＸ座標が小さい側の境界線である側辺４０ｃからの距離が一定である。これは、すべての分割線４１に関して同じである。そのため、各分割線４１上を介して射出される光の光線方向は、同一の方向となる。そこで、以下の説明では、３Ｄピクセル領域４０の側辺４０ｃまたは４０ｄと、これに隣接する分割線４１と、３Ｄピクセル領域４０のＸ軸方向に平行な境界線（以下、上辺４０ａおよび下辺４０ｂという）とで囲まれた領域４２、ならびに、隣接する２つ分割線４１と３Ｄピクセル領域４０の上辺４０ａおよび下辺４０ｂとで囲まれた領域４２を、それぞれサブピクセルグループを構成する際の単位とし、これを量子化単位領域と称する。算出された量子化単位領域４２の情報は、サブピクセルグループに対応するパネル上での範囲を示す範囲パラメータとしてサブピクセル選択部１１２に入力される。

なお、３Ｄピクセル領域４０を区画した結果、パネル２１の左端や右端に３Ｄピクセル領域１つ分を構成するには不十分な大きさの領域が余る場合がある。その場合、この余り部分については、例えば横方向に隣接する３Ｄピクセル領域４０の一部を構成するものとみなし、この拡張された３Ｄピクセル領域４０の拡張部分（余り部分）がパネル２１の外側にはみ出るように３Ｄピクセル領域４０を定義して、他の３Ｄピクセル領域４０と同様に処理してもよい。また、その他の方法として、余り部分については黒や白などの単色を設定することにしてもよい。

また、図４中では、水平幅Ｘｎを、光学的開口部２３を構成する個々の光学素子（以下、レンズまたはバリアという）のＸ軸方向に沿った幅と同じとしたが、必ずしも同じである必要はない。さらに、上述の式（１）では、間隔Ｔｄを常に一定としたが、必ずしも一定である必要はない。たとえば、３Ｄピクセル領域４０の上辺４０ａまたは下辺４０ｂに近いほど間隔Ｔｄが大きくし、遠ざかるほど、すなわち３Ｄピクセル領域４０の中心に近いほど、間隔Ｔｄが小さくなるように構成してもよい。

さらに、図４には、光学的開口部２３を構成する個々のレンズ（バリア）の境界とパネル２１の左上隅とが一致している場合を例示しているが、これらがずれている場合も考えられる。そのような場合には、各３Ｄピクセル領域４０が定義される位置を同様の量だけずらせばよい。３Ｄピクセル領域４０の位置シフトによって左端や右端に発生する余り領域ついては、前述した処理と同様に、隣接する３Ｄピクセル領域４０を拡張して考える方法や、生じた余り部分に単色を設定する方法などを適用することができる。

・・・サブピクセル選択部
サブピクセル選択部１１２は、入力された範囲パラメータで示される量子化単位領域４２に基づいて、それぞれの光線方向を同一方向と見なす１つ以上のサブピクセルを選定し、これらを１つのサブピクセルグループとしてグループ化する。具体的には、図５に示すように、ある量子化単位領域４２について、代表点がこの量子化単位領域４２に含まれるサブピクセルを全て選択する。代表点とは、たとえば各サブピクセルの左上隅や中心など、予め定められた位置であってよい。なお、図５では、各サブピクセルの左上隅を代表点とした場合を例示している。

サブピクセルを選択する際、サブピクセル選択部１１２は、この量子化単位領域４２の垂直幅Ｙｎの範囲内に属するＹ座標Ｙｔそれぞれに関して、量子化単位領域４２の側辺４０ｃのＸ座標Ｘｔを求める。このＸ座標Ｘｔから間隔Ｔｄの範囲（Ｘｔ＋Ｔｄ）内に代表点が含まれている全てのサブピクセルが、グループ化の対象となるサブピクセルである。したがって、たとえばＸ座標Ｘｔがサブピクセル単位で定義されている場合、Ｘｔ＋Ｔｄの範囲内に含まれる整数値が、選択されるサブピクセルのＸ座標となる。たとえば、Ｘｔ＝１．２、Ｔｄ＝２、Ｙｔ＝３の場合、選択されるサブピクセルの座標は（２，３）および（３，３）の２つとなる。サブピクセル選択部１１２は、このような選択を垂直幅Ｙｎの範囲内のすべてのＹ座標Ｙｔについて行うことで、各量子化単位領域４２に関して、それぞれに代表点が属する全てのサブピクセルを選定し、これらを量子化単位領域４２に対応するサブピクセルグループとする。

・・立体画像生成部
つづいて、画像処理装置１０における立体画像生成部１２０の各部について説明する。

・・・代表光線算出部
代表光線算出部１２１は、各サブピクセルグループに属する各サブピクセルの光線番号を算出する。また、代表光線算出部１２１は、算出した各サブピクセルの光線番号からサブピクセルグループごとに１つの代表光線番号を算出し、算出した代表光線番号をもとに代表光線情報を算出する。

ここで、光線番号とは、パネル２１の各サブピクセルから射出される光線が、光学的開口部２３を介して指し示す方向であり、表示装置２０が設計された段階で決定されるものである。この光線番号は、たとえば、基準視点数をＮとし、光学的開口部２３の延伸方向に対してＸ軸を基準とした３Ｄピクセル領域４０（水平幅Ｘｎおよび垂直幅Ｙｎの領域）を定義し、その３Ｄピクセル領域４０の負側の側辺４０ｃに対応する位置から射出される光が飛ぶ方向を‘０’とし、その側辺４０ｃからＸｎ／Ｎだけ離れた位置から射出される光が飛ぶ方向を‘１’というように、順に定義することで算出することができる。その結果、各サブピクセルから射出された光の光線に対して、それぞれが光学的開口部２３を介して指し示す方向を表す番号が光線番号として与えられる。なお、予め設定される複数の基準視点は、パネル２１の中心Ｏを通る垂線と垂直に交わり、且つ、Ｘ軸方向と平行な線上に、たとえば等間隔に配列しているものとする。

ただし、光学的開口部２３の構成要素である各光学素子のＸ軸方向に沿った幅と水平幅Ｘｎとが一致していない場合、光線方向を表す光線番号は、同一の３Ｄピクセル領域４０内でのみの通し番号となる。すなわち、ある３Ｄピクセル領域４０の光線番号は、他の３Ｄピクセル領域４０における同じ光線番号とは同一の方向とならない。しかしながら、同様の光線番号を１つの集合にまとめた場合、各集合に属する光線番号に対応する光線は、集合毎に異なる点（以下、集光点という）で集光することになる。つまり、ある点で集光する光線同士は同じ光線番号を持ち、これとは異なる光線番号の集合に属する光線同士は、上記集光点とは異なる同一の集光点に集光する。

一方、光学的開口部２３の構成要素である各光学素子のＸ軸方向に沿った幅と水平幅Ｘｎとが一致する場合、同じ光線番号を持つ光線同士は平行光線に限りなく近くなる。そのため、全ての３Ｄピクセル領域４０における同一の光線番号の光線が同一の方向を差すことになる。また、このときの各集合に属する光線番号に対応する光線の集光点は、パネル２１から無限遠の位置に存在することになる。

また、基準視点とは、レンダリングしたい空間（以下、レンダリング空間という）に対して一定の間隔で定義された複数の視点（コンピュータグラフィクス分野ではカメラと称される場合がある）である。複数の基準視点と光線番号とを対応付ける方法としては、たとえば、パネル２１と向かい合わせで考えた場合に最も右にある視点から順に小さい光線番号を対応付ければよい。この場合、最も右に位置する基準視点に光線番号‘０’が対応づけられ、その次に右側に存在する基準視点に光線番号‘１’が対応づけられることになる。

図６は、パネル（レンダリング空間）に対して水平方向（Ｘ軸方向）に配列する基準視点のうち最も右にある基準視点から順に小さい光線番号を対応付けた場合のパネルと視点との水平方向の位置関係を示す図である。図６に示すように、パネル２１（レンダリング空間２４）に対して＃０〜＃３の４つの基準視点３０を設定した場合、最も右に位置する基準視点＃０から順に、整数の光線番号‘０’〜‘３’を対応付ける。隣接する基準視点３０間の間隔を大きくするほど視差が大きくなり、それにより、観察者に対してより立体感のある立体画像を表示することができる。つまり、基準視点＃０〜＃３の間隔を調整することで、立体画像の飛び出し量を制御することが可能である。

ここで、サブピクセルグループに含まれるｎ個のサブピクセルの光線番号をそれぞれｖ_１〜ｖ_ｎとした場合、代表光線番号ｖ’は例えば、以下の式（２）で求めることができる。式（２）において、ｖ_１〜ｖ_ｎはサブピクセルグループ内の各サブピクセルの光線番号を示し、ｎはサブピクセルグループに属するサブピクセルの数を示す。

ただし、各量子化単位領域４２の代表光線番号の求め方は、上記式（２）を用いた方法に限定されない。たとえば、上記式（２）を用いる方法のような、光線番号の中央値を代表光線番号とするという単純な平均を用いる代わりに、重み付き平均を用いて決定するなど、種々の方法が考えられる。重み付け平均を用いる場合、その重みは、たとえばサブピクセルの色成分の種類によって予め決定されていてもよい。その際、一般にはＧ成分の視感度が高いため、Ｇ成分を表すサブピクセルの光線番号の重みを大きくしてもよい。

つづいて、代表光線情報の算出手順を、図７〜図９を用いて詳細に説明する。図７は、レンダリング空間と代表光線の始点位置（視点）および終点位置（基準点）との水平方向（レンダリング空間の幅方向）における位置関係を示す図である。また、図８は、レンダリング空間と代表光線の始点位置（視点）および終点位置（基準点）との垂直方向（レンダリング空間の高さ方向）における位置関係を示す図である。図９は、パネルの中心と３Ｄピクセル領域の基準点との位置関係を示す図である。なお、以下の説明では、簡略化のため、レンダリング空間２４の幅Ｗｗおよびパネル２１の幅、ならびに、レンダリング空間２４の高さＷｈおよびパネル２１の高さが、それぞれ一致する場合を例に挙げる。その場合、パネル２１の中心Ｏと、レンダリング空間２４の中心Ｏとは、一致する。また、図９に示す例では、３Ｄピクセル領域４０の基準点２５が、たとえば３Ｄピクセル領域４０の左上隅に設定されているものとする。

代表光線番号の算出では、まず、代表光線番号から光線の始点位置を算出する。代表光線番号が整数の場合、基準視点をそのまま採用し、代表光線番号が少数値を持つ場合、代表光線番号に対応する視点位置（図７および図８中の視点３１の位置）を近傍の基準視点３０から線形補間により算出する。図７に示す例では、光線番号‘２’に対応する基準視点＃２の位置と光線番号‘３’に対応する基準視点＃３の位置とに対して線形補間を行うことで、代表光線番号＃２．５に対応する視点３１の水平方向の位置が算出される。なお、図８に示すように、基準視点３０の垂直方向の位置、すなわちパネル２１から各視点３０までの垂直方向の距離は同等であるため、視点３１の垂直方向の位置は、基準視点３０の垂直方向の位置をそのまま用いることができる。

次に、図９に示すように、パネル２１の中心Ｏから計算対象の３Ｄピクセル領域４０の左端までのベクトルＤｖ＝（Ｄｘ，Ｄｙ）を求める。つづいて、３Ｄピクセル領域４０の左端がレンダリング空間２４のどの位置にあるかを表すベクトルＤｖ’＝（Ｄｘ’，Ｄｙ’）を求める。これは、ベクトルＤｖのＸ成分をパネルの横幅で、Ｙ成分をパネルの縦幅で、それぞれ正規化し、その後、レンダリング空間２４の横幅Ｗｗと縦幅Ｗｈとをそれぞれ乗算することで求めることができる。その結果得られた位置が代表光線の終点位置となり、これにより、始点位置と終点位置から代表光線の方向ベクトルを求めることができる。

以上の処理により、各量子化単位領域４２の代表光線番号に対応する代表光線情報を算出することができる。

なお、上述した代表光線情報の算出手順は、透視投影に基づくものであるが、本実施形態はそれに限るものではなく、たとえば平行投影を用いることも可能である。その場合、代表光線の始点位置にベクトルＤｖ’が加算される。また、平行投影と透視投影とを組み合わせることも可能である。その場合、ベクトルＤｖ’の成分のうち透視投影としたい成分（Ｘ成分またはＹ成分）を代表光線の始点位置に加算すればよい。

また、前述した例では、レンズ（またはバリア）の１つ１つを光学的開口部２３としたが、それに限定されるものではなく、複数のレンズ（またはバリア）をまとめて１つの仮想的なレンズ（またはバリア）とし、この仮想的な１つのレンズ（またはバリア）を光学的開口部２３として扱ってもよい。この場合でも、上述と同様の処理を行うことが可能である。

さらに、上述では、３Ｄピクセル領域４０の左端を基準としたが、それに限定されるものではなく、３Ｄピクセル領域４０の左端と右端との位置座標の平均により求められる中心などを、３Ｄピクセル領域４０を代表する点としてもよい。

さらにまた、パネル２１の中心とレンダリング空間２４の中心Ｏ（０，０，０）とが対応する場合を例に説明したが、これらがずれている場合でも、適切な座標変換を行うことで同様に処理することが可能である。さらにまた、パネル２１の横幅およびレンダリング空間２４の幅Ｗｗ、ならびに、パネル２１の縦幅およびレンダリング空間２４の高さＷｈがそれぞれ一致する場合を例示したが、これに限られるものではなく、適切な座標変換を行うことで同様に処理することが可能である。さらにまた、代表光線番号が少数値を持つ場合には線形補間によって代表光線の始点位置を求めたが、補間方法はこれに限るものではなく、他の関数が用いられてもよい。たとえば、シグモイド関数のように線形ではない関数を用いることも可能である。

・・・輝度算出部
輝度算出部１２２は、代表光線算出部１２１で算出された代表光線情報と、モデルデータ取得部１３０が取得したボリュームデータとから、量子化単位領域４２ごとの輝度値を算出する。輝度値の算出方法としては、コンピュータグラフィクスの分野で広く知られているレイキャスティングやレイトレーシングなどの手法を用いることができる。レイキャスティングとは、視点から光線を追跡し、光線と物体の交点における色情報を積算することでレンダリングを行う方法である。レイトレーシングとは、レイキャスティングの手法においてさらに反射光を考慮する手法である。これらは一般的な手法であるため、ここでは詳細な説明を省略する。なお、本実施形態ではモデルデータとしてボリュームデータを用いたが、これに限定されるものではなく、境界表現モデルなどコンピュータグラフィクス分野で一般的なその他のモデルも同様に用いることが可能である。その場合にも、同様にレイキャスティングやレイトレーシングを用いてレンダリングを行うことができる。

・・・サブピクセル輝度算出部
サブピクセル輝度算出部１２３は、輝度算出部１２２で算出された量子化単位領域４２ごとの輝度値に基づいて、各量子化単位領域４２に対応するサブピクセルグループ内の各サブピクセルの輝度値を決定する。具体的には、図１０に示すように、各量子化単位領域４２に対して輝度算出部１２２が算出した輝度値の色成分４１ｒ、４１ｇおよび４１ｂで、サブピクセルグループ内の各サブピクセル４３ｒ１、４３ｒ２、４３ｇ１、４３ｇ２および４３ｂ１の値を置き換える。たとえば、サブピクセルグループ内のサブピクセル４３ｇ１および４３ｇ２がＧ成分を表現するものである場合、輝度算出部１２２で算出された輝度値のＧ成分４１ｇをそのサブピクセル４３ｇ１および４３ｇ２のＧ成分とする。このような処理を全ての量子化単位領域４２に対して実行することで、立体画像が生成される。

・・評価部
つぎに、画像処理装置１０における評価部１４０について説明する。図１に示したように、評価部１４０は、解析用モデルデータ生成部１４１と、類似度評価部１４２とを備える。

・・・解析用モデルデータ生成部
解析用モデルデータ生成部１４１は、モデルデータ取得部１３０が取得したモデルデータを周波数解析することで、代表的な周波数を決定し、その周波数に対応する評価用モデルデータを生成する。また、解析用モデルデータ生成部１４１は、生成した評価用モデルデータを立体画像生成部１２０とクラスタリング処理部１１０とへそれぞれ送信する。

・・・類似度評価部
類似度評価部１４２は、立体画像生成部１２０が評価用モデルデータから生成した分割数ごとの立体画像を受信し、それらのうち基準となる立体画像とその他の立体画像との間の類似度をそれぞれ評価することで、クラスタリング処理部１１０で用いるべき分割数（最適な分割数ともいう）を決定する。決定された分割数は、クラスタリング処理部１１０の分割部１１１に入力され、クラスタリング処理部１１０において表示装置２０に表示させる立体画像を生成する際に用いられる。なお、基準となる立体画像は、たとえば最大の分割数を用いて生成した立体画像であってよい。

（動作）
つぎに、実施形態１にかかる画像処理装置１０の動作について、図面を参照して詳細に説明する。図１１は、画像処理装置の全体動作例を示すフローチャートである。図１１に示すように、画像処理装置１０は、モデルデータ取得部１３０によって新たなモデルデータが取得されたか否かを判定し（ステップＳ１０１）、新たなモデルデータが取得されている場合（ステップＳ１０１；ＹＥＳ）、新たなモデルデータを解析用モデルデータ生成部１４１に入力して、ステップＳ１０２へ進む。一方、新たなモデルデータが取得されていない場合（ステップＳ１０１；ＮＯ）、画像処理装置１０は、ステップＳ１０９へ進む。なお、モデルデータ取得部１３０によって取得されたモデルデータは、不図示の記憶部等に保存されていてもよい。

ステップＳ１０２では、解析用モデルデータ生成部１４１は、入力された新たなモデルデータから評価用モデルデータを生成する。具体的には、解析用モデルデータ生成部１４１は、新たなモデルデータに対して周波数解析を行い、代表的な周波数である代表周波数を決定する。代表周波数は、たとえば、周波数解析によって得られた周波数成分のうち、最も高い周波数成分であってよい。つぎに、解析用モデルデータ生成部１４１は、代表周波数に対応して正弦波を持つ評価用モデルデータ（正弦波モデルデータともいう）を生成する。これは、たとえばモデルデータがボリュームデータの場合、３軸あるうちの１軸を固定し、それ以外の２軸で構成される２次元濃度データに対して、輝度変動が正弦波の形になるように濃度値を与えることで生成可能である。その後、解析用モデルデータ生成部１４１は、生成された評価用モデルデータを立体画像生成部１２０に入力するとともに、評価用モデルデータのレンダリングに用いる分割数である複数の評価対象分割数をクラスタリング処理部１１０に入力する。

クラスタリング処理部１１０の分割部１１１は、入力された複数の評価対象分割数のうち最大の分割数を立体画像生成に用いる分割数ｄとして選択する（ステップＳ１０３）。その後、画像処理装置１０は、分割部１１１によって選択された分割数ｄを用いて、評価用モデルデータに対する立体画像の生成処理を実行する（ステップＳ１０４）。なお、ステップＳ１０４の詳細については、以下に図１２を用いて説明する。

分割数ｄを用いて評価用モデルデータに対する立体画像を生成すると、つぎに、画像処理装置１０は、複数の評価対象分割数の全てに対してそれぞれ評価用モデルデータから立体画像を生成したか否かを判定し（ステップＳ１０５）、未だ立体画像の生成に用いていない評価対象分割数が残っている場合（ステップＳ１０５；ＮＯ）、分割部１１１は、分割数ｄを残っている評価対象分割数に更新し（ステップＳ１０６）、ステップＳ１０４へリターンする。一方、全ての評価対象分割数を用いて立体画像を生成済の場合（ステップＳ１０５；ＹＥＳ）、画像処理装置１０は、ステップＳ１０７へ進む。

ここで、複数の評価対象分割数は、たとえば、１より大きな数の範囲で、あらかじめ決められた最大の分割数から一定量ずつ分割数を減少させていく手法により決定することができる。たとえば、最大の分割数を１６とし、減少のステップを２とした場合、評価対象分割数は、１６、１４、１２、１０、８、６、４、２の８パターンとなる。その場合、上述したステップＳ１０４は８回繰り返される。その結果、評価用モデルデータに対して８種類の立体画像が生成される。

ステップＳ１０７では、類似度評価部１４２が、評価対象分割数の種類数分（ここでは８種類分）の立体画像に対して光学的な輝度混ざり込み（以下、クロストークという）シミュレーション（以下、クロストークシミュレーションという）を実行することで、クロストークが考慮された立体画像を生成する。ここでのクロストークシミュレーションとは、各サブピクセルをそれぞれの視差番号で表される方向から観察した場合に、観察しているサブピクセル以外のサブピクセルに由来する輝度が混ざり込んだ結果、観察対象のサブピクセルが本来持つ輝度情報とは異なる情報を持つサブピクセルとして観察されてしまう状態をシミュレートしたものである。このクロストークシミュレーションとしては、たとえば、あらかじめ各視差番号に対応するサブピクセルを点灯した状態で角度と輝度との関係を計測することでサブピクセル間でのクロストークの度合いを計測しておき、シミュレーション時にその値を混合比率とする重み付き線形和を算出する方法がある。

つぎに、類似度評価部１４２は、クロストークシミュレーション前の最大の分割数で生成された立体画像と、クロストークシミュレーション後の分割数ごとの立体画像との間で画像の類似度を評価する（ステップＳ１０８）。この類似度の評価は、より好適にはサブピクセル単位で行われる。類似度の算出には、たとえば画像の劣化度合いの評価指標として一般に用いられているＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）を用いることができる。

つぎに、類似度評価部１４２は、分割数ごとの立体画像（シミュレーションあり）のうち、最大の分割数で生成された立体画像（シミュレーション無し）との類似度が予め決められた閾値以上で、かつ、分割数が最も小さい立体画像（シミュレーションあり）に対応づけられた分割数（評価対象分割数）ｄ＿ｍｉｎを選択する（ステップＳ１０９）。たとえば、前述の例において、類似度が予め決められた閾値以上となる立体画像（シミュレーション無し）に対応づけられた評価対象分割数が１０、１２、１４および１６である場合、ステップＳ１０８では、その中の最小分割数である１０が分割数ｄ＿ｍｉｎとして選択される。選択された分割数ｄ＿ｍｉｎは、分割部１１１に入力される。

ステップＳ１１０では、画像処理装置１０は、分割部１１１によって選択された分割数ｄ＿ｍｉｎを用いて、モデルデータに対する立体画像の生成処理を実行する。なお、ステップＳ１１０の詳細については、ステップＳ１０４の詳細とともに、以下に図１２を用いて説明する。

つぎに、画像処理装置１０は、ステップＳ１１０で生成された立体画像を表示装置２０に入力することで、モデルデータから分割数ｄ＿ｍｉｎで生成された立体画像を表示装置２０に表示させる（ステップＳ１１１）。その後、画像処理装置１０は、図１１に示す動作を週領してもよい。

以上の説明において、代表周波数の決定方法は、前述した方法に限るものではない。たとえば、最も周波数成分が多い周波数を代表周波数とする方法や、最も高周波なものに対して重みｗを乗算したものを代表周波数とする方法や、「１ｍｍのものが視認できるようにしたい」など観察者の要望から表現に必要な周波数を求めてそれを代表周波数とする方法などを適用することが可能である。

また、クロストークの度合いを計測する方法としては、上述した方法の他に、視差番号が一定の範囲に含まれる複数のサブピクセルを点灯させて計測し、計測された値を点灯したサブピクセルのクロストークの度合いとすることも可能である。さらに、類似度には、ＰＳＮＲ以外の画像処理の分野で一般的な種々の評価値を用いることが可能である。さらにまた、クロストークシミュレーションは、必須ではない。たとえば、クロストークの量が十分に小さいことが予め分かっているなど、クロストークの有無によって類似度の値の傾向があまり変化しない場合には、この処理を省略してもよい。

つぎに、図１１のステップＳ１０４またはＳ１１０に示す立体画像生成処理について、図１２を用いて詳細に説明する。図１２は、図１１のステップＳ１０４またはＳ１１０に示す立体画像生成処理の一例を示すフローチャートである。図１２に示すように、分割数ｄまたはｄ＿ｍｉｎを用いた評価用モデルデータまたはモデルデータに対する立体画像生成処理では、まず、クラスタリング処理部１１０の分割部１１１が、分割数ｄまたはｄ＿ｍｉｎから決定される分割線４１に従ってパネル２１のディスプレイ面（パネル領域）を分割することで、複数の量子化単位領域（小領域ともいう）４２を算出する（ステップＳ２０１）。具体的には、分割部１１１は、分割数ｄまたはｄ＿ｍｉｎに応じて３Ｄピクセル領域４０に対する分割線４１を算出し、算出した分割線４１に基づいて３Ｄピクセル領域４０を区画することで、複数の量子化単位領域４２を算出する。算出された複数の量子化単位領域４２の情報は、範囲パラメータとしてサブピクセル選択部１１２に入力される。なお、算出の際の基準となる３Ｄピクセル領域４０の定義は前述の通りであってよい。その際、３Ｄピクセル領域４０は、各々の光学的開口部に対応して重なりが起きないように定義される。

つぎに、サブピクセル選択部１１２は、算出された量子化単位領域４２の内、未選択の量子化単位領域４２を１つ選択する（ステップＳ２０２）。量子化単位領域４２の選択方法には、たとえばラウンドロビンなど、種々の方法を用いることができる。つづいて、サブピクセル選択部１１２は、選択した量子化単位領域４２に代表点が含まれる全てのサブピクセルを選択し、これらをグループ化してサブピクセルグループを決定する（ステップＳ２０３）。決定された各量子化単位領域４２に対するサブピクセルグループの情報は、立体画像生成部１２０に入力される。

つぎに、立体画像生成部１２０の代表光線算出部１２１が、選択された量子化単位領域４２の代表光線番号を算出する（ステップＳ２０４）。この代表光線番号の算出方法は、前述の通りであってよい。

つぎに、代表光線算出部１２１は、算出した代表光線番号から代表光線に関する代表光線情報を算出する。具体的には、代表光線算出部１２１は、まず、算出された代表光線番号と、予め設定されている基準視点３０の位置とから、選択中の量子化単位領域４２に対する代表光線の始点位置（視点位置）を算出する（ステップＳ２０５）。つづいて、代表光線算出部１２１は、パネル２１の中心Ｏから選択中の量子化単位領域４２に対応する３Ｄピクセル領域４０の基準点（たとえば左上隅）までのベクトルＤｖを算出する（ステップＳ２０６）。つづいて、代表光線算出部１２１は、パネル２１に対して算出されたベクトルＤｖを、レンダリング空間２４でのベクトルＤｖ’＝（Ｄｘ’，Ｄｙ’）に変換する（ステップＳ２０７）。すなわち、３Ｄピクセル領域４０の基準点がレンダリング空間２４のどの位置にあるかを表すベクトルＤｖ’＝（Ｄｘ’,Ｄｙ’）を求める。

ここで、上述したように、レンダリング空間２４の幅Ｗｗとパネル２１の幅と、および、レンダリング空間２４の高さＷｈとパネル２１の高さとが、それぞれ一致し、パネル２１の中心Ｏとレンダリング空間２４の中心Ｏとが一致する。そのため、ベクトルＤｖ’は、ベクトルＤｖのＸ座標をパネル２１の横幅で正規化するとともに、ベクトルＤｖのＹ座標をパネル２１の縦幅で正規化し、その後、レンダリング空間２４の横幅Ｗｗと縦幅Ｗｈとを正規化後のＸ座標およびＹ座標にそれぞれ乗算することで求めることができる。

つづいて、代表光線算出部１２１は、変換後のベクトルＤｖ’から、代表光線の終点位置を算出し、算出した終点位置と、ステップＳ３０３で算出した始点位置とから、代表光線のベクトルを取得する。これにより、代表光線算出部１２１において、選択中の量子化単位領域４２の代表光線番号に対応する代表光線情報が生成される（ステップＳ２０８）。なお、この代表光線情報には、代表光線の始点位置と終点位置とが含まれていてもよい。また、この始点位置と終点位置とは、レンダリング空間２４における座標であってもよい。

また、ステップＳ２０８の処理は透視投影に相当するが、それに限るものではなく、たとえば平行投影を用いることも可能である。その場合、代表光線の始点位置にベクトルＤｖ’が加算される。また、平行投影と透視投影を組み合わせることも可能である。その場合、ベクトルＤｖ’の成分のうち透視投影とする成分のみを代表光線の始点位置に加算すればよい。

このように、代表校線情報を算出すると、つぎに、輝度算出部１２２が、代表光線情報とボリュームデータとから量子化単位領域４２ごとの輝度値を算出する（ステップＳ２０９）。輝度値の算出方法は、上述したレイキャスティングやレイトレーシングなどの手法を用いてよい。

つぎに、サブピクセル輝度算出部１２３が、輝度算出部１２２で算出された量子化単位領域４２ごとの輝度値に基づいて、選択中の量子化単位領域４２に対応するサブピクセルグループ内の各サブピクセルの輝度値を決定する（ステップＳ２１０）。各サブピクセルに対する輝度値の決定方法は、上述において図１０を用いて説明した方法と同様であってよい。

その後、立体画像生成部１２０は、全ての量子化単位領域４２に対して上述の処理を完了したか否かを判定し（ステップＳ２１１）、完了していない場合（ステップＳ２１１；ＮＯ）、ステップＳ２０２へリターンし、以降の動作を全ての量子化単位領域４２に対する処理が完了するまで実行する。一方、全ての量子化単位領域４２に対する処理が完了している場合（ステップＳ２１１；ＹＥＳ）、サブピクセル輝度算出部１２３は、決定された輝度値を用いて立体画像を生成し（ステップＳ２１２）、その後、図１１に示す動作へリターンする。

ここで、一般的に、３Ｄピクセル領域４０は複数存在する。また、各３Ｄピクセル領域４０は、さらに所定の分割数で分割される。そのため、実際の処理の単位である量子化単位領域４２は、複数存在することになる。例えば、３Ｄピクセル領域４０が１００個、分割数が８である場合、１００×８＝８００セットの量子化単位領域４２が存在する。そのため、図１２のＳ２０２〜Ｓ２１０は８００回繰り返されることになる。つまり、実施形態１における計算量は表示装置２０のサブピクセル数ではなく、３Ｄピクセル領域４０の数と分割数とによって決定される。そのため、実施形態１では、計算量を任意に調整することが可能である。たとえば、表示装置２０が１００００個のサブピクセルを備えている場合、一般的な手法におけるレンダリング回数は、サブピクセル数と同様の１００００回となる。一方、実施形態１では、レンダリングが量子化単位領域４２あたり１回行われるため、８００回のレンダリングで立体画像を生成することが可能である。また、実施形態１では、表示装置２０のサブピクセル数が増加した場合でも、１つの量子化単位領域４２に含まれるサブピクセル数が増加するが、レンダリング回数は変化しない。これは、ハードウェアを設計するために処理コストを見積もる上で好ましい特徴である。さらに、実施形態１における処理は、量子化単位領域４２を単位として独立しているため、並列処理の効果が大きいことも特徴である。

なお、一般に３Ｄピクセル領域４０は光学的開口部の設計によって予め決定される。そのため、実施形態１における計算量は、分割数によって調整することが可能である。たとえば分割数を小さくすれば量子化単位領域４２のＸ軸方向の幅Ｔｄが大きくなり、その結果、量子化単位領域４２のセット数が減少するため、計算量が減少して処理速度が高速になる。一方、分割数を大きくした場合、量子化単位領域４２のセット数が増加するため、視点の移動に対してより高画質の画像を表示することが可能となる。

このように、実施形態１では、分割数を調整することで処理速度と視点移動時の画質との関係を調整することが可能であり、非力なデバイスでは処理速度を優先するように調整し、パーソナルコンピュータなどの計算能力が潤沢なデバイスでは画質を優先するように調整するなど、柔軟な調整が可能である。

また、分割数を調整することで、視点が静止している場合の画質を調整することも可能である。３Ｄディスプレイにおいてある視点での画質を考えた場合、クロストークの程度はハードウェアの設計によって決定されるため、完全に無くすことは困難である。そこで、実施形態１において分割数を小さくした場合、近傍に射出される光線に同じ情報を持たせることが可能となるため、クロストークが映像ボケとして視認されず、結果として静止している場合の画質を向上させることが可能となる。つまり、実施形態１において、分割数の低減は光線計算能力が潤沢で処理速度に問題がない場合にも用いるメリットがある。このように、実施形態１では、静止時の画質と視点移動時の画質との関係を調整することも可能である。

以上のように、実施形態１によれば、処理のいずれのプロセスにおいても補間処理が介在していないため、視差画像を補間しながら立体画像を生成する従来の方法に比べて、観察者に高品質な立体像を提供することが可能となる。また、サブピクセル単位で処理しないため、デバイスの計算能力に応じて画質と処理速度とのバランスを調整することが可能である。さらに、そのバランスは表現したい周波数の画質によって決定されるため、常に所望の画質を保ったまま処理速度の高速化が可能である。

（実施形態１の変形例１）
実施形態１で例示した評価部１４０の動作のうち、図１１のステップＳ１０２〜Ｓ１０８までの動作は、予め実行されてもよい。その場合、先行実行によって取得された類似度データは、所定の記憶領域に保存され、状況に応じて適用的に取り出される。以下に、実施形態１の変形例１にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを、図面を参照して詳細に説明する。

図１３は、変形例１にかかる立体画像表示装置の構成例を示すブロック図である。図１３に示すように、変形例１にかかる立体画像表示装置１Ａは、図１に示す立体画像表示装置１と同様の構成において、評価部１４０が解析用モデルデータ生成部１４１が省略された評価部１４０Ａに置き換えられるとともに、類似度データ取得部１５０をさらに備える。

・類似度データ取得部
類似度データ取得部１５０は、予め決められた幅で、周波数ごとに記憶されている類似度データを取得する。類似度データは、代表周波数を一定間間隔で変化させながら、図１１のステップＳ１０２〜Ｓ１０８の処理を行うことで得られる類似度を代表周波数ごとにまとめたものである。周波数ごとに評価対象分割数と同等の数だけ類似度が算出されるため、たとえば評価対象分割数が８パターンであり且つ代表周波数が５パターンである場合、８×５＝４０個の類似度が記憶されることになる。

類似度データ取得部１５０は、前述したステップＳ１０２の場合と同様に、代表周波数を決定し、類似度データのうち、もっとも近い周波数に対応する類似度を取得する。その結果、たとえば上記の例の場合、８個の類似度が取得される。

・評価部
また、変形例１における評価部１４０は、図１１のステップＳ１０９の処理を実行する。

以上のように、変形例１によれば、実施形態１ではモデルデータの読み込み時に行っていた処理の一部を事前に実行しておくため、新たなモデルデータを読み込む際のコストを削減することが可能となる。なお、その他の構成および動作は、上述した実施形態と同様であるため、ここでは詳細な説明を省略する。

（実施形態１の変形例２）
実施形態１において処理対象とするモデルデータは、上述したように、ボリュームデータに限るものではない。本変形例では、モデルデータが、１視点の画像（以下、参照画像という）とそれに対応するデプスデータとの組み合わせである場合について説明する。

本変形例にかかる立体画像表示装置は、図１に示す立体画像表示装置１と同様の構成を備えてよい。ただし、本変形例では、代表光線算出部１２１と輝度算出部１２２とが、それぞれ以下のような動作を実行する。

・代表光線算出部
本変形例において、代表光線算出部１２１は、実施形態１における図１２のステップＳ２０２〜Ｓ２０８に示した動作と同様の動作を実行する。ただし、代表光線算出部１２１は、基準視点３０の代わりにカメラ位置を用いる。すなわち、代表光線算出部１２１は、量子化単位領域ごとのカメラ位置を用いて代表光線のカメラ位置（始点位置）を算出するとともに、このカメラ位置とパネル２１の中心Ｏとの距離を算出する。

・輝度算出部
また、輝度算出部１２２は、代表光線算出部１２１で求めたカメラ位置とパネル２１の中心Ｏからの距離とに基づいて、参照画像と参照画像の各ピクセルに対応するデプスデータとから各サブピクセルの輝度値を算出する。以下に、本変形例における輝度算出部１２２の動作を説明する。なお、以下の説明では、簡略化のため、参照画像が光線番号‘０’に対応する画像であり、レンダリング空間２４の幅Ｗｗに参照画像の横幅が一致し、レンダリング空間２４の高さＷｈに参照画像の縦幅が一致し、さらに、参照画像の中心がレンダリング空間２４の中心Ｏと一致する場合、つまり、パネル２１と参照画像とが同じスケールでレンダリング空間２４に配置された場合を例に挙げる。

図１４は、本変形例における輝度算出部の処理を説明するための図である。図１４に示すように、本変形例１では、輝度算出部１２２は、まず、参照画像の各ピクセル（以下、参照ピクセル群）における視差ベクトルｄを求める。視差ベクトルｄとは、所望の飛び出し量を得るためにピクセルをどちらの方向にどの程度平行移動させる必要があるかを示すベクトルである。あるピクセルに対する視差ベクトルｄは、以下の式（３）で求めることができる。

式（３）において、Ｌｚはレンダリング空間２４の奥行きサイズ、ｚ_ｍａｘはデプスデータの取り得る最大値、ｚ_ｄはデプスデータ、ｚ_０はレンダリング空間２４での飛び出し距離、ｂは隣接するカメラ位置間のベクトル、ｚ_ｓはレンダリング空間２４におけるカメラ位置から参照画像（パネル２１）までの距離をそれぞれ表す。また、図１４において、Ｆ０はデプスデータの取り得る最大値に対応する面の位置、Ｆ１はデプスデータにおける対象物Ｂの位置、Ｆ２はパネル２１の位置、Ｆ３はデプスデータの取り得る最小値に対応する面の位置、Ｆ４は基準視点（ｖ＋１、ｖ、…）が配列される面の位置をそれぞれ表す。

つぎに、輝度算出部１２２は、参照画像をデプスデータに応じて平行移動した後の各ピクセルのレンダリング空間２４における位置ベクトルｐ’(ｘ，ｙ)を求める。位置ベクトルＰ’は、たとえば下記の式（４）を用いて求めることができる。

式（４）において、ｘ，ｙはそれぞれ参照画像のピクセル単位のＸ座標およびＹ座標であり、ｎ_ｖは輝度値を求めたいサブピクセルの光線番号であり、ｐ（ｘ，ｙ）はシフト前の各ピクセルのレンダリング空間２４における位置ベクトルであり、ｄ（ｘ，ｙ）は座標（ｘ，ｙ）のピクセルに対応するデプスデータから算出された視差ベクトルｄを示す。

その後、輝度算出部１２２は、求めた位置ベクトルｐ’（ｘ，ｙ）のうち、位置座標がＤｘ’に最も近くなる位置ベクトルＰ’を特定し、それに対応するピクセルを決定する。そのピクセルのサブピクセルに対応する色成分が、求める輝度値である。ここで、最も近くなるピクセルが複数存在する場合、飛び出し量が最も大きなものを採用するとよい。

なお、本変形例では、参照画像の全てのピクセルに対して視差ベクトルｄを求めたが、必ずしもこれに限るものではなく、たとえばカメラ位置がＸ軸に沿って配列している場合は、代表光線算出部１２１が求めたベクトルＤｖ’におけるＸ成分Ｄｘ’を含むピクセルを求め、画像の座標系においてそのピクセルと同様のＹ座標を持つピクセルを用いて視差ベクトルｄを求めてもよい。一方、カメラ位置がＹ軸に沿って配列している場合は、Ｘ成分Ｄｘ’を含むピクセルを求め、画像の座標系においてそのピクセルと同様のＸ座標を持つピクセルを用いて視差ベクトルｄを求めてもよい。

また、参照画像中で最大となる視差ベクトルｄの絶対値｜ｄ｜が分かっている場合、Ｘ成分Ｄｘ’から±｜ｄ｜の領域に含まれるピクセルを用いて視差ベクトルｄを求めてもよい。さらに、上記の方法を組み合わせることで、視差ベクトルを算出する領域を限定してもよい。

以上のように、本変形例によれば、モデルデータが１視点の画像とそれに対応するデプスデータとの組み合わせであって、正確な三次元データでない場合でも、最小限の補間処理で立体画像を生成することが可能となる。それにより、観察者に高品質な立体像を提供することが可能となる。なお、その他の構成および動作は、上述した実施形態と同様であるため、ここでは詳細な説明を省略する。

〔実施形態２〕
つぎに、実施形態２にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを詳細に説明する。なお、以下の説明において、上述した実施形態１またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。

実施形態２では、観察者の視聴位置を取得し、それに基づいて常に観察者が視域内に含まれるようにパネル２１のパラメータを補正する。

図１５は、実施形態２におけるパネルと光学的開口部における光学素子との位置関係を示す図である。パネル２１および光学的開口部２３における光学素子２３ａが図１５（Ａ）に示す状態にあるとき、パネル２１と光学的開口部２３とを水平方向（Ｘ方向）にずらすと、図１５（Ｂ）に示すように、ずらした方向に視域が移動する。図１５（Ｂ）に示す例では、光学的開口部２３を紙面に沿って左にシフトしたことで、光線がηだけ、図１５（Ａ）の場合よりも左に寄り、これによって視域も左にシフトしている。つまり、パネル２１と光学素子２３ａとが物理的にずれている場合、視域が正面に構成されず、いずれかの方向にシフトしてしまう。そのため例えば非特許文献１のピクセルマッピングは、ずれ量ｋｏｆｆｓｅｔを考慮に入れることで、両者が相対的にずれた場合でも、パネル２１の正面に視域が構成されるようになっている。本実施形態では、物理的なずれ量ｋｏｆｆｓｅｔをさらに補正することで観察者の視聴位置に視域をシフトする。これには、前述したパネル２１と光学素子２３ａの位置関係のずれによる視域のシフトを利用する。前述したパネル２１と光学素子２３ａとの位置関係による視域のシフトは、レンズの位置をもとの位置で固定して考えた場合、視域が逆方向にシフトするのと等価と考えることが可能である。そのため、ｋｏｆｆｓｅｔを補正して意図的に視域をシフトさせ、観察者の視聴位置に合わせる。

また、パネル２１および光学的開口部２３が図１５（Ａ）に示す状態にあるときに、図１５（Ｃ）に示すように、１つの光学的開口部２３に対応するパネル２１上での幅Ｘｎを広げると、視域はパネル２１に近くなる（つまり、図１５（Ｃ）では図１５（Ａ）よりも要素画像幅が大きくなる）。したがって、幅Ｘｎの値を実際の値よりも増減させるように補正することで、ピクセルマッピングによる視域の垂直方向（Ｚ軸方向）の位置補正の程度を連続的に（細かく）できる。これにより、従来技術では視差画像の入れ替えにより離散的にしか変化させることができなかった垂直方向（Ｚ軸方向）における視域の位置を、連続的に変化させることが可能となる。よって、視聴者が任意の垂直位置（Ｚ軸方向の位置）にいる場合に、適切に視域を合わせることが可能となる。

以上より、ずれ量ｋｏｆｆｓｅｔと幅Ｘｎとを適切に補正することで、水平方向および垂直方向のいずれにも視域の位置を連続的に変化させることができる。よって、観察者の任意の位置にいる場合でも、その位置に合わせた視域を設定することが可能となる。

図１６は、実施形態２にかかる立体画像表示装置の構成例を示すブロック図である。図１６に示すように、実施形態２にかかる立体画像表示装置２は、図１に示す立体画像表示装置１と同様の構成に加え、視聴位置取得部２１１と、光線方向算出部２１２とをさらに備える。

・視聴位置取得部
視聴位置取得部２１１は、視聴領域内の実空間における観察者の位置を３次元座標値として取得する。視聴者の位置の取得には、例えば、可視カメラ、赤外線カメラ等の撮像機器の他、レーダやセンサ等の機器を用いることができる。視聴位置取得部２１１は、これらの機器で得られた情報（カメラの場合には撮影画像）から、公知の技術を用いて、視聴者の位置を取得する。

例えば、可視カメラを用いた場合には、撮像によって得た画像を画像解析することで、視聴者の検出および視聴者の位置の算出を行う。また、レーダを用いた場合には、得られたレーダ信号を信号処理することで、視聴者の検出及び視聴者の位置の算出を行う。

人物検出・位置算出における視聴者の検出においては、顔、頭、人物全体、マーカーなど、人であると判定可能な任意の対象を検出してもよい。視聴者の目の位置を検出してもよい。なお、視聴者の位置の取得方法は、上記の方法に限定されるものではない。

・光線方向算出部
光線方向算出部２１２には、視聴位置取得部２１１が取得した観察者の視聴位置に関する情報と、パネルパラメータとが入力される。光線方向算出部２１２は、入力された視聴位置に関する情報に基づいてパネルパラメータを補正する。

ここで、パネルパラメータを視聴位置に関する情報に基づいて補正する方法について説明する。パネルパラメータの補正では、視聴位置をもとにパネル２１と光学的開口部２３とのＸ軸方向のずれ量ｋｏｆｆｓｅｔと、光学的開口部２３を構成する１つの光学素子（レンチキュラレンズやパララックスバリア等）のパネル２１上での水平幅Ｘｎとが補正される。このような補正によって、立体画像表示装置１による視域を移動することが可能となる。

たとえば非特許文献１の方法をピクセルマッピングに用いる場合、以下の式（５）のようにパネルパラメータを補正することで、視域を所望の位置に移動させることができる。

式（５）において、ｒ＿ｋｏｆｆｓｅｔは、ずれ量ｋｏｆｆｓｅｔに対する補正量を表す。ｒ＿Ｘｎは、水平幅Ｘｎに対する補正量を表す。これらの補正量の算出方法については、後述する。

上記の式（５）では、ずれ量ｋｏｆｆｓｅｔを光学的開口部２３に対するパネル２１のずれ量と定義した場合を示しているが、パネル２１に対する光学的開口部２３のずれ量と定義した場合は、以下の式（６）のようになる。なお、式（６）において、Ｘｎに対する補正は、上記式（５）と同様である。

補正量ｒ＿ｋｏｆｆｓｅｔおよび補正量ｒ＿Ｘｎ（以下、マッピング制御パラメータ）は、以下のようにして算出される。

補正量ｒ＿ｋｏｆｆｓｅｔは、視聴位置のＸ座標から算出する。具体的には、現在の視聴位置のＸ座標と、視聴位置からパネル２１（またはレンズ）までの距離である視距離Ｌと、光学的開口部２３（レンズの場合は主点Ｐ）からパネル２１までの距離であるギャップｇとを用いて、以下の式（７）で補正量ｒ＿ｋｏｆｆｓｅｔが算出される。なお、現在の視聴位置は、たとえばＣＣＤカメラや対物センサなどや、重力方向を検出する加速度センサなどで得られた情報に基づいて取得することができる。

また、補正量ｒ＿Ｘｎは、視聴位置のＺ座標から、以下の式（８）を用いて算出することができる。なお、ｌｅｎｓ＿ｗｉｄｔｈは、光学的開口部２３をＸ軸方向（レンズの長手方向）に沿って切断した場合の幅である。

・立体画像生成部
立体画像生成部１２０は、光線方向算出部２１２によって算出された各サブピクセルの光線番号と、サブピクセルグループの情報とから、補正後のパネルパラメータを用いて、各サブピクセルグループの代表光線を算出し、以降、実施形態１と同様の動作を実行する。

ただし、実施形態１の変形例のように、モデルデータが参照画像というデプスデータとの組み合わせである場合、輝度算出部１２２は、デプスデータと代表光線番号とに基づいて、参照画像をシフトし、シフト後の参照画像から各サブピクセルグループの輝度値を算出する。

以上のように、実施形態２では、観察者のパネル２１に対する視聴位置に基づいて光線番号が補正されるため、観察者がどの位置から視聴しても高品質な立体画像を提供することが可能となる。なお、その他の構成および動作は、上述した実施形態と同様であるため、ここでは詳細な説明を省略する。

〔実施形態３〕
また、上述した実施形態にかかる立体画像表示装置は、たとえば人間や動物や植物などの被検体を観察または診断する際のモニタ装置としても用いることができる。その場合、観察または診断する部位や方法に応じて、表示される立体画像に対して要求される解像度等が変化する場合がある。そこで、上述した実施形態において、観察または診断する部位や方法に応じて、分割数や代表周波数やＳ／Ｎの評価値を適宜切り替えるように構成することも可能である。

実施形態３にかかる立体画像表示装置は、上述した実施形態と同様であってよい。ただし、分割部１１１に与えられる評価対象分割数、および、解析用モデルデータ生成部１４１において決定される代表周波数、類似度評価部１４２において算出されるクロストークシミュレーションの評価値が、観察者によって選択された観察または診断の部位や方法に応じて適宜切り替えられる。

図１７は、実施形態３において表示装置が表示する画面の一例を示す図である。図１７に示すように、表示装置２０に表示される表示画面３２０には、画像処理装置１０で生成された立体画像を立体視可能に表示する第１表示領域３２１と、観察者が操作を入力するためのインタフェースを表示する第２表示領域３２２とが含まれる。

第２表示領域３２２に表示されるユーザインタフェースとしては、たとえば、観察または診断の部位を観察者に選択させる部位選択ボタン３２３や、観察または診断の方法を観察者に選択させる方法選択ボタン３２４や、表示画像の解像度を観察者が調整するための解像度調整スライダ３２５などが含まれてよい。

観察者は、たとえばマウスやタッチパネルなどのポインティングデバイスを用いて、部位選択ボタン３２３や方法選択ボタン３２４や解像度調整スライダ３２５を適宜操作することで、表示される立体画像を目的の観察又は診断に応じて適宜調整することが可能である。

観察者から入力された操作情報は、画像処理装置１０に入力される。画像処理装置１０は、入力された操作情報に応じて適宜、分割部１１１が使用する分割数や、解析用モデルデータ生成部１４１が決定する代表周波数や、類似度評価部１４２が決定する評価値等を適宜調整する。

なお、その他の構成および動作は、上述した実施形態と同様であるため、ここでは詳細な説明を省略する。

なお、上記実施形態およびその変形例は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施形態が可能であることは上記記載から自明である。例えば実施形態に対して適宜例示した変形例は、他の実施形態と組み合わせることも可能であることは言うまでもない。

１，１Ａ，２…立体画像表示装置、１０，２１０…画像処理装置、２０…表示装置、２１…パネル、２２…画素、２３…光学的開口部、２４…レンダリング空間、２５…基準点、３０…基準視点、３１…代表視点、４０…３Ｄピクセル領域、４０ａ…上辺、４０ｂ…下辺、４０ｃ，４０ｄ…側辺、４１…分割線、４１ｒ，４１ｇ，４１ｂ…色成分、４２…量子化単位領域、４３ｒ１，４３ｒ２，４３ｇ１，４３ｇ２，４３ｂ１…サブピクセル、１１０…クラスタリング処理部、１１１…分割部、１１２…サブピクセルグループ選択部、１２０…立体画像生成部、１２１…代表光線算出部、１２２…輝度算出部、１２３…サブピクセル輝度算出部、１３０…モデルデータ取得部、１４０…評価部、１４１…類似度評価部、１４２…解析用モデルデータ生成部、２１１…視聴位置取得部、２１２…光線方向算出部

Claims (13)

1. 立体物の形状が表現されたモデルデータから生成される立体画像を表示可能な立体画像表示装置であって、
   複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部と、
   異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割部と、
   前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成部と、
   前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価部と、
   を備える立体画像表示装置。
2. 前記評価部は、前記分割数ごとの前記立体画像間の類似度を算出し、算出された前記類似度に基づいて前記分割部が前記表示用の立体画像生成に用いるべき前記分割数を決定する類似度評価部を含む
   請求項１に記載の立体画像表示装置。
3. 前記評価部は、前記取得部から出力された前記モデルデータの周波数解析を行うことで評価用モデルデータを生成する解析用モデルデータ生成部を含み、
   前記生成部は、前記分割数に応じた前記小領域に基づいて前記評価用モデルデータから前記分割数ごとの前記立体画像を生成するとともに、前記類似度評価部で決定された前記分割数に基づいて前記パネル上の前記領域を分割することで生成された前記小量域に基づいて前記モデルデータから前記表示用の立体画像を生成する
   請求項１に記載の立体画像表示装置。
4. 前記類似度評価部は、前記分割数ごとの前記立体画像間の前記類似度を表す数値データを取得し、取得した前記類似度に基づいて前記分割部が前記表示用の立体画像生成に用いるべき前記分割数を決定する
   請求項２に記載の立体画像表示装置。
5. 前記類似度評価部は、物理的な光線の空間中への広がり由来するクロストークを考慮して前記立体画像を補正し、補正後の前記分割数ごとの前記立体画像を用いて前記類似度を算出する
   請求項２に記載の立体画像表示装置。
6. 前記分割数は、１より大きい自然数である
   請求項１に記載の立体画像表示装置。
7. 前記類似度評価部は、前記類似度が所定の閾値以下となる分割数のうち最小の分割数を前記分割部が前記表示用の立体画像生成に用いるべき前記分割数として決定する
   請求項２に記載の立体画像表示装置。
8. 前記類似度評価部は、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）を用いて前記類似度を算出する
   請求項２に記載の立体画像表示装置。
9. 前記モデルデータは、空間分割モデル、境界表現モデル、奥行き情報と少なくとも１つ以上の視点の画像との組み合わせのうち少なくとも１つである
   請求項１に記載の立体画像表示装置。
10. 前記生成部は、前記小領域に対応する１つ以上のサブピクセルを代表する代表光線を決定する代表光線算出部と、前記モデルデータと前記代表光線とが交差する部分の色情報に基づいて前記小領域に対応する１つ以上のサブピクセルの輝度を決定する輝度算出部とを含む
    請求項１に記載の立体画像表示装置。
11. 複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に、立体物の形状が表現されたモデルデータから生成された立体画像を表示する画像処理方法であって、
    異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成し、
    前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成し、
    前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する
    ことを含む画像処理方法。
12. 複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に表示するための立体画像を、立体物の形状が表現されたモデルデータから生成するようにコンピュータを動作させるためのプログラムであって、
    異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割処理と、
    前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成処理と、
    前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価処理と
    を前記コンピュータに実行させるためのプログラム。
13. 複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に表示するための立体画像を、立体物の形状が表現されたモデルデータから生成する画像処理装置であって、
    異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割部と、
    前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成部と、
    前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価部と、
    を備える画像処理装置。