JP2008090617A - 立体画像生成装置、方法およびプログラム - Google Patents

Abstract

【課題】利用者の行動のトラッキング・システムを必要とせずに実物体の位置、姿勢、形状に応じて変化する立体画像を生成すること。
【解決手段】立体ディスプレイ装置１００において、３次元表示面または該３次元表示面の近傍に配置された実物体の位置または姿勢を検出する実物体位置姿勢検出部１０３と、実物体の形状と位置または姿勢とに基づいて、実物体が３次元表示面により照射された光線を遮蔽する領域である遮蔽領域を算出する遮蔽領域算出部１０４と、遮蔽領域に対して、遮蔽領域以外の領域に対する描画処理と異なる描画処理を行って視差合成画像を生成する３Ｄ画像描画部１０５とを備えた。
【選択図】 図１

Description

本発明は、実物体と連動した立体画像を生成する立体画像生成装置、方法およびプログラムに関する。

動画表示が可能な立体視画像表示装置、所謂３次元ディスプレイには、種々の方式が知られている。近年、特にフラットパネルタイプで、且つ、専用の眼鏡等を必要としない方式の要望が高くなっている。直視型或いは投影型の液晶表示装置やプラズマ表示装置などのような画素位置が固定されている表示パネル（表示装置）の直前に表示パネルからの光線を制御して観察者に向ける光線制御素子を設置する方式が比較的容易に実現できる方式として知られている。

この光線制御素子は、一般的にはパララクスバリアまたは視差バリアとも称せられ、光線制御素子上の同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、光線制御素子として、スリット或いはレンチキュラーシート（シリンドリカルレンズアレイ）が使用される。また、上下視差（垂直視差）も含める場合には、光線制御素子として、ピンホールアレイ或いはレンズアレイが使用される。

視差バリアを使用する方式には、さらに２眼式、多眼式、超多眼式（多眼式の超多眼条件）、インテグラルフォトグラフィー方式（以下、「ＩＰ方式」という）に分類される。これらの基本的な原理は、１００年程度前に発明され立体写真に用いられてきたものと実質上同一である。

ＩＰ方式でも多眼方式でも、通常は視距離が有限であるため、その視距離における透視投影画像が実際に見えるように表示画像を作成する。水平視差のみで垂直視差のないＩＰ方式（１次元ＩＰ方式）では、視差バリアの水平方向ピッチが前記画素の水平方向ピッチの整数倍である場合は平行光線の組があるため（以下、「平行光線１次元ＩＰ」という）、垂直方向がある一定視距離の透視投影であり水平方向が平行投影である画像を画素列ごとに分割し、表示面に表示される画像形式である視差合成画像に合成することにより、正しい投影の立体像が得られる（例えば、特許文献１および特許文献２参照）。

多眼方式では、単純な透視投影による画像を分割配置することにより、正しい投影の立体像が得られる。

なお、垂直方向と水平方向で投影方法あるいは投影中心距離を異ならせるような撮像装置は、特に平行投影の場合に被写体と同サイズのカメラあるいはレンズが必要となるため、実現が困難である。したがって、撮像により平行投影データを得るためには、透視投影の撮像データから変換する方法が現実的であり、ＥＰＩ（エピポーラ面）を用いた補間による方法である光線空間法などが知られている。

これらの光線の再現による立体像の表示を目指す光線再生方式の３次元ディスプレイにおいて、多眼式の場合は視点数、ＩＰ方式の場合はディスプレイ面を基底として方向の異なる光線数といった再現する光線の情報を増やすことで高品位な立体映像を再生することが可能である。

特開２００４−２９５０１３号公報 特開２００５−８６４１４号公報

しかしながら、立体映像の生成に必要な処理量は各視点での描画処理、すなわちコンピュータグラフィックス（ＣＧ）におけるレンダリングの処理量に依存して変化し、視点数や光線数に比例して増加する。特に、ボリューム感のある映像を立体映像として再現するためには、各視点において、物体を構成する媒質密度を３次元的に定義したボリュームデータのレンダリングが必要になる。一般にボリュームデータのレンダリングにはレイ・キャスティングと呼ばれる光線の追跡と減衰率の計算を光線が通過する全てのボリューム要素に対して行う必要があり、計算処理の負荷が過大となる。

このため、上記の光線再生方式の３次元ディスプレイ上でこのようなボリュームデータのレンダリングを行う場合、視点数、光線数の増加に比例して処理負荷がさらに増大するという問題があった。また、ポリゴンといったサーフェスレベルのモデリング手法と共存しようとした場合も必然的にレイ・トレーシング（光線追跡法）に基づいたレンダリング処理に律速されるため、高速なポリゴン・ベースのレンダリング手法が活かされず、映像生成全体の処理負荷が増大するという問題もあった。

また、実物体と立体的な仮想物体との映像融合やインタラクション・システムについては、ミックスド・リアリティ（ＭＲ）やオーグメンティド・リアリティ（ＡＲ）あるいはバーチャル・リアリティ（ＶＲ）技術などが存在している。これらは大きく２つに大別することができ、実世界映像にＣＧで作成した虚像を重ね合わせて表示するＭＲ、ＡＲ技術と、ＣＡＶＥシステムに代表されるようにＣＧで作成した虚像空間に実世界物を介入させるＶＲ技術に大別される。

特に、ＣＧで作成した虚像空間を２眼ステレオ法で再生すれば、ＣＧで再現した仮想物体を実世界物と同じ３次元的位置およびに姿勢で虚像として結像させるシステムを構築することができる。つまり、実物体と仮想物体とで位置や姿勢を合わせ込んだ表示は可能であったが、利用者の視点が移動した場合はその都度映像を再構成して表示する必要があった。さらに利用者の視点に依存した映像効果を再現するためには利用者の位置、姿勢を検出するためのトラッキング・システムが必要となるという問題があった。

本発明は、上記に鑑みてなされたものであって、利用者の行動のトラッキング・システムを必要とせずに実物体の位置、姿勢、形状に応じて変化する立体画像を生成することができるとともに、ボリューム感のある立体画像の生成を処理量を削減して効率的に実現することができる立体画像生成装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる立体画像生成装置は、３次元表示面または該３次元表示面の近傍に配置された実物体の位置または姿勢若しくは形状を検出する検出部と、前記実物体の前記形状と前記位置または前記姿勢とに基づいて、前記実物体が前記３次元表示面により照射された光線を遮蔽する領域である遮蔽領域を算出する遮蔽領域算出部と、前記遮蔽領域に対して、前記遮蔽領域以外の領域と異なる描画処理を行って、立体画像を描画する描画部と、を備えたことを特徴とする。
また、本発明は、上記立体画像生成装置で実行される方法およびプログラムである。

本発明によれば、光線再生方式の立体画像表示装置に表示する立体画像の生成において、利用者の行動のトラッキング・システムを必要とせずに実物体の位置、姿勢、形状に応じて変化する立体画像を生成することができるという効果をそうする。また、本発明によれば、ボリューム感のある立体画像の生成を処理量を削減して効率的に実現することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる立体画像生成装置、方法およびプログラムの最良な実施の形態を詳細に説明する。

（実施の形態１）
図１は、実施の形態１にかかるディスプレイ装置（立体表示装置）の機能的構成を示すブロック図である。本実施の形態にかかる立体ディスプレイ装置１００は、図１に示すように、実物体形状指定部１０１と、実物体位置姿勢検出部１０３と、遮蔽領域算出部１０４と、３Ｄ画像描画部１０５とを主に備えている。この他、本実施の形態にかかる立体ディスプレイ装置１００は、後述する立体ディスプレイ、メモリやＣＰＵ等のハードウェア構成を備えている。

実物体位置姿勢検出部１０３は、３次元ディスプレイまたは３次元ディスプレイの近傍に配置された実物体オブジェクトの位置や姿勢若しくは形状を検出するものである。実物体位置姿勢検出部１０３は、位置、姿勢、形状のいずれかを検出する他、位置、姿勢、形状の全てを検出したり、位置、姿勢、形状のいずれか２つの組み合わせを検出するように構成する。なお、実物体位置姿勢検出部１０３の詳細については後述する。

実物体形状指定部１０１は、利用者による実物体オブジェクトの形状の指定を受け付ける処理部である。

遮蔽領域算出部１０４は、実物体形状指定部１０１によって指定を受け付けた実物体オブジェクトの形状と、実物体位置姿勢検出部１０３で検出された位置、姿勢、形状とに基づいて、実物体オブジェクトが３次元ディスプレイにより照射された光線を遮蔽する領域である遮蔽領域を算出する処理部である。

３Ｄ画像描画部１０５は、遮蔽領域算出部１０４によって算出された遮蔽領域に対して、この遮蔽領域以外の領域に対する描画処理と異なる描画処理を行って、視差合成画像を生成することにより立体画像を描画して出力する処理部である。実施の形態１では、３Ｄ画像描画部１０５は、遮蔽領域に対して、遮蔽領域を３次元空間内の各点が有するボリュームデータとして描画する処理を行っている。

まず、本実施の形態にかかるディスプレイ装置１００の立体ディスプレイ上に表示される映像の構成方法について説明する。本実施の形態にかかるディスプレイ装置１００の立体ディスプレイはｎ視差の光線を再生できるように設計されている。ここで、本実施の形態では、ｎ＝９として説明する。

図２は、実施の形態１にかかる立体ディスプレイ装置１００のディスプレイの構造を概略的に示す斜視図である。立体ディスプレイ装置１００では、図２に示すように、液晶パネルなどの平面状の視差画像表示部の表示面の前面に、光線制御素子として光学開口が垂直方向に延びるシリンドリカルレンズからなるレンチキュラー板２０３が配置されている。光学開口が斜めや階段状でなく縦に一直線であるため、立体表示時の画素配列を正方配列にすることが容易である。

表示面には、縦横比が３：１の画素２０１が、横方向には直線状に１行に並び、各画素２０１は同一行内で横方向に赤（Ｒ）、緑（Ｇ）、青（Ｂ）が交互に並ぶように配列されている。画素行の縦周期（３Ｐｐ）は、画素２０１の横周期Ｐｐの３倍である。

尚、カラー画像を表示するカラー画像表示装置においては、ＲＧＢの３つの画素２０１で１実効画素、即ち、輝度と色が任意に設定できる最小単位が構成される。ＲＧＢのひとつひとつは、一般的にはサブ画素と呼ばれる。

図２に示される表示画面では、９列３行の画素２０１で１実効画素２０２（黒枠で示される）が構成される。そして、光線制御素子であるレンチキュラー板２０３のシリンカドリルレンズは実効画素２０２のほぼ正面に配置される。

平行光線１次元ＩＰ方式では、表示面内に配列されたサブ画素の横周期（Ｐｐ）の９倍に等しい水平ピッチ（Ｐｓ）である各シリンドリカルレンズが直線状に延在する光線制御素子としてレンチキュラー板２０３により、表示面に水平に９個おきの画素からの光線が平行光線として再生される。

実際には想定する視点は、表示面から有限な距離に設定するため、立体ディスプレイ装置１００の映像を構成するのに必要な同一視差方向の平行光線を構成する組の画素の画像データを集積した各視差成分画像は９枚より多くなる。この視差成分画像から実際に使用される光線が抜き出されることで、立体ディスプレイ装置１００に表示する視差合成画像が生成される。

図３は、多眼方式の立体ディスプレイ装置における各視差成分画像と表示面上の視差合成画像との関係の一例を示す模式図である。３０１が３次元画像表示用の画像であり、３０３が画像取得位置であり、３０２は視差画像の中心と画像取得位置の射出瞳とを結ぶ線分である。

図４は、１次元ＩＰ方式の立体ディスプレイ装置における各視差成分画像と表示面上の視差合成画像との関係の一例を示す模式図である。４０１が３次元画像表示用の画像であり、４０３が画像取得位置であり、４０２は視差画像の中心と画像取得位置の射出瞳とを結ぶ線分である。

１次元ＩＰ方式の立体ディスプレイでは、表示面から特定視距離に配置した立体ディスプレイの設定視差数以上の複数台のカメラで画像の取得を行い（コンピュータグラフィックスではレンダリングを行い）、レンダリングされた画像から立体ディスプレイに必要な光線を抜き出し表示することになる。

また、各視差成分画像から抜き出される光線数は立体ディスプレイの表示面のサイズ、解像度等の他、想定視距離などにより決定される。想定視距離により決定される要素画像幅（９画素幅よりわずかに大きい）については特許文献１、２に記載されている手法と同様な手法を適用することで計算することができる。

図５および６は、視距離が変わった場合に利用者から見える視差画像が変化している状態を示す模式図である。図５，６において、５０１、６０１は観察位置から視認されう視差画像の番号である。図５および６に示すように、視距離が変化した場合には、観察位置から視認される視差画像が異なることがわかる。

各視差成分画像は、垂直方向が想定視距離あるいはその近傍の視距離に対応した透視投影であり、かつ水平方向が平行投影である画像であることが標準であるが、垂直方向および水平方向とも透視投影であってもよい。すなわち、光線再生方式に関わる立体ディスプレイ装置における映像の生成処理は再現する光線情報への変換さえできれば、必要十分な台数のカメラで撮像あるいは描画処理を行えば良いことになる。

以下の実施の形態にかかる立体ディスプレイ装置の説明では、立体画像の表示に必要かつ十分な光線の取得が可能なカメラ位置と台数の算出ができていることを前提として説明する。

次に、実物体位置姿勢検出部１０３の詳細について説明する。なお、本実施の形態では、実物体オブジェクトとして透明なカップを例にあげて、この透明なカップと連動した立体画像の生成処理について説明を行う。すなわち、平置き型立体ディスプレイ上に立体表示された複数の仮想オブジェクトであるぺんぎんを実物体オブジェクトである透明なカップで覆うことで、仮想オブジェクトの行動を制御するアプリケーションである。具体的には仮想オブジェクトであるぺんぎんは自律的に立体ディスプレイ上を動き、トマト弾を発射している。利用者は透明カップによりぺんぎんを覆うことでトマト弾が透明カップの表面に衝突し、ディスプレイ面に落ちないようにすることが出来る。

図８は、実物体位置姿勢検出部１０３の構成および位置姿勢検出の方法を示す説明図である。実物体位置姿勢検出部１０３は、図８に示すように、ディスプレイ面７０３の上部左右に設けられ、赤外光を発光する赤外発光部Ｌおよび赤外発光部Ｒと、ディスプレイ面７０３の左右両側面および下面に設けられ、赤外光を反射する再帰性反射シート（不図示）と、ディスプレイ面７０３の上部左右の赤外発光部Ｌおよび赤外発光部Ｒの位置に設けられ、再帰性シートにより反射した赤外光を受光するためのエリアイメージセンサＬおよびエリアイメージセンサＲと、を備えている。

図７は、透明カップ７０５を立体ディスプレイ７０２のディスプレイ面７０３に載置した状態を示す模式図である。図７において、７０１は視点を示している。このようにディスプレイ面７０３上の実物体オブジェクトである透明カップ７０５の位置を検出するには、赤外発光部Ｌ，Ｒから照射された赤外光が実物体オブジェクトである透明カップ７０５に遮蔽されて再帰性反射シートによって反射されずエリアイメージセンサＬ，Ｒに到達しない領域８０２，８０３をそれぞれ計測する。これにより、透明カップ７０５の中心位置を算出することが可能となる。この実物体位置姿勢検出部１０３では、ディスプレイ面７０３の上部のある一定の厚みに存在する実物体オブジェクトしか検出できないが、かかる赤外発光部Ｌ，Ｒ、エリアイメージセンサＬ，Ｒ、再帰性シートの構成をディスプレイ面７０３の上部に層状に配置してそれぞれの検出結果を利用することにより、実物体オブジェクトを検出可能な高さ領域を拡げることもできる。また、図８に示すように、赤外発光部Ｌ，Ｒ、エリアイメージセンサＬ，Ｒ、再帰性シートと同じ高さの透明カップ７０５の表面にマーカ８０１（すりガラス状の不透明加工）を施しておくことで、透明カップ本来の透明性を活かしながらエリアイメージＬ，Ｒの検出精度を向上させることができる。

次に、以上のように構成された本実施の形態にかかる立体ディスプレイ装置１００による立体画像生成処理について説明する。図９は、実施の形態１にかかる立体画像生成処理の手順を示すフローチャートである。

まず、実物体位置姿勢検出部１０３により、上述の手法で実物体オブジェクトの位置や姿勢を検出する（ステップＳ１）。そして、これと同時に、実物体形状指定部１０１により、利用者から実物体オブジェクトの形状の指定入力を受け付ける（ステップＳ２）。

例えば、実物体オブジェクトは図７に示す透明カップ７０５の場合には、透明カップ７０５の外形である半球状（おわん型）の３次元形状を利用者が指定入力し、かかる３次元形状の入力を実物体形状指定部形状指定部１０１で受付ける。仮想シーンにおけるディスプレイ面７０３、透明カップ７０５、および仮想物体の３次元スケールを実際のディスプレイ面７０３のサイズと合わせ込んでおくことにより、実物体の透明カップと仮想物体として立体表示されるカップの位置、姿勢を一致させることが可能となる。

次に、遮蔽領域算出部１０４により遮蔽領域の算出処理を行う。かかる処理としては、まず２次元遮蔽領域の検出を行う（ステップＳ３）。すなわち、各カメラから実物体形状指定部１０１で入力された実物体オブジェクトのみのレンダリング処理を行うことで、実物体オブジェクトがカメラ視点７０１から見た場合に遮蔽される２次元の遮蔽領域を検出する。

ここで、描画された画像中の実物体オブジェクトの領域が、視点７０１から見たときの２次元的な遮蔽領域となる。遮蔽領域に含まれる画素はディスプレイ７０２から照射される光線に対応するため、かかる２次元遮蔽領域の検出処理はディスプレイ面７０３から照射される光線情報のうち、実物体オブジェクトによって遮蔽される光線情報と遮蔽されない光線情報とを区別することである。

そして、次に、奥行き方向の遮蔽領域の算出を行う（ステップＳ４）。すなわち、奥行き方向の遮蔽領域の算出は、以下のように行われる。

まず、カメラ位置から見て手前にある面について視点７０１からの距離に相当するＺバッファ値をカメラから実物体オブジェクトまでの距離としてフレームバッファと同じ画像サイズのバッファに実物体オブジェクト表面奥行き情報Ｚｏｂｊ＿ｆｒｏｎｔとして保存する。

カメラ位置から見た前面、後面の判定は視点から注目ポリゴンに引いたベクトルとポリゴン法線との内積を取ることで判定することができ、この内積値が正の場合はそのポリゴンは表面、負の場合はそのポリゴンは裏面を向いていると判定する。同様に視点から見て後ろにある面についても視点からの距離値としてレンダリング処理時のＺバッファ値をオブジェクト裏面奥行き情報Ｚｏｂｊ＿ｂａｃｋとしてメモリに保存する。

次にシーンを構成するオブジェクトのみのレンダリングを行う。ここで、レンダリング後の画素値をＣｓｃｅｎｅとする。同時に視点からの距離に相当するＺバッファ値を仮想オブジェクト奥行き情報Ｚｓｃｅｎｅとしてメモリに保存する。さらにディスプレイ面７０３に相当する矩形領域をレンダリングし、そのレンダリング処理結果をディスプレイ面奥行き情報Ｚｄｉｓｐとしてメモリに保存する。次に、Ｚｏｂｊ＿ｂａｃｋかＺｄｉｓｐ、あるいはＺｓｃｅｎｅのうち最も手前にあるＺ値を奥の遮蔽領域境界Ｚｆａｒとする。最終的に実物体オブジェクトおよびにディスプレイ面７０３とで遮蔽される奥行き方向の領域を示すベクトルＺｖを（１）式により算出する。

Ｚｖ＝Ｚｏｂｊ＿ｆｒｏｎｔ−Ｚｆａｒ ・・・（１）
この奥行き方向の領域は、この視点における２次元遮蔽領域内に含まれる全画素において個別に求めることができる。

次に、３Ｄ画像描画部１０５によって、画素が遮蔽領域に含まれるか否かを判断する（ステップＳ５）。そして、遮蔽領域に含まれる場合には（ステップＳ５：Ｙｅｓ）、当該画素について、遮蔽領域中の画素をボリュームデータとして描画するボリューム効果のレンダリング処理を行う（ステップＳ６）。かかるボリューム効果のレンダリング処理は、（２）式により、遮蔽領域の効果を考慮して決定される最終的な画素値Ｃｆｉｎａｌを算出することにより行われる。

Ｃｆｉｎａｌ＝Ｃｓｃｅｎｅ＊α＊（Ｃｖ＊Ｚｖ） ・・・（２）
ここで、「＊」は乗算を示す。また、Ｃｖは、遮蔽領域のボリュームを表現する際に利用するカラー情報（Ｒ，Ｇ，Ｂを要素とするベクトル）である。αは、Ｚバッファ値の正規化とボリュームデータの効果を調整するためのパラメータ（スカラー値）である。

なお、画素が遮蔽領域に含まれない場合には（ステップＳ５：Ｎｏ）、かかるボリューム効果のレンダリングは行われない。これにより、遮蔽領域と遮蔽領域以外の領域について異なる描画処理を行っていることになる。

次に、カメラの全視点で上記処理が実行されたか否かを判断する（ステップＳ７）。そして、カメラの全視点で実行されていない場合には（ステップＳ７：Ｎｏ）、次のカメラ視点に対して、上述の２次元遮蔽領域の検出からボリューム効果のレンダリングまでの処理（ステップＳ３〜Ｓ７）を繰り返し実行する。

一方、ステップＳ７において、カメラの全視点で処理を実行した場合は（ステップＳ７：Ｙｅｓ）、レンダリング結果を立体ディスプレイに必要な視差合成画像に変換して生成することにより立体ディスプレイ装置１００で表示する画像を生成する（ステップＳ８）。

以上のような処理によって、例えば、実物体オブジェクトが図７に示す透明カップ７０５である場合には、透明カップがディスプレイ上に配置された場合に、カップ内部が特定の色を有するボリューム画像に変換して表示され、カップの存在や中身の様子がより把握しやすくなる。図１０は、透明カップにボリューム効果を与えた場合の立体画像の表示例を示す説明図である。図１０の１００１に示すように、実物体オブジェクトである透明カップによる遮蔽領域にボリューム効果が施されていることがわかる。

なお、透明カップのある３次元領域に映像効果を付加するだけの目的であれば、視点画像ごとに２次元遮蔽領域に含まれる画素ごとに、ステップＳ４の奥行き方向遮蔽領域の検出処理を行わず、ボリューム効果を表現するカラーを仮想オブジェクトで構成されるシーンのレンダリング後に積算することにより、遮蔽領域をボリュームデータとして描画しボリューム効果を施すように構成してもよい。

なお、上述した３Ｄ画像描画部１０５では、実物体オブジェクトによる遮蔽領域をボリュームデータとして描画してボリューム効果を施していたが、実物体オブジェクトの周辺領域をボリュームデータとして描画するように構成してもよい。

この場合には、３Ｄ画像描画部１０５によって、実物体形状指定部１０１により入力された実物体形状を３次元的に拡大し、拡大した形状を実物体オブジェクトの形状とする。そして、拡大部分をボリュームデータとして描画することにより、実物体オブジェクトの周辺領域にボリューム効果を施すことができる。

図１１は、実物体オブジェクトの周辺領域をボリュームデータとして描画する例を示す説明図である。例えば、実物体オブジェクトが図７に示す透明カップである場合には、図１１に示すように、実物体オブジェクトである透明カップの形状を３次元的に拡大し、拡大部分である周辺領域１１０１がボリュームデータとして描画されることになる。

また、実物体オブジェクトとすて円筒形状の実物体を用い、この円筒形状の中空部分をボリュームデータとして描画するように３Ｄ画像描画部１０５を構成してもよい。この場合には、実物体形状指定部１０１により、円筒の上面の高さを縮小して上下面の閉じた円柱として指定を受け付ける。そして、３Ｄ画像描画部１０５によって、円筒形状の中空部分をボリュームデータとして描画する。

図１２は、円筒形状の実物体オブジェクトの中空部分をボリュームデータとして描画する例を示す説明図である。図１２に示すように、中空部分１２０１をボリュームデータとして描画することにより、水のボリューム感を映像化することが可能となる。また、図１３に示すように、円筒形状の中空部内に仮想オブジェクトである金魚を自律的に泳がせるように描画することにより、あたかも円筒の内部に流体を張った水槽に金魚がいるかのように利用者に視認することが可能となる。

このように実施の形態１にかかる立体ディスプレイ装置１００では、光線再生方式に基づく立体ディスプレイ装置において注目したい空間中の領域を実物体オブジェクトで指定することができ、映像効果を利用者の視点に依存せず効率良く生成処理することができる。このため、本実施の形態によれば、利用者の行動のトラッキング・システムを必要とせずに実物体の位置、姿勢、形状に応じて変化する立体画像を生成することができるとともに、ボリューム感のある立体画像の生成を処理量を削減して効率的に実現することができる。

（実施の形態２）
実施の形態２にかかる立体ディスプレイ装置は、さらに実物体オブジェクトの属性を入力して、入力した属性に基づいて遮蔽領域の描画処理を行うものである。

図１４は、実施の形態２にかかる立体ディスプレイ装置の機能的構成を示すブロック図である。本実施の形態にかかる立体ディスプレイ装置１４００は、図１４に示すように、実物体形状指定部１０１と、実物体位置姿勢検出部１０３と、遮蔽領域算出部１４０４と、３Ｄ画像描画部１４０５と、実物体属性指定部１４０６とを主に備えている。この他、本実施の形態にかかる立体ディスプレイ装置１４００は、立体ディスプレイ、メモリやＣＰＵ等のハードウェア構成を備えている。

ここで、実物体形状指定部１０１、実物体位置姿勢検出部１０３については実施の形態１と同様の機能および構成である。

実物体属性指定部１４０６は、実物体オブジェクトの属性として、実物体オブジェクトの厚み、透明度、色の少なくともいずれかの利用者の入力を受け付ける処理部である。

３Ｄ画像描画部１４０５は、実物体形状指定部１０１によって受け付けた形状と実物体属性指定部１４０６によって受け付けた実物体の属性に基づいて、遮蔽領域に対し表面効果を付与する描画処理を行って視差合成画像を生成する処理部である。

次に、実施の形態２の立体ディスプレイ装置１４００による立体画像生成処理について説明する。図１５は、実施の形態２にかかる立体画像生成処理の手順を示すフローチャートである。ステップＳ１１〜Ｓ１４における実物体位置の検出、実物体の形状の指定受付および２次元遮蔽領域の検出、奥行き方向遮蔽領域の検出処理は、実施の形態１と同様に行われる。

実施の形態２では、実物体属性指定部１４０６によって、実物体オブジェクトの厚み、透明率、色等を利用者に指定させ、かかる属性の指定を受け付ける（ステップＳ１６）。そして、実施の形態１と同様に、３Ｄ画像描画部１４０５によって、画素が遮蔽領域に含まれるか否かを判断する（ステップＳ１５）。そして、遮蔽領域に含まれる場合には（ステップＳ１５：Ｙｅｓ）、当該画素について、実物体の属性、形状を参照して、遮蔽領域中の画素に対して表面効果を付与するレンダリング処理を行う（ステップＳ１７）。

ステップＳ１３の２次元遮蔽領域の検出処理において、各視点における実物体オブジェクトで遮蔽される画素の情報が特定されている。各画素と光線情報との対応関係はカメラ地点とディスプレイ面との関係によって１対１で一意に決定することができる。図１６は、各画素と光線情報との対応関係を示すために平置型の立体ディスプレイ７０２を斜め上方６０度から眺めた場合の視点７０１とディスプレイ面７０３、およびに遮蔽する実物体オブジェクト１５０５との関係を示す模式図である。

表面効果のレンダリング処理では、ステップＳ１３で求めた遮蔽領域の画素に対応する光線ごとに実物体オブジェクトとの相互作用に関する効果のレンダリングを行う。具体的には、実物体オブジェクトの表面効果を考慮に入れて最終的に決定される視点画像の画素値Ｃｒｅｓｕｌｔを、（３）式で算出する。計算することが出来る。

Ｃｒｅｓｕｌｔ＝Ｃｓｃｅｎｅ＊Ｃｏｂｊ＊β＊（ｄｏｂｊ＊（２．０−Ｎｏｂｊ・Ｖｃａｍ）） ・・・（３）
ここで、「＊」は乗算を示し、「・」は内積を示している。また、Ｃｓｃｅｎｅは、実物体オブジェクトを除いたレンダリング結果の画素値、Ｃｏｂｊは、実物体属性指定部１４０６で入力された実物体オブジェクトを構成する媒体の色（Ｒ，Ｇ，Ｂを要素とするベクトル）、ｄｏｂｊは、実物体属性指定部１４０６で入力された実物体オブジェクトの厚み、Ｎｏｂｊは、実物体オブジェクト表面の正規化法線ベクトル、Ｖｃａｍは、カメラ視点７０１から実物体オブジェクト表面へ向かう正規化視線方向ベクトルであり光線ベクトルに相当する。βは映像効果の強度を指定する係数である。

正規化視線方向ベクトルＶｃａｍは、光線ベクトルに相当するため、実物体オブジェクト表面に対して斜めから入射する光線については実物体オブジェクト表面の属性、例えば厚みをより考慮した映像効果を付加することができる。このため、実物体オブジェクトが透明かつ厚みのあることをより強調することが可能となる。

また、実物体オブジェクトの表面のざらつきを描画する場合には、バンプマップや法線マップのようなマップ情報を、実物体オブジェクトの属性として実物体属性指定部１４０６により指定し、３Ｄ画像描画部１４０５による描画処理時に、実物体オブジェクト表面の正規化法線ベクトルを効率的に制御することにより、表面のざらつきを表現することも可能である。

カメラ視点に関する情報は、立体ディスプレイ７０２のみに依存して決定されるため、利用者の状況に依存せず、利用者の視点を考慮することなく実物体オブジェクトの有する視点依存な表面特性を立体画像として描画することができる。

例えば、３Ｄ画像描画部１４０５によって、実物体オブジェクトの表面効果としてハイライト表示を行うことができる。金属や透明物体の表面に現れるハイライトは、視点に依存して変化することが知られているが、これらの効果も上記の光線単位に、実物体オブジェクト表面の正規化法線ベクトルＮｏｂｊと正規化視線方向ベクトルＶｃａｍ（光線ベクトル）とに基づいて視点画像の画素値Ｃｒｅｓｕｌｔを求めて描画することができる。

また、実物体オブジェクトそのものに写りこんだハイライトに立体映像を多重化することでハイライトの形状をぼかし、実物体の素材特性を変えて見せたり、実物体にはなかったハイライトを新たに立体映像として多重化することで、仮想の光源や周囲の状況を可視化したりすることも可能である。

さらに、３Ｄ画像描画部１４０５によって、実物体オブジェクトには存在しない仮想のひび割れなどを立体画像として合成することもできる。例えば、実物体オブジェクトとしての厚みのあるガラスにひび割れが発生した場合、見る位置によってひび割れの見え方は変化するが、ひび割れに伴う効果によって生じるカラー情報Ｃｅｆｆｅｃｔを、（４）式により求めて、ひび割れの映像効果を遮蔽領域に付与して描画することができる。

Ｃｅｆｆｅｃｔ＝γ＊Ｃｃｒａｃｋ＊｜Ｖｃａｍ×Ｖｃｒａｃｋ｜ ・・・（４）
ここで、「＊」は乗算を示し、「×」は外積を示している。このＣｅｆｆｅｃｔを、視点画像上の画素と合成することにより、ひび割れ効果の含まれた最終的な画素情報となる。Ｃｃｒａｃｋは、ひび割れの映像効果に利用するカラー値であり、Ｖｃａｍはカメラ視点から実物体オブジェクト表面へ向かう正規化視線方向ベクトルであり、Ｖｃｒａｃｋはひび割れの方位を示す正規化ひび方向ベクトルであり、γは映像効果の強度を調整するパラメータである。

加えて、実物体オブジェクトである透明カップにトマト弾がぶつかった場合における砕けた映像の表現においても、砕けたトマト弾をテクスチャとして視点や光源に依存したテクスチャ・マッピング手法を適用することで、立体ディスプレイ上でリアルな効果を再現することができる。

このテクスチャ・マッピングの手法について説明する。３Ｄ画像描画部１４０５は、描画時の視点位置及び光源位置に応じてポリゴン表面のテクスチャ成分を表現した関数であるＢＴＦ（Bidirectional Texture Function）に基づいてテクスチャ画像を切り替えてマッピングを行う。

ＢＴＦでは、視点位置、光源位置の指定に、図１７に示したモデル表面上の撮像対象を原点とした球座標系を用いる。図１７は、視点位置及び光源位置に依存したテクスチャ・マッピングを行う場合に使用する球座標系を示した図である。
視点が無限遠、光源が平行光源であるとすると、図１７に示すように、視点位置を（θe,φe）、光源位置を（θi,φi）と表現することができる。ここで、θe及びθiは経度方向、φe及びφiは緯度方向の角度を表している。この場合、テクスチャアドレスは以下のように６次元で定義することができる。すなわち、例えば、テクセルは、６つの変数により
Ｔ（θe, φe, θi, φi, u, v） （ただし、u,v はテクスチャ内アドレスを示す）
と表現される。実際には、特定の視点、光源で取得した複数のテクスチャ画像を集積しておくことで、テクスチャの切り替えとテクスチャ内アドレスの組合せによってテクスチャを表現することができる。このようなテクスチャのマッピングを高次元テクスチャ・マッピングと呼ぶ。

３Ｄ画像描画部１４０５によるテクスチャ・マッピングの処理は以下のように行われる。まず、モデル形状データを入力して、このモデル形状データから描画プリミティブへの分割を行う。すなわち、この分割動作は描画処理の単位に分割することであり、基本は３頂点で構成されるポリゴン単位で分割処理を行うことになる。ここで、ポリゴンは３頂点で囲われる面情報であり、ポリゴン内部を描画処理することになる。

次に、ある描画プリミティブ単位にテクスチャ投影座標系の計算を行う。すなわち、この描画プリミティブを構成する、３次元座標で表現される３頂点からなる平面上へ、テクスチャを定義する２次元座標系のｕ軸、ｖ軸をそれぞれ投影した場合の投影座標系のベクトルＵ及びベクトルＶを算出する。さらに、３頂点からなる平面に対する法線を算出する。投影座標系のベクトルＵ及びベクトルＶを求める具体的な手法は後に図１８を参照して説明する。

次に、算出された投影座標系のベクトルＵ、ベクトルＶ、及び法線を入力し、さらに視点位置及び光源位置を入力して、視点方位及び光源方位（方位パラメータ）の計算を行い、この描画プリミティブに対する視点及び光源の相対方位を求める。
具体的には、緯度方向の相対方位φは法線ベクトルＮと方位ベクトルＤから以下のように求めることができる。すなわち、緯度方向の相対方位φは、
φ ＝ arccos（Ｄ・Ｎ／（｜Ｄ｜＊｜Ｎ｜））
である。ここで、Ｄ・ＮはベクトルＤとベクトルＮの内積を示す。また、「＊」は乗算を示す。一方、経度方向の相対方位θの算出方法は後に図１９を参照して説明する。

次に、算出された視点及び光源の相対方位に基づいて、描画テクスチャの生成を行う。この描画テクスチャの生成は、描画プリミティブに貼り付けるテクスチャを事前に描画しておくための処理である。視点及び光源の相対方位に基づきメモリ等に格納されているテクスチャからテクセル情報を取得する。テクセル情報を取得することは、特定の撮影条件で取得したテクスチャ要素を描画プリミティブに対応するテクスチャ座標空間に割り当てることである。この相対方位とテクスチャ要素の取り出し処理は視点あるいは光源ごとに行えば良く、複数の視点あるいは複数の光源が存在する場合も同様に求めていくことができる。

以上の処理を、取得した全描画プリミティブに対して処理を繰り返す。その後、全プリミティブの描画が終了した段階で、描画した各テクスチャをモデルの対応する箇所にマッピングする。

投影座標系のベクトルＵ及びベクトルＶを求める具体的な手法を図１８を参照して説明する。
描画プリミティブを構成する３頂点の３次元座標及びテクスチャ座標を、
頂点Ｐ０：３次元座標（ｘ０， ｙ０， ｚ０），テクスチャ座標（ｕ０， ｖ０）
頂点Ｐ１：３次元座標（ｘ１， ｙ１， ｚ１），テクスチャ座標（ｕ１， ｖ１）
頂点Ｐ２：３次元座標（ｘ２， ｙ２， ｚ２），テクスチャ座標（ｕ２， ｖ２）
と定義する。このように定義すると、この描画プリミティブを構成する、３次元座標で表現される３頂点からなる平面上へ、テクスチャを定義する２次元座標系のｕ軸、ｖ軸をそれぞれ投影した場合の投影座標系のベクトルＵ＝（ｕｘ， ｕｙ， ｕｚ）及びベクトルＶ＝（ｖｘ， ｖｙ， ｖｚ）は、以下の関係式により算出することができる。すなわち、
Ｐ２ − Ｐ０ ＝ （ｕ１ − ｕ０） ＊ Ｕ ＋ （ｖ１ − ｖ０）＊ Ｖ、
Ｐ１ − Ｐ０ ＝ （ｕ２ − ｕ０）＊ Ｕ ＋ （ｖ２ − ｖ０）＊ Ｖ、
ここで、Ｐ０＝（ｘ０， ｙ０， ｚ０）、Ｐ１＝（ｘ１， ｙ１， ｚ１）、Ｐ２＝（ｘ２， ｙ２， ｚ２）であるので、この２つの関係式をｕｘ， ｕｙ， ｕｚ及びｖｘ， ｖｙ， ｖｚについて解いて投影座標系のベクトルＵ及びベクトルＶを求めることができる。すなわち、
ｕｘ ＝ ｉｄｅｔ ＊ （ｖ２０ ＊ ｘ１０ − ｖ１０ ＊ ｘ２０）、
ｕｙ ＝ ｉｄｅｔ ＊（ｖ２０ ＊ ｙ１０ − ｖ１０ ＊ ｙ２０）、
ｕｚ ＝ ｉｄｅｔ ＊（ｖ２０ ＊ ｚ１０ − ｖ１０ ＊ ｚ２０）、
ｖｘ ＝ ｉｄｅｔ ＊ （−ｕ２０ ＊ ｘ１０ ＋ ｕ１０ ＊ ｘ２０）、
ｖｙ ＝ ｉｄｅｔ ＊（−ｕ２０ ＊ ｙ１０ ＋ ｕ１０ ＊ ｙ２０）、
ｖｚ ＝ ｉｄｅｔ ＊（−ｕ２０ ＊ ｚ１０ ＋ ｕ１０ ＊ ｚ２０）、
ただし、
ｖ１０ ＝ ｖ１ − ｖ０、
ｖ２０ ＝ ｖ２ − ｖ０、
ｘ１０ ＝ ｘ１ − ｘ０、
ｘ２０ ＝ ｘ２ − ｘ０、
ｙ１０ ＝ ｙ１ − ｙ０、
ｙ２０ ＝ ｙ２ − ｙ０、
ｚ１０ ＝ ｚ１ − ｚ０、
ｚ２０ ＝ ｚ２ − ｚ０、
ｄｅｔ ＝ ｕ１０＊ｖ２０ − ｕ２０＊ｖ１０、
ｉｄｅｔ ＝ １／ｄｅｔ
である。また、法線は、３つの頂点の座標からこれらの頂点が形成する平面上の２つの独立なベクトルの外積を計算することにより容易に求めることができる。

次に、経度方向の相対方位θを求める具体的な手法を図１９を参照して説明する。 まず、視点あるいは光源の方位ベクトルをモデル平面に投影したベクトルＢを求める。視点あるいは光源の方位ベクトルをＤ＝（ｄｘ， ｄｙ， ｄｚ）、モデル平面の法線ベクトルをＮ＝（ｎｘ， ｎｙ， ｎｚ）、方位ベクトルＤをモデル平面に投影したベクトルＢ＝（ｂｘ， ｂｙ， ｂｚ）は以下の関係式から求めることができる。すなわち、
Ｂ ＝ Ｄ − （Ｄ・Ｎ）＊Ｎ
であり、この関係式を成分表示すれば、
ｂｘ ＝ ｄｘ − αｎｘ
ｂｙ ＝ ｄｙ − αｎｙ
ｂｚ ＝ ｄｚ − αｎｚ
である。ただし、α＝ｄｘ ＊ ｎｘ ＋ ｄｙ＊ｎｙ ＋ ｄｚ ＊ ｎｚ、法線ベクトルＮは単位ベクトルとする。

視点あるいは光源の方位ベクトルをモデル平面に投影したベクトルＢと、ステップＳ３０２で求めた投影座標系のベクトルＵ及びベクトルＶとから視点及び光源の相対方位を以下のように求めることができる。
まず、ベクトルＵとベクトルＶのなす角度λと、ベクトルＵとベクトルＢのなす角度θをそれぞれ以下の方程式により求める。すなわち、
λ＝arccos（Ｕ・Ｖ／（｜Ｕ｜＊｜Ｖ｜））
θ＝arccos（Ｕ・Ｂ／（｜Ｕ｜＊｜Ｂ｜））
から求めることができる。もし、投影座標系に歪みがなければＵとＶは直交、つまりλはπ／２（９０度）になるが、投影座標系に歪みがあるとλはπ／２以外の値を取る。ところが、テクスチャを取得する際には直交した座標系での相対的な方位で視点及び光源の方位を特定しているため、投影座標系に歪みがある場合は補正が必要となってくる。したがって、投影したＵＶ座標系に合わせて視点及び光源の相対方位角度を適切に補正すればよい。すなわち、補正後の相対方位θ’は以下の関係式、
θ ＜ π かつθ ＜ λ の場合、
θ’＝ （θ／λ）＊ π／２
θ ＜ π かつθ ＞ λ の場合、
θ’＝ π−（（π−θ）／（π−λ））＊ π／２
θ ＞ π かつθ ＜ π＋λ の場合、
θ’＝ （θ−π）／λ ＊ π／２ ＋π
θ ＞ π かつθ ＞ π＋λ の場合、
θ’＝ ２π−（（２π−θ）／（π−λ））＊ π／２
により求めることができる。以上の処理により、描画プリミティブに対する視点及び光源の経度方向の相対方位を求めることができる。

以上の処理により、３Ｄ画像描画部１４０５は、遮蔽領域にテクッスチャ・マッピングを描画している。このような処理によって、実物体オブジェクトである透明カップの表面にトマト弾があたり砕けた映像効果の具体例を図２０に示す。２００１が遮蔽領域であり、かかる遮蔽領域の表面にトマト弾があたって砕けた映像効果が描画されていることがわかる。

また、３Ｄ画像描画部１４０５は、遮蔽領域に対してレンズ効果やズーム効果を描画することもできる。例えば、実物体オブジェクトとして板を使用し、実物体属性指定部１４０６によって実物体オブジェクトである板の屈折率、ズーム率、色などを指定する。

３Ｄ画像描画部１４０５では、仮想オブジェクトのみのレンダリングした画像を、ステップＳ１３の２次元遮蔽領域の検出処理で検出した遮蔽領域の中央を中心して拡大縮小し、遮蔽領域をマスクとして切り出すことにより、実物体オブジェクト越しに見えるシーンの拡大縮小を実現することができる。

ここで、仮想シーンのレンダリング画像を拡大縮小する際に基準となる中心は、実物体オブジェクトに設定したズーム中心（３次元的に定義する）と視点を通る直線がディスプレイ面７０３とぶつかる画素を中心とすることで、実物体オブジェクトを虫メガネのように見立てたデジタルズーム効果を再現することが可能となる。

図２１は、平置き型立体ディスプレイと板との関係を示す模式図である。図２１に示すように、同時に実物体オブジェクトの存在する空間に虫メガネを示す仮想オブジェクトを立体映像として重ね合わせることもでき、これにより、立体画像の臨場感を向上させることができる。

また、実物体形状指定部１０１によって、実物体オブジェクトである板として詳細な３次元レンズの形状（凹レンズや凸レンズなどの形状）を指定し、かつ実物体属性指定部１４０６によって、実物体オブジェクトの属性として屈折率を指定することにより、画素位置で定義付けられた光線ごとにに光線の屈折シミュレーションを行い、光線追跡法に基づく仮想オブジェクトのレンダリングを行うように３Ｄ画像描画部１４０５を構成してもよい。

さらに、３Ｄ画像描画部１４０５を、実物体オブジェクトを配置することで、仮想オブジェクトの断面図を視認できるように描画するように構成することもできる。一例として、実物体オブジェクトとして透明な板を使用した場合について説明する。図２２は、平置き型立体ディスプレイ７０２と板２２０５と仮想オブジェクトである筒状の物体２２０６との関係を示す模式図である。

より具体的には、図２３に示すように、板２２０５の両側に検出用のマーカ２３０１ａ，２３０１ｂ（すりガラス状の不透明加工）を線状に施す。そして、実物体位置姿勢報検出部１０３を、赤外発光部Ｌ，ＲおよびエリアイメージセンサＬ，Ｒを少なくとも２個、ディスプレイ面の高さ方向に層状に配置して構成する。これにより、実物体オブジェクトである板２２０５の位置、姿勢、形状の検出を行うことが可能となる。

すなわち、このように構成した実物体位置姿勢報検出部１０３によって、２つのマーカ２３０１ａ，２３０１ｂの位置の検出を実施の形態１と同様に行う。そして、実物体位置姿勢報検出部１０３の各赤外発光部Ｌ，ＲおよびエリアイメージセンサＬ，Ｒで検出された検出結果の中から対応するマーカ位置を取得することにより、板２２０５の３次元的な形状および姿勢を同定することができる。すなわち、板２３０５の姿勢と形状は、２３０２に示すように同定することができる。なお、マーカの数を増加することにより、より正確に板２３０５の形状を算出することが可能となる。

また、遮蔽領域算出部１４０４は、ステップＳ１４の奥行き方向の遮蔽領域の検出処理において、実物体オブジェクトによる仮想物体の切断領域の判定を行うように構成する。具体的には、仮想物体の切断領域判定は、実物体オブジェクトの奥行き情報Ｚｏｂｊと視点に対する仮想オブジェクトの表面奥行き情報Ｚｓｃｅｎｅ＿ｎｅａｒ、仮想オブジェクトの裏面奥行き情報Ｚｓｃｅｎｅ＿ｆａｒとの関係において、ＺｏｂｊがＺｓｃｅｎｅ＿ｎｅａｒとＺｓｃｅｎｅ＿ｆａｒとの間に含まれているかどうかを判定するように遮蔽領域算出部１４０４を構成する。なお、視点から見た奥行き情報の算出処理では、実施の形態１と同様に、レンダリングにより生成されるＺバッファ値を用いる。

そして、３Ｄ画像描画部１４０５では、切断領域の判定結果である切断領域に含まれる画素について、ボリュームデータとして描画するレンダリング処理を行う。この時点で切断領域の情報としては各視点から見た場合の２次元的な配置、すなわち光線情報と視点からの奥行き距離が算出されているため、３次元的な切断面の情報が得られており、ボリュームデータの参照が可能である。ボリュームデータのレンダリング時に、切断領域に含まれる画素の輝度値を高く設定することで、切断領域に含まれていない画素と容易に識別できるように構成してもよい。

ボリュームデータとしてスカラー値でなくベクトル値を扱ったテンソルデータは脳内の血流の可視化などで活用されてきている。このようなデータを扱った場合、切断面のボリューム要素としてベクトル情報をレンダリングする手法として異方性レンダリング手法を利用することができる。例えば、髪の毛などのレンダリングに利用される異方性のある反射輝度分布特性をマテリアルとして持たせ、ボリュームデータであるベクトル情報とカメラからの視点情報に基づいて方向依存なレンダリングを行うものである。利用者は、頭部を動かすことにより、ボリュームデータの切断形状だけでなく、ベクトルの向きを明るさや色の変化として知覚することが可能になる。ここで、実物体形状指定部１０１によって厚みのある実物体オブジェクトを指定することにより、切断面の形状が平面でなく、立体になるため、より効率良くテンソルデータの可視化を行うことができる。

実物体オブジェクトを通して視認できる仮想オブジェクトのシーンは、視点に依存して変化するため、従来は、同様な映像効果を実現するために利用者の視点のトラッキングが必要であったが、実施の形態２にかかる立体ディスプレイ装置１４００では、実物体オブジェクトの属性の指定を受け付けて、指定された属性、形状や姿勢に基づいて遮蔽領域に対して各種表面効果を付与する描画処理を行って視差合成画像を生成するので、利用者の行動のトラッキング・システムを必要とせずに実物体の位置、姿勢、形状に応じて変化する立体画像を生成することができ、表面効果が現実的に表現された立体画像の生成を、処理量を削減して効率的に実現することができる。

すなわち、本実施の形態によれば、立体画像の構成に必要なカメラ視点ごとにあらかじめ実物体オブジェクトで遮蔽される遮蔽領域およびに実物体オブジェクトを通して見える仮想シーンの特定とレンダリングができるため、利用者の視点のトラッキングに依存せず、立体画像が生成でき、さらに立体ディスプレイ上で正確な立体映像を再現することが可能となる。

なお、実施の形態１および２にかかる立体ディスプレイ装置で実行される立体画像生成プログラムは、ＲＯＭ等に予め組み込まれて提供される。

実施の形態１および２にかかる立体ディスプレイ装置で実行される立体画像生成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、実施の形態１および２にかかる立体ディスプレイ装置で実行される立体画像生成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施の形態１および２にかかる立体ディスプレイ装置で実行される立体画像生成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

実施の形態１および２にかかる立体ディスプレイ装置で実行される立体画像生成プログラムは、上述した各部（実物体位置姿勢検出部、実物体形状指定部、遮蔽領域算出部、３Ｄ画像描画部、実物体属性指定部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから立体画像生成プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、実物体位置姿勢検出部、実物体形状指定部、遮蔽領域算出部、３Ｄ画像描画部、実物体属性指定部が主記憶装置上に生成されるようになっている。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

実施の形態１にかかるディスプレイ装置の機能的構成を示すブロック図である。 実施の形態２にかかる立体ディスプレイ装置１００のディスプレイの構造を概略的に示す斜視図である。 多眼方式の立体ディスプレイ装置における各視差成分画像と表示面上の視差合成画像との関係の一例を示す模式図である。 １次元ＩＰ方式の立体ディスプレイ装置における各視差成分画像と表示面上の視差合成画像との関係の一例を示す模式図である。 視距離が変わった場合に利用者から見える視差画像が変化している状態を示す模式図である。 視距離が変わった場合に利用者から見える視差画像が変化している状態を示す模式図である。 透明カップ７０５を立体ディスプレイ７０２のディスプレイ面７０３に載置した状態を示す模式図である。 実物体位置姿勢検出部のハードウェア構成を示す説明図である。 実施の形態１にかかる立体画像生成処理の手順を示すフローチャートである。 透明カップにボリューム効果を与えた場合の立体画像の表示例を示す説明図である。 実物体オブジェクトの周辺領域をボリュームデータとして描画する例を示す説明図である。 円筒形状の実物体オブジェクトの中空部分をボリュームデータとして描画する例を示す説明図である。 円筒形状の中空部内に仮想オブジェクトである金魚を自律的に泳がせるように描画した例を示す説明図である。 実施の形態２にかかる立体ディスプレイ装置の機能的構成を示すブロック図である。 実施の形態２にかかる立体画像生成処理の手順を示すフローチャートである。 各画素と光線情報との対応関係を示すために平置型の立体ディスプレイ７０２を斜め上方６０度から眺めた場合の視点７０１とディスプレイ面７０３、およびに遮蔽する実物体オブジェクト１５０５との関係を示す模式図である。 視点位置及び光源位置に依存したテクスチャ・マッピングを行う場合に使用する球座標系を示した説明図である。 投影座標系のベクトルＵ及びベクトルＶを求める具体的な手法を示す説明図である。 経度方向の相対方位θを求める具体的な手法を示す説明図である。 実物体オブジェクトである透明カップの表面にトマト弾があたり砕けた映像効果の具体例を示す説明図である。 平置き型立体ディスプレイと板との関係を示す模式図である。 平置き型立体ディスプレイ７０２と板２２０５と仮想オブジェクトである筒状の物体２２０６との関係を示す模式図である。 板の両側に検出用のマーカ２３０１ａ，２３０１ｂ（すりガラス状の不透明加工）を線状に施して板の形状と姿勢の検出することを示す説明図である。

符号の説明

１００，１４００ 立体ディスプレイ装置
１０１ 実物体形状指定部
１０３ 実物体位置姿勢報検出部
１０４，１４０４ 遮蔽領域算出部
１０５，１４０５ ３Ｄ画像描画部
１４０６ 実物体属性指定部
７０１ 視点
７０２ 平置き型立体ディスプレイ
７０３ ディスプレイ面

Claims (16)

1. ３次元表示面または該３次元表示面の近傍に配置された実物体の位置または姿勢若しくは形状を検出する検出部と、
   前記実物体の前記形状と前記位置または前記姿勢とに基づいて、前記実物体が前記３次元表示面により照射された光線を遮蔽する領域である遮蔽領域を算出する遮蔽領域算出部と、
   前記遮蔽領域に対して、前記遮蔽領域以外の領域と異なる描画処理を行って、立体画像を描画する描画部と、
   を備えたことを特徴とする立体画像生成装置。
2. 前記実物体の前記形状の指定する形状指定部
   を更に備えたことを特徴とする請求項１に記載の立体画像生成装置。
3. 前記描画部は、前記遮蔽領域を３次元空間内のボリュームデータとして描画することを特徴とする請求項２に記載の立体画像生成装置。
4. 前記描画部は、前記遮蔽領域にある前記実物体の周辺の領域を３次元空間内のボリュームデータとして描画することを特徴とする請求項２に記載の立体画像生成装置。
5. 前記描画部は、前記遮蔽領域にある前記実物体の中空部分の領域を３次元空間内のボリュームデータとして描画することを特徴とする請求項２に記載の立体画像生成装置。
6. 前記実物体の属性の指定を受け付ける属性指定部を更に備え、
   前記描画部は、さらに、指定された前記属性に基づいて前記遮蔽領域に対する描画処理を行って、前記視差合成画像を生成することを特徴とする請求項２に記載の立体画像生成装置。
7. 前記属性は、前記実物体の厚み、透明度、色彩の少なくともいずれかであることを特徴とする請求項６に記載の立体画像生成装置。
8. 前記描画部は、前記指定を受け付けた前記形状に基づいて、前記遮蔽領域に対する描画処理を行って、前記立体画像を描画することを特徴とする請求項６に記載の立体画像生成装置。
9. 前記描画部は、指定された前記属性に基づいて前記遮蔽領域に対し表面効果を付与する描画処理を行って、前記立体画像を描画することを特徴とする請求項７に記載の立体画像生成装置。
10. 前記描画部は、指定された前記属性に基づいて前記遮蔽領域に対しハイライト効果を付与する描画処理を行って、前記立体画像を描画することを特徴とする請求項７に記載の立体画像生成装置。
11. 前記描画部は、指定された前記属性に基づいて、前記遮蔽領域に対しひび割れ状態に関する描画処理を行って、前記立体画像を描画することを特徴とする請求項７に記載の立体画像生成装置。
12. 前記描画部は、指定された前記属性に基づいて、前記遮蔽領域に対しテクスチャを付与する描画処理を行って、前記立体画像を描画することを特徴とする請求項７に記載の立体画像生成装置。
13. 前記描画部は、指定された前記属性に基づいて、前記遮蔽領域に対し拡大縮小表示に関する描画処理を行って、前記立体画像を描画することを特徴とする請求項７に記載の立体画像生成装置。
14. 前記描画部は、指定された前記属性に基づいて、前記遮蔽領域に対し前記実物体の断面を表示する描画処理を行って、前記立体画像を描画することを特徴とする請求項７に記載の立体画像生成装置。
15. ３次元表示面または該３次元表示面の近傍に配置された実物体の位置または姿勢若しくは形状を検出するステップと、
    前記実物体の前記形状と前記位置または前記姿勢とに基づいて、前記実物体が前記３次元表示面により照射された光線を遮蔽する領域である遮蔽領域を算出するステップと、
    前記遮蔽領域に対して、前記遮蔽領域以外の領域と異なる描画処理を行って、立体画像を描画するステップと、
    を備えたことを特徴とする立体画像生成方法。
16. ３次元表示面または該３次元表示面の近傍に配置された実物体の位置または姿勢若しくは形状を検出するステップと、
    前記実物体の前記形状と前記位置または前記姿勢とに基づいて、前記実物体が前記３次元表示面により照射された光線を遮蔽する領域である遮蔽領域を算出するステップと、
    前記遮蔽領域に対して、前記遮蔽領域以外の領域と異なる描画処理を行って、立体画像を描画するステップと、
    をコンピュータに実行させるプログラム。