JP2008219788A - 立体画像表示装置、方法およびプログラム - Google Patents

Abstract

【課題】インテグラルイメージング方式又は光線再生方式の立体画像表示装置において、三次元映像に対する操作性を向上させることが可能な立体画像表示装置、方法およびプログラムを提供する。
【解決手段】三次元表示面又は当該三次元表示面の近傍に配置された把持デバイスの位置及び向きを検出する検出手段と、前記把持デバイスの位置及び向きに基づいて、当該把持デバイスと連続又は近接する位置に前記三次元映像を表示させるための演算を行う計算処理手段と、前記計算処理手段による演算結果に基づいて、前記把持デバイスと連続又は近接する位置に前記三次元映像を連動三次元映像として表示させる表示制御手段と、を備える。
【選択図】 図２

Description

本発明は、実物体と連動した立体画像を生成する立体画像表示装置、方法およびプログラムに関する。

動画表示が可能な立体視画像表示装置、所謂３次元ディスプレイには、種々の方式が知られている。近年、特にフラットパネルタイプで、且つ、専用の眼鏡等を必要としない方式の要望が高くなっている。直視型或いは投影型の液晶表示装置やプラズマ表示装置などのような画素位置が固定されている表示パネル（表示装置）の直前に表示パネルからの光線を制御して観察者に向ける光線制御素子を設置する方式が比較的容易に実現できる方式として知られている。

この光線制御素子は、一般的にはパララクスバリアまたは視差バリアとも称せられ、光線制御素子上の同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、光線制御素子として、スリット或いはレンチキュラーシート（シリンドリカルレンズアレイ）が使用される。また、上下視差（垂直視差）も含める場合には、光線制御素子として、ピンホールアレイ或いはレンズアレイが使用される。

視差バリアを使用する方式には、さらに２眼式、多眼式、超多眼式（多眼式の超多眼条件）、インテグラルイメージング（以下、「ＩＩ方式」という）に分類される。これらの基本的な原理は、１００年程度前に発明され立体写真に用いられてきたものと実質上同一である。

ＩＩ方式でも多眼方式でも、通常は視距離が有限であるため、その視距離における透視投影画像が実際に見えるように表示画像を作成する。水平視差のみで垂直視差のないＩＩ方式では、視差バリアの水平方向ピッチが前記画素の水平方向ピッチの整数倍である場合は平行光線の組があるため、垂直方向がある一定視距離の透視投影であり水平方向が平行投影である画像を画素列ごとに分割し、表示面に表示される画像形式である視差合成画像に合成することで、正しい投影の立体像が得られる（例えば、特許文献１および特許文献２参照）。特にＩＩ方式では、実物体からの光線を再生しているため再生像（三次元映像）を直接指し示して操作するインタラクティブな用途に向いている。

これらの光線の再現による立体像の表示を目指す光線再生方式の３次元ディスプレイにおいて、多眼式の場合は視点数、ＩＩ方式の場合はディスプレイ面を基底として方向の異なる光線数といった再現する光線の情報を増やすことで高品位な立体映像を再生することが可能である。

特開２００４−２９５０１３号公報 特開２００５−８６４１４号公報

しかしながら、上述したＩＩ方式では、表示パネルの手前、即ち光学的実像側に再生された三次元映像（光学的実像）については、直接指し示すことは可能であるが、表示パネルの奥、即ち光学的虚像側に再生された三次元映像（光学的虚像）に対しては、表示パネル面により物理的に隔てられているため、直接指し示すことができないという問題がある。

本発明は上記に鑑みてなされたものであって、インテグラルイメージング方式又は光線再生方式の立体画像表示装置において、三次元映像に対する操作性を向上させることが可能な立体画像表示装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、インテグラルイメージング方式又は光線再生方式により三次元映像の表示を行う立体画像表示装置において、三次元表示面上の表示空間及び当該表示空間の近傍に配置された把持デバイスの位置及び向きを検出する位置検出手段と、前記把持デバイスの位置及び向きに基づいて、当該把持デバイスと連続又は近接する位置に前記三次元映像を表示させるための演算を行う計算処理手段と、前記計算処理手段による演算結果に基づいて、前記把持デバイスと連続又は近接する位置に前記三次元映像を連動三次元映像として表示させる表示制御手段と、を備えている。

また、本発明は、インテグラルイメージング方式又は光線再生方式により三次元映像の表示を行う立体画像表示装置の立体画像表示方法であって、三次元表示面上の表示空間及び当該表示空間の近傍に配置された把持デバイスの位置及び向きを検出する位置検出工程と、前記把持デバイスの位置及び向きに基づいて、当該把持デバイスと連続又は近接する位置に前記三次元映像を表示させるための演算を行う計算処理工程と、前記計算処理工程による演算結果に基づいて、前記把持デバイスと連続又は近接する位置に前記三次元映像を連動三次元映像として表示させる表示制御工程と、を含む。

また、本発明は、インテグラルイメージング方式又は光線再生方式により三次元映像の表示を行う立体画像表示装置のコンピュータに、三次元表示面上の表示空間及び当該表示空間の近傍に配置された把持デバイスの位置及び向きを検出する位置検出機能と、前記把持デバイスの位置及び向きに基づいて、当該把持デバイスと連続又は近接する位置に前記三次元映像を表示させるための演算を行う計算処理機能と、前記計算処理機能による演算結果に基づいて、前記把持デバイスと連続又は近接する位置に前記三次元映像を連動三次元映像として表示させる表示制御機能と、を実現させる。

本発明によれば、連動三次元映像を把持デバイスに連続又は近接する位置に表示することで、連動三次元映像を把持デバイスと一体的に表示することが可能となり、連動三次元映像の表示分だけ把持デバイスを仮想的に延設した状態とすることができる。これにより、ユーザは把持デバイスを操作することで、当該把持デバイスに一体的に表示された連動三次元映像により、立体画像表示部に表示される他の三次元映像を直接指し示すことが可能となるため、三次元映像に対する操作性を向上させることができる。

以下に添付図面を参照して、立体画像表示装置、方法およびプログラムの最良な実施形態を詳細に説明する。

［第１の実施形態］
図１は、第１の実施形態にかかる立体画像表示装置１００のハードウェア構成を示したブロック図である。立体画像表示装置１００は、情報処理を行うＣＰＵ（Central Processing Unit）１、ＢＩＯＳ等を記憶した読み出し専用メモリであるＲＯＭ（Read Only Memory）２、各種データを書き換え可能に記憶するＲＡＭ（Random Access Memory）３、立体画像の表示にかかる種々のコンテンツを予め格納する画像格納手段として機能するとともに、立体画像（三次元映像）の表示にかかるプログラム（立体画像表示プログラム）を格納するＨＤＤ（Hard Disk Drive）４、三次元映像を出力・表示するインテグラルイメージング方式又は光線再生方式の立体画像表示部５、ユーザが本装置に対して各種指示を入力したり各種情報を表示したりするユーザインタフェース（ＵＩ）６、ステレオカメラ７１、７２を有した撮影部７等から構成されている。なお、後述する立体画像表示装置１０１〜１０４においても、立体画像表示装置１００と同様のハードウェア構成を備えるものとする。

立体画像表示装置１００のＣＰＵ１は、立体画像表示プログラムに従って各種の演算処理を実行して各部を制御する。立体画像表示装置１００のＣＰＵ１が立体画像表示プログラムに従って実行する本実施の形態の特徴的な処理について以下に説明する。

図２は、第１の実施形態にかかる立体画像表示装置１００の機能的構成を示したブロック図である。図２に示すように、立体画像表示装置１００は、ＣＰＵ１が立体画像表示プログラムに従って各部を制御することにより、実物体位置検出部１１と、三次元映像描画部１２と、を備えることになる。

ここで、立体画像表示部５について説明する。図２に示したように、立体画像表示部５は、机上等に載置される平置き型であり、実空間における水平面である実水平面と表示面とが平行になるように設置される。なお、立体画像表示部５は、表示面が観察者に向くように、実水平面からやや傾斜して設置されても良い。このような立体画像表示部５は、三次元空間上の仮想平面上に二次元情報を含む三次元映像を表示する。ここで、二次元情報とは、二次元に表示される情報である。例えば、文字やアイコンなどがある。つまり、三次元映像として地図画像を表示するような場合には、地名や建物を識別するアイコンなどの二次元情報が地図画像に重畳して表示される。

図３は、立体画像表示部５の一般的な構成を示す構成図である。図３に示すように、立体画像表示部５は、例えば液晶パネルからなる画像表示素子５１と、この画像表示素子５１上に配設された光線制御素子５２と、を備えている。

画像表示素子５１は、表示面内に位置が定められた画素が平面的にマトリクス状に配置されているものであれば、直視型や投影型の液晶表示装置やプラズマ表示装置や電界放出型表示装置や有機ＥＬ表示装置などであってもよい。

光線制御素子５２としては、その概略垂直方向に延び概略水平方向に周期構造を有しているレンティキュラーレンズアレイが使用されている。この場合、水平方向ｘにのみ視差があり視距離に応じて画像が変わるが、垂直方向ｙには視差がないために、観察位置によらず一定の画像が視認される。なお、図３において、符号Ｏは観察者の単眼の位置を示す。また、本実施の形態においては、光線制御素子５２として、複数のレンズが並んで配置されているレンティキュラーレンズアレイを適用したが、これに限るものではなく、複数の開口部が並んで配置されているパララックスバリアであっても良い。

本実施の形態における立体画像表示部５の画像表示素子５１の表示面においては、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のサブピクセルがアレイ状に配置されている。なお、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のサブピクセルは、カラーフィルタを表示面上に適切に配置することにより実現される。

図４に、ＩＩ（Integral Imaging：インテグラルイメージング）方式の表示原理を示す。観測者の位置、あるいは、観測者の見る角度によって、第１視差の画像であるγ、第２視差の画像であるβ、第３視差の画像であるαという異なる画像を見ることになる。そのため、観測者は右目と左目に入る視差により、立体を知覚する。レンティキュラーレンズを光線制御素子５２として用いた場合、スリットに比べて、光の利用効率が高いためディスプレイが明るいというメリットがある。なお、図４中、符号Ｌは視距離、符号ｌｐはレンズピッチを示す。以下、立体画像表示部５の表示面（光線制御素子５２面）上において、立体を知覚可能な空間を表示空間という。

このような立体画像表示部５に出力される画像は、各視差画像がインターリーブされているため、光線制御素子５２無しで観察すると正常な画像とは認識されず、ＪＰＥＧやＭＰＥＧといった画像圧縮をするのに適していない。そこで、画像格納手段（ＨＤＤ４）には、各視差画像をアレイ状に並べた画像が予め圧縮された状態で格納されており、三次元映像の再生（表示）時の三次元映像描画部１２においては、ＨＤＤ４から読み出した画像をデコードして画像を復元するとともに、立体画像表示部５に出力できる形式の画像に変換するためにインターリーブ変換を行う。また、三次元映像描画部１２は、デコードした画像をインターリーブ変換する前に、拡大縮小してサイズを変えることもできる。これは、サイズを変えてもインターリーブ変換は正しく行うことができるからである。

図２に戻り、実物体位置検出部１１は、立体画像表示装置１００の立体画像表示部５の表示空間内及び当該表示空間の近傍に配置された把持デバイス８の位置と、当該立体画像表示部５の表示面に対する把持デバイス８の向き（傾き）とを検出する。ここで把持デバイス８とは、ユーザの手により支持され、立体画像表示部５上で操作される実在物であって、例えば、図２に示したような棒状の物体を用いることができる。

把持デバイス８の位置と向きの検出方法は、種々の方法を採用することが可能である。なお、本実施形態では、下記の方策により把持デバイス８の位置と向きとを検出するものとする。以下、図５〜図７を参照して把持デバイス８の位置と向きの検出方法について説明する。

図５は、把持デバイス８の位置と向きの検出方法を説明するための図である。ここで、把持デバイス８の両端部付近には点状発光体８１、８２がそれぞれ設けられている。これら点状発光体８１、８２の発光光は、撮影部７のステレオカメラ７１、７２を用いて撮影され、撮影された画像が撮影情報として実物体位置検出部１１に出力される。なお、ステレオカメラ７１と、ステレオカメラ７２とは予め定められた位置に配置されているものとし、両カメラが撮影する領域は、立体画像表示装置１００の立体画像表示部５の光学的実像が表示可能な領域（表示空間）を含むものとする。

把持デバイス８に設けられる点状発光体８１、８２としては、例えば、赤外発光ダイオード等を用いることができる。なお、点状発光体８１、８２は、厳密に点光源である必要はなく、ある程度の大きさを有していてもよい。また、点状発光体８１の光か点状発光体８２の光かを識別可能とするため、点状発光体８１及び８２の発光色や発光点の大きさ、発光を行う時間間隔等の発光条件を互いに異ならしめることが好ましい。

図６は、把持デバイス８の位置及び向きを検出する原理を説明するための図である。把持デバイス８の一方の端部に設けられた点状発光体８１の発光光は、ステレオカメラ７１の撮像素子７１ａ上に撮影像７１１として撮影されるとともに、ステレオカメラ７２の撮像素子７２ａ上に撮影像７１２として撮影される。一方、把持デバイス８の他方の端部に設けられた点状発光体８２の発光光についても同様に、ステレオカメラ７１の撮像素子７１ａ上に撮影像７２１として撮影されるとともに、ステレオカメラ７２の撮像素子７２ａ上に撮影像７２２として撮影される。

実物体位置検出部１１は、ステレオカメラ７１及びステレオカメラ７２により撮影された撮影画像に含まれる各発光光の撮影像から、把持デバイス８の位置と向きとを導出する。具体的に、実物体位置検出部１１は、撮影像として記録された各発光点の位置と、予め定められたステレオカメラ７１及びステレオカメラ７２の位置関係と、から三角測量の原理に基づいて点状発光体８１及び２２の位置を検出する。

点状発光体８１及び２２の位置座標がそれぞれ分かれば、点状発光体８１から点状発光体８２に向かうベクトルは容易に算出できる。即ち、図７に示したように、点状発光体８１の位置座標が（Ｘ１、Ｙ１、Ｚ１）であり、点状発光体８２の位置座標が（Ｘ２、Ｙ２、Ｚ２）であったとすると、点状発光体８２から点状発光体８１へ向かうベクトルは、（Ｘ１−Ｘ２、Ｙ１−Ｙ２、Ｚ１−Ｚ２）と導出できる。実物体位置検出部１１は、導出した点状発光体８１、８２間を結ぶベクトルを、把持デバイス８の立体画像表示部５に対する向き（傾き）とする。このような構成により、把持デバイス８の位置と向きとを簡便且つ正確に検出することができる。

なお、本実施形態では、図５〜７で説明した位置及び向きの検出方法を用いるものとするが、これに限らず、公知の技術を用いることしてもよい。例えば、磁気センサや超音波、ジャイロセンサ等を用いて把持デバイス８の位置と向きとを検出する態様としてもよい。

図２に戻り、三次元映像描画部１２は、実物体位置検出部１１により算出された把持デバイス８の位置と向きに基づいて、三次元映像を描画するための計算処理を行い、当該三次元映像を立体画像表示部５に描画することで、把持デバイス８と連続又は近接する位置に三次元映像３０を表示させる。なお、三次元映像描画部１２は、三次元画像の描画に際し、画像格納手段としてのＨＤＤ４から、表示を行う立体画像のコンテンツを読み出すものとする。

具体的には、三次元映像描画部１２は、実物体位置検出部１１により検出された位置座標（例えば、（Ｘ１、Ｙ１、Ｚ１））の点から、方向ベクトルが同じく実物体位置検出部１１により算出された方向ベクトルと同じ方向（例えば、（Ｘ１−Ｘ２、Ｙ１−Ｙ２、Ｚ１−Ｚ２））となるような三次元映像３０を描画する。このように描画された三次元映像３０は、把持デバイス８と連続又は近傍する位置に表示される。以下、把持デバイス８と連続又は近接する位置に表示される三次元映像３０を連動三次元映像３０と言う。

図２では、把持デバイス８の端部と連続する位置に連動三次元映像３０を表示させた例を示している。この図の場合、三次元映像描画部１２は、点状発光体８１及び８２の何れか一方の位置を基準位置とし、当該基準位置から把持デバイス８の傾き方向にペン先状の連動三次元映像３０を表示させている。なお、連動三次元映像３０の形状は、図２の例に限らず、使用環境に応じて種々の形状が設定可能であるものとする。

また、図２の例では、点状発光体８１又は８２の位置を基準に、把持デバイス８の一方の端部と連続又は近接する位置に連動三次元映像３０を表示させることとしたが、これに限らないものとする。例えば、点状発光体８１及び８２の位置を基準とし、把持デバイス８の両端部と連続又は近接する位置に連動三次元映像３０を表示させる態様としてもよい。また、点状発光体８１と８２と間の位置を基準とし、把持デバイス８に連続又は近接する位置に連動三次元映像３０を表示させる態様としてもよい。

このように、連動三次元映像３０を把持デバイス８に連続又は近接する位置に表示することで、連動三次元映像３０と把持デバイス８とを一体的に表示することが可能となり、連動三次元映像３０の表示分だけ把持デバイス８を仮想的に延設した状態でユーザに提供することができる。これにより、ユーザは把持デバイス８を移動することで、当該把持デバイス８に一体的に表示された連動三次元映像３０を移動することができるため、当該連動三次元映像３０を直感的に操作することができる。

また、三次元映像描画部１２は、計算処理時において、立体画像表示部５上における連動三次元映像３０の表示位置を確認し、当該連動三次元映像３０の一部又は全てを立体画像表示部５の表示面の奥、即ち、虚像側に表示させるような場合には、表示面の貫通分にあたる連動三次元映像３０の一部又は全てを光学的虚像として表示させる。

即ち、三次元映像描画部１２は、立体画像表示部５の表示面より奥（虚像側）では連動三次元映像３０を光学的虚像として表し、立体画像表示部５の表示面の手前側（実像側）では連動三次元映像３０を光学的実像として表す。これにより、立体画像表示部５の虚像側であっても、ユーザは、把持デバイス８を操作することで、連動三次元映像３０により立体画像表示部５の虚像側を直接指し示すことができる。

例えば、図８に示したように、ユーザの操作により把持デバイス８が立体画像表示部５に近接し、連動三次元映像３０が立体画像表示部５の表示面にかかるような場合には、三次元映像描画部１２は、当該表示面の貫通分にあたる連動三次元映像３０を光学的虚像３２として表示させる。なお、立体画像表示部５の表示面上に位置する連動三次元映像３０については、光学的実像３１として表示させている。

以下、図９を参照して、本実施形態の立体画像表示装置１００の動作を説明する。図９は、立体画像表示装置１００の立体画像表示処理の手順を示したフローチャートである。

まず、ステレオカメラ７１、７２により、把持デバイス８に設けられた点状発光体８１及び点状発光体８２の発光光が撮影されると（ステップＳ１１）、実物体位置検出部１１は、ステレオカメラ７１、７２により取得された撮影情報に基づいて、立体画像表示部５に対する把持デバイス８の位置と向きとを導出する（ステップＳ１２）。

次いで、三次元映像描画部１２は、ステップＳ１２で導出された位置及び向きに基づいて、把持デバイス８と連続又は近接する位置に三次元映像を描画させるための計算処理を実行し（ステップＳ１３）、当該三次元映像を連動三次元映像３０として把持デバイス８と連続又は近接する位置に表示させる（ステップＳ１４）。

続くステップＳ１５では、実物体位置検出部１１が、本処理を終了するか否かを判定し、ステレオカメラ７１、７２から入力される撮影情報に発光光の撮影像が含まれるような場合には（ステップＳ１５；Ｎｏ）、ステップＳ１１へと再び戻る。

一方、ステップＳ１５において、把持デバイス８がステレオカメラ７１、７２の撮影領域から外れる等の理由により、ステレオカメラ７１、７２から入力される撮影情報に発光光の撮影像が含まれないような場合には（ステップＳ１５；Ｙｅｓ）、本処理を終了する。

以上のように、連動三次元映像３０を把持デバイス８に連続又は近接する位置に表示することで、連動三次元映像３０を把持デバイス８と一体的に表示することが可能となり、連動三次元映像３０の表示分だけ把持デバイス８を仮想的に延設した状態とすることができる。これにより、ユーザは把持デバイス８を操作することで、当該把持デバイス８に一体的に表示された連動三次元映像３０により、立体画像表示部５に表示される他のオブジェクト映像４０を直接指し示すことが可能となるため、三次元映像に対する操作性を向上させることができる。

［第２の実施形態］
次に、第２の実施形態の立体画像表示装置について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与し、その説明を省略する。

図１０は、第２の実施形態にかかる立体画像表示装置１０１の機能構成を示した図である。図１０に示したように、本実施形態の立体画像表示装置１０１は、ＣＰＵ１が立体画像表示プログラムに従って各部を制御することにより、第１の実施形態で説明した実物体位置検出部１１に加え、衝突判定部１３及び三次元映像描画部１４を備えている。

衝突判定部１３は、三次元映像描画部１４により表示される、連動三次元映像３０以外の他の三次元映像（以下、オブジェクト映像という）４０の位置と、把持デバイス８に付随して表示された連動三次元映像３０の位置とに基づき、両三次元映像が衝突しているか否かを判定する。また、衝突判定部１３は、両三次元映像が衝突していると判定した場合、両三次元映像の衝突位置に関する衝突位置情報を、三次元映像描画部１４に出力する。なお、連動三次元映像３０及びオブジェクト映像４０の位置は、三次元映像描画部１４による計算処理の結果等から取得できるようになっているものとする。

三次元映像描画部１４は、上述した三次元映像描画部１２と同様の機能を有し、把持デバイス８に連続又は近接する位置に連動三次元映像３０を表示させるとともに、立体画像表示部５の実像側及び／又は虚像側にオブジェクト映像４０を表示させる。

また、三次元映像描画部１４は、衝突判定部１３から入力される衝突位置情報に基づき、当該衝突位置情報から入力される衝突位置に対応するオブジェクト映像４０の描画を変化させるよう制御する。

例えば、図１０に示したように、オブジェクト映像４０として三角錐４１、球４２、立方体４３が表示された場合において、球４２に連動三次元映像３０が衝突（接触）したものとする。この場合、三次元映像描画部１４は、衝突判定部１３から入力される球４２の衝突位置情報に基づいて、球４２の描画を変化させ、例えば、衝突部位の形状を凹んだように表現したり、衝突部位に穴が空いたように表現したりする等の演出効果を表示させる。なお、本実施形態では、衝突したオブジェクト映像４０の描画を変化させる態様としたが、連動三次元映像３０の描画を変化させることとしてもよいし、両映像の描画を変化させることとしてもよい。

以下、図１１を参照して、本実施形態の立体画像表示装置１０１の動作を説明する。図１１は、立体画像表示装置１０１の立体画像表示処理の手順を示したフローチャートである。なお、本処理の前提として、オブジェクト映像４０は、三次元映像描画部１４により立体画像表示部５の所定位置に予め表示されているものとする。

まず、実物体位置検出部１１は、ステレオカメラ７１、７２を制御し、把持デバイス８に設けられた点状発光体８１、８２の発光光を撮影させる（ステップＳ２１）。続いて、実物体位置検出部１１は、ステレオカメラ７１、７２により取得された撮影情報に基づいて、立体画像表示部５に対する把持デバイス８の位置と向きとを導出する（ステップＳ２２）。

次いで、三次元映像描画部１４は、ステップＳ２２で導出された把持デバイス８の位置及び向きに基づいて、把持デバイス８と連続又は近接する位置に三次元映像を描画させるための計算処理を実行し（ステップＳ２３）、当該三次元映像を連動三次元映像３０として把持デバイス８と連続又は近接する位置に表示させる（ステップＳ２４）。

続いて衝突判定部１３は、三次元映像描画部１４により表示された連動三次元映像３０と、オブジェクト映像４０との表示位置に基づいて、両映像が衝突しているか否かを判定する（ステップＳ２５）。ここで、衝突判定部１３により、連動三次元映像３０とオブジェクト映像４０とが衝突していないと判定された場合には（ステップＳ２５；Ｎｏ）、ステップＳ２７の処理へと直ちに移行する。

一方、ステップＳ２５において、連動三次元映像３０とオブジェクト映像４０とが衝突していると判定された場合には（ステップＳ２５；Ｙｅｓ）、三次元映像描画部１４は、衝突判定部１３により取得された衝突位置情報に基づいて、衝突位置に対応するオブジェクト映像４０の描画を変化させ（ステップＳ２６）、ステップＳ２７の処理へと移行する。

続くステップＳ２７では、実物体位置検出部１１が、本処理を終了するか否かを判定し、ステレオカメラ７１、７２から把持デバイス８の位置情報が継続して入力されるような場合には（ステップＳ２７；Ｎｏ）、ステップＳ２１へと再び戻る。

一方、ステップＳ２７において、把持デバイス８がステレオカメラ７１、７２の撮影領域から外れる等の理由により、把持デバイス８の位置情報の入力が停止したような場合には（ステップＳ２７；Ｙｅｓ）、本処理を終了する。

以上のように、本実施形態によれば、当該把持デバイス８と連続又は近接する位置に表示された連動三次元映像３０により、立体画像表示部５に表示される他の三次元映像を直接指し示すことが可能となるため、三次元映像に対する操作性を向上させることができる。

また、連動三次元映像３０とオブジェクト映像４０との衝突（接触）に応じて、オブジェクト映像４０の表示を変化させることができるため、インタラクティブ性を向上させることができる。

なお、本実施形態では、衝突の判定時に、衝突したオブジェクト映像４０の描画のみを変化させる態様としたが、これに限らず、衝突したオブジェクト映像４０の描画を変化させず、連動三次元映像３０の描画のみを変化させる態様としてもよいし、両三次元映像の描写を変化させる態様としてもよい。

［第３の実施形態］
次に、第３の実施形態の立体画像表示装置について説明する。なお、上述した第１の実施形態及び第２の実施形態と同様の構成要素については、同一の符号を付与し、その説明を省略する。

図１２は、第３の実施形態にかかる立体画像表示装置１０２の機能構成を示した図である。図１２に示したように、本実施形態の立体画像表示装置１０２は、ＣＰＵ１が立体画像表示プログラムに従って各部を制御することにより、上述した実物体位置検出部１１及び衝突判定部１３に加え、領域判定部１５と、三次元映像描画部１６とを備えている。

領域判定部１５は、実物体位置検出部１１により導出された把持デバイス８の位置と向きに基づいて、当該把持デバイス８が、立体画像表示部５近傍に設定された空間領域Ａ内に存在するか否かを判定し、この判定結果を空間位置情報として三次元映像描画部１６に出力する。

具体的に、領域判定部１５は、予め記憶された空間領域Ａの座標データと、実物体位置検出部１１により導出された把持デバイス８の位置及び向きとを比較し、把持デバイス８が空間領域Ａの外部に位置するようであれば、その旨を指示する空間位置情報を三次元映像描画部１６に出力する。ここで、空間領域Ａの座標データは、ＨＤＤ４（画像格納手段）に予め記憶されているものとする。なお、空間領域Ａとして設定する領域は、立体画像表示部５に表示される三次元映像が良好に観察できる領域（表示空間）と略一致させた領域とすることが好ましい。

また、本実施形態では、空間位置情報として、把持デバイス８が空間領域Ａの外部に存在することを指示する情報の出力を行うものとするが、例えば、空間領域Ａと連動三次元映像３０との相対的な位置関係を示した情報を、空間位置情報として出力する態様としてもよい。この場合、連動三次元映像３０が空間領域Ａ内の境界近傍に位置すると判断した段階で、当該空間領域Ａと連動三次元映像３０との相対的な位置関係を出力する態様としてもよい。

三次元映像描画部１６は、上述した三次元映像描画部１４と同様の機能を有する。また、三次元映像描画部１６は、領域判定部１５から入力される空間位置情報に基づき、把持デバイス８が空間領域Ａの外部に位置することを確認すると、連動三次元映像３０の描画時の透明度を１００（％）からゼロに切り替え、表示を行わないよう制御する。

以下、図１３を参照して、本実施形態の立体画像表示装置１０２の動作を説明する。図１３は、立体画像表示装置１０２の立体画像表示処理の手順を示したフローチャートである。なお、本処理の前提として、オブジェクト映像４０は、三次元映像描画部１６により立体画像表示部５の所定位置に予め表示されているものとする。

まず、実物体位置検出部１１は、ステレオカメラ７１、７２を制御し、把持デバイス８に設けられた点状発光体８１、８２の発光光を撮影させる（ステップＳ３１）。続いて、実物体位置検出部１１は、ステレオカメラ７１、７２により取得された撮影情報に基づいて、立体画像表示部５に対する把持デバイス８の位置と向きとを算出する（ステップＳ３２）。

続いて、三次元映像描画部１６は、ステップＳ３２で導出された把持デバイス８の位置及び向きに基づいて、把持デバイス８と連続又は近接する位置に三次元映像を描画させるための計算処理を実行する（ステップＳ３３）。ここで、領域判定部１５は、ステップＳ３２で算出された把持デバイス８の位置及び向きと、空間領域Ａの座標データとを比較し、把持デバイス８が空間領域Ａ内に存在するか否かを判定する（ステップＳ３４）。

ステップＳ３４において、領域判定部１５により、把持デバイス８が空間領域Ａ内に存在しないと判定された場合（ステップＳ３４；Ｎｏ）、三次元映像描画部１６は、この判定結果に基づいて、連動三次元映像３０の描画時の透明度をゼロに設定した後（ステップＳ３５）、ステップＳ３９の処理へと移行する。

また、ステップＳ３４において、領域判定部１５により、把持デバイス８が空間領域Ａ内に存在する判定された場合には（ステップＳ３４；Ｙｅｓ）、三次元映像描画部１６は、ステップＳ３３で計算処理した三次元映像を連動三次元映像３０として把持デバイス８と連続又は近接する位置に表示させる（ステップＳ３６）。

続いて衝突判定部１３は、三次元映像描画部１６により表示された連動三次元映像３０と、オブジェクト映像４０との表示位置に基づいて、両映像が衝突しているか否かを判定する（ステップＳ３７）。ここで、衝突判定部１３により、連動三次元映像３０とオブジェクト映像４０とが衝突していないと判定された場合には（ステップＳ３７；Ｎｏ）、ステップＳ３９の処理へと直ちに移行する。

一方、ステップＳ３７において、連動三次元映像３０とオブジェクト映像４０とが衝突していると判定された場合には（ステップＳ３７；Ｙｅｓ）、三次元映像描画部１６は、衝突判定部１３により取得された衝突位置情報に基づいて、衝突位置に対応するオブジェクト映像４０の描画を変化させ（ステップＳ３８）、ステップＳ３９の処理へと移行する。

続くステップＳ３９では、実物体位置検出部１１が、本処理を終了するか否かを判定し、ステレオカメラ７１、７２から把持デバイス８の位置情報が継続して入力されるような場合には（ステップＳ３９；Ｎｏ）、ステップＳ３１へと再び戻る。

一方、ステップＳ３９において、把持デバイス８がステレオカメラ７１、７２の撮影領域から外れる等の理由により、把持デバイス８の位置情報の入力が停止したような場合には（ステップＳ３９；Ｙｅｓ）、本処理を終了する。

以上のように、本実施形態によれば、把持デバイス８が三次元映像の表示限界より遠くにある場合、画像を表示しないようにすることができるため、必要以上に連動三次元映像３０を表示しないよう制御することができる。

なお、本実施形態では、把持デバイス８が空間領域Ａの外部に存在した場合、当該把持デバイス８に付随する連動三次元映像３０の描画時の透明度を１００からゼロに切り替えることで、当該連動三次元映像３０の表示を行わない態様としたが、これに限らないものとする。例えば、領域判定部１５から、空間領域Ａと連動三次元映像３０との相対的な位置関係が、空間位置情報として出力されるような場合には、三次元映像描画部１６は、この相対的な位置関係に応じて、連動三次元映像３０の描画時の透明度を段階的に変化させる態様としてもよい。この場合、例えば、把持デバイス８が空間領域Ａの境界部分に近付くほど、連動三次元映像３０の描画時の透明度を段階的に低下させることで、連動三次元映像３０の消失をより自然に表現することができる。

［第４の実施形態］
次に、第４の実施形態の立体画像表示装置について説明する。なお、上述した第１の実施形態及び第２の実施形態と同様の構成要素については、同一の符号を付与し、その説明を省略する。

図１４は、第４の実施形態にかかる立体画像表示装置１０３の機能構成を示した図である。図１４に示したように、本実施形態の立体画像表示装置１０３は、ＣＰＵ１が立体画像表示プログラムに従って各部を制御することにより、上述した実物体位置検出部１１及び衝突判定部１３に加え、三次元映像描画部１７を備えている。

三次元映像描画部１７は、上述した三次元映像描画部１４と同様の機能を有するとともに、図１４に示したように、連動三次元映像３０として表示可能な複数の三次元映像を、画像候補６１〜６３として選択領域６０内に表示させる。なお、画像候補の個数や形状は、図示例に限らないものとする。また、本実施形態では、画像候補として三次元映像を表示する態様としたが、これに限らず、例えば、三次元映像を象徴的に表したアイコン画像や、三次元映像の形状を表した文字情報（例えば、「フォーク」、「スプーン」、「ナイフ」）等であってもよい。

また、三次元映像描画部１７は、選択領域６０内の画像候補６１〜６３のうち、特定の画像候補に連動三次元映像３０が衝突（接触）したことを指示する衝突位置情報を衝突判定部１３から受け取ると、当該衝突位置情報で指示された衝突位置の画像候補に対応する三次元映像を、連動三次元映像３０として表示させる。なお、画像候補として表示される三次元映像は、ＨＤＤ４（画像格納手段）に予め格納されているものとする。

図１４では、連動三次元映像３０が画像候補６１に接触されたことで、当該画像候補６１に対応する、フォーク形状の連動三次元映像３０が把持デバイス８の一端部に表示された例を示している。ここで、連動三次元映像３０により他の画像候補（画像候補６２又は６３）が接触された場合には、接触された画像候補の三次元映像に、連動三次元映像３０の表示が切り替えられる。

以下、図１５を参照して、本実施形態の立体画像表示装置１０３の動作を説明する。図１５は、立体画像表示装置１０３の立体画像表示処理の手順を示したフローチャートである。なお、本処理の前提として、オブジェクト映像４０は、三次元映像描画部１７により立体画像表示部５の所定位置に予め表示されているものとする。

まず、実物体位置検出部１１は、ステレオカメラ７１、７２を制御し、把持デバイス８に設けられた点状発光体８１、８２の発光光を撮影させる（ステップＳ４１）。続いて、実物体位置検出部１１は、ステレオカメラ７１、７２により取得された撮影情報に基づいて、立体画像表示部５に対する把持デバイス８の位置と向きとを導出する（ステップＳ４２）。

次いで、三次元映像描画部１７は、ステップＳ４２で導出された把持デバイス８の位置及び向きに基づいて、把持デバイス８と連続又は近接する位置に三次元映像を描画させるための計算処理を実行し（ステップＳ４３）、当該三次元映像を連動三次元映像３０として把持デバイス８と連続又は近接する位置に表示させる（ステップＳ４４）。

続いて衝突判定部１３は、三次元映像描画部１７により表示された連動三次元映像３０と、オブジェクト映像４０又は画像候補６１〜６３の何れかと、が衝突しているか否かを判定する（ステップＳ４５）。ここで、衝突判定部１３により、連動三次元映像３０が何れの映像（画像）にも衝突していないと判定された場合には（ステップＳ４５；Ｎｏ）、ステップＳ４９の処理へと直ちに移行する。

一方、ステップＳ４５において、連動三次元映像３０と、オブジェクト映像４０又は画像候補６１〜６３の何れかと、が衝突していると判定された場合には（ステップＳ４５；Ｙｅｓ）、三次元映像描画部１７は、衝突判定部１３により取得された衝突位置情報に基づいて、連動三次元映像３０と画像候補６１〜６３の何れかとが衝突しているか否かを判定する（ステップＳ４６）。

ここで、三次元映像描画部１７は、連動三次元映像３０と画像候補６１〜６３の何れかとが衝突していると判定した場合には（ステップＳ４６；Ｙｅｓ）、衝突位置の画像候補に対応する三次元映像を、連動三次元映像３０として表示させ（ステップＳ５８）、ステップＳ４９の処理へと移行する。

一方、ステップＳ４６において、連動三次元映像３０とオブジェクト映像４０とが衝突していると判定した場合には（ステップＳ４６；Ｎｏ）、三次元映像描画部１７は、衝突判定部１３により取得された衝突位置情報に基づいて、衝突位置に対応するオブジェクト映像４０の描画を変化させ（ステップＳ４８）、ステップＳ４９の処理へと移行する。

続くステップＳ４９では、実物体位置検出部１１が、本処理を終了するか否かを判定し、ステレオカメラ７１、７２から把持デバイス８の位置情報が継続して入力されるような場合には（ステップＳ４９；Ｎｏ）、ステップＳ４１へと再び戻る。

一方、ステップＳ４９において、把持デバイス８がステレオカメラ７１、７２の撮影領域から外れる等の理由により、把持デバイス８の位置情報の入力が停止したような場合には（ステップＳ４９；Ｙｅｓ）、本処理を終了する。

以上のように、本実施形態によれば、連動三次元映像３０の画像を簡便に変更することができるため、インタラクティブ性を向上させることができる。

［第５の実施形態］
次に、第５の実施形態の立体画像表示装置について説明する。なお、上述した第１の実施形態及び第２の実施形態と同様の構成要素については、同一の符号を付与し、その説明を省略する。

図１６は、第５の実施形態にかかる立体画像表示装置１０４の機能構成を示した図である。図１６に示したように、本実施形態の立体画像表示装置１０４は、ＣＰＵ１が立体画像表示プログラムに従って各部を制御することにより、上述した実物体位置検出部１１、衝突判定部１３に加え、回転角度検出部１８と三次元映像描画部１９とを備えている。

回転角度検出部１８は、把持デバイス８の所定の軸周りにおける回転角度を検出する。回転角度の検出方法は、種々の方式を採用することが可能であるが、本実施形態では、下記の方策により把持デバイス８の所定の軸周りにおける回転角度を検出するものとする。以下、図１７〜図２２を参照して把持デバイス８の回転角度の検出方法について説明する。

図１７は、把持デバイス８の軸Ｂの周りにおける回転角度の検出方法を説明するための図である。ここで、把持デバイス８の軸Ｂ方向における一方の端部付近には点状発光体８３が設けられており、他方の端部付近には線状発光体８４が設けられている。点状発光体８３及び線状発光体８４の発光光は、上述したステレオカメラ７１、７２により撮影され、撮影情報として実物体位置検出部１１及び回転角度検出部１８に出力される。なお、図１８において右図は、軸Ｂに対して左方向に回転したときの発光光の見え方を示しており、左図は、軸Ｂに対して右方向の回転したときの発光光の見え方を示している。

点状発光体８３は、上述した点状発光体８１、８２と同様、発光ダイオード等の点光源から構成することができる。線状発光体８４は、把持デバイス８の軸Ｂの周りを一周するように設けられている。この線状発光体８４は、例えば、光を導光する透明円盤と、その中心部に設置した発光ダイオードとから構成することができる。このように構成することで、発光ダイオードから放射した光が、透明円盤の内部を伝わることで、円盤外周部から外部に放射され、線状発光体８４が形成されることとなる。なお、回転角度の判定の基準となる把持デバイス８の軸方向は、任意に設定可能であるものとするが、ユーザにより把持される位置に応じて設定することが好ましい。

図１９は、図１８で示した把持デバイス８をステレオカメラ７１、７２により撮影したときの撮影像を示している。図１９の左図は、図１８の左図で示した把持デバイス８から放射された発光光の撮影像を示しており、図１９の右図は、図１８の右図で示した把持デバイス８から放射された発光光の撮影像を示している。なお、図１９において、撮影像７２３は点状発光体８３からの発光光に対応しており、撮影像７２４は線状発光体８４からの発光光に対応している。

図１９に示したように、把持デバイス８のＡ軸周りの回転に伴い、点状発光体８３の撮影像７２４と線状発光体８４の撮影像７２４との位置関係は変化する。すなわち点状発光体８３の撮影像７２３と線状発光体８４の撮影像７２４との位置関係から、把持デバイス８がＡ軸周りにどのくらい回転したかを算出することができ、把持デバイス８の回転角度を簡便且つ正確に検出することできる。

回転角度検出部１８は、ステレオカメラ７１及びステレオカメラ７２から入力された撮影画像に含まれる各発光光の撮影像から、上述した原理により把持デバイス８の所定の軸周りの回転角度を導出し、角度情報として三次元映像描画部１９に出力する。

なお、実物体位置検出部１１は、上記同様、ステレオカメラ７１及びステレオカメラ７２から入力された撮影画像に含まれる各発光光の撮影像から、把持デバイス８の位置と向きを導出するものとする。

図１７〜図１９では、把持デバイス８に一の点状発光体８３を設けた構成を説明したが、点状発光体８３の個数はこれに限らないものとする。例えば、図２０に示したように、複数の点状発光体８３（８３１〜８３３）を把持デバイス８に設けた構成としてもよい。この図では、把持デバイス８に、三個の点状発光体８３１〜８３３を各々１２０度の角度間隔で設けた例を示している。

図２１は、図２０に示した把持デバイス８を説明するための図であって、当該把持デバイス８の展開図を示している。図２１に示したように、点状発光体８３１〜８３３は、それぞれの点状発光体を識別可能とするため、把持デバイス８の軸方向の異なる位置に設けられている。このように点状発光体８３１〜８３３を配置することで、把持デバイス８の軸周りのどの場所から見ても、常に点状発光体８３１〜８３３の何れかをステレオカメラ７１、７２で撮影することが可能となる。

図２２は、図２０で示した把持デバイス８の構成での回転角度を検出する原理を説明するための図であって、ステレオカメラ７１又は７２で撮影された撮影画像を示している。ここで、７３１は点状発光体８３１〜８３３のうち何れか一の発光光の撮影像を示しており、また、７２４は線状発光体８４に発光光の撮影像を示している。ここで、点状発光体の撮影像７３１から線状発光体の撮影像７４１までの高さｈを導出することにより、回転角度を１２０度の角度間隔で３つに区分けした場合に、どの角度領域に含まれるかを特定することができる。このように、大まかな角度領域が特定できれば、詳細な角度は既に説明したように線状発光体の撮影像７２４と点状発光体の撮影像７３１との左右の位置関係ｗから算出することができる。

図１６に戻り、三次元映像描画部１９は、上述した三次元映像描画部１４と同様の機能を有するとともに、回転角度検出部１８から入力される把持デバイス８の軸周りの回転角度に応じた連動三次元映像３０を、把持デバイス８と連続又は近接する位置に表示させる。具体的に、三次元映像描画部１９は、把持デバイス８の軸方向と同一の軸方向を連動三次元映像３０に設定し、当該軸周りに回転角度に応じた角度だけ回転させた状態で連動三次元映像３０を表示させる。

以下、図２３を参照して、本実施形態の立体画像表示装置１０４の動作を説明する。図２３は、立体画像表示装置１０４の立体画像表示処理の手順を示したフローチャートである。なお、本処理の前提として、オブジェクト映像４０は、三次元映像描画部１９により立体画像表示部５の所定位置に予め表示されているものとする。

まず、実物体位置検出部１１は、ステレオカメラ７１、７２を制御し、把持デバイス８に設けられた点状発光体８３及び線状発光体８４の発光光を撮影させる（ステップＳ５１）。続いて、実物体位置検出部１１は、ステレオカメラ７１、７２により取得された撮影情報に基づいて、立体画像表示部５に対する把持デバイス８の位置と向きとを導出する（ステップＳ５２）。

次いで、回転角度検出部１８は、ステレオカメラ７１、７２により取得された撮影情報に基づいて、把持デバイス８における所定の軸周りの回転角度を導出する（ステップＳ５３）。続いて、三次元映像描画部１９は、ステップＳ５２で導出された把持デバイス８の位置及び向きと、ステップＳ５３で導出された把持デバイス８の回転角度とに基づいて、把持デバイス８と連続又は近接する位置に三次元映像を描画させるための計算処理を実行し（ステップＳ５４）、当該三次元映像を連動三次元映像３０として把持デバイス８と連続又は近接する位置に表示させる（ステップＳ５５）。

続いて衝突判定部１３は、三次元映像描画部１９により表示された連動三次元映像３０と、オブジェクト映像４０との表示位置に基づいて、両映像が衝突しているか否かを判定する（ステップＳ５６）。ここで、衝突判定部１３により、連動三次元映像３０とオブジェクト映像４０とが衝突していないと判定された場合には（ステップＳ５６；Ｎｏ）、ステップＳ５８の処理へと直ちに移行する。

一方、ステップＳ５６において、連動三次元映像３０とオブジェクト映像４０とが衝突していると判定された場合には（ステップＳ５６；Ｙｅｓ）、三次元映像描画部１９は、衝突判定部１３により取得された衝突位置情報に基づいて、衝突位置に対応するオブジェクト映像４０の描画を変化させ（ステップＳ５７）、ステップＳ５８の処理へと移行する。

続くステップＳ５８では、実物体位置検出部１１が、本処理を終了するか否かを判定し、ステレオカメラ７１、７２から入力される撮影情報に発光光の撮影像が含まれるような場合には（ステップＳ５８；Ｎｏ）、ステップＳ５１へと再び戻る。

一方、ステップＳ５８において、把持デバイス８がステレオカメラ７１、７２の撮影領域から外れる等の理由により、ステレオカメラ７１、７２から入力される撮影情報に発光光の撮影像が含まれないような場合には（ステップＳ５８；Ｙｅｓ）、本処理を終了する。

以上のように、本実施形態によれば、把持デバイス８の回転角度に応じて、連動三次元映像３０の表示を変化させることができるため、連動三次元映像３０をより現実的に表示することが可能となり、インタラクティブ性をより向上させることができる。

以上、発明の実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加などが可能である。例えば、ＣＰＵと共にＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を併用して演算を高速化を図ることも可能である。

なお、本実施形態の立体画像表示装置１００で実行されるプログラムは、ＲＯＭ２又はＨＤＤ４に予め組み込まれて提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、このプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ニットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

立体画像表示装置のハードウェア構成を示した図である。 立体画像表示装置の機能的構成の一例を示した図である。 立体画像表示部の構成を示した図である。 ＩＩ方式を説明するための図である。 把持デバイスの位置と向きの検出方法を説明するための図である。 把持デバイスの位置と向きの検出原理を示した図である。 把持デバイスの位置と向きの検出原理を示した図である。 立体画像表示部と把持デバイスとの関係を示した図である。 立体画像表示処理の一例を示したフローチャートである。 立体画像表示装置の機能的構成の一例を示した図である。 立体画像表示処理の一例を示したフローチャートである。 立体画像表示装置の機能的構成の一例を示した図である。 立体画像表示処理の一例を示したフローチャートである。 立体画像表示装置の機能的構成の一例を示した図である。 立体画像表示処理の一例を示したフローチャートである。 立体画像表示装置の機能的構成の一例を示した図である。 把持デバイスの回転角度の検出方法を説明するための図である。 把持デバイスの回転角度の検出原理を示した図である。 把持デバイスの回転角度の検出原理を示した図である。 把持デバイスに設けられた点状発光体を示した図である。 把持デバイスの回転角度の検出方法を説明するための図である。 把持デバイスの回転角度の検出原理を説明するための図である。 立体画像表示処理の一例を示したフローチャートである。

符号の説明

１００ 立体画像表示装置
１０１ 立体画像表示装置
１０２ 立体画像表示装置
１０３ 立体画像表示装置
１０４ 立体画像表示装置
１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ ＨＤＤ
５ 立体画像表示部
５１ 画像表示素子
５２ 光線方向限定素子
５３ １実効画素
６ ユーザインタフェース
７ 撮影部
７１ ステレオカメラ
７１ａ 撮像素子
７２ ステレオカメラ
７２ａ 撮像素子
８ 把持デバイス
８１ 点状発光体
８２ 点状発光体
８３ 点状発光体
８４ 線状発光体
１１ 実物体位置検出部
１２ 三次元映像描画部
１３ 衝突判定部
１４ 三次元映像描画部
１５ 計算処理部
１６ 三次元映像描画部
１７ 三次元映像描画部
１８ 回転角度検出部
１９ 三次元映像描画部
３０ 三次元映像（連動三次元映像）
３１ 光学的実像
３２ 光学的虚像
４０ 三次元映像（オブジェクト映像）

Claims (10)

1. インテグラルイメージング方式又は光線再生方式により三次元映像の表示を行う立体画像表示装置において、
   三次元表示面上の表示空間及び当該表示空間の近傍に配置されたユーザが把持する把持デバイスの位置及び向きを検出する位置検出手段と、
   前記把持デバイスの位置及び向きに基づいて、当該把持デバイスと連続又は近接する位置に前記三次元映像を表示させるための演算を行う計算処理手段と、
   前記計算処理手段による演算結果に基づいて、前記把持デバイスと連続又は近接する位置に前記三次元映像を連動三次元映像として表示させる表示制御手段と、
   を備えたことを特徴とする立体画像表示装置。
2. 前記表示制御手段は、前記三次元表示面の実像側では前記連動三次元映像を光学的実像として表示させ、前記三次元表示面の虚像側では前記連動三次元映像を光学的虚像として表示させることを特徴とする請求項１に記載の立体画像表示装置。
3. 前記連動三次元映像の表示位置と、当該連動三次元映像以外の他の三次元映像の表示位置とに基づいて、当該連動三次元映像と他の三次元映像とが衝突したか否かを判定する衝突判定手段をさらに備え、
   前記表示制御手段は、前記衝突判定手段の判定結果に応じて、前記連動三次元映像及び／又は他の三次元映像の描画を変化させることを特徴とする請求項２に記載の立体画像表示装置。
4. 前記三次元表示面上における所定の空間領域を定義した座標データと、前記実物体の位置及び向きとに基づき、前記空間領域内に前記実物体が存在するか否かを判定する領域判定手段をさらに備え、
   前記表示制御手段は、前記領域判定手段の判定結果に応じて、前記連動三次元映像の描画を変化させることを特徴とする請求項３に記載の立体画像表示装置。
5. 前記把持デバイスに設けられた少なくとも２つ以上の点状発光体を撮影し、撮影画像を生成する撮影手段をさらに備え、
   前記位置検出手段は、前記撮影画像に含まれた前記点状発光体の撮影像の位置関係に基づいて、前記把持デバイスの位置及び向きを導出することを特徴とする請求項３に記載の立体画像表示装置。
6. 前記連動三次元映像として表示可能な複数の三次元映像を候補画像として、前記三次元表示面に表示させる選択候補表示手段と、
   前記候補画像のうち、一の三次元映像の指定を受け付ける選択受付手段と、
   を備え、
   前記表示制御手段は、前記指定を受け付けた三次元映像を連動三次元映像として表示させることを特徴とする請求項３に記載の立体画像表示装置。
7. 前記把持デバイスの回転角度を検出する回転検出手段をさらに備え、
   前記表示制御手段は、前記把持デバイスの回転角度に応じて前記連動三次元映像の描画を変化させることを特徴とする請求項３に記載の立体画像表示装置。
8. 前記把持デバイスに設けられた少なくとも１つ以上の点状発光体と、当該把持デバイスの周囲に設けられた線状発光体とを撮影し、撮影画像を生成する撮影手段をさらに備え、
   前記回転検出手段は、前記撮影画像に含まれた前記点状発光体及び線状発光体の撮影像の位置関係に基づいて、前記把持デバイスの回転角度を導出することを特徴とする請求項７に記載の立体画像表示装置。
9. インテグラルイメージング方式又は光線再生方式により三次元映像の表示を行う立体画像表示装置の立体画像表示方法であって、
   三次元表示面上の表示空間及び当該表示空間の近傍に配置されたユーザが把持する把持デバイスの位置及び向きを検出する位置検出工程と、
   前記把持デバイスの位置及び向きに基づいて、当該把持デバイスと連続又は近接する位置に前記三次元映像を表示させるための演算を行う計算処理工程と、
   前記計算処理工程による演算結果に基づいて、前記把持デバイスと連続又は近接する位置に前記三次元映像を連動三次元映像として表示させる表示制御工程と、
   を含むことを特徴とする立体画像表示方法。
10. インテグラルイメージング方式又は光線再生方式により三次元映像の表示を行う立体画像表示装置のコンピュータに、
    三次元表示面上の表示空間及び当該表示空間の近傍に配置されたユーザが把持する把持デバイスの位置及び向きを検出する位置検出機能と、
    前記把持デバイスの位置及び向きに基づいて、当該把持デバイスと連続又は近接する位置に前記三次元映像を表示させるための演算を行う計算処理機能と、
    前記計算処理機能による演算結果に基づいて、前記把持デバイスと連続又は近接する位置に前記三次元映像を連動三次元映像として表示させる表示制御機能と、
    を実現させることを特徴とする立体画像表示プログラム。

Images