JP2009086395A - 画像表示装置 - Google Patents

Abstract

【課題】直視画像と浮遊画像の連動を強めて、演出効果をより高めることができるとともに、直感的でわかりやすい操作や表示が可能な画像表示装置を提供する。
【解決手段】画像表示装置は、画像伝達パネル２０を介して結像面３０に浮遊画像Ｐ２を表示するとともに、直視画像を表示部４０の画像表示面上に表示する。画像表示装置は、被検出体Ｆが表示部４０の画像表示面に表示されたオブジェクトに触れた後、被検出体Ｆが画像表示面から離れたときには、触れたオブジェクトが表示されていた位置から、触れたオブジェクトに対応する浮遊画像Ｐ２を、画像表示面から離れる方向に伸長して表示するように制御するとともに、表示された浮遊画像Ｐ２を被検出体Ｆの軌跡に追随させるように制御する。
【選択図】図７

Description

本発明は、二次元画像を立体的に表示する画像表示装置に関する。

近年、立体画像を観察者に対して提供する様々なシステムが提案されている。

この種の画像表示装置においては、両眼視差を利用することにより、ディスプレイ等の画像表示面上の二次元画像を立体画像として提供する方式が良く知られている。

しかしながら、この両眼視差を利用した画像表示装置では、観察者は、対象物体の立体画像として虚像を注視することになるため、画像表示面上に合わされるピント（焦点調節）と輻輳との間に不一致が生じ、観察者に対して生理的な影響を与える可能性がある。

そこで、この方式とは別に、画像伝達パネル（例えば、複数のレンズからなるマイクロレンズアレイ）を、二次元画像の画像表示面の前方に所定の間隔を隔てて配置することにより、画像伝達パネルの前方の空間上に、二次元画像の擬似立体画像（浮遊画像）を表示する画像表示装置が提供されている（例えば、特許文献１、特許文献２参照。）。この画像表示装置は、二次元画像を画像伝達パネルによって浮き出させて結像することで、あたかも立体画像が映し出されているように表示するものである。

このような画像表示装置の中には、２つの二次元画像の表示面を備え、一方の表示面に映し出される画像は、上述した二次元画像の擬似立体画像として認識させ、他方の表示面に映し出される画像は、直視画像として認識させる画像表示装置も存在する（例えば、特許文献３参照。）

特開２００１−２５５４９３号公報 特開２００３−９８４７９号公報 特開２００５−２３４２４０号公報

上述した２つの二次元画像の表示面を備える画像表示装置は、直視画像と浮遊画像を一体化させた画像表示を行うことができるので、立体的な視覚効果を高めることができる。

しかしながら、直視画像と浮遊画像を連動させた画像表示において、立体的な視覚効果をより高めることができれば、より臨場感あふれる画像をユーザに提供することができ、演出効果をさらに高めることができる。

また、直視画像と浮遊画像を連動させることにより、従来にはない新規なユーザインターフェースを構築できれば、直感的でわかりやすい操作や表示が可能である。

本発明は、上記の事情を鑑みてなされたものであり、その課題の一例としては、直視画像と浮遊画像の連動を強めて、演出効果をより高めることができるとともに、直感的でわかりやすい操作や表示を実現することができる画像表示装置を提供することにある。

上記の課題を達成するため、本発明の一態様である画像表示装置は、二次元画像を表示する第１の画像表示面を備えた第１の表示部と、前記第１の画像表示面から出射される光の光路に配置された画像伝達パネルと、を有し、前記第１の画像表示面から出射される光を前記画像伝達パネルの前記第１の表示部と対向する側と反対側に位置する空間に、浮遊画像として表示する浮遊画像表示手段と、前記浮遊画像が表示される空間の外縁に、二次元画像を表示する第２の画像表示面を備えた第２の表示部を有して、前記第２の画像表示面に１又は複数のオブジェクトを直視画像として表示する直視画像表示手段と、前記第２の画像表示面、及び前記第２の画像表示面から光が出射される側の空間における被検出体の位置を検出する位置検出手段と、前記位置検出手段が検出した被検出体の位置に基づいて、前記第１の表示部が表示する二次元画像または前記第２の表示部が表示する二次元画像の少なくともいずれか一つを制御する画像制御手段と、を備え、前記画像制御手段は、前記被検出体が前記第２の画像表示面に表示されたオブジェクトに触れたときには、前記位置検出手段が検出した前記被検出体の位置に基づいて、選択されたオブジェクトを特定し、前記被検出体が前記第２の画像表示面に表示されたオブジェクトに触れた後、前記被検出体が前記第２の画像表示面から離れたときには、特定したオブジェクトが表示されていた位置から、前記特定したオブジェクトに対応する浮遊画像を、前記第２の画像表示面から離れる方向に伸長して表示するように、前記第１の表示部が表示する二次元画像を制御するとともに、前記特定したオブジェクトが表示されていた位置、及び前記位置検出手段が検出した前記被検出体の位置に基づいて、表示された前記浮遊画像を前記被検出体の軌跡に追随させるように、前記第１の表示部が表示する二次元画像を制御することを特徴とする。

以下、本発明の実施の形態を図面を用いて説明する。

図１及び図２は、本発明の実施の形態に係る画像表示装置１００の概略構成図である。図１は、画像表示装置１００の外観斜視図、図２は、画像表示装置１００を側面方向（図１のＡ−Ａ方向）から見たときの外観構成図及び機能構成図である。

画像表示装置１００は、観察者Ｈが立体表示であると視認可能な二次元画像を空間中の所定の平面上に表示する擬似立体画像表示装置であり、大別して、浮遊画像を表示する浮遊画像表示部１と、観察者Ｈが直視する二次元画像を表示する直視画像表示部２と、から構成される。ここで、浮遊画像とは、空間中の所定の平面上に表示される二次元画像をいい、観察者Ｈからはあたかも空中に浮かんでいるように見える実像画像である。また、直視画像とは、画像表示面上において観察者Ｈが直視する二次元画像をいう。

浮遊画像表示部１は、表示部１０と、表示部１０から離間して配置された画像伝達パネル２０を備える。

表示部１０は、二次元画像を表示する画像表示面１１、及び表示部１０を駆動制御するディスプレイ駆動部（図示せず）を具備する構成である。具体的には、表示部１０は、カラー液晶表示装置（ＬＣＤ）を用いることができ、フラットな画像表示面１１と、バックライト照明部及びカラー液晶駆動回路等から構成されるディスプレイ駆動部を備える。勿論、表示部１０は、上記ＬＣＤ以外でもよく、ＥＬ（electro-luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（Cathode Ray Tube）等のディスプレイでもよい。

画像伝達パネル２０は、例えば、マイクロレンズアレイ２５によって構成され、そのパネル面を表示部１０の画像表示面１１と略並行に配置する（図１及び図２参照）。マイクロレンズアレイ２５は、図３に示すように、２枚のレンズアレイ半体２１ａ、２１ｂが互いに平行に配列されて構成されている。各レンズアレイ半体２１ａ、２１ｂは、透光性に優れたガラスまたは樹脂からなる透明基板２２の両面に、同一の曲率半径を有する複数の微小なマイクロ凸レンズ２３を二次元状に互いに隣接配置したものである。一面に形成された各マイクロ凸レンズ２３ａの光軸は、対向する位置に形成された他面のマイクロ凸レンズ２３ｂの光軸と同一となるように調整されている。すなわち、同一の光軸を有するように調整されたマイクロ凸レンズ２３ａ、２３ｂの各対は、それぞれの光軸が互いに平行になるように、二次元状に配列されている。

マイクロレンズアレイ２５は、表示部１０の画像表示面１１に対して平行に所定距離（マイクロレンズアレイ２５の作動距離）だけ離れた位置に配置されている。マイクロレンズアレイ２５は、表示部１０の画像表示面１１から出射した画像に対応する光を画像表示面１１と反対側の所定距離（マイクロレンズアレイ２５の作動距離）だけ離れた結像面３０上に結像させることにより、画像表示面１１に表示された画像を空間上の二次元平面である結像面３０上に表示するようになっている。この結像された画像は二次元画像であるが、その画像が奥行き感を持つものである場合やディスプレイ上の背景画像が黒くコントラストが強調されているような場合には、空間上に浮いて表示されることから、正面の観察者Ｈからは、あたかも立体画像が映し出されているように見える。なお、結像面３０は、空間上に仮想的に設定される平面であって実体物ではなく、マイクロレンズアレイ２５の作動距離に応じて定義される空間上の一平面である。

なお、マイクロレンズアレイ２５の浮遊画像表示パラメータ（具体的には、有効面積（入射される光を結像面３０上に有効に結像できるマイクロ凸レンズ配列面積など）およびマイクロ凸レンズ配列ピッチ）と、表示部１０の浮遊画像表示パラメータ（具体的には、画像表示面１１の画素ピッチ、有効画素面積、画像表示面１１に表示される画像の輝度、コントラストおよび色など）とは、結像面３０に表示される浮遊画像が鮮明に表示されるように、互いに最適化されている。

この結果、マイクロレンズアレイ２５は、図４に示すように、表示部１０の画像表示面１１から出射された画像Ｐ１に対応する光をレンズアレイ半体２１ａから入射させ、内部で一回反転させた後、再度反転させてレンズアレイ半体２１ｂから出射させるように調整されて配置されている。これにより、マイクロレンズアレイ２５は、表示部１０の画像表示面１１に表示された二次元画像Ｐ１を、結像面３０上に正立の浮遊画像Ｐ２として表示することができる。

より詳しくは、画像表示面１１に表示される二次元画像Ｐ１を形成する光のうち、マイクロレンズアレイ２５の各々のマイクロ凸レンズ２３に対応する領域の画像の光が、各々のマイクロ凸レンズ２３に取り込まれ、各々のマイクロ凸レンズ２３の内部で反転し、再度反転させて出射し、各々のマイクロ凸レンズ２３が結像する正立像の集合として浮遊画像Ｐ２を表示している。

なお、マイクロレンズアレイ２５は、レンズアレイ半体２１ａ、２１ｂの二枚一組で構成されるものに限定されず、一枚で構成してもよく、また、３枚以上の複数枚で構成してもよい。勿論、１枚、３枚など奇数枚のレンズアレイ半体２１で浮遊結像を結像させる場合においても、図５（ａ）及び（ｂ）に示すように、マイクロレンズアレイ２５に入射させた光を内部で一回反転させた後、再度反転させるようになっているので、正立の浮遊画像を表示することができる。

以上述べたように、マイクロレンズアレイ２５には種々の構成が考えられ、このように構成されたマイクロレンズアレイ２５は、光を結像させる作動距離として、単一の距離でなく、ある一定の有効範囲を持つことが可能となる。

なお、本実施の形態においては、画像伝達パネル２０をマイクロレンズアレイ２５としたが、画像伝達パネル２０はマイクロレンズアレイ２５に限定されるものではなく、正立像、望ましくは正立等倍像を結像するものであれば、何であってもよく、他の形態のレンズやレンズ以外の結像作用があるミラーやプリズムでもよい。例えば、マイクロレンズアレイとしては、屈折率分布レンズアレイ、ＧＲＩＮレンズアレイ、ロッドレンズアレイなどであってもよいし、マイクロミラーアレイとしては、ルーフミラーアレイ、コーナーミラーアレイなどでもよいし、また、マイクロプリズムアレイとしては、ルーフプリズムアレイ、ダブプリズムアレイなどでもよい。また、反転像となるが、アレイではなく、必要な有効領域を持つ一つのフレネルレンズでもよい。

直視画像表示部２は、表示部４０から構成される。表示部４０は、表示部１０と同様に、二次元画像を表示する画像表示面４１、及び表示部４０を駆動制御するディスプレイ駆動部（図示せず）を具備する構成である。具体的には、表示部４０は、カラー液晶表示装置（ＬＣＤ）を用いることができ、フラットな画像表示面４１と、バックライト照明部及びカラー液晶駆動回路等から構成されるディスプレイ駆動部を備える。勿論、表示部４０は、上記ＬＣＤ以外でもよく、ＥＬ（electro-luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（Cathode Ray Tube）等のディスプレイでもよい。

表示部４０の画像表示面４１は、画像伝達パネル２０の手前側（結像面３０側；＋Ｘ方向）の領域の浮遊画像Ｐ２下方に結像面３０と略垂直に配置され、観察者Ｈは、画像表示面４１に表示された画像を直視できるようになっている。換言すれば、本実施の形態では、浮遊画像Ｐ２を画像表示面４１の上方の空間に表示するように、表示部１０及び画像伝達パネル２０を調整、配置している。なお、本実施の形態においては、画像表示面４１を浮遊画像の下方に配置したが、画像表示面４１の配置位置はこれに限定されず、画像表示面４１に表示された画像を観察者Ｈが直視可能な位置であるならば、浮遊画像の上下左右のいずれの方向に配置してもよい。また、画像表示面４１に表示された画像を観察者Ｈが直視可能な位置であるならば、浮遊画像Ｐ２の結像面３０に対して画像表示面４１を斜交するように配置してもよい。

位置検出部１２０は、観察者Ｈの被検出体（例えば、指など）Ｆの位置及び動きを検出するセンサであり、検出した信号（位置情報）を画像制御部１１０に出力するようになっている。位置検出部１２０は、具体的には、表示部４０の画像表示面４１に配設され、画像表示面４１に対する被検出体Ｆの接触位置を検出するタッチセンサと、画像表示面４１上方の空間（詳しくは、例えば、画像表示面４１に垂直な方向の上方の空間を意味し、画像表示面４１の外側の面の上方の空間は除く）における被検出体Ｆの位置及び動きを検出する空間センサから構成されている。すなわち、表示部４０の画像表示面４１はタッチパネル領域であり、また、画像表示面４１上方の空間は空間センサ検知領域となっている。なお、タッチセンサ及び空間センサはいずれの方式であってもよく、例えば、静電容量式や抵抗膜方式のタッチセンサ、光学式の空間センサなどが想定される。また、本実施の形態では、２つのセンサを配設して被検出体Ｆの位置を検出するようにしたが、センサの構成もこれに限定されず、表示部４０の画像表示面４１及び画像表示面４１上方の空間において被検出体Ｆの位置を検出できるのであれば、どのようなセンサで構成してもよい。

なお、本実施の形態では、誤動作防止のため、タッチセンサに触れているときは、タッチセンサの検出結果を優先させ、タッチセンサに触れていないときは、空間センサの検出結果を優先するようになっている。

画像制御部１１０は、表示部１０及び表示部４０に表示させる画像データを生成するとともに、表示部１０に表示される画像データと表示部４０に表示される画像データを連動させて表示するように画像制御を行っている。例えば、表示部１０に表示させる二次元画像Ｐ１の変化に応じて、表示部４０に表示させる二次元画像Ｐ３を変化させたり、表示部４０に表示させる二次元画像Ｐ３の変化に応じて、表示部１０に表示させる二次元画像Ｐ１を変化させたりする。

また、画像制御部１１０は、位置検出部１２０の出力信号に応じて、表示部１０に表示する二次元画像Ｐ１、表示部４０に表示する二次元画像Ｐ３を変化させるように制御している。すなわち、画像制御部１１０は、観察者Ｈの被検出体Ｆの位置や動きに応じて、浮遊画像Ｐ２や直視画像Ｐ３を変化させるようになっている。例えば、後述するように、位置検出部１２０（タッチセンサ）による被検出体Ｆの位置検出により、表示部４０に表示させる表示画像Ｐ３を変化させたり、位置検出部１２０（空間センサ）による被検出体Ｆの位置検出により、表示部１０に表示させる二次元画像Ｐ１を変化させて、浮遊画像Ｐ２を変化させたりする。

次に、図６及び図７を用いて、本実施の形態に係る画像表示装置１００の浮遊画像と直視画像を連動させた演出（以下、連動演出という）について説明する。図６は、画像表示装置１００の連動演出の動作を示すフローチャートである。ここで、実線部分は画像表示装置１００の動作を示しており、点線部分は観察者Ｈの動作を示している。また、図７は、図６の動作を示す具体例を説明する図である。

まず、画像表示装置１００の画像制御部１１０は、表示部４０の画像表示面４１に１又は複数のオブジェクトを表示する（ステップＳ１１０）。例えば、図７に示す具体例においては、画像表示面４１に３つのオブジェクトＰ３ａ、Ｐ３ｂ及びＰ３ｃを表示する。なお、図７に示す具体例においては、画像表示面４１に表示されるオブジェクトを円形の形状としたが、これは一例であり、オブジェクトの形状や色は、いかなる形状や色でもよい。

このような状態で、観察者Ｈは、画像表示面４１に表示されたオブジェクトの中から１つのオブジェクトに指Ｆで触れる（ステップＳ１１５）。図７（ａ）に示す具体例では、観察者Ｈの指Ｆは、オブジェクトＢを示す直視画像Ｐ３ｂに触れている。なお、オブジェクトＢは、画像表示面４１の、結像面３０と画像表示面４１の交線Ｃ上に表示されている。

これにより、画像表示装置１００の位置検出部１２０のタッチセンサは、指Ｆの接触位置を検出するので（ステップＳ１２０）、位置検出部１２０が検出した接触位置に基づいて、画像制御部１１０は、観察者Ｈに選択されたオブジェクトを特定する（ステップＳ１３０）。図７に示す具体例では、画像制御部１１０は、指Ｆの接触位置から、オブジェクトＢが選択されたことを把握する。なお、画像制御部１１０がオブジェクトを特定したときは、特定したオブジェクトの色を変化させるなどして、観察者Ｈが選択したオブジェクトを確認できるようにしてもよい。

次に、観察者Ｈは、画像表示面４１に触れている（オブジェクトＢに触れている）指Ｆを画像表示面４１から上方に移動させる（ステップＳ１３５）。すなわち、指Ｆは画像表示面４１上には存在せず、画像表示面４１上方の空間に存在する。

これにより、画像表示装置１００の位置検出部１２０の空間センサは、観察者Ｈの指Ｆの位置、より詳しくは、画像表示面４１からの高さ（Ｚ座標）を検出する（ステップＳ１４０）。ここで、空間センサが検出する指Ｆの高さとは、例えば、空間センサが複数の指Ｆの位置を検出する場合もあり得るので、検出した指Ｆの高さのうち最も低い位置をいうものとする。図７（ｂ）に示す具体例では、位置検出部１２０の空間センサは、高さＨを検出する。

次に、画像表示装置１００の画像制御部１１０は、選択されたオブジェクトに対応する浮遊画像Ｐ２を位置検出部１２０が検出した高さに応じて表示する（ステップＳ１５０）。ここで、選択されたオブジェクトに対応する浮遊画像Ｐ２とは、選択されたオブジェクトの位置（画像表示面４１上）から、選択されたオブジェクトの位置の上方の空間に向かって伸長して表示される浮遊画像Ｐ２をいい、位置検出部１２０が検出した高さに応じて表示するとは、観察者Ｈの指Ｆの位置は徐々に高くなっていくので、この指Ｆの動き（軌跡）に追随して、浮遊画像Ｐ２の高さを徐々に高くして表示することをいう。より詳しくは、画像表示面４１に表示されたオブジェクトの形状が、そのまま柱体として位置検出部１２０が検出した高さまで伸長するような浮遊画像Ｐ２を表示する（ステップＳ１５０）。図７（ｂ）に示す具体例では、楕円状のオブジェクトＢをそのまま上方に伸長した、高さＨの円柱体の浮遊画像Ｐ２が結像面３０上に表示される。なお、浮遊画像Ｐ２の表示開始の契機は、オブジェクト選択後、空間センサが指Ｆに対する高さ（＞０）を検出したときである。

このように本実施の形態の連動演出では、観察者Ｈが画像表示面４１上で選択したオブジェクトを指Ｆで持ち上げるような動作をすることにより、指Ｆの動きに追随して、選択したオブジェクトに対応する浮遊画像Ｐ２を表示するので、観察者Ｈは選択したオブジェクトをあたかも引っ張り上げたような感覚（持ち上げたような感覚）を経験することができる。

次に、このような状態において、観察者Ｈが指Ｆを、画像表示部４１上方の空間からその外の空間に移動する（ステップＳ１５５）。すなわち、指Ｆを位置検出部１２０の空間センサの検知領域から非検知領域に指Ｆを移動する。例えば、図７（ｃ）に示す具体例では、観察者Ｈの指ＦはオブジェクトＢの浮遊画像Ｐ２上から画像表示面４１の右方の空間に指Ｆを引き抜いている。

これにより、画像表示装置１００の位置検出部１２０の空間センサは、観察者Ｈの指Ｆの位置を検出不可能となるので（ステップＳ１６０）、位置検出部１２０の指Ｆに対する非検出を契機に、表示されていたオブジェクトの浮遊画像Ｐ２の高さを徐々に低くしていき、最終的にはオブジェクトの浮遊画像Ｐ２を非表示にする（ステップＳ１７０）。より詳しくは、指Ｆの高さＨ（指Ｆが空間センサの検出領域に存在したときの最後の高さ）まで存在した柱体の浮遊画像Ｐ２の高さを徐々に下方に向かって短縮していく浮遊画像Ｐ２を表示し、最後にはオブジェクトの浮遊画像Ｐ２を消滅させ、非表示とするものである（ステップＳ１７０）。

このように本実施の形態の連動演出では、指Ｆを空間センサの非検知領域に移動することにより、浮遊画像Ｐ２の高さを徐々に低くして表示するので、観察者Ｈは選択したオブジェクトの浮遊画像Ｐ２を手放して、浮遊画像Ｐ２が重力に従って落下するような感覚を経験することができる。

以上、本実施の形態に係る画像表示装置１００の連動演出によれば、画像表示面４１上に表示されていたオブジェクトに指Ｆで触れて、オブジェクトに触れていた指Ｆを上方に移動させると、オブジェクトに対応する浮遊画像Ｐ２が指の動きに追随して指Ｆの高さを有するオブジェクト画像となるので、観察者Ｈは選択したオブジェクトをあたかも、つかんで持ち上げたような疑似体験をすることができる。また、浮遊画像Ｐ２をつかんだ状態で指Ｆをセンサ検知領域からセンサ非検知領域に引き抜くと、浮遊画像Ｐ２はその高さを徐々に低くして、最後には消えてしまうので、観察者Ｈは選択したオブジェクトの浮遊画像Ｐ２を手放して、浮遊画像Ｐ２を落下させたような疑似体験をすることができる。このように、本実施の形態に係る連動演出は、従来にない新規な演出であり、直視画像と浮遊画像の連動を強めて、演出効果をより高めることができるとともに、直感的でわかりやすいユーザインターフェースを提供することができる。

なお、本実施の形態では、画像表示部４０の画像表示面４１を浮遊画像Ｐ２の下方の位置に配置した構成としたが、上述したように、画像表示部４０の画像表示面４１の配置位置はこれに限定されず、浮遊画像Ｐ２の外縁のいずれの方向（上下左右、斜め）に配置してもよい。例えば、浮遊画像Ｐ２の左方に、結像面３０に略垂直に表示面４１を配置した場合には、画像表示面４１に表示されたオブジェクトに指Ｆを触れて、指Ｆを右方に移動させると（画像表示面４１から指Ｆを離すと）、指Ｆの動きに追随して、オブジェクトに対応する浮遊画像Ｐ２が、画像表示面４１上のオブジェクトが表示された位置から右方に伸長する。また、指Ｆを空間センサの検知領域から引き抜くと、表示されていた浮遊画像Ｐ２が、徐々に左方に短縮して、最終的には消える。このように、浮遊画像Ｐ２の左方に画像表示面４１を配置した場合には、バネのような弾性体を引っ張って伸ばすような感覚、引っ張った弾性体を離すと元に戻るような感覚を経験することができる。

ただし、画像表示部４０の画像表示面４１を浮遊画像Ｐ２の下方の位置に配置した場合には、人間は重力によって、手放すと物体が落下していくことを本能的に知っているので、自然法則に合致した非常に自然な感覚を得ることができる。そのため、画像表示部４０の画像表示面４１を浮遊画像Ｐ２の下方に配置する構成は、ユーザインターフェースとしてはより好適である。そして、浮遊画像Ｐ２を引き上げる、または落下させる際には、重力の影響を受けるような画像制御をしてもよい。例えば、重いオブジェクトを引き上げる場合には、浮遊画像Ｐ２の指Ｆに追随する速度が遅かったり、また、軽いオブジェクトと重いオブジェクトの場合には、浮遊画像Ｐ２の落下する速さが異なるように画像制御してもよい。これにより、観察者Ｈは、より自然な感覚を得ることができる。

また、上述した連動演出のステップＳ１５５においては、観察者Ｈが指Ｆを位置検出部１２０（空間センサ）の非検知領域に移動することにより、浮遊画像Ｐ２を立ち下げるように制御したが、浮遊画像Ｐ２を立ち下げる契機は、これに限定されるものではなく、観察者Ｈの他の行為をもとに浮遊画像Ｐ２を立ち下げるように制御してもよい。

例えば、図８及び図９（ａ）に示すように、あるオブジェクトに対応する浮遊画像Ｐ２を表示中（指Ｆの動きに追随させて、浮遊画像Ｐ２を表示中）に、観察者Ｈの指Ｆが表示部４０の画像表示面４１に表示された別のオブジェクトに触れたときを契機として、浮遊画像Ｐ２を立ち下げるようにしてもよい（変形例１）。ここで、図８は、画像表示装置１００の連動演出の変形例１の動作を示すフローチャートである。ここで、実線部分は画像表示装置１００の動作を示しており、点線部分は観察者Ｈの動作を示している。また、図９（ａ）は、図８の動作を示す具体例を説明する図である。なお、図９において、図７と同一記号を付したステップは、図７に示す処理内容と同一の処理内容を示すので説明を省略し、処理内容が異なるステップのみ説明する。

浮遊画像Ｐ２が表示されている状態において、観察者Ｈは、画像表示面４１に表示された他のオブジェクト（現在表示されている浮遊画像Ｐ２のオブジェクトとは異なるオブジェクト）に指Ｆで触れる（ステップＳ１５６）。例えば、図９（ａ）に示す具体例では、観察者Ｈの指Ｆは、オブジェクトＢの浮遊画像Ｐ２上からオブジェクトＣの直視画像Ｐ３ｃに触れている。

これにより、画像表示装置１００の位置検出部１２０のタッチセンサは、指Ｆの接触位置を検出するので（ステップＳ１６１）、位置検出部１２０が検出した接触位置に基づいて、画像制御部１１０は、観察者Ｈに新たに選択されたオブジェクトを特定する（ステップＳ１６２）。図９（ａ）に示す具体例では、画像制御部１１０は、指Ｆの接触位置から、オブジェクトＣが選択されたことを把握する。

次に、画像表示装置１００の画像制御部１１０は、画像表示装置１００の現在表示されている浮遊画像Ｐ２に対応するオブジェクトとは異なるオブジェクトが選択されたことがわかったので、表示されていたオブジェクトの浮遊画像Ｐ２の高さを徐々に低くしていき、最終的にはオブジェクトの浮遊画像Ｐ２を非表示にする（ステップＳ１７０）。より詳しくは、指Ｆの高さＨ（指Ｆが空間センサの検出領域に存在したときの最後の高さ）まで存在した柱体の浮遊画像Ｐ２の高さを徐々に下方に向かって短縮していく浮遊画像Ｐ２を表示し、最後にはオブジェクトの浮遊画像Ｐ２を消滅させ、非表示とするものである（ステップＳ１７０）。なお、この後、オブジェクトＣが引き上げられる動作に移行していくことは、上述した通りである（ステップＳ１１０〜Ｓ１５０）。

このように浮遊画像Ｐ２を引き下げる契機は、観察者Ｈの他の行為により種々設定可能である。

また、上述した連動演出においては、観察者Ｈの指Ｆを画像表示面４１に対して垂直な方向（＋Ｚ軸方向）に移動させる場合について説明したが、指Ｆの移動方向はこれに限定されない。例えば、図９（ｂ）に示すように、斜め上方に移動させるようにしてもよい。この場合には、観察者Ｈの指Ｆの高さ（Ｚ座標）だけを検出するのではなく、指Ｆの位置、より詳しくは、指Ｆの空間位置座標（Ｘ座標、Ｙ座標、Ｚ座標）を検出するようにし、画像表示面４１上で選択したオブジェクトの位置、及び検出した指Ｆの位置に基づいて、指Ｆの移動に追随させるように浮遊画像Ｐ２を表示するようにすればよい。

また、上述した連動演出では、浮遊画像Ｐ２の形状を画像表示面４１上から伸長した柱体の浮遊画像Ｐ２としたが、浮遊画像Ｐ２の形状はこれに限定されるものでなく、浮遊画像Ｐ２の形状を有限な所定の高さを持った柱体とし、この高さを越えて指Ｆを上方に移動させた場合には、柱体の浮遊画像Ｐ２を画像表示面４１から浮き上がらせて表示するようにしてもよい。例えば、図９（ｃ）に示すように、高さＨ１を有する円柱体の浮遊画像Ｐ２を表示する場合であって、指Ｆを高さＨ１より高い位置まで移動した場合には、浮遊画像Ｐ２を浮き上がらせて表示するようにしてもよい。なお、この場合には、浮いていることを強調するために、画像表示面４１に円柱体の影のような直視画像Ｐ３ｂを表示してもよい。

また、常に浮遊画像Ｐ２を表示するのではなく、予め定めた条件が成立した場合のみ浮遊画像Ｐ２を表示するようにしてもよい。例えば、指Ｆを閾値以上の高さに移動させた場合にのみ、オブジェクトに対応する浮遊画像Ｐ２を表示するようにしてもよい。この場合、閾値未満の高さに指Ｆを移動しても、浮遊画像Ｐ２は表示されない。

また、上述した連動演出の具体例では、結像面３０と画像表示面４１の交線Ｃ上に表示されたオブジェクトＢに関する連動演出について説明したが、画像表示面４１の他の位置に表示されたオブジェクトに対しても本発明が適用されるのは勿論である。ただし、結像面３０と画像表示面４１の交線Ｃ上でない位置に表示されたオブジェクトに対して連動演出を行う場合には、より自然に立体表示させるための工夫が必要である。直視画像Ｐ３として画像表示面４１に表示されたオブジェクトの位置とオブジェクトに対応する浮遊画像Ｐ２が表示される位置（結像面３０）が奥行き方向（Ｘ方向）に異なっているので、観察者Ｈに違和感を与える可能性があるからである。

図１０は、交線Ｃ上ではない位置に表示されたオブジェクトＢに対する連動演出の様子を示す図である。なお、図１０においては、図９（ｃ）に示すように、選択されたオブジェクトに対する円柱体の浮遊画像Ｐ２を浮き上がらせて表示するような画像制御を行う。一例としては、図１０（ｂ）に示すように浮遊画像Ｐ２が浮き上がった際には、画像表示面４１に表示されていたオブジェクトＢの直視画像Ｐ３ｂに代えて、円柱体の影を示す直視画像Ｐ３ｂ’を画像表示面４１に表示し、直視画像Ｐ３ｂ’を交線Ｃ上に移動させるようにしてもよい。また、別の一例としては、図１０（ｂ）に示すように浮遊画像Ｐ２が浮き上がった際には、画像表示面４１に表示する直視画像Ｐ３を消去するようにしてもよい。

これにより、画像表示面４１の交線Ｃ上に表示されないオブジェクトであっても、より自然な立体表示をすることができるので、連動演出における浮遊画像Ｐ２と直視画像Ｐ３の連動を違和感なく表現することができる。なお、このような工夫を行わない場合には、結像面３０近傍の画像表示面４１上にオブジェクトを表示するように直視画像Ｐ３を制御し、結像面３０近傍のオブジェクトに対して浮遊画像Ｐ２を表示するのが好適である。

なお、上記実施形態では、浮遊画像表示部１の構成として、結像面３０上に実像を表示する方式（浮遊画像は一平面上に形成される方式；以下、３Ｄフローティングビジョン（登録商標）方式という）を採用したが、浮遊画像表示部１の構成はこの方式に限定されるものではなく、浮遊画像として実像を表示する方式であればいずれの方式であってもよい。例えば、浮遊画像として実像を表示するＩＰ（インテグラルフォトグラフィ）方式を採用してもよい。

図１１は、ＩＰ方式を採用した画像表示装置１００Ａの概略構成図である。ＩＰ方式の場合には、図１１に示すように、画像伝達パネル２０Ａは、３Ｄフローティングビジョン（登録商標）方式よりも、表示部１０に近い位置に配置される。具体的には、画像伝達パネル２０Ａは、ピンホールアレイ、マイクロレンズアレイ、レンチキュラーレンズなどであり、画像伝達パネル２０Ａは、一平面上に結像させるのではなく、表示部１０からの出射光の方向を変える若しくは制御するために用いられるので、浮遊画像Ｐ２Ａは、奥行きを持った浮遊画像として形成される。

すなわち、本実施の形態に係る浮遊画像には、空間中の所定の平面上に表示される二次元画像Ｐ２の他、空間中に物理的に奥行きを持って表示される三次元画像Ｐ２Ａも含まれる。

なお、画像表示装置１００Ａにより上述した連動演出を行う場合には、浮遊画像Ｐ２Ａは、奥行きを持って表示されるので、図１０に示すような配慮は不要となり、より臨場感のある連動演出を行うことができる。しかしながら、画像表示装置１００Ａの場合には、奥行きを持った浮遊画像Ｐ２Ａを表示するため、画像表示装置１００の３Ｄフローティングビジョン（登録商標）方式の場合よりも、表示部１０に表示する二次元画像の画像制御が複雑となるので、簡単に立体画像を制作するという観点からみると、画像表示装置１００の３Ｄフローティングビジョン（登録商標）方式がより好適である。

図１２は、音楽再生装置のユーザインターフェースに画像表示装置１００（１００Ａ）を利用した場合の一例を示している。この音楽再生装置は、表示部４０の画像表示部４１にＣＤやレコード等のアルバムのタイトルメニューを表示し、観察者Ｈ（視聴者）が選択したアルバムの音楽を再生する。

まず、画像表示装置１００（１００Ａ）は、表示部４０の画像表示面４１にタイトルメニューを表示するので（図１２（ａ）参照）、観察者Ｈは、スクロールバーを操作することにより、タイトルメニューをスクロールさせつつ、タイトルメニューの中から再生したいアルバムを探し、再生したいアルバムが見つかったら、画像表示面４１に表示された再生したいアルバムのタイトルに指Ｆで触れる（図１２（ｂ）参照）。

画像表示装置１００（１００Ａ）は、観察者Ｈの指が触れた位置から選択されたアルバムを把握すると（詳しくは、位置検出部１２０のタッチセンサが指Ｆの接触位置を検出し、画像制御部１１０が検出位置から選択されたアルバムを判断すると）、選択されたアルバムのタイトル領域の色を変えるので（図１２（ｂ）参照）、観察者Ｈは、選択したアルバムのタイトルを確認することができる。

次いで、観察者Ｈは画像表示面４１に触れた指Ｆを持ち上げると、画像表示装置１００（１００Ａ）は、この指の動き（指Ｆが表示部４０の画像表示面６１に触れてアルバムを選択した後、指Ｆが画像表示面４１から離れて上方に移動する動き）を検出するので、指Ｆの動きに合わせて、選択されたアルバムの「ジャケット画像」を浮遊画像Ｐ２として表示する（図１２（ｃ））。

これは、位置検出部１２０（空間センサ）が指Ｆの位置（表示部６０の画像表示面６１からの高さ）を検出するので、画像制御部１１０が、検出した指Ｆの高さに合わせて「ジャケット画像」を浮遊画像Ｐ２として表示するように画像制御するものである。そのため、指Ｆを画像表示面６１から徐々に上方に移動させていくと、指Ｆの動きに追随して、「ジャケット画像」の高さも徐々に高くなっていき、指Ｆの高さ位置まで浮遊画像Ｐ２が表示されることとなる。これにより、観察者Ｈは、あたかも自分が選択したレコードのアルバムを持ち上げたような感覚を味わうことができる。

なお、より好適には、位置検出部１２０（空間センサ）が複数の指Ｆそれぞれの位置を検出可能であるとして、位置検出部１２０（空間センサ）が検出した複数の指Ｆの位置から、指Ｆの形状を特定し、特定した指Ｆの形状に基づいて、浮遊画像Ｐ２を表示するようにしてもよい。すなわち、指Ｆが画像表示面４１に触れて、アルバムをつかむ（指と指が合わさった状態）ような形状をし、そのまま上方に移動したときは、指Ｆの動きに合わせて、選択されたアルバムの「ジャケット画像」を浮遊画像Ｐ２として表示するようにしてもよい。

また、より好適には、位置検出部１２０（空間センサ）が複数の指Ｆそれぞれの位置を検出可能であるとして、位置検出部１２０（空間センサ）が検出した複数の指Ｆの位置から、指Ｆの形状を特定し、特定した指Ｆの形状に基づいて、表示された浮遊画像Ｐ２を非表示とするようにしてもよい。すなわち、浮遊画像Ｐ２が表示された状態で、指Ｆがアルバムをはなす（合わさった指と指の間隔が広がった状態）ような形状をしたときは、選択されたアルバムの「ジャケット画像」の浮遊画像Ｐ２の高さを徐々に低くしていき、最終的には非表示とするようにしてもよい。

このように、画像表示装置１００（１００Ａ）は、多くの情報（図１２に示す例では、アルバム）リストの中から所望の情報を探し出すのに、好適なユーザインターフェースを備えている。すなわち、観察者Ｈは、つかんで引き上げて放して、また次をつかんで引き上げるというような、高速な情報の切り替えを直感的にすることができるとともに、重力を利用した、より自然な感覚も得ることができる。

なお、選択したアルバムの音楽を再生するときは、例えば、指Ｆを左方に動かすなど、音楽を再生するために予め定められていた動作を実行すればよい。すなわち、指Ｆを上方に動かす動作のときは、選択したアルバムの浮遊画像Ｐ２である「ジャケット画像」を表示するように制御し、「ジャケット画像」を表示した状態で持ち上げた指Ｆを左方に動かすときは、選択したアルバムの音楽を再生するようにすればよい。

以上、述べたように本実施の形態に係る画像表示装置１００は、二次元画像を表示する第１の画像表示面１１を備えた第１の表示部１０と、第１の画像表示面１１から出射される光の光路に配置された画像伝達パネル２０と、を有し、第１の画像表示面１１から出射される光を画像伝達パネル２０の第１の表示部１０と対向する側と反対側に位置する空間に、浮遊画像Ｐ２として表示する浮遊画像表示部１と、浮遊画像Ｐ２が表示される空間の外縁に、二次元画像を表示する第２の画像表示面４１を備えた第２の表示部４０を有して、第２の画像表示面に１又は複数のオブジェクトを直視画像として表示する直視画像表示部２と、第２の画像表示面４１及び前記第２の画像表示面から光が出射される側の空間における被検出体Ｆの位置を検出する位置検出部１２０と、位置検出部１２０が検出した被検出体Ｆの位置に基づいて、第１の表示部１０が表示する二次元画像Ｐ１または第２の表示部４０が表示する二次元画像Ｐ３の少なくともいずれか一つを制御する画像制御部１１０と、を備え、画像制御部１１０は、被検出体Ｆが第２の画像表示面４１に表示されたオブジェクトに触れたときには、位置検出部１２０が検出した被検出体Ｆの位置に基づいて、選択されたオブジェクトを特定し、被検出体Ｆが第２の画像表示面４１に表示されたオブジェクトに触れた後、被検出体Ｆが第２の画像表示面４１から離れたときには、特定したオブジェクトが表示されていた位置から、特定したオブジェクトに対応する浮遊画像Ｐ２を、第２の画像表示面４１から離れる方向に伸長して表示するように、第１の表示部１０が表示する二次元画像Ｐ１を制御するとともに、特定したオブジェクトが表示されていた位置、及び位置検出部１２０が検出した被検出体Ｆの位置に基づいて、表示された浮遊画像Ｐ２を被検出体Ｆの軌跡に追随させるように、第１の表示部１０が表示する二次元画像Ｐ１を制御するので、直視画像と浮遊画像の連動を強めて、演出効果をより高めることができるとともに、直感的でわかりやすい操作や表示を実現することができる。

以上、本発明の実施の形態について説明してきたが、本発明は、上述した実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができ、そのような変形や変更を伴うものもまた、本発明の技術的範囲に含まれるものである。

本発明の実施の形態に係る画像表示装置の外観斜視図である。 本発明の実施の形態に係る画像表示装置の側面から見た外観図及び機能構成図である。 本発明の実施の形態に係る画像表示装置の画像伝達パネルの構成図である。 本発明の実施の形態に係る画像表示装置の画像伝達パネルであるマイクロレンズアレイの光学的作用を説明する図である。 図４に示すマイクロレンズアレイとは異なる構成のマイクロレンズアレイの光学的作用を説明する図である。 本発明の実施の形態に係る画像表示装置の連動演出の動作を示すフローチャートである。 図６に示す連動演出の画像例を示す図である。 本発明の実施の形態に係る画像表示装置の連動演出の変形例の動作を示すフローチャートである。 図８に示す連動演出の画像例を示す図である。 本発明の実施の形態に係る画像表示装置の連動演出の画像例を示す図である。 本発明の別の実施の形態に係る画像表示装置の構成を示す図である。 本発明の実施の形態に係る画像表示装置の連動演出の画像例を示す図である。

符号の説明

１ 浮遊画像表示部
２ 浮遊画像認識部
１０，４０ 表示部
１１，４１ 画像表示面
２０，２０Ａ 画像伝達パネル
２１ レンズアレイ半体
２２ 透明基板
２３ マイクロ凸レンズ
２５ マイクロレンズアレイ
３０ 結像面
１００，１００Ａ 画像表示装置
Ｐ１ 二次元画像
Ｐ２，Ｐ２Ａ 浮遊画像
Ｐ３ 直視画像（二次元画像）
Ｈ 観察者
Ｆ 被検出体

Claims (9)

1. 二次元画像を表示する第１の画像表示面を備えた第１の表示部と、
   前記第１の画像表示面から出射される光の光路に配置された画像伝達パネルと、を有し、
   前記第１の画像表示面から出射される光を前記画像伝達パネルの前記第１の表示部と対向する側と反対側に位置する空間に、浮遊画像として表示する浮遊画像表示手段と、
   前記浮遊画像が表示される空間の外縁に、二次元画像を表示する第２の画像表示面を備えた第２の表示部を有して、前記第２の画像表示面に１又は複数のオブジェクトを直視画像として表示する直視画像表示手段と、
   前記第２の画像表示面、及び前記第２の画像表示面から光が出射される側の空間における被検出体の位置を検出する位置検出手段と、
   前記位置検出手段が検出した被検出体の位置に基づいて、前記第１の表示部が表示する二次元画像または前記第２の表示部が表示する二次元画像の少なくともいずれか一つを制御する画像制御手段と、
   を備え、
   前記画像制御手段は、
   前記被検出体が前記第２の画像表示面に表示されたオブジェクトに触れたときには、
   前記位置検出手段が検出した前記被検出体の位置に基づいて、選択されたオブジェクトを特定し、
   前記被検出体が前記第２の画像表示面に表示されたオブジェクトに触れた後、前記被検出体が前記第２の画像表示面から離れたときには、
   特定したオブジェクトが表示されていた位置から、前記特定したオブジェクトに対応する浮遊画像を、前記第２の画像表示面から離れる方向に伸長して表示するように、前記第１の表示部が表示する二次元画像を制御するとともに、
   前記特定したオブジェクトが表示されていた位置、及び前記位置検出手段が検出した前記被検出体の位置に基づいて、表示された前記浮遊画像を前記被検出体の軌跡に追随させるように、前記第１の表示部が表示する二次元画像を制御することを特徴とする画像表示装置。
2. 前記画像制御手段は、
   前記浮遊画像を表示後、前記位置検出手段が前記被検出体を検出できない場合には、
   表示された浮遊画像を、徐々に前記第２の画像表示面に向かって短縮させ、消滅させるように前記第１の表示部が表示する二次元画像を制御することを特徴とする請求項１記載の画像表示装置。
3. 前記画像制御手段は、
   前記被検出体が前記第２の画像表示面に表示された、前記浮遊画像に対応づけられえたオブジェクトとは異なるオブジェクトに触れ、前記位置検出手段が検出した前記被検出体の位置に基づいて、選択されたオブジェクトが前記異なるオブジェクトであることを判断した場合には、
   表示された浮遊画像を、徐々に前記第２の画像表示面に向かって短縮させ、消滅させるように前記第１の表示部が表示する二次元画像を制御することを特徴とする請求項１記載の画像表示装置。
4. 前記画像制御手段は、
   前記特定したオブジェクトに対応する浮遊画像を、前記第２の画像表示面から浮き上がらせて表示する場合には、前記特定したオブジェクトに対応する浮遊画像の影を前記第２の画像表示面に表示するように、前記第２の表示部が表示する二次元画像を制御することを特徴とする請求項１記載の画像表示装置。
5. 前記浮遊画像は、
   前記第１の画像表示面に表示された二次元画像に基づく実像であることを特徴とする請求項１乃至４のいずれか１項に記載の画像表示装置。
6. 前記浮遊画像は、
   前記画像伝達パネルによって空間中の結像面に結像された実像であることを特徴とする請求項５記載の画像表示装置。
7. 前記浮遊画像表示手段は、
   前記浮遊画像を空間中の結像面に結像し、
   前記画像制御手段は、
   前記特定したオブジェクトに対応する浮遊画像を、前記第２の画像表示面から浮き上がらせて表示する場合であって、前記被検出体が、前記結像面と前記第２の画像表示面の交線上ではない位置に表示されたオブジェクトに触れた場合には、前記特定したオブジェクトに対応する浮遊画像の影を前記第２の画像表示面に表示しない、または前記特定したオブジェクトに対応する浮遊画像の影を、特定したオブジェクトが表示された位置から前記交線上の位置まで移動させることを特徴とする請求項４記載の画像表示装置。
8. 前記被検出体は、複数の部分から構成され、
   前記位置検出手段は、
   前記第２の画像表示面から光が出射される側の空間において、前記被検出体の複数の部分のそれぞれの位置を検出可能であり、
   前記画像制御手段は、
   前記被検出体が前記第２の画像表示面に表示されたオブジェクトに触れたときには、
   前記位置検出手段が検出した前記被検出体の位置に基づいて、選択されたオブジェクトを特定し、
   前記被検出体が前記第２の画像表示面に表示されたオブジェクトに触れ、かつ前記被検出体の複数の部分が第１の形状をなした後、前記被検出体が前記第２の画像表示面から離れたときには、
   前記位置検出手段が検出した前記被検出体の複数の部分の位置から、前記第１の形状を特定することにより、特定したオブジェクトが表示されていた位置から、前記特定したオブジェクトに対応する浮遊画像を、前記第２の画像表示面から離れる方向に伸長して表示するように、前記第１の表示部が表示する二次元画像を制御するとともに、
   前記特定したオブジェクトが表示されていた位置、及び前記位置検出手段が検出した前記被検出体の位置に基づいて、表示された前記浮遊画像を前記被検出体の軌跡に追随させるように、前記第１の表示部が表示する二次元画像を制御し、
   前記浮遊画像を表示後、前記被検出体の複数の部分が第２の形状をなしたときには、
   前記位置検出手段が検出した前記被検出体の複数の部分の位置から、前記第２の形状を特定することにより、表示された浮遊画像を、徐々に前記第２の画像表示面に向かって短縮させ、消滅させるように前記第１の表示部が表示する二次元画像を制御することを特徴とする請求項１記載の画像表示装置。
9. 前記第２の表示部の前記第２の画像表示面は、前記浮遊画像の下方に配置されることを特徴とする請求項１乃至４のいずれか１項に記載の画像表示装置。

Images