JP2017107133A - 表示装置、電子機器、画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】三次元動画像を表示する三次元表示装置を提供する。
【解決手段】表示装置は、複数の画素を有し、複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、第１の方向から表示部を見て表示部が形成した像が見えない部分に像を形成する表示画像データを、第２の方向から表示部を観察するときに表示部に表示させる表示制御部と、を備える。
【選択図】図１

Description

本発明は、表示装置、電子機器、画像処理装置および画像処理プログラムに関する。

立体像を表示する表示装置が知られている（たとえば特許文献１）。表示装置の正面以外の方向から観察すると立体像の一部が欠落する場合があるという問題が知られている。

特開平１０−２２７９９５号公報

請求項１に記載の表示装置は、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、第１の方向から前記表示部を見て前記表示部が形成した像が見えない部分に前記像を形成する表示画像データを、第２の方向から前記表示部を観察するときに前記表示部に表示させる表示制御部と、を備える。
請求項４に記載の表示装置は、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、表示画像用データにより前記画素を制御して、所定の物体が移動または変形する三次元動画像を前記表示部に表示させる表示制御部と、を備える。
請求項１３に記載の電子機器は、請求項１〜１２のいずれか一項に記載の表示装置を備える。
請求項１４に記載の画像処理装置は、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示画像用データを生成する画像処理装置であって、所定の物体の画像データを入力する入力部と、前記入力部から入力された前記所定の物体の画像データを、前記所定の物体が移動または変形する三次元動画像の表示画像用データに変換する変換部と、を備える。
請求項１５に記載の画像処理プログラムは、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示画像用データを生成する画像処理プログラムであって、所定の物体の画像データの入力と、入力された前記所定の物体の画像データの、前記所定の物体が移動または変形する三次元動画像の表示画像用データへの変換と、をコンピュータに実行させる。

本発明の実施の形態による三次元表示装置の要部構成を説明するブロック図 実施の形態による三次元表示装置が備えるモニタの構成の一例を説明する図 表示画素と、表示用マイクロレンズアレイと、表示される光点との関係を模式的に示した図 図３を二次元的に展開した場合を示す図 表示用マイクロレンズとパターン光断面との関係を説明する図 表示用マイクロレンズとパターンとの関係を説明する図 領域分割を基点マイクロレンズに展開した場合のパターンを説明する図 基点マイクロレンズの中心位置に対して光点が偏心した場合のパターンを説明する図 二次元画像を表示させる場合の表示画素について説明する図 二次元表示される画像の一例を示す図 二次元画像を表示させる場合のパターンについて説明する図 図１１に示すパターンが表示空中像面に二次元表示される様子を模式的に示す図 プッシュボタン３００について説明する図 プッシュボタン３００について説明する図 変形例における表示画素と表示用マイクロレンズとの関係を模式的に示した図

本実施の形態の三次元画像表示装置は、画像を表示するためのモニタを有するパーソナルコンピュータ等により構成される。この三次元表示装置では、公知のプレンオプティックカメラ（Plenoptics Camera）またはライトフィールドカメラ（Light Field Camera）等によって生成された三次元情報を有する画像データに対応する画像や、公知の三次元モデルデータに対応する画像が三次元画像として観察可能に表示される。さらに、文字等の二次元情報に対応する画像データに対応する画像は、空中に二次元状に観察可能に表示される。以下、詳細に説明する。

図１は、実施の形態による三次元表示装置１００の要部構成を説明するブロック図である。三次元表示装置１００は、制御回路１０１、ＨＤＤ１０２、モニタ１０４、メモリ１０５、入力部材１０６、メモリカードインタフェース１０７、外部インタフェース１０８、および検出部１１０を備える。

入力部材１０６は、ユーザによって操作されるスイッチやボタンを有するキーボードや、マウス等の操作部材である。入力部材１０６は、モニタ１０４に表示されたメニュー画面からユーザが所望するメニューや設定を選択し、選択したメニューや設定を実行させる際にユーザにより操作される。

検出部１１０は、ユーザから観察可能に表示された操作用の指標（操作のための画像）（例えばプッシュボタン等）へのユーザによる操作を検出する。検出部１１０は、ユーザが操作用の指標に対して行った操作の位置（所定平面上の位置）を示す検出信号を制御回路１０１へ出力する。検出部１１０としては、例えば、ユーザの操作に応じてモニタ１０４の上面の静電容量の変化を検出する静電容量パネルや、モニタ１０４の上部を撮影することによりユーザの操作位置を検出する撮像装置等を用いることができる。

ＨＤＤ１０２には、たとえばデジタルカメラで撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース１０８は、たとえばＵＳＢインタフェースケーブルや無線伝送路を介してデジタルカメラ等の外部機器とデータ通信を行う。三次元表示装置１００は、メモリカードインタフェース１０７や外部インタフェース１０８を介してメモリカード２０７ａや外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路１０１により制御されてＨＤＤ１０２に記録される。デジタルカメラで生成された画像ファイルは、制御回路１０１によりＨＤＤ１０２に記録される。ＨＤＤ１０２には、制御回路１０１で実行される各種のプログラム等が記録される。

制御回路１０１は、三次元表示装置１００の制御を行うマイクロコンピュータであり、ＣＰＵやＲＯＭその他周辺回路により構成される。制御回路１０１は、三次元入力部１０１ａと、二次元入力部１０１ｂと、表示用データ変換部１０１ｄと、表示制御部１０１ｅと、実行部１０１ｆとを機能として備える。三次元入力部１０１ａは、たとえばＨＤＤ１０２に記録されている三次元情報を有する画像データ（三次元画像データ）を読み出す。三次元画像データに対応する画像は、後述するモニタ１０４上に奥行を持った立体像として表示される。

二次元入力部１０１ｂは、たとえばＨＤＤ１０２に記録されている二次元の画像データ（二次元画像データ）を読み出す。二次元画像データは、たとえば文字や、各種の操作入力を行うためのコマンドボタンやコマンドボタン上の文字等の操作用指標や、ウインドウ枠等の二次元情報を有する画像に対応する画像データである。表示用データ変換部１０１ｄは、三次元画像データおよび二次元画像データを表示画像用データに変換する。この場合、表示用データ変換部１０１ｄは、三次元画像データや二次元画像データを複数の部分画像データに分割することにより表示画像用データに変換する。

表示制御部１０１ｅは、表示用データ変換部１０１ｄにより変換された表示画像用データである複数の部分画像データに基づいて、後述するモニタ１０４が備える表示画素を制御する。これにより、モニタ１０４の上部に三次元画像データに対応する立体像が表示されるとともに、二次元画像データに対応する二次元画像がモニタ１０４から所定の距離の位置に表示される。

実行部１０１ｆは、検出部１１０から入力した検出信号に基づいて、ユーザが操作した位置に表示された操作用の指標に対応する処理を実行する。例えば、三次元表示装置１００が自動券売機であれば実行部１０１ｆは発券のための処理を実行し、車載ナビゲーション装置であれば実行部１０１ｆは経路検索等の処理を実行する。この結果、ユーザは、操作用指標を操作することにより、所望する処理を三次元表示装置１００に実行させることができる。

なお、表示制御部１０１ｅは、立体像と二次元画像とをモニタ１０４に表示させるものに限定されず、立体像と二次元画像とうちの一方をモニタ１０４に表示させるものであっても良い。なお、三次元入力部１０１ａと、二次元入力部１０１ｂと、表示用データ変換部１０１ｄと、表示制御部１０１ｅとの詳細については、説明を後述する。また、本明細書においては、立体像と、二次元画像とを総称して三次元画像と呼ぶ。

メモリ１０５は制御回路１０１のワーキングメモリであり、たとえばＳＤＲＡＭにより構成される。モニタ１０４は、たとえば液晶モニタである。モニタ１０４は、表示画像用データに対応する画像、各種設定を行うためのメニュー画面などを表示する。

図２を参照して、モニタ１０４について説明する。なお、図２においては、モニタ１０４の表示面の水平方向をｘ軸、鉛直方向をｙ軸とし、ｘｙ平面（モニタ１０４の表示面）に垂直な方向をｚ軸として座標系を設定する。図２（ａ）は、モニタ１０４をｚ軸方向ユーザ側から見た場合のモニタ１０４の斜視図であり、図２（ｂ）は図２（ａ）を一部拡大して示す図であり、図２（ｃ）はｚ軸方向におけるモニタ１０４の断面を模式的に示す図である。

図２（ａ）、（ｂ）に示すように、モニタ１０４は、表示器２０１と、表示用マイクロレンズアレイ２０２とを備える。表示器２０１は、たとえばバックライトを有する液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配置された複数の表示画素群２１０を有する。これら複数の表示画素群２１０のそれぞれは、二次元状に配置された複数の表示画素２１１を有する。なお、本実施の形態においては、１個の表示画素群２１０には、１６×１６個の表示画素２１１が含まれるものとする。ただし、図２においては、図示の都合上、表示画素２１１の個数を実際よりも少なく描いている。表示画素２１１は、上述した表示制御部１０１ｅにより制御されて、表示画像用データに対応して発光する。

表示用マイクロレンズアレイ２０２は、二次元状に配列された複数の表示用マイクロレンズ２２０により構成される。図２（ｂ）に示すように、各表示用マイクロレンズ２２０は、複数の表示画素群２１０に対応した配置パターンで配置されている。また、図２（ｃ）に示すように、表示用マイクロレンズアレイ２０２はｚ軸方向ユーザ側に、表示用マイクロレンズ２２０の焦点距離ｆだけ表示画素２１１から離れた位置に配置される。各表示用マイクロレンズ２２０は、画像データに応じて表示画素２１１からの光をｚ軸方向ユーザ側の所定の像面に投影する。なお、表示用マイクロレンズ２２０のＦ値は１〜３であることが好ましい。表示用マイクロレンズ２２０のＦ値を１〜３にすることで、図１のようなユーザの操作を受け付ける三次元画像表示装置の視野角がユーザが三次元画像を観察するために最適な値となる。

次に、モニタ１０４による三次元画像の表示原理について、立体像の場合と二次元画像の場合とに分けて説明する。
＜立体像の表示原理について＞
モニタ１０４の表示原理はプレンオプティクスの原理を逆にしたものである。まず、図３を用いて、プレンオプティクスの原理について簡単に説明する。

図３は、表示画素２１１と、表示用マイクロレンズアレイ２０２と、表示される光点ＬＰとの関係を示した図である。上述したように、表示用マイクロレンズアレイ２０２は、表示画素２１１から、表示用マイクロレンズ２２０の焦点距離ｆだけｚ軸方向に離れた位置に設けられている。なお、図３においては、光点ＬＰは、表示用マイクロレンズアレイ２０２からｚ軸方向ユーザ側に距離４ｆだけ離れた位置にあるものとする。

光点ＬＰから表示画素２１１に向かって光束ＬＦを辿った場合がプレンオプティクスである。光点ＬＰからの光束ＬＦは、複数個の表示用マイクロレンズ２２０を通過して、表示用マイクロレンズ２２０から４ｆ／３の位置で焦点を結ぶ。しかし、表示用マイクロレンズ２２０は表示画素２１１からｚ軸方向に距離ｆだけ離れた位置に配置されているので、各表示用マイクロレンズ２２０を通過した光束ＬＦは、入射した表示用マイクロレンズ２２０のそれぞれに対応する表示画素２１１で広がりを持った像となる。以後、この広がりを持った像を光断面と呼び、光断面の形状をパターンＰｔと呼ぶ。

図４に、上記のパターンＰｔを二次元的に展開した場合を示す。なお、図４においては、図示の都合上、表示用マイクロレンズ２２０の配列を正方として描く。すなわち、プレンオプティクスの原理によれば、図３に示す光点ＬＰの光強度（輝度）が、図４に示すパターンＰｔに分配されることになる。図４においては、パターンＰｔを斜線を付して示す。

モニタ１０４では、上述したプレンオプティクスの原理を逆にすることによって、すなわち表示画素２１１から輻射される光束を、表示用マイクロレンズ２２０を介して投影することにより奥行きを有する立体像が表示される。具体的には、図４に示すパターンＰｔが、表示器２０１を構成する表示画素２１１上に割り当てられる。このとき、図３を用いて説明した場合とは逆に、表示画素２１１に割り当てられたパターンＰｔは表示用マイクロレンズ２２０によって投影されて光点ＬＰに点像を形成する。各パターンＰｔに含まれる表示画素２１１から輻射される多方向に進む光束には、その中に光点ＬＰに集光する方向の光束、すなわち上述した入射光束ＬＦの表示画素２１１への入射角度と同一の角度で輻射する光束が含まれるからである。このため、表示用マイクロレンズアレイ２０２からｚ軸方向に距離４ｆだけ離れた位置に立体像が形成される。

図５を用いて、いくつ、あるいは、どの表示用マイクロレンズ２２０といずれのパターンＰｔとが対応するかについて、光点ＬＰからの光束ＬＦの広がりを表示用マイクロレンズ２２０上に投影することにより説明する。なお、図５では、光点ＬＰから広がる光束ＬＦは、光点ＬＰのｚ軸方向の位置が表示用マイクロレンズ２２０の焦点距離ｆの場合と、その二倍の距離２ｆの場合とについて示している。図５においては、光点ＬＰのｚ軸方向の位置が距離ｆの場合の光束ＬＦの広がり（領域）ｒ１を破線で示し、距離２ｆの場合の領域ｒ２を一点鎖線で示す。光点ＬＰが表示用マイクロレンズ２２０の焦点距離ｆの位置にあると、光束ＬＦの領域ｒ１は表示用マイクロレンズ２２０で規定されているので、光束ＬＦは１個の表示用マイクロレンズ２２０内に入射する。以上により、１個の光点ＬＰに対応する表示用マイクロレンズ２２０が決まる。

光点ＬＰのｚ軸方向の位置が表示用マイクロレンズ２２０の焦点距離ｆのときは、光束ＬＦはその表示用マイクロレンズ２２０の直下の領域全体に円形開口の光として広がる。このため、正方領域に内接する円の内部に含まれるすべての表示画素２１１が発光すると、パターンＰｔが投影されて光点ＬＰで空中に点像が形成される。光点ＬＰのｚ軸方向の位置の絶対値が焦点距離ｆより小さい場合には、光束ＬＦは表示用マイクロレンズ２２０の直下の領域内で収束せずに広がる。しかし、光点ＬＰから広がる光束ＬＦの角度は表示用マイクロレンズ２２０のＦ値で開口の最大（Ｆの最小）が規定されるので、入射する光束ＬＦは広がり角の制限を受け、パターンＰｔは被覆領域にとどまる。

ここで光点ＬＰのｚ軸方向の位置が距離２ｆにある場合について説明する。図６に、この場合に関係する表示用マイクロレンズ２２０を示す。図６（ａ）に示すように、関係する表示用マイクロレンズ２２０は自身、すなわち光点ＬＰとｚ軸方向について同軸上に配置された表示用マイクロレンズ２２０（以後、基点マイクロレンズ２２０ａ）とそれに隣接する８個の表示用マイクロレンズ２２０である。表示用マイクロレンズ２２０による開口の制限を考えるとき、図６（ａ）において斜線で示す被覆領域のなかにパターンＰｔが存在することになる。この場合、各表示用マイクロレンズ２２０に対応するパターンＰｔは、図６（ｂ）の斜線で示す領域となる。

図６（ｂ）に示すように、ひとつの基点マイクロレンズ２２０ａの被覆領域が分割され、隣接する表示用マイクロレンズ２２０に配分されている。分割され配分された被覆領域（部分領域）を積算した場合の全領域は、ひとつの表示用マイクロレンズ２２０の開口領域になる。そのため、どのような位置の光点ＬＰでもパターンＰｔの全領域の大きさは同じになるので、部分領域を積算して全領域を算出する場合には、それぞれの部分領域が所属する表示用マイクロレンズ２２０が決まればよいことになる。

図５において、光点ＬＰのｚ軸方向の位置と、倍率つまり基点マイクロレンズ２２０ａに隣接する表示用マイクロレンズ２２０との個数と関係について示したが、これを仮想的な開口領域に適用する。たとえば、倍率で縮小した表示用マイクロレンズ２２０の配列で開口領域を分割し、これで定義された表示用マイクロレンズ２２０の中の同じ位置に開口領域の断片を配するという方法をとる。開口領域に外接する正方形を倍率２で縮小し、表示用マイクロレンズ２２０の配列で開口領域を分割（領域分割）した場合を例に説明する。

図７は、上記の領域分割を基点マイクロレンズ２２０ａに展開した場合のパターンＰｔを示している。同様の領域分割を倍率に応じて行うと、倍率、すなわち光点ＬＰに対するパターンＰｔが得られる。具体的には、表示用マイクロレンズ２２０の径（マイクロレンズの一辺の大きさ）をｇとするとき、ｇ/ｍ幅の格子で開口領域が分割される。倍率は、光点ＬＰの高さ（位置）ｙとマイクロレンズの焦点距離ｆとの比ｍ＝ｙ/ｆで表すことができる。比ｍには負の符号も存在する。比ｍの符合が負の場合には、表示用マイクロレンズ２２０より表示画素２１１側に光点ＬＰがあるものとする。

表示用マイクロレンズ２２０による被覆領域と表示用マイクロレンズ２２０の個数との積は、ほぼ表示画素群２１０に含まれる表示画素２１１の全画素数に等しくなる。このため、１個の表示用マイクロレンズ２２０内で偏心した複数の点のそれぞれに対応する光点ＬＰを形成することは、表示画素２１１に再現されたパターンＰｔを重畳して投影することに等しい。すなわち、各偏心した光点ＬＰからの光束ＬＦが重畳して表示画素２１１上に存在している。ただし、倍率が１倍のときには、この演算は、単なる内挿作業になって、分解能向上には実質的に寄与しない。これは、表示用マイクロレンズ２２０頂点近辺に結像すれば、光学的に奥行き方向の情報が失われることを示している。

図８は、基点マイクロレンズ２２０ａの中心位置に対して左に偏心した光点ＬＰについての分割領域を表したものある。基点マイクロレンズ２２０ａ（レンズ径をｇとする）の中心から図８の左方向へｐだけ偏心して、光点ＬＰの高さ（位置）が２ｆの場合について説明する。なお、図８においては、点Ｏ１は偏心した光点ＬＰ、点Ｏ２は表示用マイクロレンズ２２０の中心位置を示す。この場合、図７に示す表示用マイクロレンズ２２０を図中の右方向へｐだけずらし、開口領域を分割すれば、図８に示す場合の分割領域が得られる。

表示用マイクロレンズ２２０を１６個に分割するとすれば、中心位置の座標を（０，０）として、ｘ軸ｙ軸に対して、それぞれ−ｇ/２、−ｇ/４、０、ｇ/４、ｇ/２の位置のパターンとそれによる分割領域および、全領域の積算をおこなえば、ひとつのマイクロレンズ１２０に対して１６点の光点群を得ることができる。

＜二次元画像の表示原理＞
文字や操作用指標等の二次元画像をモニタ１０４からｚ軸方向の所定位置に空中像として二次元表示させる場合の原理について説明する。この場合、図９に示すように、表示用マイクロレンズ２２０に対応する表示画素群２１０のそれぞれについて、１６×１６個の表示画素２１１を４×４個の合成表示画素２１２に纏めた系を考える。この合成表示画素２１２を１つの画素とみなして、二次元表示させる二次元画像データのパターンＰｔが割り当てられる。

図１０は、二次元表示する画像の一例が文字「Ａ」であることを示す。図１０に示す文字「Ａ」が表示用マイクロレンズ２２０からｚ軸方向に距離４ｆの位置に二次元表示されるためには、図１１に示すようにパターンＰｔが合成表示画素２１２に割り当てられる。なお、図１１（ａ）は表示用マイクロレンズ２２０が正方配列の場合を示し、図１１（ｂ）は表示用マイクロレンズ２２０がハニカム配列の場合を示している。図１１に示すようなパターンＰｔが合成表示画素２１２に割り当てられることによって、図１２に示すように、表示用マイクロレンズ２２０からｚ軸方向に距離４ｆの位置に形成される表示空中像面Ｓに、文字「Ａ」が空中像として二次元表示される。なお、表示空中像面Ｓは距離４ｆの位置に形成されるものに限定されず、表示用マイクロレンズ２２０の焦点距離ｆ以上の位置、または表示用マイクロレンズ２２０のレンズ面に形成されるものであってもよい。表示空中像面Ｓは、ユーザが入力部材１０６を操作することにより、所望の位置に形成される。

二次元画像が空中像として表示されるためには、二次元画像を構成する各点像、すなわち各光点ＬＰが表示空中像面Ｓにて合成される必要がある。上述したように、１つの光点ＬＰが形成されるために、１個の表示用マイクロレンズ２２０による被覆領域に含まれる合成表示画素２１２、すなわち１６個の合成表示画素２１２に割り当てられたパターンＰｔの表示用マイクロレンズ２２０による投影像が合成される。そのため、１個の表示用マイクロレンズ２２０が１６個の光点ＬＰの形成に寄与している場合には、１個の表示用マイクロレンズ２２０について、表示用マイクロレンズ２２０による被覆領域内の合成表示画素２１２の出力の１６倍の出力が必要となり、これら全ての出力が合成される必要がある。具体的には、１個の光点ＬＰを形成する各合成表示画素２１２の大きさが分配されると、隣接する光点ＬＰでは合成表示画素２１２の出力に加算するようにして出力が分配される。換言すると、１つの光点ＬＰについて１６個分の合成表示画素２１２の出力が重畳されたものとなり、画素出力は最大１６倍のダイナミックレンジが必要となる。

三次元表示装置１００の制御回路１０１は、上述した図１１に示すようにパターンＰｔを表示画素２１１に割り当てることにより、表示用マイクロレンズアレイ２０２からｚ軸方向の所定の高さに形成される表示空中面Ｓに文字等の二次元画像を表示させる。表示空中面Ｓの二次元画像は、表示用マイクロレンズ２２０によって合成された各点像である各光点ＬＰが合成されたものである。このため、表示空中面Ｓの二次元画像の最小分解能は表示用マイクロレンズ２２０の大きさになる。すなわち、表示空中面Ｓの二次元画像の解像度は表示用マイクロレンズ２２０の配列ピッチによって決まる。

表示用データ変換部１０１ｄは、二次元画像データを、複数の表示用マイクロレンズ２２０に応じた部分画像データに分割することにより表示画像用データを生成する。図１０に示す例においては、表示用データ変換部１０１ｄは、１６個の部分画像データに分割する。そして、表示用データ変換部１０１ｄは、分割した部分画像データのそれぞれについて表示画像用データを生成する。表示画像用データは、図１１に示すようなパターンＰｔを表す画像データである。表示画像用データが生成されると、表示制御部１０１ｅは、表示画像用データが示すパターンＰｔを合成表示画素２１２に割り当てる。換言すると、表示制御部１０１ｅは、表示画像用データとして分割された各部分画像データに対応する位置に配置された合成表示画素２１２を発光させる。

三次元画像（すなわち立体像および二次元画像）を同一のモニタ１０４に表示する場合の三次元表示装置１００による処理について説明する。この場合、三次元表示装置１００の制御回路１０１は、たとえばモニタ１０４に表示される複数のウインドウのうち、あるウインドウは三次元表示させ、他のウインドウ等は二次元表示させる。あるいは、制御回路１０１は、モニタ１０４にある画像データに対応する画像を三次元表示させ、画像の枠部分に対応する部分を二次元表示させる。

三次元入力部１０１ａは、モニタ１０４に立体像として表示させる画像データをＨＤＤ１０２から読み出す。三次元入力部１０１ａから読み出される画像データは、たとえばプレンオプティクスカメラ等によって取得された三次元情報、すなわちパターンＰｔを表す画像データである。三次元入力部１０１ａから読み出される画像データの別の例は、三次元モデルデータである。二次元入力部１０１ｂは、モニタ１０４に二次元画像として表示させる文字等に対応する二次元画像データをＨＤＤ１０２から読み出す。表示用データ変換部１０１ｄは、立体像として表示させるための三次元画像データと、二次元画像データとを三次元表示画像用データに変換する。表示制御部１０１ｅは、表示画像用データを示すパターンＰｔを表示画素２１１に割り当てて発光させる。これにより、表示制御部１０１ｅは、ｚ軸方向に奥行きを有する立体像と、ｚ軸方向の所定の高さに二次元表示された二次元画像とを三次元画像として同一画面、すなわちモニタ１０４に表示させる。

このとき、立体像として表示するための画像データを生成したプレンオプティックカメラが有するマイクロレンズの中心位置（光軸）と、表示用マイクロレンズ２２０の中心位置（光軸）とが異なる場合、表示制御部１０１ｅは公知の方法を用いて画像データに対して正規化処理を施す。これにより、表示制御部１０１ｅは、各パターンＰｔに対応した光点ＬＰが基点マイクロレンズ２２０ａの中心軸上に位置するように、画像データの位置をｘｙ平面上で移動させる。さらに、表示制御部１０１ｅは、各基点マイクロレンズ２２０ａに隣接する表示用マイクロレンズ２２０に対応するパターンＰｔを、基点マイクロレンズ２２０ａを中心として点対称の位置に変換することにより表示画像用データを生成する。この処理は、画像データを取得する際のプレンオプティックカメラにおける光の進行方向と、モニタ１０４における光の進行方向が逆であることから、立体像の奥行き方向（ｚ軸方向）における凹凸と撮影時の奥行き方向の凹凸とを一致させるためのものである。そして、表示制御部１０１ｅは、生成した表示画像用データが示すパターンＰｔを表示画素２１１に割り当てる。

＜表示制御部１０１ｅと検出部１１０との協調動作の説明＞
図１３（ａ）は、表示制御部１０１ｅにより表示される操作用指標であるプッシュボタン３００の斜視図である。図１３（ｂ）は、プッシュボタン３００の断面図である。プッシュボタン３００は、板状の基部３２０と、基部３２０に設けられたボタン部３１０とから成る。ボタン部３１０は、基部３２０からユーザ側に張り出している。

表示制御部１０１ｅは、ユーザから所定距離だけ離れた位置に、プッシュボタン３００を表示する。検出部１１０は、ユーザの手指等によるボタン部３１０への押下操作を検出する。具体的には、図１３（ｂ）に示す面３３０よりも奥側（表示用マイクロレンズアレイ２０２側）にユーザの手指等が移動すると、検出部１１０は、ボタン部３１０に押下操作が為されたと判断する。

表示制御部１０１ｅは、検出部１１０により押下操作が検出されたことに応じて、プッシュボタン３００のボタン部３１０を奥側（表示用マイクロレンズアレイ２０２側）に縮める。すなわち表示制御部１０１ｅは、ボタン部３１０を表示用マイクロレンズ２２０の光軸方向（ｚ方向）に向けて変形させる。

図１４は、変形後のボタン部３１０を模式的に示す断面図である。図１４では、ボタン部３１０の基部３２０からの高さが、図１３（ｂ）よりも低くなっている。

なお、ボタン部３１０の変形は滑らかに行うことが望ましい。つまり、表示制御部１０１ｅは、押下操作に応じてプッシュボタン３００の表示態様を図１３（ｂ）に示す態様から図１４に示す態様に変化させるが、この表示態様の変化は少しずつ行うことが望ましい。換言すると、表示制御部１０１ｅは、まずボタン部３１０の基部３２０からの高さを、図１３（ｂ）からわずかな量だけ減らす。一定時間（例えば３０分の１秒）後に、表示制御部１０１ｅは、ボタン部３１０の基部３２０からの高さを、更にわずかな量だけ減らす。表示制御部１０１ｅは、これを繰り返すことにより、最終的にボタン部３１０の基部３２０からの高さを、図１４に示す高さにする。

ＨＤＤ１０２には、ボタン部３１０の基部３２０からの高さがさまざまな高さである状態のプッシュボタン３００に対応する複数の画像データが記憶されている。表示用データ変換部１０１ｄは、これら複数の画像データを、順次表示画像用データに変換する。表示制御部１０１ｅは、それら複数の表示画像用データを、モニタ１０４に順次表示させることにより、ボタン部３１０をアニメーションさせる。すなわち、表示制御部１０１ｅは、プッシュボタン３００の１コマ１コマを順次再生することにより、プッシュボタン３００が変形する三次元動画像をモニタ１０４に表示させる。

ユーザは、プッシュボタン３００の変化を目視することにより、プッシュボタン３００への押下操作が為されたことを確認することができる。つまり、ユーザによる押下操作を、ユーザの視覚へとフィードバックすることができる。

以上で説明した実施の形態による三次元表示装置１００によれば、以下の作用効果が得られる。
（１）表示制御部１０１ｅは、表示画素２１１を制御して、ボタン部３１０が移動および変形する三次元動画像をモニタ１０４に表示させる。このようにしたので、インタラクティブに変化する三次元画像をユーザに観察させることができる。

（２）表示制御部１０１ｅは、ボタン部３１０が複数の表示用マイクロレンズ２２０の光軸方向（ｚ方向）に移動および変形する三次元動画像を表示させる。このようにしたので、前後方向への変化という、三次元画像特有の動きをユーザに観察させることができる。

（３）検出部１１０は、モニタ１０４の表示面から所定の位置に表示された、操作用の指標であるプッシュボタン３００に対して行われた操作を検出する。表示制御部１０１ｅは、検出部１１０によって検出された操作に応じてボタン部３１０が移動および変形する三次元動画像を表示させる。このようにしたので、ユーザによる操作をユーザの視覚にフィードバックすることができ、ユーザに対して自分が操作を行ったという実感をより確実に与えることができる。

（４）検出部１１０は、ボタン部３１０に対して行われた押下操作を検出する。表示制御部１０１ｅは、検出部１１０によって検出された押下操作に応じてボタン部３１０が複数の表示用マイクロレンズ２２０の光軸方向（ｚ方向）に移動および変形する三次元動画像を表示させる。このようにしたので、ユーザによる操作をユーザの視覚にフィードバックすることができ、ユーザに対して自分が操作を行ったという実感をより確実に与えることができる。

以上で説明した実施の形態による三次元表示装置１００を、以下のように変形できる。
図２において説明したように、表示画素２１１は、表示用マイクロレンズ２２０から焦点距離ｆだけ離れた位置に設けられていた。表示画素２１１を、表示用マイクロレンズ２２０から、焦点距離ｆよりも大きく離すこともできる。

図１５は、本変形例における表示画素２１１と表示用マイクロレンズ２２０との関係を模式的に示す断面図である。図１５では、表示画素２１１と表示用マイクロレンズ２２０との距離は、１．３ｆである。この場合、表示画素２１１から発せられ、表示用マイクロレンズ２２０を通過した光束は、表示用マイクロレンズ２２０からｚ方向に４ｆだけ離れた位置で集光される。このように、表示画素２１１を表示用マイクロレンズ２２０から焦点距離ｆよりも大きく離すことで、空中に表示される三次元画像は実施の形態よりも大きく飛び出して観察される。つまり、より大きな立体効果を得ることができる。
また、表示用マイクロレンズ２２０のＦ値は、１〜４であることが好ましい。前述したようにユーザが操作を行う操作部材を表示する場合は、操作するユーザの目と三次元表示装置１００との間の距離は、１５〜１００ｃｍ程度であり、Ｆ値を１〜４にするとマイクロレンズの視野角内にユーザの両目が収まり、立体感が損なわれることがない。

また、三次元表示装置１００は、実施の形態において例に挙げたモニタを有するパーソナルコンピュータ等に限定されるものではなく、モニタを備える電子機器に組み込まれても良い。この場合、電子機器としては、例えば、現金自動預払機（ＡＴＭ装置）や、公共交通機関の乗車券、定期券等の自動券売機や、映画館等の入場券等の自動券売機や、図書館や美術館等の各種情報端末装置や、車載ナビゲーション装置等に用いることができる。

上述した実施の形態では、ＨＤＤ１０２にプッシュボタン３００の１コマ１コマに対応する複数の三次元画像データを記憶しておき、表示の際に表示用データ変換部１０１ｄがそれらを都度表示画像用データに変換していた。しかしながら、プッシュボタン３００への押下操作の都度、画像データを変換するのは非効率的である。そこで、予め変換しておいた複数の表示画像用データをＨＤＤ１０２に記憶させておくこともできる。

上述した実施の形態では、ボタン部３１０の押下量（すなわち図１３（ｂ）に図示したボタン部３１０の基部３２０からの高さｈ１と、図１４に図示したボタン部３１０の基部３２０からの高さｈ２との差）は、常に一定であった。ボタン部３１０の押下量を、ユーザによる押下操作の操作量（すなわち押下量）に応じて変化させてもよい。例えば、ユーザが手指等をより大きく動かすと、ボタン部３１０の押下量がより大きくなるように、表示制御部１０１ｅを構成してもよい。また、ボタン部３１０の押下量が大きくなるのではなく、押下速度が速くなるようにしてもよい。例えば、１コマ１コマの表示間隔を短くすれば、ボタン部３１０の押下速度を速くすることができる。

上述した実施の形態では、操作用の指標の例としてプッシュボタン３００を挙げたが、これとは異なる物体を操作用の指標とすることもできる。例えばスライドスイッチやシーソースイッチ、レバー、ダイヤル等の種々の指標を表示することができ、検出部１１０がそれらの指標に対する操作を検出するようにすることができる。

また、本実施の形態において、プッシュボタン３００に対応する画像データを表示画像用データに変換する際に、ボタン部３１０の奥の基部３２０の部分（三次元表示装置１００の正面から見た際にボタン部３１０によって隠れて見えない基部３２０の部分）に対応する表示画像用データを生成することが好ましい。これにより三次元表示装置１００の正面より少しずれた位置からプッシュボタン３００を見た際に、三次元表示装置１００の正面から見た際にボタン部３１０によって隠れて見えていなかった基部３２０の部分の画像を見ることができる、三次元表示装置１００の正面から見た際にボタン部３１０によって隠れて見えていなかった基部３２０の部分の画像が欠落する現象（オクルージョン）をなくすことができる。なお、ボタン部３１０の奥の基部３２０の部分に対応する表示画像用データを生成する際に、ボタン部３１０の奥以外の部分の基部３２０の画像データを用いてボタン部３１０の奥の基部３２０の部分に対応する表示画像用データを生成してもよい。
また、図１３においてプッシュボタン３００のボタン部３１０の形状を直方体でなく四角錐台にしてもよい。四角錐台にすることで、ボタン部３１０の側面の部分が斜面となるため、上述したオクルージョンをなくすことができる。

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

１００…三次元表示装置、１０１…制御回路、１０１ｂ…二次元入力部、１０１ｄ…表示用データ変換部、１０１ｅ…表示制御部、１０１ｆ…実行部、１０４…モニタ、１１０…検出部

Claims (15)

1. 複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、
   第１の方向から前記表示部を見て前記表示部が形成した像が見えない部分に前記像を形成する表示画像データを、第２の方向から前記表示部を観察するときに前記表示部に表示させる表示制御部と、
   を備える表示装置。
2. 請求項１に記載の表示装置において、
   前記表示制御部は、前記表示部に第１の像と前記第１の像とは異なる第２の像とを前記マイクロレンズの光軸方向に所定の間隔離れた位置に形成することにより、前記第１の方向から前記表示部を見て前記表示部が形成した像が見えない部分に前記像を形成する表示画像データを、前記第２の方向から前記表示部を観察するときに前記表示部に表示させる表示装置。
3. 請求項２に記載の表示装置において、
   前記表示制御部は、前記第１の像と前記第２の像とにより、前記表示部の表示面から所定の位置に操作用のための画像を表示する表示装置。
4. 複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、
   表示画像用データにより前記画素を制御して、所定の物体が移動または変形する三次元動画像を前記表示部に表示させる表示制御部と、
   を備える表示装置。
5. 請求項４に記載の表示装置において、
   前記表示制御部は、前記物体が少なくとも前記複数のマイクロレンズの光軸方向に移動または変形する前記三次元動画像を表示させる表示装置。
6. 請求項４または５に記載の表示装置において、
   前記物体は、前記表示部の表示面から所定の位置に表示された操作のための画像であり、
   前記操作のための画像に対して行われた操作を検出する検出部を更に備え、
   前記表示制御部は、前記検出部によって検出された操作に応じて前記操作のための画像が移動または変形する前記三次元動画像を表示させる表示装置。
7. 請求項６に記載の表示装置において、
   前記検出部は、前記操作のための画像に対して行われた押下操作を検出し、
   前記表示制御部は、前記検出部によって検出された押下操作に応じて前記操作のための画像が前記複数のマイクロレンズの光軸方向に移動または変形する前記三次元動画像を表示させる表示装置。
8. 請求項７に記載の表示装置において、
   前記表示制御部は、前記検出部によって検出された押下操作の押下量に応じた量だけ前記操作のための画像が前記複数のマイクロレンズの光軸方向に移動または変形する前記三次元動画像を表示させる表示装置。
9. 請求項７または８に記載の表示装置において、
   前記表示制御部は、前記検出部によって検出された押下操作の押下量に応じた速度で前記操作のための画像が前記複数のマイクロレンズの光軸方向に移動または変形する前記三次元動画像を表示させる表示装置。
10. 請求項６〜９のいずれか一項に記載の表示装置において、
    前記検出部によって検出された操作に応じた処理を実行する実行部を更に備える表示装置。
11. 請求項６〜１０のいずれか一項に記載の表示装置において、
    前記表示画像用データは異なる複数の前記操作のための画像であり、前記表示制御部は、複数の前記操作のための画像を切り替えて表示することによりが前記操作のための画像移動または変形する前記三次元動画像を表示させる表示装置。
12. 請求項１〜１１のいずれか一項に記載の表示装置において、
    前記複数の画素と前記複数のマイクロレンズとの間の距離は、前記複数のマイクロレンズの焦点距離よりも大きい表示装置。
13. 請求項１〜１２のいずれか一項に記載の表示装置を備える電子機器。
14. 複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示画像用データを生成する画像処理装置であって、
    所定の物体の画像データを入力する入力部と、
    前記入力部から入力された前記所定の物体の画像データを、前記所定の物体が移動または変形する三次元動画像の表示画像用データに変換する変換部と、
    を備える画像処理装置。
15. 複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示画像用データを生成する画像処理プログラムであって、
    所定の物体の画像データの入力と、
    入力された前記所定の物体の画像データの、前記所定の物体が移動または変形する三次元動画像の表示画像用データへの変換と、
    をコンピュータに実行させる画像処理プログラム。

Images