JP2017182076A - Image display device - Google Patents
Image display device Download PDFInfo
- Publication number
- JP2017182076A JP2017182076A JP2017091867A JP2017091867A JP2017182076A JP 2017182076 A JP2017182076 A JP 2017182076A JP 2017091867 A JP2017091867 A JP 2017091867A JP 2017091867 A JP2017091867 A JP 2017091867A JP 2017182076 A JP2017182076 A JP 2017182076A
- Authority
- JP
- Japan
- Prior art keywords
- display
- dimensional
- image
- image data
- microlens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、画像表示装置に関する。 The present invention relates to an image display device.
従来から、立体像と平面図とを表示する表示装置が知られている(たとえば特許文献1)。 Conventionally, a display device that displays a stereoscopic image and a plan view is known (for example, Patent Document 1).
しかしながら、二次元画像の画質を損なうことなく三次元画像と同一画面上に表示することができないという問題がある。 However, there is a problem in that it cannot be displayed on the same screen as the three-dimensional image without impairing the image quality of the two-dimensional image.
本発明の第1の態様によると、画像表示装置は、複数のマイクロレンズ毎に複数の表示素子が設けられ、前記複数の表示素子から射出した光が前記マイクロレンズにより前記マイクロレンズから離れた位置で交差し三次元像を生成する表示部と、前記三次元像を生成するための表示用データに基づいて、前記複数のマイクロレンズ毎に配置された前記複数の表示素子の輝度を制御する表示制御部と、を有し、前記表示制御部は、二次元画像データが前記複数のマイクロレンズを介して前記マイクロレンズから所定の距離だけ離れた位置に二次元像として表示されるための前記二次元画像データが変換された変換画像データの位置に対応する前記表示素子の輝度を制御する。 According to the first aspect of the present invention, in the image display device, a plurality of display elements are provided for each of the plurality of microlenses, and light emitted from the plurality of display elements is separated from the microlens by the microlenses. And a display unit that controls the luminance of the plurality of display elements arranged for each of the plurality of microlenses based on display data for generating the three-dimensional image, and a display unit that intersects with each other to generate a three-dimensional image And the display control unit displays the two-dimensional image data as a two-dimensional image at a position separated from the microlens by a predetermined distance via the plurality of microlenses. The brightness of the display element corresponding to the position of the converted image data obtained by converting the dimensional image data is controlled.
本発明によれば、複数の表示用二次元画像データに対応する複数の表示画素群に関する光学部材によって投影像を合成するので、二次元画像データを二次元画像として表示できるとともに、三次元画像と二次元画像とを同一画面に表示させることができる。 According to the present invention, since the projection image is synthesized by the optical member related to the plurality of display pixel groups corresponding to the plurality of display two-dimensional image data, the two-dimensional image data can be displayed as a two-dimensional image, A two-dimensional image can be displayed on the same screen.
本実施の形態の三次元画像表示装置は、画像を表示するためのモニタを有するパーソナルコンピュータ等により構成される。この三次元画像表示装置では、公知のプレンオプティックカメラ(Plenoptics Camera)またはライトフィールドカメラ(Light Field Camera)等によって生成された三次元情報を有する画像データに対応する画像が三次元画像として観察可能に表示される。さらに、文字や各種の操作入力を行うためのコマンドボタン等の二次元情報に対応する画像データに対応する画像については、二次元画像として観察可能に表示される。以下、詳細に説明する。 The three-dimensional image display apparatus according to the present embodiment includes a personal computer having a monitor for displaying an image. In this 3D image display device, an image corresponding to image data having 3D information generated by a known Plenoptics Camera or Light Field Camera can be observed as a 3D image. Is displayed. Furthermore, images corresponding to image data corresponding to two-dimensional information such as characters and command buttons for performing various operation inputs are displayed so as to be observable as a two-dimensional image. Details will be described below.
図1は、実施の形態による三次元画像表示装置100の要部構成を説明するブロック図である。三次元画像表示装置100は、制御回路101、HDD102、モニタ制御回路103、モニタ104、メモリ105、入力部材106、メモリカードインタフェース107、および外部インタフェース108を備える。
FIG. 1 is a block diagram illustrating a main configuration of a 3D
入力部材106は、ユーザによって操作されるスイッチやボタンを有するキーボードや、マウス等の操作部材である。入力部材106は、モニタ104に表示されたメニュー画面からユーザが所望するメニューや設定を選択し、選択したメニューや設定を実行させる際にユーザにより操作される。
The
HDD102には、たとえばデジタルカメラで撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース108は、たとえばUSBインタフェースケーブルや無線伝送路を介してデジタルカメラ等の外部機器とデータ通信を行う。三次元画像表示装置100は、メモリカードインタフェース107や外部インタフェース108を介してメモリカード207aや外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路101により制御されてHDD102に記録される。デジタルカメラで生成された画像ファイルは、制御回路101によりHDD102に記録される。HDD102には、制御回路101で実行される各種のプログラム等が記録される。
The
制御回路101は、三次元画像表示装置100の制御を行うマイクロコンピュータであり、CPUやROMその他周辺回路により構成される。制御回路101は、抽出部101aと、三次元出力部101bと、三次元表示制御部101cと、二次元出力部101dと、表示用二次元データ変換部101eと、二次元表示制御部101fと、表示制御部101gとを機能的に備える。抽出部101aは三次元情報を有する画像データ(以後、三次元画像データ)に含まれる二次元情報を二次元表示データとして抽出する。二次元情報としては、上述したように文字や各種の操作入力を行うためのコマンドボタン、ウインドウ枠等が含まれる。三次元出力部101bは、たとえばHDD102に記録されている三次元画像データを読み出す。三次元表示制御部101cは、三次元画像データに基づいて、後述するモニタ104が備える表示画素を制御して三次元画像データを三次元画像として表示させる。
The
二次元出力部101dは、たとえばHDD102に記録されているニ次元画像データを読み出す。表示用二次元データ変換部101eは、抽出部101aにより抽出された二次元表示データと、二次元出力部101dにより読み出された二次元画像データとを複数の二次元部分画像データに分割する。そして、表示用二次元データ変換部101eは、二次元部分画像データの各々を複数の二次元表示用部分画像データに変換する。換言すると、表示用二次元データ変換部101eは、画像データを二次元情報を有する二次元表示用部分画像データに変換する。二次元表示制御部101fは、二次元表示用部分画像データに基づいて、後述するモニタ104が備える表示画素を制御して、二次元画像データと二次元表示データとを二次元画像として表示させる。表示制御部101gは、三次元画像と二次元画像とを同一画面上、すなわちモニタ104に表示させる。なお、抽出部101a、三次元出力部101b、三次元表示制御部101c、二次元出力部101d、表示用二次元データ変換部101e、二次元表示制御部101fおよび表示制御部101gの詳細については、説明を後述する。
The two-
メモリ105は制御回路101のワーキングメモリであり、たとえばSDRAMにより構成される。モニタ104は、たとえば液晶モニタであり、モニタ制御回路103により制御されて、表示用画像データに対応する画像、各種設定を行うためのメニュー画面などが表示される。
A
図2を参照して、モニタ104について説明する。なお、図2においては、モニタ104の表示面の水平方向をx軸、鉛直方向をy軸とし、xy平面(モニタ104の表示面)に垂直な方向をz軸として座標系を設定する。図2(a)は、モニタ104をz軸方向ユーザ側から見た場合のモニタ104の斜視図であり、図2(b)は図2(a)を一部拡大して示す図であり、図2(c)はz軸方向におけるモニタ104の断面を模式的に示す図である。
The
図2(a)、(b)に示すように、モニタ104は、表示器201と、表示用マイクロレンズアレイ202とを備える。表示器201は、たとえばバックライトを有する液晶表示器や有機EL表示器等により構成され、二次元状に配置された複数の表示画素群210を有する。これら複数の表示画素群210のそれぞれは、二次元状に配置された複数の表示画素211を有する。なお、本実施の形態においては、1個の表示画素群210には、16×16個の表示画素211が含まれるものとする。ただし、図2においては、図示の都合上、表示画素211の個数を実際よりも少なく描いている。表示画素211は、上述したモニタ制御回路103により制御されて、表示用画像データに対応して発光する。
As shown in FIGS. 2A and 2B, the
表示用マイクロレンズアレイ202は、二次元状に配列された複数の表示用マイクロレンズ220により構成される。図2(b)に示すように、各表示用マイクロレンズ220は、複数の表示画素群210に対応した配置パターンで配置されている。また、図2(c)に示すように、表示用マイクロレンズアレイ202はz軸方向ユーザ側に、表示用マイクロレンズ220の焦点距離fだけ表示画素211から離れた位置に配置される。各表示用マイクロレンズ220は、画像データに応じて表示画素211からの光をz軸方向ユーザ側の所定の像面に投影する。
The
次に、モニタ104による三次元画像の表示原理について説明する。モニタ104の表示原理はプレンオプティクスの原理を逆にしたものである。まず、図3を用いて、プレンオプティクスの原理について簡単に説明する。
Next, the principle of displaying a three-dimensional image on the
図3は、表示画素211と、表示用マイクロレンズアレイ202と、表示される光点LPとの関係を示した図である。上述したように、表示用マイクロレンズアレイ202は、表示画素211から、表示用マイクロレンズ220の焦点距離fだけz軸方向に離れた位置に設けられている。なお、図3においては、光点LPは、表示用マイクロレンズアレイ202からz軸方向ユーザ側に距離4fだけ離れた位置にあるものとする。
FIG. 3 is a diagram showing the relationship among the
光点LPから表示画素211に向かって光束LFを辿った場合がプレンオプティクスである。光点LPからの光束LFは、複数個の表示用マイクロレンズ220を通過して、表示用マイクロレンズ220から4f/3の位置で焦点を結ぶ。しかし、表示用マイクロレンズ220は表示画素211からz軸方向に距離fだけ離れた位置に配置されているので、各表示用マイクロレンズ220を通過した光束LFは、入射した表示用マイクロレンズ220のそれぞれに対応する表示画素211で広がりを持った像となる。以後、この広がりを持った像を光断面と呼び、光断面の形状をパターンPtと呼ぶ。
The case where the light beam LF is traced from the light spot LP toward the
図4に、上記のパターンPtを二次元的に展開した場合を示す。なお、図4においては、図示の都合上、表示用マイクロレンズ220の配列を正方として描く。すなわち、プレンオプティクスの原理によれば、図3に示す光点LPの光強度(輝度)が、図4に示すパターンPtに分配されることになる。図4においては、パターンPtを斜線を付して示す。
FIG. 4 shows a case where the pattern Pt is developed two-dimensionally. In FIG. 4, for convenience of illustration, the arrangement of the
モニタ104では、上述したプレンオプティクスの原理を逆にすることによって、すなわち表示画素211から輻射される光束を、表示用マイクロレンズ220を介して投影することにより奥行きを有する空中像が表示される。具体的には、図4に示すパターンPtが、表示器202を構成する表示画素211上に割り当てられる。このとき、図3を用いて説明した場合とは逆に、表示画素211に割り当てられたパターンPtは表示用マイクロレンズ220によって投影されて光点LPに像を形成する。各パターンPtに含まれる表示画素211から輻射される多方向に進む光束には、その中に光点LPに集光する方向の光束、すなわち上述した入射光束LFの表示画素211への入射角度と同一の角度で輻射する光束が含まれるからである。このため、表示用マイクロレンズアレイ202からz軸方向に距離4fだけ離れた位置に空中像が形成される。
In the
図5を用いて、いくつ、あるいは、どの表示用マイクロレンズ220といずれのパターンPtとが対応するかについて、光点LPからの光束LFの広がりを表示用マイクロレンズ220上に投影することにより説明する。なお、図5では、光点LPから広がる光束LFは、光点LPのz軸方向の位置が表示用マイクロレンズ220の焦点距離fの場合と、その二倍の距離2fの場合とについて示している。図5においては、光点LPのz軸方向の位置が距離fの場合の光束LFの広がりを破線で示し、距離2fの場合を一点鎖線で示す。光点LPが表示用マイクロレンズ220の焦点距離fの位置にあると、光束LFの広がりは表示用マイクロレンズ220で規定されているので、光束LFは1個の表示用マイクロレンズ220内に入射する。以上により、1個の光点LPに対応する表示用マイクロレンズ220が決まる。
With reference to FIG. 5, how many or which display microlens 220 corresponds to which pattern Pt is explained by projecting the spread of the light beam LF from the light spot LP onto the
光点LPのz軸方向の位置が表示用マイクロレンズ220の焦点距離fのときは、光束LFはその表示用マイクロレンズ220の直下の領域全体に円形開口の光として広がる。このため、正方領域に内接する円の内部に含まれるすべての表示画素211が発光すると、パターンPtが投影されて光点LPで空中像が形成される。光点LPのz軸方向の位置の絶対値が焦点距離fより小さい場合には、光束LFは表示用マイクロレンズ220の直下の領域内で収束せずに広がる。しかし、光点LPから広がる光束LFの角度は表示用マイクロレンズ220のF値で開口の最大(Fの最小)が規定されるので、入射する光束LFは広がり角の制限を受け、パターンPtは被覆領域にとどまる。
When the position of the light spot LP in the z-axis direction is the focal length f of the
ここで光点LPのz軸方向の位置が距離2fにある場合について説明する。図6に、この場合に関係する表示用マイクロレンズ220を示す。図6(a)に示すように、関係する表示用マイクロレンズ220は自身、すなわち光点LPとz軸方向について同軸上に配置された表示用マイクロレンズ220(以後、基点マイクロレンズ220a)とそれに隣接する8個の表示用マイクロレンズ220である。表示用マイクロレンズ220による開口の制限を考えるとき、図6(a)において斜線で示す被覆領域のなかにパターンPtが存在することになる。この場合、各表示用マイクロレンズ220に対応するパターンPtは、図6(b)の斜線で示す領域となる。
Here, the case where the position of the light spot LP in the z-axis direction is at the distance 2f will be described. FIG. 6 shows a
図6(b)に示すように、ひとつの基点マイクロレンズ220aの被覆領域が分割され、隣接する表示用マイクロレンズ220に配分されている。分割され配分された被覆領域(部分領域)を積算した場合の全領域は、ひとつの表示用マイクロレンズ220の開口領域になる。そのため、どのような位置の光点LPでもパターンPtの全領域の大きさは同じになるので、部分領域を積算して全領域を算出する場合には、それぞれの部分領域が所属する表示用マイクロレンズ220が決まればよいことになる。
As shown in FIG. 6B, the covering region of one
図5において、光点LPのz軸方向の位置と、倍率つまり基点マイクロレンズ220aに隣接する表示用マイクロレンズ220との個数と関係について示したが、これを仮想的な開口領域に適用する。たとえば、倍率で縮小した表示用マイクロレンズ220の配列で開口領域を分割し、これで定義された表示用マイクロレンズ220の中の同じ位置に開口領域の断片を配するという方法をとる。開口領域に外接する正方形を倍率2で縮小し、表示用マイクロレンズ220の配列で開口領域を分割(領域分割)した場合を例に説明する。
FIG. 5 shows the relationship between the position of the light spot LP in the z-axis direction and the magnification, that is, the number of
図7は、上記の領域分割を基点マイクロレンズ220aに展開した場合のパターンPtを示している。同様の領域分割を倍率に応じて行うと、倍率、すなわち光点LPに対するパターンPtが得られる。具体的には、表示用マイクロレンズ220の径(マイクロレンズの一辺の大きさ)をgとするとき、g/m幅の格子で開口領域が分割される。倍率は、光点LPの高さ(位置)yとマイクロレンズの焦点距離fとの比m=y/fで表すことができる。比mには負の符号も存在する。比mの符合が負の場合には、表示用マイクロレンズ220より表示画素211側に光点LPがあるものとする。
FIG. 7 shows a pattern Pt when the above-described area division is developed on the
表示用マイクロレンズ220による被覆領域と表示用マイクロレンズ220の個数との積は、ほぼ表示画素群210に含まれる表示画素211の全画素数に等しくなる。このため、1個の表示用マイクロレンズ220内で偏心した複数の点のそれぞれに対応する光点LPを形成することは、表示画素211に再現されたパターンPtを重畳して投影することに等しい。すなわち、各偏心した光点LPからの光束LFが重畳して表示画素211上に存在している。ただし、倍率が1倍のときには、この演算は、単なる内挿作業になって、分解能向上には実質的に寄与しない。これは、表示用マイクロレンズ220頂点近辺に結像すれば、光学的に奥行き方向の情報が失われることを示している。
The product of the area covered by the
図8は、基点マイクロレンズ220aの中心位置に対して左に偏心した光点LPについての分割領域を表したものある。基点マイクロレンズ220a(レンズ径をgとする)の中心から図8の左方向へpだけ偏心して、光点LPの高さ(位置)が2fの場合について説明する。なお、図8においては、点O1は偏心した光点LP、点O2は表示用マイクロレンズ220の中心位置を示す。この場合、図7に示す表示用マイクロレンズ220を図中の右方向へpだけずらし、開口領域を分割すれば、図8に示す場合の分割領域が得られる。
FIG. 8 shows a divided region for the light spot LP decentered to the left with respect to the center position of the
表示用マイクロレンズ220を16個に分割するとすれば、中心位置の座標を(0,0)として、x軸y軸に対して、それぞれ−g/2、−g/4、0、g/4、g/2の位置のパターンとそれによる分割領域および、全領域の積算をおこなえば、ひとつのマイクロレンズ120に対して16点の光点群を得ることができる。
If the
次に、文字等の二次元情報を空中像として二次元表示させる場合の原理について説明する。この場合、図9に示すように、表示用マイクロレンズ220に対応する表示画素群210のそれぞれについて、16×16個の表示画素211を4×4個の合成表示画素212に纏めた系を考える。この合成表示画素212を1つの画素とみなして、二次元表示させる二次元画像データのパターンPtが割り当てられる。
Next, the principle for two-dimensional display of two-dimensional information such as characters as an aerial image will be described. In this case, as shown in FIG. 9, for each
図10は、二次元表示する画像の一例が文字「A」であることを示す。図10に示す文字「A」が表示用マイクロレンズ220からz軸方向に距離4fの位置に二次元表示されるためには、図11に示すようにパターンPtが合成表示画素212に割り当てられる。なお、図11(a)は表示用マイクロレンズ220が正方配列の場合を示し、図11(b)は表示用マイクロレンズ220がハニカム配列の場合を示している。図11に示すようなパターンPtが合成表示画素212に割り当てられることによって、図12に示すように、表示用マイクロレンズ220からz軸方向に距離4fの位置に形成される表示空中像面Sに、文字「A」が空中像として二次元表示される。なお、表示空中像面Sは距離4fの位置に形成されるものに限定されず、表示用マイクロレンズ220の焦点距離f以上の位置、または表示用マイクロレンズ220のレンズ面に形成されるものであってもよい。表示空中像面Sは、ユーザが入力部材106を操作することにより、所望の位置に形成される。
FIG. 10 shows that an example of an image to be two-dimensionally displayed is the letter “A”. In order for the character “A” shown in FIG. 10 to be two-dimensionally displayed at a distance of 4 f from the
文字等の二次元画像が空中像として表示されるためには、この空中像を構成する各光点LPが合成される必要がある。上述したように、1つの光点LPが形成されるために、1個の表示用マイクロレンズ220による被覆領域に含まれる合成表示画素212、すなわち16個の合成表示画素212に割り当てられたパターンPtの表示用マイクロレンズ220による投影像が合成される。そのため、1個の表示用マイクロレンズ220が16個の光点LPの形成に寄与している場合には、1個の表示用マイクロレンズ220について、表示用マイクロレンズ220による被覆領域内の合成表示画素212の出力の16倍の出力が必要となり、これら全ての出力が合成される必要がある。具体的には、1個の光点LPを形成する各合成表示画素212の大きさが分配されると、隣接する光点LPでは合成表示画素212の出力に加算するようにして出力が分配される。換言すると、1つの光点LPについて16個分の合成表示画素212の出力が重畳されたものとなり、画素出力は最大16倍のダイナミックレンジが必要となる。
In order for a two-dimensional image such as a character to be displayed as an aerial image, it is necessary to synthesize each light spot LP constituting this aerial image. As described above, since one light spot LP is formed, the pattern Pt assigned to the
三次元画像表示装置100の制御回路101は、上述した図11に示すようにパターンPtを表示画素211に割り当てることにより、表示用マイクロレンズアレイ202からz軸方向の所定の高さに形成される表示空中面Sに文字等の二次元画像を表示させる。この場合、二次元出力部101dは、モニタ104に二次元画像として表示させる二次元画像データをHDD102から読み出す。二次元出力部101dから読み出される二次元画像データは、通常の二次元画像の表示に用いられるディスプレイに出力される画像データと同一の内容である。
The
表示用二次元データ変換部101eは、二次元出力部101dによって読み出された二次元画像データを、複数の表示用マイクロレンズ220に応じた部分画像データに分割する。図10に示す例においては、表示用二次元データ変換部101eは、16個の部分画像データに分割する。そして、表示用二次元データ変換部101eは、分割した部分画像データのそれぞれについて二次元表示用部分画像データを生成する。二次元表示用部分画像データは、図11に示すようなパターンPtを表す画像データである。二次元表示用部分画像データが生成されると、二次元表示制御部101fは、表示用部分画像データが示すパターンPtを合成表示画素212に割り当てる。換言すると、二次元表示制御部101fは、モニタ制御回路103に指令して、二次元表示用部分画像データに対応する位置に配置された合成表示画素212を発光させる。
The display two-dimensional
三次元画像および二次元画像を同一のモニタ104に表示する場合の三次元画像表示装置100による処理について説明する。この場合、三次元表示装置100の制御回路101は、たとえばモニタ104に表示される複数のウインドウのうち、あるウインドウは三次元表示させ、他のウインドウや各種の操作コマンドを示す文字等は二次元表示させる。あるいは、制御回路101は、モニタ104にある画像データに対応する画像を三次元表示させ、画像の枠部分に対応する部分を二次元表示させる。
Processing by the 3D
三次元出力部101bは、モニタ104に三次元画像として表示させる三次元画像データをHDD102から読み出す。この場合、三次元出力部101bから読み出される三次元画像データは、たとえばプレンオプティクスカメラ等によって取得された三次元情報、すなわちパターンPtを表す画像データである。抽出部101aは、読み出された三次元画像データのうち、たとえばウインドウ枠等に対応して二次元表示する情報を二次元表示データとして抽出する。抽出された二次元表示データは、上述した表示用二次元データ変換部101eにより表示用部分画像データに変換される。
The three-
三次元表示制御部101cは、モニタ制御回路103に指令して、読み出された三次元画像データのうち、抽出部101aによって抽出されていない画像データを用いて表示用三次元画像データを生成する。そして、三次元表示制御部101cは、表示用三次元画像データ、すなわち三次元情報を示すパターンPtを表示画素211に割り当てて発光させる。このとき、三次元画像データを生成したプレンオプティックカメラが有するマイクロレンズの中心位置(光軸)と、表示用マイクロレンズ220の中心位置(光軸)とが異なる場合、すなわち表示用マイクロレンズ220の中心軸と光点LPとがz軸方向について同一軸上にない場合には、三次元表示制御部101cは、読み出された三次元画像データに対して正規化処理を施す。すなわち、三次元表示制御部101cは、各パターンPtに対応した光点LPが基点マイクロレンズ220aの中心軸上に位置するように、三次元画像データの位置をxy平面上で移動させる。
The 3D
三次元表示制御部101cは、各基点マイクロレンズ220aに隣接する表示用マイクロレンズ220に対応するパターンPtを、基点マイクロレンズ220aを中心として点対称の位置に変換することにより表示用三次元画像データを生成する。この処理は、画像データを取得する際のプレンオプティックカメラにおける光の進行方向と、モニタ104における光の進行方向が逆であることから、空中像の奥行き方向(z軸方向)における凹凸と撮影時の奥行き方向の凹凸とを一致させるためのものである。そして、三次元表示制御部101cは、生成した表示用三次元画像データが示すパターンPtを表示画素211に割り当てる。
The three-dimensional
表示制御部101gは、二次元表示制御部101fおよび三次元表示制御部101cを制御して、z軸方向に奥行きを有する三次元画像と、z軸方向の所定の高さに二次元表示された二次元画像とを同一画面、すなわちモニタ104に表示させる。この場合、二次元表示制御部101fは、モニタ制御回路103に指令して、モニタ104から所定の高さに二次元表示用部分画像データに対応する二次元画像、たとえばウインドウ枠や文字、操作ボタンを二次元表示させる。さらに、三次元表示制御部101cは、モニタ制御回路103に指令して、表示用三次元画像データに対応する画像を空中像として三次元表示させる。
The
以上で説明した実施の形態による三次元画像表示装置100によれば、以下の作用効果が得られる。
(1)表示器201には、二次元配置された複数の表示画素211を含む表示画素群210が複数個、二次元配置されている。複数の表示用マイクロレンズ220は、複数の表示画素群210の各々に対応して二次元配置され、対応する表示画素群210を投影する。三次元出力部101bは三次元画像データを出力し、三次元表示制御部101cは三次元画像データに基づいて、表示画素211を制御して三次元画像データを表示用マイクロレンズ210を介して三次元画像として表示する。二次元出力部101dは二次元画像データを出力し、表示用二次元データ変換部101は二次元画像データを複数の二次元部分画像データに分割し、二次元部分画像データの各々を複数の二次元表示用部分画像データに変換する。そして、二次元表示制御部101fは、二次元表示用部分画像データに基づいて、複数の二次元表示用部分画像データにそれぞれ対応する表示画素群210を制御して、二次元画像データのそれぞれを、複数の表示用二次元画像データに対応する複数の表示画素群210に関する表示用マイクロレンズ220による投影像の合成によって、二次元画像として表示させるようにした。したがって、文字やウインドウ枠等の二次元情報については、表示空中像面Sに二次元表示されるので、二次元情報がz軸方向に奥行きを有する像として表示されることがなくなり、ユーザによる二次元情報の観察が容易になる。
According to the three-dimensional
(1) A plurality of
さらに、1個の表示用マイクロレンズ220について16個の合成表示画素212を対応させてパターンPtを割り当てている。このため、1個の表示画素群210に1画素分の情報を割り当てる場合と比べて分解能が16倍に向上するので、ユーザは細かい文字等であっても困難なく観察できる。なお、原理的には1個の表示用マイクロレンズ220について、16×16個の表示画素211を対応させてパターンPtを割り当てることも可能である。ただし、二次元情報は、表示用マイクロレンズ220によって基本的には減少する。このため、本実施の形態においては、二次元表示の画質を確保するために、表示画素211の配列密度よりも低い分解能となるように合成表示画素212を設定している。しかし、表示器201の階調性能が十分に高い場合には、表示用マイクロレンズ220によって減少した情報を補える場合には、16×16個の表示画素211に対応させてパターンPtを割り当てることができる。
Further, a pattern Pt is assigned to each display microlens 220 in association with 16
本実施の形態による三次元画像表示装置100は、マイクロレンズアレイを用いた焦点可変の画像合成方法を発展させたものであり、複数の表示用マイクロレンズ220に被覆される表示画素211からの出力を加算して、1画素分の情報を合成する。すなわち、互いに近傍に配列された複数の表示用マイクロレンズ220によって被覆される領域の中から表示画素220を抽出し、合成瞳を構成する表示用マイクロレンズ220の被覆領域に相当する個数の表示画素220からの出力を積算して、1画素分の情報を合成する。したがって、1つの表示用マイクロレンズの被覆領域下に存在する何らかのテクスチャーを分離させて、被覆領域を複数の画素に分割する方式を用いる従来からの技術とは異なる計算方式を用いることによって、従来からの光学系を変更することなく表示画素211からの出力を合成できる。
The three-dimensional
(2)表示制御部101gは、表示器201を制御して、三次元画像と二次元画像とを同一画面に表示させるようにした。すなわち、たとえば、プレンオプティックカメラ等で取得した三次元画像データに対応する画像を三次元表示するとともに、この三次元表示された画像に対して表示の終了等の各種の操作を行うためのボタンや文字等を二次元表示することができる。したがって、三次元画像表示装置100においても、二次元情報が空中像として二次元表示されるため、二次元画像を表示するためのディスプレイと同様にユーザは二次元情報を観察して、操作性の低下を防止できる。
(2) The
(3)抽出部101aは三次元画像データに含まれる二次元情報を二次元表示データとして抽出し、二次元出力部101dは、抽出部101aにより抽出された二次元情報を二次元画像データとして出力するようにした。その結果、ウインドウ枠等の二次元情報が三次元画像データに含まれる場合であっても二次元表示されるので、ユーザによる視認性の低下を防止できる。
(3) The
以上で説明した実施の形態による三次元画像表示装置100を、以下のように変形できる。
(1)表示器201は、プレンオプティックを応用したインテグラル型の三次元表示を行うものに限定されない。たとえば、表示用マイクロレンズアレイ202を備えるものに代えて、多視差型のシリンドリカルレンズを有するものでもよい。または、1個の表示用マイクロレンズに、ある1つの視線方向の画像データを形成する1個の画素が多視線分含まれていてもよい。
The three-dimensional
(1) The
(2)二次元画像に対応する画像データ(パターンPt)を表示画素211上に割り当てて発光させるものに代えて、二次元画像に対応するパターンPtが再現された部材を用いてもよい。この場合、パターンPt、すなわち二次元情報をプリントした部材を表示用マイクロレンズアレイ202の下面に貼り付けるなどして、表示画素211と表示用マイクロレンズ220との間に配置すればよい。
(2) A member in which the pattern Pt corresponding to the two-dimensional image is reproduced may be used instead of the image data (pattern Pt) corresponding to the two-dimensional image assigned to the
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。 In addition, the present invention is not limited to the above-described embodiment as long as the characteristics of the present invention are not impaired, and other forms conceivable within the scope of the technical idea of the present invention are also within the scope of the present invention. included. The embodiments and modifications used in the description may be configured by appropriately combining them.
101 制御回路、 101a 抽出部、
101b 三次元出力部、 101c 三次元表示制御部、
101d 二次元出力部、 101e 表示用二次元データ変換部、
101f 二次元表示制御部、 101g 表示制御部、
104 モニタ、 201 表示器、
202 表示用マイクロレンズアレイ、 211 表示画素、
220 表示用マイクロレンズ
101 control circuit, 101a extraction unit,
101b three-dimensional output unit, 101c three-dimensional display control unit,
101d two-dimensional output unit, 101e two-dimensional data conversion unit for display,
101f 2D display control unit, 101g display control unit,
104 monitor, 201 display,
202 display microlens array, 211 display pixel,
220 Microlens for display
Claims (7)
前記三次元像を生成するための表示用データに基づいて、前記複数のマイクロレンズ毎に配置された前記複数の表示素子の輝度を制御する表示制御部と、を有し、
前記表示制御部は、二次元画像データが前記複数のマイクロレンズを介して前記マイクロレンズから所定の距離だけ離れた位置に二次元像として表示されるための前記二次元画像データが変換された変換画像データの位置に対応する前記表示素子の輝度を制御する画像表示装置。 A plurality of display elements are provided for each of the plurality of microlenses, and the light emitted from the plurality of display elements intersects at a position away from the microlens by the microlens and generates a three-dimensional image;
A display control unit for controlling the luminance of the plurality of display elements arranged for each of the plurality of microlenses based on display data for generating the three-dimensional image;
The display control unit converts the two-dimensional image data converted so that the two-dimensional image data is displayed as a two-dimensional image at a predetermined distance from the microlens via the plurality of microlenses. An image display device for controlling the luminance of the display element corresponding to the position of image data.
前記表示制御部は、前記三次元像を生成するための表示用データに基づいて、前記変換画像データの位置に対応しない前記表示素子の輝度を制御する画像表示装置。 The image display device according to claim 1,
The display control unit is an image display device that controls brightness of the display element that does not correspond to a position of the converted image data, based on display data for generating the three-dimensional image.
前記変換画像データは、所定のパターンからなる画像データである画像表示装置。 The image display device according to claim 1 or 2,
The image display device, wherein the converted image data is image data having a predetermined pattern.
前記所定のパターンは、前記所定の距離に依存して異なる画像表示装置。 The image display device according to claim 3,
The predetermined pattern is different depending on the predetermined distance.
前記二次元画像データは、二次元画像の表示に用いられるディスプレイに出力される画像データである画像表示装置。 In the image display device according to any one of claims 1 to 4,
The image display device, wherein the two-dimensional image data is image data output to a display used for displaying a two-dimensional image.
前記二次元画像データを前記変換画像データに変換する変換部をさらに有する画像表示装置。 In the image display device according to any one of claims 1 to 5,
An image display device further comprising a conversion unit that converts the two-dimensional image data into the converted image data.
前記二次元画像データを出力する出力部をさらに有する画像表示装置。
In the image display device according to any one of claims 1 to 6,
An image display device further comprising an output unit for outputting the two-dimensional image data.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011184728 | 2011-08-26 | ||
JP2011184728 | 2011-08-26 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012182953A Division JP2013064996A (en) | 2011-08-26 | 2012-08-22 | Three-dimensional image display device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017182076A true JP2017182076A (en) | 2017-10-05 |
Family
ID=60004616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017091867A Pending JP2017182076A (en) | 2011-08-26 | 2017-05-02 | Image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017182076A (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005175538A (en) * | 2003-12-05 | 2005-06-30 | Sharp Corp | Stereoscopic video display apparatus and video display method |
JP2005175539A (en) * | 2003-12-05 | 2005-06-30 | Sharp Corp | Stereoscopic video display apparatus and video display method |
JP2006133455A (en) * | 2004-11-05 | 2006-05-25 | Matsushita Electric Ind Co Ltd | Three-dimensional picture display device |
JP2009512885A (en) * | 2005-10-11 | 2009-03-26 | スリーエム イノベイティブ プロパティズ カンパニー | Method for forming sheeting with floating composite image and sheeting with floating composite image |
US20100033479A1 (en) * | 2007-03-07 | 2010-02-11 | Yuzo Hirayama | Apparatus, method, and computer program product for displaying stereoscopic images |
JP2010050707A (en) * | 2008-08-21 | 2010-03-04 | Sony Corp | Image pickup apparatus, display apparatus, and image processing apparatus |
JP2011029849A (en) * | 2009-07-23 | 2011-02-10 | Sony Corp | Receiving device, communication system, method of combining caption with stereoscopic image, program, and data structure |
JP2011166666A (en) * | 2010-02-15 | 2011-08-25 | Sony Corp | Image processor, image processing method, and program |
-
2017
- 2017-05-02 JP JP2017091867A patent/JP2017182076A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005175538A (en) * | 2003-12-05 | 2005-06-30 | Sharp Corp | Stereoscopic video display apparatus and video display method |
JP2005175539A (en) * | 2003-12-05 | 2005-06-30 | Sharp Corp | Stereoscopic video display apparatus and video display method |
JP2006133455A (en) * | 2004-11-05 | 2006-05-25 | Matsushita Electric Ind Co Ltd | Three-dimensional picture display device |
JP2009512885A (en) * | 2005-10-11 | 2009-03-26 | スリーエム イノベイティブ プロパティズ カンパニー | Method for forming sheeting with floating composite image and sheeting with floating composite image |
US20100033479A1 (en) * | 2007-03-07 | 2010-02-11 | Yuzo Hirayama | Apparatus, method, and computer program product for displaying stereoscopic images |
JP2010050707A (en) * | 2008-08-21 | 2010-03-04 | Sony Corp | Image pickup apparatus, display apparatus, and image processing apparatus |
JP2011029849A (en) * | 2009-07-23 | 2011-02-10 | Sony Corp | Receiving device, communication system, method of combining caption with stereoscopic image, program, and data structure |
JP2011166666A (en) * | 2010-02-15 | 2011-08-25 | Sony Corp | Image processor, image processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013031698A1 (en) | Three-dimensional image display device | |
JP6149339B2 (en) | Display device | |
KR102270131B1 (en) | Near-eye display with sparse sampling super-resolution | |
WO2011152531A1 (en) | Image capture device | |
JP4835659B2 (en) | 2D-3D combined display method and apparatus with integrated video background | |
JP2016173558A (en) | Method of stereolithography fabrication and method for photo-curing photosensitive resin | |
JP2011182317A (en) | Imaging apparatus | |
US10742963B2 (en) | Image capturing apparatus, control method for the same, and computer readable medium | |
JP2014222321A (en) | Microscope system, determination method of lamination area, and program | |
JP6516045B2 (en) | Image processing device | |
JP2019146155A (en) | Image processing device, image processing method, and program | |
JP2017107133A (en) | Display device, electronic device, image processing device, and image processing program | |
JP2017101965A (en) | Device | |
JP5252703B2 (en) | 3D image display device, 3D image display method, and 3D image display program | |
JP6764714B2 (en) | Image display system | |
JP2014006479A (en) | Display device, photographing method, and display method | |
JP2009077167A (en) | Video adjustment system | |
JP2017182076A (en) | Image display device | |
JP6102061B2 (en) | Image processing device | |
JP4987890B2 (en) | Stereoscopic image rendering apparatus, stereoscopic image rendering method, stereoscopic image rendering program | |
JP6593428B2 (en) | Display device | |
JP2017107134A (en) | Display device, electronic device, image processing device, and image processing program | |
JP4049738B2 (en) | Stereoscopic video display device and stereoscopic video imaging device | |
JP2006317679A (en) | Image display device and image pickup device having the same | |
JP3944202B2 (en) | Stereoscopic image reproducing apparatus, control method therefor, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180517 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190208 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190910 |