JP2017111246A

JP2017111246A - Display, electronic apparatus, image processing device, and image processing program

Info

Publication number: JP2017111246A
Application number: JP2015244439A
Authority: JP
Inventors: 岩根　透; Toru Iwane; 透岩根
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2015-12-15
Filing date: 2015-12-15
Publication date: 2017-06-22

Abstract

PROBLEM TO BE SOLVED: To provide a three-dimensional display that enables a user to correctly observe a stereoscopic image from an observation angle that is not perpendicular to the device.SOLUTION: A display comprises: a display part that includes a plurality of pixels, where light from some plurality of pixels of the plurality of pixels is made incident on one microlens of a plurality of microlenses, and forms an image at a position where rays of light passing through the plurality of microlenses intersect with each other; and a display control part that displays, on the display part, second data for a display image for the display part to form a second image that is deformed so that a first image formed by displaying first data for a display image on the display part is seen inclined in a second direction when the display part is seen from a first direction.SELECTED DRAWING: Figure 3

Description

本発明は、表示装置、電子機器、画像処理装置および画像処理プログラムに関する。 The present invention relates to a display device, an electronic device, an image processing device, and an image processing program.

立体像を表示する表示装置が知られている（たとえば特許文献１）。立体像を表示する表示装置の表示面に対して垂直な方向以外の方向から観察した場合に、垂直方向から観察した立体像に対して変化した立体像が観察されてしまう問題がある。 A display device that displays a stereoscopic image is known (for example, Patent Document 1). When observing from a direction other than the direction perpendicular to the display surface of the display device that displays the three-dimensional image, there is a problem that a three-dimensional image changed with respect to the three-dimensional image observed from the vertical direction is observed.

特開平１０−２２７９９５号公報Japanese Patent Application Laid-Open No. 10-227995

請求項１に記載の表示装置は、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、前記表示部を第１の方向から見たとき、前記表示部に第１の表示画像用データを表示して形成される第１の像が第２の方向に傾斜して見えるように変形された第２の像を前記表示部が形成するための第２の表示画像用データを前記表示部に表示させる表示制御部と、を備える。
請求項１１に記載の電子機器は、請求項１０に記載の表示装置と、前記操作のための画像に対して行われた操作を検出する操作検出部と、前記操作検出部によって検出された操作に応じた処理を実行する実行部と、を備える。
請求項１２に記載の画像処理装置は、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示画像用データを生成する画像処理装置であって、前記表示部を第１の方向から見たとき、前記表示部に形成される第１の像に対応する画像データを第２の方向に傾斜して見えるように変形された第２の像に対応する画像データに変換する第１の変換部と、前記第１の変換部より変換された前記第２の像に対応する画像データを前記表示画像用データに変換する第２の変換部と、を備える。
請求項１３に記載の画像処理プログラムは、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示画像用データを生成する画像処理プログラムであって、前記表示部を第１の方向から見たとき、前記表示部に形成される第１の像に対応する画像データを第２の方向に傾斜して見えるように変形された第２の像に対応する画像データへの変換と、前記変換された前記第２の像に対応する画像データの前記表示画像用データへの変換と、をコンピュータに実行させる。 The display device according to claim 1 has a plurality of pixels, light from some of the plurality of pixels is incident on one microlens of the plurality of microlenses, and the plurality of pixels A display unit that forms an image at a position where light passing through the microlens intersects, and the display unit is formed by displaying first display image data when the display unit is viewed from a first direction. A display control unit that causes the display unit to display second display image data for the display unit to form a second image deformed so that the first image appears to be inclined in the second direction; .
An electronic device according to an eleventh aspect is the display device according to the tenth aspect, an operation detection unit that detects an operation performed on the image for the operation, and an operation detected by the operation detection unit. And an execution unit that executes processing according to the above.
The image processing apparatus according to claim 12, comprising a plurality of pixels, wherein light from some of the plurality of pixels is incident on one microlens of the plurality of microlenses, and the plurality An image processing device for generating display image data to be displayed on a display device having a display unit that forms an image at a position where light that has passed through the micro lens intersects, wherein the display unit is viewed from a first direction. A first conversion unit that converts image data corresponding to the first image formed on the display unit into image data corresponding to the second image deformed so as to be inclined in the second direction. And a second conversion unit that converts image data corresponding to the second image converted by the first conversion unit into the display image data.
The image processing program according to claim 13 includes a plurality of pixels, light from some of the plurality of pixels is incident on one microlens of the plurality of microlenses, and the plurality of pixels An image processing program for generating display image data to be displayed on a display device including a display unit that forms an image at a position where light that has passed through the micro lens intersects, the display unit being viewed from a first direction The image data corresponding to the first image formed on the display unit is converted into image data corresponding to the second image deformed so as to be inclined in the second direction, and the conversion is performed. The computer is caused to execute conversion of the image data corresponding to the second image into the display image data.

本発明の実施の形態による三次元表示装置の要部構成を説明するブロック図The block diagram explaining the principal part structure of the three-dimensional display apparatus by embodiment of this invention 実施の形態による三次元表示装置が備えるモニタの構成の一例を説明する図The figure explaining an example of the structure of the monitor with which the three-dimensional display device by embodiment is equipped モニタと観察者によって観察される立体像との関係を模式的に示す断面図Sectional drawing which shows typically the relationship between a monitor and the three-dimensional image observed by an observer 第１変換部の説明図Explanatory drawing of the 1st conversion part 表示画素と表示用マイクロレンズアレイと観察される変形立体像との関係を示した図The figure which showed the relationship between a display pixel, the display microlens array, and the deformation | transformation solid image observed パターンを二次元的に展開した場合を示す図Diagram showing the case where the pattern is expanded two-dimensionally 表示用マイクロレンズとパターン光断面との関係を説明する図The figure explaining the relationship between the display microlens and the pattern light section 表示用マイクロレンズとパターンとの関係を説明する図The figure explaining the relationship between a display microlens and a pattern 領域分割を基点マイクロレンズに展開した場合のパターンを説明する図The figure explaining the pattern at the time of expanding an area division to a base microlens 基点マイクロレンズの中心位置に対して光点が偏心した場合のパターンを説明する図The figure explaining the pattern when a light spot is decentered with respect to the center position of a base micro lens 投影領域の形状の一例を示す図The figure which shows an example of the shape of a projection area パターンを二次元的に展開した場合を示す図Diagram showing the case where the pattern is expanded two-dimensionally 変形例における電子機器の要部構成を説明するブロック図FIG. 7 is a block diagram illustrating a main part configuration of an electronic device according to a modification.

（第１の実施の形態）
本実施の形態の三次元表示装置は、画像を表示するためのモニタを有するパーソナルコンピュータ等により構成される。この三次元表示装置は、三次元画像データにより表現される立体像（三次元像）を観察可能に表示する。三次元画像データは、例えばＣＯＬＬＡＤＡ（登録商標）ドキュメントなどの、周知の三次元コンピュータグラフィックソフトウェア等によって生成された三次元モデルデータである。 (First embodiment)
The three-dimensional display device according to the present embodiment includes a personal computer having a monitor for displaying an image. This three-dimensional display device displays a stereoscopic image (three-dimensional image) expressed by three-dimensional image data so as to be observable. The three-dimensional image data is three-dimensional model data generated by a well-known three-dimensional computer graphic software such as a COLLADA (registered trademark) document.

図１は、実施の形態による三次元表示装置１００の要部構成を説明するブロック図である。三次元表示装置１００は、制御回路１０１、ＨＤＤ１０２、モニタ制御回路１０３、モニタ１０４、メモリ１０５、入力部材１０６、メモリカードインタフェース１０７、および外部インタフェース１０８を備える。 FIG. 1 is a block diagram illustrating a main configuration of a 3D display device 100 according to an embodiment. The three-dimensional display device 100 includes a control circuit 101, an HDD 102, a monitor control circuit 103, a monitor 104, a memory 105, an input member 106, a memory card interface 107, and an external interface 108.

入力部材１０６は、ユーザによって操作されるスイッチやボタンを有するキーボードや、マウス等の操作部材である。入力部材１０６は、モニタ１０４に表示されたメニュー画面からユーザが所望するメニューや設定を選択し、選択したメニューや設定を実行させる際にユーザにより操作される。 The input member 106 is an operation member such as a keyboard having a switch or button operated by a user, a mouse, or the like. The input member 106 is operated by the user when selecting a menu or setting desired by the user from the menu screen displayed on the monitor 104 and executing the selected menu or setting.

ＨＤＤ１０２には、たとえばデジタルカメラで撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース１０８は、たとえばＵＳＢインタフェースケーブルや無線伝送路を介してデジタルカメラ等の外部機器とデータ通信を行う。三次元表示装置１００は、メモリカードインタフェース１０７や外部インタフェース１０８を介してメモリカード２０７ａや外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路１０１により制御されてＨＤＤ１０２に記録される。ＨＤＤ１０２には、制御回路１０１で実行される各種のプログラム等も記録される。 The HDD 102 stores, for example, an image file corresponding to a moving image or a still image taken by a digital camera. The external interface 108 performs data communication with an external device such as a digital camera via, for example, a USB interface cable or a wireless transmission path. The three-dimensional display device 100 inputs an image file or the like from the memory card 207a or an external device via the memory card interface 107 or the external interface 108. The input image file is recorded on the HDD 102 under the control of the control circuit 101. Various programs executed by the control circuit 101 are also recorded in the HDD 102.

制御回路１０１は、三次元表示装置１００の制御を行うマイクロコンピュータであり、ＣＰＵやＲＯＭその他周辺回路により構成される。制御回路１０１は、三次元入力部１０１ａ、第１変換部１０１ｂ、第２変換部１０１ｃ、第３変換部１０１ｄ、および表示制御部１０１ｅを機能として備える。三次元入力部１０１ａは、たとえばＨＤＤ１０２に記録されている三次元画像データを読み出す。この三次元画像データは、前述の通り、立体像の三次元モデルデータである。三次元表示装置１００は、この三次元画像データに基づき、後述するモニタ１０４と交差する方向に奥行を持った立体像を表示する。立体像は、たとえば各種の操作入力を行うためのコマンドボタンやコマンドボタン上の文字等の操作用指標である。以下の説明では、三次元入力部１０１ａにより読み出された三次元画像データを、三次元原画像データと称する。 The control circuit 101 is a microcomputer that controls the three-dimensional display device 100, and includes a CPU, a ROM, and other peripheral circuits. The control circuit 101 includes a three-dimensional input unit 101a, a first conversion unit 101b, a second conversion unit 101c, a third conversion unit 101d, and a display control unit 101e as functions. The three-dimensional input unit 101a reads out three-dimensional image data recorded in the HDD 102, for example. As described above, this three-dimensional image data is three-dimensional model data of a stereoscopic image. The three-dimensional display device 100 displays a three-dimensional image having a depth in a direction intersecting with a monitor 104 described later based on the three-dimensional image data. The stereoscopic image is an operation index such as a command button for performing various operation inputs and characters on the command button. In the following description, the 3D image data read by the 3D input unit 101a is referred to as 3D original image data.

第１変換部１０１ｂは、三次元入力部１０１ａにより読み出された三次元原画像データを、三次元変形画像データに変換する。第２変換部１０１ｃは、三次元変形画像データを、二次元中間画像データに変換する。第３変換部１０１ｄは、二次元中間画像データを、表示用二次元画像データに変換する。これらの各変換部の動作、および、各変換部が生成する画像データについては、後に詳述する。 The first conversion unit 101b converts the three-dimensional original image data read by the three-dimensional input unit 101a into three-dimensional deformed image data. The second conversion unit 101c converts the three-dimensional deformed image data into two-dimensional intermediate image data. The third conversion unit 101d converts the two-dimensional intermediate image data into display two-dimensional image data. The operation of each of these converters and the image data generated by each converter will be described in detail later.

表示制御部１０１ｅは、第３変換部１０１ｄにより変換された表示用二次元画像データに基づいて、後述するモニタ１０４が備える表示画素を制御する。これにより、モニタ１０４の上部に、所定角度からみた三次元原画像データに対応する立体像が表示される。 The display control unit 101e controls display pixels included in the monitor 104 described later, based on the display two-dimensional image data converted by the third conversion unit 101d. Accordingly, a stereoscopic image corresponding to the three-dimensional original image data viewed from a predetermined angle is displayed on the upper part of the monitor 104.

メモリ１０５は制御回路１０１のワーキングメモリであり、たとえばＳＤＲＡＭにより構成される。モニタ１０４は、たとえば液晶モニタである。モニタ１０４は、モニタ制御回路１０３により制御されて、画像、各種設定を行うためのメニュー画面などが表示される。 A memory 105 is a working memory of the control circuit 101, and is constituted by, for example, an SDRAM. The monitor 104 is a liquid crystal monitor, for example. The monitor 104 is controlled by the monitor control circuit 103 to display an image, a menu screen for performing various settings, and the like.

図２を参照して、モニタ１０４について説明する。なお、図２においては、モニタ１０４の表示面の水平方向をｘ軸、鉛直方向をｙ軸とし、ｘｙ平面（モニタ１０４の表示面）に垂直な方向をｚ軸として座標系を設定する。図２（ａ）は、モニタ１０４をｚ軸方向ユーザ側から見た場合のモニタ１０４の斜視図であり、図２（ｂ）は図２（ａ）を一部拡大して示す図であり、図２（ｃ）はｚ軸方向におけるモニタ１０４の断面を模式的に示す図である。 The monitor 104 will be described with reference to FIG. In FIG. 2, the coordinate system is set with the horizontal direction of the display surface of the monitor 104 as the x axis, the vertical direction as the y axis, and the direction perpendicular to the xy plane (display surface of the monitor 104) as the z axis. 2 (a) is a perspective view of the monitor 104 when the monitor 104 is viewed from the z-axis direction user side, and FIG. 2 (b) is a partially enlarged view of FIG. 2 (a). FIG. 2C is a diagram schematically showing a cross section of the monitor 104 in the z-axis direction.

図２（ａ）、（ｂ）に示すように、モニタ１０４は、表示器２０１と、表示用マイクロレンズアレイ２０２とを備える。表示器２０１は、たとえばバックライトを有する液晶表示器や有機ＥＬ表示器等により構成される。表示器２０１は、二次元状に配置された複数の表示画素２１１を有する。これら複数の表示画素２１１は、それぞれ、単一の表示用マイクロレンズ２２０に対応する。以下の説明において、ある１つの表示用マイクロレンズ２２０に対応する表示画素２１１のグループを、表示画素群２１０と称する。また、以下の説明において、表示器２０１の、複数の表示画素２１１が配列された面を、表示面２１２と称する。表示面２１２は、表示用マイクロレンズアレイ２０２に対向する面である。なお、本実施の形態においては、１個の表示画素群２１０には、１６×１６個の表示画素２１１が含まれるものとする。ただし、図２においては、図示の都合上、表示画素２１１の個数を実際よりも少なく描いている。表示画素２１１は、上述したモニタ制御回路１０３により制御されて、表示用二次元画像データに対応して発光する。 As shown in FIGS. 2A and 2B, the monitor 104 includes a display device 201 and a display microlens array 202. The display 201 is constituted by, for example, a liquid crystal display having a backlight or an organic EL display. The display 201 has a plurality of display pixels 211 arranged two-dimensionally. Each of the plurality of display pixels 211 corresponds to a single display microlens 220. In the following description, a group of display pixels 211 corresponding to one display microlens 220 is referred to as a display pixel group 210. In the following description, the surface of the display 201 on which the plurality of display pixels 211 are arranged is referred to as a display surface 212. The display surface 212 is a surface facing the display microlens array 202. In the present embodiment, it is assumed that one display pixel group 210 includes 16 × 16 display pixels 211. However, in FIG. 2, for the convenience of illustration, the number of display pixels 211 is drawn smaller than the actual number. The display pixel 211 is controlled by the monitor control circuit 103 described above, and emits light corresponding to the display two-dimensional image data.

表示用マイクロレンズアレイ２０２は、二次元状に配列された複数の表示用マイクロレンズ２２０により構成される。図２（ｂ）に示すように、各表示用マイクロレンズ２２０は、所定ピッチｄに従って配列されている。また、図２（ｃ）に示すように、表示用マイクロレンズアレイ２０２はｚ軸方向ユーザ側に、表示用マイクロレンズ２２０の焦点距離ｆだけ表示画素２１１から離れた位置に配置される。各表示用マイクロレンズ２２０は、画像データに応じて表示画素２１１からの光をｚ軸方向ユーザ側の所定の像面に投影する。 The display microlens array 202 includes a plurality of display microlenses 220 arranged in a two-dimensional manner. As shown in FIG. 2B, the display microlenses 220 are arranged according to a predetermined pitch d. Further, as shown in FIG. 2C, the display microlens array 202 is arranged on the user side in the z-axis direction at a position separated from the display pixel 211 by the focal length f of the display microlens 220. Each display microlens 220 projects light from the display pixel 211 on a predetermined image plane on the user side in the z-axis direction according to image data.

なお、本実施の形態では、円形形状を有する表示用マイクロレンズ２２０を二次元状に正方配列しているが、表示用マイクロレンズアレイ２０２をこれとは異なる構成にしてもよい。例えば、略六角形形状を有する表示用マイクロレンズ２２０をハニカム状に配列してもよい。 In the present embodiment, the display microlenses 220 having a circular shape are two-dimensionally arranged squarely, but the display microlens array 202 may be configured differently. For example, the display microlenses 220 having a substantially hexagonal shape may be arranged in a honeycomb shape.

（モニタ１０４の観察角度の説明）
図３は、モニタ１０４と観察者によって観察される立体像との関係を模式的に示す断面図である。本実施の形態のモニタ１０４は、観察者が、表示用マイクロレンズアレイ２０２に対して、垂直でない所定の観察角度ηから観察することを前提として構成されている。モニタ制御回路１０３が、第３変換部１０１ｄにより変換された表示用二次元画像データを表示面２１２に表示させると、観察者からは、表示用マイクロレンズアレイ２０２の上方に三次元像３００が観察される。 (Description of the observation angle of the monitor 104)
FIG. 3 is a cross-sectional view schematically showing the relationship between the monitor 104 and the stereoscopic image observed by the observer. The monitor 104 according to the present embodiment is configured on the assumption that the observer observes the display microlens array 202 from a predetermined observation angle η that is not perpendicular. When the monitor control circuit 103 displays the display two-dimensional image data converted by the third converter 101d on the display surface 212, the observer observes the three-dimensional image 300 above the display microlens array 202. Is done.

三次元入力部１０１ａ（図１）が読み出す三次元原画像データは、三次元像３００の三次元モデルデータである。第１変換部１０１ｂ、第２変換部１０１ｃ、および第３変換部１０１ｄによって、この三次元モデルデータが表示用二次元画像データに変換される。表示用二次元画像データは、表示面２１２に表示すると、観察角度ηから三次元像３００が観察されるような画像データである。図３では、三次元像３００を直方体として図示している。図３の例では、観察者からは、少なくとも直方体の上面３０１と前面３０２とが観察される。 The three-dimensional original image data read by the three-dimensional input unit 101a (FIG. 1) is the three-dimensional model data of the three-dimensional image 300. The three-dimensional model data is converted into two-dimensional image data for display by the first conversion unit 101b, the second conversion unit 101c, and the third conversion unit 101d. The display two-dimensional image data is image data that allows the three-dimensional image 300 to be observed from the observation angle η when displayed on the display surface 212. In FIG. 3, the three-dimensional image 300 is illustrated as a rectangular parallelepiped. In the example of FIG. 3, at least the cuboid upper surface 301 and the front surface 302 are observed by the observer.

（第１変換部１０１ｂの説明）
図４は、第１変換部１０１ｂの説明図である。三次元像３００を構成する多数の点像（光点）を、Ｐ（ｘ，ｙ，ｚ）で表すものとする。第１変換部１０１ｂは、次式（１）により、点像Ｐ（ｘ，ｙ，ｚ）により構成される三次元像３００を、点像Ｐ’（ｘ，ｙ，ｚ）により構成される変形三次元像３１０に変換する。 (Description of the first conversion unit 101b)
FIG. 4 is an explanatory diagram of the first conversion unit 101b. A large number of point images (light spots) constituting the three-dimensional image 300 are represented by P (x, y, z). The first conversion unit 101b transforms the three-dimensional image 300 configured by the point image P (x, y, z) from the point image P ′ (x, y, z) according to the following equation (1). Convert to a three-dimensional image 310.

上式（１）によって、点像Ｐ（ｘ，ｙ，ｚ）は、ｘ座標およびｚ座標を変化させずに、ｙ座標がｚ・ｔａｎηだけ減じられた位置の点像Ｐ’（ｘ，ｙ，ｚ）に移動される。例えば、Ｃ点はＣ’点に、Ｂ点はＢ’点に移動する。ｚ＝０のＡ点については移動せず、Ａ点＝Ａ’点となる。すなわち、第１変換部１０１ｂは、三次元像３００を構成する点像Ｐ（ｘ，ｙ，ｚ）を、観察者と反対の方向に、表示面２１２からの距離および観察角度ηに基づく量だけ水平移動させることにより、三次元像３００を変形三次元像３１０に変形させる。図４に示した例において、観察者と反対の方向とは、図４の紙面左方向である。また、表示面２１２からの距離とは、ｚ座標の値である。以上のように、第１変換部１０１ｂは、三次元原画像データを、観察角度ηに基づき三次元像３００を変形させた変形三次元像３１０に関する三次元変形画像データに変換する。 According to the above equation (1), the point image P (x, y, z) is the point image P ′ (x, y) at the position where the y coordinate is reduced by z · tan η without changing the x coordinate and the z coordinate. , Z). For example, point C moves to point C 'and point B moves to point B'. The A point at z = 0 does not move, and the A point = A ′ point. That is, the first conversion unit 101b converts the point image P (x, y, z) constituting the three-dimensional image 300 in an opposite direction to the observer by an amount based on the distance from the display surface 212 and the observation angle η. By horizontally moving, the three-dimensional image 300 is deformed into a deformed three-dimensional image 310. In the example shown in FIG. 4, the direction opposite to the observer is the left direction in FIG. Further, the distance from the display surface 212 is a z-coordinate value. As described above, the first conversion unit 101b converts the three-dimensional original image data into the three-dimensional deformed image data related to the deformed three-dimensional image 310 obtained by deforming the three-dimensional image 300 based on the observation angle η.

（第２変換部１０１ｃの説明）
第２変換部１０１ｃは、変形三次元像３１０に関する三次元変形画像データを、二次元中間画像データに変換する。二次元中間画像データは、表示器２０１の表示面２１２に表示すると、観察者が表示用マイクロレンズアレイ２０２を垂直方向から観察したときに、変形三次元像３１０が観察されるような二次元画像データである。以下、このような二次元画像データの作成方法について詳述する。 (Description of Second Conversion Unit 101c)
The second conversion unit 101c converts the three-dimensional deformed image data related to the deformed three-dimensional image 310 into two-dimensional intermediate image data. When the two-dimensional intermediate image data is displayed on the display surface 212 of the display device 201, a two-dimensional image in which the deformed three-dimensional image 310 is observed when the observer observes the display microlens array 202 from the vertical direction. It is data. Hereinafter, a method for creating such two-dimensional image data will be described in detail.

図５は、表示画素２１１と、表示用マイクロレンズアレイ２０２と、観察される変形三次元像３１０との関係を示した図である。上述したように、表示用マイクロレンズアレイ２０２は、表示画素２１１から、表示用マイクロレンズ２２０の焦点距離ｆだけｚ軸方向に離れた位置に設けられている。いま、変形三次元像３１０を構成する多数の点像のうち、ある１つの点像に相当する光点ＬＰを考える。なお、図５においては、光点ＬＰは、表示用マイクロレンズアレイ２０２からｚ軸方向ユーザ側に距離４ｆだけ離れた位置にあるものとする。また、図５では、観察者の観察方向を、表示用マイクロレンズアレイ２０２に対して垂直な方向としている。 FIG. 5 is a diagram showing the relationship among the display pixel 211, the display microlens array 202, and the observed deformed three-dimensional image 310. As described above, the display microlens array 202 is provided at a position away from the display pixel 211 in the z-axis direction by the focal length f of the display microlens 220. Consider a light spot LP corresponding to one point image among a number of point images constituting the modified three-dimensional image 310. In FIG. 5, it is assumed that the light spot LP is located at a position 4 f away from the display microlens array 202 on the user side in the z-axis direction. In FIG. 5, the observation direction of the observer is a direction perpendicular to the display microlens array 202.

複数の表示画素２１１の各々から発せられた光束は、それぞれいずれか１つの表示用マイクロレンズ２２０を通過して、観察者に向かう。それら複数の表示画素２１１の各々から発せられた光束のうち、ある一群の光束ＬＦが、光点ＬＰを通過して観察者に向かう。観察者は、光点ＬＰを通過して観察者に向かってきた複数の光束ＬＦによって、光点ＬＰを認識する（視認する）。従って、光点ＬＰを構成する複数の光束ＬＦを特定し、それら複数の光束ＬＦが発せられる表示画素２１１を特定し、特定された表示画素２１１の各々で、光点ＬＰに対応する表示を行えば、観察者に光点ＬＰを観察させることができる。 The light beam emitted from each of the plurality of display pixels 211 passes through one of the display microlenses 220 and travels toward the observer. Among the light beams emitted from each of the plurality of display pixels 211, a certain group of light beams LF passes through the light spot LP toward the observer. The observer recognizes (visually recognizes) the light spot LP by a plurality of light beams LF that have passed through the light spot LP and have come to the observer. Therefore, the plurality of light beams LF constituting the light spot LP are specified, the display pixels 211 from which the plurality of light beams LF are emitted are specified, and the display corresponding to the light spot LP is performed on each of the specified display pixels 211. For example, the observer can observe the light spot LP.

光点ＬＰに対応する表示画素２１１、すなわち光点ＬＰを構成する複数の光束ＬＦが発せられる表示画素２１１を特定する際には、逆方向の光束を考えればよい。つまり、複数の光束ＬＦが、光点ＬＰから表示用マイクロレンズアレイ２０２の方向に向かうものとして、それらの光束ＬＦが入射する表示画素２１１を特定すればよい。このような考え方は、いわゆるプレンオプティクスとして知られている。 When specifying the display pixel 211 corresponding to the light spot LP, that is, the display pixel 211 that emits a plurality of light beams LF constituting the light spot LP, a light beam in the reverse direction may be considered. That is, the display pixels 211 on which the light beams LF are incident may be specified on the assumption that the plurality of light beams LF are directed from the light spot LP toward the display microlens array 202. Such a concept is known as so-called plain optics.

光点ＬＰからの光束ＬＦは、複数個の表示用マイクロレンズ２２０を通過して、表示用マイクロレンズ２２０から４ｆ／３の位置で焦点を結ぶ。しかし、表示用マイクロレンズ２２０は表示画素２１１からｚ軸方向に距離ｆだけ離れた位置に配置されているので、各表示用マイクロレンズ２２０を通過した光束ＬＦは、入射した表示用マイクロレンズ２２０のそれぞれに対応する表示画素２１１で広がりを持った像となる。以後、この広がりを持った像を光断面と呼び、光断面の形状をパターンＰｔと呼ぶ。 The light beam LF from the light spot LP passes through the plurality of display microlenses 220 and is focused at a position of 4f / 3 from the display microlens 220. However, since the display microlens 220 is disposed at a distance f from the display pixel 211 in the z-axis direction, the light beam LF that has passed through each display microlens 220 is incident on the incident display microlens 220. The display pixel 211 corresponding to each becomes a spread image. Hereinafter, this widened image is called an optical section, and the shape of the optical section is called a pattern Pt.

図６に、上記のパターンＰｔを二次元的に展開した場合を示す。なお図６では、表示用マイクロレンズ２２０の外形形状を、円型ではなく正方形で図示している。プレンオプティクスの原理によれば、図５に示す光点ＬＰの光強度（輝度）が、図６に示すパターンＰｔに分配されることになる。図６においては、パターンＰｔを斜線を付して示す。図６では、光点ＬＰを構成する複数の光束ＬＦが、５×５の計２５個の表示用マイクロレンズ２２０に分配されている。 FIG. 6 shows a case where the pattern Pt is developed two-dimensionally. In FIG. 6, the external shape of the display microlens 220 is illustrated as a square instead of a circle. According to the principle of Plenoptics, the light intensity (luminance) of the light spot LP shown in FIG. 5 is distributed to the pattern Pt shown in FIG. In FIG. 6, the pattern Pt is indicated by hatching. In FIG. 6, a plurality of light beams LF constituting the light spot LP are distributed to a total of 25 display microlenses 220 of 5 × 5.

モニタ１０４では、上述したプレンオプティクスの原理を逆にすることによって、すなわち表示画素２１１から輻射される光束を、表示用マイクロレンズ２２０を介して投影することにより、奥行きを有する変形三次元像３１０が表示される。具体的には、図６に示すパターンＰｔが、表示器２０１を構成する表示画素２１１上に割り当てられる。つまり、表示画素２１１に割り当てられたパターンＰｔは、表示用マイクロレンズ２２０によって観察者側に投影され、光点ＬＰに点像を形成する。各パターンＰｔに含まれる表示画素２１１から輻射される多方向に進む光束には、その中に光点ＬＰに集光する方向の光束、すなわち上述した入射光束ＬＦの表示画素２１１への入射角度と同一の角度で輻射する光束が含まれるからである。このため、表示用マイクロレンズアレイ２０２からｚ軸方向に距離４ｆだけ離れた位置に点像が形成される。 In the monitor 104, the modified three-dimensional image 310 having a depth can be obtained by reversing the principle of the above-mentioned pre-optics, that is, by projecting the light beam radiated from the display pixel 211 through the display microlens 220. Is displayed. Specifically, the pattern Pt shown in FIG. 6 is allocated on the display pixel 211 constituting the display device 201. That is, the pattern Pt assigned to the display pixel 211 is projected to the viewer side by the display microlens 220 and forms a point image at the light spot LP. The luminous fluxes traveling in multiple directions radiated from the display pixels 211 included in each pattern Pt include the luminous flux in the direction of focusing on the light spot LP, that is, the incident angle of the incident luminous flux LF to the display pixel 211 described above. This is because light beams that radiate at the same angle are included. Therefore, a point image is formed at a position away from the display microlens array 202 by a distance 4f in the z-axis direction.

図７を用いて、いくつ、あるいは、どの表示用マイクロレンズ２２０といずれのパターンＰｔとが対応するかについて、光点ＬＰからの光束ＬＦの広がりを表示用マイクロレンズ２２０上に投影することにより説明する。なお、図７では、光点ＬＰから広がる光束ＬＦは、光点ＬＰのｚ軸方向の位置が表示用マイクロレンズ２２０の焦点距離ｆの場合と、その二倍の距離２ｆの場合とについて示している。図７においては、光点ＬＰのｚ軸方向の位置が距離ｆの場合の光束ＬＦの広がり（領域）ｒ１を破線で示し、距離２ｆの場合の領域ｒ２を一点鎖線で示す。光点ＬＰが表示用マイクロレンズ２２０の焦点距離ｆの位置にあると、光束ＬＦの領域ｒ１は表示用マイクロレンズ２２０で規定されているので、光束ＬＦは１個の表示用マイクロレンズ２２０内に入射する。以上により、１個の光点ＬＰに対応する表示用マイクロレンズ２２０が決まる。 With reference to FIG. 7, how many or which display microlens 220 corresponds to which pattern Pt is explained by projecting the spread of the light beam LF from the light spot LP onto the display microlens 220. To do. In FIG. 7, the light beam LF spreading from the light spot LP is shown for the case where the position of the light spot LP in the z-axis direction is the focal length f of the display microlens 220 and the double distance 2f. Yes. In FIG. 7, the spread (region) r1 of the light beam LF when the position of the light spot LP in the z-axis direction is the distance f is indicated by a broken line, and the region r2 when the distance is 2f is indicated by an alternate long and short dash line. When the light spot LP is at the focal length f of the display microlens 220, the region r1 of the light beam LF is defined by the display microlens 220. Incident. Thus, the display microlens 220 corresponding to one light spot LP is determined.

光点ＬＰのｚ軸方向の位置が表示用マイクロレンズ２２０の焦点距離ｆのときは、光束ＬＦはその表示用マイクロレンズ２２０の直下の領域全体に円形開口の光として広がる。このため、正方領域に内接する円の内部に含まれるすべての表示画素２１１が発光すると、パターンＰｔが投影されて光点ＬＰで空中に点像が形成される。光点ＬＰのｚ軸方向の位置の絶対値が焦点距離ｆより小さい場合には、光束ＬＦは表示用マイクロレンズ２２０の直下の領域内で収束せずに広がる。しかし、光点ＬＰから広がる光束ＬＦの角度は表示用マイクロレンズ２２０のＦ値で開口の最大（Ｆの最小）が規定されるので、入射する光束ＬＦは広がり角の制限を受け、パターンＰｔは被覆領域にとどまる。 When the position of the light spot LP in the z-axis direction is the focal length f of the display microlens 220, the light beam LF spreads as light of a circular aperture over the entire region immediately below the display microlens 220. Therefore, when all the display pixels 211 included in the circle inscribed in the square area emit light, the pattern Pt is projected and a point image is formed in the air at the light spot LP. When the absolute value of the position of the light spot LP in the z-axis direction is smaller than the focal length f, the light beam LF spreads without converging in the region immediately below the display microlens 220. However, the angle of the light beam LF spreading from the light spot LP is defined by the F value of the display microlens 220, and the maximum aperture (minimum F) is defined. Therefore, the incident light beam LF is limited by the spread angle, and the pattern Pt is Stay in the covered area.

ここで光点ＬＰのｚ軸方向の位置が距離２ｆにある場合について説明する。図８に、この場合に関係する表示用マイクロレンズ２２０を示す。図８（ａ）に示すように、関係する表示用マイクロレンズ２２０は自身、すなわち光点ＬＰとｚ軸方向について同軸上に配置された表示用マイクロレンズ２２０（以後、基点マイクロレンズ２２０ａ）とそれに隣接する８個の表示用マイクロレンズ２２０である。表示用マイクロレンズ２２０による開口の制限を考えるとき、図８（ａ）において斜線で示す被覆領域のなかにパターンＰｔが存在することになる。この場合、各表示用マイクロレンズ２２０に対応するパターンＰｔは、図８（ｂ）の斜線で示す領域となる。 Here, the case where the position of the light spot LP in the z-axis direction is at the distance 2f will be described. FIG. 8 shows a display microlens 220 related to this case. As shown in FIG. 8A, the related display microlens 220 is itself, that is, the display microlens 220 (hereinafter referred to as the base microlens 220a) arranged coaxially with the light spot LP in the z-axis direction. The eight display microlenses 220 are adjacent to each other. When considering the limitation of the opening by the display microlens 220, the pattern Pt is present in the covered region indicated by the oblique lines in FIG. In this case, the pattern Pt corresponding to each display microlens 220 is a region indicated by diagonal lines in FIG.

図８（ｂ）に示すように、ひとつの基点マイクロレンズ２２０ａの被覆領域が分割され、隣接する表示用マイクロレンズ２２０に配分されている。分割され配分された被覆領域（部分領域）を積算した場合の全領域は、ひとつの表示用マイクロレンズ２２０の開口領域になる。そのため、どのような位置の光点ＬＰでもパターンＰｔの全領域の大きさは同じになるので、部分領域を積算して全領域を算出する場合には、それぞれの部分領域が所属する表示用マイクロレンズ２２０が決まればよいことになる。 As shown in FIG. 8B, the covering region of one base microlens 220a is divided and distributed to adjacent display microlenses 220. The total area when the divided and distributed covering areas (partial areas) are integrated becomes an opening area of one display microlens 220. Therefore, the size of the entire area of the pattern Pt is the same at any position of the light spot LP. Therefore, when calculating the total area by adding the partial areas, the display micros to which the partial areas belong are displayed. It is only necessary to determine the lens 220.

図７において、光点ＬＰのｚ軸方向の位置と、倍率つまり基点マイクロレンズ２２０ａに隣接する表示用マイクロレンズ２２０との個数と関係について示したが、これを仮想的な開口領域に適用する。たとえば、倍率で縮小した表示用マイクロレンズ２２０の配列で開口領域を分割し、これで定義された表示用マイクロレンズ２２０の中の同じ位置に開口領域の断片を配するという方法をとる。開口領域に外接する正方形を倍率２で縮小し、表示用マイクロレンズ２２０の配列で開口領域を分割（領域分割）した場合を例に説明する。 FIG. 7 shows the relationship between the position of the light spot LP in the z-axis direction and the magnification, that is, the number of display microlenses 220 adjacent to the base microlens 220a. This is applied to a virtual aperture region. For example, a method is used in which an aperture region is divided by an array of display microlenses 220 reduced in magnification, and a fragment of the aperture region is arranged at the same position in the display microlens 220 defined by this. An example will be described in which a square circumscribing the opening area is reduced by a magnification of 2 and the opening area is divided (area division) by the arrangement of the display microlenses 220.

図９は、上記の領域分割を基点マイクロレンズ２２０ａに展開した場合のパターンＰｔを示している。同様の領域分割を倍率に応じて行うと、倍率、すなわち光点ＬＰに対するパターンＰｔが得られる。具体的には、表示用マイクロレンズ２２０の径（マイクロレンズの一辺の大きさ）をｇとするとき、ｇ/ｍ幅の格子で開口領域が分割される。倍率は、光点ＬＰの高さ（位置）ｙとマイクロレンズの焦点距離ｆとの比ｍ＝ｙ/ｆで表すことができる。比ｍには負の符号も存在する。比ｍの符合が負の場合には、表示用マイクロレンズ２２０より表示画素２１１側に光点ＬＰがあるものとする。 FIG. 9 shows a pattern Pt when the above-described area division is developed on the base microlens 220a. When the same region division is performed according to the magnification, a magnification, that is, a pattern Pt for the light spot LP is obtained. Specifically, when the diameter of the display microlens 220 (the size of one side of the microlens) is g, the opening region is divided by a g / m-wide grid. The magnification can be expressed as a ratio m = y / f between the height (position) y of the light spot LP and the focal length f of the microlens. There is also a negative sign in the ratio m. When the sign of the ratio m is negative, it is assumed that there is a light spot LP on the display pixel 211 side from the display microlens 220.

表示用マイクロレンズ２２０による被覆領域と表示用マイクロレンズ２２０の個数との積は、ほぼ表示画素群２１０に含まれる表示画素２１１の全画素数に等しくなる。このため、１個の表示用マイクロレンズ２２０内で偏心した複数の点のそれぞれに対応する光点ＬＰを形成することは、表示画素２１１に再現されたパターンＰｔを重畳して投影することに等しい。すなわち、各偏心した光点ＬＰからの光束ＬＦが重畳して表示画素２１１上に存在している。ただし、倍率が１倍のときには、この演算は、単なる内挿作業になって、分解能向上には実質的に寄与しない。これは、表示用マイクロレンズ２２０頂点近辺に結像すれば、光学的に奥行き方向の情報が失われることを示している。 The product of the area covered by the display microlens 220 and the number of display microlenses 220 is substantially equal to the total number of display pixels 211 included in the display pixel group 210. For this reason, forming light spots LP corresponding to a plurality of decentered points in one display microlens 220 is equivalent to superimposing and projecting the reproduced pattern Pt on the display pixel 211. . That is, the light beam LF from each decentered light spot LP is superimposed on the display pixel 211. However, when the magnification is 1, this calculation is merely an interpolation operation and does not substantially contribute to the resolution improvement. This indicates that if the image is formed near the apex of the display microlens 220, information in the depth direction is optically lost.

図１０は、基点マイクロレンズ２２０ａの中心位置に対して左に偏心した光点ＬＰについての分割領域を表したものある。基点マイクロレンズ２２０ａ（レンズ径をｇとする）の中心から図１０の左方向へｐだけ偏心して、光点ＬＰの高さ（位置）が２ｆの場合について説明する。なお、図１０においては、点Ｏ１は偏心した光点ＬＰ、点Ｏ２は表示用マイクロレンズ２２０の中心位置を示す。この場合、図９に示す表示用マイクロレンズ２２０を図中の右方向へｐだけずらし、開口領域を分割すれば、図１０に示す場合の分割領域が得られる。 FIG. 10 shows a divided region for the light spot LP decentered to the left with respect to the center position of the base microlens 220a. A case will be described in which the height (position) of the light spot LP is 2f, decentered by p from the center of the base microlens 220a (with the lens diameter g) to the left in FIG. In FIG. 10, the point O <b> 1 indicates the eccentric light spot LP, and the point O <b> 2 indicates the center position of the display microlens 220. In this case, by dividing the display microlens 220 shown in FIG. 9 by p in the right direction in the drawing and dividing the aperture region, the divided region shown in FIG. 10 can be obtained.

表示用マイクロレンズ２２０を１６個に分割するとすれば、中心位置の座標を（０，０）として、ｘ軸ｙ軸に対して、それぞれ−ｇ/２、−ｇ/４、０、ｇ/４、ｇ/２の位置のパターンとそれによる分割領域および、全領域の積算をおこなえば、ひとつの表示用マイクロレンズ２２０に対して１６点の光点群を得ることができる。 If the display microlens 220 is divided into 16, the coordinates of the center position are (0, 0), and −g / 2, −g / 4, 0, g / 4 with respect to the x axis and the y axis, respectively. , G / 2 position patterns, and the divided areas and total areas thereof are integrated to obtain 16 light spot groups for one display microlens 220.

次に、観察者が垂直でない観察角度ηから変形三次元像３１０を観察する場合の、光点ＬＰの構成方法について説明する。観察者が観察角度ηから観察する場合、図５に示した光点ＬＰを通過して観察者の方向すなわち紙面右上上方に向かう光束を考える必要がある。つまり、図５の紙面右上上方から発せられ光点ＬＰを通過する光束が、どのようなパターンＰｔで表示用マイクロレンズアレイ２０２に広がるかを考えなければならない。 Next, a method for constructing the light spot LP when the observer observes the deformed three-dimensional image 310 from an observation angle η that is not perpendicular will be described. When the observer observes from the observation angle η, it is necessary to consider a light beam that passes through the light spot LP shown in FIG. In other words, it is necessary to consider what pattern Pt the light beam emitted from the upper right of the paper in FIG. 5 and passes through the light spot LP spreads to the display microlens array 202.

図５に示した、観察者が垂直方向から観察する場合には、１つの表示用マイクロレンズアレイ２０２には、その直下に位置する１６×１６個の表示画素２１１が対応していた。換言すると、１つの表示用マイクロレンズアレイ２０２によって、その直下に位置する１６×１６個の表示画素２１１の像が観察者方向すなわち垂直方向に投影されていた。これに対して、観察者が観察角度ηの方向から観察する場合には、観察者方向には、１つの表示用マイクロレンズアレイ２０２によって、これとは異なる位置の、これとは異なる個数の表示画素２１１の像が投影される。以下の説明では、１つの表示用マイクロレンズ２０２によって投影される表示面２１２上の領域を、投影領域と呼ぶ。 When the observer observes from the vertical direction shown in FIG. 5, one display microlens array 202 corresponds to 16 × 16 display pixels 211 located immediately below the display microlens array 202. In other words, the image of 16 × 16 display pixels 211 positioned immediately below the microlens array 202 for display is projected in the observer direction, that is, the vertical direction. On the other hand, when the observer observes from the direction of the observation angle η, a single display microlens array 202 has a different number of displays in a different position in the observer direction. An image of the pixel 211 is projected. In the following description, an area on the display surface 212 projected by one display microlens 202 is referred to as a projection area.

以下、観察角度ηに対応する投影領域の形状について説明する。表示用マイクロレンズ２２０のＦ数をＣとし、表示用マイクロレンズ２２０を介して観察者に向かう光束の開き角（開口角）を２φとすると、Ｆ数と開き角との関係は次式（２）により表すことができる。
ｔａｎφ ＝１／（２Ｃ）・・・（２） Hereinafter, the shape of the projection area corresponding to the observation angle η will be described. When the F number of the display microlens 220 is C, and the opening angle (opening angle) of the light beam traveling toward the observer through the display microlens 220 is 2φ, the relationship between the F number and the opening angle is expressed by the following equation (2 ).
tanφ = 1 / (2C) (2)

観察者が垂直方向から表示用マイクロレンズアレイ２０２を観察する場合、１つの表示用マイクロレンズアレイ２０２によって投影される表示面２１２上の投影領域は、次式（３）により表される円で囲まれた領域である。
ｘ^２＋ｙ^２＝（ｆ／ｋ）^２ …（３）
上式（３）において、ｋ＝２Ｃである。また、ｆは表示用マイクロレンズ２２０の焦点距離である。 When the observer observes the display microlens array 202 from the vertical direction, the projection area on the display surface 212 projected by one display microlens array 202 is surrounded by a circle represented by the following expression (3). This area
x ² + y ² = (f / k) ² (3)
In the above equation (3), k = 2C. Further, f is the focal length of the display microlens 220.

これに対して、観察者が観察角度ηから観察する場合、１つの表示用マイクロレンズアレイ２０２によって投影される表示面２１２上の投影領域は、次式（４）により表される楕円で囲まれた領域である。 On the other hand, when the observer observes from the observation angle η, the projection area on the display surface 212 projected by one display microlens array 202 is surrounded by an ellipse represented by the following equation (4). Area.

上式（４）において、Ｌ＝ｔａｎηである。

In the above equation (4), L = tan η.

図１１は、投影領域の形状の一例を示す図である。図１１には、表示用マイクロレンズ２２０の焦点距離ｆが２ｍｍ、表示用マイクロレンズ２２０のＦ数が２．８７５（領域径０．７ｍｍ）、観察方向ηが４５度の場合における投影領域の形状を図示している。図１１に例示するように、表示面２１２上の投影領域の形状は、図３に示した観察方向ηが大きいほど、ｙ方向に伸びた楕円になる。 FIG. 11 is a diagram illustrating an example of the shape of the projection region. FIG. 11 shows the shape of the projection region when the focal length f of the display microlens 220 is 2 mm, the F number of the display microlens 220 is 2.875 (region diameter 0.7 mm), and the observation direction η is 45 degrees. Is illustrated. As illustrated in FIG. 11, the shape of the projection area on the display surface 212 becomes an ellipse extending in the y direction as the observation direction η illustrated in FIG. 3 is larger.

図１２は、ｚ軸方向の位置が距離２ｆにある光点ＬＰを観察方向ηから観察した場合に関係する表示用マイクロレンズ２２０を示す図である。図１１に例示したように、表示面２１２上の投影領域の形状は円型ではなく楕円形になるので、図８に示したパターンＰｔも、これに応じて図１２のように変化する。図１２（ａ）は、図８（ａ）に対応するパターンＰｔを観察方向ηに関するパターンＰｔに修正したものである。同様に、図１２（ｂ）は、図８（ｂ）に対応するパターンＰｔを観察方向ηに関するパターンＰｔに修正したものである。 FIG. 12 is a diagram showing the display microlens 220 related to the case where the light spot LP whose position in the z-axis direction is at the distance 2f is observed from the observation direction η. As illustrated in FIG. 11, since the shape of the projection area on the display surface 212 is not a circle but an ellipse, the pattern Pt shown in FIG. 8 also changes as shown in FIG. FIG. 12A is obtained by correcting the pattern Pt corresponding to FIG. 8A to a pattern Pt related to the observation direction η. Similarly, FIG. 12B is obtained by correcting the pattern Pt corresponding to FIG. 8B to a pattern Pt related to the observation direction η.

なお、図１２（ａ）から明らかなように、投影領域が楕円形になることによって、隣接する表示用マイクロレンズ２２０に対応する投影領域同士が一部重複してしまう。このように投影領域同士が重複する場合には、隣接する表示用マイクロレンズ２２０同士のうちの一方について、重複する領域に相当する部分を表示用マイクロレンズアレイ２０２から削り取り、投影されなくすることが望ましい。 As is apparent from FIG. 12A, when the projection areas are elliptical, projection areas corresponding to adjacent display microlenses 220 partially overlap each other. When the projection areas overlap in this way, a portion corresponding to the overlap area of one of the adjacent display microlenses 220 is scraped off from the display microlens array 202 so that it is not projected. desirable.

第２変換部１０１ｃは、変形三次元像３１０を構成する多数の点像の各々について、図１２等を用いて説明したように、その点像を通過して観察者に向かう複数の光束ＬＦが発せられる位置（表示画素２１１）を表示面２１２上に特定する。第２変換部１０１ｃは、点像の光量を特定した表示画素２１１の各々に分配することにより、三次元変形画像データを二次元中間画像データに変換する。このようにして変換された二次元中間画像データは、表示器２０１に表示すれば、垂直方向から表示用マイクロレンズアレイ２０２を観察すると変形三次元像３１０が観察されるような二次元画像データとなっている。 As described with reference to FIG. 12 and the like, the second conversion unit 101c is configured to generate a plurality of light beams LF that pass through the point image and travel toward the observer. The position (display pixel 211) where the light is emitted is specified on the display surface 212. The second conversion unit 101c converts the three-dimensional deformed image data into two-dimensional intermediate image data by distributing the point image light amount to each of the specified display pixels 211. If the two-dimensional intermediate image data thus converted is displayed on the display device 201, two-dimensional image data such that the deformed three-dimensional image 310 is observed when the display microlens array 202 is observed from the vertical direction. It has become.

（第３変換部１０１ｄの説明）
第３変換部１０１ｄは、上述した手順により作成された二次元中間画像データを、図１１に例示したような投影領域の形状に基づき、表示用二次元画像データに変換する。すなわち、第３変換部１０１ｄは、観察角度ηに対応する方向に投影される表示面２１２上の投影領域の形状に基づき、二次元中間画像データを表示用二次元画像データに変換する。 (Description of third conversion unit 101d)
The third conversion unit 101d converts the two-dimensional intermediate image data created by the above-described procedure into display two-dimensional image data based on the shape of the projection area illustrated in FIG. That is, the third conversion unit 101d converts the two-dimensional intermediate image data into the display two-dimensional image data based on the shape of the projection area on the display surface 212 projected in the direction corresponding to the observation angle η.

変換前の二次元中間画像データを構成する各々の画素をＱ（ｘ，ｙ）と表記し、返還後の表示用二次元画像データを構成する各々の画素をＱ’（Ｘ，Ｙ）と表記する。第３変換部１０１ｄは、次式（５）、（６）に基づき、Ｑ（ｘ，ｙ）からＱ’（Ｘ，Ｙ）に変換する。 Each pixel constituting the two-dimensional intermediate image data before conversion is denoted as Q (x, y), and each pixel constituting the returned two-dimensional image data for display is denoted as Q ′ (X, Y). To do. The third converter 101d converts Q (x, y) to Q ′ (X, Y) based on the following equations (5) and (6).

第３変換部１０１ｄにより変換された表示用二次元画像データは、表示器２０１の表示面２１２に表示すると観察者が表示用マイクロレンズアレイ２０２を垂直でない観察角度ηから観察したときに三次元像３００が観察されるような二次元画像データである。すなわち、表示用二次元画像データを表示面２１２に表示すると、表示面２１２上の複数の表示画素２１１からの光束が、複数の表示用マイクロレンズ２２０から選択された１つ乃至複数の表示用マイクロレンズ２２０によって三次元像３００の点像を形成する。 When the display two-dimensional image data converted by the third conversion unit 101d is displayed on the display surface 212 of the display device 201, a three-dimensional image is obtained when the observer observes the display microlens array 202 from a non-vertical observation angle η. Two-dimensional image data 300 is observed. That is, when the display two-dimensional image data is displayed on the display surface 212, the light flux from the plurality of display pixels 211 on the display surface 212 is selected from one or more display microlenses selected from the plurality of display microlenses 220. A point image of the three-dimensional image 300 is formed by the lens 220.

以上で説明した実施の形態による三次元表示装置１００によれば、以下の作用効果が得られる。
（１）表示用マイクロレンズアレイ２０２には、複数の表示用マイクロレンズ２２０が二次元状に配列される。表示器２０１は、観察者から表示用マイクロレンズアレイ２０２を介して観察される表示面２１２を有する。表示器２０１は、所定の三次元像３００に関する三次元原画像データに基づく表示用二次元画像データを表示面２１２に表示し、観察者が表示用マイクロレンズアレイ２０２を垂直でない観察角度ηから観察すると、表示面２１２上の複数の表示画素２１１からの光束が、複数の表示用マイクロレンズ２２０から選択された１つまたは複数の表示用マイクロレンズ２２０によって三次元像３００の点像を形成する。このようにしたので、装置に対して垂直でない観察角度から立体像を正しく観察することができる。 According to the three-dimensional display device 100 according to the embodiment described above, the following operational effects can be obtained.
(1) A plurality of display microlenses 220 are two-dimensionally arranged in the display microlens array 202. The display 201 has a display surface 212 that is observed from the observer through the display microlens array 202. The display 201 displays two-dimensional image data for display based on three-dimensional original image data relating to a predetermined three-dimensional image 300 on the display surface 212, and the observer observes the display microlens array 202 from a non-vertical observation angle η. Then, the light beams from the plurality of display pixels 211 on the display surface 212 form a point image of the three-dimensional image 300 by one or a plurality of display microlenses 220 selected from the plurality of display microlenses 220. Since it did in this way, a stereo image can be correctly observed from the observation angle which is not perpendicular | vertical with respect to an apparatus.

（２）制御回路１０１は、三次元原画像データを表示用二次元画像データに変換する変換部として機能する。表示器２０１は、複数の表示用マイクロレンズ２２０の各々に対応して表示画素２１１が二次元状に配列された表示画素群２１０を表示面２１２上に有する。表示器２０１は、変換部により変換された表示用二次元画像データを複数の表示画素群２１０に表示する。このようにしたので、複数の三次元原画像データを、適宜切り替えて表示することができる。また、三次元表示の基となるデータは、一般的な三次元モデルデータである三次元原画像データでよいので、三次元表示装置１００を、特別なデータを必要としない汎用的な装置とすることができる。 (2) The control circuit 101 functions as a conversion unit that converts the three-dimensional original image data into the display two-dimensional image data. The display 201 has a display pixel group 210 on the display surface 212 in which display pixels 211 are two-dimensionally arranged corresponding to each of the plurality of display microlenses 220. The display 201 displays the display two-dimensional image data converted by the conversion unit on the plurality of display pixel groups 210. Since it did in this way, several three-dimensional original image data can be switched and displayed suitably. Further, since the 3D display data may be 3D original image data that is general 3D model data, the 3D display device 100 is a general-purpose device that does not require special data. be able to.

（３）制御回路１０１は、第１変換部１０１ｂと第２変換部１０１ｃと第３変換部１０１ｄとを有する。第１変換部１０１ｂは、三次元原画像データを観察角度ηに基づき三次元像３００を変形させた変形三次元像３１０に関する三次元変形画像データに変換する。第２変換部１０１ｃは、三次元変形画像データを二次元中間画像データに変換する。第３変換部１０１ｄは、二次元中間画像データを観察角度ηに基づき表示用二次元画像データに変換する。このようにしたので、三次元表示装置１００を、特別なデータを必要としない汎用的な装置とすることができる。 (3) The control circuit 101 includes a first conversion unit 101b, a second conversion unit 101c, and a third conversion unit 101d. The first conversion unit 101b converts the three-dimensional original image data into three-dimensional deformed image data related to the deformed three-dimensional image 310 obtained by deforming the three-dimensional image 300 based on the observation angle η. The second conversion unit 101c converts the 3D deformed image data into 2D intermediate image data. The third conversion unit 101d converts the two-dimensional intermediate image data into display two-dimensional image data based on the observation angle η. Since it did in this way, the three-dimensional display apparatus 100 can be made into the general purpose apparatus which does not require special data.

（４）第２変換部１０１ｃは、三次元変形画像データを、表示器２０１の表示面２１２に表示すると観察者が表示用マイクロレンズアレイ２０２を垂直方向から観察したときに変形三次元像３１０が観察される二次元中間画像データに変換する。このようにしたので、装置に対して垂直でない観察角度から立体像を正しく観察することができる。 (4) When the second conversion unit 101c displays the three-dimensional deformed image data on the display surface 212 of the display device 201, the deformed three-dimensional image 310 is displayed when the observer observes the display microlens array 202 from the vertical direction. Convert to two-dimensional intermediate image data to be observed. Since it did in this way, a stereo image can be correctly observed from the observation angle which is not perpendicular | vertical with respect to an apparatus.

（５）第３変換部１０１ｄは、複数の表示用マイクロレンズ２２０の各々を介して観察角度ηに対応する方向に投影される表示面２１２上の投影領域の形状に基づき、二次元中間画像データを表示用二次元画像データに変換する。このようにしたので、装置に対して垂直でない観察角度から立体像を正しく観察することができる。 (5) The third conversion unit 101d performs two-dimensional intermediate image data based on the shape of the projection area on the display surface 212 projected in the direction corresponding to the observation angle η through each of the plurality of display microlenses 220. Is converted into two-dimensional image data for display. Since it did in this way, a stereo image can be correctly observed from the observation angle which is not perpendicular | vertical with respect to an apparatus.

（６）第２変換部１０１ｃは、変形三次元像３１０を構成する複数の点像の各々について、当該点像を通過して観察者に向かう複数の光束が発せられる位置を表示面２１２上に特定することにより、三次元変形画像データを二次元中間画像データに変換する。このようにしたので、装置に対して垂直でない観察角度から立体像を正しく観察することができる。 (6) The second conversion unit 101 c places, on the display surface 212, the positions at which a plurality of light beams that pass through the point image and are directed to the viewer are emitted for each of the plurality of point images constituting the deformed three-dimensional image 310. By specifying, the three-dimensional deformed image data is converted into two-dimensional intermediate image data. Since it did in this way, a stereo image can be correctly observed from the observation angle which is not perpendicular | vertical with respect to an apparatus.

（７）第１変換部１０１ｂは、三次元像３００の各部分を観察者と反対の方向に、表示面２１２からの距離および観察角度ηに基づく量だけ水平移動させることにより、三次元像３００を変形三次元像３１０に変形させる。このようにしたので、装置に対して垂直でない観察角度から立体像を正しく観察することができる。 (7) The first conversion unit 101b horizontally moves each part of the three-dimensional image 300 in the direction opposite to the observer by an amount based on the distance from the display surface 212 and the observation angle η, thereby causing the three-dimensional image 300 to move. Is transformed into a modified three-dimensional image 310. Since it did in this way, a stereo image can be correctly observed from the observation angle which is not perpendicular | vertical with respect to an apparatus.

以上で説明した実施の形態による三次元表示装置１００を、以下のように変形できる。
三次元表示装置１００は、実施の形態において例に挙げたモニタを有するパーソナルコンピュータ等に限定されるものではなく、モニタを備える電子機器に組み込まれても良い。この場合、電子機器としては、例えば、現金自動預払機（ＡＴＭ装置）や、公共交通機関の乗車券、定期券等の自動券売機や、映画館等の入場券等の自動券売機や、図書館や美術館等の各種情報端末装置や、車載ナビゲーション装置等に用いることができる。 The three-dimensional display device 100 according to the embodiment described above can be modified as follows.
The three-dimensional display device 100 is not limited to a personal computer or the like having the monitor described as an example in the embodiment, and may be incorporated in an electronic device including the monitor. In this case, examples of the electronic device include an automatic teller machine (ATM device), an automatic ticket vending machine such as a public transport ticket, a commuter pass, an automatic ticket vending machine such as a movie theater, and a library. It can be used for various information terminal devices such as museums and in-vehicle navigation devices.

図１３は本変形例における電子機器７００の要部構成のブロック図を示す。図１３の電子機器７００においては、図１に示す実施の形態の三次元表示装置１００の構成と同一の構成については、同一の符号を付与する。電子機器７００は、実施の形態の三次元表示装置１００が有する入力部材１０６に代えて、検出器１１０を有し、制御回路１０１は実施の形態において説明した機能に加えてさらに実行部１０１ｆを有する。 FIG. 13 is a block diagram showing a main configuration of an electronic apparatus 700 according to this modification. In the electronic apparatus 700 of FIG. 13, the same reference numerals are given to the same components as those of the three-dimensional display device 100 of the embodiment shown in FIG. The electronic device 700 includes a detector 110 instead of the input member 106 included in the three-dimensional display device 100 of the embodiment, and the control circuit 101 further includes an execution unit 101f in addition to the functions described in the embodiment. .

電子機器のモニタ１０４には、実施の形態のようにして、例えばプッシュボタンやキーボードを構成するキー等の操作用指標が表示される。検出器１１０は、ユーザによる表示された操作用指標への操作を検出し、ユーザが操作用指標に対して行った操作の位置（ｘｙ平面に平行な面上の位置）を示す検出信号を制御回路１０１へ出力する。検出器１１０としては、例えば、ユーザの操作に応じてモニタ１０４の上面の静電容量の変化を検出する静電容量パネルや、モニタ１０４の上部を撮影することによりユーザの操作位置を検出する撮像装置等を用いることができる。実行部１０１ｆは、検出器１１０から入力した検出信号に基づいて、ユーザが操作した位置に表示された操作用指標に対応する処理を実行する。例えば、電子機器７００が自動券売機であれば実行部１０１ｆは発券のための処理を実行し、車載ナビゲーション装置であれば実行部１０１ｆは経路検索等の処理を実行する。この結果、ユーザは、表示された操作用指標を操作することにより、所望する処理を電子機器７００に実行させることができる。 On the monitor 104 of the electronic device, for example, operation indicators such as push buttons and keys constituting a keyboard are displayed as in the embodiment. The detector 110 detects an operation on the displayed operation index by the user, and controls a detection signal indicating a position of the operation performed on the operation index by the user (a position on a plane parallel to the xy plane). Output to the circuit 101. As the detector 110, for example, a capacitance panel that detects a change in capacitance on the upper surface of the monitor 104 according to a user operation, or an image that detects a user operation position by photographing the upper portion of the monitor 104. A device or the like can be used. Based on the detection signal input from the detector 110, the execution unit 101f executes a process corresponding to the operation index displayed at the position operated by the user. For example, if the electronic device 700 is an automatic ticket vending machine, the execution unit 101f executes processing for ticketing, and if the electronic device 700 is an in-vehicle navigation device, the execution unit 101f executes processing such as route search. As a result, the user can cause the electronic device 700 to execute a desired process by operating the displayed operation index.

別の変形例として、観察角度ηを任意に変更可能に構成することもできる。例えば、視線センサや姿勢センサ等のセンサを三次元表示装置に追加する。これらのセンサによって、観察者の観察角度ηをリアルタイムに検出することができる。観察角度ηが変化したとき、第１変換部１０１ｂ、第２変換部１０１ｃ、および第３変換部１０１ｄは、三次元入力部１０１ａにより読み出された三次元原画像データを、現在の観察角度ηに基づき、表示用二次元画像データに変換する。表示制御部１０１ｅは、変換された新たな表示用二次元画像データを、表示面２１２に表示させる。このようにすることで、観察者がどのような角度から三次元表示装置を観察した場合であっても、適切に三次元像３００を表示することができる。 As another modification, the observation angle η can be arbitrarily changed. For example, sensors such as a line-of-sight sensor and a posture sensor are added to the three-dimensional display device. With these sensors, the observation angle η of the observer can be detected in real time. When the observation angle η changes, the first conversion unit 101b, the second conversion unit 101c, and the third conversion unit 101d use the three-dimensional original image data read by the three-dimensional input unit 101a as the current observation angle η. Is converted into two-dimensional image data for display. The display control unit 101e displays the converted new two-dimensional image data for display on the display surface 212. By doing in this way, the three-dimensional image 300 can be appropriately displayed even when the observer observes the three-dimensional display device from any angle.

上記の変形例において、観察者が複数存在する場合、全ての観察者にとって最適な観察角度ηを定めることは困難である。この場合には、何らかの方法でいずれかの観察者を選択し、その観察者に合わせた観察角度ηを設定することが望ましい。以下、観察角度ηを設定する対象となる観察者を特定する方法の例を挙げる。
（１）表示面２１２を見ている人物
三次元表示装置の周囲に存在する人物から、表示面２１２を見ている人物を特定し、そのような人物のうちいずれかの人物に合わせた観察角度ηを設定する。表示面２１２を見ていない人物は、通行人等であると判断して、観察角度ηを設定する対象から除外する。
（２）三次元表示装置を操作している人物
三次元表示装置を操作している人物に合わせた観察角度ηを設定する。
（３）表示面２１２に最も近い人物
表示面２１２からの距離が最も近い人物に合わせた観察角度ηを設定する。なお、表示面２１２からの距離は、種々の方法で計測することができる。例えばカメラで三次元表示装置の周囲を撮像し、撮像した画像に写っている顔のサイズが大きいほど、その人物は表示面２１２に近い位置にいると判断することができる。また、距離センサ等を用いて表示面２１２からの距離を測定することもできる。
（４）立ち止まっている人物
三次元表示装置の周囲に存在する人物から、移動していない人物を特定し、そのような人物のうちいずれかの人物に合わせた観察角度ηを設定する。
（５）観察角度が最も垂直に近い人物
三次元表示装置の周囲に存在する人物の各々について、適切な観察角度ηを算出する。算出された複数の観察角度ηから、最も垂直に近い観察角度ηを設定する。換言すると、観察角度ηが最も垂直に近い人物に合わせて観察角度ηを設定する。
（６）表示面２１２の中央部を観察している人物
表示面２１２を観察している人物の各々について、表示面２１２のどの部分を観察しているかを調べ、観察位置が表示面２１２の中央部に最も近い人物に合わせて観察角度ηを設定する。 In the above modification, when there are a plurality of observers, it is difficult to determine an optimum observation angle η for all observers. In this case, it is desirable to select any observer by some method and set the observation angle η according to the observer. Hereinafter, an example of a method for specifying an observer who is a target for setting the observation angle η will be described.
(1) Person looking at display surface 212 The person who is looking at display surface 212 is identified from the persons existing around the 3D display device, and the observation angle is adjusted to one of such persons Set η. A person who does not look at the display surface 212 is determined to be a passerby or the like, and is excluded from the targets for setting the observation angle η.
(2) Person operating the 3D display device The observation angle η is set according to the person operating the 3D display device.
(3) Person closest to display surface 212 An observation angle η is set according to the person whose distance from the display surface 212 is closest. Note that the distance from the display surface 212 can be measured by various methods. For example, it is possible to determine that the person is closer to the display surface 212 as the size of the face captured in the captured image is larger. In addition, the distance from the display surface 212 can be measured using a distance sensor or the like.
(4) Person who has stopped The person who has not moved is identified from the persons existing around the 3D display device, and the observation angle η is set according to one of such persons.
(5) Person whose observation angle is closest to vertical The appropriate observation angle η is calculated for each person existing around the 3D display device. From the calculated plurality of observation angles η, the observation angle η closest to the vertical is set. In other words, the observation angle η is set according to the person whose observation angle η is closest to the vertical.
(6) Person observing the center of the display surface 212 For each person observing the display surface 212, which part of the display surface 212 is observed is checked, and the observation position is the center of the display surface 212. The observation angle η is set according to the person closest to the part.

別の変形例として、三次元表示装置が第１変換部１０１ｂ、第２変換部１０１ｃ、および第３変換部１０１ｄを有していない構成とすることもできる。この場合、予め表示用二次元画像データをＨＤＤ１０２等に記憶しておく。表示制御部１０１ｅは、ＨＤＤ１０２等に記憶されている表示用二次元画像データを表示面２１２に表示する。 As another modification, the three-dimensional display device may be configured not to include the first conversion unit 101b, the second conversion unit 101c, and the third conversion unit 101d. In this case, display two-dimensional image data is stored in advance in the HDD 102 or the like. The display control unit 101e displays the display two-dimensional image data stored in the HDD 102 or the like on the display surface 212.

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.

１００…三次元表示装置、１０１…制御回路、１０１ｂ…第１変換部、１０１ｃ…第２変換部、１０１ｄ…第３変換部、１０１ｅ…表示制御部、１０１ｆ…実行部、１０４…モニタ、１１０…検出器、７００…電子機器 DESCRIPTION OF SYMBOLS 100 ... Three-dimensional display apparatus, 101 ... Control circuit, 101b ... 1st conversion part, 101c ... 2nd conversion part, 101d ... 3rd conversion part, 101e ... Display control part, 101f ... Execution part, 104 ... Monitor, 110 ... Detector, 700 ... electronic equipment

Claims

A position having a plurality of pixels, where light from some of the plurality of pixels is incident on one microlens of the plurality of microlenses, and light that has passed through the plurality of microlenses intersects A display unit for forming an image on
When the display unit is viewed from the first direction, the first image formed by displaying the first display image data on the display unit is deformed so as to be inclined in the second direction. A display control unit that causes the display unit to display second display image data for the display unit to form a second image;
A display device comprising:

The display device according to claim 1,
A display device in which a third direction in which an observer observes an image formed on the display unit is opposite to the second direction.

The display device according to claim 2,
Image data corresponding to the first image is converted to image data corresponding to the second image, image data corresponding to the second image is converted to intermediate image data, and the intermediate image data is converted to the first image data. The display device converted into the display image data of 2.

The display device according to claim 3,
A display device in which image data corresponding to the first image is converted into image data corresponding to the second image based on an angle corresponding to the second direction.

The display device according to claim 3 or 4,
Based on an angle corresponding to the second direction, a pixel through which the light passes through the one microlens is specified, and the intermediate image data is converted into the display image data based on the specified pixel. Display device.

The display device according to any one of claims 3 to 5,
A first converter that converts image data corresponding to the first image into image data corresponding to the second image;
A second conversion unit that converts the image data converted by the first conversion unit into the second display image data;
A display device comprising:

The display device according to claim 6,
The second conversion unit is configured based on a third conversion unit that converts the image data converted by the first conversion unit into the intermediate image data, and an angle corresponding to the second direction. A display device comprising: a fourth conversion unit that specifies a pixel through which the light passes through one microlens and converts the intermediate image data into the display image data based on the specified pixel.

The display device according to any one of claims 3 to 7,
A detection unit for detecting an observer observing the image generated on the display unit;
The display control unit converts the image data corresponding to the image transformed so that the image appears to be inclined in the second direction according to the third direction obtained from the detection result of the detection unit. A display device that displays the image on the display unit based on second display image data.

The display device according to claim 8, wherein
When the detection unit detects a plurality of observers, the display control unit obtains the third direction obtained from the observer selected from the plurality of observers based on the situation of the plurality of observers. Based on display image data obtained by converting image data corresponding to an image transformed so that the image appears to be inclined in the second direction by the third direction obtained from the detection result of the detection unit. A display device for displaying the image on the display unit.

The display device according to any one of claims 3 to 9,
The image data is a display device corresponding to an image for an operation displayed at a predetermined position from a display surface of the display unit.

A display device according to claim 10;
An operation detection unit for detecting an operation performed on the image for the operation;
An execution unit that executes processing according to the operation detected by the operation detection unit;
Electronic equipment comprising.

A position having a plurality of pixels, where light from some of the plurality of pixels is incident on one microlens of the plurality of microlenses, and light that has passed through the plurality of microlenses intersects An image processing device for generating display image data to be displayed on a display device having a display unit for forming an image on the display device,
When the display unit is viewed from the first direction, the image data corresponding to the first image formed on the display unit corresponds to the second image that is deformed so as to be inclined in the second direction. A first conversion unit for converting into image data to be processed;
A second converter that converts image data corresponding to the second image converted by the first converter into the display image data;
An image processing apparatus comprising:

A position having a plurality of pixels, where light from some of the plurality of pixels is incident on one microlens of the plurality of microlenses, and light that has passed through the plurality of microlenses intersects An image processing program for generating display image data to be displayed on a display device having a display unit for forming an image on the screen,
When the display unit is viewed from the first direction, the image data corresponding to the first image formed on the display unit corresponds to the second image that is deformed so as to be inclined in the second direction. Conversion to image data,
Conversion of image data corresponding to the converted second image to display image data;
An image processing program for causing a computer to execute.