JP2013024910A - Optical equipment for observation - Google Patents
Optical equipment for observation Download PDFInfo
- Publication number
- JP2013024910A JP2013024910A JP2011156566A JP2011156566A JP2013024910A JP 2013024910 A JP2013024910 A JP 2013024910A JP 2011156566 A JP2011156566 A JP 2011156566A JP 2011156566 A JP2011156566 A JP 2011156566A JP 2013024910 A JP2013024910 A JP 2013024910A
- Authority
- JP
- Japan
- Prior art keywords
- opening
- image
- line
- observer
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 23
- 210000001508 eye Anatomy 0.000 claims abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 27
- 210000005252 bulbus oculi Anatomy 0.000 claims description 7
- 210000001747 pupil Anatomy 0.000 description 31
- 239000011521 glass Substances 0.000 description 30
- 238000000926 separation method Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 206010047571 Visual impairment Diseases 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000004907 flux Effects 0.000 description 5
- 208000003464 asthenopia Diseases 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、観察者の視覚疲労が少ない立体像を提供可能な観察用光学機器に関する発明である。 The present invention relates to an optical device for observation that can provide a stereoscopic image with less visual fatigue of an observer.
両眼視差画像を観察者の左右眼に独立に呈示して立体画像を表示する装置は、様々な方式のものが提案されている。このうち観察者の左右眼の眼前に何らかの画像分離用メガネを装着させて観察者に両眼立体視を行わせる方式のものは、一般的に「メガネ式立体表示装置」と呼ばれる。さらに上記の画像分離用メガネの分離方法によっても方式分別され、色情報を利用して左右眼用画像を分離するものは「アナグリフ方式」、偏光を利用して分離するものは「偏光メガネ方式」と呼ばれる。また、時間交互に左右眼領域の透過と遮蔽を高速に切り替え、これと同期して左右眼用画像表示を行うものは「時分割シャッターメガネ方式」と呼ばれる。 Various systems have been proposed for displaying stereoscopic images by independently displaying binocular parallax images to the left and right eyes of an observer. Of these, a type of system in which some sort of image separation glasses is mounted in front of the left and right eyes of the observer and the observer performs binocular stereoscopic vision is generally called a “glasses-type stereoscopic display device”. Furthermore, it is also classified according to the separation method of the above-mentioned image separation glasses, the “anaglyph method” is used to separate the left and right eye images using color information, and the “polarized glasses method” is used to separate using polarized light. Called. In addition, the method of switching the left and right eye regions at high speeds and switching between the left and right eye regions at high speed and displaying the images for the left and right eyes in synchronism with this is called a “time-division shutter glasses method”.
特許文献１には上記「時分割シャッターメガネ方式」のうち、「超多眼表示」を実現して視覚疲労を低減する新技術を適用した例が開示されている。「超多眼表示」とは、例えば非特許文献１に示されている表示方法のことである。非特許文献１では、立体像の視差画像の視差間隔を観察者の単眼内に複数の視差画像が同時に入射するほどに小さくしていくと、通常の両眼視差を用いた立体視では実現しない「立体像観察時の眼の調節と輻輳の一致」という現象が実現されるとされている。また、この現象により、観察者の視覚疲労が低減する可能性があるとされている。特許文献１では、観察者の単眼内に複数の視差画像を同時に入射させるために、複数の視差画像を高速に切り替える表示部と同期して各メガネ枠内にて時系列的に変位可能なスリットを有する画像分離用メガネを構成している。そして、特許文献１では、この画像分離用メガネを用いて、単眼内に複数の視差画像を呈示する「超多眼表示」を行い、観察者に自然な立体視を行わせる技術を開示している。 Patent Document 1 discloses an example in which, among the “time-division shutter glasses method”, a new technique for realizing “super multi-view display” and reducing visual fatigue is applied. “Super multi-view display” is a display method disclosed in Non-Patent Document 1, for example. In Non-Patent Document 1, if the parallax interval of a parallax image of a stereoscopic image is made so small that a plurality of parallax images are simultaneously incident on an observer's monocular, it is not realized in stereoscopic viewing using normal binocular parallax. It is said that the phenomenon of “eye adjustment and convergence during stereoscopic image observation” is realized. Moreover, it is said that this phenomenon may reduce visual fatigue of the observer. In Patent Document 1, in order to simultaneously enter a plurality of parallax images into an observer's monocular, a slit that can be displaced in time series within each spectacle frame in synchronization with a display unit that switches a plurality of parallax images at high speed. The image-separating glasses having the above are configured. Patent Document 1 discloses a technique for performing “super multi-view display” in which a plurality of parallax images are presented in a single eye using the image separation glasses, and allowing a viewer to perform natural stereoscopic vision. Yes.
特許文献１の発明において観察者が広画角で画像観察を行えるようにするためには、上述したスリットの変位範囲が眼球の中心視野から周辺視野までをカバーするように構成する必要がある。しかしながら、そのような構成をとるとスリット数が増大し、ひいてはスリット形成に同期して観察者に呈示すべき視差画像数も増大してしまう。上述した「超多眼表示」を行うためには、上記のスリット形成と視差画像呈示の一連の動作は観察者の残像許容時間内に完了させる必要がある。したがって、観察者に呈示すべき視差画像数が増大すると、その分視差画像を呈示する表示部はより高速フレームレートでの画像切り替え表示が要求されるようになる。例えばスリット数が片眼あたり１０、両眼あわせて２０となる場合、表示部に要求されるフレームレートは通常ディスプレイの２０倍となる。このような高速表示ディスプレイを用意することは容易ではない。 In order to enable an observer to observe an image with a wide angle of view in the invention of Patent Document 1, it is necessary to configure the above-described slit displacement range to cover from the central visual field to the peripheral visual field of the eyeball. However, when such a configuration is adopted, the number of slits increases, and as a result, the number of parallax images to be presented to the observer in synchronization with the formation of the slits also increases. In order to perform the above-mentioned “super multi-view display”, it is necessary to complete the series of operations of slit formation and parallax image presentation within the allowable time for afterimage of the observer. Accordingly, when the number of parallax images to be presented to the observer increases, the display unit that presents the parallax images accordingly requires image switching display at a higher frame rate. For example, when the number of slits is 10 per eye and 20 for both eyes, the frame rate required for the display unit is 20 times that of a normal display. It is not easy to prepare such a high-speed display.
そこで、本発明は、画像表示部に要求されるフレームレートを抑制するとともに、広画角化を達成し、観察者の単眼内に複数の視差画像を呈示する超多眼表示を行うことが可能な観察用光学機器を提供することを目的とする。 Therefore, the present invention can suppress the frame rate required for the image display unit, achieve a wide angle of view, and perform super multi-view display that presents a plurality of parallax images within the observer's monocular. It is an object to provide an optical device for observation.
本発明の一側面としての観察光学用光学機器は、片方の目に複数の視差画像を入射させる観察用光学機器であって、開口が形成される領域を変更可能な開口形成手段と、前記複数の視差画像を時系列で表示する画像表示手段と前記開口形成手段との同期をとる信号同期手段と、前記信号同期手段からの信号に基づいて、前記開口形成手段の前記開口が形成される領域と該開口の水平方向幅を制御する制御手段と、観察者の視線を検出する視線検出手段と、を有し、前記制御手段は、前記視線検出手段により検出された結果に応じて、前記開口の水平方向幅を制御することを特徴とする。 An optical device for observation optical according to one aspect of the present invention is an optical device for observation that allows a plurality of parallax images to be incident on one eye, the opening forming means capable of changing a region where an opening is formed, and the plurality of the optical devices An image display means for displaying the parallax images in time series and a signal synchronization means for synchronizing the opening formation means, and a region where the opening of the opening formation means is formed based on a signal from the signal synchronization means And a control means for controlling the horizontal width of the opening, and a line-of-sight detection means for detecting the line of sight of the observer, the control means depending on the result detected by the line-of-sight detection means It is characterized by controlling the horizontal width.
本発明によれば、画像表示部に要求されるフレームレートを抑制するとともに、広画角化を達成し、観察者の単眼内に複数の視差画像を呈示する超多眼表示を行うことが可能な観察用光学機器を提供できる。 According to the present invention, it is possible to suppress the frame rate required for the image display unit, achieve a wide angle of view, and perform super multi-view display that presents a plurality of parallax images within a single eye of an observer. An optical device for observation can be provided.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
図１は本発明を適用した観察用光学機器の第１実施例の平面図である。本装置は主要な構成として画像表示部１（画像表示手段）と画像分離用メガネ５とを有している。画像表示部１は画像表示部制御手段３に接続され、そこから送信される画像信号を画像情報光に変換して画面上に表示画像Ｉを表示する。画像表示部１は、後述するように複数の視差画像を時系列で表示することが可能である。画像表示部制御手段３は同期信号発生手段４とも接続されており、同期信号発生手段４が画像表示の同期信号を発生して同期用無線信号発信部９（信号同期手段）から無線の同期信号を発信する。 FIG. 1 is a plan view of a first embodiment of an observation optical apparatus to which the present invention is applied. This apparatus has an image display unit 1 (image display means) and image separation glasses 5 as main components. The image display unit 1 is connected to the image display unit control means 3, converts an image signal transmitted from the image display unit 1 into image information light, and displays a display image I on the screen. As will be described later, the image display unit 1 can display a plurality of parallax images in time series. The image display control unit 3 is also connected to the synchronization signal generation unit 4. The synchronization signal generation unit 4 generates a synchronization signal for image display, and a wireless synchronization signal is transmitted from the synchronization wireless signal transmission unit 9 (signal synchronization unit). To send.
一方、画像分離用メガネ５は以下のような構成を有している。メガネ装着者（観察者）の眼前にあたる部分に空間変調器６Ｒ，６Ｌ（開口形成手段）を有している。ここでは右眼用の空間変調器を６Ｒ、左眼用の空間変調器を６Ｌと記載している（以下、同様にして右眼用の部品には“Ｒ”、左眼用の部品には“Ｌ”の添字を用いる。）。これらの空間変調器６Ｒ，６Ｌは光を透過する領域（以下、光透過領域、又は、開口とも呼ぶ。）と非透過の領域とを入力される電気信号に応じて制御することが可能で、空間変調器駆動部７Ｒ，７Ｌ（制御手段）によって駆動される。空間変調器６Ｒ，６Ｌは、この空間変調器駆動部７Ｒ，７Ｌにより駆動されることで、開口が形成される領域を変更可能である。 On the other hand, the image separation glasses 5 have the following configuration. Spatial modulators 6R and 6L (opening forming means) are provided in front of the eyeglass wearer (observer). Here, the spatial modulator for the right eye is described as 6R, and the spatial modulator for the left eye is described as 6L (hereinafter, “R” is similarly used for the right eye component, and "L" subscript is used.) These spatial modulators 6R and 6L can control a light transmitting region (hereinafter also referred to as a light transmitting region or an opening) and a non-transmitting region according to an input electric signal. It is driven by the spatial modulator driving units 7R and 7L (control means). The spatial modulators 6R and 6L are driven by the spatial modulator driving units 7R and 7L, so that the region where the opening is formed can be changed.
また、同期用無線信号受信部８（信号同期手段）を有しているので、前述した同期用無線信号発信部９から発せられる画像表示の同期無線信号を受信することができ、この信号を使用して空間変調器６Ｒ，６Ｌの同期駆動を行うことができる。この同期駆動について、図２〜４を用いて説明する。 Further, since it has a synchronization radio signal receiving unit 8 (signal synchronization means), it can receive the image display synchronization radio signal emitted from the synchronization radio signal transmission unit 9 and use this signal. Thus, the spatial modulators 6R and 6L can be driven synchronously. This synchronous drive will be described with reference to FIGS.
図２は画像分離用メガネ５において空間変調器６Ｒ上に形成される光透過領域の様子を示している。開口ＳＬ−６Ｒは水平方向に狭く縦方向に長いスリット形状となっており、開口ＳＬ−６Ｒ以外の領域は光を遮断する構造となっている。開口ＳＬ−６Ｒは前述の同期無線信号に同期して時系列的にその形成位置を変化させていく。 FIG. 2 shows a state of a light transmission region formed on the spatial modulator 6R in the image separation glasses 5. The opening SL-6R has a slit shape that is narrow in the horizontal direction and long in the vertical direction, and a region other than the opening SL-6R is configured to block light. The opening SL-6R changes its formation position in time series in synchronization with the above-described synchronous radio signal.
図３（ａ）は開口形成領域を正面から観察した図である。空間変調器６Ｒ、６Ｌは複数の位置にスリット開口を形成することができるが、本実施例においてはそのうち、左右４つずつの開口形成領域を形成しており、時刻ｔの経過に応じて左右合計８つのうち１つの領域のみが透過状態となるよう制御される。 FIG. 3A is a view of the opening formation region observed from the front. The spatial modulators 6R and 6L can form slit openings at a plurality of positions, but in this embodiment, four left and right opening formation regions are formed, and the left and right openings are formed as time t passes. Control is performed so that only one region out of a total of eight regions is in a transmissive state.
１つの開口形成時間をΔとするとき、図３（ａ）の領域１〜８が順次透過状態となっていき、時間８Δで開口形成が一巡する。この様子をさらに詳しく図３（ｂ）を用いて説明する。図３（ｂ）において時刻ｔ＝０〜１Δのとき領域１が透過状態となり、その他の領域は非透過となっている。同様にして時刻ｔ＝１Δ〜２Δのときは領域２のみが、時刻ｔ＝２Δ〜３Δのときは領域３のみが・・・という要領で開口形成動作が時間８Δ周期で繰り返される。各領域の可視光透過率をグラフで表すと図４（ａ）のようになる。グラフ横軸の時刻ｔの変化に伴って、開口形成位置が順次切り替わっていくことが示されている。 When one opening formation time is Δ, the regions 1 to 8 in FIG. 3A are sequentially in the transmission state, and the opening formation is completed at time 8Δ. This will be described in more detail with reference to FIG. In FIG. 3B, when the time t = 0 to 1Δ, the region 1 is in a transmissive state, and the other regions are not transmissive. Similarly, the opening forming operation is repeated at a period of time 8Δ in the manner that only the region 2 is at time t = 1Δ to 2Δ, and only the region 3 is at time t = 2Δ to 3Δ. The visible light transmittance of each region is represented by a graph as shown in FIG. It is shown that the opening formation position is sequentially switched with the change of the time t on the horizontal axis of the graph.
なお、空間変調器６Ｒ，６Ｌ上に形成される開口の幅は領域によって異なっている。この効果については後ほど詳しく述べる。ここではまず、開口形成と視差画像表示の同期表示について説明する。 Note that the width of the opening formed on the spatial modulators 6R and 6L differs depending on the region. This effect will be described in detail later. Here, first, synchronous display of opening formation and parallax image display will be described.
本発明においては上記空間変調器６Ｒ，６Ｌ上での開口形成のタイミングと画像表示部１における画像表示のタイミングを同期させる制御を行っている。図４（ｂ）は画像表示部１上の画像表示タイミングのグラフである。領域１に開口が形成されるときは視差画像１が、領域２に開口が形成されるときは視差画像２が、領域３に開口が形成されるときは視差画像３が・・・という要領で開口位置に対応した視差画像表示が行われる。なお、これら一連の開口形成サイクルはすべて観察者の残像許容時間内（一般に、１／６０秒以内といわれる。）に行われるため観察者は開口の変位を認識することができず、領域１〜４、領域５〜８がそれぞれ大きな開口として認識される。換言すれば、複数の視差画像の時系列的な順次表示の一周期と、開口の時系列的な順次形成の一周期とは、共に観察者の残像許容時間内で行っている。 In the present invention, control is performed to synchronize the timing of opening formation on the spatial modulators 6R and 6L and the timing of image display on the image display unit 1. FIG. 4B is a graph of image display timing on the image display unit 1. The parallax image 1 when the opening is formed in the region 1, the parallax image 2 when the opening is formed in the region 2, and the parallax image 3 when the opening is formed in the region 3. The parallax image display corresponding to the opening position is performed. In addition, since these series of opening formation cycles are all performed within the observer's afterimage allowable time (generally, within 1/60 seconds), the observer cannot recognize the displacement of the opening, and 4 and regions 5 to 8 are recognized as large openings. In other words, one period of sequential display of a plurality of parallax images and one period of sequential formation of apertures are both performed within the allowable afterimage time of the observer.
次に、上記視差画像１〜８の取得方法について説明する。図５は視差画像取得方法の説明図である。良好な立体画像を再生するためには、撮像時の空間と再生時の空間との相対的位置関係を一致させることが望ましい。つまり、撮像空間において、再生したい物体、再生時の画像表示部、観察者の視点の３者の相対的位置関係を仮想的に決めておき、観察者視点位置に撮像カメラを配置して物体を撮像する。その後、再生時の画像表示部の画面範囲でトリミングを行えば、適切な視差画像を取得することができる。 Next, a method for acquiring the parallax images 1 to 8 will be described. FIG. 5 is an explanatory diagram of a parallax image acquisition method. In order to reproduce a good stereoscopic image, it is desirable to match the relative positional relationship between the space at the time of imaging and the space at the time of reproduction. In other words, in the imaging space, the relative positional relationship between the object to be reproduced, the image display unit at the time of reproduction, and the observer's viewpoint is virtually determined, and the imaging camera is placed at the observer viewpoint position to locate the object. Take an image. Thereafter, if trimming is performed within the screen range of the image display unit at the time of reproduction, an appropriate parallax image can be acquired.
図５で示す撮像空間においては仮想的な立体画像表示部位置を図中１’の位置に、仮想的な観察者視点位置をＲ１、Ｒ２、Ｒ３、Ｒ４、Ｌ１、Ｌ２、Ｌ３、Ｌ４に定めている。このとき、観察者視点Ｒ１〜４、Ｌ１〜４はそれぞれ、画像再生時の空間変調器６Ｒ、６Ｌの開口形成領域１〜８の中心点と対応している。 In the imaging space shown in FIG. 5, the virtual stereoscopic image display unit position is set to the position 1 ′ in the figure, and the virtual observer viewpoint positions are set to R1, R2, R3, R4, L1, L2, L3, and L4. ing. At this time, the observer viewpoints R1 to R4 and L1 to R4 correspond to the center points of the opening formation regions 1 to 8 of the spatial modulators 6R and 6L during image reproduction, respectively.
したがって、前述した視差画像１〜８を取得するには上記観察者視点Ｒ１〜４、Ｌ１〜４に撮像カメラ３１を配置して、それぞれの視点位置から物体３２を撮像すればよい。ただし、再生時に画像表示部１の画面上に表示する画像範囲は、撮像時の仮想的な画像表示部１’の画面領域と一致していることが望ましいので、各視差画像を図中のクロスハッチング部で示された空間との共通領域に限定するトリミングをおこなうとよい。 Therefore, in order to acquire the parallax images 1 to 8 described above, the imaging cameras 31 may be arranged at the observer viewpoints R1 to R4 and L1 to 4, and the object 32 may be captured from each viewpoint position. However, since it is desirable that the image range displayed on the screen of the image display unit 1 at the time of reproduction coincides with the screen area of the virtual image display unit 1 ′ at the time of imaging, each parallax image is represented by a cross in the figure. Trimming limited to a common area with the space indicated by the hatched portion may be performed.
このようにして得られた８つの視差画像をそれぞれに対応する視点位置から独立に観察すれば観察者は立体視を行うことができる。図６はこの様子を説明する本装置の平面図である。図６（ａ）は、図３（ｂ）、図４（ａ）、（ｂ）における時刻ｔ＝１Δ〜２Δのときの状態を示している。空間変調器６Ｒ，６Ｌの各領域のうち領域２のみが光透過状態となっており観察者はこの領域２の開口を通して表示画像Ｉを観察できるが、このとき表示画像Ｉには領域２の中心点Ｒ２を視点として取得した視差画像２が表示される。同様にして、時刻ｔ＝２Δ〜３Δのときには図６（ｂ）に示すように領域３のみが光透過状態となっており、観察者はこの領域３の開口を通して領域３の中心点Ｒ３を視点として取得した視差画像３を観察する。上記の所作を繰り返すと、観察者は領域１〜８の開口を通して、視差画像１〜８をそれぞれ独立に観察することができる。 If the eight parallax images obtained in this way are observed independently from the corresponding viewpoint positions, the observer can perform stereoscopic viewing. FIG. 6 is a plan view of the apparatus for explaining this situation. FIG. 6A shows a state at time t = 1Δ to 2Δ in FIGS. 3B, 4A, and 4B. Of the regions of the spatial modulators 6R and 6L, only the region 2 is in a light transmitting state, and the observer can observe the display image I through the opening of the region 2, but at this time, the display image I includes the center of the region 2 A parallax image 2 acquired with the point R2 as a viewpoint is displayed. Similarly, at time t = 2Δ to 3Δ, only the region 3 is in a light transmitting state as shown in FIG. 6B, and the observer views the center point R3 of the region 3 through the opening of the region 3. The parallax image 3 acquired as follows is observed. When the above operation is repeated, the observer can observe the parallax images 1 to 8 independently through the openings in the regions 1 to 8.
このとき例えば視差画像１〜４は右眼に呈示され視差画像５〜８は左眼に呈示されることになるが、このうち右眼用視差画像１枚と左眼用視差画像１枚のペア、例えば視差画像２と視差画像６を観察することで観察者は両眼視差による立体視を行うことができる。 At this time, for example, the parallax images 1 to 4 are presented to the right eye and the parallax images 5 to 8 are presented to the left eye, and of these, a pair of one right eye parallax image and one left eye parallax image For example, by observing the parallax image 2 and the parallax image 6, the observer can perform stereoscopic vision by binocular parallax.
さらに視差画像１〜４はいずれも観察者の右眼のみに、視差画像５〜８はいずれも観察者の左眼のみにほぼ同時に表示されており、先に述べた単眼内視差呈示による「超多眼表示」の状態が達成されることになる。その結果「立体像観察時の眼の調節と輻輳の一致」という現象が実現して観察者の視覚疲労が低減するという効果が生まれる。 Furthermore, the parallax images 1 to 4 are all displayed only on the viewer's right eye, and the parallax images 5 to 8 are all displayed only on the viewer's left eye almost simultaneously. The “multi-view display” state is achieved. As a result, the phenomenon of “matching of eye adjustment and convergence during stereoscopic image observation” is realized, and the visual fatigue of the observer is reduced.
次に空間変調器６Ｒ、６Ｌ上に形成される開口の幅と「超多眼表示」の効果の関係について図７を用いて説明する。図７（ａ）と図７（ｂ）は、それぞれ本実施例の構成において、空間変調器６上に形成する開口の幅が小さい場合と大きい場合の観察者の単眼に入射する光束の状態を示した図である。 Next, the relationship between the width of the openings formed on the spatial modulators 6R and 6L and the effect of “super multi-view display” will be described with reference to FIG. FIGS. 7A and 7B respectively show the state of the light beam incident on the observer's monocular when the width of the opening formed on the spatial modulator 6 is small and large in the configuration of the present embodiment. FIG.
図７（ａ）において表示画像Ｉ上に画素Ａが表示されているときは開口Ａが、画素Ｂが表示されているときは開口Ｂが形成される。各開口の幅は画素と同程度に小さく設定されているため、開口を通して観察者の単眼に入射する光束（図中、網掛けで表示）はいずれも指向性の高い光束となっている。上記の開口形成と画像表示は観察者の残像許容時間内にすべて完了するので、観察者からは指向性の高い２本の光束が同時に片眼に入射するように見える。このとき、２つの光束は図中の交点（１）の位置で交わっているが、光束の指向性が高いため交点（１）の断面積は画素Ａ、画素Ｂの面積とほとんど変わらない。つまり観察者はこの光束の光源面がどこであるかを特定しにくい状態となっている。この状態で観察者が眼の水晶体２２を調節して眼のピントを変化させると、画像表示面Ｐｉに合焦したときは二重像が観察されるのに対し、交点面Ｐｃに合焦したときは１つの点像として認識される。そのため、観察者の眼の調節は光束の交点面Ｐｃに誘導されるといわれている。 In FIG. 7A, the opening A is formed when the pixel A is displayed on the display image I, and the opening B is formed when the pixel B is displayed. Since the width of each aperture is set to be as small as that of the pixel, the light flux (indicated by hatching in the figure) that enters the observer's monocular through the aperture is a highly directional light flux. Since the above aperture formation and image display are all completed within the observer's allowable afterimage time, it appears to the observer that two light beams with high directivity are simultaneously incident on one eye. At this time, the two light beams intersect at the position of the intersection (1) in the figure, but the cross-sectional area of the intersection (1) is almost the same as the area of the pixel A and the pixel B because the directivity of the light beam is high. That is, it is difficult for the observer to specify where the light source surface of this light beam is. In this state, when the observer adjusts the eye lens 22 to change the focus of the eye, a double image is observed when focused on the image display surface Pi, but is focused on the intersection plane Pc. Sometimes it is recognized as one point image. For this reason, it is said that the adjustment of the observer's eyes is guided to the intersection plane Pc of the luminous flux.
一方、図７（ｂ）のように開口の幅が画素の数倍程度に大きい場合を図７（ａ）と比較して見てみると、各開口を通して観察者の単眼に入射する光束（図中、網掛けで表示）は、図７（ａ）の場合よりもやや指向性の低い、拡散光気味の光束となっている。このとき、２つの光束は図中の交点（２）の位置で交わっているが、光束の指向性が低いため交点（２）の断面積は画素Ａ、画素Ｂの面積よりも大きくなっている。この状態で観察者が眼の水晶体２２を調節して眼のピントを変化させると、画像表示面Ｐｉに合焦したときよりも交点面Ｐｃに合焦したときのほうが光束断面積は大きくなったように認識される。そのため、図７（ａ）の状態と比べて観察者の眼の調節は画像表示面Ｐｉに誘導されやすくなると推測できる。 On the other hand, when a case where the width of the opening is as large as several times as large as the pixel as shown in FIG. 7B is compared with FIG. 7A, the light flux (FIG. 7) that enters the observer's monocular through each opening. (Displayed by shading) is a diffused light beam having slightly lower directivity than the case of FIG. At this time, the two light beams intersect at the position of the intersection (2) in the figure, but the cross-sectional area of the intersection (2) is larger than the areas of the pixels A and B because the directivity of the light beams is low. . In this state, when the observer adjusts the lens 22 of the eye to change the focus of the eye, the cross-sectional area of the light beam becomes larger when focused on the intersection plane Pc than when focused on the image display plane Pi. As perceived. Therefore, it can be assumed that the adjustment of the observer's eyes is more easily guided to the image display surface Pi as compared with the state of FIG.
このように、空間変調器６上に形成する開口の幅が小さい方が、超多眼表示の効果である「立体像観察時の眼の調節と輻輳の一致」状態は、より発生しやすくなると考えられる。 As described above, when the width of the opening formed on the spatial modulator 6 is smaller, the “matching of eye adjustment and convergence during stereoscopic image observation” state, which is an effect of super multi-view display, is more likely to occur. Conceivable.
しかしながら、１個の開口の幅をより小さくすると形成すべき開口の数の増加を招く。なぜなら、空間変調器６上の開口形成領域は観察者が表示画像Ｉを観察する画角をカバーするものでなくてはならないため、開口形成可能範囲の面積は不変のまま開口幅が小さくなる分、分割割数が増加することを意味するからである。また、前述したように開口形成サイクル（＝視差画像表示サイクル）は観察者の残像許容時間内に行われるべきなので、もし形成すべき開口の数が増加すると画像表示部１はより高いフレームレートで画像を表示しなくてはならなくなる。 However, if the width of one opening is made smaller, the number of openings to be formed increases. This is because the opening forming area on the spatial modulator 6 must cover the angle of view through which the observer observes the display image I, so that the area of the opening forming range remains unchanged and the opening width becomes small. This is because it means that the number of divisions increases. Further, as described above, since the aperture formation cycle (= parallax image display cycle) should be performed within the allowable time for the afterimage of the observer, if the number of apertures to be formed increases, the image display unit 1 has a higher frame rate. The image must be displayed.
そこで、本実施例では形成される開口の幅を観察者の片眼の「中心視野」では小さく「周辺視野」では大きくなるよう設定して呈示する視差画像数を抑制し、画像表示部１に要求される表示フレームレートを低く抑えている。これは、一般に眼の中心視野ほど空間分解能は高く、眼の視線方向から２度ずれると視力は１／３ほどに低下するといわれているので、「超多眼表示」を行う対象範囲を「中心視野」優先としても問題ないと考えたからである。つまり、立体像の奥行き知覚に最も寄与すると思われる「中心視野」のみ指向性の高い光束を入射させ、「周辺視野」では入射する光束の指向性を低下させるという方法を本実施例では採用している。この方法は、既に図３でも示している。図３に示されるように、観察者左右眼の直前位置に相当する領域２、３、６、７の開口幅は小さく、その周辺部の領域１、４、５、８の開口幅は大きく設定されている。このように、本発明は、空間変調器６の片方の目に対応する領域２、３（６、７）の周辺部の領域１、４（５、８）に形成される開口の水平方向幅が、中心部の領域２、３（６、７）に形成される開口の水平方向幅よりも広い幅を持つ。したがって、本発明は例えば後述する図８に示されるように領域１〜６（７〜１２）に形成される各開口の水平方向幅が物理的に等しい幅を有する構成であっても、空間変調器駆動部７によって開口が狭い幅や広い幅を持つように制御されることでも達成される。つまり、例えば、空間変調器駆動部７は、図８の領域１、２、５、６（７、８、１１、１２）に形成される開口の水平方向幅が領域３、４（９、１０）に形成される開口の水平方向幅よりも広い幅を持つように制御するものであればよい。 Therefore, in the present embodiment, the width of the opening formed is set to be small in the “center visual field” of one eye of the observer and large in the “peripheral visual field” to suppress the number of parallax images to be presented, and the image display unit 1 The required display frame rate is kept low. This is because it is generally said that the spatial resolution of the central visual field of the eye is higher, and the visual acuity is reduced to about 1/3 when it is deviated twice from the eye gaze direction. This is because it was thought that there was no problem even if priority was given to "view". In other words, in this example, a method is adopted in which a highly directional light beam is incident only on the “center visual field”, which is thought to contribute most to the depth perception of a stereoscopic image, and the directivity of the incident light beam is reduced in the “peripheral visual field”. ing. This method is already shown in FIG. As shown in FIG. 3, the opening widths of the regions 2, 3, 6, and 7 corresponding to the positions immediately before the left and right eyes of the observer are small, and the opening widths of the peripheral regions 1, 4, 5, and 8 are set large. Has been. As described above, the present invention provides the horizontal width of the opening formed in the regions 1 and 4 (5 and 8) in the peripheral portion of the regions 2 and 3 (6 and 7) corresponding to one eye of the spatial modulator 6. However, it has a width wider than the horizontal width of the opening formed in the central region 2, 3 (6, 7). Accordingly, in the present invention, for example, as shown in FIG. 8 described later, even if the horizontal widths of the openings formed in the regions 1 to 6 (7 to 12) are physically equal, This can also be achieved by controlling the opening so as to have a narrow width or a wide width by the device driver 7. That is, for example, in the spatial modulator driving unit 7, the horizontal width of the openings formed in the regions 1, 2, 5, 6 (7, 8, 11, 12) in FIG. It is sufficient if the width is controlled so as to be wider than the horizontal width of the opening formed.
上記の本発明のような「不等開口幅」を適用した場合とそうでない場合とで、画像表示部１に要求される性能が大きく異なることを確認しておく。例えば図８のように形成する開口の幅がすべて等しく、片眼あたり６、両眼あわせて１２の開口を形成する場合、画像表示部１に要求されるフレームレートは通常ディスプレイの１２倍となる。通常ディスプレイの表示フレームレートは６０Ｈｚ程度なので、特許文献１の発明を実施するには表示フレームレート７２０Ｈｚのディスプレイデバイスが必要となる。一方、本実施例の場合図３（ａ）に示したように、観察者の画角は図８の場合と同じであるにもかかわらず、形成する開口数が片眼あたり４、両眼あわせて８となっている。したがって、画像表示部１に要求されるフレームレートは通常ディスプレイの８倍で済み、表示フレームレートが４８０Ｈｚ程度のディスプレイデバイスで実現可能となる。つまり「不等開口幅」を適用した場合、そうでない場合と比べて約３３％も要求フレームレートを低減化することが出来た。 It is confirmed that the performance required for the image display unit 1 is greatly different between the case where the “unequal opening width” as in the present invention is applied and the case where the “unequal opening width” is not applied. For example, as shown in FIG. 8, when all the openings to be formed have the same width and 6 openings per eye and 12 openings for both eyes are formed, the frame rate required for the image display unit 1 is 12 times that of a normal display. . Since the display frame rate of a normal display is about 60 Hz, a display device with a display frame rate of 720 Hz is required to implement the invention of Patent Document 1. On the other hand, in the case of the present embodiment, as shown in FIG. 3A, the angle of view of the observer is the same as in FIG. It is eight. Therefore, the frame rate required for the image display unit 1 may be eight times that of a normal display, and can be realized with a display device having a display frame rate of about 480 Hz. In other words, when the “unequal opening width” is applied, the required frame rate can be reduced by about 33% compared to the case where the “unequal opening width” is not applied.
次に、本実施例のもう一つの特徴である視線検出機能について説明する。図１において画像分離用メガネ５は装着者の視線を検出するための部品として瞳孔照明手段１０（１０Ｒ，１０Ｌ）と瞳孔画像取得手段１１（１１Ｒ，１１Ｌ）を有している。瞳孔画像取得手段１１Ｒ，１１Ｌで得られた瞳孔画像は視線検出処理部１２Ｒ、１２Ｌに送られ、画像処理によって観察者の視線方向を検出する。本発明では、これら瞳孔照明手段１０、瞳孔画像取得手段１１、視線検出処理部１２が視線検出手段として機能している。視線検出方法については各種方法があるが、ここでは非特許文献２に示されている方法を用いている。瞳孔照明手段１０は水平方向に並んだ２個の赤外ＬＥＤ（発光ダイオード）で構成されている。これらで眼を照明し、その時の瞳孔の様子を瞳孔画像取得手段１１によって撮影する。瞳孔画像取得手段１１は撮像光学系とＣＣＤなどのエリアセンサで構成され、２次元の画像情報として瞳孔画像を取得することができる。 Next, the gaze detection function, which is another feature of the present embodiment, will be described. In FIG. 1, the image separation glasses 5 have pupil illumination means 10 (10R, 10L) and pupil image acquisition means 11 (11R, 11L) as parts for detecting the wearer's line of sight. The pupil images obtained by the pupil image acquisition units 11R and 11L are sent to the line-of-sight detection processing units 12R and 12L, and the line-of-sight direction of the observer is detected by image processing. In the present invention, the pupil illumination unit 10, the pupil image acquisition unit 11, and the line-of-sight detection processing unit 12 function as a line-of-sight detection unit. There are various gaze detection methods. Here, the method shown in Non-Patent Document 2 is used. The pupil illumination means 10 is composed of two infrared LEDs (light emitting diodes) arranged in the horizontal direction. The eyes are illuminated with these, and the state of the pupil at that time is photographed by the pupil image acquisition means 11. The pupil image acquisition means 11 includes an imaging optical system and an area sensor such as a CCD, and can acquire a pupil image as two-dimensional image information.
図９（ａ）は眼が正面を向いているときの瞳孔画像、図９（ｂ）は眼が正面以外の方向を向いているときの瞳孔画像を示している。これらの瞳孔画像は視線検出処理部１２に送られ、画像情報から視線方向の情報を抽出するために画像処理される。瞳孔画像には眼の虹彩２１と瞳孔２２が異なる画像濃度で表現されているので、視線検出処理部１２ではまず画像濃度差から瞳孔輪郭を抽出することができる。次に、視線検出処理部１２では赤外ＬＥＤ光源の角膜面反射による虚像である「プルキンエ像」２３を抽出する。こちらも画像濃度差が顕著なので画像処理によって抽出することができる。図９（ａ）と図９（ｂ）を比較してみると、視線方向が変化し眼球が回転した場合に瞳孔２２の位置は変化しているにもかかわらず、プルキンエ像２３の位置は変化しない。したがって、瞳孔２２とプルキンエ像２３との相対的位置関係を求めれば眼球の回転量を導出でき、ひいては視線方向を検出することができる。 FIG. 9A shows a pupil image when the eye is facing the front, and FIG. 9B shows a pupil image when the eye is facing a direction other than the front. These pupil images are sent to the line-of-sight detection processing unit 12, and image processing is performed to extract information on the line-of-sight direction from the image information. Since the iris 21 of the eye and the pupil 22 are expressed with different image densities in the pupil image, the line-of-sight detection processing unit 12 can first extract the pupil contour from the image density difference. Next, the line-of-sight detection processing unit 12 extracts a “Purkinje image” 23 which is a virtual image due to the corneal reflection of the infrared LED light source. Here, too, the difference in image density is remarkable, so that it can be extracted by image processing. When comparing FIG. 9A and FIG. 9B, the position of the Purkinje image 23 changes even though the position of the pupil 22 changes when the eye direction changes and the eyeball rotates. do not do. Therefore, if the relative positional relationship between the pupil 22 and the Purkinje image 23 is obtained, the amount of rotation of the eyeball can be derived, and the line-of-sight direction can be detected.
ただし、眼球の形状などの個人差により視線方向と眼球回転量の関係も個人によってばらつく。つまり瞳孔２２とプルキンエ像２３との相対的位置関係を視線方向に変換するアルゴリズムは個人毎に変更しなくてはならない。そこで個人毎のキャリブレーションが必要となる。 However, the relationship between the line-of-sight direction and the amount of rotation of the eyeball varies depending on the individual due to individual differences such as the shape of the eyeball. That is, the algorithm for converting the relative positional relationship between the pupil 22 and the Purkinje image 23 into the line-of-sight direction must be changed for each individual. Therefore, individual calibration is required.
キャリブレーションは通常の画像表示とは別の動作モードで行う。モードの切り替え（識別）には同期用無線信号を用いるとよい。例えば、キャリブレーション用画像を５種類用意してキャリブレーションを行う場合、通常の同期用無線信号とは変調周波数の異なる５種類の信号を同期用無線信号発信部９から発信する。そして、それを受信した画像分離用メガネ側はそれぞれの「キャリブレーションモード」に移行して専用動作を行う。このように、本実施例では、複数のキャリブレーションモードの識別を信号同期手段８を使って行っている。具体的には、まず空間変調器６Ｒ，６Ｌの開口形成可能な領域すべてが「透過」状態となる。そして画像表示部制御手段３は画面内の右上、右下、左上、左下、中心の５つの位置を注視させる指標画像を画像表示部１に順次表示する。図１０は「左上」を注視させるキャリブレーション用指標画像の例である。観察者には、画面に正対したまま首を動かさずに眼だけを動かして、それらの指標を注視した状態でキャリブレーションボタン１３を押下してもらい、視線検出部１２はそのときの瞳孔２２とプルキンエ像２３との相対的位置関係を順次取得する。視線検出部１２内のＣＰＵはそれらの情報を元に、その観察者用の視線方向変換アルゴリズムを構築して、その後の視線検出動作に活用すればよい。なお、こうした「キャリブレーションモード」は立体映像コンテンツの冒頭部などに設定するとよい。 Calibration is performed in an operation mode different from normal image display. A radio signal for synchronization may be used for mode switching (identification). For example, when five types of calibration images are prepared and calibration is performed, five types of signals having different modulation frequencies from the normal synchronization radio signal are transmitted from the synchronization radio signal transmission unit 9. Then, the image separating glasses side that has received it shifts to each “calibration mode” and performs a dedicated operation. Thus, in this embodiment, the plurality of calibration modes are identified using the signal synchronization means 8. Specifically, first, all regions where the spatial modulators 6R and 6L can form openings are in the “transmission” state. Then, the image display unit control means 3 sequentially displays on the image display unit 1 index images for gazing at the five positions of the upper right, lower right, upper left, lower left, and center in the screen. FIG. 10 is an example of a calibration index image in which “upper left” is watched. The observer moves the eyes without moving the neck while facing the screen, and presses the calibration button 13 while gazing at the indicators, and the line-of-sight detection unit 12 then moves the pupil 22 at that time. And the relative positional relationship between the Purkinje image 23 are sequentially obtained. The CPU in the line-of-sight detection unit 12 may construct a line-of-sight direction conversion algorithm for the observer based on the information and use it for the subsequent line-of-sight detection operation. Such a “calibration mode” may be set at the beginning of stereoscopic video content.
上記の通り本実施例では観察者の視線方向検出が可能であるが、この視線方向の情報に基づき観察者の視線方向に追従した開口形成を行う方法について図１１及び図１２を用いて説明する。なお、空間変調器６Ｒ，６Ｌはそれぞれ６つの領域に分割され、６ＲはＲａ、Ｒｂ、Ｒｃ、Ｒｄ、Ｒｅ、Ｒｆの６つの領域の光透過／遮蔽を制御できるものとする。また、６ＬはＬａ、Ｌｂ、Ｌｃ、Ｌｄ、Ｌｅ、Ｌｆの６つの領域の光透過／遮蔽を制御できるものとする。図１１（ａ）、図１１（ｂ）は観察者が表示画像Ｉの中心点Ｏを注視している状態を示している。このとき観察者の視線は左右の眼球中心と点Ｏを結ぶ直線（図中の破線）で表現できる。これらの視線と空間変調器６Ｒ、６Ｌとの交点の水平方向位置をＶＸ＿Ｒ、ＶＸ＿Ｌと表すと、ＶＸ＿Ｒ、ＶＸ＿Ｌはこの場合、図１１（ａ）におけるＲｃ領域とＬｄ領域内に存在する。本実施例では、前述したとおり呈示すべき視差画像を８つのみとし、形成する開口数も８と定めている。したがって、「各眼前領域のうち、ＶＸ＿ＲまたはＶＸ＿Ｌからの距離が近い少なくとも２つの領域を幅の小さい開口、それ以外の端部に至る領域を幅の大きい開口として形成する」というアルゴリズムで開口位置の制御を行うことにしている。したがって、この場合は図１１（ａ）のＲｃ、Ｒｄ領域とＬｃ、Ｌｄ領域（第１の領域）には幅の小さい開口（第１の幅の開口）が形成され、その他の領域（第１の領域以外の第２の領域）は幅の広い開口（第１の幅よりも大きい第２の幅の開口）となる。そのため、ＲａとＲｂ領域、ＲｅとＲｆ領域、ＬａとＬｂ領域、ＬｅとＬｆ領域はそれぞれ一つのまとまった幅の広い開口として形成される。上記の要領で形成される開口を正面から見ると、図１１（ｂ）のようになる。 As described above, in this embodiment, the observer's line-of-sight direction can be detected. A method of forming an opening following the line-of-sight direction of the observer based on the information on the line-of-sight direction will be described with reference to FIGS. . The spatial modulators 6R and 6L are each divided into six regions, and 6R can control light transmission / shielding in the six regions Ra, Rb, Rc, Rd, Re, and Rf. Further, 6L can control light transmission / shielding in six regions of La, Lb, Lc, Ld, Le, and Lf. FIG. 11A and FIG. 11B show a state where the observer is gazing at the center point O of the display image I. FIG. At this time, the line of sight of the observer can be expressed by a straight line (broken line in the figure) connecting the center of the left and right eyes and the point O. When the horizontal direction positions of the intersections between these lines of sight and the spatial modulators 6R and 6L are expressed as VX_R and VX_L, in this case, VX_R and VX_L exist in the Rc region and the Ld region in FIG. In the present embodiment, as described above, there are only eight parallax images to be presented, and the numerical aperture to be formed is determined to be eight. Therefore, an algorithm of “the position of the opening position is formed by an algorithm that“ at least two regions that are close to the distance from VX_R or VX_L among the front regions of each eye ”are formed as openings having a small width, and the regions reaching the other end portions are formed as openings having a large width. I am going to do control. Accordingly, in this case, a small opening (first width opening) is formed in the Rc, Rd region and the Lc, Ld region (first region) in FIG. The second region other than the first region) is a wide opening (an opening having a second width larger than the first width). Therefore, the Ra and Rb regions, the Re and Rf regions, the La and Lb regions, and the Le and Lf regions are each formed as a single wide opening. When the opening formed as described above is viewed from the front, it is as shown in FIG.
次に観察者が表示画像Ｉの周辺領域の点Ｐを注視したときの本装置の視線追従動作について、図１２を用いて説明する。このとき観察者の視線は左右の眼球中心と点Ｐを結ぶ直線（図１２（ａ）中の破線）で表現できる。これらの視線と空間変調器６Ｒ，６Ｌとの交点の水平方向位置ＶＸ＿Ｒ、ＶＸ＿Ｌはこの場合、図１２（ａ）におけるＲｂ領域とＬｂ領域内に存在する。前述したとおり本実施例では「各眼前領域のうち、ＶＸ＿ＲまたはＶＸ＿Ｌからの距離が近い少なくとも２つの領域を幅の小さい開口、それ以外の端部に至る領域を幅の大きい開口として形成する」というアルゴリズムで開口位置の制御を行うことにしている。ただし、上記の「それ以外の端部に至る領域」が端部に寄っているときは開口幅を広く取ることができないので、幅の狭い開口として形成する。 Next, the line-of-sight tracking operation of the present apparatus when the observer gazes at the point P in the peripheral area of the display image I will be described with reference to FIG. At this time, the observer's line of sight can be expressed by a straight line connecting the center of the left and right eyeballs and the point P (broken line in FIG. 12A). In this case, the horizontal positions VX_R and VX_L of the intersections between these lines of sight and the spatial modulators 6R and 6L exist in the Rb region and the Lb region in FIG. As described above, in the present embodiment, "at least two regions that are close to the distance from VX_R or VX_L among the front regions of each eye are formed as openings having a small width, and the regions reaching the other end portions are formed as openings having a large width." The opening position is controlled by an algorithm. However, when the above-mentioned “region reaching the other end portion” is close to the end portion, the opening width cannot be widened, so that the opening is formed as a narrow width.
したがって、この場合は図１２（ａ）のＲａ、Ｒｂ、Ｒｃ領域とＬａ、Ｌｂ、Ｌｃ領域には幅の狭い開口が形成され、その他の領域は幅の広い開口となる。そのため、ＲｄとＲｅとＲｆ領域、ＬｄとＬｅとＬｆ領域がそれぞれ一つのまとまった幅の広い開口として形成される。上記の要領で形成される開口を正面から見ると、図１２（ｂ）のようになる。図１１（ｂ）と比較すると、観察者の視線方向変化に追従して開口形成範囲が変化しているのがわかる。 Therefore, in this case, narrow openings are formed in the Ra, Rb, and Rc regions and the La, Lb, and Lc regions in FIG. 12A, and the other regions are wide openings. Therefore, the Rd, Re, and Rf regions and the Ld, Le, and Lf regions are each formed as a single wide opening. When the opening formed as described above is viewed from the front, it is as shown in FIG. Compared with FIG. 11 (b), it can be seen that the opening formation range changes following the change in the viewing direction of the observer.
上記の視線追従動作には「観察者の視線方向が変化しても質の高い超多眼表示状態が維持できる」という効果が存在する。図１３を用いてこのことを説明する。図１３（ａ）において観察者の視線は点Ｏで交差しており、空間変調器上に形成する開口位置は上記視線に正しく追従して配置されている。このとき両眼に入射する視差画像光の方向を図中太線の右矢印で示している。片眼あたり４つの視差画像光が開口を通過するが、観察者が注視している点Ｏ周辺からの光はいずれも観察者の瞳孔に入射するような角度となっている。なぜなら、上記の視線追従動作により開口形成範囲が常に観察者の瞳孔に最も近い位置に配置されるからである。 The above-described line-of-sight tracking operation has an effect that “a high-quality super multi-view display state can be maintained even if the observer's line-of-sight direction changes”. This will be described with reference to FIG. In FIG. 13A, the observer's line of sight intersects at a point O, and the opening position formed on the spatial modulator is arranged so as to correctly follow the line of sight. At this time, the direction of the parallax image light incident on both eyes is indicated by a thick right arrow in the figure. Four parallax image lights pass through the aperture per eye, and the light from the vicinity of the point O at which the viewer is gazing is at an angle that enters the pupil of the viewer. This is because the aperture formation range is always arranged at a position closest to the observer's pupil by the above-described line-of-sight tracking operation.
一方、図１３（ｂ）では比較のために、観察者の視線は点Ｐで交差しているにもかかわらず、空間変調器上に形成する開口位置は図１３（ａ）と同じ状態、つまり視線追従動作を行っていない状態を示している。このとき両眼に入射する視差画像光のうち観察者が注視している点Ｐ周辺からの光には、観察者瞳孔に入射しないものが発生する。特に図１３（ｂ）では右眼には視差画像光１しか入射しない。このことは単眼内に複数の視差画像が入射せず、「超多眼表示状態」を維持できないということを意味する。また、前述したとおり幅の狭い開口からは指向性の高い光束が、幅の広い開口からは指向性の低い光束が入射する。したがって、図１３（ｂ）の状態においては指向性の低い視差画像光１や視差画像光５が観察者の「中心視野」に入射しており、「超多眼表示状態」が比較的発生しにくい条件となってしまっている。 On the other hand, for comparison, in FIG. 13B, although the observer's line of sight intersects at the point P, the opening position formed on the spatial modulator is in the same state as in FIG. A state in which the line-of-sight tracking operation is not performed is shown. At this time, among the parallax image light incident on both eyes, the light from the vicinity of the point P that the viewer is gazing at is not incident on the viewer pupil. In particular, in FIG. 13B, only the parallax image light 1 is incident on the right eye. This means that a plurality of parallax images do not enter the monocular and the “super multi-view display state” cannot be maintained. Further, as described above, a light beam having high directivity enters from an opening having a narrow width, and a light beam having low directivity enters from an opening having a wide width. Therefore, in the state of FIG. 13B, the parallax image light 1 and the parallax image light 5 having low directivity are incident on the “center visual field” of the observer, and the “super multi-view display state” occurs relatively. It has become a difficult condition.
図１３（ｃ）は上記の不具合を解消すべく空間変調器上に形成する開口位置を、点Ｐを注視する観察者の視線に正しく追従して配置した場合を示している。具体的には幅の狭い開口をＲａ、Ｒｂ、Ｒｃ領域とＬａ、Ｌｂ、Ｌｃ領域に形成している。この場合、観察者が注視している点Ｐ周辺からの視差画像光のうち指向性の高い光束はいずれも観察者の「中心視野」に入射するような角度となっている。上記より、本発明において観察者の視線に追従して開口形成範囲を変位させることは、単眼内に複数の視差画像が入射する状態を維持するだけでなく、常に最も効果的に「超多眼表示状態」を発生させる効果があることがわかる。 FIG. 13C shows a case where the opening positions formed on the spatial modulator are arranged so as to correctly follow the line of sight of the observer watching the point P in order to eliminate the above-mentioned problems. Specifically, narrow openings are formed in the Ra, Rb, and Rc regions and the La, Lb, and Lc regions. In this case, of the parallax image light from the periphery of the point P that the observer is gazing at, the light beam having a high directivity is at an angle that is incident on the “center visual field” of the observer. From the above, in the present invention, displacing the aperture formation range following the observer's line of sight not only maintains the state in which a plurality of parallax images are incident on a single eye, but also always most effectively It can be seen that there is an effect of generating the “display state”.
次に本発明の第２の実施例について説明する。本実施例においては、上記の発明をさらに拡張して、開口形成領域を右眼と左眼それぞれ２つずつにまで低減化している。本発明は単眼に複数の視差画像を呈示することで超多眼表示効果を狙っているので、呈示画像数が左右それぞれ２つというのは呈示すべき視差画像数の最小値となる。図１４（ａ）、図１４（ｂ）はこの構成例の説明図である。図１４（ａ）は、観察者が表示画像Ｉの中心点Ｏを注視しているときの開口形成の様子を示している。図１４（ｂ）は、形成される開口の様子を正面から見た図であるが、右眼側の開口は領域１、２の２つ、左眼側の開口は領域３、４の２つとなっている。図１４（ａ）に平面図を示す。なお、この２つの開口の水平方向幅の和は開口形成手段６の開口形成可能範囲の全幅に等しくなるよう制御されている。 Next, a second embodiment of the present invention will be described. In the present embodiment, the above-described invention is further expanded to reduce the opening formation area to two each for the right eye and the left eye. Since the present invention aims at the super multi-view display effect by presenting a plurality of parallax images to a single eye, the number of presented images is two each on the left and right is the minimum number of parallax images to be presented. FIG. 14A and FIG. 14B are explanatory diagrams of this configuration example. FIG. 14A shows a state of opening formation when the observer is gazing at the center point O of the display image I. FIG. FIG. 14B is a view of the state of the opening formed from the front. The right eye side has two areas 1 and 2, and the left eye side has two areas 3 and 4. It has become. FIG. 14A shows a plan view. The sum of the horizontal widths of the two openings is controlled to be equal to the entire width of the opening forming range of the opening forming means 6.
なお上記の構成の場合、各開口の幅は表示画像Ｉの画素幅に対して大きくなってしまっている。そのため、図７（ａ）と図７（ｂ）で説明した通り観察者単眼に入射する光束の指向性が低くなり、超多眼表示の効果である「立体像観察時の眼の調節と輻輳の一致」状態が、比較的発生しにくくなると推測される。ただし、眼の焦点調節機能は必ずしも光束の断面積のみから合焦判断されるわけではなく、複数呈示された視差画像同士が二重像に見えるか否かという、脳内の視覚画像処理も合焦判断の要因となる。したがって上記のように幅の広い２つの開口で単眼に２つの視差画像を入射させる構成でも、超多眼効果を発生させるのに有効であると考えられる。 In the case of the above configuration, the width of each opening is larger than the pixel width of the display image I. For this reason, as described with reference to FIGS. 7A and 7B, the directivity of the light beam incident on the observer's monocular is reduced, and “eye adjustment and convergence during stereoscopic image observation” is an effect of super multi-view display. It is estimated that the “matching” state is relatively difficult to occur. However, the focus adjustment function of the eye is not necessarily determined based on the cross-sectional area of the luminous flux, and the visual image processing in the brain, such as whether or not multiple presented parallax images appear to be double images, is also consistent. It becomes a factor of rush judgment. Therefore, it is considered that the configuration in which two parallax images are incident on a single eye through two wide openings as described above is effective in generating the super multi-eye effect.
本実施例では実施例１で適用している「視線に追従した開口形成制御」を上記の開口数＝２の構成において適用することで、良好な超多眼表示状態を維持するのに役立てている。 In the present embodiment, the “opening control that follows the line of sight” applied in the first embodiment is applied to the configuration with the numerical aperture = 2, thereby helping to maintain a good super multi-view display state. Yes.
図１５はこのことを説明する図である。観察者が表示画像Ｉの中心点Ｏを注視している状態に最適化された開口形成の様子は既に図１４（ａ）と図１４（ｂ）に示したので、ここでは観察者が表示画像Ｉの周辺点Ｐを注視しているときの開口形成の様子を示している。図１５（ａ）においてＶＸ＿Ｒは領域１と領域２の境界と一致するように、ＶＸ＿Ｌは領域３と領域４の境界と一致するように制御されている。このような制御を行えば、観察者の単眼に２つの視差画像光が同時に入射することがわかる。図１５（ｂ）はこのときの開口状態の正面図である。 FIG. 15 is a diagram for explaining this. The state of opening formation optimized for the state in which the observer is gazing at the center point O of the display image I has already been shown in FIGS. 14 (a) and 14 (b). The state of opening formation when the peripheral point P of I is being watched is shown. In FIG. 15A, VX_R is controlled to match the boundary between the region 1 and the region 2, and VX_L is controlled to match the boundary between the region 3 and the region 4. It can be seen that if such control is performed, two parallax image lights simultaneously enter the observer's monocular. FIG. 15B is a front view of the opening state at this time.
一方図１５（ｃ）では比較のために、観察者の視線は点Ｐで交差しているにもかかわらず、空間変調器上に形成する開口位置は図１４（ａ）と同じ状態、つまり視線追従動作を行っていない状態を示している。このとき図１５（ｃ）では右眼には視差画像光１、左眼には視差画像光３しか入射しない。このことは単眼内に複数の視差画像が入射せず、「超多眼表示状態」を維持できないということを意味する。つまり、「開口形成領域を右眼と左眼それぞれ２つずつにまで低減化する構成例」において観察者の視線方向が変化しても「超多眼表示状態」を維持するためには、視線に追従した開口形成制御が必要であることがわかる。 On the other hand, for comparison, in FIG. 15C, the position of the opening formed on the spatial modulator is the same as that in FIG. 14A, that is, the line of sight although the observer's line of sight intersects at point P. This shows a state in which the following operation is not performed. At this time, in FIG. 15C, only the parallax image light 1 enters the right eye and only the parallax image light 3 enters the left eye. This means that a plurality of parallax images do not enter the monocular and the “super multi-view display state” cannot be maintained. That is, in order to maintain the “super multi-view display state” even if the viewer's line-of-sight direction changes in the “configuration example in which the opening formation area is reduced to two each for the right eye and the left eye”, It can be seen that aperture formation control that follows this is necessary.
これまで述べた実施例１、２の構成によれば、従来技術とは異なる以下の効果が発生する。すなわち、画像表示部に要求されるフレームレートを抑制するとともに、広画角化を達成し、観察者の視線方向が変化しても、常に「単眼内に複数視差画像光が入射する状態」つまり「超多眼表示状態」を保つことができる。 According to the configurations of the first and second embodiments described so far, the following effects different from those of the prior art occur. That is, while suppressing the frame rate required for the image display unit and achieving a wide angle of view, even if the observer's line-of-sight direction changes, it is always “a state where multiple parallax image lights are incident on a single eye”. The “super multi-view display state” can be maintained.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては各実施例に対して種々の変形や変更が可能である。 Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
本発明は立体画像を扱うすべての産業分野において利用可能であり、特に立体テレビ、立体映画、医療分野やデザイン分野などの産業用立体画像表示装置、イベントや教育現場での立体コンテンツ上映などへの応用が考えられる。 The present invention can be used in all industrial fields dealing with stereoscopic images, and in particular, for stereoscopic televisions, stereoscopic movies, industrial stereoscopic image display devices such as medical field and design field, stereoscopic content screening at events and educational sites, etc. Application is conceivable.
１ 画像表示部
４ 同期信号発生手段
５ 画像分離用メガネ
６ 空間変調器
７ 空間変調器駆動部
８ 同期用無線信号受信部
９ 同期用無線信号発信部
１０ 瞳孔照明手段
１１ 瞳孔画像取得手段
１２ 視線検知処理部
DESCRIPTION OF SYMBOLS 1 Image display part 4 Synchronization signal generation means 5 Image separation glasses 6 Spatial modulator 7 Spatial modulator drive part 8 Synchronization radio signal reception part 9 Synchronization radio signal transmission part 10 Pupil illumination means 11 Pupil image acquisition means 12 Eye-gaze detection Processing part
Claims (8)
開口が形成される領域を変更可能な開口形成手段と、
前記複数の視差画像を時系列で表示する画像表示手段と前記開口形成手段との同期をとる信号同期手段と、
前記信号同期手段からの信号に基づいて、前記開口形成手段の前記開口が形成される領域と該開口の水平方向幅を制御する制御手段と、
観察者の視線を検出する視線検出手段と、を有し、
前記制御手段は、前記視線検出手段により検出された結果に応じて、前記開口の水平方向幅を制御することを特徴とする観察用光学機器。 An optical device for observation in which a plurality of parallax images are incident on one eye,
An opening forming means capable of changing a region in which the opening is formed;
A signal synchronization means for synchronizing the image display means for displaying the plurality of parallax images in time series and the opening forming means;
Based on a signal from the signal synchronization means, a control means for controlling a region in which the opening of the opening forming means is formed and a horizontal width of the opening;
Gaze detection means for detecting the gaze of the observer,
The observation optical apparatus according to claim 1, wherein the control means controls a horizontal width of the opening according to a result detected by the line-of-sight detection means.
前記信号同期手段は、該複数のキャリブレーションモードの識別を行うことを特徴とする請求項１乃至７のいずれか１項に記載の観察用光学機器。 The line-of-sight detection means has a plurality of calibration modes as operation modes for deriving an algorithm for converting the eyeball rotation amount of the observer into the line-of-sight direction,
The observation optical apparatus according to claim 1, wherein the signal synchronization unit identifies the plurality of calibration modes.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011156566A JP2013024910A (en) | 2011-07-15 | 2011-07-15 | Optical equipment for observation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011156566A JP2013024910A (en) | 2011-07-15 | 2011-07-15 | Optical equipment for observation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013024910A true JP2013024910A (en) | 2013-02-04 |
Family
ID=47783364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011156566A Withdrawn JP2013024910A (en) | 2011-07-15 | 2011-07-15 | Optical equipment for observation |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013024910A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106133750A (en) * | 2014-02-04 | 2016-11-16 | 弗劳恩霍夫应用研究促进协会 | For determining the 3D rendering analyzer of direction of visual lines |
| CN107529054A (en) * | 2017-08-24 | 2017-12-29 | 歌尔股份有限公司 | Display screen, wear display device and its display control method and device |
| JP2020118963A (en) * | 2019-01-22 | 2020-08-06 | 国立大学法人東京農工大学 | Head mount display |
| JP2023058677A (en) * | 2019-02-28 | 2023-04-25 | マジック リープ， インコーポレイテッド | Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by a light emitter array |
-
2011
- 2011-07-15 JP JP2011156566A patent/JP2013024910A/en not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106133750A (en) * | 2014-02-04 | 2016-11-16 | 弗劳恩霍夫应用研究促进协会 | For determining the 3D rendering analyzer of direction of visual lines |
| CN106133750B (en) * | 2014-02-04 | 2020-08-28 | 弗劳恩霍夫应用研究促进协会 | 3D image analyzer for determining gaze direction |
| CN107529054A (en) * | 2017-08-24 | 2017-12-29 | 歌尔股份有限公司 | Display screen, wear display device and its display control method and device |
| CN107529054B (en) * | 2017-08-24 | 2024-03-12 | 歌尔光学科技有限公司 | Display screen, head-mounted display device, and display control method and device of head-mounted display device |
| JP2020118963A (en) * | 2019-01-22 | 2020-08-06 | 国立大学法人東京農工大学 | Head mount display |
| JP7409641B2 (en) | 2019-01-22 | 2024-01-09 | 国立大学法人東京農工大学 | head mounted display |
| JP2023058677A (en) * | 2019-02-28 | 2023-04-25 | マジック リープ， インコーポレイテッド | Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by a light emitter array |
| JP2025028195A (en) * | 2019-02-28 | 2025-02-28 | マジック リープ， インコーポレイテッド | Display system and method for providing variable accommodation cues using multiple intrapupillary parallax views formed by a light emitter array - Patents.com |
| JP7699710B2 (en) | 2019-02-28 | 2025-06-27 | マジック リープ， インコーポレイテッド | Display system and method for providing variable accommodation cues using multiple intrapupillary parallax views formed by a light emitter array - Patents.com |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2494402B1 (en) | Stereo display systems | |
| US9041782B2 (en) | Multiple-viewer auto-stereoscopic 3D display apparatus | |
| US7092003B1 (en) | 3-D imaging arrangements | |
| US9106909B2 (en) | Stereo vision viewing systems | |
| TW201405483A (en) | Image data processing method and stereoscopic image display using the same | |
| JP4819114B2 (en) | Stereoscopic image display device | |
| WO2011086874A1 (en) | Display device and display method | |
| JP2010113160A (en) | Video display apparatus | |
| JP2002223458A (en) | 3D image creation device | |
| KR20150070649A (en) | Display device and display method thereof | |
| JP2011242773A (en) | Stereoscopic image display device and driving method for the same | |
| Honda et al. | Three-dimensional display technologies satisfying" super multiview condition" | |
| JP2010113161A (en) | Video display apparatus | |
| JP2013005238A (en) | Three-dimensional image processing apparatus, three-dimensional image processing method, display apparatus, and computer program | |
| JP2013024910A (en) | Optical equipment for observation | |
| Watanabe et al. | A full-HD super-multiview display based on adaptive time-division multiplexing parallax barrier | |
| Pastoor | 3D Displays | |
| JPH08327948A (en) | Method and device for displaying stereoscopic picture | |
| JPH11155154A (en) | Stereoscopic video processing unit | |
| JP2001218231A (en) | Device and method for displaying stereoscopic image | |
| TWI449956B (en) | Three-dimensional display apparatus using active polarization | |
| CN106772821B (en) | Interactive naked eye 3D system | |
| JPH08314034A (en) | Stereoscopic picture displaying method and device therefor | |
| JP2011128235A (en) | Display device and display method | |
| KR100910969B1 (en) | Stereoscopic image display method and stereoscopic image display device for the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141007 |