JP2018182745A - Stereoscopic image display device and terminal device - Google Patents
Stereoscopic image display device and terminal device Download PDFInfo
- Publication number
- JP2018182745A JP2018182745A JP2018104597A JP2018104597A JP2018182745A JP 2018182745 A JP2018182745 A JP 2018182745A JP 2018104597 A JP2018104597 A JP 2018104597A JP 2018104597 A JP2018104597 A JP 2018104597A JP 2018182745 A JP2018182745 A JP 2018182745A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- observer
- display panel
- image display
- stereoscopic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 116
- 238000005259 measurement Methods 0.000 claims abstract description 76
- 238000004364 calculation method Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims description 24
- 239000003086 colorant Substances 0.000 claims description 20
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000000926 separation method Methods 0.000 abstract description 56
- 238000000034 method Methods 0.000 abstract description 47
- 230000000875 corresponding effect Effects 0.000 description 68
- 230000006870 function Effects 0.000 description 52
- 239000011295 pitch Substances 0.000 description 33
- 230000000694 effects Effects 0.000 description 17
- 230000004888 barrier function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 239000004973 liquid crystal related substance Substances 0.000 description 11
- 238000009826 distribution Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000013500 data storage Methods 0.000 description 9
- 238000009877 rendering Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000001962 electrophoresis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、立体画像を表示する装置に係り、特に、複数の視点各々に応じた画像を表示する立体画像表示装置、該装置を備えた端末装置、立体画像表示方法、及びそのプログラムに関する。 The present invention relates to an apparatus for displaying a stereoscopic image, and more particularly to a stereoscopic image display apparatus for displaying an image corresponding to each of a plurality of viewpoints, a terminal apparatus provided with the apparatus, a stereoscopic image display method, and a program thereof.
従来から、複数の視点に向けて夫々異なる画像を提供し、観察者の左右の眼に視差の異なる画像を投影させることにより、眼鏡なしでの立体視を実現する立体画像表示装置が存在する。 Conventionally, there is a stereoscopic image display device that provides stereoscopic vision without glasses by providing different images to a plurality of viewpoints and projecting images with different parallaxes to the left and right eyes of the observer.
該装置における立体画像の表示方式としては、夫々の視点用の画像データを合成して表示部に表示し、この表示された合成画像をレンズやスリットを持つバリア(遮光板)からなる光学的な分離手段(光学分離手段)により分離すると共に、これらを観測者の夫々の視点に提供する、という方式が知られている。 As a method of displaying a stereoscopic image in the device, image data for respective viewpoints is synthesized and displayed on the display unit, and the displayed synthesized image is optically formed of a barrier (light shielding plate) having a lens and a slit. A system is known in which separation is performed by separation means (optical separation means) and these are provided to respective viewpoints of the observer.
ここで採用される光学分離手段としては、一般に、縞状の多数のスリットを有するバリアから成るパララックスバリアや、一方向にレンズ効果を有するシリンドリカルレンズを配列したレンチキュラレンズが採用される。 In general, a parallax barrier comprising a barrier having a large number of striped slits or a lenticular lens having a cylindrical lens having a lens effect in one direction is employed as the optical separating means employed here.
こうした表示方式を採り入れた立体画像表示装置では、観察者の左右の眼にそれぞれ適切な視差画像を投影させる必要があるため、観察者が正常に立体画像を視認できる空間領域(立体視域)は限定されることとなる。したがって、観察者の左右の眼の位置がこの立体視域から外れると、各視差画像が重なって二重像が視認されるクロストーク領域や各視差画像が逆に投影される逆視領域の存在により、適切な立体画像が視認できなくなるという問題が生じる。 In a stereoscopic image display apparatus adopting such a display method, since it is necessary to project appropriate parallax images to the left and right eyes of the observer, a space area (stereoscopic viewing area) where the observer can normally view the stereoscopic image is It will be limited. Therefore, when the position of the left and right eyes of the observer deviates from this stereoscopic viewing area, there is a crosstalk area in which each parallax image overlaps and a double image is visually recognized, and a reverse vision area in which each parallax image is projected reversely This causes a problem that an appropriate stereoscopic image can not be viewed.
この問題を改善するための一つの方法としては、観察者の眼の位置を検出すると共に、この検出結果を用いて視差画像の切替制御を行うという手法があり、これを採り入れてクロストーク領域や逆視領域における立体画像の視認性向上を図った表示装置が知られている(例えば、特許文献1乃至5)。
As one method for solving this problem, there is a method of detecting the position of the eye of the observer and performing switching control of the parallax image using this detection result. DESCRIPTION OF RELATED ART The display apparatus which aimed at the visibility improvement of the stereo image in a reverse vision area | region is known (for example,
特許文献1では、パララックスバリアの解像度を2倍にした立体表示装置において、観察者がクロストーク領域又は逆視領域に位置した場合に、パララックスバリア制御と画像切替制御を行うという技術内容が開示されている。また、特許文献2における表示装置は、バックライト側で3D解像度の4倍の精細度を有する光源部とこれを制御する光源制御部とを有し、ここでは、該光源部を構成する光源の機能を観察者位置に応じて該光線制御部が切替制御するという技術内容が開示されている。
In
すなわち、特許文献1及び2には、表示パネルの解像度を越える光線振分手段を設けることにより、検出された観察者の位置に応じた違和感の少ない画像を提示する表示装置が開示され、これらの表示装置では、表示パネルと光線分離手段との関係で決まるデバイス視点数(所謂視差画像を投影する領域の数)を増やすことにより、逆視対策を施している。
That is,
特許文献3における画像表示装置では、観察者が複数人存在すると検出した際に、パララックスバリア機能をオフにして2D化した画像を出力するという技術により、視認時の違和感を抑制している。また、特許文献4における立体画像表示装置では、観察者の位置に応じた視差量制御を行う技術により、同違和感を軽減している。
In the image display device in
特許文献5には、パララックスバリアを含んで構成されたローブ制御手段が立体視域の切替制御を実行することで、トラッキング(tracking)を用いない場合でも、サイドローブを用いることにより多視点化を実現する、という技術内容が開示されている。また、ここでの立体表示装置では、トラッキングとローブ制御手段による処理とを組み合わせた技術により、観察者の一方の目がメインローブに位置し他方の目がサイドローブに位置するという状態における違和感の低減を図っている。 In Patent Document 5, a lobe control unit configured to include a parallax barrier performs switching control of a stereoscopic viewing area, thereby making a multi-viewpoint by using side lobes even when tracking is not used. The technical content of realizing "realize" is disclosed. Also, in the stereoscopic display device here, the viewer's eye is located in the main lobe and the other eye is located in the side lobe by a technique combining tracking and processing by the lobe control means. We are trying to reduce it.
しかしながら、観察者の両眼位置の検出結果に基づく視差画像の切替制御を採用した上記各特許文献にかかる表示装置においても、以下のような課題が存在する。 However, the following problems also exist in the display device according to each of the above-mentioned patent documents adopting the switching control of the parallax image based on the detection result of the binocular position of the observer.
特許文献1又は2に開示された表示装置では、表示パネルの2倍以上の解像度を有する高精細な光線分離手段が必要となるため、構造もしくは製造におけるコストの増加という問題が生じる。また、デバイス視点数の範囲内では、所定の画像処理を施し得るが、このデバイス視点数を越える視野角においては、繰り返しの映像を視認させることしかできないという不都合がある。
The display device disclosed in
また、特許文献3及び4は、デバイス視点数内で有効に作用するための構成を採った画像表示装置を開示するものであり、すなわち、逆視領域において画質低下を抑制するための対策技術を何ら採用していないため、該逆視領域においては、視認時に違和感が発生するという問題がある。さらに、特許文献5では、ローブ制御手段にパララックスバリアを設けているため、透過率が低いという不都合がある。
Further,
(発明の目的)
本発明は、上記関連技術の有する不都合を改善し、特に、観察者の位置に対応した有意な視差画像を生成して表示する立体画像表示装置および端末装置を提供することを目的とする。
(Object of the Invention)
An object of the present invention is to ameliorate the disadvantages of the above related art, and in particular, to provide a stereoscopic image display apparatus and a terminal apparatus that generate and display a significant parallax image corresponding to the position of the observer.
上記目的を達成するために、本発明にかかる立体画像表示装置では、複数の画素が配列された表示パネルと、この表示パネルの表示面側に設けられ前記各画素の配列方向に応じた複数のN視点(Nは2以上の自然数)に向けて当該各画素からの視差画像を分離する光線分離手段と、を有して成る立体画像表示パネルと、前記表示面に対向する観察者の観察位置を計測する観察者位置計測部と、この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を算出する相対位置算出部と、予め設定されたJ視点分(J>N)の視点画像を生成する機能を有すると共に、前記N視点を構成する各視点に応じた1つ以上の視点画像を前記相対位置に対応づけて生成し前記立体画像表示パネルに向けて出力する画像生成処理部と、を有し、前記画像生成処理部は、前記視点数Nが3以上である場合に、前記観察者の左右の眼の何れもが位置していない視点領域への視点画像を当該観察者の移動方向に基づいて選定すると共に、この選定した視点画像を前記立体画像表示パネルに向けて出力する、を有するという構成を採っている。 In order to achieve the above object, in a stereoscopic image display apparatus according to the present invention, a display panel on which a plurality of pixels are arranged, and a plurality of display panels provided on the display surface side of the display panel according to the arrangement direction of each pixel A stereoscopic image display panel comprising light separating means for separating parallax images from the respective pixels toward N viewpoints (N is a natural number of 2 or more), and an observation position of an observer facing the display surface A relative position calculation unit that calculates the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result, and a predetermined J viewpoint (J> N). Image generation processing having a function of generating viewpoint images, generating one or more viewpoint images corresponding to each viewpoint constituting the N viewpoints in association with the relative position, and outputting the image to the stereoscopic image display panel Department and When the number N of viewpoints is 3 or more, the image generation processing unit sets a viewpoint image to a viewpoint area in which none of the left and right eyes of the observer are located in the moving direction of the observer And selecting and outputting the selected viewpoint image to the stereoscopic image display panel.
また、本発明にかかる端末装置では、複数の視点各々に応じた画像を表示する上記立体画像表示装置と、この立体画像表示装置を内包する筺体と、を有するという構成を採っている。 Further, the terminal device according to the present invention has a configuration in which the stereoscopic image display device for displaying an image corresponding to each of a plurality of viewpoints and a housing including the stereoscopic image display device are included.
さらに、本発明にかかる立体画像表示方法では、複数の画素が配列された表示パネル及びこの表示パネルの表示面側に設けられ前記各画素の配列方向に応じた複数のN視点(Nは2以上の自然数)に向けて当該各画素からの視差画像を分離する光線分離手段を含む立体画像表示パネルと、前記表示面に対向する観察者の位置を計測する観察者位置計測部と、この計測結果に応じて前記視差画像を生成する表示コントローラと、を有する立体画像表示装置にあって、前記観察者の観察位置を前記観察者位置計測部が計測し、この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を前記表示コントローラが算出し、予め設定されたJ視点分(J>N)の視点画像を前記表示コントローラが生成し、この生成した視点画像の中から前記相対位置に応じた複数の視点画像を前記表示コントローラが特定し、この特定した前記複数の視点画像を前記表示コントローラが前記立体画像表示パネルに向けて出力することを特徴とする。 Furthermore, in the stereoscopic image display method according to the present invention, a display panel in which a plurality of pixels are arranged and a plurality of N viewpoints (N is two or more provided on the display surface side of the display panel and corresponding to the arrangement direction of each pixel) A stereoscopic image display panel including a light beam separating unit that separates a parallax image from each of the pixels toward a natural number of n), an observer position measuring unit that measures a position of an observer facing the display surface, and measurement results In the stereoscopic image display apparatus having the display controller that generates the parallax image according to the aspect, the observer position measurement unit measures the observation position of the observer, and the stereoscopic image display is performed based on the measurement result. The display controller calculates the relative position of the observer with respect to the panel, and the display controller generates a viewpoint image for J viewpoints (J> N) set in advance, and the generated viewpoint image A plurality of viewpoint images to identify said display controller in accordance with the relative position from within, a plurality of viewpoint images obtained by this particular the display controller and outputs toward the three-dimensional image display panel.
また、本発明にかかる立体画像表示プログラムでは、複数の画素が配列された表示パネル及びこの表示パネルの表示面側に設けられ前記各画素の配列方向に応じた複数のN視点(Nは2以上の自然数)に向けて当該各画素からの視差画像を分離する光線分離手段を含む立体画像表示パネルと、前記表示面に対向する観察者の位置を計測する観察者位置計測部と、この計測結果に応じて前記視差画像を生成する表示コントローラと、を有する立体画像表示装置にあって、前記観察者の観察位置を計測する観察者計測手段、この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を算出する観察者位置算出手段、予め設定されたJ視点分(J>N)の視点画像を生成した上で、この生成した視点画像の中から前記相対位置に応じた複数の視点画像を特定すると共に、この特定した複数の視点画像を前記立体画像表示パネルに向けて出力する画像生成処理手段、として、前記表示コントローラに予め設けられたコンピュータを機能させることを特徴とする。 Further, in the stereoscopic image display program according to the present invention, a display panel in which a plurality of pixels are arrayed, and a plurality of N viewpoints provided on the display surface side of the display panel according to the array direction of the respective pixels A stereoscopic image display panel including a light beam separating unit that separates a parallax image from each of the pixels toward a natural number of n), an observer position measuring unit that measures a position of an observer facing the display surface, and measurement results An observer measuring means for measuring the observation position of the observer in the stereoscopic image display apparatus having the display controller for generating the parallax image according to the image; and the observer with respect to the stereoscopic image display panel based on the measurement result. An observer position calculation means for calculating the relative position of the observer, and after generating a viewpoint image for J viewpoints (J> N) set in advance, the relative position from among the generated viewpoint images Allowing a computer provided in advance in the display controller to function as image generation processing means for specifying a plurality of corresponding viewpoint images and outputting the specified plurality of viewpoint images to the stereoscopic image display panel. It features.
本発明によれば、特に、観察者の位置に対応した有意な視差画像を生成して表示する立体画像表示装置および端末装置の提供が可能となる。 According to the present invention, in particular, it is possible to provide a stereoscopic image display device and a terminal device that generate and display a significant parallax image corresponding to the position of the observer.
〔第1実施形態〕
本発明にかかる立体画像表示装置の第1実施形態を、図1乃至図20に基づいて説明する。
First Embodiment
A first embodiment of a stereoscopic image display apparatus according to the present invention will be described based on FIG. 1 to FIG.
(全体的構成)
図2に例示するように、複数の視点各々に応じた画像を表示する立体画像表示装置1は、可視光及び赤外線を撮像可能なカメラが設けられ観察者100の位置を計測する観察者位置計測部45と、この観察者位置計測部45から取得した計測結果に基づいて3Dデータを生成する表示コントローラ(図示せず)と、この表示コントローラから出力される3Dデータ及び制御信号に基づいて画像を分離し出射する立体画像表示パネル10と、を有している。
(Overall configuration)
As exemplified in FIG. 2, the stereoscopic
立体画像表示パネル10は、少なくとも第1視点用の画像を表示するサブ画素と第2視点用の画像を表示するサブ画素とを含む画素がマトリクス状に配列された表示パネル11と、この表示パネル11の表示面側に設けられ上記画素からの視差画像を各視点に向けて分離する光線分離手段12と、を有している。
光線分離手段12は、表示パネル11上に配置された各画素に対応するレンズ15がアレイ状に配列された構成を採っているため、各視点用の画像を所定の異なる方向に分離することができる。
The stereoscopic
Since the light beam separating means 12 has a configuration in which the
かかる構成により、立体画像表示パネル10は、少なくとも2つの視点に向けての異なる画像の投影、すなわち光線分離を行うことができる。
この光線分離の方向に関しては、図2に示すように、レンズ15の配列方向(第1の画素配列方向)をx軸、x軸に直交し表示パネル11から観察者100に延伸する方向をz軸、x軸とz軸の双方に直交する方向(第2の画素配列方向)をy軸と定義する。また、これら各軸の交点(原点)は、立体画像表示パネル10の中心に位置するものとし、以下では、立体画像表示パネル10の原点(表示面中心)とも指称する。この場合、観察者100の左眼101と右眼102とを結ぶ直線は、上記x軸と略平行の状態にある。
With such a configuration, the stereoscopic
With respect to the direction of this light beam separation, as shown in FIG. 2, the direction in which the arrangement direction of the lenses 15 (first pixel arrangement direction) is orthogonal to the x axis and the x axis and extends from the display panel 11 to the
観察者位置計測部45は、自身に設けられたカメラによって観察者100を撮影し、これをもとに観察者100の左眼101及び右眼102の位置を計測するように構成されている。
The observer
観察者位置計測部45が両眼(左眼101及び右眼102)の位置を計測するに際しては、様々な方法を用いることができる。
例えば、可視光によって撮影した画像からパターンマッチングを用いて顔や眼の位置を検出することによりx,y軸方向の位置を計測し、この計測結果から導出した眼間距離をもとにz軸位置を計測する方法や、赤外線の正弦波光を観察者100に照射してその反射光である正弦波光がカメラに到着するまでの光飛行の時間差(位相差)からz軸方向の位置を計測するTOF方式と呼ばれる方法等を採用することができる。
When the observer
For example, the position in the x, y axis direction is measured by detecting the position of the face or eye using pattern matching from an image captured by visible light, and the z axis is measured based on the interocular distance derived from this measurement result. A method of measuring the position or measuring the position in the z-axis direction from the time difference (phase difference) of the light flight until the sine wave light which is the reflected light reaches the camera by irradiating the sine wave light of infrared to the observer 100 A method called a TOF method can be adopted.
表示パネル11としては、液晶表示素子,有機エレクトロルミネッセンス表示素子,または電気泳動素子やエレクトロクロミック素子など、さまざまな電気光学素子を用いることが可能である。
光線分離手段12としては、レンチキュラレンズ,フライアイレンズ,またはパララックスバリア等の光学素子のほか、屈折率制御機能を備えた液晶レンズや、遮光制御機能を備えた液晶バリア等の電気光学素子を用いることができる。透過率の観点からすると、レンチキュラレンズ,フライアイレンズ,及び液晶レンズが好適である。
As the display panel 11, various electro-optical elements such as a liquid crystal display element, an organic electroluminescence display element, an electrophoresis element, an electrochromic element, etc. can be used.
The light beam separating means 12 may be an optical element such as a lenticular lens, a fly's eye lens or a parallax barrier, a liquid crystal lens having a refractive index control function, or an electro-optical element such as a liquid crystal barrier having a light blocking control function. It can be used. From the viewpoint of transmittance, a lenticular lens, a fly's eye lens, and a liquid crystal lens are preferable.
まず、説明を簡便化するために、立体画像表示パネル10として2視点の立体画像表示パネルを採用した例について説明する。ここで、N視点の立体画像表示パネル(Nは2以上の自然数)とは、立体表示用の視差を有する2次元画像データをN視点に向けて分離し出射する立体画像表示パネルをいう。
First, in order to simplify the description, an example in which a stereoscopic image display panel of two viewpoints is adopted as the stereoscopic
図3に、立体画像表示パネル10の各視点用画素に入力する2視点用の画像情報を例示する。図3(a)は第1視点用画像60aであり、図3(b)は第2視点用画像60bである。
この各視点用画像間では、サイコロの“5”の面の大きさと“3”の面の大きさとがそれぞれ異なっている。すなわち、各視点用画像間には、図3に示すように、第1視点用画像60aに相当する(a)では相対的に“5”の面が大きく、第2視点用画像60bに相当する(b)では相対的に“3”の面が大きいという構成を採っている。
The image information for two viewpoints input into each viewpoint pixel of the three-dimensional
Between the images for the viewpoints, the size of the surface of the "5" of the dice and the size of the surface of the "3" are different. That is, as shown in FIG. 3, the face “5” is relatively large in (a) corresponding to the
次いで、図4に、上記図3で示した第1視点用及び第2視点用画像の生成方法の一例を示す。この図4は、交差法と呼ばれる撮影法にかかる説明図であり、ここでは、第1視点用カメラ65aと第2視点用カメラ65bの各光軸の交点66が、通常の画面上、すなわちスクリーン面の再生位置に設定される。また、このスクリーン面の水平方向をx軸、このx軸と直交する方向をy軸(図示せず)、xy平面と直交する方向をz軸、上記交点66をこれら各軸が交わる原点とし、x軸,z軸における正負の方向は図4に示す通りとする。
ここで、第1視点用カメラ65aと第2視点用カメラ65bの配置位置は、y軸上で同一値となるように(y座標値が等しくなるように:水平状態)設定されている。
Next, FIG. 4 shows an example of a method of generating the first viewpoint image and the second viewpoint image shown in FIG. FIG. 4 is an explanatory view according to a photographing method called the intersection method, in which the
Here, the arrangement positions of the
かかる状態において、xyz値の3次元情報を有するサイコロの3Dオブジェクト64を第1視点用及び第2視点用カメラ(65a,65b)で撮像することにより、図3(a)と図3(b)に示すような画像を生成する。
In this state, by imaging the
このようにして撮像・生成された各画像間では、図3に示す通り、相互に対応する点(対応点)の位置が異なっている。すなわち、図3(a)と図3(b)との対応点(例えば、サイコロの各頂点)が両者画像において異なり、この異なる大きさが視差量となる。視差量の大きさは、カメラ位置(x,z値)、カメラ画角、カメラ間隔や3Dオブジェクト位置(z値)などにより決定される。 As shown in FIG. 3, the positions of corresponding points (correspondence points) are different between the images captured and generated in this manner. That is, the corresponding points (for example, each vertex of the dice) of FIG. 3A and FIG. 3B are different in both images, and this different size is the parallax amount. The magnitude of the parallax amount is determined by the camera position (x, z values), the camera angle of view, the camera interval, the 3D object position (z value), and the like.
続いて、図5に、立体画像表示パネル10の光線分離の状態を示す。これは、y軸の正方向から見た場合のzx平面の断面図である。この図5では、観察者100の左眼を「L」,右眼を「R」と表記し、以下の各図においても同様とする。
上述した各視点用の画素と光線分離手段12との組合せにより、第1視点領域50a,51a,52a,・・・と、第2視点領域50b,51b,52b,・・・とが、x軸方向に沿って交互に繰り返すように画像が分離されている。
Subsequently, FIG. 5 shows a state of light beam separation of the stereoscopic
The combination of the pixels for the respective viewpoints and the light beam separating means 12 described above allows the
各第1視点領域(50a,51a,52a)を左眼用領域,各第2視点領域(50b,51b,52b)を右眼用領域とした場合に、例えば各第1視点領域には第1視点用画像60a(図3),各第2視点領域には第2視点用画像60b(図3)をそれぞれ投影させることを想定すると、立体画像表示パネル10は、左眼用領域50aに左眼101が,右眼用領域50bに右眼102がそれぞれ配置されたときに(図5)、観察者100が立体画像を知覚できる立体視域80を形成するように構成されている。
For example, in the case where each first viewpoint area (50a, 51a, 52a) is an area for left eye and each second viewpoint area (50b, 51b, 52b) is an area for right eye, for example, Assuming that the
ここでの観察者100は、立体視域が最大となる最適観察距離(最適視認距離)ODの分だけ立体画像表示パネル10から離れた状態にある。
符号eは、最適視認距離における各視点領域間の視点ピッチを示し、この図5においては、視点ピッチeが両眼間隔dと等しい場合を示している。また、符号「1」,「2」はそれぞれ、第1視点用画像60a,第2視点用画像60bに対応する。
Here, the
The code e indicates the viewpoint pitch between the viewpoint areas at the optimum viewing distance, and in FIG. 5, the case where the viewpoint pitch e is equal to the inter-eye distance d is shown. Further, reference numerals “1” and “2” correspond to the
同様に、立体画像表示パネル10は表示コントローラからの信号等に基づいて、観察者100の両眼が左眼用領域51aと右眼用領域51bとに対応した場合に立体視域81を形成し、観察者100の両眼が左眼用領域52aと右眼用領域52bとに対応した場合に立体視域82を形成するという構成を採っている。
Similarly, the stereoscopic
ここで、立体画像表示パネル10の表示面中心(画像表示中心)から垂直に延伸されるz軸を含む立体視域80をメインローブとし、このメインローブから観察者100がx軸におけるプラス側とマイナス側の各方向に移動した際に出現する立体視域81,82をサイドローブとする。
Here, a
また、上記2つの立体視域以外にも、立体視域81のx軸におけるマイナス方向側,立体視域82のx軸におけるプラス方向側のそれぞれに、観察者100の位置に対応した1つ又は複数のサイドローブが出現するように立体画像表示パネル10を構成してもよい。
In addition to the above-described two stereoscopic viewing regions, one corresponding to the position of the
観察者100がメインローブからサイドローブに移動する途中の領域では、図6に示すように、観察者100の左眼101に右眼用領域が、右眼102に左眼用領域がそれぞれ対応する逆視状態となり、ここには立体画像表示パネル10によって、逆視領域85が形成される。このときの観察者100は、左眼101に第2視点用画像60b(2)を知覚し、右眼102に第1視点用画像60a(1)を知覚するという状態にある。
In the area where the
次いで、図1に、本第1実施形態における立体画像表示装置1の各機能構成を示す。このブロック図に示すように、立体画像表示装置1は、前述した表示パネル11,光線分離手段12,観察者位置計測部45と共に、表示パネル11を駆動する機能と光線分離手段12を制御する機能とを有する表示コントローラ24を備えている。
Next, FIG. 1 shows each functional configuration of the stereoscopic
表示コントローラ24は、観察者位置計測部45による計測結果(計測情報)に基づいて立体画像表示パネル10に対する観察者100の左眼101及び右眼102の相対位置を算出する相対位置算出部40と、この相対位置算出部40からの位置情報(相対位置情報)に基づいて3Dデータ(視差画像)及び制御信号の生成を行う画像生成処理部30と、この画像生成処理部30からの3Dデータに基づいて表示パネル11を駆動する表示パネル駆動回路(表示パネル駆動部)21と、同じく画像生成処理部30からの制御信号に基づいて光線分離手段12の動作を制御する画像振分制御回路(画像振分制御部)22と、を有している。
The display controller 24 calculates a relative position of the
より具体的に相対位置算出部40は、観察者位置計測部45からの計測情報に基づいて、立体画像表示パネル10の原点に対する観察者100の左眼101の相対位置を示す座標値(x1,y1,z1)、及び該原点に対する右眼102の相対位置を示す座標値(x2,y2,z2)を算出する機能を有している(図2参照)。また、これらの算出値から、例えば左眼101の視野角θ1(=atan(x1/z1))を算出するための機能構成を、相対位置算出部40に設けてもよい。
More specifically, based on the measurement information from the observer
画像生成処理部30は、画像処理を実行する演算器31と、表示パネル11に表示するための表示対象データを格納するデータ蓄積部32と、演算器31の動作制御プログラム等を格納するメモリ33と、外部との情報のやり取りを仲介する外部IF(Interface:インターフェイス)34と、により構成される。これらの各構成部材が有効に機能するため、画像生成処理部30は、相対位置算出部40から受信した信号に応じて、各視点に対応する有意な画像データ(3Dデータ)を生成することができる。
The image
メモリ33には、演算器31の動作制御プログラムの他に、相対位置算出部40から得られた左眼101及び右眼102の相対位置に関する情報や、立体画像表示パネル10の立体視域に関する情報等が記憶され、演算器31は、このメモリ33に蓄えられた情報と観察者位置計測部45のセンサ(図示せず)から適宜得られる情報とに基づいて、観察者100の左右の眼がどの視点領域に位置しているかを判定する機能(観察者の左右の眼が位置する視点領域を特定する機能)を有している。
In the
画像生成処理部30における画像データの生成は、データ蓄積部32に格納された表示対象データを読み出した演算器31が、これに対して画像処理を施すことにより実現される。表示対象データが奥行き情報を含む3次元データであれば、この3次元データに対して演算器31がレンダリング処理を施すことにより、視差を有する各視点用の2次元画像データ(立体表示に用いる3Dデータ)を生成する、という好適な方法を採っている。
The generation of the image data in the image
すなわち、立体表示に用いる3Dデータを生成するに際して演算器31は、3次元データに対して所定の視点数の仮想カメラを設定すると共に、これら各々についてレンダリング処理を施すように構成されている。例えば、図3に示すような視差を有する各視点用の2次元画像データは、3次元データに対して所定の視点数(ここでは2視点)の仮想カメラを設定した演算器31が、各々についてレンダリング処理を施して生成するという構成を採っている。
That is, when generating 3D data to be used for stereoscopic display, the
ここで、画像生成処理部30による画像データの生成には、奥行き情報を含む3次元データをもとにした生成方法を用いることが好ましい。しかし、データ蓄積部32に予めレンダリング処理を施した表示対象データを蓄積しておき、これを選択的に読み出すという構成を採ってもよい。
Here, for generation of image data by the image
すなわち、あらかじめ図3に相当する2次元画像データの形式による表示対象データをデータ蓄積部32に蓄積しておき、ここから演算器31が、立体表示又は平面表示に応じた画像データを選択して読み出すという方法を採ってもよい。かかる方法を採用すれば、レンダリング処理が不要となるため、前述したレンダリング処理を要する生成方法よりも処理能力や演算速度が低い演算器31を採用することができ、これにより、画像生成処理部30を安価に構成できるという利点が得られる。
That is, display target data in the form of two-dimensional image data corresponding to FIG. 3 is stored in advance in
また、画像生成処理部30は、相対位置算出部40から受け取った位置情報に応じて3Dデータを生成し、これを表示パネル駆動回路21に出力するという構成を採り、さらに、この3Dデータを出力するに際しては、これと同時に生成した制御信号(液晶レンズを有効にする信号等)を画像振分制御回路22に出力するという機能を有している。
In addition, the image
表示パネル駆動回路21は、表示パネル11を駆動するために必要な信号(同期信号等)を生成する機能を有し、画像振分制御回路22は、光線分離手段12を駆動するための信号を生成する機能を有している。
The display
光線分離手段12としては、液晶レンズ以外にも、液晶バリア素子等の電気信号によって制御できるアクティブ素子を用いることができる。
また、光線分離手段12としてレンチキュラレンズやフライアイレンズ,パララックスバリア,ポンホールなどの電気信号により制御できないスタティック素子を用いるようにしてもよい。このようにすれば、表示コントローラ24に画像振分制御回路22を設ける必要がなくなるため、かかる構成の簡素化により、コストの低下等を図ることが可能となる。
As the light beam separating means 12, other than the liquid crystal lens, an active element that can be controlled by an electric signal such as a liquid crystal barrier element can be used.
Further, as the light beam separating means 12, it is possible to use a static element which can not be controlled by an electric signal such as a lenticular lens, a fly eye lens, a parallax barrier, a pung hole or the like. In this way, since it is not necessary to provide the image distribution control circuit 22 in the display controller 24, it is possible to achieve cost reduction and the like by simplifying the configuration.
ところで、上述したような構成を採った画像生成処理部30は、データ蓄積部32内の表示対象データをもとに、予め設定されたJ視点分(J>N)の画像を生成する機能を有している。
By the way, the image
そこで、これまでの内容をまとめると、複数の視点各々に応じた画像を表示する立体画像表示装置1は、複数の画素が配列された表示パネル11,及びその表示面側に設けられ上記各画素の配列方向(x軸方向)に応じた複数のN視点に向けて当該各画素からの視差画像を分離する光線分離手段12を含む立体画像表示パネル10と、上記表示面に対向する観察者の観察位置を計測する観察者位置計測部45と、この計測結果に基づいて前記立体画像表示パネル10に対する前記観察者の相対位置を算出する相対位置算出部40と、予め設定されたJ視点分(J>N)の視点画像を生成する機能を有すると共に、上記相対位置に対応づけた視点画像を生成して前記立体画像表示パネルに向けて出力する画像生成処理部30と、を有するという構成を採っている。
Then, if the content until now is put together, the three-dimensional
したがって、画像生成処理部30は、2視点より大きい、例えば6視点分の画像を生成することが可能である。
Therefore, the image
ここで、図7に、本第1実施形態にかかる2視点の立体画像表示パネル10に入力する画像情報の一例として、6視点分の画像を示す。図7(a)は第1視点用画像61a,(b)は第2視点用画像61b,(c)は第3視点用画像61c,(d)は第4視点用画像61d,(e)は第5視点用画像61e,(f)は第6視点用画像61fである。
Here, FIG. 7 shows images for six viewpoints as an example of the image information input to the two-viewpoint stereoscopic
この図7に示す通り、各視点用画像間では、サイコロの“5”の面の大きさと“3”の面の大きさとがそれぞれ異なっている。すなわち、第1視点用画像61aでは“5”の面が一番大きく、第6視点用画像61fでは“3”の面が一番大きいという特徴がある。また、(a)から(f)に向けて“5”の面が徐々に小さくなっていき、“3”の面が徐々に大きくなっているという構成を採っている。
As shown in FIG. 7, the size of the surface of the dice “5” and the size of the surface of the dice “3” are different between the images for viewpoints. That is, the feature “5” is the largest in the
次いで、図8に、上記図7で示した第1視点用画像から第6視点用画像までの生成方法の一例を示す。
基本的には、図4に示した構成内容と同様に、第1視点用カメラ65aと第2視点用カメラ65bと第3視点用カメラ65cと第4視点用カメラ65dと第5視点用カメラ65eと第6視点用カメラ65fとを配置した上で、これら第1乃至第6視点用カメラ(65a〜65f)にてxyz値の3次元情報を有するサイコロの3Dオブジェクト64を撮像することにより、図7(a)乃至(f)に示すような画像を生成する。
また、図7(a)乃至(f)における各対応点相互間の位置の違いの大きさが、各画像間における視差量となる。
Next, FIG. 8 shows an example of a method of generating the first viewpoint image to the sixth viewpoint image shown in FIG.
Basically, as in the configuration shown in FIG. 4, the
Further, the magnitude of the difference in position between corresponding points in FIGS. 7A to 7F is the amount of parallax between the images.
立体画像表示パネル10のメインローブの外側に観察者100が移動した場合に画像生成処理部30は、観察方向に応じた視点に対応した新規画像の生成等を行うように構成されている。すなわち、図7に例示したような6視点分の画像を生成する場合には、画像生成処理部30が、あらかじめ6視点分全ての画像を生成すると共にこれを記憶処理しておき、ここから観察者の移動に対応して適宜選定するようにしてもよいし、観察者位置近傍の視点用画像のみを適宜生成するように構成してもよい。
When the
このようにして、6視点分の画像を画像生成処理部30が生成する場合の、立体画像表示パネル10による光線分離の状態を、図9に示す。これも前述した図5と同様、y軸の正方向から見た場合のzx平面の断面図である(図2参照)。
A state of light beam separation by the stereoscopic
図9(a)は、相対位置算出部40による算出結果(位置情報)から、観察者100の左眼101が第1視点領域50a,右眼102が第2視点領域50bに存在すると画像生成処理部30が判断するような場面を例示した図である。
この場合は、画像生成処理部30において、第1視点領域50a用に第3視点用画像61c(図7)の画像データを、第2視点領域50b用に第4視点用画像61d(図7)の画像データをそれぞれ生成し、これを3Dデータとして表示パネル駆動回路21へ出力するように構成されている。すなわち、ここに付した「3」,「4」は、それぞれ第3視点用画像60c,第4視点用画像60dに対応する。
これにより、観察者100が立体画像を知覚できる立体視域90が形成される。ここでのメインローブである立体視域90は、図9に示す通り、図5を参照して説明したメインローブとしての立体視域80と概ね一致した位置に形成されている。
In FIG. 9A, based on the calculation result (position information) by the relative
In this case, in the image
Thereby, a
図9(b)も同様に、相対位置算出部40による算出結果から、観察者100の左眼101が第2視点領域51b,右眼102が第1視点領域50aに存在すると画像生成処理部30が判断するような場面を例示したものである。
この場合は、画像生成処理部30において、第1視点領域51b用に第2視点用画像61b(図7)の画像データを、第2視点領域50a用に第3視点用画像61c(図7)の画像データをそれぞれ生成し、これを3Dデータとして表示パネル駆動回路21へ出力するように構成されている。すなわち、ここに付した「2」,「3」は、それぞれ第2視点用画像60b,第3視点用画像60cに対応する。
これにより、観察者100が立体画像を知覚できる立体視域91が形成され、この立体視域91の位置は、上記同様、図6にて説明した逆視領域85の位置と概ね一致している。
Similarly in FIG. 9B, based on the calculation result by the relative
In this case, in the image
Thereby, a
図9(c)も同様に、相対位置算出部40による算出結果から、観察者100の左眼101が第1視点領域51a、右眼が第2視点領域51bに存在すると画像生成処理部30が判断するような場面を例示したものである。
この場合は、画像生成処理部30において、第1視点領域51a用に第1視点用画像61a(図7)の画像データを、第2視点領域51b用に第2視点用画像61b(図7)の画像データをそれぞれ生成し、これを3Dデータとして表示パネル駆動回路21へ出力するように構成されている。すなわち、ここに付した「1」,「2」は、それぞれ第1視点用画像60a,第2視点用画像60bに対応する。
これにより、観察者100が立体画像を知覚できる立体視域92が形成され、この立体視域92の位置は、上記同様、図5にて説明したサイドローブ81の位置と概ね一致している。
Similarly, in FIG. 9C, based on the calculation result by the relative
In this case, in the image
Thus, a
ここで、立体視域92,91,90,及びこれと同様の規則性によりx軸のプラス方向側に生成される2つの立体視域(図9参照)をそれぞれ立体視域A〜Eとして、図11に、観察者100の左右の眼が位置する視点領域と、第1視点領域及び第2視点領域に表示させるべき画像データとの対応関係をまとめた表を示す。
この図11における備考欄には、各立体視域A〜Eの位置と、図5及び図6に示した立体視域(メインローブとサイドローブ)及び逆視領域の位置との対応関係を示す。
Here, the
The remarks column in FIG. 11 shows the correspondence between the positions of the stereoscopic viewing areas A to E, and the positions of the stereoscopic viewing areas (main lobe and side lobes) and the reverse viewing area shown in FIGS. 5 and 6. .
上述した2視点の立体画像表示パネル10と2視点分の画像データとに基づく画像表示では、観察者100が、メインローブとサイドローブとで同一映像の知覚しかできない上に、メインローブとサイドローブとの間の領域では逆視の状態が発生する。
これに対し、6視点分の画像を生成する機能を有すると共に、これらの各画像をもとに適宜観察者100に対応した立体視域を形成するという前述の構成を採用すれば、2視点の立体表示においても観測者100は、立体視域A〜Eのそれぞれにおいて異なる映像を知覚することができ、すなわち運動視差が付与されることとなるため、これにより、立体画質の臨場感向上に寄与することが可能となる。
In the image display based on the two-viewpoint stereoscopic
On the other hand, if it has the function of generating images for six viewpoints and the above-described configuration of appropriately forming a stereoscopic viewing area corresponding to the
一般に、運動視差を付与するための構成を採った立体画像表示装置としては、6視点の立体画像表示パネルを用いて図12に示すような立体視域を形成するものが知られている。この図12における立体視域92a〜92eは、図11に示す立体視域A〜Eに相当する位置に形成されている。また、ここに付した「1」,「2」,「3」,「4」,「5」,「6」は、それぞれ第1視点用画像60a,第2視点用画像60b,第3視点用画像60c,第4視点用画像60d,第5視点用画像60e,第6視点用画像60fに対応する。
In general, as a stereoscopic image display apparatus adopting a configuration for providing motion parallax, one that forms a stereoscopic viewing area as shown in FIG. 12 using a stereoscopic display panel with six viewpoints is known. The
かかる一般的な6視点の立体画像表示パネルは、多人数で観察する際に有効な場合もあるが、常に6視点分の空間に光線分離されるように構成する必要があるため、2視点の立体画像表示パネルと比較すると、3D解像度が、横方向において1/3にまで低下し、この横方向の解像度低下に合わせて縦方向を調整した場合には、全体として1/9にまで低下するため、立体画質を大きく損ねるという不都合がある。 Although such a general six-view three-dimensional image display panel may be effective when observed by a large number of people, it is necessary to be configured so as to always separate light into a space for six views. Compared to the stereoscopic image display panel, the 3D resolution decreases to 1/3 in the horizontal direction, and when the vertical direction is adjusted in accordance with the decrease in the horizontal resolution, the entire 3D resolution decreases to 1/9. Therefore, there is a disadvantage that the stereoscopic image quality is greatly impaired.
その点、図7乃至図11を参照して説明した本第1実施形態における立体画像表示装置1は、6視点分の画像を生成する機能を有すると共に、これらの各画像を用いて観察者100の位置に応じた立体視域を適宜形成するという構成を採用したため、上記のように解像度を低下させることなく、有効に運動視差を付与することができる。
In that respect, the stereoscopic
これまで2視点の立体画像表示パネルと6視点分の画像データとを用いた立体画像表示の例を示したが、本第1実施形態にかかる構成はこれに限定されるものではない。すなわち、2視点の立体画像表示パネルと10視点分の画像データとの組合せや、4視点の立体画像表示パネルと12視点分の画像データとの組合せ等を用いた構成を採用するようにしてもよく、かかる構成の場合においても、上記同様の効果を得ることができる。 Although the example of the stereoscopic image display using the stereoscopic image display panel of 2 viewpoints and the image data for 6 viewpoints was shown until now, the structure concerning the 1st embodiment of the present invention is not limited to this. That is, even if a combination of a stereoscopic display panel with two viewpoints and image data for ten viewpoints, a combination of a stereoscopic display panel with four viewpoints and image data for twelve viewpoints, etc. is adopted. Even in the case of such a configuration, the same effect as described above can be obtained.
したがって、こうした立体画像表示パネルと画像データとの組合せを考慮し、立体画像表示パネルの視点数をN(Nは2以上の自然数)として、本第1実施形態にかかる構成内容を一般的に表記すると、以下のようになる。
表示面に向かって正面にメインローブが存在するように構成された立体画像表示パネルにおいて、立体画像表示パネルに入力する各視点画像データの数をJとした場合に、「J>N」の関係を満たし、これに加えて、「J=s×N(sは2以上の整数)」の関係を満たすように構成することがより望ましい。
ここで、表示面に向かって正面というのは、画像表示中心を始点とする表示面からの法線(以下、表示法線とする)上に観察者100が位置した場合における観測者100の方向を示す。
Therefore, in consideration of the combination of the stereoscopic image display panel and the image data, the configuration content according to the first embodiment is generally described assuming that the number of viewpoints of the stereoscopic image display panel is N (N is a natural number of 2 or more). Then, it becomes as follows.
In a stereoscopic image display panel configured such that a main lobe is present in front of the display surface, when the number of viewpoint image data input to the stereoscopic image display panel is J, the relationship of “J> N” It is more desirable to configure so as to satisfy the following relationship: “J = s × N (s is an integer of 2 or more)”.
Here, the front toward the display surface means the direction of the
メインローブの中心線と表示法線とがほぼ一致している状態を例示する図5のように、偶数視点(N=2,4,6,・・・)では、ほとんどの場合、これらが概ね一致するように設計されている。 As shown in FIG. 5 which illustrates a state in which the center line of the main lobe and the display normal substantially coincide with each other, in the even-numbered viewpoints (N = 2, 4, 6,...) It is designed to match.
これに対して、奇数視点(第1隣接視点領域:N=3,5,7,・・・)では、メインローブの中心線と表示法線とが一致する場合もあれば、視点ピッチに対応した角度以下の大きさで表示法線とずらしている場合もある。
後者のような場合、概ねメインローブの中心線と表示法線との成す角が、所定の角度以内(最適観察距離ODにおける視点ピッチをeとした場合にatan(e/OD)の角度以内)であれば、メインローブとサイドローブとの対称性の観点から、上記係数sの値は3以上の奇数に設定することが望ましい。このようにすれば、サイドローブをほぼ左右対称に出現させることが可能となる。
一方で、メインローブの中心線と表示法線との成す角が上記所定の角度以上であれば、係数sの値は単に2以上として設定すればよく、特に限定を加える必要はない。
On the other hand, in odd-numbered viewpoints (first adjacent viewpoint regions: N = 3, 5, 7,...), If the center line of the main lobe matches the display normal, it corresponds to the viewpoint pitch. There is also a case where it deviates from the display normal at a size smaller than the above angle.
In the latter case, the angle between the center line of the main lobe and the display normal is generally within a predetermined angle (within an angle of atan (e / OD) when the viewpoint pitch at the optimum observation distance OD is e). In this case, it is desirable to set the value of the coefficient s to an odd number of 3 or more from the viewpoint of the symmetry of the main lobe and the side lobes. In this way, it becomes possible to make the side lobes appear approximately symmetrically.
On the other hand, if the angle formed by the center line of the main lobe and the display normal is equal to or more than the predetermined angle, the value of the coefficient s may be simply set as 2 or more, and it is not necessary to add limitation.
この係数sの値は、図1に示すメモリ33に予め記憶させておくように構成してもよいし、外部IF34を介して所定の値を係数sとして読み込むようにしてもよい。
いずれにせよ、立体画像表示パネル10の視点数Nに応じて、この係数sの値をもとに画像生成処理部30は、J(=s×N)視点分の画像を生成するように構成される。
The value of the coefficient s may be stored in advance in the
In any case, according to the number N of viewpoints of the stereoscopic
また、相対位置算出部40又は画像生成処理部30に、位置情報に基づいてメインローブの中心線と表示法線との成す角を計測する角度計測機能を設け、さらに画像生成処理部30に、該成す角とatan(e/OD)とを比較した上でこれがatan(e/OD)以下であれば上記係数sを3以上の奇数に設定する比較設定機能を設けるようにしてもよい。このようにすれば、一定条件下において、サイドローブをほぼ左右対称に出現させることができる。
In addition, the relative
画像の生成については、データ蓄積部32にある3次元のポリゴンデータから仮想的に視点数分のカメラを配置して演算器31でリアルタイムレンダリングする方法や、CZデータから視点数分の画像を生成する方法など、様々な方法が存在する。
画像生成に際しては、画像生成処理部30が、これら各種方法の内から予め設定された方法を用いるようにしてもよいし、使用環境や外部信号に応じて適宜選択して用いるように構成してもよい。また、画像生成処理部30において、あらかじめJ視点分の画像を生成しておき、これをデータ蓄積部32に保管しておくという構成を採ってもよい。
これにより、少ない視点数で高解像度を維持したまま、多視点として運動視差を付与することが可能となる。
For image generation, a method of virtually arranging cameras for the number of viewpoints from three-dimensional polygon data in the
At the time of image generation, the image
As a result, it is possible to provide motion parallax as multiple viewpoints while maintaining high resolution with a small number of viewpoints.
さらに、視点数Nが3以上の場合は、観察者100の移動方向に応じて、対象となる視点領域に出力する画像データの更新を行うことも可能である。
Furthermore, when the number of viewpoints N is three or more, it is also possible to update the image data to be output to the target viewpoint area according to the moving direction of the
ここで、図13に、立体画像表示パネル10として3視点(視点数N=3)の立体画像表示パネルを採用した場合における光線分離状態と観察者の位置との関係を例示する。この図13では、観察者の位置に対応して形成される視点領域として、第1視点領域である視点領域50a,51a,52a、第2視点領域である視点領域50b,51b,52b、及び第3視点領域である視点領域50c,51c,52cを示し、観察者の位置としては、位置110aと位置110bとを示す。
Here, FIG. 13 illustrates the relationship between the light beam separation state and the position of the observer in the case where a stereoscopic image display panel of three viewpoints (N number of viewpoints N = 3) is adopted as the stereoscopic
また、図13における3視点の立体画像表示パネル10を介して各視点領域へと入力される画像データの一例を、図14に示す。この図14には、各視点領域用の画像データとして、B1,B2,B3,B4,B5,B6,B7,B8,B9,‥を示し、前述した図3及び図7と同様に、各視点用画像間では、サイコロの“5”の面の大きさと“3”の面の大きさとがそれぞれ異なっている。すなわち、図14に示す通り、B1からB9に向けて“5”の面が徐々に小さくなっていき、“3”の面が徐々に大きくなっていくという構成を採っている。
Also, FIG. 14 shows an example of image data input to each viewpoint area through the three-viewpoint stereoscopic
図14で示した画像の生成方法は、図8を参照して説明した方法と基本的に同様である。すなわち、画像データの数に応じた各視点用カメラをx軸と略平行に配置し、これによって3Dオブジェクトを撮像することにより画像生成を行う。 The method of generating the image shown in FIG. 14 is basically the same as the method described with reference to FIG. That is, each viewpoint camera corresponding to the number of image data is disposed substantially parallel to the x-axis, and an image is generated by imaging a 3D object.
さらに、観察者が、位置110aから位置110dに移動するケース(図13:←)と、位置110dから位置110aに移動するケース(図13:→)と、の2つのケースについて、観察者の左右の眼が位置する視点領域と第1,第2,第3視点領域に入力する視差画像データとの関係を、図15及び図16に示す。
Furthermore, for the two cases of the case in which the observer moves from
図15は、観察者が位置110aからx軸方向のマイナス側(左側)に移動するケースについて示した表である。
まず、観察者が位置110aに在る状態を(A)とすると、この(A)の状態では、観察者の左眼が位置する視点領域は50bであり、右眼が位置する視点領域は50cである。画像データは、視点領域50bに画像データB6が、視点領域50cに画像データB7が入力されている。左右の眼のいずれも位置しない視点領域50aは画像データB5もしくはB8のいずれかが入力されている。
FIG. 15 is a table showing a case where the observer moves from the
First, assuming that the state where the observer is at
次に、観察者の左眼が視点領域50aに,右目が視点領域50bにそれぞれ位置する状態を(B)とし、観察者が(A)の状態から(B)の状態に移動したことを想定する。この(B)の状態では、視点領域50aに画像データB5が入力され、視点領域50bに画像データB6が入力される。
ちなみに、図15には記載していないが、もし観察者が(A)の状態から、x軸方向のプラス側(右側)に移動して、観察者の右眼が位置する視点領域が52aとなる場合は、この視点領域52aに画像データB8が入力される。
Next, assuming that the left eye of the observer is in the
Incidentally, although not described in FIG. 15, if the observer moves from the state of (A) to the plus side (right side) in the x-axis direction, the viewpoint area where the right eye of the observer is located is 52a. In this case, the image data B8 is input to the
(B)の状態において、左右の眼のいずれも位置しない視点領域51cには、本来画像データB7の入力が維持されても差支えないように思われる。
しかし、本第1実施形態では、表示コントローラ24が、(A)から(B)への移動方向(左側)を考慮して、続く同方向への移動により観察者の左眼が位置し得る視点領域51cへの画像データを、予め(C)の状態に応じた画像データB4に切り替えておくという構成を採っている。
In the state of (B), it seems that even if the input of the image data B7 is originally maintained in the
However, in the first embodiment, the display controller 24 takes into consideration the moving direction (left side) from (A) to (B), and the viewpoint in which the left eye of the observer may be located by the subsequent movement in the same direction. The configuration is such that the image data to the
より具体的に、画像生成処理部30は、経時的な相対位置算出部40からの位置情報又は観察者位置計測部45内のセンサ(図示せず)からの情報に示された観察者の移動方向に基づいて、該観察者の次の移動位置を推定すると共に、この推定位置に対応した画像データ(視点画像)を表示パネル駆動回路21に出力する画像データ切替処理機能(図示せず)を有している。
More specifically, the image
すなわち、立体画像表示パネル10が3以上の視点(N≧3)に向けて視差画像を分離する場合に、画像生成処理部30が画像データ切替処理機能にて、観察者の左右の眼の何れもが位置していない視点領域への視点画像を、当該観察者の移動方向に応じて選定すると共に、これを立体画像表示パネル10に向けて出力する、という構成を採っている。
ここで、例えば、(B)の状態において、視点領域50aから見た場合の視点領域51cのような関係の視点領域を、隣接視点領域と指称する。
That is, when the stereoscopic
Here, for example, in the state of (B), a viewpoint area of a relationship such as the
上記同様に、(B)の状態から(C)の状態(観察者の左眼が視点領域51cに,右目が視点領域50aにそれぞれ位置する状態)に移動した際に、この(C)の状態では、図15に示す通り、観察者の左眼が位置する視点領域51cに画像データB4が入力されるという状態が維持されている。
また、表示コントローラ24では、(B)から(C)への移動方向を考慮して、続く同方向への移動により観察者の左眼が位置し得る視点領域51bへの画像データを、予め(D)の状態に応じた画像データB3に切り替えておくという構成を採っている。
Similarly to the above, when moving from the state of (B) to the state of (C) (a state in which the left eye of the observer is positioned in the
Further, in the display controller 24, in consideration of the moving direction from (B) to (C), the image data to the
これらの処理動作を、続く(D),(E)の状態においても、表示コントローラ24が同様に繰り返すという構成を採っている。かかる構成を採用したことにより、観察者の移動速度が大きい場合においても、違和感の極めて少ない立体画像の提示が可能となる。
なお、図15において、下線を引いた各画像データは、観察者の移動位置の推定結果に基づいた上記切替処理後の画像データである。
In the following states (D) and (E), these processing operations are similarly repeated by the display controller 24. By adopting such a configuration, even when the moving speed of the observer is high, it is possible to present a stereoscopic image with very little discomfort.
In FIG. 15, each underlined image data is image data after the switching process based on the estimation result of the moving position of the observer.
図16は、観察者が位置110dからx軸方向にプラス側(右側)に移動するケースについて示したものである。また、観察者が位置110dに在る(E)の状態では、観察者の右眼が位置する視点領域51bに画像データB3が入力されている。
FIG. 16 shows a case where the observer moves from the
ここで、(E)から(D)への移動方向(右側)を考慮すると、続く同方向への移動により観察者の右眼が第1視点領域に位置するのは(c)の状態のときである。したがって、本第1実施形態では、(E)の状態から(D)の状態に移動した際に、第1視点領域(視点領域52a等)への画像データを、予め(C)の状態に応じた画像データB5に切り替えておくように構成されている。
Here, in consideration of the movement direction (right side) from (E) to (D), when the observer's right eye is positioned in the first viewpoint region by the subsequent movement in the same direction when the state of (c) It is. Therefore, in the first embodiment, when moving from the state of (E) to the state of (D), the image data to the first viewpoint area (the
そして、(D)の状態から(C)の状態に移動するに際しては、観察者の右眼が位置する視点領域50aへの画像データB5の入力が維持され、(C)の状態においてもこの状態が保たれる。
Then, when moving from the state of (D) to the state of (C), the input of the image data B5 to the
また、(D)から(C)への移動方向(右側)を考慮すると、続く同方向への移動により観察者の右眼が第2視点領域に位置するのは(B)の状態のときである。したがって、上記同様、(C)の状態において、第2視点領域(視点領域50b等)への画像データを、事前に(B)の状態に応じた画像データB6に切り替えるという構成を採っている。
Also, considering the movement direction (right side) from (D) to (C), the observer's right eye is positioned in the second viewpoint area by the subsequent movement in the same direction in the state of (B) is there. Therefore, similarly to the above, in the state of (C), the image data to the second viewpoint area (the
(B)の状態においても同様に、(C)から(B)への移動方向(右側)を考慮して、続く同方向への移動により観察者の右眼が位置し得る視点領域50cへの画像データを、予め(A)の状態に応じた画像データB7に切り替えておくように構成されている。
Also in the state of (B), in consideration of the moving direction (right side) from (C) to (B), to the
すなわち、続く(B),(A)の状態においても表示コントローラ24が、こうした処理動作を上記同様に繰り返すという構成を採っている。かかる処理動作を採用したことにより、観察者の移動速度が大きい場合においても、違和感の極めて少ない立体画像の提示が可能となる。
なお、図16においても、下線を引いた各画像データは、観察者の移動位置の推定結果に基づいた上記切替処理後の画像データである。
That is, in the following states (B) and (A), the display controller 24 has a configuration in which such processing operations are repeated in the same manner as described above. By adopting this processing operation, even when the moving speed of the observer is high, it is possible to present a stereoscopic image with very little discomfort.
Also in FIG. 16, each underlined image data is image data after the switching processing based on the estimation result of the movement position of the observer.
ところで、図1等を参照して説明した観察者位置計測部45から相対位置算出部40にかけての処理に要する時間は、理想的には0に限りなく近いことが望ましい。しかしながら、実際には、データ転送や演算などにより0.1秒以上かかる場合が多い。
このような場合、相対位置算出部40からの信号(位置情報)に基づく画像生成処理部30からの画像データを出力する際には、観察者が、計測された位置に留まっていないという事態が発生し得る。特に観察者の移動速度が大きい場合は、観察者の左右の眼が想定された視点領域外となり、最悪の場合、所定の立体画像が知覚されない状況となり得る。
By the way, it is desirable that the time required for processing from the observer
In such a case, when outputting the image data from the image
かかる問題点を踏まえ、本第1実施形態では上述の通り、観察者の移動する方向を考慮して予め選定した画像データを、対象視点領域に向けて事前に入力しておくという構成を採用したため、大きな速度で移動する観察者に対しても、立体視認性を損なうことなく滑らかな運動視差を付与することが可能となる。 Based on this problem, in the first embodiment, as described above, the configuration is adopted in which the image data selected in advance in consideration of the moving direction of the observer is input toward the target viewpoint area in advance. Even for a viewer moving at a high speed, it is possible to provide smooth motion parallax without impairing the stereoscopic visibility.
すなわち、図15及び図16における画像データに下線を引いて明示した通り、観察者が移動する方向に応じた有意な画像データを、観察者の移動に先立って入力するという構成を採用したため、これにより、観察者の移動速度が大きい場合においても、違和感のない立体画像の提示が可能となる。 That is, as shown by underlining the image data in FIGS. 15 and 16, significant image data corresponding to the moving direction of the observer is input prior to the movement of the observer. Thus, even when the moving speed of the observer is high, it is possible to present a stereoscopic image without discomfort.
次いで、図17に、立体画像表示パネル10として4視点(視点数N=4)の立体画像表示パネルを採用した場合における光線分離状態と観察者との関係を例示する。この図17では、観察者の位置に対応して形成される視点領域として、第1視点領域である視点領域50a,51a,52a、第2視点領域である視点領域50b,51b,52b、第3視点領域である視点領域50c,51c,52c、第4視点領域である視点領域50d,51d,52d、を示し、観察者の位置としては、位置111aと位置111bとを示す。
Next, FIG. 17 illustrates the relationship between the light beam separation state and the viewer in the case where a stereoscopic image display panel of four viewpoints (viewpoint number N = 4) is adopted as the stereoscopic
また、立体画像表示パネル10を介して各視点領域へと入力される視差画像データとしては、図13の場合と同様に、図14を用いて説明する。
The parallax image data input to each viewpoint area through the stereoscopic
さらに、観察者が、位置111aから位置111dに移動するケース(図17:←)と、位置111dから位置111aに移動するケース(図17:→)と、の2つのケースについて、観察者の左右の眼が位置する視点領域と第1,第2,第3,第4視点領域に入力する視差画像データとの関係を、図18及び図19に示す。
Furthermore, for the two cases of the case where the observer moves from
図18は、観察者が図17に示す位置111aからx軸方向のマイナス側(左側)に移動するケースについて示した表である。
まず、観察者が位置111aに在る状態を(A)とすると、この(A)の状態では、観察者の左眼が位置する視点領域は50bであり、右眼が位置する視点領域は50cである。画像データは、視点領域50bに画像データB6が、視点領域50cに画像データB7が入力されている。左右の眼のいずれも位置しない視点領域50aには画像データB5、視点領域50dにはB8がそれぞれ入力されている。
FIG. 18 is a table showing a case where the observer moves from the
First, assuming that the state where the observer is at
観測者が(A)から(B)の状態に移動した場合でも、視点領域50aには、画像データB5が継続して入力されている。すなわち、(B)の状態において観察者の左眼が位置する視点領域50aには、(A)の状態と同じく画像データB5が入力されている。
Even when the observer moves from (A) to (B), the image data B5 is continuously input to the
また、観測者が(A)から(B)の状態に移動した際に、左右の眼のいずれも位置しない視点領域51dと51cには画像データB8とB7の入力が維持されても差支えないように思えるが、ここでも前述した3視点の立体画像表示パネル(図13)の場合と同様に、(A)から(B)への移動方向(左側)を考慮して、続く同方向への移動により観察者の左眼が位置し得る視点領域51dへの画像データを、予め(C)の状態に応じた画像データB4に切り替えておくという構成を採っている。
Further, when the observer moves from (A) to (B), even if the input of the image data B8 and B7 is maintained in the
加えて、4視点の立体画像表示パネルを採用した本第1実施形態の立体画像表示装置1では、表示コントローラ24が、上記切替処理と同時に、さらに続く同方向への移動により観察者の左眼が位置し得る視点領域51cへの画像データを、(A)から(B)への移動速度v1の大きさに応じて選定し切り替えるという構成を採っている。
ここで、例えば、(B)の状態において、視点領域50aから見た場合の視点領域51d,51cのような関係の視点領域を、それぞれ第1隣接視点領域,第2隣接視点領域と指称する。
In addition, in the stereoscopic
Here, for example, in the state of (B), the viewpoint regions of the relationship such as the
より具体的に、画像生成処理部30は、経時的な相対位置算出部40からの位置情報又は観察者位置計測部45内のセンサ(図示せず)からの観察者の移動速度にかかる情報に基づいて、さらに続く移動により観察者の眼が位置し得る視点領域への画像データを予め生成して表示パネル駆動回路21に出力する画像データ選定処理機能(図示せず)を有している。
More specifically, the image
すなわち、立体画像表示パネル10が4以上の視点(N≧4)に向けて視差画像を分離する場合に、画像生成処理部30が画像データ選定処理機能にて、観察者の左右の眼の何れもが位置していない視点領域への視点画像を、当該観察者の移動方向及び移動速度に応じて選定すると共に、これを予め立体画像表示パネル10に向けて出力する、という構成を採っている。
That is, when the stereoscopic
この画像データ選定処理機能は、移動速度v1と予め設定された閾値vthとの比較により上記画像データの選定を実行する機能であり、より具体的には、移動速度v1が閾値vth以下の場合(v1≦vth)に画像データB7を選定し、移動速度v1が閾値vthよりも大きい場合(v1>vth)に画像データB3を選定するように構成されている。
すなわち、移動速度v1が閾値vth以下の場合は、画像データB7がそのまま維持され、移動速度v1が閾値vthよりも大きい場合は、画像データをB3に切り替えるという構成を採っている。
The image data selection processing function is a function of executing selection of the image data by comparing the moving speed v1 with a preset threshold value vth. More specifically, when the moving speed v1 is equal to or less than the threshold value vth ( The image data B7 is selected as v1 ≦ vth, and the image data B3 is selected when the moving speed v1 is larger than the threshold vth (v1> vth).
That is, when the moving speed v1 is equal to or less than the threshold vth, the image data B7 is maintained as it is. When the moving speed v1 is larger than the threshold vth, the image data is switched to B3.
図18にて下線を引いて示した通り、(B)から(C)の状態に移動した際や、更に(D),(E)の状態に移動した場合においても、表示コントローラ24内の各構成部材が有効に機能し、同様の処理動作を実行するように構成されているため、これにより、移動速度が大きい観察者に対応した違和感のない立体画像を提示することができる。 As shown by underlining in FIG. 18, each of the components in the display controller 24 also moves when moving from (B) to (C) or when moving further to (D), (E). Since the component functions effectively and is configured to execute the same processing operation, it is possible to present a comfortable stereoscopic image corresponding to an observer with a high moving speed.
図19は、観察者が図17に示す位置111dからx軸方向にプラス側(右側)に移動するケースの例示である。まず、観察者が位置111dに在る状態を(E)とすると、この(E)の状態では、観察者の左眼が位置する視点領域が51bであり,右眼が位置する視点領域は51cである。画像データについては、視点領域51bに画像データB2が,視点領域51cに画像データB3が入力されている。左右の眼のいずれも位置しない視点領域51a,51dには、それぞれ画像データB1,B4が入力されている。
FIG. 19 is an example of a case where the observer moves from the
観測者が(E)から(D)の状態に移動した際に、その右眼が位置する視点領域51dには、(E)の状態から継続して画像データB5が入力されている。
When the observer moves from (E) to (D), image data B5 is continuously input from the state of (E) to the
この移動に際しては、図18を参照しての説明と同様に、(E)から(D)への移動方向(右側)を考慮して、続く同方向への移動により観察者の左眼が位置し得る視点領域50aへの画像データを、予め(C)の状態に応じた画像データB5に切り替えると同時に、さらに続く同方向への移動により観察者の左眼が位置し得る視点領域51bへの画像データを、(E)から(D)への移動速度v2の大きさに応じて選定し切り替えるという構成を採っている(画像データ選定処理機能)。
During this movement, the left eye of the observer is positioned by the subsequent movement in the same direction in consideration of the movement direction (right side) from (E) to (D) as in the description with reference to FIG. The image data to the
すなわち、上記同様に表示コントローラ24は、画像生成処理部30内に有する画像データ選定処理機能(図示せず)にて移動速度v2が閾値vth以下の場合(v2≦vth)に画像データB2をそのまま維持し、移動速度v2が閾値vthよりも大きい場合(v2>vth)に画像データB6を選定して切り替えるように構成されている。
That is, in the same manner as described above, when the moving speed v2 is equal to or less than the threshold vth (v2 ≦ vth) in the image data selection processing function (not shown) included in the image
また、図19にて下線を引いて示した通り、(D)の状態から(C)の状態に移動した際や、更に(B),(A)の状態に移動した場合においても、表示コントローラ24内の各構成部材が有効に機能し、同様の処理動作を実行するという構成を採っているため、これにより、移動速度が大きい観察者に対応した違和感のない立体画像を提示することができる。 In addition, as shown by underlining in FIG. 19, the display controller is also moved when moving from the state of (D) to the state of (C) or when it is further moved to the states of (B) and (A). Each component in 24 effectively functions and performs the same processing operation, so that it is possible to present a stereoscopic image without a sense of discomfort corresponding to an observer with a high moving speed. .
ここで、図18と図19とを照らすと、観察者が移動する方向に応じて、下線の引いてある画像データ(下線を引いた画像データにかかる視点領域)が異なっていることが読み取れ、このことは、本第1実施形態における立体画像表示装置1が、観察者の移動方向及び移動速度に応じた柔軟な画像データの提示を実現することを示している。
Here, when FIG. 18 and FIG. 19 are illuminated, it can be read that the underlined image data (viewpoint area pertaining to the underlined image data) is different according to the direction in which the observer moves. This indicates that the stereoscopic
このように、観察者の移動速度が大きい場合においては、観察者の左眼が移動する次視点領域(第1隣接視点領域)だけでなく、更なる移動により観測者が位置し得る次々視点領域(第2隣接視点領域)に対しても、相応する画像データを事前に入力しておくという構成を採ることで、より違和感のない立体画像を提示することが可能となる。 As described above, when the moving speed of the observer is large, not only the next-viewpoint area (first adjacent viewpoint area) where the left eye of the observer moves but also the next-viewing area where the observer can be located by further movement Also for (the second adjacent viewpoint area), by adopting a configuration in which the corresponding image data is input in advance, it is possible to present a stereoscopic image with less discomfort.
図17等を参照して説明した通り、観察者の移動方向や移動速度に応じて画像データを選択するという処理動作は、視点数Nが4以上の場合に適用される構成内容であり、画像データ選定処理機能(図示せず)にて画像データを選択して入力する際の対象視点領域(選択入力対象領域)は、移動する方向となる左右の眼のいずれかの視点領域を起点とした、第1隣接,第2隣接,・・・,第(N−2)隣接視点である。 As described with reference to FIG. 17 and the like, the processing operation of selecting image data according to the moving direction or moving speed of the observer is a configuration content applied when the number of viewpoints N is 4 or more. The target viewpoint area (selection input target area) when selecting and inputting image data with the data selection processing function (not shown) starts from either the viewpoint area of the left and right eyes in the moving direction , 1st adjacent, 2nd adjacent,..., (N-2) adjacent viewpoints.
すなわち、上記視点数Nが4以上(N≧4)である場合に画像生成処理部30は、観察者の左右の眼の何れもが位置していない視点領域として、当該観察者が移動直前に位置する視点領域を起点とした第1番目乃至第(N−2)番目の隣接視点領域を、画像データ選定処理機能にて選択するという構成を採っている。
That is, when the number of viewpoints N is 4 or more (N ≧ 4), the image
また、これまでの説明では、各視点領域に対して1つの画像データを用いた例を示したが、これに限定されるものではなく、各視点領域に対して2つ以上の画像データを用いることも可能である。
そこで、一例として、2視点の立体画像表示パネルに対して、各視点領域に4つの画像データを用いた場合を説明する。
Moreover, although the example which used one image data with respect to each viewpoint area was shown in the above description, it is not limited to this, Two or more image data are used for each viewpoint area It is also possible.
Therefore, as an example, a case in which four image data are used for each viewpoint region will be described with respect to a two-viewpoint stereoscopic image display panel.
ここでは、図6,図9,図14,及び図9(c)を拡大した図である図10を参照し、まず、観察者100の位置が図9(c)の場合について説明する。
Here, with reference to FIG. 10 which is an enlarged view of FIG. 6, FIG. 9, FIG. 14 and FIG. 9 (c), first, the case where the position of the
図9(c)の拡大図である図10には、左眼が位置する第1視点領域51aをx方向に4分割し、第1視点領域サブ領域として51aa,51ab,51ac,51adを設けた状態を示す。
−xから+xの方向(x軸のプラス方向)に向けて観察者100の左眼が移動する位置に応じて、図14に示す画像データB1,B2,B3,B4の中から1つの画像データを上記各第1視点領域サブ領域に表示させる。
具体的には、観察者100の左眼が、51aaに位置する場合は画像データB1を、51abに位置する場合は画像データB2を、51acに位置する場合は画像データB3を、51adに位置する場合は画像データB4を表示させる。
In FIG. 10, which is an enlarged view of FIG. 9C, the
One image data from among the image data B1, B2, B3 and B4 shown in FIG. 14 according to the position at which the left eye of the
Specifically, the image data B1 is positioned when the left eye of the
同様に、右眼が位置する第2視点用画像をx方向に4分割し(図示せず)、−xから+xの方向に向けて観察者100の右眼が移動する位置に応じて、図14に示す画像データB5,B6,B7,B8の中から1つの画像データを各第2視点領域サブ領域(図示せず)に表示させる。
Similarly, the second viewpoint image in which the right eye is located is divided into four in the x direction (not shown), and the figure according to the position at which the right eye of the
これらの画像データB1〜B8は、図1に示す画像生成部30で生成されると共に、3Dデータとして画像生成部30が表示パネル駆動回路21へと出力するように構成されている。
These image data B1 to B8 are generated by the
次に、観察者100の位置が図9(b)に移動した場合では、上記した図9(c)の場合と同様に、左眼が位置する第2視点用領域51bの各サブ領域(図示せず)に対して図14に示す画像データB5,B6,B7,B8が、右眼が位置する第1視点用領域50aの各サブ領域(図示せず)に対して図14に示す画像データB9,B10,B11,B12(B10以降は図示せず)が、それぞれ表示されるという構成を採る。
Next, when the position of the
更に、観察者100の位置が図9(a)に移動した場合では、上記した図9(b)の場合と同様に、左眼が位置する第1視点用領域50aの各サブ領域(図示せず)に対して図14に示す画像データB9,B10,B11,B12(B10以降は図示せず)が、右眼が位置する第2視点用領域50bの各サブ領域(図示せず)に対して図14に示す画像データB13,B14,B15,B16(図示せず)が、それぞれ表示されるという構成を採る。
Furthermore, when the position of the
このように、各視点領域に4つの画像データを用いる場合は、この4つの画像データを1つの画像データ群(例えば、図14において破線で囲んだ画像データ)として扱うことで、上述した視点数Nが3視点の場合には観察者100の移動方向に応じて画像データ群の切り替えを行い、視点数Nが4視点以上の場合には観察者100の移動方向と移動速度に対応づけて画像データ群の切り替えを行う、という処理内容が実現でき、観察者100の動きに起因して生じる違和感が大きく緩和された立体画像の提示が可能となる。
As described above, when four image data are used for each viewpoint area, the number of viewpoints described above is handled by treating the four image data as one image data group (for example, image data surrounded by a broken line in FIG. 14). When N is three viewpoints, the image data group is switched according to the moving direction of the
また、ここでは、4つの画像データを1つの画像データ群として扱う例を示したが、本第1実施形態にかかる立体画像表示装置1はこれに限定されず、すなわち、第1視点から第4視点領域の各視点領域を4分割したものを見かけ上の視点領域とし、この見かけ上の視点領域に適宜表示する画像データを、観察者100の移動方向と移動速度に対応づけて選定すると共に切り替えるといった構成を採ってもよい。このようにすれば、観察者の動きに対して、更に違和感を大きく緩和する立体画像の提示が可能となる。
Furthermore, although an example in which four image data are treated as one image data group is shown here, the stereoscopic
各視点領域に対する画像データ数を大きくすればするほど、非常に滑らかな運動視差を得ることができる。画像データ数を大きくした場合は、これに応じて、表示コントローラ24内のデータ蓄積部32とメモリ33の容量を大きくし、演算器31の処理能力を高速化することが望ましい。
The more smooth the motion parallax can be obtained as the number of image data for each viewpoint area is increased. When the number of image data is increased, it is desirable to increase the capacity of the
例えば2視点の立体画像表示パネルで各視点領域に20の画像データを用いた場合は、メインローブとその両側のみのサイドローブを考慮したとしても、120視点の立体画像表示パネルに相当する運動視差を得ることができる。 For example, when 20 image data are used for each viewpoint area in a stereoscopic display panel with 2 viewpoints, motion parallax equivalent to a stereoscopic image display panel with 120 viewpoints even if the main lobe and side lobes on both sides thereof are considered. You can get
ここで、120視点の立体画像表示パネルでは、2視点の立体画像表示パネルに対して一般的に3D解像度が1/60となるため、3D画質が極めて低下する。
しかしながら、本第1実施形態にかかる上記構成を採れば、上述した通り、高い3D解像度と滑らかな運動視差との両立が可能となる。
Here, in the stereoscopic display panel with 120 viewpoints, the 3D resolution is generally 1/60 with respect to the stereoscopic display panel with 2 viewpoints, so the 3D image quality is extremely degraded.
However, with the above configuration according to the first embodiment, as described above, it is possible to achieve both high 3D resolution and smooth motion parallax.
(動作説明)
次に、図1乃至図19を参照して説明した立体画像表示装置1の動作内容を、図20に示すフローチャートに基づいて簡潔に説明する。
(Operation explanation)
Next, the operation content of the stereoscopic
まず、観察者位置計測部45が、自身に設けられたカメラを用いて観察者100の位置を計測すると共に、この計測結果を出力する(図20:S101)。
次いで、観察者位置計測部45から取得した計測結果に基づいて相対位置算出部40が、立体画像表示パネル10上に予め設定された基準点(ここでは画像表示中心)に対する左眼101及び右眼102との相対位置を算出すると共に、この算出結果(位置情報)を出力する(図20:S102)。
First, the observer
Next, based on the measurement result acquired from the observer
次に、相対位置算出部40から取得した位置情報に基づいて画像生成処理部30が、3Dデータ及び制御信号を生成し出力する(図20:S103)。
ここで、3視点の立体画像表示パネルを採用した場合の画像生成処理部30は、観察者の移動方向にかかる情報に基づいて、該観察者の次の移動位置を推測すると共に、観察者の両眼の何れもが位置しない視点領域の画像データを、この推測位置に対応づけて生成し表示パネル駆動回路21に出力する(画像データ切替処理機能)(図20:S103)。
また、4視点以上の立体画像表示パネルを採用した場合の画像生成処理部30は、観察者の移動速度にかかる情報に基づいて、観察者の両眼の何れもが位置しない視点領域の画像データを予め生成し表示パネル駆動回路21に出力する(画像データ選定処理機能)(図20:S103)。
Next, the image
Here, the image
Further, the image
続いて、画像生成処理部30から取得した3Dデータに基づいて表示パネル駆動回路21が表示パネルを駆動させ、画像生成処理部30からの制御信号に従って画像振分制御回路22が光線分離手段12の動作を制御する(図20:S104)。
Subsequently, the display
上記各ステップS101〜S104(図20)における各工程の実行内容をプログラム化すると共に、この一連の各制御プログラムをコンピュータによって実現するように構成してもよい。 The contents of execution of each step in the steps S101 to S104 (FIG. 20) may be programmed, and the series of control programs may be realized by a computer.
(第1実施形態の効果等)
本第1実施形態では、デバイス構成で決定される視点数を拡張するための構成を採用したため、これにより、解像度を低下させることなく運動視差を付与することができる。
また、観察者の移動方向や移動速度に応じた画像制御を行う立体画像表示装置によれば、より違和感のない立体画像を提供することが可能となる。
さらに、少ない視点数の立体画像表示パネルを採用した場合でも、上述した通り、複数の視点用画像を用いた画像切替処理を適宜行うことができるため、高解像度で滑らかな運動視差をもつ立体画像を投影することが可能となる。
(Effects and the like of the first embodiment)
In the first embodiment, the configuration for expanding the number of viewpoints determined in the device configuration is adopted, whereby motion parallax can be provided without lowering the resolution.
Further, according to the stereoscopic image display device that performs image control according to the moving direction or moving speed of the observer, it is possible to provide a stereoscopic image that is more comfortable.
Furthermore, even in the case where a stereoscopic image display panel with a small number of viewpoints is adopted, as described above, image switching processing using a plurality of viewpoint images can be appropriately performed, so a stereoscopic image with high resolution and smooth motion parallax It is possible to project
また、観察者位置計測部45からの計測結果をもとに相対位置算出部40が観察者の両眼各々の相対位置を算出し、この算出結果に基づいて画像生成処理部30が有意な画像及び制御信号を生成し出力するという構成を採ったことから、本第1実施形態における立体画像表示装置は、観察者の位置に対応した有意な視差画像を生成して表示することができる。
Further, the relative
〔第2実施形態〕
本発明にかかる画像表示装置の第2実施形態を、図21乃至図26に基づいて説明する。前述した第1実施形態と同等の構成部材等については、同一の符号を用いるものとする。
Second Embodiment
A second embodiment of the image display device according to the present invention will be described based on FIG. 21 to FIG. The same reference numerals are used for constituent members equivalent to those in the first embodiment described above.
まず、図21に、本第2実施形態における2視点の立体画像表示パネル10による光線分離の状態を示す。これも前述した図5等と同様に、y軸の正方向から見た場合のzx平面の断面図である(図1参照)。
First, FIG. 21 shows a state of light beam separation by the two-viewpoint stereoscopic
ここで、観察者の両眼間隔をdとし(一般的にはd=65mm)、第1視点領域とこれに隣接する第2視点領域との視点ピッチをeとした場合、一般的に、2視点の立体画像表示パネルにて所定の立体視域を確保するためには、「d≦e」の関係が必要であるとされ、かかる前提のもとに各部材が構成されている。 Here, if the inter-eye distance of the observer is d (generally, d = 65 mm) and the visual point pitch between the first visual point area and the second visual point area adjacent thereto is e, generally, 2 In order to secure a predetermined stereoscopic viewing area in the stereoscopic image display panel of the viewpoint, it is considered that a relationship of “d ≦ e” is necessary, and each member is configured based on such a premise.
しかし、ここでの2視点の立体画像表示パネル10は、図21に示す通り、観察者の両眼間隔をdと、第1視点領域50aとこれに隣接する第2視点領域50b又は51bとの視点ピッチeとの関係が、「d>e」となるように構成した点に特徴を有する。他の構成内容については、前述の第1実施形態における図9(a)の状態と同様である。
However, as shown in FIG. 21, the two-viewpoint stereoscopic
視点ピッチを3Dクロストークの観点から説明するため、図22に、表示面の中心部分の3Dクロストーク特性を示す。ここでは、横軸が最適視認距離(OD:図5参照)におけるx軸方向、縦軸が3Dクロストークの値(3Dクロストーク値)である。
本第2実施形態では、横軸をx軸の大きさ(x軸方向の距離)としているが、この3Dクロストーク特性にかかる横軸は、最適視認距離に対するx軸の大きさの正接で算出した視野角角度として示すように構成してもよい。
In order to explain the viewpoint pitch from the viewpoint of 3D crosstalk, FIG. 22 shows 3D crosstalk characteristics of the central portion of the display surface. Here, the horizontal axis is the x-axis direction at the optimum viewing distance (OD: see FIG. 5), and the vertical axis is the 3D crosstalk value (3D crosstalk value).
In the second embodiment, the horizontal axis is the size of the x axis (the distance in the x axis direction), but the horizontal axis of the 3D crosstalk characteristic is calculated by the tangent of the size of the x axis to the optimum viewing distance. It may be configured to be shown as an angle of view angle.
3Dクロストークは、左右各眼に対する反対の眼の画像の漏れ込み量として定義される。したがって、3Dクロストークが100%の状態とは、左眼用画像と右眼用画像が、ちょうど1:1の比率で混入した状態のことである。また、視点ピッチと、3Dクロストークが100%となる地点間のx軸範囲とは等価であるため、図22においては同一の符号「e」を用いて示した。 3D crosstalk is defined as the amount of penetration of the image of the opposite eye to the left and right eyes. Therefore, the state in which 3D crosstalk is 100% is a state in which the image for the left eye and the image for the right eye are mixed at a ratio of exactly 1: 1. In addition, since the viewpoint pitch and the x-axis range between points at which 3D crosstalk is 100% are equivalent, they are shown in FIG. 22 using the same symbol “e”.
この3Dクロストークの値が大きくなると、立体感が失われ、観察者に対しては、目の疲労やその他の好ましくない影響を与えるおそれがあるため、クロストークの値(クロストーク量)を予め設定された基準値CT1以下とすることが望ましい。この基準値CT1は、一般的に10%以下に設定され、更に5%以下に設定すると、より有効に上記問題を軽減し得る。 If the value of this 3D crosstalk becomes large, the stereoscopic effect is lost, and there is a possibility that eye fatigue and other undesirable effects may be given to the observer. Therefore, the crosstalk value (cross talk amount) It is desirable to set the reference value CT1 or less. The reference value CT1 is generally set to 10% or less, and further to 5% or less, the problem can be alleviated more effectively.
また、図22では、基準値CT1で規定される視野範囲のうち、低3Dクロストーク範囲をf,高3Dクロストーク範囲をcとして、その一部を示した。
観察者の左右の眼が低3Dクロストーク範囲fに入っていれば、観察者100は良好な立体画像を視認することができる。
Further, FIG. 22 shows a part of a low 3D crosstalk range as f and a high 3D crosstalk range as c in the visual field range defined by the reference value CT1.
If the left and right eyes of the observer are in the low 3D crosstalk range f, the
実線で示した70aと72aは、図21で示した第1視点領域50aと52aにそれぞれ相当し、破線で示した70bと71bは、図21で示した第2視点領域50bと51bにそれぞれ相当する。
The
両眼間隔dの大きさが視点ピッチ(e+f)の大きさを越えるような場合には、観察者100は立体画像を視認することができず、いわゆる立体視域は存在しないことになる。したがって、本第2実施形態では「(e+f)>d>e」の関係を満たすように構成されている。
When the size of the inter-eye distance d exceeds the size of the viewpoint pitch (e + f), the
図23では、観察者が、図22に示す状態にある(A)の状態からx軸方向のマイナス側に移動した場合、すなわち、(A)の状態から(B),(C),(D)に示す各状態の順に移動した場合において、該観察者の左右の眼が位置する視点領域(クロストーク領域も含む)を示す。
また、図24は、観察者の左右の眼が位置する視点領域と、第1視点領域及び第2視点領域の画像データとの対応関係を示す。ここでは、図7に示した画像データを使用した例を示す。
In FIG. 23, when the observer moves from the state of (A) in the state shown in FIG. 22 to the minus side in the x-axis direction, that is, from the state of (A), (B), (C), (D). When moving in order of each state shown to), the viewpoint area | region (a crosstalk area is also included) in which the eyes of the said observer are located is shown.
Further, FIG. 24 shows the correspondence between the viewpoint area where the left and right eyes of the observer are located, and the image data of the first viewpoint area and the second viewpoint area. Here, an example using the image data shown in FIG. 7 is shown.
さらに、比較例として、「d<e」の関係を有する立体画像表示パネルを用いた場合における、上記同様の対応関係等を、図25及び図26に示す。 Furthermore, as a comparative example, FIG. 25 and FIG. 26 show the same correspondence and the like as described above in the case where a stereoscopic image display panel having a relationship of “d <e” is used.
図21、又は図24及び図26の画像データの欄(括弧内)に示した「2」,「3」,「4」は、それぞれ第2視点用画像60b,第3視点用画像60c,第4視点用画像60dに対応する。また、図24及び図26の視点領域の欄(括弧内)には、観察者の両眼それぞれが位置する範囲を示す(低3Dクロストーク範囲:f,高3Dクロストーク範囲:c)。
“2”, “3” and “4” shown in the column (in parentheses) of the image data of FIG. 21 or FIGS. 24 and 26 are the
ここで、図23と図25とを比較すると、観察者の位置が(A)又は(D)の場合では、その左右の眼の両方が低3Dクロストーク領域に入る状態にあり、観察者の位置が(B)又は(C)の場合では、その左右の眼の一方が低3Dクロストーク領域に入り、他方が高3Dクロストーク領域に入る状態にあるという点で一致する。 Here, when FIG. 23 and FIG. 25 are compared, in the case where the position of the observer is (A) or (D), both the right and left eyes are in the low 3D crosstalk area, and the observer's When the position is (B) or (C), they coincide in that one of the left and right eyes is in the low 3D crosstalk area and the other is in the high 3D crosstalk area.
しかし、観察者が(A)から(B)に移動するときに、本第2実施形態のような「d>e」の場合(図23)は、高3Dクロストーク領域が左眼から発生するのに対し、比較例のような「d<e」の場合(図25)は、高3Dクロストーク領域が右眼から発生するという点が異なっている。
これは、観察者が(B)から(C)に移動する場合についても同様である。
However, when the observer moves from (A) to (B), in the case of “d> e” as in the second embodiment (FIG. 23), a high 3D crosstalk region is generated from the left eye On the other hand, the case of “d <e” as in the comparative example (FIG. 25) is different in that the high 3D crosstalk area is generated from the right eye.
The same applies to the case where the observer moves from (B) to (C).
(B)又は(C)の場合において、第1視点領域及び第2視点領域に投影される画像データは、観察者の移動前の状態をベースに、移動後における観察者の左右の眼のどちらが低3Dクロストーク領域fに存在するかによって決定される。すなわち、こうした状態において表示コントローラ24は、低3Dクロストーク領域fに位置する方の眼の知覚を優先して画像データを選定するように構成されている(画像データ優先選定機能)。 In the case of (B) or (C), the image data projected to the first viewpoint area and the second viewpoint area is based on the state before the movement of the observer, which of the left and right eyes of the observer after the movement is It is determined by whether it exists in the low 3D crosstalk region f. That is, in such a state, the display controller 24 is configured to select image data with priority given to the perception of the eye located in the low 3D crosstalk region f (image data priority selection function).
例えば、図24に示すように、(A)の場合は、左眼が第1視点領域である70aに存在し、右眼が第2視点領域である70bに存在し、画像データとしては、第1視点領域には第3視点用画像である60c、第2視点領域には第4視点用画像である60dが投影されている。
For example, as shown in FIG. 24, in the case of (A), the left eye is present in the
この状態から観察者が(B)の状態に移動すると、左眼が第1視点領域70aと第2視点領域71bとが混在した高3Dクロストーク領域cに存在し、右眼が第2視点領域である70bに存在することとなる。この場合、上述の通り右眼の知覚が優先されるため、表示コントローラ24は、第2視点領域には(A)の状態と同じ第4視点用画像である60dを用い、第1視点用領域にも(A)の状態と同じ第3視点用画像60cを用いるという構成を採る。
When the observer moves from this state to the state (B), the left eye exists in the high 3D crosstalk area c in which the
次に、観察者が(B)から(C)に移動すると、左眼が第2視点領域である71bに存在し、右眼が第1視点領域70aと第2視点領域70bとが混在した高3Dクロストーク領域cに存在することとなる。この場合、上記同様に左眼の知覚が優先されるため、表示コントローラ24にて、第2視点領域に用いる画像は(B)の状態とは異なる第2視点用画像60bに切り替えられ、第1視点領域にはそのまま第3視点用画像60cが用いられるという構成となる。
ここでの第2視点用画像の切替処理は、観察者のx軸マイナス方向への移動を考慮したものであり、すなわち、観察者が(D)の状態に至った場合に、第1視点領域にて維持された第3視点用画像60cとの間で立体視域を形成するため(逆視状態とならないため)の処理である。
Next, when the observer moves from (B) to (C), the height at which the left eye exists in the
Here, the switching process of the second viewpoint image takes into consideration the movement of the observer in the negative x-axis direction, that is, when the observer reaches the state of (D), the first viewpoint area It is a process for forming a stereoscopic vision area with the
これにより、観察者が(C)から(D)に移動して、左眼が第2視点領域である71bに,右眼が第1視点領域70aに存在するという状態となった場合に、(C)の状態と同じ視点用画像を第1視点領域及び第2視点領域の双方においてそのまま用いることができる。
すなわち、本第2実施形態では、観察者が(A)から(D)へと移動する間に、画像データの切り替えを、第2視点領域において1回だけ行うように構成されている。
Thus, when the observer moves from (C) to (D) and the left eye is in the
That is, in the second embodiment, switching of the image data is performed only once in the second viewpoint area while the observer moves from (A) to (D).
図26に示す場合も同様であり、すなわち、観察者が(A)から(B)に移動すると、左眼が第1視点領域である70aに,右眼が第1視点領域70aと第2視点領域71bとが混在した高3Dクロストーク領域cに存在することから、左眼の知覚が優先され、第1視点領域には(A)の状態と同じ第3視点用画像60cを用い、第2視点用領域にも(A)の状態と同じ第4視点用画像60dを用いるという構成を採る。
The same applies to the case shown in FIG. 26. That is, when the observer moves from (A) to (B), the left eye is the
次に、観察者が(B)から(C)に移動すると、左眼が第1視点領域70aと第2視点領域71bが混在した高3Dクロストーク領域cに,右眼が第1視点領域である70aに存在することから、右眼の知覚が優先されるため、第2視点領域に用いる画像が第2視点用画像60bに切り替えられ、第1視点領域にはそのまま第3視点用画像60cが用いられるという、観察者のx軸マイナス方向への移動を考慮した切替処理が実行される。
Next, when the observer moves from (B) to (C), the left eye is in the high 3D crosstalk area c where the
このように、「d>e」(本第2実施形態),「d<e」(比較例)の双方において、観察者が(B)から(C)に移動する際に、何れかの視点領域にて画像データの切り替えが発生するという構成となっている。 Thus, in both of “d> e” (the second embodiment) and “d <e” (comparative example), when the observer moves from (B) to (C), any of the viewpoints Switching of the image data occurs in the area.
ちなみに、「d=e」の場合は、図26における(B)と(C)の状態が混在することとなる。したがって、観察者が(A)の状態からこの状態に移動すると、その左右の眼が何れも高3Dクロストーク領域に存在することとなり、そこから更に移動すると、(D)の状態に直接遷移する。
すなわち、この(B)+(C)の状態においては、左右の眼のいずれもが低3Dクロストーク領域に入らないことから、一瞬違和感のある画像が入力されることになるため、「d=e」の関係となる構成を採った立体画像表示パネルを採用することは好適とは言えない。
Incidentally, in the case of “d = e”, the states of (B) and (C) in FIG. 26 are mixed. Therefore, when the observer moves from the state of (A) to this state, the left and right eyes are both present in the high 3D crosstalk area, and when further moving from there, the state directly transitions to the state of (D) .
That is, in the state of (B) + (C), since neither the left nor right eye enters the low 3D crosstalk area, an image having a sense of incongruity is input for a moment, so “d = It can not be said that it is preferable to adopt a stereoscopic image display panel that adopts a configuration that has the relationship of e).
このように本第2実施形態の構成を採用すれば、「d>e」の状態においても、「d<e」の場合と同じように画像切替処理を行うことが可能となり、その結果、x軸の視認範囲の大きさが一定の場合、より多くの視点用領域を設けることができ、滑らかな運動視差を提示することが可能となる。 As described above, if the configuration of the second embodiment is adopted, it is possible to perform the image switching process as in the case of “d <e” even in the state of “d> e”, and as a result, x When the size of the visual recognition range of the axis is constant, more viewpoint areas can be provided, and smooth motion parallax can be presented.
(第2実施形態の効果等)
本第2実施形態では、低3Dクロストーク範囲f及び高3Dクロストーク範囲cの存在を踏まえた上で、隣接する視点領域間における視点ピッチeが観察者の両眼間隔dよりも小さくなるように立体画像表示パネルを構成した。すなわち、ここでは、小さな視点ピッチを用いての有意な画像分離が実現できたため、これにより、2視点でありながらも滑らかな運動視差を提示することが可能となった。
その他の構成及び動作については、前述した第1実施形態と同様であり、他に生じる作用効果も同様である。特に、各視点領域に対して2つ以上の画像データを用いる場合は、より滑らかな運動視差を可能とする。
(Effects of the second embodiment, etc.)
In the second embodiment, in consideration of the presence of the low 3D crosstalk range f and the high 3D crosstalk range c, the viewpoint pitch e between adjacent viewpoint regions is smaller than the binocular distance d of the observer The 3D image display panel was constructed. That is, here, since significant image separation was realized using a small viewpoint pitch, it was possible to present smooth motion parallax even with two viewpoints.
The other configuration and operation are the same as those of the first embodiment described above, and the same effects as those of the other effects are obtained. In particular, when two or more image data are used for each viewpoint area, smoother motion parallax is enabled.
〔第3実施形態〕
本発明にかかる画像表示装置の第3実施形態を、図27及び図29に基づいて説明する。本第3実施形態では、3視点以上の立体画像表示パネルに対して、視点数をN(Nは2以上の自然数)、各視点ピッチをe、観察者の両眼間隔をdとした場合に、「e×(N−2)≦d≦e×(N−1)」の関係が成立するという構成を採った点に特徴を有する。ここで、前述した第1実施形態と同等の構成部材等については、同一の符号を用いるものとする。
Third Embodiment
A third embodiment of the image display device according to the present invention will be described based on FIG. 27 and FIG. In the third embodiment, the number of viewpoints is N (N is a natural number of 2 or more), the viewpoint pitch is e, and the binocular distance of the observer is d for a stereoscopic image display panel having three or more viewpoints. It has the feature in having adopted the composition that the relation of "ex (N-2) <= d <= ex (N-1)" is materialized. Here, about the structural member equivalent to 1st Embodiment mentioned above, the same code | symbol shall be used.
まず、図27に、本発明の第3実施形態にかかる一例として、4視点の立体画像表示パネル10による光線分離の状態を示す。
First, FIG. 27 shows a state of light beam separation by the four-viewpoint stereoscopic
この図27に示すように、立体画像表示パネル10の表示面側には、第1視点領域50a,51a,52a,・・、第2視点領域50b,51b,52b,・・、第3視点領域50c,51c,52c,・・、及び第4視点領域50d,51d,52d,・・から成る4視点分の画像データを出力する領域が存在している。
また、メインローブ90は50a,50b,50c,50dから構成され、サイドローブ91は51a,51b,51c,51dから、サイドローブ92は52a,52b,52c,52dからそれぞれ構成されている。
観察者の左眼がサイドローブ91に存在し、かつ右眼がメインローブ90に存在する場合は、第1実施形態における説明と同様に逆視領域となる。
As shown in FIG. 27, on the display surface side of the stereoscopic
The
When the left eye of the observer is present in the
上記「e×(N−2)≦d≦e×(N−1)」の関係を、この図27に例示する4視点(N=4)の場合でいえば、「2e≦d≦3e」の関係が成り立つこととなる。 In the case of the four viewpoints (N = 4) illustrated in FIG. 27, the relationship “e × (N−2) ≦ d ≦ e × (N−1)” is “2e ≦ d ≦ 3e”. The relationship between
次いで、図28に、観察者の位置と各視点領域の関係を示し、ここでは観察者が位置112aから位置112dへと移動する場合について説明する。
まず、観察者が位置112aに在る場合は、観察者の左眼は第1視点領域50aに存在し、観察者の右眼は、上述した「e×(N−2)≦d≦e×(N−1)」の関係により、第3視点領域50cもしくは第4視点領域50dに存在している。
ここでの各視点に入力される画像データとしては、前述した第1実施形態にて参照した図14に示す画像データを採用する。
Next, FIG. 28 shows the relationship between the position of the observer and each viewpoint area. Here, the case where the observer moves from the
First, when the observer is at the
As the image data input to each viewpoint here, the image data shown in FIG. 14 referred to in the first embodiment described above is adopted.
図29は、観察者が位置112aから位置112dに向けて順次移動した場合における、観察者の左右の眼が位置する視点領域と、各視点領域に用いる画像データとの対応関係について示した表である。
FIG. 29 is a table showing the correspondence between the viewpoint areas where the left and right eyes of the observer are located and the image data used for each viewpoint area when the observer sequentially moves from the
この図29に示すように、観測者が位置112aに在る(A)の状態では、第1視点領域50aには画像B5が、第2視点領域50bには画像B6が、第3視点領域50cには画像B7が、第4視点領域には画像B8が、それぞれ用いられる。
したがって、この状態においては良好な立体画像が視認可能となっている。
As shown in FIG. 29, in the state (A) where the observer is at the
Therefore, in this state, a good stereoscopic image is visible.
次に、観察者の左眼がサイドローブ91の第4視点領域51dに移動した場合(図29に示す(B)の状態)について考察すると、観察者の右眼は、上記同様、第2視点領域50bもしくは第3視点領域50cに存在している。これは、上述した逆視領域に該当するため、本第3実施形態では、観察者の位置計測情報に基づいて表示コントローラ24が、第4視点領域51dに用いている画像をB8からB4に切り替えるという構成を採っている。かかる切替処理を採用したことで、この場所に位置する観察者に対しても良好な立体画像を提供することができる。
Next, considering the case where the left eye of the observer moves to the
同様に、観察者の左眼がサイドローブ91の第3視点領域51cに移動した場合(図29に示す(C)の状態)について考察すると、観察者の右眼は、第1視点領域50aもしくは第2視点領域50bに存在し、逆視領域に該当する。このため、観察者の位置計測情報に基づいて表示コントローラ24が、第3視点領域51cに用いている画像をB7からB3に切り替えるという構成を採っている。これにより、当該位置に存在する観察者に対しても、良好な立体画像を提供することができる。
Similarly, considering the case where the left eye of the observer moves to the
観察者の左眼がサイドローブ91の第2視点領域51bに移動した場合(図29に示す(D)の状態)についても同様に考察すると、観察者の右眼は、第4視点領域51d又は第1視点領域50aに存在し、この領域はサイドローブ91又は逆視領域に該当する。かかる場合においても、観察者に良好な立体画像を視認させるために表示コントローラ24が、位置計測情報をもとに第2視点領域51bに用いている画像をB6からB2に切り替えるように構成する。
Similarly considering the case where the left eye of the observer moves to the
このように、観察者の位置計測情報に基づいた画像切替処理を行う構成を採用すれば、少ない視点数の多視点型立体画像表示装置においても、解像度低下を抑制し、滑らかな運動視差を得ることができる。 As described above, by adopting the configuration that performs the image switching process based on the position measurement information of the observer, the reduction in resolution is suppressed and the smooth motion parallax is obtained even in a multi-viewpoint stereoscopic image display device with a small number of viewpoints. be able to.
(第3実施形態の効果等)
本第3実施形態における立体画像表示装置によれば、上述の通り、少ない視点数の多視点型立体画像表示装置においても、解像度低下を抑制することができ、滑らかな運動視差を提示することが可能となる。
その他の構成及び動作については、第1実施形態で示したものと同様であり、他に生じる作用効果も同様である。特に、各視点領域に対して2つ以上の画像データを用いる場合は、より滑らかな運動視差を可能とする。
(Effects of the third embodiment, etc.)
According to the stereoscopic image display device in the third embodiment, as described above, even in the multi-viewpoint stereoscopic image display device with a small number of viewpoints, the reduction in resolution can be suppressed, and smooth motion parallax can be presented. It becomes possible.
The other configurations and operations are the same as those described in the first embodiment, and the same effects are also obtained. In particular, when two or more image data are used for each viewpoint area, smoother motion parallax is enabled.
〔第4実施形態〕
本発明における立体画像表示装置の第4実施形態を、図30乃至図43に基づいて説明する。前述した第1乃至第3実施形態では、1方向の観察方向に対して光学的に画像を分離して観察者に視差画像を投影するという例を示したが、本第4実施形態では、2方向の観察方向に対して光学的に画像を分離して視差画像を観察者に投影するという構成を採用した。
ここで、前述した第1実施形態と同等の構成部材等については、同一の符号を用いるものとする。
Fourth Embodiment
A fourth embodiment of the stereoscopic image display device in the present invention will be described based on FIG. 30 to FIG. In the first to third embodiments described above, an example is shown in which the image is optically separated in the observation direction of one direction and the parallax image is projected to the observer. However, in the fourth embodiment, 2 A configuration is adopted in which the image is optically separated with respect to the viewing direction of the direction and the parallax image is projected to the observer.
Here, about the structural member equivalent to 1st Embodiment mentioned above, the same code | symbol shall be used.
(全体的構成)
図30に、本第4実施形態における立体画像表示パネル210の構成図を例示する。
この立体画像表示パネル210は、画素(図示せず)がマトリクス状に配列された表示パネル211と、この表示パネル211の表示面側に設けられ且つ各画素に対応づけられた光線分離手段250と、を有している。
(Overall configuration)
FIG. 30 illustrates a configuration diagram of the stereoscopic
The stereoscopic
立体画像表示パネル210は、x軸方向を水平方向にした第1配置状態と、y軸方向を水平方向にした第2配置状態との2つの状態各々において立体画像表示が可能である。また、ここでの水平方向を、観察者の左眼と右眼とを結ぶ直線に略平行な方向として定義し、以下においても同様とする。
なお、後述する図42に示す表示コントローラ25,立体画像表示パネル210,表示パネル211,及び光線分離手段250の具体例については、前述した第1実施形態において説明した構成内容(表示コントローラ24,立体画像表示パネル10,表示パネル11,及び光線分離手段12)と同様である。
The stereoscopic
The specifics of the display controller 25, the stereoscopic
図31に、表示パネルに設けられた画素221と光線分離手段(レンズアレイ)250を構成するレンズアレイ素子251との配置関係を例示する。
FIG. 31 illustrates the positional relationship between the
図31(a)に示す通り、4×4のサブ画素から成る画素221は、赤のサブ画素234,青のサブ画素235,緑のサブ画素236,及び白のサブ画素237の4原色により構成されている。
また、1つの画素221の中に具備された4×4のサブ画素においては、x軸方向とy軸方向の双方において各原色が重ならないように配列されている。
As shown in FIG. 31A, the
Further, in 4 × 4 sub-pixels provided in one
ここでは、赤のサブ画素234としてのR1,R2,R3,R4、青のサブ画素235としてのB1,B2,B3,B4、緑のサブ画素236としてのG1,G2,G3,G4、白のサブ画素237としてのW1,W2,W3,W4を、図31(a)のように配列することで、各原色が重ならないように構成している。
Here, R1, R2, R3, R4 as the
図31(b)では、図31(a)に示した画素221をマトリクス状に配列した状態を示し、レンズアレイ250を構成する各レンズアレイ素子251は、各画素221に対応する位置に配置されている。このため、立体画像表示パネル210は、x軸方向とy軸方向の双方について4視点の方向に光を振り分けることができる。
各画素221及びレンズアレイ素子251は、x軸方向とy軸方向に対してそれぞれ平行かつ同一ピッチで配列された構成となっている。
31B shows a state in which the
The
ここで、図31に示した本第4実施形態にかかるサブ画素と画素との構成を、自然数M及びこのMの倍数であるN(2以上の自然数)を用いて一般的に表記すると、以下のようになる。
M原色からなるサブ画素を用いた場合に、各画素を構成するサブ画素数はNの二乗(N視点×N視点)であり、かつNをMで除した余りは0となる。また、各画素内では、2つの光線分離方向に対する隣接サブ画素は同色でない。さらに、各画素内において、2つの光線分離方向に対する同色サブ画素の存在確率は、M原色間でいずれも同じである。
加えて、サブ画素の2つの光線分離方向に対する配列ピッチは等しい。
Here, when the configurations of the sub-pixels and the pixels according to the fourth embodiment shown in FIG. 31 are generally described using a natural number M and N (a natural number of 2 or more) that is a multiple of this M, become that way.
When sub-pixels made of M primary colors are used, the number of sub-pixels constituting each pixel is N square (N viewpoint × N viewpoint), and the remainder obtained by dividing N by M is zero. Further, in each pixel, adjacent sub-pixels in the two beam separation directions are not the same color. Furthermore, in each pixel, the existence probabilities of the same color sub-pixels in the two beam separation directions are all the same among the M primary colors.
In addition, the arrangement pitches of the sub-pixels with respect to the two beam separation directions are equal.
図31では、1つの画素を4×4のサブ画素にて構成した例を示したが、これに限定されるものではなく、例えば3×3のサブ画素にて構成した画素をマトリクス状に配列した表示パネル等も、同様に適用することができる。
また、4×4のサブ画素については、RGBW(赤・緑・青・白)の原色を用いて説明したが、これらに限定されるものではなく、例えば、RGBWに代えて(赤・緑・青・黄)やCMYW(シアン・マゼンタ・イエロー・ホワイト)等を採用するようにしてもよい。他に、蛍光色やパール色や干渉色を、原色として用いることも可能である。
Although FIG. 31 shows an example in which one pixel is configured by 4 × 4 sub-pixels, the present invention is not limited to this. For example, pixels configured by 3 × 3 sub-pixels are arrayed in a matrix The same display panel can be applied as well.
The 4 × 4 sub-pixels have been described using the RGBW (red, green, blue, white) primary colors, but the present invention is not limited thereto. For example, instead of RGBW (red, green, Blue, yellow, CMYW (cyan, magenta, yellow, white) or the like may be adopted. Besides, it is also possible to use fluorescent color, pearl color and interference color as primary colors.
図31(a)で示した4原色からなる4×4サブ画素構成においては、前述の第1実施形態にて参照した図14に示す画像データを用いることができる。 In the 4 × 4 sub-pixel configuration of four primary colors shown in FIG. 31A, the image data shown in FIG. 14 referred to in the first embodiment can be used.
次いで、第1配置状態におけるサブ画素構成を示す図32を参照して、入力画像とサブ画素との関係を説明する。
ここでは、図31で示した画素221を、サブ画素W4,G4,B4,R4を配置したサブ画素群241と、サブ画素B3,R3,G3,W3を配置したサブ画素群242と、サブ画素G2,W2,R2,B2を配置したサブ画素群243と、サブ画素R1,B1,W1,G1を配置したサブ画素群244とから成る構成として機能させる。
Next, the relationship between the input image and the sub-pixels will be described with reference to FIG. 32 showing the sub-pixel configuration in the first arrangement state.
Here, the
すなわち、図14に示すような入力画像を用いる場合、最初に、サブ画素群241には第5視点用画像B5,サブ画素群242には第6視点用画像B6,サブ画素群243には第7視点用画像B7,サブ画素群244には第8視点用画像B8にそれぞれ対応した信号が入力される。
その際、サブ画素群241乃至244は何れも4原色から構成されているため、画素内における各視点用画像間の表示色数差が生じないという効果を得ることができる。
That is, when an input image as shown in FIG. 14 is used, first, the fifth viewpoint image B5 for the
At that time, since each of the
続いて、図32に示す第1配置状態から90°右回転させた第2配置状態におけるサブ画素構成にかかる図33を参照して、各視点用画像とサブ画素との関係を説明する。
この図33においても、図32の場合と同様、サブ画素群245には第5視点用画像B5,サブ画素群246には第6視点用画像B6,サブ画素群247には第7視点用画像B7,サブ画素群248には第8視点用画像B8にそれぞれ対応した信号が入力される。
Subsequently, the relationship between each viewpoint image and the sub-pixels will be described with reference to FIG. 33 according to the sub-pixel configuration in the second arrangement state rotated clockwise by 90 ° from the first arrangement state shown in FIG.
Also in FIG. 33, similarly to the case of FIG. 32, the fifth viewpoint image B5 is for the
このように、各画素内ではx軸方向とy軸方向とに同数の視差画像(視点用画像)が生成され、各視点用画像内では配色の異なるサブ画素の数が等しいといった特徴を有するため、これにより、第1配置状態と第2配置状態の何れの状態においても、同等に且つ有意な立体視を実現することができる。
また、かかる構成によれば、視点数に関わらず、第1配置状態と第2配置状態の3D解像度を同一にすることが可能となる。
As described above, the same number of parallax images (viewpoint images) are generated in each pixel in the x-axis direction and the y-axis direction, and the number of sub-pixels having different color arrangements is equal in each viewpoint image. Thus, in both the first arrangement state and the second arrangement state, equivalent and significant stereoscopic vision can be realized.
Moreover, according to such a configuration, it is possible to make the 3D resolutions of the first arrangement state and the second arrangement state the same regardless of the number of viewpoints.
さらに、上述した一般的表記のように、視点数NがM色の倍数であるため、色モアレの発生を抑止することができる。ここで「色モアレ」とは、その配置方向では観察者が視野角を振った時に各色のムラが知覚されることであり、「色モアレ」が発生すると表示品位が大きく低下する。 Furthermore, as in the above-described general notation, the number of viewpoints N is a multiple of M, so that occurrence of color moiré can be suppressed. Here, "color moiré" means that unevenness of each color is perceived when the observer shakes the viewing angle in the arrangement direction, and when "color moiré" occurs, the display quality is greatly reduced.
光線分離手段250としては、スタティックな光学素子やアクティブな光学素子のいずれも用いることができるが、x軸とy軸の方向に光線分離が可能な液晶レンズ素子や液晶バリア素子などのアクティブな光学素子が好適である。 As the light beam separating means 250, either a static optical element or an active optical element can be used, but active light such as a liquid crystal lens element or a liquid crystal barrier element capable of separating light in the x-axis and y-axis directions Devices are preferred.
ところで、図34に示すように、図32に示したサブ画素群の構成例に対して、各レンズアレイ素子251が、光線分離方向であるx軸方向(zx平面における各方向)のみを光線分離し、これに直交する方向であるy軸方向(yz平面における各方向)を光線分離しないという構成を採ることにより、分離角に依存することなく色ワレを回避することができる。なお、この図34に示す状態は、前述の第1配置状態に相当する。
By the way, as shown in FIG. 34, with respect to the configuration example of the sub-pixel group shown in FIG. 32, each
ここで、x軸方向に光線分離された各領域は次の通りである。すなわち、50a,51a(図示せず),52aはサブ画素群241に対応した第1視点領域、50b,51b(図示せず),52bはサブ画素群242に対応した第2視点領域、50c,51c,52c(図示せず)はサブ画素群243に対応した第3視点領域、50d,51d,52d(図示せず)はサブ画素群244に対応した第4視点領域となっている。
Here, the respective regions separated in the x-axis direction are as follows. That is, 50a, 51a (not shown), 52a is a first viewpoint area corresponding to the
加えて、メインローブは50a,50b,50c,50dで構成され、51a,51b,51c,51dの組合せもしくは52a,52b,52c,52dの組合せはサイドローブに相当する。y軸方向に示された光線59a,59b,59c,59dは、図示の通り分離されていない。
In addition, the main lobe is composed of 50a, 50b, 50c and 50d, and the combination of 51a, 51b, 51c and 51d or the combination of 52a, 52b, 52c and 52d corresponds to a side lobe. The
また、y軸方向を水平方向にした第2配置状態(図33に示すサブ画素群の構成例に対応)においても同様に、y軸方向のみを光線分離し、x軸方向を光線分離しない状態とするように、各レンズアレイ素子251が構成されている。
Similarly, in the second arrangement state (corresponding to the configuration example of the sub-pixel group shown in FIG. 33) in which the y-axis direction is horizontal, only the y-axis direction is separated and the x-axis direction is not separated Each
したがって、本第4実施形態における上記構成によれば、いずれの配置状態においても、分離角に依存することなく色ワレを回避することが可能となり、更に分離角が大きくなるにつれて色モアレが顕在化しやすくなるという不都合を抑制することができる。すなわち、該構成は視認性向上を図るための有効な手段となる。 Therefore, according to the above configuration in the fourth embodiment, it becomes possible to avoid color distortion without depending on the separation angle in any arrangement state, and color moiré becomes more apparent as the separation angle becomes larger. It is possible to suppress the inconvenience of becoming easy. That is, the configuration is an effective means for improving visibility.
次に、観察者が図34の位置113aに在る状態からx軸方向に沿って移動した場合の様子として、図35に、立体画像表示パネル210の表示面の中心部分における3Dクロストーク特性を示す。
Next, FIG. 35 shows the 3D crosstalk characteristic at the central portion of the display surface of the stereoscopic
3Dクロストーク特性にかかる詳細は、前述した第2実施形態における図23等を参照しての説明内容と同様である。また、70aと72aは、図34で示した第1視点領域50aと52aにそれぞれ相当し、70bは図34で示した第2視点領域50bに相当し、70cと71cは、図34で示した第3視点領域50cと51cにそれぞれ相当し、70dと71dは図34で示した第4視点領域50dと51dにそれぞれ相当する。
The details of the 3D crosstalk characteristic are the same as the contents described with reference to FIG. 23 and the like in the second embodiment described above. In addition, 70a and 72a correspond to the
この図35では、前述の図23と同様、横軸に最適視認距離におけるx軸方向をとり、縦軸に3Dクロストークの値をとっている。また、同様に、3Dクロストーク特性にかかる横軸を、最適視認距離に対するx軸の大きさの正接で算出した視野角角度として示すようにしてもよい。 In FIG. 35, as in the case of FIG. 23 described above, the horizontal axis is the x-axis direction at the optimum viewing distance, and the vertical axis is the value of 3D crosstalk. Similarly, the horizontal axis relating to the 3D crosstalk characteristic may be indicated as a viewing angle angle calculated by the tangent of the size of the x axis with respect to the optimum viewing distance.
ここで、図35の(A)〜(D)に示すように、観察者がx軸のマイナス方向へと順次移動した場合における、観察者の左右の眼の位置する視点領域と、第1視点領域から第4視点領域の画像データとの対応関係を、図36に示す。使用する画像データとしては、前述の第1実施形態における図14を採用する。 Here, as shown in (A) to (D) of FIG. 35, when the observer sequentially moves in the negative direction of the x axis, the viewpoint area where the left and right eyes of the observer are located, and the first viewpoint The correspondence between the area and the image data of the fourth viewpoint area is shown in FIG. As image data to be used, FIG. 14 in the above-described first embodiment is adopted.
図36で示すように、観察者が位置113bから位置113cに移動する際に、すなわち観察者がメインローブから逆視領域に入るところで、その際の観察者位置を検出した観測者位置計測部45からの計測結果を受けて、表示コントローラ24が画像データを入れ替えるという構成を採っている。
本第4実施形態では、観察者が(C)の状態に至った際に、4つの視点領域すべての画像データを入れ替えるという処理を採用したため、観察者が(D)の状態を超えて更にx軸のマイナス方向へと移動するような場合でも、次に逆視領域に入るまでは画像データの入れ替えを行う必要がない。
As shown in FIG. 36, when the observer moves from the
In the fourth embodiment, when the observer reaches the state of (C), the process of replacing the image data of all the four viewpoint regions is adopted. Therefore, the observer further exceeds the state of (D) and x Even when moving in the negative direction of the axis, it is not necessary to replace the image data until it enters the reverse vision region next time.
なお、観察者が位置113aから位置113b又は位置113cから位置113dへと移動する際には、図36に示す通り、画像データの入れ替えは行わない構成となっている。
When the observer moves from the
さらに、表示パネルに配列された各画素を、図37に示すようなサブ画素群によって構成すると共に、これを用いて観察者に立体視を知覚させることも可能である。 Furthermore, it is also possible to configure each pixel arranged in the display panel by sub-pixel groups as shown in FIG. 37 and use this to make the observer perceive stereoscopic vision.
図37(a)では、図31に示した画素221が、サブ画素W4,B3,G4,R3を配置したサブ画素群241’と、サブ画素G2,R1,W2,B1を配置したサブ画素群242’と、サブ画素B4,G3,R4,W3を配置したサブ画素群243’と、サブ画素R2,W1,B2,G1を配置したサブ画素群244’とから成り、同様に図37(b)では、サブ画素G2,R1,W2,B1を配置したサブ画素群245’と、サブ画素R2,W1,B2,G1を配置したサブ画素群246’と、サブ画素W4,B3,G4,R3を配置したサブ画素群247’と、サブ画素B4,G3,R4,W3を配置したサブ画素群248’とから成る。
In FIG. 37A, the
すなわち、図37(a)では、第1配置状態における画素221内のサブ画素及びこれに対応するレンズ素子251を示し、図37(b)では、この第1配置状態から90°右回転させてy軸方向を水平方向にした第2配置状態における各構成を示す。
That is, FIG. 37 (a) shows the sub-pixel in the
また、本第4実施形態にて採用した各サブ画素に入力する画像情報の一例を、図38に示す。
この図38において、A1〜A9,B1〜B9,C1〜C9,D1〜D9(横に並んだ各画像)はそれぞれ水平視差の異なる画像であり、例えばA1,B1,C1,D1のように縦に並んだ各画像(ここではアルファベットが異なり数字が同じ符号が付された画像)はそれぞれ垂直視差の異なる画像である。
図38に示す画像データの大きな特徴は、縦に並んだ4つの各視点用画像間(A〜D)におけるサイコロの”1”の面の大きさの違いにある。もっとも、番号1〜9が付された各視点用画像間では、前述の図14等と同様に、サイコロの“5”の面の大きさと“3”の面の大きさとがそれぞれ異なるという構成を採っている。
An example of the image information input to each sub-pixel adopted in the fourth embodiment is shown in FIG.
In FIG. 38, A1 to A9, B1 to B9, C1 to C9, and D1 to D9 (each image arranged horizontally) are images with different horizontal parallaxes, and for example, vertical as in A1, B1, C1 and D1. The respective images (here, images with different alphabets and numbers with the same reference numerals) are images with different vertical parallaxes.
A major feature of the image data shown in FIG. 38 is the difference in the size of the surface of the dice “1” between the four viewpoint images (A to D) arranged vertically. However, between the images for viewpoints given the
図38で示した画像の生成方法は、図8を参照して説明した方法と基本的に同様である。すなわち、画像データの数に応じた各視点用カメラをx軸及びy軸と略平行に配置し、これによって3Dオブジェクトを撮像することで画像生成を行う。 The method of generating the image shown in FIG. 38 is basically the same as the method described with reference to FIG. That is, each viewpoint camera corresponding to the number of image data is disposed substantially parallel to the x axis and the y axis, and an image is generated by imaging a 3D object.
ここで、図37(a)及び図38を参照して、第1配置状態での各視点用画像とサブ画素との関係を説明する。
図38に示したような入力画像を採用した場合、例えば、図37(a)のサブ画素群241’には画像B5,サブ画素群242’には画像B6,サブ画素群243’には画像C5,サブ画素群244’には画像C6に対応した信号がそれぞれ入力される。すなわち、サブ画素群241’,サブ画素群242’,サブ画素群243’,サブ画素群244’の各々に、図38の破線で囲んだ各画像に対応した信号が入力される。
これにより、水平2視差と垂直2視差の計4視差の画像表示が可能となる。その際、サブ画素群241’〜244 ’は何れも、4原色から構成されているため、画素内における各視点用画像間の表示色数差は生じない。
Here, with reference to FIGS. 37A and 38, the relationship between each viewpoint image and the sub-pixels in the first arrangement state will be described.
When an input image as shown in FIG. 38 is adopted, for example, the image B5 is for the
As a result, it is possible to display an image with a total of four parallaxes of horizontal two parallaxes and vertical two parallaxes. At that time, since all of the
次に、図37(b)及び図38を参照して、第2配置状態での各視点画像とサブ画素との関係を示す。図37(a)の場合と同様に、サブ画素群245’には画像B5,サブ画素群246’には画像B6,サブ画素群247’には画像C5,サブ画素群248’には画像C6に対応した信号がそれぞれ入力される。
Next, with reference to FIGS. 37B and 38, the relationship between each viewpoint image and the sub-pixel in the second arrangement state is shown. As in the case of FIG. 37A, the image B5 is for the
かかる構成によれば、視点数に関わらず第1配置状態と第2配置状態における3D解像度を同一にすることができる。すなわち、一の画素内でのサブ画素群の規則性により、第1配置状態と第2配置状態での視点数が同一となるため、これにより、各配置状態において同様な立体視を実現することが可能となる。 According to this configuration, the 3D resolutions in the first arrangement state and the second arrangement state can be made the same regardless of the number of viewpoints. That is, since the number of viewpoints in the first arrangement state and the second arrangement state becomes the same due to the regularity of the sub-pixel group in one pixel, thereby realizing similar stereoscopic vision in each arrangement state. Is possible.
上記説明内容に基づいて、原色数をM,水平視差表示における視点数をN(Nは2以上の自然数),水平垂直視差表示における水平視点数及び垂直視点数をLとし、水平垂直視差のトータル視点数をJ(=L×L)、水平垂直視差表示におけるサブ画素群の1方向あたりのサブ画素数をKとした場合のこれらの関係性を、一般的に以下に記す。
ここで、視点数Nは水平視差表示のみの場合における視点数であり、画素内の1方向あたりのサブ画素数に相当する。
Based on the above contents, the total number of horizontal and vertical parallaxes is M, where the number of primary colors is M, the number of viewpoints in horizontal parallax display is N (N is a natural number of 2 or more), and the number of horizontal and vertical viewpoints in horizontal and vertical parallax display is L. The relationship between the number of viewpoints J (= L × L) and the number of sub-pixels per direction of the sub-pixel group in the horizontal and vertical parallax display is K will be generally described below.
Here, the number of viewpoints N is the number of viewpoints in the case of only horizontal parallax display, and corresponds to the number of sub-pixels per one direction in a pixel.
まず、原色数Mの平方根である√Mが整数となる場合はK=√M、√Mが整数とならない場合はK=Mとなる。例えば、M=1,4,9の場合は、√Mが整数となるためK=1,2,3となり、M=2,3の場合は、√Mが整数とならないためK=2,3となる。 First, when 平方根 M, which is the square root of the number of primary colors M, is an integer, K == M, and when √M is not an integer, K = M. For example, in the case of M = 1, 4 and 9, √M is an integer, so K = 1, 2, 3. In the case of M = 2 and 3, √M is not an integer and K = 2, 3 It becomes.
次に、1方向あたりの水平視点数及び垂直視点数Lは、「L=N/K(但し、Lは2以上の自然数)」で表される。例えば、図31に示す画素221の場合では「L=4/2=2」となる。このように、水平垂直視差表示において、1方向あたりの水平視点数及び垂直視点数Lが、水平垂直視差表示におけるサブ画素群の1方向あたりのサブ画素数Kの倍数となるような構成を採っているため、これにより、表示画像に色モアレが発生しないという効果を得ることができる。
Next, the number of horizontal viewpoints and the number of vertical viewpoints L per direction are expressed by “L = N / K (where L is a natural number of 2 or more)”. For example, in the case of the
次いで、図39に、図37(a)に示した第1配置状態におけるx軸方向及びy軸方向の光線分離の様子を示す。この図39においては、x軸方向が水平方向であり、y軸方向が垂直方向である。
また、ここでは、第1方向と第2方向の双方向に対して同時に光線分離する光線分離手段250を採用したため、これにより、水平方向と垂直方向の両方に視差が付与される。
Next, FIG. 39 shows how light rays are separated in the x-axis direction and the y-axis direction in the first arrangement state shown in FIG. 37 (a). In FIG. 39, the x-axis direction is the horizontal direction, and the y-axis direction is the vertical direction.
Furthermore, here, since the light beam separation means 250 that simultaneously performs light beam separation in both the first direction and the second direction is adopted, parallax is given in both the horizontal direction and the vertical direction.
図39には、水平方向と垂直方向の両方に視差が付与されるという構成について、観察者が水平方向(x軸方向)における位置114a,位置114b,位置114c,・・・に移動した場合、及び垂直方向(y軸方向)における位置115a,位置115b,位置115c,位置115d,・・・に移動した場合の様子を示す。
第1視点領域は、サブ画素群241’からの出射光である水平方向50aと垂直方向55aとから成り、第2視点領域は、サブ画素群242’からの出射光である水平方向50bと垂直方向55aとから成り、第3視点領域は、サブ画素群243’からの出射光である水平方向50aと垂直方向55bとから成り、第4視点領域は、サブ画素群244’からの出射光である水平方向50bと垂直方向55bとから成る。
In FIG. 39, in a configuration in which parallax is given in both the horizontal direction and the vertical direction, when the observer moves to position 114a,
The first viewpoint area includes the
水平方向でのメインローブは、観察者の左眼が50a,右眼が50bに位置した領域1箇所であるのに対し、垂直方向のメインローブは、観察者の両眼が55a又は55bに位置した領域2箇所に存在する。ここで、55aにかかる領域をメインローブ1,55bにかかる領域をメインローブ2,56bにかかる領域をサイドローブ1,54aにかかる領域をサイドローブ2とする。
The main lobe in the horizontal direction is one area where the left eye and the right eye of the observer are located at 50a and 50b, while the main lobe in the vertical direction is located at 55a or 55b for both eyes of the observer Exist in two places. Here, the area covering 55 a is referred to as the area covering
図40は、それぞれの観察者位置(図39参照)に関して、観察者の左右の眼がどの視点領域に位置したときに、どのような画像データ(図38参照)を各視点領域(各サブ画素群)に対して入力するか、という対応関係を示している。 FIG. 40 shows image data (see FIG. 38) for each viewpoint area (each sub-pixel) when the left and right eyes of the observer are positioned in any viewpoint area with respect to each observer position (see FIG. 39). It shows the correspondence relationship of whether to input to group).
一般に、2×2視点の立体画像表示パネルに対して4視点分の画像データを用いる場合にあっては、水平方向におけるメインローブとサイドローブとで同一映像の知覚しかできない上に、メインローブとサイドローブとの間では逆視が発生する。同じくこの場合、垂直方向における逆視は発生しないものの、メインローブ1とサイドローブ1、又はメインローブ2とサイドローブ2では、それぞれにおいて同一映像の知覚しかできない。
Generally, in the case where image data for four viewpoints is used for a stereoscopic image display panel of 2 × 2 viewpoints, only the same image can be perceived by the main lobe and side lobes in the horizontal direction, and A reverse vision occurs with the side lobes. Also in this case, although retrograde vision does not occur in the vertical direction, only the same image can be perceived in each of the
これに対し、本第4実施形態における構成を用いることで、図40に示す通り、2×2視点の立体表示においても、立体視域A1,A2,A3・・・、B1,B2,B3・・・、C1,C2,C3・・・、D1,D2,D3・・・にて観察者に異なる映像を知覚させることができ、すなわち水平・垂直方向の双方共に運動視差が付与されることとなり、このため、立体画質の臨場感向上に寄与することが可能となる。
ここで、垂直方向については両眼視差を伴わないため、垂直方向の分離角(視点ピッチ)が、水平方向の分離角(視点ピッチ)の大きさに対して小さくなるような構成を採ってもよい。
On the other hand, by using the configuration in the fourth embodiment, as shown in FIG. 40, even in the stereoscopic display of 2 × 2 viewpoints, stereoscopic viewing areas A1, A2, A3..., B1, B2, B3. ... C1, C2, C3..., D1, D2, D3... Allow viewers to perceive different images, that is, motion parallax is given in both horizontal and vertical directions Because of this, it is possible to contribute to the improvement of the realism of stereoscopic image quality.
Here, since there is no binocular parallax in the vertical direction, even if the separation angle in the vertical direction (viewpoint pitch) is smaller than the size of the separation angle in the horizontal direction (viewpoint pitch). Good.
以上のように、アクティブな光線分離手段250を用いる場合、本第4実施形態では、例えば、図34に示す場合のように、第1配置状態についてはx軸方向のみを光線分離し,y軸方向については光線分離しないという状態にする構成と、図39に示す場合のように、水平方向と垂直方向の両方に視差を付与し、x軸方向とy軸方向の双方向に対して同時に光線分離させるという構成と、を採用することができる。 As described above, in the case of using the active beam separating means 250, in the fourth embodiment, for example, in the first arrangement state, only the x axis direction is separated in the first arrangement state, as shown in FIG. As shown in FIG. 39, parallax is given in both the horizontal and vertical directions, and light is simultaneously transmitted in both the x-axis and y-axis directions. A configuration of separation can be adopted.
上述のように、垂直方向の分離角を水平方向の分離角よりも小さくするという構成を採った場合は、垂直方向に光線を分離させる状態を示すレンズ253(図39)のレンズパワー(屈折力)を、水平方向に光線を分離させる状態を示すレンズ252(図39)のレンズパワーよりも小さくするように構成する。 As described above, when the configuration in which the separation angle in the vertical direction is made smaller than the separation angle in the horizontal direction, the lens power (refractive power) of the lens 253 (FIG. 39) showing a state in which light rays are separated in the vertical direction. Is configured to be smaller than the lens power of the lens 252 (FIG. 39) which shows the state of separating the light beam in the horizontal direction.
図41に、上述した本第4実施形態にかかる立体画像表示装置1を装備した端末装置300の一例を示す。すなわち、この端末装置300は、立体画像表示装置1と、これを内包する筺体310と、から成り、立体画像表示装置1は、上述したように光線分離手段250としてx軸方向とy軸方向に応じた方向に光線分離が可能である液晶レンズ素子(図示せず)を具備している。
FIG. 41 shows an example of a
そこで、本第4実施形態での立体画像表示装置1を搭載した端末装置300の構成を、図42に基づいて説明する。
ここでの立体画像表示装置1には、前述した第1実施形態にて説明した構成に対し、端末装置300が動いた結果生じる変位を検出する検出部150が付加されている。すなわち、検出部150は、端末装置300が観察者にとって水平もしくは垂直に位置することを同定するため構成である。
Therefore, the configuration of a
In addition to the configuration described in the first embodiment described above, a
検出部150は、端末装置300が動いた結果生じる変位を検出するセンサにより構成されている。ここで、検出部150が検出する端末装置300の変位とは、傾き角の変化や移動量のことである。例えば、検出部150として加速度センサや地磁気センサ等のセンサを用いた場合には、重力加速度や地磁気を基準として、傾き角の変化や移動量を算出することが可能となる。すなわち、検出部150は、傾き角の変化や移動量を検出する傾き角検出手段151を有し、立体画像表示パネル10と観察者との位置関係を検出するように構成されている。
The
また、検出部150は、傾き角検出手段151による検出結果としての傾き角に関する情報(変位情報)を画像生成処理部30に送付するという構成を採っている。
Further, the
すなわち、画像生成処理部30は、前述の第1実施形態でも示した相対位置算出部40からの計測結果と検出部150からの信号(変位情報)に応じて、端末装置300の水平方向と観察者位置に応じた画像データを表示パネル駆動回路21に出力するように構成されている。
That is, according to the measurement result from the relative
ここで、3Dデータを出力する場合には、上述した図32及び図33に基づく説明の通り、第1配置状態と第2配置状態とでは各視点に対応するサブ画素が変わるため、画像生成処理部30は、この変化に対応した画像データを表示パネル駆動回路21に出力するという構成を採っている。
Here, in the case of outputting 3D data, as described with reference to FIGS. 32 and 33 described above, the sub-pixels corresponding to each viewpoint change between the first arrangement state and the second arrangement state. The
また、この表示パネル駆動回路21への出力と同時に画像生成処理部30は、端末装置300が図32に示す第1配置状態又は図33に示す第2配置状態にある場合に、これら各配置状態に応じて画像振分制御回路22に、x軸方向とy軸方向に光線分離手段250(液晶レンズ)を有効にする旨の指令信号を送信するように構成されている。
When the
さらに、第1実施形態で示した水平方向のみにN視点展開する場合(以下、水平N視点展開とする)と、本第4実施形態で示した水平方向と垂直方向にそれぞれL視点(L=N/K)ずつ(トータルでJ視点)展開する場合(以下、水平垂直J視点展開とする)と、の選択に際しては、画像生成処理部30内の外部IF34が有効に機能するように構成されている。例えば、観察者からの指示等により外部から出力された選択信号を外部IF34が受信し、この選択信号が内包する情報に基づいて画像生成処理部30が画像データの生成を行うといった構成を採用することができる。
Furthermore, when N viewpoints are expanded only in the horizontal direction (hereinafter referred to as horizontal N viewpoint expansion) shown in the first embodiment, L viewpoints in the horizontal and vertical directions shown in the fourth embodiment (L = N / K) (totally J viewpoints) is deployed (hereinafter referred to as horizontal and vertical J viewpoints deployment), the external IF 34 in the image
したがって、本実施形態での画像生成処理部30による画像データ生成方法は、第1実施形態において説明した生成方法に、外部から受信した選択信号に応じて仮想カメラの位置を変更するという方法を加えた構成となっている。
すなわち、演算器31が、水平N視点展開の場合には、仮想カメラを水平方向のみにN視点分設定し、水平垂直J視点展開の場合には、仮想カメラを水平方向と垂直方向にそれぞれL視点分(合計L×L視点分:J視点分)設定し、これと共に演算器31は、それぞれの場合においてレンダリング処理を施して画像データを生成するように構成されている。
Therefore, in the image data generation method by the image
That is, in the case of horizontal N viewpoint development, the
また、水平N視点展開の場合において、N=2のときは、第2実施形態で述べた(e+f)>d>eの関係を用いることができ、N≧3のときは、第3実施形態で述べた「e×(N−2)≦d≦e×(N−1)」の関係を用いることができる。
これら各実施形態で述べた内容と同様に、この関係を満たす場合には、本第4実施形態にかかる構成によっても、所定の立体視認性を確保しつつ、運動視差に優れた立体画像表示装置を提供することができる。
In the case of horizontal N viewpoint development, the relationship of (e + f)>d> e described in the second embodiment can be used when N = 2, and the third embodiment when N ≧ 3. The relationship of "ex (N-2) <= d <= ex (N-1)" described in the above can be used.
Similar to the contents described in each of the embodiments, in the case where this relationship is satisfied, even with the configuration according to the fourth embodiment, a stereoscopic image display device excellent in motion parallax while securing predetermined stereoscopic visibility. Can be provided.
また、図37で示した水平垂直J視点展開の場合において、J=2(2×2視点)のときは、水平視差方向には、第2実施形態で述べた「(e+f)>d>e」の関係を用いることができ、J≧3のときは、第3実施形態で述べた「e×(J−2)≦d≦e×(J−1)」の関係を用いることができる。これにより所定の立体視認性を確保しつつ、水平垂直方向に対して運動視差に優れる立体画像表示装置を提供することができる。 Further, in the case of horizontal and vertical J viewpoint development shown in FIG. 37, when J = 2 (2 × 2 viewpoints), “(e + f)> d> e described in the second embodiment in the horizontal parallax direction. The relationship of “E × (J−2) ≦ d ≦ e × (J−1)” described in the third embodiment can be used when J ≧ 3. As a result, it is possible to provide a stereoscopic image display device excellent in motion parallax in the horizontal and vertical directions while securing predetermined stereoscopic visibility.
垂直視差方向には、水平視差方向よりも小さい視点ピッチを用いることができる。これにより、更なる色モワレの低減と滑らかな運動視差の付与が可能となる。
それ以外の動作については、第1の実施形態と同様である。
A viewpoint pitch smaller than the horizontal parallax direction can be used in the vertical parallax direction. This makes it possible to further reduce color moiré and provide smooth motion parallax.
The other operations are the same as in the first embodiment.
(動作説明)
次に、本第4実施形態における立体画像表示装置1及び端末装置300の動作内容を、図43に示すフローチャートに基づいて簡潔に説明する。
(Operation explanation)
Next, the operation contents of the stereoscopic
端末装置300の変位を検出した検出部150が、この検出結果である変位情報を画像生成処理部30に出力する(図43:S201)。
The
また、内包するカメラを用いて観察者位置計測部45が、観察者100の位置を計測すると共に、この計測結果を相対位置算出部に出力する(図43:S202)。
次いで、観察者位置計測部45から取得した計測結果に基づいて相対位置算出部40が、立体画像表示パネル10上に予め設定された基準点(ここでは画像表示中心)に対する左眼101及び右眼102との相対位置を算出すると共に、この算出結果(位置情報)を出力する(図43:S203)。
In addition, the observer
Next, based on the measurement result acquired from the observer
次に、検出部150からの変位情報と相対位置算出部40からの位置情報とに基づいて画像生成処理部30が、3Dデータ及び制御信号を生成し出力する(図43:S204)。
Next, the image
続いて、画像生成処理部30から取得した3Dデータに基づいて表示パネル駆動回路21が表示パネルを駆動させ、画像生成処理部30からの制御信号に従って画像振分制御回路22が光線分離手段12の動作を制御する(図43:S205)。
Subsequently, the display
上記の動作説明は、便宜上、図43に付した番号の順(S201〜S205)に行ったが、本第4実施形態にかかる立体画像表示装置1の動作内容は、当該順序に限定されるものではない。また、各ステップS201〜S205(図43)における各工程の実行内容をプログラム化すると共に、この一連の各制御プログラムをコンピュータによって実現するように構成してもよい。
The above description of the operation is performed in the order of the numbers attached to FIG. 43 (S201 to S205) for convenience, but the operation content of the stereoscopic
(第4実施形態の効果等)
本第4実施形態における立体画像表示装置では、各画素内ではx軸方向とy軸方向とに同数の視差画像を生成し、各視点用画像内では配色の異なるサブ画素の数が等しいといった構成を採用したため、アクティブな光線分離手段によって、水平,垂直方向の何れか1方向に視差を付与する場合、又は水平方向と垂直方向の2方向に対して同時に視差を付与する場合、の双方において、第1及び第2配置状態における3D解像度を同一にすることができる。
(Effects of the fourth embodiment, etc.)
In the stereoscopic image display device according to the fourth embodiment, the same number of parallax images are generated in each pixel in the x-axis direction and the y-axis direction, and the number of sub-pixels having different color arrangements is equal in each viewpoint image. In both the case where parallax is provided in one of the horizontal and vertical directions by active ray separation means, or in the case where parallax is simultaneously provided in two directions of horizontal and vertical directions, The 3D resolution in the first and second arrangement states can be made identical.
また、本第4実施形態における各画素においては、視点数Nが原色数Mの倍数となるように構成したため、色モアレの発生を抑制することができる。加えて、本第4実施形態では、第1配置状態から90°右回転させてy軸方向を水平方向にした状態を第2配置状態として説明したが、これに限定されるものではなく、例えば第1配置状態から90°左回転させてy軸方向を水平方向にした状態においても、上記各構成部材が有効に機能するため、ここでの第2配置状態の場合と同等の作用効果を得ることができる。
その他の構成及び動作については、第1実施形態で示したものと同様であり、他に生じる作用効果も同様である。特に、各視点領域に対して2つ以上の画像データを用いる場合は、より滑らかな運動視差を水平視差,垂直視差ともに可能とする。
Further, in each pixel in the fourth embodiment, the number of viewpoints N is configured to be a multiple of the number of primary colors M, so that the occurrence of color moiré can be suppressed. In addition, in the fourth embodiment, the state in which the y-axis direction is made horizontal by 90 ° right rotation from the first arrangement state has been described as the second arrangement state, but the present invention is not limited thereto. Even in the state where the y-axis direction is made horizontal by rotating 90 ° leftward from the first arrangement state, the above-mentioned constituent members function effectively, and therefore, the same function and effect as the second arrangement state here are obtained. be able to.
The other configurations and operations are the same as those described in the first embodiment, and the same effects are also obtained. In particular, when two or more pieces of image data are used for each viewpoint region, smoother motion parallax can be made possible for both horizontal parallax and vertical parallax.
〔第5実施形態〕
前述した本第4実施形態では、2方向の観察方向に対して光学的に画像を分離して視差画像を観察者に投影するという構成例を示したが、かかる構成内容は、上述した第1乃至第3実施形態における構成にも適用することができる。
そこで、本第5実施形態では、2方向の観察方向に対して光学的に画像を分離するという構成内容を第1実施形態の構成に適用した立体画像表示装置について、図44乃至図45をもとに説明する。
Fifth Embodiment
In the fourth embodiment described above, a configuration example has been shown in which an image is optically separated with respect to observation directions in two directions and a parallax image is projected to the observer. The present invention can also be applied to the configuration in the third embodiment.
Therefore, in the fifth embodiment, a stereoscopic image display apparatus in which the configuration content of optically separating an image in two directions of observation directions is applied to the configuration of the first embodiment is also shown in FIGS. 44 to 45. To explain.
本第5実施形態における立体画像表示装置の全体構成は、図1及び図2に示す立体画像表示装置1の構成内容と同様であるため、以下の説明では、これら各図を便宜的に参照する。このため、第1実施形態と同等の構成部材等については同一の符号を用いるものとし、重複する説明は省略する。
The overall configuration of the stereoscopic image display device in the fifth embodiment is the same as the configuration contents of the stereoscopic
立体画像表示装置1が内包する立体画像表示パネル10は、少なくとも第1視点用の画像を表示するサブ画素と第2視点用の画像を表示するサブ画素とを含む画素がマトリクス状に配列された表示パネル11と、この表示パネル11の表示面側に設けられ上記画素からの視差画像を各視点に向けて分離する光線分離手段12と、を有している。
In the stereoscopic
光線分離手段12は、図2に示すように、表示パネル11上に配置された各画素に対応するレンズ15がアレイ状に配列された構成であり、すなわち、上記各画素の配列方向のうちの一の方向(光線分離方向:図44のx方向)に光線を分離する構造を有している。
The light beam separating means 12 has a configuration in which
ここでも、観察者の左目と右目とを結ぶ直線に平行な方向を水平方向と定義し、以下においては、光線分離方向(x方向)が該水平方向と略平行である場合を想定する。このため、光線分離方向を水平方向とも称する。併せて、表示パネル11の表示面内(該表示面と平行な平面内)において水平方向(x方向)に垂直な方向を垂直方向(図44のy方向)と定義する。この垂直方向は、上記各画素の配列方向のうちの他の方向である。 Also here, a direction parallel to the straight line connecting the left eye and the right eye of the observer is defined as the horizontal direction, and in the following, it is assumed that the ray separation direction (x direction) is substantially parallel to the horizontal direction. For this reason, the beam separation direction is also referred to as the horizontal direction. In addition, in the display surface of the display panel 11 (in a plane parallel to the display surface), a direction perpendicular to the horizontal direction (x direction) is defined as the vertical direction (y direction in FIG. 44). The vertical direction is the other direction among the arrangement directions of the respective pixels.
立体画像表示パネル10には、第1視点用サブ画素261及び第2視点用サブ画素262からなる画素263と、この画素263に対応する位置に設けられた、光線分離手段12を構成するレンズ15との組合せがマトリクス状に複数配置されており、各々が光線分離可能な構成となっている。
In the stereoscopic
図44は、2視点分のサブ画素を含む画素の近傍を、図2に示す構成から抽出したものであり、具体的には、前述した画素263とレンズ15との組合せの1つを示す。また、一方向の光線分離手段12を用いて、観察者の位置に応じた二方向それぞれに対応する画像を提示する様子が例示されている。
FIG. 44 shows the vicinity of a pixel including sub-pixels for two viewpoints, which is extracted from the configuration shown in FIG. 2. Specifically, one combination of the
上記組合せにより、サブ画素群261からの出射光が広がる第1視点領域50a,51a(図示せず),52a,・・・と、サブ画素群262からの出射光が広がる第2視点領域50b,51b,52b(図示せず),・・・とが、x軸方向に沿って交互に繰り返されるように画像が分離される。
By the above combination, the
また、図44には、このような画像分離空間において、観察者が水平方向(x軸方向)における位置114a,位置114b,位置114c,・・・に移動した場合、及び垂直方向(y軸方向)における位置115a,位置115b,位置115c,位置115d,・・・に移動した場合の様子が例示されている。
In FIG. 44, in such an image separation space, when the observer moves to the
ここでは、水平方向でのメインローブが、観察者の左眼が50a,右眼が50bに位置した領域1箇所であるのに対し、垂直方向にはレンズ効果が無いため、メインローブやサイドローブなどの画像分離空間は存在しない。 Here, the main lobe in the horizontal direction is one area where the left eye and right eye of the observer are located at 50a and 50b, but there is no lens effect in the vertical direction, so the main lobe and side lobes There is no image separation space such as.
次いで、図45に、それぞれの観察者位置(図44参照)に関して、観察者の左右の眼がどの視点領域に位置した際に、どのような画像データ(図38参照)を各視点領域(各サブ画素群)に対して入力するか、という対応関係を示す。 Next, in FIG. 45, with regard to each observer position (see FIG. 44), when the left and right eyes of the observer are positioned in which viewpoint area, what kind of image data (see FIG. 38) The correspondence relationship of whether to input to the sub pixel group) is shown.
このように、2視点の水平方向にのみ画像を分離する立体画像表示パネル(垂直方向に画像分離しない立体画像表示パネル)であっても、観察者の垂直方向の位置に応じたカメラ撮像画像を適宜切り替えて表示することで、観察者の水平・垂直方向の移動に対応した有意な画像を提供することができる。 As described above, even in the case of a stereoscopic image display panel (stereoscopic image display panel in which images are not separated in the vertical direction) in which images are separated only in the horizontal direction of two viewpoints, camera-captured images according to the vertical position of the observer By appropriately switching and displaying, it is possible to provide a significant image corresponding to the horizontal and vertical movement of the observer.
具体的には、図45に示す通り、垂直位置115aでは画像データA1,A2,A3・・・、垂直位置115bではB1,B2,B3・・・、垂直位置115cではC1,C2,C3・・・、垂直位置115dではD1,D2,D3・・・、を適用することで、観察者が垂直方向に移動した場合にも、該観察者に対して適時に異なる映像を知覚させることができ、その結果、水平・垂直方向の双方に運動視差が付与されることとなり、立体画質の臨場感向上に寄与することが可能となる。
Specifically, as shown in FIG. 45, image data A1, A2, A3... At
ところで、本第5実施形態における立体画像表示装置1は、図1に示すように、観察者の位置を計測する観察者位置計測部45と、この計測結果に基づいて立体画像表示パネル10に対する観察者の相対位置を算出する相対位置算出部40と、ここで算出した相対位置情報に基づいて視差画像の生成等を行う画像生成処理部30と、を有している。
By the way, as shown in FIG. 1, the stereoscopic
ここで、相対位置算出部40にて算出した相対位置情報には、観察者の水平及び垂直方向の位置情報が含まれているため、画像生成処理部30は、相対位置情報に基づいて観察者の垂直方向の移動をも考慮した画像を生成することができる。すなわち、この生成した画像を画像生成処理部30が表示パネル駆動回路21を介して表示パネル11に出力することで、上記画像の切り替え処理が実現される。
Here, since the relative position information calculated by the relative
水平方向の画像切り替え角度(例えば、図38におけるA1,A2,A3・・・間の画像切り替え角度)は、水平方向のカメラ撮像位置間隔をもとに決定され、垂直方向の画像切り替え角度(例えば、図38におけるA1,B1,C1,D1・・・間の画像切り替え角度)も同様に、垂直方向のカメラ撮像位置間隔をもとに決定される。
画像切り替え角度を視点ピッチに比べて十分小さくすることにより、非常に滑らかな運動視差を得ることが可能となる。このようにした場合には、特に、該画像切り替え角度に応じて表示コントローラ24内のデータ蓄積部32とメモリ33の容量を大きくし、演算器31の処理能力を高速化することが望ましい。
The image switching angle in the horizontal direction (for example, the image switching angle between A1, A2, A3 ... in FIG. 38) is determined based on the camera imaging position interval in the horizontal direction, and the image switching angle in the vertical direction (for example, Similarly, the image switching angle between A1, B1, C1, D1... In FIG. 38 is also determined based on the camera imaging position interval in the vertical direction.
By making the image switching angle sufficiently smaller than the viewpoint pitch, it is possible to obtain very smooth motion parallax. In such a case, in particular, it is desirable to increase the capacity of the
ここでは、水平・垂直の双方向に対する運動視差の付与に関して第1実施形態の構成内容をもとに説明したが、上述した通り、第2実施形態や第3実施形態における構成内容によっても同様の手法により、水平・垂直方向の双方に運動視差を付与する構成を実現することができる。 Here, the addition of motion parallax to both horizontal and vertical directions has been described based on the configuration contents of the first embodiment, but as described above, the same applies to the configuration contents in the second embodiment and the third embodiment. According to the method, it is possible to realize a configuration in which motion parallax is given in both the horizontal and vertical directions.
(第5実施形態の効果等)
上記の通り、本第5実施形態では、光線分離手段12が、前記各画素の配列方向のうちの一の方向(X方向)に光線を分離する構造を有すると共に、画像生成処理部30が、立体画像表示パネル10の表示面内にて上記一の方向に垂直な方向(y方向)にかかる観察者の位置に応じた画像を生成し、これを立体画像表示パネル10に向けて出力する、という構成を採っている。このため、観察者の垂直方向の位置に応じたカメラ撮像画像を観察者に提示することが可能となる。
(Effects of the fifth embodiment, etc.)
As described above, in the fifth embodiment, the light beam separating means 12 has a structure for separating light beams in one direction (X direction) of the arrangement directions of the respective pixels, and the image
すなわち、2視点の水平方向のみ画像分離する立体表示パネルにおいても、本第5実施形態にかかる構成を採れば、観察者の垂直方向の位置に応じたカメラ撮像画像を提示することができるため、水平・垂直方向の双方共に運動視差が付与され、これにより立体画像の臨場感の向上を図ることが可能となる。 That is, even in a stereoscopic display panel in which images are separated only in the horizontal direction of two viewpoints, a camera-captured image according to the position in the vertical direction of the observer can be presented if the configuration according to the fifth embodiment is employed. Motion parallax is given in both the horizontal and vertical directions, which makes it possible to improve the sense of reality of a stereoscopic image.
また、観察者の位置計測情報に基づいて視点ピッチよりも十分小さい画像切り替え角度の画像データを用いることにより、少ない視点数の多視点型立体画像表示装置においても、解像度低下を抑制し、滑らかな運動視差を得ることができる。
他の構成及び動作については、上述した各実施形態と同様であり、他に生じる作用効果も同様である。
Also, by using image data of an image switching angle sufficiently smaller than the viewpoint pitch based on the position measurement information of the observer, the reduction in resolution is suppressed and smooth even in a multi-viewpoint stereoscopic image display apparatus with a small number of viewpoints. Motion parallax can be obtained.
The other configurations and operations are the same as those of the above-described embodiments, and the same effects as those of the other effects are obtained.
なお、上述した各実施形態は、立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラムにおける好適な具体例であり、技術的に好ましい種々の限定を付している場合もある。しかし、本発明の技術範囲は、特に本発明を限定する記載がない限り、これらの態様に限定されるものではない。 The above-described embodiments are preferable specific examples of a stereoscopic image display device, a terminal device, a stereoscopic image display method, and a program thereof, and various technically preferable limitations may be applied. However, the technical scope of the present invention is not limited to these embodiments unless specifically described to limit the present invention.
以下は、上述した実施形態についての新規な技術的内容の要点をまとめたものであるが、本発明は必ずしもこれに限定されるものではない。 The following summarizes the main points of the novel technical content of the above-described embodiment, but the present invention is not necessarily limited thereto.
(付記1):第1実施形態(J=s×N)
複数の画素が配列された表示パネルと、この表示パネルの表示面側に設けられ前記各画素の配列方向に応じた複数のN視点(Nは2以上の自然数)に向けて当該各画素からの視差画像を分離する光線分離手段と、を有して成る立体画像表示パネルと、
前記表示面に対向する観察者の観察位置を計測する観察者位置計測部と、
この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を算出する相対位置算出部と、
予め設定されたJ視点分(J>N)の視点画像を生成する機能を有すると共に、前記N視点を構成する各視点に応じた1つ以上の視点画像を前記相対位置に対応づけて生成し前記立体画像表示パネルに向けて出力する画像生成処理部と、を有することを特徴とした立体画像表示装置。
(Supplementary Note 1): First Embodiment (J = s × N)
A display panel on which a plurality of pixels are arranged, and a plurality of N viewpoints (N is a natural number of 2 or more) provided on the display surface side of the display panel according to the arrangement direction of the respective pixels A stereoscopic image display panel comprising light beam separating means for separating parallax images;
An observer position measurement unit that measures the observation position of the observer facing the display surface;
A relative position calculation unit that calculates the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result;
While having a function of generating viewpoint images for J viewpoints (J> N) set in advance, at least one viewpoint image corresponding to each viewpoint constituting the N viewpoints is generated in association with the relative position And an image generation processing unit for outputting to the stereoscopic image display panel.
(付記2):第1実施形態(J=s×N)
前記付記1に記載の立体画像表示装置において、
前記視点数Nと視点数Jとが、J=s×N(係数sは2以上の自然数)なる関係を満たす(前記N視点とJ視点との間には、J=s×N(係数sは2以上の自然数)の関係が在る)ことを特徴とした立体画像表示装置。
(Supplementary Note 2): First Embodiment (J = s × N)
In the stereoscopic image display device described in the above-mentioned
The number of viewpoints N and the number of viewpoints J satisfy the relationship J = s × N (coefficient s is a natural number of 2 or more) (J = s × N (coefficient s between the N viewpoint and the J viewpoint) Is a relationship of two or more natural numbers))).
(付記3):第1実施形態(サイドローブがほぼ左右対称;sは3以上の奇数)
前記付記2に記載の立体画像表示装置において、
前記立体画像表示パネルは、その画像表示中心を始点とした前記表示面からの法線である表示法線を含んだ立体視域をメインローブとして形成し、このメインローブに隣接する立体視域をサイドローブとして形成するローブ形成機能を有し、
立体視認範囲が最大となる最適観察距離をOD,このODでの各視点領域間の視点ピッチをeとしたときに、前記メインローブの中心線と前記表示法線との成す角がatan(e/OD)以下である場合には、前記係数sが予め3以上の奇数に設定され、
前記画像生成処理部は、この設定された係数sに基づいて前記J視点分の視点画像を生成することを特徴とした立体画像表示装置。
(Supplementary Note 3): First Embodiment (Side lobes are almost symmetrical; s is an odd number of 3 or more)
In the stereoscopic image display device described in the above-mentioned
The stereoscopic image display panel forms a stereoscopic viewing area including a display normal which is a normal from the display surface starting from the image display center as a main lobe, and a stereoscopic viewing area adjacent to the main lobe is Has a lobe forming function to form as a side lobe,
Assuming that the optimum observation distance at which the three-dimensional visual recognition range is maximum is OD, and the viewpoint pitch between the viewpoint regions at this OD is e, an angle formed by the center line of the main lobe and the display normal is atan (e If it is equal to or less than / OD, the coefficient s is set to an odd number of 3 or more in advance,
The three-dimensional image display device, wherein the image generation processing unit generates a viewpoint image for the J viewpoint based on the set coefficient s.
(付記4):第1実施形態(サイドローブがほぼ左右対称;sは3以上の奇数)
前記付記2に記載の立体画像表示装置において、
前記立体画像表示パネルは、その画像表示中心を始点とした前記表示面からの法線である表示法線を含んだ立体視域をメインローブとして形成し、このメインローブに隣接する立体視域をサイドローブとして形成するローブ形成機能を有し、
前記画像生成処理部は、前記位置情報に基づいて前記メインローブの中心線と前記表示法線との成す角を算定する機能を有すると共に、立体視認範囲が最大となる最適観察距離をOD,このODでの各視点領域間の視点ピッチをeとすると、前記算定した成す角が「atan(e/OD)」以下である場合に前記係数sを3以上の奇数に設定することを特徴とした立体画像表示装置。
(Supplementary Note 4): First embodiment (side lobes are almost symmetrical; s is an odd number of 3 or more)
In the stereoscopic image display device described in the above-mentioned
The stereoscopic image display panel forms a stereoscopic viewing area including a display normal which is a normal from the display surface starting from the image display center as a main lobe, and a stereoscopic viewing area adjacent to the main lobe is Has a lobe forming function to form as a side lobe,
The image generation processing unit has a function of calculating an angle formed by a center line of the main lobe and the display normal based on the position information, and an optimum observation distance OD at which a three-dimensional visual recognition range is maximized. Assuming that the viewpoint pitch between each viewpoint area at OD is e, the coefficient s is set to an odd number of 3 or more when the calculated angle is equal to or less than "a tan (e / OD)". 3D image display device.
(付記5)第1実施形態(移動方向に応じた画像データの選定;N≧3)
前記付記1乃至4の何れか1つに記載の立体画像表示装置において、
前記画像生成処理部は、前記視点数Nが3以上(N≧3)である場合に、前記観察者の左右の眼の何れもが位置していない視点領域への視点画像を当該観察者の移動方向に基づいて選定すると共に、この選定した視点画像を前記立体画像表示パネルに向けて出力することを特徴とした立体画像表示装置。
(Supplementary Note 5) First Embodiment (Selection of Image Data According to Movement Direction; N ≧ 3)
In the stereoscopic image display device according to any one of the above-mentioned
When the number of viewpoints N is 3 or more (N ≧ 3), the image generation processing unit performs a viewpoint image to a viewpoint area in which neither the left nor right eyes of the observer are located A stereoscopic image display apparatus characterized by selecting based on a moving direction and outputting the selected viewpoint image to the stereoscopic image display panel.
(付記6)実施形態1(移動方向に応じた画像データの選定;N≧3)
前記付記1乃至4の何れか1つに記載の立体画像表示装置において、
前記画像生成処理部は、前記視点数Nが3以上(N≧3)である場合に、経時的な相対位置算出部からの位置情報に示された前記観察者の移動方向に基づいて当該観察者の次の移動位置を推定すると共に、この推定位置に対応する視点画像を前記立体画像表示パネルに向けて出力する画像データ切替処理機能を有することを特徴とした立体画像表示装置。
(Supplementary Note 6) Embodiment 1 (Selection of Image Data According to Movement Direction; N ≧ 3)
In the stereoscopic image display device according to any one of the above-mentioned
When the number of viewpoints N is 3 or more (N ≧ 3), the image generation processing unit performs the observation based on the moving direction of the observer indicated in the positional information from the relative position calculating unit over time. A stereoscopic image display apparatus characterized by having an image data switching processing function of estimating a next movement position of a person and outputting a viewpoint image corresponding to the estimated position toward the stereoscopic image display panel.
(付記7):第1実施形態(移動方向と移動速度に応じた画像データの選定;N≧4)
前記付記1乃至4の何れか1つに記載の立体画像表示装置において、
前記画像生成処理部は、前記視点数Nが4以上(N≧4)である場合に、前記観察者の左右の眼の何れもが位置していない視点領域への視点画像を当該観察者の移動方向及び移動速度に基づいて選定すると共に、これを前記立体画像表示パネルに向けて出力することを特徴とした立体画像表示装置。
(Supplementary Note 7): First Embodiment (Selection of Image Data According to Movement Direction and Movement Speed; N ≧ 4)
In the stereoscopic image display device according to any one of the above-mentioned
When the number of viewpoints N is 4 or more (N ≧ 4), the image generation processing unit performs a viewpoint image to a viewpoint area in which neither the left nor right eyes of the observer are located A stereoscopic image display apparatus characterized by selecting based on a moving direction and a moving speed and outputting it toward the stereoscopic image display panel.
(付記8):第1実施形態(移動方向と移動速度に応じた画像データの選定;N≧4)
前記付記1乃至4の何れか1つに記載の立体画像表示装置において、
前記画像生成処理部は、前記視点数Nが4以上(N≧4)である場合に、経時的な相対位置算出部からの位置情報に示された観察者の移動方向及び移動速度に基づいて当該観察者の移動位置を推定すると共に、この推定位置に対応する視点画像を前記立体画像表示パネルに向けて出力する画像データ選定処理機能を有することを特徴とした立体画像表示装置。
(Supplementary Note 8): First Embodiment (Selection of Image Data According to Movement Direction and Movement Speed; N ≧ 4)
In the stereoscopic image display device according to any one of the above-mentioned
When the number of viewpoints N is 4 or more (N ≧ 4), the image generation processing unit is based on the moving direction and the moving speed of the observer indicated by the positional information from the relative position calculating unit over time. A stereoscopic image display apparatus characterized by having an image data selection processing function of estimating a moving position of the observer and outputting a viewpoint image corresponding to the estimated position toward the stereoscopic image display panel.
(付記9):第1実施形態(移動方向と移動速度に応じた画像データの選択;N≧4)
前記付記7又は8に記載の立体画像表示装置において、
前記画像生成処理部は、前記観察者の左右の眼の何れもが位置していない視点領域として、当該観察者が移動前に位置する視点領域を起点とした第1乃至第(N−2)番目の隣接視点領域を選択することを特徴とした立体画像表示装置。
(Supplementary Note 9): First Embodiment (Selection of Image Data According to Movement Direction and Movement Speed; N ≧ 4)
In the stereoscopic image display device according to the above-mentioned supplementary note 7 or 8,
The image generation processing unit performs the first to (N-2) -th starting points from the viewpoint area where the observer is located before the movement as the viewpoint area in which neither the left nor right eye of the observer is located A stereoscopic image display apparatus characterized in that the second adjacent viewpoint region is selected.
(付記10):第2実施形態(2視点の場合における視点ピッチ)
前記付記1乃至4の何れか1つに記載の立体画像表示装置において、
前記立体画像表示パネルを、前記視点数Nが2(N=2)である場合に、立体視認範囲が最大となる最適観察距離での各視点領域間の視点ピッチが前記観察者の両眼間隔(=65mm)よりも小さくなるように構成したことを特徴とする立体画像表示装置。
(Supplementary note 10): Second embodiment (viewpoint pitch in the case of two viewpoints)
In the stereoscopic image display device according to any one of the above-mentioned
In the stereoscopic image display panel, when the number of viewpoints N is 2 (N = 2), the viewpoint pitch between the viewpoint regions at the optimum viewing distance at which the stereoscopic viewing range is maximum is the inter-eye distance of the observer A stereoscopic image display device characterized in that it is smaller than (= 65 mm).
(付記11):第2実施形態(クロストーク領域を考慮)
前記付記10に記載の立体画像表示装置において、
前記立体画像表示パネルを、前記視点ピッチをe,前記両眼間隔をd,予め設定された3Dクロストーク値以下である視点領域の範囲をfとした場合に、「(e+f)>d>e」の関係を満たすように構成したことを特徴とする立体画像表示装置。
(Supplementary Note 11) Second Embodiment (Cross Talk Region Considered)
In the stereoscopic image display device described in the above-mentioned
Assuming that the viewpoint pitch is e, the inter-eye distance is d, and the range of the viewpoint region which is equal to or less than a preset 3D crosstalk value is f, “(e + f)>d> e” in the stereoscopic image display panel. A three-dimensional image display apparatus characterized in that it satisfies the following relationship:
(付記12):第2実施形態(クロストーク領域を考慮)
前記付記1乃至4の何れか1つに記載の立体画像表示装置において、
前記立体画像表示パネルを、立体視認範囲が最大となる最適観察距離での各視点領域間の視点ピッチをe,前記観察者の両眼間隔をd,予め設定された3Dクロストーク値以下である視点領域の範囲をfとした場合に、「(e+f)>d>e」の関係を満たすように構成したことを特徴とする立体画像表示装置。
(Supplementary Note 12) Second Embodiment (Cross Talk Region Considered)
In the stereoscopic image display device according to any one of the above-mentioned
In the stereoscopic image display panel, the viewpoint pitch between the viewpoint regions at the optimum viewing distance at which the stereoscopic viewing range is maximum is e, the binocular distance of the observer is d, and the preset 3D crosstalk value or less A stereoscopic image display apparatus characterized in that the relationship of "(e + f)>d>e" is satisfied when the range of the viewpoint region is f.
(付記13):第3実施形態(多視点における視点ピッチ)
前記付記1乃至9に記載の立体画像表示装置において、
前記視点数Nが3以上であり、立体視認範囲が最大となる最適観察距離での各視点領域間の視点ピッチをe,前記観察者の両眼間隔をdとした場合に、
前記立体画像表示パネルを、「e×(N−2)≦d≦e×(N−1)」の関係を満たすように構成したことを特徴とする立体画像表示装置。
(Supplementary note 13): Third embodiment (viewpoint pitch in multiple viewpoints)
In the three-dimensional image display device according to any one of the above
When the number of viewpoints N is 3 or more and the viewpoint pitch between the viewpoint regions at the optimum observation distance where the stereoscopic visual recognition range is maximum is e and the inter-eye distance of the observer is d,
A stereoscopic image display apparatus characterized in that the stereoscopic image display panel is configured to satisfy the relationship of "e × (N-2) ≦ d ≦ ex (N-1)".
(付記14):第4実施形態(縦横3D)
前記付記1乃至13の何れか1つの立体画像表示装置において、
前記各画素は、M色(Mは1以上の自然数)の原色に色分けされたN×N個(Nは2以上の自然数)のサブ画素を有し、かつ前記表示パネル上にてマトリクス状に配置され、
前記光線分離手段は、前記視差画像に応じた前記各画素からの出射光を前記画素の配置に沿った第1方向及び第2方向に振り分ける光学素子を有し、
この光学素子は、前記各画素に対応づけられてマトリクス状に配置され、
前記各画素内で隣接する前記サブ画素は、相互に異なる配色であり、
前記サブ画素の配列ピッチは、前記第1及び第2方向にて均一であり、
前記各画素内では、前記第1方向と第2方向に対する同数の前記視差画像が表示され、
配色の異なる前記サブ画素の数が、前記視差画像内で等しいことを特徴とした立体画像表示装置。
(Supplementary Note 14): Fourth Embodiment (vertical and horizontal 3D)
The stereoscopic image display apparatus according to any one of
Each of the pixels has N × N (N is a natural number of 2 or more) sub-pixels which are color-coded into M (M is a natural number of 1 or more) primary colors, and in a matrix on the display panel Placed
The light beam separating means has an optical element for distributing light emitted from each of the pixels according to the parallax image in a first direction and a second direction along the arrangement of the pixels.
The optical elements are arranged in a matrix in correspondence with each of the pixels.
The adjacent sub-pixels in each pixel have different color schemes from each other,
The arrangement pitch of the sub-pixels is uniform in the first and second directions,
In each of the pixels, the same number of parallax images in the first direction and the second direction are displayed,
A stereoscopic image display apparatus characterized in that the number of sub-pixels different in color arrangement is equal in the parallax image.
(付記15):第4実施形態(検出部)
前記付記14に記載の立体画像表示装置において、
前記表示パネルを含む装置本体の変位を検出する検出部をさらに有し、
前記画像生成処理部は、前記相対位置と前記検出部からの変位情報とに基づいて前記視点画像を生成する機能を有することを特徴とした立体画像表示装置。
(Supplementary Note 15): Fourth Embodiment (Detector)
In the stereoscopic image display device described in the supplementary note 14,
It further has a detection part which detects displacement of a device body including the display panel,
The stereoscopic image display apparatus, wherein the image generation processing unit has a function of generating the viewpoint image based on the relative position and displacement information from the detection unit.
(付記16):第4実施形態(水平垂直2方向表示)
前記付記15に記載の立体画像表示装置において、
前記検出部は、観察者の左目と右目とを結ぶ直線と平行な方向である水平方向と前記第1方向とが平行である第1配置状態にあるか、この水平方向と前記第2方向とが平行である第2配置状態にあるか、を判別する機能を有し、
前記画像生成処理部は、
原色数である前記Mの平方根√Mが整数となる場合には、前記Nを前記√Mで除した商(L)を前記水平方向及びこれと直交関係にある垂直方向の視点数とした上で、前記第1及び第2方向のそれぞれに応じた当該視点数分の視差を有する画像を生成し、
前記Mの平方根√Mが整数とならない場合には、前記Nを前記Mで除した商(L)を前記水平方向及び垂直方向の視点数とした上で、前記第1及び第2方向のそれぞれに応じた当該視点数分の視差を有する画像を生成することを特徴とした立体画像表示装置。
(Supplementary Note 16): Fourth Embodiment (Horizontal and Vertical Two-way Display)
In the stereoscopic image display device described in the
The detection unit may be in a first arrangement state in which a horizontal direction parallel to a straight line connecting a left eye and a right eye of the observer is parallel to the first direction, or the horizontal direction and the second direction. Has a function of determining whether the second arrangement state is parallel to each other,
The image generation processing unit
When the square root M M of the M, which is the number of primary colors, is an integer, the quotient (L) obtained by dividing the N by the √ M is taken as the number of viewpoints in the horizontal direction and in the vertical direction orthogonal to this. And generating an image having parallax corresponding to the number of viewpoints corresponding to each of the first and second directions,
When the square root √ M of the M does not become an integer, the quotient (L) obtained by dividing the N by the M is the number of viewpoints in the horizontal direction and the vertical direction, and then each of the first and second directions A stereoscopic image display apparatus characterized in that an image having parallax corresponding to the number of viewpoints corresponding to is generated.
(付記17):第4実施形態(水平方向視点ピッチ>垂直方向視点ピッチ)
前記付記14乃至16に記載の立体画像表示装置において、
前記第1方向もしくは前記第2方向の何れか一方が、前記観察者の左目と右目とを結ぶ直線と平行な方向である水平方向に沿った状態にあり、他方が、前記水平方向と垂直な垂直方向に沿った状態にあるときに、
前記立体画像表示パネルは、前記水平方向の視差ピッチが前記垂直方向の視差ピッチよりも大きくなるように構成されたこと特徴とする立体画像表示装置。
(Supplementary note 17): Fourth embodiment (horizontal viewpoint pitch> vertical viewpoint pitch)
In the stereoscopic image display device according to the above-mentioned supplementary notes 14 to 16,
One of the first direction and the second direction is in the horizontal direction parallel to the straight line connecting the left eye and the right eye of the observer, and the other is perpendicular to the horizontal direction. When along the vertical direction,
A stereoscopic image display apparatus characterized in that the stereoscopic image display panel is configured such that the parallax pitch in the horizontal direction is larger than the parallax pitch in the vertical direction.
(付記18):第5実施形態等
前記付記1乃至13の何れか1つに記載の立体画像表示装置において、
前記光線分離手段は、前記各画素の配列方向のうちの一の方向(x方向:光線分離方向)に光線を分離する構造を有し、
前記画像生成処理部は、前記各画素の配列方向のうちの他の方向(前記表示面内にて前記一の方向に垂直な方向:y方向)にかかる前記観察者の位置に応じた画像を生成し前記立体画像表示パネルに向けて出力することを特徴とした立体画像表示装置。
(Supplementary Note 18) Fifth Embodiment, Etc. In the stereoscopic image display device according to any one of
The light beam separating means has a structure for separating a light beam in one of the array directions of the respective pixels (x direction: light beam separating direction),
The image generation processing unit generates an image according to the position of the observer in another direction (direction perpendicular to the one direction in the display surface: y direction) of the arrangement direction of the respective pixels. A stereoscopic image display apparatus characterized in that it is generated and output toward the stereoscopic image display panel.
(付記19)第1乃至第4実施形態
前記付記1乃至18の何れか1つに記載の立体画像表示装置と、
この立体画像表示装置を内包する筺体と、を有することを特徴とした端末装置。
(Supplementary note 19) First to fourth embodiments The stereoscopic image display device according to any one of
And a case containing the stereoscopic image display device.
(付記20)
複数の画素が配列された表示パネル及びこの表示パネルの表示面側に設けられ前記各画素の配列方向に応じた複数のN視点(Nは2以上の自然数)に向けて当該各画素からの視差画像を分離する光線分離手段を含む立体画像表示パネルと、前記表示面に対向する観察者の位置を計測する観察者位置計測部と、この計測結果に応じて前記視差画像を生成する表示コントローラと、を有する立体画像表示装置にあって、
前記観察者の観察位置を前記観察者位置計測部が計測し、
この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を前記表示コントローラが算出し、
予め設定されたJ視点分(J>N)の視点画像を前記表示コントローラが生成し、
この生成した視点画像の中から前記相対位置に応じた複数の視点画像を前記表示コントローラが特定し、
この特定した前記複数の視点画像を前記表示コントローラが前記立体画像表示パネルに向けて出力することを特徴とした立体画像表示方法。
(Supplementary Note 20)
A display panel on which a plurality of pixels are arranged, and a parallax from each pixel toward a plurality of N viewpoints (N is a natural number of 2 or more) according to the arrangement direction of the respective pixels provided on the display surface side of the display panel A stereoscopic image display panel including light beam separation means for separating an image; an observer position measurement unit for measuring the position of an observer facing the display surface; a display controller for generating the parallax image according to the measurement result In a stereoscopic image display device having
The observer position measurement unit measures the observation position of the observer;
The display controller calculates the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result,
The display controller generates viewpoint images for J viewpoints (J> N) set in advance,
The display controller specifies a plurality of viewpoint images corresponding to the relative position among the generated viewpoint images;
A stereoscopic image display method characterized in that the display controller outputs the specified plurality of viewpoint images to the stereoscopic image display panel.
(付記21)
複数の画素が配列された表示パネル及びこの表示パネルの表示面側に設けられ前記各画素の配列方向に応じた複数のN視点(Nは2以上の自然数)に向けて当該各画素からの視差画像を分離する光線分離手段を含む立体画像表示パネルと、前記表示面に対向する観察者の位置を計測する観察者位置計測部と、この計測結果に応じて前記視差画像を生成する表示コントローラと、を有する立体画像表示装置にあって、
前記観察者の観察位置を前記観察者位置計測部が計測し、
この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を前記表示コントローラが算出し、
予め設定されたJ視点(J>N)の中から前記相対位置に基づいて画像出射用の複数の視点を前記表示コントローラが特定し、
この特定した複数の視点に応じた視点画像を前記表示コントローラが生成してこれを前記立体画像表示パネルに向けて出力することを特徴とした立体画像表示方法。
(Supplementary Note 21)
A display panel on which a plurality of pixels are arranged, and a parallax from each pixel toward a plurality of N viewpoints (N is a natural number of 2 or more) according to the arrangement direction of the respective pixels provided on the display surface side of the display panel A stereoscopic image display panel including light beam separation means for separating an image; an observer position measurement unit for measuring the position of an observer facing the display surface; a display controller for generating the parallax image according to the measurement result In a stereoscopic image display device having
The observer position measurement unit measures the observation position of the observer;
The display controller calculates the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result,
The display controller specifies a plurality of viewpoints for image emission based on the relative position among J viewpoints (J> N) set in advance,
A stereoscopic image display method characterized in that the display controller generates viewpoint images corresponding to the plurality of identified viewpoints and outputs the generated images to the stereoscopic image display panel.
(付記22)
複数の画素が配列された表示パネル及びこの表示パネルの表示面側に設けられ前記各画素の配列方向に応じた複数のN視点(Nは2以上の自然数)に向けて当該各画素からの視差画像を分離する光線分離手段を含む立体画像表示パネルと、前記表示面に対向する観察者の位置を計測する観察者位置計測部と、この計測結果に応じて前記視差画像を生成する表示コントローラと、を有する立体画像表示装置にあって、
前記観察者の観察位置を計測する観察者計測手段、
この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を算出する観察者位置算出手段、
予め設定されたJ視点分(J>N)の視点画像を生成した上で、この生成した視点画像の中から前記相対位置に応じた複数の視点画像を特定すると共に、この特定した複数の視点画像を前記立体画像表示パネルに向けて出力する画像生成処理手段、
として、前記表示コントローラに予め設けられたコンピュータを機能させることを特徴とした立体画像表示プログラム。
(Supplementary Note 22)
A display panel on which a plurality of pixels are arranged, and a parallax from each pixel toward a plurality of N viewpoints (N is a natural number of 2 or more) according to the arrangement direction of the respective pixels provided on the display surface side of the display panel A stereoscopic image display panel including light beam separation means for separating an image; an observer position measurement unit for measuring the position of an observer facing the display surface; a display controller for generating the parallax image according to the measurement result In a stereoscopic image display device having
Observer measurement means for measuring the observation position of the observer;
Observer position calculation means for calculating the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result;
After generating viewpoint images for J viewpoints (J> N) set in advance, a plurality of viewpoint images corresponding to the relative position are specified from among the generated viewpoint images, and the plurality of specified viewpoints are specified. Image generation processing means for outputting an image toward the stereoscopic image display panel;
A three-dimensional image display program characterized by causing a computer provided in advance to the display controller to function.
(付記23)
複数の画素が配列された表示パネル及びこの表示パネルの表示面側に設けられ前記各画素の配列方向に応じた複数のN視点(Nは2以上の自然数)に向けて当該各画素からの視差画像を分離する光線分離手段を含む立体画像表示パネルと、前記表示面に対向する観察者の位置を計測する観察者位置計測部と、この計測結果に応じて前記視差画像を生成する表示コントローラと、を有する立体画像表示装置にあって、
前記観察者の観察位置を計測する観察者計測手段、
この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を算出する観察者位置算出手段、
予め設定されたJ視点(J>N)の中から前記相対位置に基づいて画像出射用の複数の視点を特定すると共に、この特定した複数の視点に応じた視点画像を生成してこれを前記立体画像表示パネルに向けて出力する画像生成処理手段、
として、前記表示コントローラに予め設けられたコンピュータを機能させることを特徴とした立体画像表示プログラム。
(Supplementary Note 23)
A display panel on which a plurality of pixels are arranged, and a parallax from each pixel toward a plurality of N viewpoints (N is a natural number of 2 or more) according to the arrangement direction of the respective pixels provided on the display surface side of the display panel A stereoscopic image display panel including light beam separation means for separating an image; an observer position measurement unit for measuring the position of an observer facing the display surface; a display controller for generating the parallax image according to the measurement result In a stereoscopic image display device having
Observer measurement means for measuring the observation position of the observer;
Observer position calculation means for calculating the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result;
A plurality of viewpoints for image output are specified based on the relative position from among J viewpoints (J> N) set in advance, and viewpoint images corresponding to the specified plurality of viewpoints are generated and then generated. Image generation processing means for outputting to a stereoscopic image display panel,
A three-dimensional image display program characterized by causing a computer provided in advance to the display controller to function.
本発明にかかる立体画像表示装置は、画像を表示する多様な表示装置に適用可能である。 The stereoscopic image display device according to the present invention is applicable to various display devices that display images.
1 立体画像表示装置
10,210 立体画像表示パネル
11,211 表示パネル
12 光線分離手段
15 レンズ
21 表示パネル駆動回路
22 画像振分制御回路
24,25 表示コントローラ
30 画像生成処理部
31 演算器
32 データ蓄積部
33 メモリ
34 外部IF
40 相対位置算出部
45 観察者位置計測部
50a,51a,52a 第1視点領域(水平方向)
50b,51b,52b 第2視点領域(水平方向)
50c,51c,52c 第3視点領域(水平方向)
50d,51d,52d 第4視点領域(水平方向)
51aa,51ab,51ac,51ad 第1視点領域サブ領域
54a,55a 第1視点領域(垂直方向)
55b,56b 第2視点領域(垂直方向)
59a,59b,59c,59d 光線
60a,61a 第1視点用画像
60b,61b 第2視点用画像
61c 第3視点用画像
61d 第4視点用画像
61e 第5視点用画像
61f 第6視点用画像
64 3Dオブジェクト
65a 第1視点用カメラ
65b 第2視点用カメラ
65c 第3視点用カメラ
65d 第4視点用カメラ
65e 第5視点用カメラ
65f 第6視点用カメラ
66 交点
70a,70b,71b,72a 3Dクロストーク値
80,81,82 立体視域
90,91,92 立体視域
92a,92b,92c,92d,92e 立体視域
85 逆視領域
100 観察者
101 左眼(観察者左眼)
102 右眼(観察者右眼)
110a,110b,110c,110d 位置(観察者位置)
111a,111d,112a,112d 位置(観察者位置)
113a,113b,113c,113d 位置(観察者位置)
114a,114b,114c 位置(観察者位置)
115a,115b,115c,115d 位置(観察者位置)
150 検出部
151 傾き角検出手段
221 画素(4×4サブ画素)
234 サブ画素R
235 サブ画素B
236 サブ画素G
237 サブ画素W
241,241’ 第1配置状態におけるサブ画素群(第1視点領域)
242,242’ 第1配置状態におけるサブ画素群(第2視点領域)
243,243’ 第1配置状態におけるサブ画素群(第3視点領域)
244,244’ 第1配置状態におけるサブ画素群(第4視点領域)
245,245’ 第2配置状態におけるサブ画素群(第1視点領域)
246,246’ 第2配置状態におけるサブ画素群(第2視点領域)
247,247’ 第2配置状態におけるサブ画素群(第3視点領域)
248,248’ 第2配置状態におけるサブ画素群(第4視点領域)
250 光線分離手段
251 レンズアレイ素子
261 第1視点用サブ画素
262 第2視点用サブ画素
263 画素
300 端末装置
310 筐体
DESCRIPTION OF
40 Relative
50b, 51b, 52b second viewpoint area (horizontal direction)
50c, 51c, 52c Third viewpoint area (horizontal direction)
50d, 51d, 52d Fourth viewpoint area (horizontal direction)
51aa, 51ab, 51ac, 51ad First viewpoint
55b, 56b second viewpoint area (vertical direction)
59a, 59b, 59c,
102 Right eye (observer right eye)
110a, 110b, 110c, 110d positions (observer positions)
111a, 111d, 112a, 112d position (observer position)
113a, 113b, 113c, 113d position (observer position)
150
234 Sub-pixel R
235 sub pixels B
236 Sub-pixel G
237 Sub-pixel W
241, 241 'Sub-pixel group (first viewpoint region) in the first arrangement state
242, 242 'Sub-pixel group in the first arrangement state (second viewpoint area)
243, 243 'Sub-pixel group in the first arrangement state (third viewpoint area)
244, 244 'Sub-pixel group in the first arrangement state (fourth viewpoint region)
245, 245 'Sub-pixel group in the second arrangement state (first viewpoint area)
246, 246 'Sub-pixel group (second viewpoint area) in the second arrangement state
247, 247 'Sub-pixel group in the second arrangement state (third viewpoint region)
248, 248 'Sub-pixel group in the second arrangement state (fourth viewpoint region)
Claims (13)
前記表示面に対向する観察者の観察位置を計測する観察者位置計測部と、
この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を算出する相対位置算出部と、
予め設定されたJ視点分(J>N)の視点画像を生成する機能を有すると共に、前記N視点を構成する各視点に応じた1つ以上の視点画像を前記相対位置に対応づけて生成し前記立体画像表示パネルに向けて出力する画像生成処理部と、を有し、
前記画像生成処理部は、前記視点数Nが3以上である場合に、前記観察者の左右の眼の何れもが位置していない視点領域への視点画像を当該観察者の移動方向に基づいて選定すると共に、この選定した視点画像を前記立体画像表示パネルに向けて出力することを特徴とした立体画像表示装置。 A display panel on which a plurality of pixels are arranged, and a plurality of N viewpoints (N is a natural number of 2 or more) provided on the display surface side of the display panel according to the arrangement direction of the respective pixels A stereoscopic image display panel comprising light beam separating means for separating parallax images;
An observer position measurement unit that measures the observation position of the observer facing the display surface;
A relative position calculation unit that calculates the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result;
While having a function of generating viewpoint images for J viewpoints (J> N) set in advance, at least one viewpoint image corresponding to each viewpoint constituting the N viewpoints is generated in association with the relative position An image generation processing unit for outputting toward the stereoscopic image display panel;
When the number N of viewpoints is 3 or more, the image generation processing unit determines a viewpoint image to a viewpoint area in which none of the left and right eyes of the observer are located based on the moving direction of the observer A stereoscopic image display apparatus characterized in that the selected viewpoint image is output to the stereoscopic image display panel while being selected.
前記表示面に対向する観察者の観察位置を計測する観察者位置計測部と、
この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を算出する相対位置算出部と、
予め設定されたJ視点分(J>N)の視点画像を生成する機能を有すると共に、前記N視点を構成する各視点に応じた1つ以上の視点画像を前記相対位置に対応づけて生成し前記立体画像表示パネルに向けて出力する画像生成処理部と、を有し、
前記画像生成処理部は、前記視点数Nが4以上である場合に、前記観察者の左右の眼の何れもが位置していない視点領域への視点画像を当該観察者の移動方向及び移動速度に基づいて選定すると共に、これを前記立体画像表示パネルに向けて出力することを特徴とした立体画像表示装置。 A display panel on which a plurality of pixels are arranged, and a plurality of N viewpoints (N is a natural number of 2 or more) provided on the display surface side of the display panel according to the arrangement direction of the respective pixels A stereoscopic image display panel comprising light beam separating means for separating parallax images;
An observer position measurement unit that measures the observation position of the observer facing the display surface;
A relative position calculation unit that calculates the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result;
While having a function of generating viewpoint images for J viewpoints (J> N) set in advance, at least one viewpoint image corresponding to each viewpoint constituting the N viewpoints is generated in association with the relative position An image generation processing unit for outputting toward the stereoscopic image display panel;
When the number of viewpoints N is four or more, the image generation processing unit moves the viewpoint image to the viewpoint area where none of the left and right eyes of the observer are located, the moving direction and the moving speed of the observer A stereoscopic image display apparatus characterized by selecting it based on the above and outputting it toward the stereoscopic image display panel.
前記画像生成処理部は、前記観察者の左右の眼の何れもが位置していない視点領域として、当該観察者が移動前に位置する視点領域を起点とした第1乃至第(N−2)番目の隣接視点領域を選択することを特徴とした立体画像表示装置。 The three-dimensional image display device according to claim 2.
The image generation processing unit performs the first to (N-2) -th starting points from the viewpoint area where the observer is located before the movement as the viewpoint area in which neither the left nor right eye of the observer is located A stereoscopic image display apparatus characterized in that the second adjacent viewpoint region is selected.
前記表示面に対向する観察者の観察位置を計測する観察者位置計測部と、
この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を算出する相対位置算出部と、
予め設定されたJ視点分(J>N)の視点画像を生成する機能を有すると共に、前記N視点を構成する各視点に応じた1つ以上の視点画像を前記相対位置に対応づけて生成し前記立体画像表示パネルに向けて出力する画像生成処理部と、を有し、
前記立体画像表示パネルを、前記視点数Nが2である場合に、立体視認範囲が最大となる最適観察距離での各視点領域間の視点ピッチが前記観察者の両眼間隔よりも小さくなるように構成したことを特徴とする立体画像表示装置。 A display panel on which a plurality of pixels are arranged, and a plurality of N viewpoints (N is a natural number of 2 or more) provided on the display surface side of the display panel according to the arrangement direction of the respective pixels A stereoscopic image display panel comprising light beam separating means for separating parallax images;
An observer position measurement unit that measures the observation position of the observer facing the display surface;
A relative position calculation unit that calculates the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result;
While having a function of generating viewpoint images for J viewpoints (J> N) set in advance, at least one viewpoint image corresponding to each viewpoint constituting the N viewpoints is generated in association with the relative position An image generation processing unit for outputting toward the stereoscopic image display panel;
In the case of the stereoscopic image display panel, when the number of viewpoints N is 2, the viewpoint pitch between the viewpoint regions at the optimum viewing distance at which the stereoscopic viewing range becomes maximum becomes smaller than the binocular interval of the observer A three-dimensional image display apparatus characterized in comprising:
前記立体画像表示パネルを、前記視点ピッチをe,前記両眼間隔をd,予め設定された3Dクロストーク値以下である視点領域の範囲をfとした場合に、(e+f)>d>eの関係を満たすように構成したことを特徴とする立体画像表示装置。 In the three-dimensional image display device according to the fourth aspect,
Assuming that the viewpoint pitch is e, the inter-eye distance is d, and the range of the viewpoint region which is equal to or less than a preset 3D crosstalk value is f, the stereoscopic image display panel has (e + f)>d> e. A three-dimensional image display device characterized in that the relationship is satisfied.
前記表示面に対向する観察者の観察位置を計測する観察者位置計測部と、
この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を算出する相対位置算出部と、
予め設定されたJ視点分(J>N)の視点画像を生成する機能を有すると共に、前記N視点を構成する各視点に応じた1つ以上の視点画像を前記相対位置に対応づけて生成し前記立体画像表示パネルに向けて出力する画像生成処理部と、を有し、
前記視点数Nが3以上であり、立体視認範囲が最大となる最適観察距離での各視点領域間の視点ピッチをe,前記観察者の両眼間隔をdとした場合に、
前記立体画像表示パネルを、e×(N−2)≦d≦e×(N−1)の関係を満たすように構成したことを特徴とする立体画像表示装置。 A display panel on which a plurality of pixels are arranged, and a plurality of N viewpoints (N is a natural number of 2 or more) provided on the display surface side of the display panel according to the arrangement direction of the respective pixels A stereoscopic image display panel comprising light beam separating means for separating parallax images;
An observer position measurement unit that measures the observation position of the observer facing the display surface;
A relative position calculation unit that calculates the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result;
While having a function of generating viewpoint images for J viewpoints (J> N) set in advance, at least one viewpoint image corresponding to each viewpoint constituting the N viewpoints is generated in association with the relative position An image generation processing unit for outputting toward the stereoscopic image display panel;
When the number of viewpoints N is 3 or more and the viewpoint pitch between the viewpoint regions at the optimum observation distance where the stereoscopic visual recognition range is maximum is e and the inter-eye distance of the observer is d,
A stereoscopic image display apparatus characterized in that the stereoscopic image display panel satisfies the relationship of e × (N−2) ≦ d ≦ e × (N−1).
前記表示面に対向する観察者の観察位置を計測する観察者位置計測部と、
この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を算出する相対位置算出部と、
予め設定されたJ視点分(J>N)の視点画像を生成する機能を有すると共に、前記N視点を構成する各視点に応じた1つ以上の視点画像を前記相対位置に対応づけて生成し前記立体画像表示パネルに向けて出力する画像生成処理部と、を有し、
前記各画素は、M色(Mは1以上の自然数)の原色に色分けされたN×N個(Nは2以上の自然数)のサブ画素を有し、かつ前記表示パネル上にてマトリクス状に配置され、
前記光線分離手段は、前記視差画像に応じた前記各画素からの出射光を前記画素の配置に沿った第1方向及び第2方向に振り分ける光学素子を有し、
この光学素子は、前記各画素に対応づけられてマトリクス状に配置され、
前記各画素内で隣接する前記サブ画素は、相互に異なる配色であり、
前記サブ画素の配列ピッチは、前記第1及び第2方向にて均一であり、
前記各画素内では、前記第1方向と第2方向に対する同数の前記視差画像が表示され、
配色の異なる前記サブ画素の数が、前記視差画像内で等しいことを特徴とした立体画像表示装置。 A display panel on which a plurality of pixels are arranged, and a plurality of N viewpoints (N is a natural number of 2 or more) provided on the display surface side of the display panel according to the arrangement direction of the respective pixels A stereoscopic image display panel comprising light beam separating means for separating parallax images;
An observer position measurement unit that measures the observation position of the observer facing the display surface;
A relative position calculation unit that calculates the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result;
While having a function of generating viewpoint images for J viewpoints (J> N) set in advance, at least one viewpoint image corresponding to each viewpoint constituting the N viewpoints is generated in association with the relative position An image generation processing unit for outputting toward the stereoscopic image display panel;
Each of the pixels has N × N (N is a natural number of 2 or more) sub-pixels which are color-coded into M (M is a natural number of 1 or more) primary colors, and in a matrix on the display panel Placed
The light beam separating means has an optical element for distributing light emitted from each of the pixels according to the parallax image in a first direction and a second direction along the arrangement of the pixels.
The optical elements are arranged in a matrix in correspondence with each of the pixels.
The adjacent sub-pixels in each pixel have different color schemes from each other,
The arrangement pitch of the sub-pixels is uniform in the first and second directions,
In each of the pixels, the same number of parallax images in the first direction and the second direction are displayed,
A stereoscopic image display apparatus characterized in that the number of sub-pixels different in color arrangement is equal in the parallax image.
前記表示パネルを含む装置本体の変位を検出する検出部をさらに有し、
前記画像生成処理部は、前記相対位置と前記検出部からの変位情報とに基づいて前記視点画像を生成する機能を有することを特徴とした立体画像表示装置。 The three-dimensional image display device according to claim 7.
It further has a detection part which detects displacement of a device body including the display panel,
The stereoscopic image display apparatus, wherein the image generation processing unit has a function of generating the viewpoint image based on the relative position and displacement information from the detection unit.
前記検出部は、前記観察者の左目と右目とを結ぶ直線と平行な方向である水平方向と前記第1方向とが平行である第1配置状態にあるか、この水平方向と前記第2方向とが平行である第2配置状態にあるか、を判別する機能を有し、
前記画像生成処理部は、
原色数である前記Mの平方根√Mが整数となる場合には、前記Nを前記√Mで除した商(L)を前記水平方向及びこれと直交関係にある垂直方向の視点数とした上で、前記第1及び第2方向のそれぞれに応じた当該視点数分の視差を有する画像を生成し、
前記Mの平方根√Mが整数とならない場合には、前記Nを前記Mで除した商(L)を前記水平方向及び垂直方向の視点数とした上で、前記第1及び第2方向のそれぞれに応じた当該視点数分の視差を有する画像を生成することを特徴とした立体画像表示装置。 The three-dimensional image display device according to claim 8.
The detection unit may be in a first arrangement state in which a horizontal direction parallel to a straight line connecting the left eye and the right eye of the observer is parallel to the first direction, or the horizontal direction and the second direction. Has a function of determining whether and are in a second arrangement state in which
The image generation processing unit
When the square root M M of the M, which is the number of primary colors, is an integer, the quotient (L) obtained by dividing the N by the √ M is taken as the number of viewpoints in the horizontal direction and in the vertical direction orthogonal to this. And generating an image having parallax corresponding to the number of viewpoints corresponding to each of the first and second directions,
When the square root √ M of the M does not become an integer, the quotient (L) obtained by dividing the N by the M is the number of viewpoints in the horizontal direction and the vertical direction, and then each of the first and second directions A stereoscopic image display apparatus characterized in that an image having parallax corresponding to the number of viewpoints corresponding to is generated.
前記第1方向もしくは前記第2方向の何れか一方が、前記観察者の左目と右目とを結ぶ直線と平行な方向である水平方向に沿った状態にあり、他方が、前記水平方向と垂直な垂直方向に沿った状態にあるときに、
前記立体画像表示パネルは、前記水平方向の視差ピッチが前記垂直方向の視差ピッチよりも大きくなるように構成されたこと特徴とする立体画像表示装置。 The stereoscopic image display device according to any one of claims 7 to 9,
One of the first direction and the second direction is in the horizontal direction parallel to the straight line connecting the left eye and the right eye of the observer, and the other is perpendicular to the horizontal direction. When along the vertical direction,
A stereoscopic image display apparatus characterized in that the stereoscopic image display panel is configured such that the parallax pitch in the horizontal direction is larger than the parallax pitch in the vertical direction.
前記表示面に対向する観察者の観察位置を計測する観察者位置計測部と、
この計測結果に基づいて前記立体画像表示パネルに対する前記観察者の相対位置を算出する相対位置算出部と、
予め設定されたJ視点分(J>N)の視点画像を生成する機能を有すると共に、前記N視点を構成する各視点に応じた1つ以上の視点画像を前記相対位置に対応づけて生成し前記立体画像表示パネルに向けて出力する画像生成処理部と、を有し、
前記光線分離手段は、前記各画素の配列方向のうちの一の方向に光線を分離する構造を有し、
前記画像生成処理部は、前記各画素の配列方向のうちの他の方向にかかる前記観察者の位置に応じた画像を生成し前記立体画像表示パネルに向けて出力することを特徴とした立体画像表示装置。 A display panel on which a plurality of pixels are arranged, and a plurality of N viewpoints (N is a natural number of 2 or more) provided on the display surface side of the display panel according to the arrangement direction of the respective pixels A stereoscopic image display panel comprising light beam separating means for separating parallax images;
An observer position measurement unit that measures the observation position of the observer facing the display surface;
A relative position calculation unit that calculates the relative position of the observer with respect to the stereoscopic image display panel based on the measurement result;
While having a function of generating viewpoint images for J viewpoints (J> N) set in advance, at least one viewpoint image corresponding to each viewpoint constituting the N viewpoints is generated in association with the relative position An image generation processing unit for outputting toward the stereoscopic image display panel;
The light beam separating means has a structure for separating light beams in one of the arrangement directions of the respective pixels,
The image generation processing unit generates an image according to the position of the observer in another direction among the arrangement directions of the respective pixels, and outputs the image toward the stereoscopic image display panel. Display device.
前記視点数Nと視点数Jとが、J=s×N(係数sは2以上の自然数)なる関係を満たすことを特徴とした立体画像表示装置。 The stereoscopic image display device according to any one of the above 1 to 11,
A stereoscopic image display apparatus characterized in that the number of viewpoints N and the number of viewpoints J satisfy the relationship J = s × N (coefficient s is a natural number of 2 or more).
この立体画像表示装置を内包する筺体と、を有することを特徴とした端末装置。 A three-dimensional image display device according to any one of claims 1 to 12;
And a case containing the stereoscopic image display device.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013200197 | 2013-09-26 | ||
JP2013200197 | 2013-09-26 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014127895A Division JP6443654B2 (en) | 2013-09-26 | 2014-06-23 | Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018182745A true JP2018182745A (en) | 2018-11-15 |
JP6604493B2 JP6604493B2 (en) | 2019-11-13 |
Family
ID=64276990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018104597A Active JP6604493B2 (en) | 2013-09-26 | 2018-05-31 | Stereoscopic image display device and terminal device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6604493B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01317091A (en) * | 1988-06-17 | 1989-12-21 | Nippon Hoso Kyokai <Nhk> | Multi-directional stereoscopic video equipment |
JPH09160144A (en) * | 1995-12-12 | 1997-06-20 | Sharp Corp | Three-dimensional display device |
JP2002300611A (en) * | 2001-03-29 | 2002-10-11 | Namco Ltd | Image generating device, program, and information recording medium |
JP2005157332A (en) * | 2003-11-06 | 2005-06-16 | Nec Corp | Three-dimensional image display device, portable terminal device, display panel and fly eye lens |
JP2005250167A (en) * | 2004-03-04 | 2005-09-15 | Sony Corp | Device and method for stereoscopic display |
WO2010061689A1 (en) * | 2008-11-26 | 2010-06-03 | 日本電気株式会社 | Display device, terminal device, and display method |
-
2018
- 2018-05-31 JP JP2018104597A patent/JP6604493B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01317091A (en) * | 1988-06-17 | 1989-12-21 | Nippon Hoso Kyokai <Nhk> | Multi-directional stereoscopic video equipment |
JPH09160144A (en) * | 1995-12-12 | 1997-06-20 | Sharp Corp | Three-dimensional display device |
JP2002300611A (en) * | 2001-03-29 | 2002-10-11 | Namco Ltd | Image generating device, program, and information recording medium |
JP2005157332A (en) * | 2003-11-06 | 2005-06-16 | Nec Corp | Three-dimensional image display device, portable terminal device, display panel and fly eye lens |
JP2005250167A (en) * | 2004-03-04 | 2005-09-15 | Sony Corp | Device and method for stereoscopic display |
WO2010061689A1 (en) * | 2008-11-26 | 2010-06-03 | 日本電気株式会社 | Display device, terminal device, and display method |
Also Published As
Publication number | Publication date |
---|---|
JP6604493B2 (en) | 2019-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6443654B2 (en) | Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof | |
JP5316909B2 (en) | Stereoscopic image display device and display panel | |
KR101386221B1 (en) | Display apparatus | |
JP3966830B2 (en) | 3D display device | |
JP5332978B2 (en) | 3D display device | |
KR100658545B1 (en) | Apparatus for reproducing stereo-scopic picture | |
JP6277544B2 (en) | Stereoscopic image display device and terminal device | |
JP6154323B2 (en) | Video display device | |
US20170155893A1 (en) | Variable barrier pitch correction | |
CN104062762A (en) | Non-glasses Type Stereoscopic Image Display Device | |
US9883176B2 (en) | Display device | |
US20150237334A1 (en) | Stereoscopic display device | |
KR102218777B1 (en) | Autostereoscopic 3d display device | |
WO2008038425A1 (en) | Apparatus, method and computer program product for three-dimensional image processing | |
US20120113510A1 (en) | Display device and display method | |
KR20140022861A (en) | Display device and method, and program | |
JP4968655B2 (en) | Stereoscopic image display device, portable terminal device | |
US20140192047A1 (en) | Stereoscopic image display device, image processing device, and image processing method | |
TWI470274B (en) | Three - dimensional image display device | |
KR102279816B1 (en) | Autostereoscopic 3d display device | |
JP6604493B2 (en) | Stereoscopic image display device and terminal device | |
US20160205383A1 (en) | Multiview image display device | |
JP2012242544A (en) | Display device | |
KR102232462B1 (en) | Autostereoscopic 3d display device | |
KR20160080875A (en) | Stereoscopic display device and method of displaying 3d image having good quality to multi-user |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6604493 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |