JP2000152285A - Stereoscopic image display device - Google Patents

Stereoscopic image display device

Info

Publication number
JP2000152285A
JP2000152285A JP32213998A JP32213998A JP2000152285A JP 2000152285 A JP2000152285 A JP 2000152285A JP 32213998 A JP32213998 A JP 32213998A JP 32213998 A JP32213998 A JP 32213998A JP 2000152285 A JP2000152285 A JP 2000152285A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
observer
information
display
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP32213998A
Other languages
Japanese (ja)
Inventor
Hideki Morishima
Tomoshi Takigawa
Takasato Taniguchi
英樹 森島
智志 瀧川
尚郷 谷口
Original Assignee
Mr System Kenkyusho:Kk
株式会社エム・アール・システム研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To enable stereoscopic observation which is always normal even if a visual point changes by detecting both eyes of an observer in a face area, tracking both eyes, and enlarging or reducing the detected face area.
SOLUTION: According to previously set complexion color information, a video processing means 126 detects the face position of the observer. Control is so performed that while the observer is observing a display, the face area is always in the center of the screen and of constant size. In this face area, matching is carried out to detect both eye positions of the observer. The information on the visual point on the display is calculated from information on both eye positions on the screen and current zooming, panning, and tilting information on the camera from a camera control means 127 and sent to a signal composite circuit 330. Thus, the camera control means 127 enlarges or reduces the face area detected by the video processing means 126 having the function for detecting both eyes of the observer in the face area and the function for tracking both detected eyes.
COPYRIGHT: (C)2000,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は立体画像表示装置に関し、特にテレビ、ビデオ、コンピュータモニタ、ゲームマシン等のディスプレイデバイス(ディスプレイ)において画像情報の立体表示を行い、特殊な眼鏡を使用することなく該画像情報の立体観察を良好に行う際に好適なものである。 The present invention relates to relates to a stereoscopic image display apparatus, particularly television, video, computer monitor, in a display device such as a gaming machine (display) performs stereoscopic display of the image information, without using special glasses it is suitable for making good stereoscopic observation of the image information.

【0002】 [0002]

【従来の技術】従来より立体画像の観察方法としては、 As the observation method of a conventional than stereoscopic images,
例えば偏光眼鏡を用いて互いに異った偏光状態に基づく視差画像を左右眼で観察する方法や、レンチキュラーレンズを用いて複数の視差画像のうちから所定の視差画像を観察者の眼球に導光する方法等が提案されている。 For example, a method of observing the parallax images based on the polarization state different Tsu together using polarized glasses with the left and right eyes, is guided to the observer's eyeball predetermined parallax images from a plurality of parallax images using a lenticular lens method and the like have been proposed.

【0003】特殊な偏光眼鏡をかけることなく、立体画像表示を行うレンチキュラーレンズを用いた方法は、ディスプレイデバイスの観察者側にレンチキュラーレンズを設け、ディスプレイデバイス上に表示された視差画像の画素毎に指向性を与えて観察者に立体像を認識させている。 [0003] without imposing special polarized glasses, the method using a lenticular lens for displaying stereoscopic images, the lenticular lens provided on the observer side of the display device, each pixel of the displayed parallax images on a display device It is made to recognize a stereoscopic image to the viewer giving directivity. レンチキュラーレンズを用いた方式は偏光眼鏡を用いないで立体視が出来るという利点があるが、この方式によれば、ディスプレイの前面にレンチキュラーレンズシートを配置するため、画質が低下するという問題を有していた。 The method using a lenticular lens has the advantage that stereoscopic vision can without using polarizing glasses, but according to this method, in order to place the lenticular lens sheet in front of the display, the problem that image quality is degraded which was.

【0004】これに対し本発明者らは特願平8―148 [0004] In contrast the present invention have found that Japanese Patent Application No. 8-148
611号、特願平8―250943号や特願平10−2 611 Patent, Japanese Patent Application No. Hei 8-250943 and Japanese Patent Application No. 10-2
11119号等において広い視域(観察領域)において良好なる立体像が観察できる立体画像表示装置を提案している。 Wide visual field in No. etc. 11119 in (observation region) has proposed a three-dimensional image display device excellent Naru stereoscopic image can be observed.

【0005】同号では市松模様の透光部を有したマスクパターンと該マスクパターンを照明する光源手段と、水平方向と垂直方向とで光学作用の異なるマイクロ光学素子と透過型のディスプレイデバイスとを有し、該ディスプレイデバイスに右目用の視差画像と左目用の視差画像のそれぞれを多数のストライプ状の画素に分割して得たストライプ合成画像を表示し、該光源手段より射出する光束に該マイクロ光学素子で指向性を与えて該ストライプ合成画像を照射し、該ストライプ合成画像の視差画像に基づく光束を少なくとも2つの領域に分離させて該ストライプ合成画像を立体画像として観察者に視認せしめる立体表示装置を提案している。 [0005] checkerboard in Nos transparent portion and the mask pattern and a light source means for illuminating the mask pattern, the horizontal direction and the optical action in the vertical direction different from the micro-optical element and the transmission type display device a, displays the stripe combined image obtained by dividing each into a number of stripe-shaped pixels in the parallax image for parallax image and the left eye for the right eye on the display device, the micro to the light beam emerging from the light source means irradiating the stripe combined image giving directivity in the optical element, the stereoscopic display allowed to visually recognize the observer a light beam based on the parallax image of the stripe combined image the stripe combined image to be separated into at least two regions as a stereoscopic image It has proposed a system.

【0006】また、観察者の視点(本明細書では観察者の両眼の瞳孔の中心位置を視点と定義する。)近傍を視点検出機構で検出し、該視点位置情報により、該視差画像を切り換え表示したり、あるいは前記マスクパターンを離散的な画素構造を有する光変調器を用いて形成し、 [0006] (herein defined as the viewpoint of the center position of the pupil of both eyes of the observer.) Observer's viewpoint detecting the vicinity of the viewpoint detection mechanism, the convergent point position information, the parallax image switching or display, or formed using a light modulator having a discrete pixel structure of the mask pattern,
該マスクパターンの開口部を制御することにより広い立体視領域を有する立体表示装置を提案している。 It has proposed a stereoscopic display device having a wide stereoscopic area by controlling the opening of the mask pattern.

【0007】従来より視点近傍の位置検出装置が、例えば、特開平2−50145号公報やUSP5016282(priorit [0007] Position detecting apparatus conventionally viewpoint vicinity, for example, JP-A-2-50145 and USP5016282 (priorit
y pat. Application No.63-175899,63-193898,63-19389 y pat. Application No.63-175899,63-193898,63-19389
9,63-289761)に開示されている。 It is disclosed in 9,63-289761). 前者には観察者の両眼位置を検出する装置として5種の実施形態が開示されている。 Five embodiments as an apparatus for detecting discloses binocular position of the observer in the former. これらの各実施形態の特徴として、第1の実施形態は、複数の赤外受光器で観察者からの赤外反射光、または体温を検知することにより観察者の視点を推測する方法であり、第2の実施形態は、ライン状に受光素子を配列した1ヶのCCDイメージセンサーを受光器として使用する方法であり、第3の実施形態は発光光源と受光器が同一パッケージに入った装置であり、第4の実施形態は、光源を観察者の背面に配置し、観察者の前面に配置した受光器で光度分布を測定して観察者の位置を検出する方法であり、第5の実施形態は、観察者をTVカメラで撮影し、其の画像を画像処理技術によって処理することにより視点を検出する方法である。 As a feature of each of these embodiments, the first embodiment is a method to estimate the observer's viewpoint by detecting infrared light reflected, or the body temperature of the observer in a plurality of infrared light receiver, the second embodiment is a method of using one month of the CCD image sensor having an array of light receiving elements in a line shape as the light receiving device, the third embodiment is an apparatus photodetector and the light emitting source is entered in the same package There, the fourth embodiment is to place the light source on the back of the observer is a method for detecting the observer's position by measuring the light intensity distribution by the light receiver arranged in front of the viewer, the fifth embodiment of the form, taken observer in TV cameras, is a method of detecting the viewpoint by processing the image by image processing techniques.

【0008】後者はカメラの光軸に沿って赤外光を観察者に照射し、観察者の網膜、或いは角膜からの反射光を撮影し、その画像から目の位置、及び観察者の注視点(観察者が見ている点)を検出する方法を開示している。 [0008] The latter along the optical axis of the camera by irradiating infrared light to the observer, the observer's retina, or the reflected light from the cornea was photographed, the position of the eye from the image, and the viewer's gaze point It discloses a method for detecting (observer to point that seen).

【0009】しかし、赤外光を照射する方法は、観察距離に応じて赤外光の強度を調整する必要があり、又、赤外光を常時観察者の目に照射するため健康上の問題が懸念され、また、メガネ使用者の場合にはメガネによる反射光のため誤動作を生じやすいという欠点がある。 [0009] However, a method of irradiating infrared light, it is necessary to adjust the intensity of the infrared light in accordance with the viewing distance, also health for irradiating infrared light on the eye always viewer problem there is concern, also, in the case of an eyeglass user has the disadvantage that prone to malfunction because of the reflected light by the eyeglasses.

【0010】一方、観察者をTVカメラで撮影して画像処理により両眼位置を推測する方法は、検出位置精度を高めようとすれば、大容量の画像情報の処理に時間がかかり、又、情報量の少ない画像では検出精度が十分に得られないと云う問題があった。 On the other hand, a method to estimate the binocular position by photography to the image processing observer TV camera, if trying to increase the detection position accuracy, it takes time to process the image information of a large capacity, and, the small amount of information the image there is a problem that the detection accuracy is not sufficiently obtained.

【0011】 [0011]

【発明が解決しようとする課題】本発明は上記本発明者らが提案した立体画像表示装置を更に改良し、又、前記従来の視点検出の欠点を克服した視点検出機構を搭載し、かつメガネなどを必要としないで立体画像を観察することができる立体画像表示装置の提供を目的とする。 [0008] The present invention further improve the stereoscopic image display apparatus in which the present inventors have proposed, also equipped with a viewpoint detection mechanism which overcomes the drawbacks of the conventional viewpoint detection, and eyeglasses and an object thereof is to provide a stereoscopic image display apparatus can observe the stereoscopic image without the need for such.

【0012】又、本発明は、観察者がディスプレイに表示した立体画像を観察しているとき、観察者が移動し、 [0012] Further, the present invention is, when the observer observes the stereoscopic image displayed on the display, the observer moves,
視点が変化した場合にも、視点を精度良く検出する検出機構を用いて、広い観察域において、観察者に常時正常な立体観察を可能とする立体画像表示装置の提供を目的とする。 Viewpoint even when changes, viewpoint using a detection mechanism to accurately detect, at a wide observation range, and an object thereof is to provide a stereoscopic image display device capable of always normal stereoscopic observation to the observer.

【0013】又、本発明は、同時に表示される視差画像が左右両眼に対応する2ヶの視差画像からなり、観察者が移動し、視点が変化した場合にも逆立体視の生ずることなく常時正常な立体観察が可能で、かつ視点に応じた立体画像の観察できる立体画像表示装置の提供を目的とする。 [0013] Further, the present invention consists of two months of parallax images is a parallax image to be displayed simultaneously corresponding to left and right eyes, the observer moves, also without causing a reverse stereoscopic when the viewpoint is changed can always normal stereoscopic observation, and for the purpose of providing a stereoscopic image display device capable of observing a stereoscopic image according to the viewpoint. 又、本発明は、観察者がディスプレイに表示した立体画像の観察可能領域外に位置した場合には警告を表示することや、視点検出用のビデオカメラを例えばT The present invention also or displaying a warning if the observer is positioned outside the viewable area of ​​the three-dimensional image displayed on the display, a video camera for detecting the point of sight for example T
V会議用カメラ、あるいは監視用カメラとして使用可能とするなどして、使用者の利便性を高めた立体画像表示装置の提供を目的とする。 V conference camera or, for example, by usable as a surveillance camera, and an object thereof is to provide a stereoscopic image display device with improved convenience for the user.

【0014】 [0014]

【課題を解決するための手段】本発明の立体画像表示装置は、 (1-1)観察者の視点を検出する視点検出機構と、観察者の左右両眼に対応した視差画像を視点情報に追従制御して表示するディスプレイとデバイスとを用いて、該視差画像を立体的に観察する立体画像表示装置において、該視点検出機構は、観察者を映像情報として取り込む撮像手段、該撮像手段で取り込まれた観察者の映像情報から顔領域を検出し、該顔領域から観察者の両眼を検出する機能と検出された両眼をトラッキングする機能を有した映像処理手段、該映像処理手段で検出された顔領域を拡大、又は縮小するカメラ制御手段、とを有していることを特徴としている。 SUMMARY OF THE INVENTION The stereoscopic image display device of the present invention, (1-1) and the viewpoint detection mechanism for detecting the observer's viewpoint, the parallax images corresponding to the left and right eyes of the viewer viewpoint information by using the display and device for displaying tracking control to a stereoscopic image display device stereoscopically observe the parallax image, convergent point detection mechanism, an imaging means for capturing an observer as an image information, taken by the image pickup means detecting the observer's face area from the image information of that, the image processing unit having a function to track both eyes detected as a function of detecting both eyes of the observer from said pigment areas, detected by said video processing means larger face area that is, or the camera control unit for reducing, is characterized by having a city.

【0015】特に、 (1-1-1)前記撮像手段は、ビデオカメラを有し、前記カメラ制御手段は該ビデオカメラをパン・チルトする機構を有していること。 [0015] In particular, (1-1-1) the imaging means comprises a video camera, said camera control means to have a mechanism to pan and tilt the video camera. (1-1-2)前記撮像手段からの映像信号、及び前記カメラ制御手段からのズーム・パン・チルトの制御信号を外部に取り出すための信号切り換え手段を有すること。 (1-1-2) have a signal switching means for extracting the video signal from the imaging means, and a zoom pan-tilt control signal from the camera control unit to the outside. (1-1-3)前記映像処理手段は、取り込まれれた観察者の映像情報から予め設定された色情報を識別すること。 (1-1-3) the image processing means, to identify the color information set in advance from the captured observers of the video information. (1-1-4)前記予め設定された色情報は観察者の顔の色、 (1-1-4) the preset color information of the face of the observer color,
あるいは標準的肌色であること。 Alternatively, it is standard skin color. (1-1-5)前記映像処理手段により予め設定された情報を識別する際、取り込まれた映像情報の中にその色に該当する領域が検出されなかった場合には、前記ビデオカメラの焦点距離を短焦点距離側に制御し、検出された場合には予め設定した焦点距離に制御すること。 (1-1-5) when identifying a preset information by the image processing means, when the area corresponding to that color in the captured image information is not detected, the focus of the video camera the distance is controlled in the short focal length side, and controls the focal length set in advance when it is detected that. (1-1-6)前記映像処理手段により予め設定された色情報を識別する際、取り込まれた映像情報の中にその色情報に該当する領域が検出されなかった場合には、それを観察者にしらせるための警告手段を有すること。 (1-1-6) in identifying the color information set in advance by the image processing means, when the area corresponding to the color information in the captured image information is not detected, observing it it has a warning means for known to persons. (1-1-7)前記映像処理手段は、取り込まれれた観察者の映像情報から予め設定されたパターン領域を識別すること。 (1-1-7) the image processing means to identify a preset pattern area from the image information of the captured observers. (1-1-8)前記予め設定されたパターンは観察者の目、または標準的な目、目の近傍、あるいは光彩など目を構成する部分画像であること。 (1-1-8) that said predetermined pattern is a partial image constituting the observer's eye or standard eye, near the eye, or the eye such as iris. (1-1-9)前記予め設定された色、あるいはパターンを観察者の顔映像情報から作成するための映像処理手段、およびその情報を記録するための映像記録手段を有することを。 (1-1-9) image processing means for generating from said preset color or pattern the observer's face image information, and to have a video recording means for recording the information. (1-1-10)前記ビデオカメラで取り込まれた観察者の顔映像情報をディスプレイ表示部に表示するための切り換え手段を有すること。 (1-1-10) The facial image information of the observer taken by said video camera to have a switching means to be displayed on the display section. (1-1-11)前記ディスプレイ表示部に表示された観察者の顔映像を観察者が手動で、表示画面上で予め定められた位置、大きさに設定するための操作手段を有すること。 (1-1-11) The viewer the displayed viewer's face image to the display section is manually predetermined position on the display screen, it has an operation means for setting the size. (1-1-12)前記映像処理手段は、パターン認識により特定パターンをトラッキングすること。 (1-1-12) the image processing means, tracking the specific pattern by pattern recognition. (1-1-13)前記特定パターンは観察者の目、または標準的な目、目の近傍、あるいは光彩など目を構成する部分画像であり、両眼をトラッキングしているときの両眼間隔(ビデオカメラから見込む)が規定の値以外のときに警告を発する警告手段を有すること等を特徴としている。 (1-1-13) the specific pattern is a partial image constituting the observer's eye or standard eye, near the eye, or the eye such as iris, binocular interval when being tracked binocular (expected from a video camera) is like characterized in that it has a warning means for issuing a warning when a non defined value.

【0016】(1-2)離散的な画素構造を有する光変調器と該光変調器の表示面に透光部と遮光部とを複数個、所定のピッチで水平方向と垂直方向に配列したマスクパターンと、該光変調器に光を照射する光源手段と、離散的な画素構造を有し走査線を利用して合成視差画像を表示したディスプレイと、該ディスプレイに表示した視差画像に該マスクのパターンでパターン化した光束を照射し、該視差画像に基づく光束を観察者の右目と左目に導光して、該ディスプレイに表示した画像情報を立体的に観察する、ディスプレイデバイスと観察者の視点情報を検出する視点検出機構を有する立体画像表示装置において、該合成視差画像を、左右眼に対応する2ヶの原視差画像から構成し、該視点検出機構からの視点情報に基づき、該マスクパターン [0016] (1-2) arranged on the display surface of the discrete optical modulator and optical modulator having a pixel structure and a light transmission part and the light shielding part plurality, in the horizontal direction and the vertical direction at a predetermined pitch and the mask pattern, light and light source means for irradiating the modulator to the light, discrete and display a pixel structure using the scanning line displaying the synthetic parallax image, the mask on the parallax image displayed on the display of a light beam irradiated was patterned with the pattern, and guides the light beam based on the parallax image to the observer's right and left eyes, stereoscopically observe the image information displayed on the display, the display device and the viewer's in the stereoscopic image display device having the viewpoint detection mechanism for detecting the viewpoint information, the synthetic parallax image is constituted from two months of the original parallax images corresponding to the left and right eyes, based on the viewpoint information from the visual point detection mechanism, the mask pattern パターン形状、及び該合成視差画像を構成する現視差画像を切り換えて表示することを特徴としている。 It is characterized in that the pattern shape, and the display by switching the current parallax images constituting the synthesized parallax image.

【0017】特に、 (1-2-1)前記合成視差画像を構成する2ヶの原視差画像は眼間距離対応した視点から観察した画像であること。 [0017] In particular, (1-2-1) that the original parallax images of two months that constitute the synthetic parallax image is an image observed from the viewpoint that the interocular distance corresponding. (1-2-2)該光変調器のマスクパターンの透光部の水平要素を複数の画素から構成し、観察位置に投射されるストライプ状の照射領域を複数の領域に分割して制御すること等を特徴としている。 (1-2-2) the horizontal elements of the light transmitting portion of the mask pattern of the optical modulator is composed of a plurality of pixels, for controlling by dividing the striped illumination area is projected on the observation position in the plurality of regions It is characterized in the ancient capital, and the like.

【0018】本発明の立体画像表示方法は、 (2-1)ディスプレイに表示した視差画像に基づく立体画像を観察する観察者を映像情報として取り込む工程、該観察者の映像情報より該観察者の顔領域を検出する工程、該観察者の顔領域から観察者の眼球を検出する工程、該観察者の眼球をトラッキングする工程、該検出した観察者の眼球より観察者の視点情報を検出する工程、 The stereoscopic image display method of the present invention, (2-1) taking the observer who observes the stereoscopic image based on the parallax image displayed on the display as the image information process, of the observer than the image information of the viewer a step of detection step, a step of detecting the observer's eyeball from the viewer's face area, the step of tracking the eye of the observer, the viewpoint information of the viewer from the viewer's eye to the detected that detects a face area ,
該観察者の視点情報に基づいて該ディスプレイに表示する視差画像を追従制御する工程とを含むことを特徴としている。 Based on the observer's viewpoint information it is characterized by comprising the step of tracking control a parallax image to be displayed on the display.

【0019】特に、 (2-1-1)前記取り込んだ観察者の映像情報と予め設定した色情報とを識別する工程を含むこと。 [0019] In particular, (2-1-1) include identifying the color information set in advance and the acquired viewer of the video information. (2-1-2)前記取り込んだ観察者の映像情報の中に予め設定した色情報が存在しないときには、該観察者の映像情報を取り込み方法を変化させる工程を含むこと。 (2-1-2) When the color information set in advance in the image information of the captured observer is not present, include the step of changing the method captures video information of the viewer. (2-1-3)前記取り込んだ観察者の映像情報の中に予め設定した色情報が存在しないときには、警告信号を発する工程を含むこと等を特徴としている。 (2-1-3) When the color information set in advance in the image information of the captured observer is not present is characterized such further comprising the step of issuing a warning signal.

【0020】 [0020]

【発明の実施の形態】[実施形態1]本発明の立体画像表示装置の実施形態1を、図1から図21を用いて説明する。 The first embodiment of the stereoscopic image display apparatus of the embodiment of the invention] [Embodiment 1] The present invention will be described with reference to FIG. 21 from FIG. 図1は本発明の実施形態1の外観図である。 Figure 1 is an external view of a first embodiment of the present invention. 同図において、100は本装置全体を示す本体である。 In the figure, 100 is a body showing the entire apparatus. 11 11
0はディスプレイ表示部である。 0 is the display display unit. 111はディスプレイ表示部110のなかで立体像(視差画像)が表示される3Dウインドウである。 111 is a 3D window stereoscopic image among the display section 110 (parallax images) is displayed. 120は観察者の眼球情報、例えば視点を検出するための眼球検出手段、例えば視点検出機構で121は、視点検出機構の一構成要素であるビデオカメラである。 120 eye information of the viewer, the eye detecting means for detecting a viewpoint for example, for example, 121 in view point detection mechanism is a video camera which is a component of a viewpoint detection mechanism.

【0021】図2は実施形態1のシステムを説明したシステムブロック図である。 [0021] FIG. 2 is a system block diagram for explaining the system of the first embodiment. 同図においてディスプレイ表示部110は、液晶等の透過型ディスプレイデバイス(ディスプレイ)210、離散的画素構造を持つ液晶などからなる光変調器240、バックライト光源(光源手段)250、および、ディスプレイ210と光変調器2 The display section 110 in the figure, the transmission type display device (display) 210 such as a liquid crystal optical modulator 240 composed of a liquid crystal having a discrete pixel structure, a backlight source (light source means) 250, and a display 210 The optical modulator 2
40との間に配置された母線方向が直交する2枚のレンチキュラーレンズ220,230からなる。 Is arranged generatrix direction between 40 composed of two lenticular lenses 220 and 230 orthogonal.

【0022】ディスプレイ210には、視差のある立体像(視差画像)や視差のない普通の2次元画像が表示される。 [0022] the display 210, three-dimensional images with a parallax (parallax images) and no parallax ordinary two-dimensional image is displayed. 視差画像の表示される領域が図1の3Dウインド111に相当する。 Region displayed parallax image corresponds to the 3D window 111 of FIG.

【0023】260はディスプレイ駆動回路で、画像処理手段270からの信号に基づきディスプレイ210に画像の表示を行っている。 [0023] 260 is a display driving circuit, which performs display of the image on the display 210 based on a signal from the image processing unit 270. 画像処理手段270からは3 3 from the image processing unit 270
Dウインドウ111の大きさ、位置情報が信号合成回路330に出力される。 The size of the D window 111, the position information is outputted to the signal combining circuit 330.

【0024】視点検出機構120で検出された観察者2 [0024] point detection mechanism 120 is detected by observers 2
80の視点情報も信号合成回路330に出力される。 Viewpoint information 80 also is output to the signal synthesizing circuit 330.

【0025】信号合成回路330は、この両情報をもとに光変調器240を駆動するための情報を生成し、光変調器駆動回路320に情報を出力する。 The signal synthesizing circuit 330, generates information for driving the optical modulator 240 to both the information on the basis, and outputs the information to the optical modulator driving circuit 320.

【0026】光変調器240は光変調器駆動回路320 The optical modulator 240 is an optical modulator driving circuit 320
によって駆動され、その表示面に3Dウインドウ部に対応する領域には市松状のマスクパターン、2次元画像表示部に対応する領域には一様濃度の表示を行う。 Is driven by, a checkered pattern of the mask pattern in a region corresponding to the 3D window portion on the display surface, the display of uniform density in a region corresponding to the 2-dimensional image display unit.

【0027】280はディスプレイ210の観察者である。 [0027] 280 is an observer of the display 210.

【0028】図3は3Dウインドウ部111の要部概略図である。 [0028] FIG. 3 is a schematic view showing the main part of the 3D window part 111.

【0029】図3において、250はバックライト光源(光源手段)、240は離散的な画素構造を有する光変調器でその表示面に光が透過する透光部(開口部)24 [0029] In FIG. 3, 250 backlight source (light source means), 240 transparent portion light on the display surface by an optical modulator having a discrete pixel structure is transmitted (opening) 24
2、遮光部243からなるマスクパターン241が形成されている。 2, the mask pattern 241 is formed consisting of the light-shielding portion 243.

【0030】230は水平方向Xに母線を有する横レンチキュラーレンズ(横シリンドリカルレンズアレイ)であり、多数の平凸形状の横シリンドリカルレンズを垂直方向Yに並べて構成している。 [0030] 230 is a horizontal lenticular lens (horizontal cylindrical lens array) having a generatrix horizontally X, constitute side by side horizontal cylindrical lenses of a number of plano-convex shape in the vertical direction Y. 横レンチキュラーレンズ230は、マスクパターン241の透光部242、遮光部243が、ディスプレイデバイス210の画像表示面に結像するようにレンズ曲率を設定している。 Horizontal lenticular lens 230, the light transmitting portion 242 of the mask pattern 241, the shielding portion 243 is set to the lens curvature to image on the image display surface of the display device 210. また、横レンチキュラーレンズ230のレンズピッチ(幅)Vl The lens pitch (width) of the horizontal lenticular lens 230 Vl
は,マスクパターン241の透光部242、遮光部24 The translucent portion 242 of the mask pattern 241, the light shielding portion 24
3の垂直方向の幅Vmの1倍、または2倍に対応するように設定している。 3 of 1 times the vertical width Vm, or are set so as to correspond to twice. 本実施形態では2倍の場合を示している。 In the present embodiment shows the case of two-fold.

【0031】220は垂直方向Yに母線を有する縦レンチキュラレンズ(縦シリンドリカルレンズアレイ)であり、多数の平凸形状の縦シリンドリカルレンズを水平方向Xに並べて構成している。 [0031] 220 is a vertical lenticular lens having a generatrix in the vertical direction Y (vertical cylindrical lens array) is constituted by arranging a vertical cylindrical lenses of a number of plano-convex shape in the horizontal direction X. 縦レンチキュラーレンズ2 Vertical lenticular lens 2
20を構成する各シリンドリカルレンズは、マスクパターン241が観察位置に結像するようにレンズ曲率を設定している。 Each cylindrical lens constituting the 20 sets the lens curvature as the mask pattern 241 is imaged on the observation position.

【0032】マスクパターン241の透光部242、遮光部243の水平方向ピッチHmは縦レンチキュラーレンズ220の縦シリンドリカルレンズの1ピッチ(幅) The light transmitting portion 242 of the mask pattern 241, the horizontal pitch Hm is one pitch of the vertical cylindrical lenses of the vertical lenticular lens 220 of the light-shielding portion 243 (width)
Hlに対応している。 It corresponds to the Hl.

【0033】尚、図3では、ディスプレイデバイス21 [0033] In FIG. 3, the display device 21
0、光変調器240のカバーガラスや、偏光板、そして電極などは省略して示し、表示面の表示画像、マスクパターン形状は模式的に表示している。 0, a cover or glass optical modulator 240, polarizing plate, and an electrode is shown by omitting the display image of the display surface, the mask pattern is displayed schematically.

【0034】El,Erはそれぞれ画像観察者280の左右眼を示す。 [0034] El, Er, respectively showing the left and right eyes of the image viewer 280.

【0035】ここで、光変調器240に表示する透光部242、遮光部243からなるマスクパターン241について図4を用いて説明する。 [0035] Here, the translucent portion 242 to be displayed on the optical modulator 240, will be described with reference to FIG mask pattern 241 made of a light-shielding portion 243. 図4は、図3に示したマスクパターン241の正面図を示している。 Figure 4 shows a front view of the mask pattern 241 shown in FIG.

【0036】同図に示すように、マスクパターン241 [0036] As shown in the figure, the mask pattern 241
は水平方向のピッチHm、垂直方向の幅Vmの透光部2 Transparent portion of the horizontal pitch Hm, the vertical width Vm 2
42と遮光部243から構成されている。 42 and a light-shielding portion 243. 透光部242 Light transmitting portion 242
は3ヶの画素244,245,246から構成され、遮光部243も同様に3ヶの画素から構成されている。 Consists three pixels 244, 245 and 246, and a likewise three pixels blackout unit 243.

【0037】次に、ディスプレイデバイス210に表示する視差画像について図5を用いて説明する。 Next, will be described with reference to FIG parallax image displayed on the display device 210. 図5で、 In Figure 5,
左右眼対応の2ヶの視差画像G(1),G(2)を図示するように多数の横ストライプ状のストライプ画像に分割し、視差画像G(1)、G(2)の要素であるストライプ画像G(1)i、G(2)iを走査線ごとにならべ換えて合成視差画像G(1、2)とする。 Left and right eyes of a corresponding 2-month parallax image G (1), is divided into a number of horizontal stripe-shaped stripe image as shown the G (2), the parallax image G (1), is an element of G (2) stripe image G (1) i, and G (2) i a instead ordered by the scan line synthetic parallax image G (1, 2).

【0038】次に、図6〜図9を用いて立体画像表示の作用を説明する。 Next, the operation of the stereoscopic image display with reference to Figs.

【0039】図6は、3Dウインドウ部111の水平断面図(X−Z断面)である。 [0039] FIG. 6 is a horizontal sectional view of the 3D window part 111 (X-Z cross section).

【0040】同図において、バックライト光源250からの光は、光変調器240のマスクパターン241の透光部242から射出され、横シリンドリカルレンズ23 [0040] In the figure, light from the backlight source 250 is emitted from the light transmitting portion 242 of the mask pattern 241 of the optical modulator 240, horizontal cylindrical lenses 23
0を通過する。 Passing through the 0. (この断面方向では、横レンチキュラーレンズは特に光学的作用をしない。)そして、縦レンチキュラレンズ220を構成する各シリンドリカルレンズにより、マスクパターン241の透光部242からの透過光束が観察者の位置で照射視差画像領域GS1に照射される。 (In this cross-sectional direction, the horizontal lenticular lens is not particularly optical effect.) Then, by the cylindrical lenses constituting the vertical lenticular lens 220, at positions transmitted light flux observer from the light transmitting portion 242 of the mask pattern 241 It is irradiated to the irradiation parallax image area GS1.

【0041】この照射視差画像領域GS1に照射される光束は、縦レンチキュラーレンズ220と観察者との間に設けられたディスプレイディバイス210に表示された合成視差画像で変調される。 The light beam irradiated to the irradiation parallax image area GS1 is modulated with synthetic parallax image displayed on the display devices 210 provided between the vertical lenticular lens 220 and the observer. この断面では、例えば図5で示した合成視差画像G(1,2)を構成する視差画像G(1)の要素ストライプ画像G(1)1,G(1) In this section, for example, the element stripe image G of the parallax image G (1) constituting the synthetic parallax image G (1, 2) shown in FIG. 5 (1) 1, G (1)
3,G(1)5,…を通るため、照射視差画像領域GS 3, G (1) 5, for the passage of ..., irradiation parallax image area GS
1では視差画像G1が観察される。 Parallax images G1 is observed in 1.

【0042】ここで、マスクパターンの透光部242は3ヶの画素244,245,246から構成されているため、各画素を通った光束はそれぞれ領域247,24 [0042] Here, since the transparent portion 242 of the mask pattern is composed of three pixels 244, 245 and 246, respectively light beam through each pixel area 247,24
8,249を照射することとなる。 So that the irradiation with 8,249.

【0043】同様に、図7に示すように、図6の1走査線下、あるいは上の走査線に相当する断面の光束は照射視差画像領域GS2に照射される。 [0043] Similarly, as shown in FIG. 7, the light beam cross-section corresponding to 1 under the scanning line, or on the scanning line in FIG. 6 is irradiated to the irradiation parallax image area GS2. この照射視差画像領域GS2に照射される光束は、縦レンチキュラーレンズ220と観察者との間に設けたディスプレイディバイス210に表示された合成視差画像で変調される。 The light beam is irradiated to the irradiation parallax image area GS2 is modulated with the displayed synthetic parallax images on a display devices 210 provided between the vertical lenticular lens 220 and the observer. この断面では、図5で示した合成視差画像G(1,2)を構成する視差画像G(2)の要素ストライプ画像G(2) In this section, the element stripe image G of the parallax image G (2) constituting a G (1, 2) synthetic parallax image shown in FIG. 5 (2)
2、G(2)4、G(2)6、…を通るため、照射視差画像領域GS2では視差画像G2が観察される。 2, G (2) 4, G (2) 6, for the passage of ..., parallax images G2 in the irradiation parallax image region GS2 is observed. この領域も3ヶの部分領域から成っている。 This area is also made from 3 months of partial regions.

【0044】図8は立体画像表示用のウインドウ111 [0044] Figure 8 is a window 111 for displaying a stereoscopic image
の垂直断面図(Y−Z断面)である。 It is a vertical sectional view (Y-Z cross section). この断面ではバックライト光源250で照射されたマスクパターン241 Mask pattern 241 illuminated with back light source 250 in this section
の透光部242の像が横レンチキュラレンズ230の作用によりディスプレイデバイス210の画像表示面に結像するが、その際、光変調器240の透光部242の幅がディスプレイデバイス210の画素幅になる倍率で結像する構成となっている。 Of it the image of the transparent portion 242 is focused by the action of the horizontal lenticular lens 230 on the image display surface of the display device 210, in which the width of the transparent portion 242 of the optical modulator 240 to the pixel width of the display device 210 has a structure imaged in becomes magnification. そのため、光変調器240とディスプレイデバイス210と横レンチキュラーレンズ230の位置を適切に設定することにより、例えばG Therefore, by appropriately setting the position of the optical modulator 240 and the display device 210 and the horizontal lenticular lens 230, for example, G
(1)の視差画像の要素ストライプ画像のみが照射される。 Only the element stripe images of the parallax images (1) is irradiated.

【0045】同様に、図9に示すように、図8の1画素横の画素列では視差画像G(2)の要素ストライプ画像のみが照射される。 [0045] Similarly, as shown in FIG. 9, one pixel next to the pixel column of FIG. 8, only the element stripe images of the parallax image G (2) is irradiated.

【0046】従って、視差画像G(1),G(2)を眼球El,Erに対応した視差画像に設定し、それぞれ照射視差画像領域GS1,GS2に眼球El,Erを置くことにより観察者は左右の目で視差画像を分離独立して観察する事になり、立体画像が観察できる。 [0046] Accordingly, parallax images G (1), G (2) eye El, and set the parallax images corresponding to Er, respectively irradiated parallax image area GS1, GS2 eyeball El, the observer by placing the Er is becomes possible to observe the parallax images in the left and right eyes separately and independently, the three-dimensional image can be observed.

【0047】図10〜図12は上記の作用を模式的に示す説明図である。 [0047] FIGS. 10 to 12 are explanatory views showing the operation of the schematically.

【0048】図10において、左側の図はディスプレイの水平断面図(X−Z断面)の主要部であり、右側には光変調器240のマスクパターン241,ディスプレイデバイス210に表示される合成視差画像211、観察者位置に照射される照射視差画像290が示してある。 [0048] In FIG. 10, the left side of the figure is the main part of the horizontal cross-sectional view of a display (X-Z cross section), synthetic parallax image on the right is displayed mask pattern 241 of the optical modulator 240, the display device 210 211, there is shown a radiated parallax image 290 to be irradiated on the observer position.

【0049】照射視差画像290は視差画像G(1), The irradiation parallax image 290 parallax image G (1),
G(2)の視差画像からなっており、同図は観察者の左右眼El,Erが、それぞれ視差画像G(1),G G has become the parallax images (2), the figure observer of the right and left eyes El, Er, respectively parallax image G (1), G
(2)の位置にある状態を示している。 Shows a state in which the position (2).

【0050】この状態から、観察者が左方に移動し、図11の状態になった場合,或いは右方へ移動し図12の状態になった場合、すなわち左右眼El,Erにそれぞれ視差画像G2,G1が観察される場合には逆立体視となり正常な立体観察は不可能となる。 [0050] From this state, the observer moves to the left, when the state of FIG. 11, or when the state of the moved 12 to the right, i.e. the left and right eyes El, respectively Er parallax images G2, G1 is normal stereoscopic observation becomes reversed stereoscopic vision when observed becomes impossible.

【0051】ここで、水平断面(X−Z断面)での光学系の構成条件を図6を用いて説明する。 [0051] Here it will be described with reference to FIG. 6 the arrangement conditions of the optical system in the horizontal section (X-Z cross section).

【0052】なお、本明細書においては各光学素子間の距離を換算距離で取り扱う。 [0052] In this specification dealing with the distance between the optical elements in terms of distance. 換算距離とはディスプレイデバイス210、光変調器240においては、それぞれ画像表示面、マスクパターン表示面、レンチキュラレンズ220,230においては、距離を測ろうとする側の主点を夫々基準点として2つの光学系素子間の距離を空気中の値に換算した所謂光学的距離である。 Converted distance display device 210 and, in the optical modulator 240, an image display surface, respectively, the mask pattern display surface, in the lenticular lens 220 and 230, two optical to try to side principal point Hakaro distance as each reference point the distance between the system elements is a so-called optical distance in terms of the value of the air.

【0053】同図に示すように、縦レンチキュラレンズ220とマスクパターン241との距離(縦レンチキュラーレンズ220のマスクパターン側の主点とマスクパターン241との距離を空気中の値に換算した光学的間隔)をLh2、予め定められた観察位置から縦レンチキュラーレンズ220までの距離(観察位置と縦レンチキュラーレンズ220の観察者側の主点との空気中の値に換算した光学的間隔)をLh1,マスクパターン241 [0053] As shown in the figure, the optical and the distance between the vertical lenticular lens 220 and the mask pattern side principal point and the mask pattern 241 of the distance (vertical lenticular lens 220 of the mask pattern 241 has been converted into a value in the air the interval) Lh2, from predetermined observation position to the vertical lenticular lens 220 distance (optical spacing in terms of the value of the air in the main point of the viewer's side of the viewing position and the vertical lenticular lens 220) Lh1, mask pattern 241
の透光部242の水平方向の幅をHmw、隣り合う透光部までの水平方向のピッチをHm,縦レンチキュラーレンズ220を構成している縦シリンドリカルレンズのピッチ(幅)をHl、観察者の左右眼の間隔をEとするとき、下記の条件を満たすように構成している。 Of Hmw the horizontal width of the transparent portion 242, Hm the horizontal pitch up transparent portion adjacent to the pitch of the vertical cylindrical lenses constituting the vertical lenticular lens 220 (width) Hl, observer when the distance between the right and left eyes and E, is configured so as to satisfy the following conditions.

【0054】 2×E/Hm = Lh1/Lh2 …………………式1 Lh1/(Lh1+Lh2)= Hl/Hm…………………式2 2×Hmw= Hm…………………式3 次に、観察者の視点が変化した場合にも逆立体視の状態が生ずることなく、常に正常な立体像を観察できる機能について説明する。 [0054] 2 × E / Hm = Lh1 / Lh2 ..................... Formula 1 Lh1 / (Lh1 + Lh2) = Hl / Hm ..................... type 2 2 × Hmw = Hm ............ ......... formula 3 Next, even without the status of the reverse stereoscopic occurs when the observer's viewpoint has changed, the constantly ability to observe a normal three-dimensional image will be described.

【0055】これまでの説明では、観察者の左右の目がそれぞれの目に対応した視差画像の照射される領域にある場合には正常な立体視が可能であるが、そうでない場合には逆立体視の状態になり、正常な立体視が不可能となった。 [0055] In previous discussion, the reverse is the case right and left eyes of the observer is susceptible to normal stereoscopic vision when in the area to be irradiated of parallax images corresponding to each eye, otherwise become a state of the stereoscopic vision, it became impossible the normal stereoscopic vision.

【0056】これを解消するため本実施形態1ではシステムブロック図2に示すように、視点検出機構120により得られる観察者280の視点情報を受けて、光変調器駆動回路320により、光変調器240に表示するマスクパターン241のパターン形状を視点に応じて変化する構成となっている。 [0056] As shown in the embodiment 1, the system block diagram 2 To solve this, receives viewpoint information of the observer 280 obtained by the viewpoint detection mechanism 120, the optical modulator driving circuit 320, the optical modulator the pattern shape of the mask pattern 241 to be displayed on 240 in response to the viewpoint has a configuration that varies.

【0057】後に詳述する視点検出機構120により視点情報が得られれば、観察者の観察が変化した場合にも、其の視点に立体視可能な照射視差画像領域を追従制御することにより、逆立体視の状態が生ずることなく、 [0057] as long obtained viewpoint information by the viewpoint detection mechanism 120 to be described later, when the viewer's observation is changed even by tracking control irradiation parallax image area stereoscopically viewable in its perspective, reverse without occurs state of stereoscopic
常に正常な立体像の観察が可能である。 It is always possible to observe the normal three-dimensional image.

【0058】その作用について図13〜図16を用いて説明する。 [0058] will be described with reference to FIGS. 13 to 16 for its action.

【0059】図13は図10と同一状態であり、左右眼El,Erはそれぞれ視差画像G(1),G(2)を観察しており、正常な立体視の状態を表示している。 [0059] Figure 13 is the same state as FIG. 10, the left and right eyes El, Er each parallax image G (1), and observing the G (2), which displays the status of the normal stereoscopic vision.

【0060】このとき左右眼はそれぞれ照射視差画像2 [0060] Each right and left eyes this time illumination parallax image 2
90の位置8,11に位置しているが、この状態から観察者が移動した場合、例えば図14に示すように左右眼がG(1),G(2)の3ヶの部分領域の一つ左隣の領域(照射視差画像290の位置7,10)に入った場合はディスプレイの合成視差画像211はそのままで、マスクパターン241の透光部242を図のように1画素左に移動する。 Although located in 90 positions 8, 11, one three partial areas in the case of moving observer from this state, the left and right eyes, as shown in FIG. 14 G (1), G (2) one immediate left of the area when entering the (position 7, 10 of the irradiation parallax image 290) of synthetic parallax image 211 of the display as it is, to move the light-transmitting portion 242 of the mask pattern 241 to 1 pixel left as shown in FIG. . これによって照射視差画像290は一画素対応領域分だけ左に移動する。 This irradiation parallax image 290 is moved to the left by one pixel corresponding regions minute.

【0061】このように制御することで、観察者はG [0061] By controlling in this manner, the observer G
(1),G(2)の3ヶの部分領域の一つ左隣の領域へ移動したのにもかかわらず、それぞれの視差画像G (1), in spite of the movement to the area of ​​one immediate left of three partial regions of the G (2), each of the parallax images G
(1),G(2)の中央の部分領域で見ている状態が保持される。 (1), a state looking at the center of the partial area of ​​the G (2) is held.

【0062】また、観察者が右へ移動し、図15のように左右眼が照射視差画像の位置9,12に位置している状態では図示するように、ディスプレイの合成視差画像211はそのままで、マスクパターン241の透光部2 [0062] In addition, the observer moves to the right, as shown in a state in which the left and right eyes are located at positions 9 and 12 of the illumination parallax image as shown in FIG. 15, synthetic parallax image 211 of the display as it is , the light-transmitting unit 2 of the mask pattern 241
42を図のように1画素右へ移動することにより、照射視差画像290は一画素対応領域分だけ右に移動する。 42 by moving to one pixel right as shown in the figure, irradiation parallax image 290 is moved to the right by one pixel corresponding regions minute.
この状態から、さらに、観察者が右方へ移動した図16 In this state, furthermore, the observer moves to the right 16
の状態では、合成視差画像211はそのままで、マスクパターン241を図示のように更に1画素移動することにより、照射視差画像290をさらに一画素対応領域分右に移動できる。 In the state, the synthetic parallax image 211 is intact, by moving further 1 pixel as shown mask patterns 241, can be moved further one pixel corresponding region to the right of the illumination parallax image 290.

【0063】以下、観察者の左右の移動に対しては同様の制御を行う。 [0063] Hereinafter, the same control for the movement of the left and right of the observer.

【0064】上記のように、2像の原視差画像から合成された合成視差画像を用い、視点に応じてマスクパターンを順次切り換え表示することにより、対応する照射視差画像領域を左右眼の位置に来るように制御することにより、逆立体視の生じない常時安定した立体像観察が可能となる。 [0064] As described above, using synthetic parallax image synthesized from the original parallax images between two images, by sequentially switching display the mask pattern according to the viewpoint, the illumination parallax image region corresponding to the position of the right and left eyes by controlling to come, it is possible to always stably stereoscopic image observation causing no reverse stereoscopic.

【0065】以上は、マスクパターンの透光部、遮光部の構成画素数nがそれぞれ3ヶの場合について説明したが、nが4以上の場合も同様である。 [0065] The above light-transmitting portion of the mask pattern, although constituting a pixel number n of the light shielding portion has been described in each case three, n is the same when four or more.

【0066】次に、観察者の視点を検出する視点検出機構(眼球検出機構)120について図17〜21を用いて説明する。 Next, the viewpoint detection mechanism (eyeball detection mechanism) for detecting the observer's viewpoint 120 will be described with reference to FIG. 17-21 for.

【0067】視点は観察者の眼の位置を追従制御に必要十分な位置精度で検出することが必要である。 [0067] viewpoint it is necessary to detect in a necessary and sufficient position accuracy tracking control the position of the eyes of the observer. 図17 Figure 17
は視点検出機構120のシステムブロック図である。 Is a system block diagram of a viewpoint detecting mechanism 120. 同図に於いて、120は視点検出機構の全体を示し、12 In the figure, 120 indicates the entire viewpoint detection mechanism 12
1は観察者を撮影するためのビデオカメラ(撮像手段) Video camera for 1 to shoot the observer (image pickup means)
であり、このビデオカメラ121は撮影レンズ122, , And the video camera 121 is a photographing lens 122,
CCD等の撮像センサーを含む映像撮影手段123などから成っている。 It consists such as video imaging means 123 including an imaging sensor such as a CCD.

【0068】撮影レンズ122はズームレンズより成り、ズーム制御手段124に依って撮影レンズの焦点距離が制御される。 [0068] photographing lens 122 is made of a zoom lens, the focal length of the taking lens is controlled by the zoom control unit 124. このズーム制御手段124は外部からの制御信号により制御され、また撮影レンズの焦点距離情報などのレンズ情報を外部に出力する。 The zoom control unit 124 is controlled by an external control signal, and outputs the lens information such as focal length information of the photographing lens to the outside.

【0069】125はビデオカメラ121の雲台であり、ビデオカメラ121のパンとチルトを行う制御手段を有しており、またカメラのパン、チルト位置情報を出力する手段を有している。 [0069] 125 is a pan head video camera 121 has a control means for panning and tilting the video camera 121, also has a means for outputting camera pan, tilt position information.

【0070】127は映像処理手段126と情報を授受して、これらカメラの操作を制御するカメラ制御手段である。 [0070] 127 to transfer an image processing unit 126 and the information is a camera control means for controlling the operation of these cameras.

【0071】126は映像処理手段であり、映像撮影手段123の映像情報とカメラ制御手段127からの情報をもとに視点検出に必要な画像処理を行うとともに、必要に応じてズームレンズ122を制御したり、ビデオカメラ121のパン・チルト操作を行うための情報を生成する。 [0071] 126 is a video processing unit, performs necessary image processing on the viewpoint detection based on the information from the video information and camera control unit 127 of the image capturing unit 123, controls the zoom lens 122 as needed or, it generates information for performing panning and tilting operation of the video camera 121. 映像処理手段126で得られた視点情報は図2 Viewpoint information obtained by the image processing means 126 is 2
の信号合成回路330に送られる。 It sent in the signal combining circuit 330.

【0072】以下に視点検出機構120の作用を説明する。 [0072] a description will be given of the operation of point detection mechanism 120 below.

【0073】ビデオカメラ121は図1に示すようにディスプレイの正面の映像を取り込むように設置されているため、観察者が通常ディスプレイを観察する状態では観察者の顔の映像が撮像される。 [0073] Video camera 121 is because it is installed to capture the image of the front of the display as shown in FIG. 1, the observer in a state to observe the normal display is imaged picture of the face of the observer.

【0074】また、観察者がディスプレイの正面から外れた位置にいて、観察者の顔情報が撮像されていない状態では、後に記すように自動的に撮影レンズ122の焦点距離が短焦点側にセットされるようになっているため、カメラの短焦点側の限界領域の範囲内に観察者の顔が有れば顔を含む観察者の映像が撮影されることとなる。 [0074] Furthermore, had the observer is outside the front of the display position, the set in the state in which face information of the observer is not imaged, automatically the focal length of the photographing lens 122 as noted later on the short focal end since that is adapted to be, if there is the observer's face within the limit region of the short focus of the camera is the observer of the image including a face and thus being photographed.

【0075】図18は撮影レンズ122が短焦点側にセットされた状態で、ビデオカメラ121で撮影された観察者280の映像281を示している。 [0075] Figure 18 is a state in which the photographic lens 122 is set to the short focal end, shows a picture 281 of the observer 280 captured by the video camera 121. 282は撮影された画面である。 282 is a screen that has been taken.

【0076】この図18に示す顔映像から観察者の視点、すなわち観察者の両眼位置を先に記した立体視制御に必要十分な精度で検出出来れば目的は達するが、そのためには、例えば撮像素子にCCDを使用する場合には画素数の大きな素子を必要とし、高価であり、また、画素数の多い撮像素子から得られた情報量の多い映像情報から直接目の位置を検出するには画像処理に時間がかかり実用的ではない。 [0076] perspective of the observer from the face image shown in FIG. 18, that is, object reaches as long detected with necessary and sufficient accuracy for stereoscopic control noted above binocular position of the observer. For this purpose, for example, when using a CCD in the image pickup device requires a large device number of pixels, it is expensive and, in order to detect a direct-th position from the large video information of the obtained amount of information from many image sensor number of pixels impractical takes time to image processing.

【0077】そのため、本装置ではこの図18に示した顔映像に対して公知の「色情報を用いて特徴領域を抽出する方法」を利用し、あらかじめ設定した肌色情報をもとに映像処理手段126により観察者の顔位置を検出する。 [0077] Therefore, the present apparatus utilizes a "method for extracting a characteristic region using color information" known relative shows the face image in FIG. 18, the image processing means on the basis of skin color information set in advance detecting the observer's face position by 126.

【0078】図18の283はこの方法により検出された顔領域を示している。 [0078] 283 of FIG. 18 shows the face region detected by this method. 検出された顔領域283の中心位置、及び大きさ情報をもとに、この顔領域が画面の中央で、かつ、大きさが所定の大きさになるように映像処理手段126からカメラ制御手段を介してズーム制御手段124、およびカメラ雲台125に制御信号を送り、 The detected central position of the face region 283, and on the basis of the size information, in the center of this face area is the screen, and the camera control unit from the video processor 126 such that the magnitude is a predetermined magnitude It sends a control signal to the zoom control unit 124 and the camera pan head 125, via,
カメラのズーム、パン、チルトを行う。 Camera zoom, pan, tilt do.

【0079】図19はその結果、カメラで撮影された観察者の顔映像である。 [0079] FIG. 19 As a result, it is the viewer's face image captured by the camera.

【0080】これ以降、観察者がディスプレイを観察中は常時、顔領域が画面282の中央にあり、大きさが一定であるように制御する。 [0080] Subsequent, the observer at all times during the observation of the display, the face region is in the center of the screen 282 is controlled such that the magnitude is constant.

【0081】観察者が大きく移動し画面から完全に外れたり、また、観察者が規定以上の速い動きをした場合など何らかの原因で顔領域の検出が出来なかった場合には、撮影レンズは短焦点側にセットされ再度短焦点側での顔領域探索が行われる。 [0081] or completely off the observer largely moved screen, also if it can not detect a face area for some reason such as when the observer a more than specified fast movement, a photographing lens is short focus again set to the side face area search at the short focal end is performed.

【0082】図20は図19の部分拡大図である。 [0082] FIG. 20 is a partial enlarged view of FIG. 19.

【0083】次にこの顔領域283内で公知の「テンプレートマッチング法」を利用した機能を有する映像処理手段で両眼位置情報を検出する。 [0083] Next detects the binocular position information by the image processing means having a function using the "template matching" is known in the the face region 283.

【0084】図21は映像処理手段の一要素を構成する両眼のテンプレートを示している。 [0084] Figure 21 shows the template of both eyes that constitute an element of the image processing means. 284,285はそれぞれ左右眼のテンプレートである。 284, 285 is a template of each of the left and right eye. このテンプレート284,285には、観察者本人280のあらかじめ撮影した両眼の画像、あるいは標準の目の画像を使用する。 This template 284, 285, using the pre-shot of the binocular image or the image of the standard of the eye, of the observer person 280.

【0085】このテンプレートを用い図20に示す顔領域283の領域内でマッチング操作を実行し観察者の両眼位置を検出する。 [0085] detecting the eyes position of running matching operations observer within the area of ​​the face region 283 shown in Figure 20 using this template.

【0086】図20には両眼位置が検出された状態を示す。 [0086] FIG. 20 shows a state where both eyes position is detected. この際両眼の探索はそれぞれの目について、ある程度自由度を持たせ、独立に行う事により観察者の眼間のばらつきや視点の前後方向の移動による両眼位置のズレを吸収する。 This time search each eye of both eyes, to some extent to have a degree of freedom to absorb the displacement of the binocular position by movement in the front-rear direction of the variation and perspectives between the observer's eye by performing independent.

【0087】このようにして、目の位置が探索されれば、公知の「テンプレートマッチング法」によって目のテンプレート284,285を使用してトラッキングを行い観察者の動きに応じた画面282上の目の位置情報を得る。 [0087] eye ​​on this way, if it is searched the eye position, the screen 282 corresponding to the observer's motion performed tracked using an eye template 284, 285 by a known "template matching" obtain the location information of.

【0088】以上のようにして検出された画面282上での両眼位置情報とこのときのカメラ制御手段127からのカメラのズーム、パン、チルト情報からディスプレイに対する視点情報を算出し、信号合成回路330に送る。 [0088] The thus the binocular position information on the detected screen 282 which camera zoom from the camera control unit 127 at this time, the pan calculates the viewpoint information for display from the tilt information, signal combining circuit send to 330.

【0089】尚、目のテンプレート284,285はその範囲を図21に示したように目の近傍を含む目全体に設定しても良いし、目の光彩の大きさ等目の部分領域に設定しても良い。 [0089] Incidentally, the eye template 284 and 285 may be set to the entire eye, including the vicinity of the eye as shown in scope in Figure 21, set to a size such th subregion eye iris it may be.

【0090】[実施形態2]本発明の実施形態1は左右一対の視差画像を使用して、広い観察領域から正常な立体視を可能とする画像表示装置である。 [0090] Embodiment 1 of Embodiment 2] The present invention uses a pair of left and right parallax images, an image display device capable of normal stereoscopic vision from a wide viewing area.

【0091】これに対し、実施形態2は同時に表示される視差画像は実施形態1と同様に2ヶであるが、規定の撮影条件で撮影された多数の視差画像を用いて観察者の視点に応じた立体画像を逆立体視の状態の生ずることなく常時正常に立体視できる、いわゆる回り込み表示の可能な立体画像表示装置を提供する。 [0091] In contrast, although the second embodiment parallax images are displayed simultaneously are similar to 2 months in the first embodiment, the observer's viewpoint by using a large number of parallax images photographed at a specified imaging conditions you always successfully stereoscopic without causing a stereoscopic image in accordance with the state of the inverse stereoscopic vision, providing a stereoscopic image display device capable of so-called wraparound display.

【0092】実施形態2の立体画像表示装置を、図22 [0092] The stereoscopic image display device of Embodiment 2, FIG. 22
から図30を用いて、実施形態1と相違点を中心に説明する。 With reference to FIG. 30, the following description focuses on differences from the first embodiment.

【0093】外観図は図1、システムブロック図は図2、3Dウインド要部概略図は図3、マスクパターンの正面図は図4の実施形態1と同様である。 [0093] external view FIG. 1, a system block diagram Figure 2,3D window main part schematic diagram FIG. 3, a front view of the mask pattern is the same as in Embodiment 1 in FIG. 4.

【0094】図22は実施形態2で使用する視差画像の合成法の説明図である。 [0094] Figure 22 is an illustration of a synthesis of parallax images used in the second embodiment.

【0095】実施形態1で説明したように、マスクパターンの透光部、遮光部の構成画素数をそれぞれnとして、左右眼対応の2ヶの視差画像g(i),g(i+n)を図示するように多数の横ストライプ状のストライプ画像に分割し、視差画像g(i),g(i+n)から作成されるストライプ画像g(i)j,g(i+n)jを走査線ごとにならべ換えて合成視差画像g(i,i+n)とする。 [0095] As described in Embodiment 1, the light transmitting portion of the mask pattern, respectively as the number of pixels of the light-shielding portion n, the left and right eyes corresponding 2 months parallax image g (i), g (i + n) divided into a number of horizontal stripes of the stripe image to illustrate the parallax image g (i), g (i + n) stripe image is generated from the g (i) j, g a (i + n) j instead arrange for each scan line and synthetic parallax image g (i, i + n).

【0096】合成に使用する原視差画像g(i),g(i+n)は以下の様にして作製する。 [0096] original parallax image g to be used for the synthesis (i), g (i + n) is prepared in the following manner.

【0097】図23は、例えば複数のビデオカメラを使用して原視差画像を作成方する法を説明する説明図である(CGによる視差画像の作製もこれに準ずる。)。 [0097] Figure 23, for example using a plurality of video cameras is an explanatory diagram for explaining the law to create side the original parallax images (according to also produce the parallax image by the CG.).

【0098】一般に両眼視差方式の立体表示装置に使用する視差画像は図23(A)に示すように2台のカメラG [0098] In general parallax images used for stereoscopic display device of the binocular parallax method two, as shown in Fig. 23 (A) Camera G
1,G2の光軸を平行にして、人間の両眼の間隔(眼間距離)に相当する距離を離して撮影した画像を用いる。 1, in the parallel optical axis of G2, using the images taken at a distance corresponding to the human distance between both eyes (interocular distance).
静止画像の場合は1台のカメラを平行移動して撮影してもよい。 If the still image may be captured by translating the one camera.

【0099】ただし、表示スクリーンの大きさ、観察者からの距離、実物と表示画像の倍率などの条件によりカメラの光軸間距離、平行移動の距離を適宜設定する。 [0099] However, the size of the display screen, the distance from the observer, the real condition by between camera optical axis distance, such as the magnification of the displayed image, appropriately set the distance translation.

【0100】実施形態1で使用した原視差画像のカメラ間距離をEとした場合、実施形態2では図23(B)に示すように(1/n)*Eに等しいカメラ間距離で撮影した複数の画像g(1),g(2),g(3)、……を原視差画像として使用する。 [0100] If the inter-camera distance of the original parallax images used in the embodiment 1 was E, captured by the camera distance equal to the embodiment in 2 as shown in FIG. 23 (B) (1 / n) * E a plurality of image g (1), g (2), g (3), using a ...... as original parallax images.

【0101】以下の説明では説明をわかりやすくするためn=3の場合について説明する。 [0101] In the following description, a description will be given of a case of n = 3 for clarity of description. また、使用する視点情報の検出は実施形態1に記した方法による。 Further, according to the method detection of the viewpoint information for use in describing the first embodiment.

【0102】立体画像表示の作用は光変調器240に表示されるマスクパターン241の形状、およびディスプレイ210に表示される合成視差画像の内容が異なるだけで、実施形態1の図6〜図9と同様である。 [0102] effect of the stereoscopic image display is only the shape of the mask pattern 241 to be displayed on the optical modulator 240, and the content of the synthetic parallax image displayed on the display 210 is different, and 6 to 9 of Embodiment 1 it is the same. 従って実施形態1の図10に相当する状態は図24に示すようになる。 Thus state corresponding to FIG. 10 of Embodiment 1 is as shown in FIG. 24. 図24において、左側の図はディスプレイの水平断面図の主要部であり、右側には光変調器240のマスクパターン241,ディスプレイデバイス210に表示される合成視差画像211、観察者位置に照射される照射視差画像290が示してある。 In Figure 24, the left side of the figure is the main part of the horizontal cross-sectional view of a display, the mask pattern 241 of the optical modulator 240 on the right side, the synthetic parallax image 211 displayed on the display device 210, is irradiated to the observer position irradiation is shown parallax image 290. 照射視差画像290 Irradiation parallax image 290
は視差画像g(i),g(i+3)からなっており、同図は観察者の左右眼El,Erが視差画像g(i),g(i+3)の位置にある状態を示している。 Parallax image g (i) is formed of a g (i + 3), a state in which the position of the figure viewer's left and right eyes El, Er parallax image g (i), g (i + 3) shows.

【0103】このまま状態で、観察者が左方に移動し、 [0103] In this state state, the observer is moved to the left,
図25の状態になった場合,或いは右方へ移動し図26 If the state of FIG. 25, or moves to the right diagram 26
の状態になった場合、すなわち左右眼にそれぞれg(i+ If it becomes a state, i.e. respectively to the left and right eyes g (i +
3),g(i)の視差画像が観察される場合には逆立体視となり正常な立体観察は不可能となる。 3) normal stereoscopic observation becomes reversed stereoscopic vision when the parallax images g (i) is observed becomes impossible.

【0104】以下に、観察者の視点が変化した場合にも逆立体視の状態が生ずることなく、常に正常な立体像の観察が可能で、且つ観察者の動きに応じて視点の変化した立体画像の観察のできる、いわゆる回り込み表示が可能な機能について図27〜図30を用いて説明する。 [0104] The following, even without the status of the reverse stereoscopic occurs when the observer's viewpoint has changed, always can be observed normal three-dimensional image, and change of viewpoint and depending on the observer's motion stereoscopic You can observe the image will be described with reference to FIGS. 27 to 30 for the so-called wraparound display available functions.

【0105】図27は図24と同一状態であり、このとき左右眼は前述の通りそれぞれ視差画像g(i),g(i+3)を観察しており、正常な立体視の状態を表示している。 [0105] Figure 27 is the same state as in FIG. 24, this time right and left eyes are as described above each parallax image g (i), and observing the g (i + 3), display the status of the normal stereoscopic are doing.

【0106】この左右眼がそれぞれ照射視差画像290 [0106] irradiation parallax image 290 right and left eyes, respectively
の位置8,11に位置している状態から、観察者が移動した場合、例えば図28に示すように左右眼が3ヶの部分領域の一つ左隣の領域7,10に入った場合はディスプレイの合成視差画像211は元g(i)、g(i+3))の視差画像が表示されていたラインには、それぞれg(i+1)、g From when positioned in the position 8, 11, when the observer moves, when, for example, left and right eyes, as shown in FIG. 28 enters the one left neighboring regions 7 and 10 of the three partial areas synthetic parallax image 211 of the display is based on g (i), g (i + 3)) in the line of parallax images has been displayed for each g (i + 1), g
(i+4)を表示し、マスクパターン241の透光部242 (I + 4) displays the translucent portion 242 of the mask pattern 241
を図のように1画素左に移動する。 The move to 1 pixel left as shown in FIG. これによって照射視差画像290には図のように視差画像g(i+1)、g(i+4)が表示される。 This disparity image g as figure to irradiation parallax image 290 (i + 1), g (i + 4) is displayed.

【0107】このように制御することで、観察者は左右眼でそれぞれg(i+1)、g(i+4)を観察することとなり、正常な立体視状態で視点の変化した画像を観察できる。 [0107] By controlling in this manner, the viewer respectively right and left eyes g (i + 1), g (i + 4) will be observed, observing an altered image of the view in normal stereoscopic vision state it can.

【0108】また、観察者が右へ移動した図29の左右眼が照射視差画像290の位置9,12に位置している状態では図示するように、ディスプレイの合成視差画像211には図示のようにg(i-1)、g(i+2)を表示し、マスクパターン241の透光部を図のように1画素右へ移動することにより、照射視差画像290には図示のように [0108] Further, as the right and left eyes in FIG. 29 the observer moves to the right is shown in a state of being positioned in position 9 and 12 of the illumination parallax image 290, as shown in synthetic parallax image 211 of the display g (i-1), the display g (i + 2), by moving the light transmitting portion of the mask pattern 241 to 1 pixel right as shown in the figure, as shown in the irradiation parallax image 290
g(i-1)、g(i+2)が表示される。 g (i-1), g (i + 2) is displayed. この状態から、さらに、 From this state, further,
観察者が右方へ移動した図30の状態では、合成視差画像211にはg(i-2)、g(i+1)を表示し、マスクパターン241を図示の状態に切り替えることにより、照射視差画像290には視差画像g(i-2)、g(i+1)が図示の位置に表示される。 In the state of Figure 30 the observer moves to the right, the synthetic parallax image 211 g (i-2), to display the g (i + 1), by switching the mask pattern 241 in the illustrated state, the irradiation parallax image g in the parallax image 290 (i-2), g (i + 1) is displayed in the position shown. 以下、観察者の左右の移動に対しては同様の制御を行う。 Hereinafter, the same control for the movement of the left and right of the observer.

【0109】上記のように、多数の視差画像を用い、視点に応じてディスプレイに表示する合成視差画像とマスクパターンを順次切り換え表示することにより、逆立体視の生じない回り込み表示の可能な立体観察が可能となる。 [0109] As described above, using a large number of parallax images by sequentially switching displays the combined parallax image and the mask pattern to be displayed on the display according to the viewpoint, can be stereoscopic observation of wraparound display causing no reverse stereoscopic it is possible.

【0110】以上は同時に表示する視差画像が2ヶで、 [0110] The above parallax image is in two months to be displayed at the same time,
マスクパターンの透光部、遮光部が3ヶの画素からなる場合を示したが、視差画像が3ヶ以上、透光部、遮光部の画素が4ヶ以上の場合も装置の構成、制御方法を適切に設定することにより同様の機能が達成できる。 Transparent portion of the mask pattern, a case where the light-shielding portion is made of three pixels, the parallax image is three or more, the light transmitting unit, configured also device when the pixels of the light shielding part than 4 months, the control method the achievable similar function by appropriately setting.

【0111】[実施形態3]実施形態3は、実施形態2 [0111] [Embodiment 3] Embodiment 3, the second embodiment
と同様の効果を達成するための変形例である。 A modification for achieving the same effect as.

【0112】図31は本実施形態3の3Dウインドウ部の要部概略図である。 [0112] Figure 31 is a schematic view showing the main part of the 3D window part of the third embodiment.

【0113】同図において、350はバックライト光源(光源手段)、340は離散的な画素構造を有する光変調器でその表示面にスリット状の透光部342、遮光部343からなるマスクパターン341が形成されている。 [0113] In the figure, 350 is a backlight source (light source means), a mask pattern 341 340 consisting of a slit-shaped light transmitting portion 342, the light shielding portions 343 on the display surface by an optical modulator having a discrete pixel structure There has been formed. 透光部342は3ヶの画素344,345,346 Pixel transparent portion 342 is 3 months 344,345,346
から構成され、遮光部343も同様に3ヶの画素から構成されている。 It consists, and a likewise three pixels blackout unit 343.

【0114】310は液晶パネル等で構成されるディスプレイデバイスであり、其の表示面には縦ストライプ状の左右眼対応の視差画像が表示される。 [0114] 310 is a display device comprising a liquid crystal panel or the like, in its display surface vertical stripes of the left and right eyes corresponding parallax image is displayed.

【0115】本実施形態3の場合には、ディスプレイデバイス310がカラー表示の液晶パネルであれば、カラー表示のためのrgbカラーフィルターは横ストライプ方式を使用するなど表示画像のカラーバランスが正常となるよう考慮している。 [0115] In the present embodiment 3, if the liquid crystal panel of the display device 310 is a color display, rgb color filter for color display color balance of the displayed image, such as using lateral stripe is normal It is taken into consideration as.

【0116】ディスプレイデバイス310,光変調器3 [0116] Display device 310, the optical modulator 3
40のカバーガラスや、偏光板、そして電極などは省略して示し、表示面の表示画像、マスクパターン形状は模式的に表示している。 40 covers and glass, a polarizing plate, and an electrode is shown by omitting the display image of the display surface, the mask pattern is displayed schematically. El,Erはそれぞれ画像観察者の左右眼を示す。 El, Er, respectively showing the left and right eyes of the image viewer.

【0117】ここで、光変調器340に表示する透光部、遮光部からなるマスクパターン341について図3 [0117] Here, the light transmitting portion to be displayed on the optical modulator 340, the mask pattern 341 made of a light-shielding portion 3
2を用いて説明する。 It will be described with reference to the 2.

【0118】図32は図31に示したマスクパターン3 [0118] Figure 32 is the mask pattern 3 shown in FIG. 31
41の正面図を示している。 It shows a front view of the 41.

【0119】同図に示すように、マスクパターン341 [0119] As shown in the figure, the mask pattern 341
は水平方向のピッチHmの透光部342と遮光部343 The light transmitting portion 342 of the horizontal pitch Hm shielding portion 343
から構成されている。 It is constructed from. 透光部342は幅1画素の3ヶの部分ストライプ344,345,346から構成され、 Translucent portion 342 is configured from a portion stripe 344,345,346 of three widths of one pixel,
遮光部343も同様に3ヶのストライプから構成されている。 Shielding portion 343 is also composed similarly three stripes. 次に、ディスプレイデバイス310に表示する視差画像について図33を用いて、その合成方法を説明する。 Next, the parallax image displayed on the display device 310 with reference to FIG. 33, illustrating the synthesis thereof.

【0120】同図で左右眼対応の2ヶの視差画像g(i), [0120] parallax image g of 2 months of the left and right eyes corresponding with figure (i),
g(i+n)を図示するように多数の縦ストライプ状のストライプ画像に分割し、視差画像g(i),g(i+n)から作成されるストライプ画像g(i)j,g(i+n)jを走査線ごとにならべ換えて合成視差画像g(i,i+n)とする。 g (i + n) is divided into a number of vertical stripe-shaped stripe image as shown the parallax image g (i), g (i + n) stripe image is generated from the g (i) j, g ( the i + n) j instead ordered by the scan lines and synthetic parallax image g (i, i + n). ただし、 However,
合成に使用する原視差画像g(i),g(i+n)は実施形態2で説明した視差画像を利用する。 Original parallax images g used in the synthesis (i), g (i + n) utilizes parallax images described in the second embodiment.

【0121】次に、図34を用いて立体画像表示の作用を説明する。 [0121] Next, the operation of the stereoscopic image display with reference to FIG. 34.

【0122】図34は、3Dウインドウ部の水平断面図である。 [0122] Figure 34 is a horizontal sectional view of the 3D window part.

【0123】同図において、バックライト光源350からの光は、光変調器340のマスクパターン341の透光部342から射出され、観察者の位置では照射視差画像領域gs(i)、gs(i+n)に照射される。 [0123] In the figure, light from the backlight source 350 is emitted from the light transmitting portion 342 of the mask pattern 341 of the optical modulator 340, illumination parallax image area gs at the position of the observer (i), gs (i + n) is applied to.

【0124】領域gs(i)に照射される光束は、光変調器340と観察者との間に設けたディスプレイディバイス310に表示された合成視差画像で変調されるが、図示の状態では図33で示した視差画像g(i)から合成されたライン状のストライプ画像g(i)1,g(i)3,g(i)5,…を通るため、、gs(i)の領域では視差画像G1が観察される。 [0124] The light beam is irradiated to the region gs (i) is modulated by the display synthesis parallax images on a display devices 310 provided between the light modulator 340 and the observer, in the state shown FIG. 33 parallax in the region of synthesized from the parallax image g (i) shown a line stripe image g (i) 1, g (i) 3, g (i) 5, since the through ... ,, gs (i) in image G1 is observed.

【0125】ここで、マスクパターンの透光部242は3ヶの画素244,245,246から構成されているため、各画素を通った光束はそれぞれ領域347,34 [0125] Here, since the transparent portion 242 of the mask pattern is composed of three pixels 244, 245 and 246, respectively light beam through each pixel area 347,34
8,349の部分領域を照射することとなる。 The irradiating partial regions of 8,349.

【0126】同様に、領域gs(i+n)に照射される光束は、光変調器340と観察者との間に設けたディスプレイディバイス310に表示された合成視差画像で変調されるが、この場合は図33で示した視差画像g(i+n)から合成されたライン状のストライプ画像g(i+n)2 g(i+ [0126] Similarly, the light beam is irradiated to the region gs (i + n) is modulated by the displayed synthesized parallax images on a display devices 310 provided between the light modulator 340 and the observer, the parallax images g shown in FIG. 33 if (i + n) is synthesized from a linear stripe image g (i + n) 2 g (i +
n)4,g(i+n)6…を通るため、gs(i+n)の領域では視差画像g(i+n)が観察される。 n) 4, g (i + n) 6 ... for passing, gs (i + n) parallax image g in the region of the (i + n) is observed.

【0127】従って、視差画像g(i),g(i+n)を眼球E [0127] Accordingly, parallax images g (i), g a (i + n) eyeball E
l,Erに対応した視差画像に設定し、この領域に両眼を置くことにより観察者は左右の目でそれぞれの視差画像を分離独立して観察する事になり、立体画像が観察できる。 l, set parallax images corresponding to Er, observer by placing the eyes in this region becomes possible to observe the respective parallax images at the left and right eyes separately and independently, a stereoscopic image can be observed.

【0128】ここで、水平断面での光学系の構成条件を図34を用いて説明する。 [0128] Here it will be described with reference to FIG. 34 the arrangement conditions of the optical system in the horizontal section.

【0129】同図に示すように、マスクパターン341 [0129] As shown in the figure, the mask pattern 341
とディスプレイデバイス310の距離をLw2、予め定められた観察位置からディスプレイデバイス310までの距離をLw1,マスクパターン341の透光部342 And Lw2 the distance of the display device 310, the distance from a predetermined observation position to the display device 310 Lw1, the light transmitting portion 342 of the mask pattern 341
の水平方向の幅をHmw、隣り合う透光部までの水平方向のピッチをHm、ディスプレイデバイス310の画素幅をPh、観察者の左右眼の間隔をEとするとき、下記の条件を満たすように構成している。 Hmw a horizontal width of, when the Hm pitch in the horizontal direction to the transparent portion adjacent the pixel width Ph of the display device 310, the distance between the left and right eyes of the observer E, satisfy the condition of following It is configured to.

【0130】 2×E/Hm = Lw1/Lw2 …………………式1 Lw1/(Lw1+Lw2)= 2×Ph/Hm …………………式2 2×Hmw = Hm…………………式3 図35〜図37は立体視の様子を模式的に示す説明図である。 [0130] 2 × E / Hm = Lw1 / Lw2 ..................... Formula 1 Lw1 / (Lw1 + Lw2) = 2 × Ph / Hm ..................... type 2 2 × Hmw = Hm ...... ............... formula 3 FIGS. 35 to 37 are explanatory views showing how stereoscopic schematically.

【0131】図35において、左側の図はディスプレイの水平断面図(X−Z断面)の主要部であり、右側には光変調器340のマスクパターン341,ディスプレイデバイス310に表示される合成視差画像311、観察者位置に照射される照射視差画像390が示してある。 [0131] In FIG. 35, the left side of the figure is the main part of the horizontal cross-sectional view of a display (X-Z cross section), synthetic parallax image on the right is displayed mask pattern 341 of the optical modulator 340, the display device 310 311, there is shown a radiated parallax image 390 to be irradiated on the observer position.
照射視差画像390は視差画像g(i),g(i+n)の視差画像からなっており、同図は観察者の左右眼El,Erが視差画像g(i),g(i+n)の位置にある状態を示している。 Irradiation parallax image 390 is a parallax image g (i), g (i + n) has become a parallax image, the figure observer of the right and left eyes El, Er parallax image g (i), g (i + n shows a state in which the position of).

【0132】このまま状態で、観察者が左方に移動し、 [0132] In this state state, the observer is moved to the left,
図36の状態になった場合,或いは右方へ移動し図37 If the state of FIG. 36, or moves to the right diagram 37
の状態になった場合、すなわち左右眼にそれぞれg(i+ If it becomes a state, i.e. respectively to the left and right eyes g (i +
n),g(i)の視差画像が観察される場合には逆立体視となり正常な立体観察は不可能となる。 n), normal stereoscopic observation becomes reversed stereoscopic vision when the parallax images are observed in g (i) is impossible.

【0133】以下に、観察者の視点が変化した場合にも逆立体視の状態が生ずることなく、常に正常な立体像の観察が可能で、且つ観察者の動きに応じて視点の変化した画像の観察のできる、いわゆる回り込み表示が可能な機能について図38〜図41を用いて説明する。 [0133] The following, even without the status of the reverse stereoscopic occurs when the observer's viewpoint has changed, always can be observed normal three-dimensional image, and the viewpoint change image according to the observer's motion can observation will be described with reference to FIGS. 38 to 41 for the so-called wraparound display available functions.

【0134】以下の説明では説明をわかりやすくするためn=3の場合について説明する。 [0134] In the following description, a description will be given of a case of n = 3 for clarity of description. また、使用する視点情報の検出は実施形態1に記した方法による。 Further, according to the method detection of the viewpoint information for use in describing the first embodiment.

【0135】図38は図35と同一状態であり、このとき左右眼は前述の通りそれぞれ視差画像g(i),g(i+3)を観察しており、正常な立体視の状態を表示している。 [0135] Figure 38 is the same state as in FIG. 35, this time right and left eyes are as described above each parallax image g (i), and observing the g (i + 3), display the status of the normal stereoscopic are doing.

【0136】この左右眼がそれぞれ照射視差画像390 [0136] irradiation parallax image right and left eyes, respectively 390
の位置8,11に位置している状態から、観察者が移動した場合、例えば図39に示すように左右眼が3ヶの部分領域の一つ左隣の領域7,10に入った場合はディスプレイの合成視差画像311は元g(i)、g(i+3))の視差画像が表示されていたラインには、それぞれg(i+1)、g From when positioned in the position 8, 11, when the observer moves, when, for example, left and right eyes, as shown in FIG. 39 enters the one left neighboring regions 7 and 10 of the three partial areas synthetic parallax image 311 of the display is based on g (i), g (i + 3)) in the line of parallax images has been displayed for each g (i + 1), g
(i+4)を表示し、マスクパターン341の透光部342 (I + 4) displays the translucent portion 342 of the mask pattern 341
を図のように1画素右に移動する。 The moves one pixel right as in FIG. これによって照射視差画像390には図のように視差画像g(i+1)、g(i+4)が表示される。 This disparity image g as figure to irradiation parallax image 390 (i + 1), g (i + 4) is displayed.

【0137】このように制御することで、観察者は左右眼でそれぞれg(i+1)、g(i+4)を観察することとなり、正常な立体視状態で視点の変化した画像を観察できる。 [0137] By controlling in this manner, the viewer respectively right and left eyes g (i + 1), g (i + 4) will be observed, observing an altered image of the view in normal stereoscopic vision state it can.

【0138】また、観察者が右へ移動した図40の左右眼が照射視差画像390の位置9,12に位置している状態では図示するように、ディスプレイの合成視差画像311には図示のようにg(i-1)、g(i+2)を表示し、マスクパターン341の透光部342を図のように1画素左へ移動することにより、照射視差画像390には図示のようにg(i-1)、g(i+2)が表示される。 [0138] Also, as observer shown in a state where the right and left eyes in FIG. 40 that has moved to the right is located at a position 9, 12 of the irradiation parallax image 390, as shown in synthetic parallax image 311 of the display g (i-1), the display g (i + 2), by moving the light transmitting portion 342 of the mask pattern 341 to 1 pixel left as shown in the figure, as shown in the irradiation parallax image 390 g (i-1), g (i + 2) is displayed. この状態から、さらに、観察者が右方へ移動した図41の状態では、合成視差画像311にはg(i-2)、g(i+1)を表示し、マスクパターン341を図示の状態に切り替えることにより、照射視差画像390には視差画像g(i-2)、g(i+1)が図示の位置に表示される。 From this state, further, in the state of FIG. 41 the observer moves to the right, the synthetic parallax image 311 g (i-2), to display the g (i + 1), the mask pattern 341 shown state by switching the parallax image g in illumination parallax image 390 (i-2), g (i + 1) is displayed in the position shown. 以下、観察者の左右の移動に対しては同様の制御を行う。 Hereinafter, the same control for the movement of the left and right of the observer.

【0139】上記のように、多数の視差画像を用い、視点に応じてディスプレイに表示する合成視差画像とマスクパターンを順次切り換え表示することにより、逆立体視の生ぜず回り込み表示の可能な立体観察が可能となる。 [0139] As described above, using a large number of parallax images by sequentially switching displays the combined parallax image and the mask pattern to be displayed on the display according to the viewpoint, can be observed three-dimensionally display wraparound not occur with opposite stereoscopic it is possible.

【0140】以上は同時に表示する視差画像が2ヶで、 [0140] The above parallax image is in two months to be displayed at the same time,
マスクパターンの透光部、遮光部が画素3ヶからなる場合を示したが、それぞれ視差画像が3ヶ以上、画素4ヶ以上の場合も装置の構成、制御方法を適切に設定することにより同様の機能が達成できる。 Transparent portion of the mask pattern, similarly by although light shielding part shows a case comprising pixels 3 months, each parallax image is three or more, construction of even apparatus not less than pixels 4 months, appropriately setting the control method function can be achieved.

【0141】[実施形態4]実施形態4は、実施形態1 [0141] [Embodiment 4] The fourth embodiment, the first embodiment
〜3に改良を加え本発明の立体画像表示装置を使いやすくしたものである。 Improves on to 3 is obtained by easy to use a stereoscopic image display device of the present invention.

【0142】実施形態4を、図42から図48を用いて説明する。 [0142] The fourth embodiment will be described with reference to FIG. 48 from FIG. 42. 実施形態1〜3と同一機能を有する部材は同一の番号を付して説明を省き、実施形態1〜3との相違点を中心に説明する。 Members having the same functions as the embodiment 1-3 omit the description are denoted by the same numbers will be described focusing on differences from the embodiment 1-3.

【0143】図42は本実施形態4の外観図である。 [0143] Figure 42 is an external view of the fourth embodiment.

【0144】実施形態1の外観図との相違点は、視点検出機構420がディスプレイの上部に取り付けられている点と、後に詳述する電気信号の切り替え用の切り換えスイッチ431,441、視点検出機構420のビデオカメラ121の機能を手動で操作するためのカメラ操作手段450、および、観察者が立体観察不可能領域にいる場合や、視点検出機構420による視点検出が何らかの理由で不能の場合に観察者に警告を発するための警告手段460を有する点である。 [0144] The difference from the external view of the first embodiment, the viewpoint detecting mechanism 420 changeover switch 431 and 441 for switching electronic signals to detail and that is attached to the top of the display, after the viewpoint detection mechanism 420 camera operation unit 450 for operating manually the functions of the video camera 121, and the observer observed in the case of non cases and, for some reason the viewpoint detection by the viewpoint detection mechanism 420 are in the three-dimensional unobservable area a point having the warning means 460 for giving a warning to the user.

【0145】カメラの操作手段450にはカメラの映像を記録するためのセーブスイッチ451,カメラのズーム、パン、ティルトを操作するカメラ操作ボタン452 [0145] save switch 451 for recording the video camera to camera operation means 450, the camera operation button 452 for operating the camera zoom, pan, tilt
が備えられている。 It is provided.

【0146】図43は実施形態4のシステムブロック図である。 [0146] Figure 43 is a system block diagram of a fourth embodiment.

【0147】実施形態1のシステムブロック図2との相違点は外観図42で示した切り換えスイッチ431,4 [0147] changeover switch differences shown in external view 42 of the system block diagram 2 of Embodiment 1 431,4
41をそれぞれその要素として含む信号切り換え手段(1)430,信号切り換え手段(2)440と、カメラ操作手段450、視点検出機構420のからの映像信号を処理する信号処理手段470とその信号を記録する為の映像信号記録手段480、および、視点検出手段4 Signal switching means (1) 430 containing 41 as its elements, respectively, and the signal switching means (2) 440, a camera operation unit 450, a signal processing unit 470 for processing the video signal from the viewpoint detection mechanism 420 the signal recording video signal recording means 480 for, and, viewpoint detection means 4
20からの情報で作動する警告手段460が付加された点である。 Warning means 460 that operates with information from 20 is a point that has been added.

【0148】視点検出機構420は実施形態1で説明したシステムブロック図2と同様のシステムとなっているが、実施形態4では視点検出機構420は視点情報信号とともに、撮影された映像情報信号を出力し、且つ、視点検出機構420を構成するビデオカメラ121を操作する情報をも入出力出来るように構成されている。 [0148] Although point detection mechanism 420 has a similar system to the system block diagram 2 described in Embodiment 1, the viewpoint detecting mechanism 420 in the embodiment 4, along with viewpoint information signal, outputs the captured image information signal and, and, and it is configured to allow input and output even information to operate the video camera 121 constituting the viewpoint detection mechanism 420.

【0149】以下にそれぞれの部材の作用を説明する。 [0149] illustrating the operation of each member in the following.

【0150】ディスプレイ表示部110の観察者がディスプレイ使用に際し、信号切り換えスイッチ(1)43 [0150] Upon observer display using the display section 110, the signal changeover switch (1) 43
1を操作することにより、視点検出機構420からの映像信号、及びズーム、パン、チルト等のカメラ操作信号が図43に示した外部端子Aに出力される。 By operating the 1, video signals from the viewpoint detection mechanism 420, and the zoom, pan, camera operation signal of the tilt or the like is outputted to the external terminal A shown in FIG. 43.

【0151】この映像信号、操作信号を利用して不図示の公知の手段により、遠隔地との情報の交換が可能となり、視点検出機構420構成するビデオカメラ121がTV会議用ビデオカメラ、あるいは、監視用カメラとして機能する。 [0151] The video signal, by utilizing to known means not shown the operation signal, it is possible to exchange information with remote, viewpoint detection mechanism 420 video camera 121 TV conference video camera constituting or, to function as a monitoring camera.

【0152】したがって、本実施形態では視点検出機構420がディスプレイの上部に取り付けられ、観察者の視点を検出するために観察者の頭部を撮影するだけでなく、TV会議用あるいは、監視用としてより広い範囲の撮影でき、また、遠隔地からのカメラ操作が可能となっている。 [0152] Thus, attached to the upper viewpoint detection mechanism 420 of the display in this embodiment, not only taking a viewer's head to detect the observer's viewpoint, TV conference or, for the monitoring pictures can be taken of a broader range, also it enables camera operation from a remote location. 信号切り換えスイッチ(2)441は実施形態1で説明した観察者本人の撮影映像を使用して目のテンプレートを作製するためのスイッチである。 Signal changeover switch (2) 441 is a switch for making the eye template using the captured image of the observer himself described in the first embodiment.

【0153】信号切り換えスイッチ(2)441を操作するとディスプレイ駆動回路260は、通常の画像処理手段270から信号処理手段470に接続が切り替わり、ディスプレイ210には、信号処理手段470の信号処理結果が表示される。 [0153] signal changeover switch (2) 441 Operating the display driving circuit 260 switches the connection from the normal image processing unit 270 to the signal processing unit 470, the display 210, the signal processing result of the signal processing unit 470 is displayed It is.

【0154】信号処理手段470にはビデオカメラ12 [0154] video camera 12 to the signal processing means 470
1で撮影された映像信号が供給されており、信号切り換えスイッチ(2)441の操作によりディスプレイ21 Photographed image signal 1 are supplied, the display 21 by the operation of the signal changeover switch (2) 441
0にはその映像が表示される。 To zero the video is displayed.

【0155】同時に信号処理手段470の作用によりディスプレイ210のほぼ中央に観察者の両眼に対応する指標が重畳して表示される。 [0155] index corresponding to both eyes of a substantially central to the viewer of the display 210 is displayed superimposed by the action of the signal processing unit 470 simultaneously.

【0156】また同時に、信号切り換えスイッチ(2) [0156] At the same time, signal selector switch (2)
441に連動する信号処理手段470内の連動スイッチにより視点検出機構420のビデオカメラ121のズーム、パン、ティルトなどのカメラ操作が手動に切り換わり、カメラ操作手段450を操作することにより信号処理手段470を通してビデオカメラ121の操作を行うことが可能となる。 Zoom of the video camera 121 viewpoint detection mechanism 420 by interlock switch in the signal processing unit 470 interlocked to 441, pan, switched to manual camera operations such as tilt is, the signal processing unit 470 by operating the camera operation unit 450 it is possible to operate the video camera 121 through.

【0157】図44はディスプレイ210に重畳する指標を説明するための説明図である。 [0157] Figure 44 is an explanatory diagram for explaining an index to be superimposed on the display 210.

【0158】同図において、483はディスプレイの表示画面であり、481,482は観察者の両眼に対応する、例えば円形の指標である。 [0158] In the figure, 483 is a display screen of the display, 481, 482 correspond to both eyes of the observer, for example, a circular indicator.

【0159】この両指標481,482のそれぞれの大きさは、規定のズーム倍率で、観察者が標準位置でディスプレイ210を観察するときの観察者の目、目を含むその近傍、あるいは、目の光彩等の目の構成要素の大きさに設定され、両者の間隔は観察者の映像の標準眼間距離に設定されている。 [0159] Each of the sizes of the two indicators 481 and 482 is a zoom magnification of provisions, the observer when the observer observes the display 210 in the standard position the eyes, near including eyes, or eyes is set to the size of the eye components, such as glow, both the interval is set to the standard distance between the eyes of the viewer's video.

【0160】一般に、観察者がディスプレイ210を観察する場合には標準観察位置からずれた位置に位置するためあらかじめ設定した指標位置と両眼の像位置は一致しない。 [0160] In general, the observer index position and the image position of both eyes set in advance to a position at a position shifted from the standard viewing position for viewing the display 210 do not match. そこで、先に記したカメラ操作手段450に設けられたカメラ操作ボタン452を観察者が操作し、指標位置に両眼を合致させる。 Therefore, the camera operation button 452 provided on the camera operation section 450 noted earlier observer operates, match binocular an index position.

【0161】図45は、指標481,482が観察者2 [0161] FIG. 45, index 481, 482 observer 2
80に重畳され、観察者280の映像281の目が指標481,482に一致した状態でのディスプレイ画面4 Is superimposed on the 80, the display screen 4 in a state in which the eyes of the image 281 of the observer 280 matches the index 481 and 482
80を示している。 It shows the 80.

【0162】図46はその拡大図であり、実施形態1で説明した目のテンプレート284,285、顔領域28 [0162] Figure 46 is an enlarged view, the embodiment 1 eye template described in 284, 285, the face area 28
3が参考として表示してある。 3 are displayed as a reference.

【0163】観察者は目が指標481,482に一致したことを確認し、カメラ操作手段450に設けられたセーブボタン451を操作することにより、観察者の目の映像を映像記録装置480に記録する。 [0163] observer to confirm that the eyes are matched to the index 481 and 482, by operating the save button 451 provided on the camera operation unit 450, records an image of the viewer's eyes to the image recording apparatus 480 to.

【0164】この記録された映像をテンプレート28 [0164] template 28 this recorded video
4,285として使用し実施形態1に述べた方法により視点情報を得る。 Obtaining viewpoint information by the method described in Embodiment 1 is used as a 4,285.

【0165】テンプレートとして汎用の映像を使用するよりも観察者本人280の映像を使用した方が精度良く位置情報が検出可能である。 [0165] A precisely position information better to use the image of the observer himself 280 than using a general-purpose image can be detected as a template.

【0166】本実施形態では観察者の顔映像を表示するのにディスプレイ210を使用したが、勿論別の専用モニターを使用することも可能である。 [0166] In this embodiment with the display 210 to display the face image of the observer, but it is also possible, of course using a different dedicated monitor.

【0167】次に、図42の警告手段460の作用について図47,図48を用いて説明する。 [0167] will be described with reference to FIG. 47, FIG. 48 the operation of the warning means 460 in FIG. 42.

【0168】図47は、観察者がディスプレイ表示部1 [0168] FIG. 47, the viewer is the display section 1
10を観察している状態を上から見た様子の模式図、すなわちディスプレイ表示部110の水平断面図で、実施形態4の正常な立体観察の可能な領域を説明する説明図である。 10 schematic diagram of a state as viewed from above the observation to that state, that is, the horizontal cross-sectional view of the display section 110 is an explanatory diagram for explaining a region capable of normal stereoscopic observation embodiment 4.

【0169】ただし、同図は、説明のために、視点検出機構420の作用を仮に中止し、立体視追従機能を働かせなかった場合を示している。 [0169] However, the figure, for purposes of explanation, if discontinued action of viewpoint detection mechanism 420, shows a case where not worked stereoscopic following function.

【0170】同図において、110はディスプレイ表示部を示し、El,Erは標準観察位置Lh1での観察者の左右眼を示す。 [0170] In the figure, 110 denotes a display displaying unit, El, Er denotes the left and right eyes of the observer in the standard viewing position Lh1. Eは標準眼間距離である。 E is between the standard eye distance.

【0171】ディスプレイの表示部110は幅Wで内部構成は実施形態1と全く同様のため、標準眼間距離に等しい眼間距離の観察者の場合には、同図において太線で記した四角形の領域内に観察者の視点が存在する場合に観察者が正常に立体観察が可能である。 [0171] Since the internal configuration display of the display unit 110 in the width W of the same manner as in Embodiment 1, in the case of the observer equal distance between eyes between standard eye distance, the square in FIG noted by thick lines observer can be normally stereoscopically observed when there is the observer's viewpoint in the area. ディスプレイ表示部110面に垂直の方向(観察者の前後方向)では、 In the direction perpendicular to the display section 110 side (observer's longitudinal direction),
観察者とディスプレイ間の距離が図のLh1maxからLh1min Lh1min distance between the observer and the display from Lh1max of FIG
の範囲外では立体観察が出来ない。 Can not be three-dimensional observation is outside the scope of.

【0172】眼間距離eの観察者、或いは顔を傾けて眼間の水平成分の距離がeとなる場合にはLh1max、Lh1min [0172] When the distance between the horizontal component between the observer's interocular distance e, or by tilting the face eye becomes e is Lh1max, Lh1min
はそれぞれ図に示すようにLmax,Lminとなる。 It becomes Lmax, and Lmin, as shown in each of FIG.

【0173】ここで、視点検出機構420を作用させ、 [0173] Here, by the action of the viewpoint detection mechanism 420,
立体視域追従機能を働かせた場合には、ディスプレ面に平行な方向(観察者の左右方向)については、視点検出、立体視域追従制御の可能な範囲で立体視の可能な範囲が広がるが、垂直方向(前後方向)では立体視の可能な範囲は変化せずLmax〜Lmin以外では正常な立体視が不可能となる。 When exercising stereoscopic zone following function, for the direction parallel to the Display surface (the observer's lateral direction), the viewpoint detection, spreads can range stereoscopic extent possible stereoscopic zone following control vertical range of the (longitudinal direction) in the stereoscopic vision becomes impossible normal stereoscopic vision except Lmax~Lmin unchanged.

【0174】図48は実施形態1の図20に相当する実施形態4のディスプレイ作動中の視点検出機構420の撮影画像である。 [0174] Figure 48 is a photographic image of the view detecting mechanism 420 in the display operation of the fourth embodiment corresponding to FIG. 20 of Embodiment 1.

【0175】観察者が前後した場合にも実施形態1で説明したように、オートズーム機構の作用によりこの顔画像の大きさは一定に保たれるが、そのときに検出されるテンプレートの両眼間隔の水平成分Teと撮影カメラのズーム、パン、チルト情報から水平成分Teの実空間距離e [0175] As the observer described in Embodiment 1 even when the front and rear, the size of the face image by the action of the auto zoom mechanism is kept constant, both eyes of the template to be detected at that time horizontal component Te and shoot camera zoom interval, bread, real space distance e of the horizontal component Te from the tilt information
を算出し、その値からLmax,Lminを算出することにより、この前後領域外では立体視不能であることを警告手段460を作動させることにより観察者に警告する。 It calculates, Lmax from that value, by calculating the Lmin, alerting the observer by operating the warning means 460 that in this longitudinal region outside is impossible stereoscopic.

【0176】また、実施形態2で記した顔領域の検出、 [0176] In addition, the detection of the face region was noted in the second embodiment,
或いはテンプレートによる目の検出が何らかの理由で検出不可能であった場合にもこの警告手段460を作動させることが出来る。 Or can be actuating the warning means 460 when the template eye detection by was undetectable for some reason.

【0177】本実施形態では、独立の警告手段を設けたが、警告をディスプレイ表示部110に表示することも可能である。 [0177] In the present embodiment, is provided with the independent warning means, it is also possible to display a warning on the display section 110.

【0178】 [0178]

【発明の効果】本発明によれば以上のように、 (ア−1)観察者が移動し、視点が変化した場合にも、 As described above, according to the present invention, (A -1) observer moves, even if the viewpoint is changed,
視点を精度良く検出する検出有し、観察者が常時正常な立体観察ができる。 Viewpoint has detected accurately detected, the observer can always normal stereoscopic observation. (ア−2)同時に表示される視差画像が左右両眼に対応する2ヶの視差画像からなり、観察者が移動し、視点が変化した場合にも逆立体視が生ずることなく常時正常な立体観察が可能で、かつ視点に応じた画像の観察できる。 (A -2) parallax images to be displayed consists of two months of parallax images corresponding to the right and left eyes simultaneously, the observer moves, always normal stereo without viewpoint even reversed stereoscopic vision occurs when changes observation possible, and the image of the observable in response to the viewpoint. (ア−3)視点検出用のビデオカメラをTV会議用ビデオカメラなど、他用途に使用可能とすることや、観察者が観察可能条件外に位置した場合に警告を表示して観察者の利便性を高めたこと。 (A-3) a video camera for the viewpoint detection TV and conference video cameras, and be available to other applications, the observer of the display to the viewer an alarm when located outside observable conditions convenience that enhance the sex. などの効果を有した立体画像表示装置を達成することができる。 It is possible to achieve stereoscopic image display device having effects such as.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の実施形態1の外観図 External view of an embodiment 1 of the present invention

【図2】本発明の実施形態1のシステムブロック図 System block diagram of a first embodiment of the present invention; FIG

【図3】本発明の実施形態1のディスプレイ表示部の腰部概略図 Waist schematic view of the display section of the embodiment 1 of the present invention; FIG

【図4】本発明の実施形態1のマスクパターンの説明図 Illustration of a mask pattern of an embodiment 1 of the present invention; FIG

【図5】本発明の実施形態1の視差画像合成の説明図 Figure 5 is an explanatory diagram of a parallax image synthesis according to the first embodiment of the present invention

【図6】本発明の実施形態1の光学作用の説明図 Figure 6 is an illustration of the optical action of the first embodiment of the present invention

【図7】本発明の実施形態1の光学作用の説明図 Figure 7 is an illustration of the optical action of the first embodiment of the present invention

【図8】本発明の実施形態1の光学作用の説明図 Figure 8 is an illustration of the optical action of the first embodiment of the present invention

【図9】本発明の実施形態1の光学作用の説明図 Figure 9 is an illustration of the optical action of the first embodiment of the present invention

【図10】本発明の実施形態1の合成視差画像とマスクパターンの表示方法の説明図 Illustration of a display method of synthesizing parallax image and the mask pattern of Embodiment 1 of the present invention; FIG

【図11】本発明の実施形態1の合成視差画像とマスクパターンの表示方法の説明図 Figure 11 is an explanatory diagram of a display method of synthesizing parallax image and the mask pattern of Embodiment 1 of the present invention

【図12】本発明の実施形態1の合成視差画像とマスクパターンの表示方法の説明図 Illustration of a display method of synthesizing parallax image and the mask pattern of Embodiment 1 of the present invention; FIG

【図13】本発明の実施形態1の合成視差画像とマスクパターンの表示方法の説明図 Figure 13 is an explanatory diagram of a display method of synthesizing parallax image and the mask pattern of Embodiment 1 of the present invention

【図14】本発明の実施形態1の合成視差画像とマスクパターンの表示方法の説明図 Figure 14 is an explanatory diagram of a display method of synthesizing parallax image and the mask pattern of Embodiment 1 of the present invention

【図15】本発明の実施形態1の合成視差画像とマスクパターンの表示方法の説明図 Illustration of a display method of synthesizing parallax image and the mask pattern of Embodiment 1 of the present invention; FIG

【図16】本発明の実施形態1の合成視差画像とマスクパターンの表示方法の説明図 Illustration of a display method of synthesizing parallax image and the mask pattern of Embodiment 1 of FIG. 16 the present invention

【図17】本発明の実施形態1の視点検出機構のシステムブロック図 [17] system block diagram of a viewpoint detecting mechanism according to the first embodiment of the present invention

【図18】本発明の実施形態1の短焦点側での観察者の映像を示す画面 [Figure 18] screen showing the viewer of the image at the short focal end to the first embodiment of the present invention

【図19】本発明の実施形態1の規定焦点での観察者の映像を示す画面 [Figure 19] screen showing the viewer of the video at a defined focal point of the first embodiment of the present invention

【図20】本発明の実施形態1の顔領域の拡大図 Figure 20 is an enlarged view of the face area according to the first embodiment of the present invention

【図21】本発明の実施形態1の目のテンプレートの説明図 Figure 21 is an explanatory diagram of a template of the eye according to the first embodiment of the present invention

【図22】本発明の実施形態2の視差画像合成の説明図 Figure 22 is an explanatory diagram of a parallax image synthesis according to the second embodiment of the present invention

【図23】本発明の実施形態2で使用する視差画像の撮影方法の説明図 Figure 23 is an explanatory view of a photographic method of parallax images used in the second embodiment of the present invention

【図24】本発明の実施形態2の合成視差画像とマスクパターンの表示方法の説明図 Illustration of a display method of synthesizing parallax image and the mask pattern of the second embodiment of Figure 24 the present invention

【図25】本発明の実施形態2の合成視差画像とマスクパターンの表示方法の説明図 Figure 25 is an explanatory diagram of a display method of synthesizing parallax image and the mask pattern of Embodiment 2 of the present invention

【図26】本発明の実施形態2の合成視差画像とマスクパターンの表示方法の説明図 Figure 26 is an illustration of a synthetic parallax image and display method of a mask pattern of an embodiment 2 of the present invention

【図27】本発明の実施形態2の合成視差画像とマスクパターンの表示方法の説明図 Figure 27 is an explanatory diagram of a display method of synthesizing parallax image and the mask pattern of Embodiment 2 of the present invention

【図28】本発明の実施形態2の合成視差画像とマスクパターンの表示方法の説明図 Figure 28 is an illustration of a synthetic parallax image and display method of a mask pattern of an embodiment 2 of the present invention

【図29】本発明の実施形態2の合成視差画像とマスクパターンの表示方法の説明図 Illustration of a display method of synthesizing parallax image and the mask pattern of the second embodiment of Figure 29 the present invention

【図30】本発明の実施形態2の合成視差画像とマスクパターンの表示方法の説明図 Illustration of a display method of synthesizing parallax image and the mask pattern of the second embodiment of Figure 30 the present invention

【図31】本発明の実施形態3のディスプレイ表示部の腰部概略図 [Figure 31] waist schematic view of the display section of the embodiment 3 of the present invention

【図32】本発明の実施形態3のマスクパターンの説明図 Figure 32 is an explanatory diagram of a mask pattern of an embodiment 3 of the present invention

【図33】本発明の実施形態3の視差画像合成の説明図 Figure 33 is an explanatory diagram of a parallax image synthesis according to the third embodiment of the present invention

【図34】本発明の実施形態3の光学作用の説明図 Figure 34 is an explanatory view of an optical effect of the embodiment 3 of the present invention

【図35】本発明の実施形態3の合成視差画像とマスクパターンの表示方法の説明図 Illustration of a display method of synthesizing parallax image and the mask pattern of Embodiment 3 in FIG. 35 the present invention

【図36】本発明の実施形態3の合成視差画像とマスクパターンの表示方法の説明図 Figure 36 is an explanatory diagram of a display method of synthesizing parallax image and the mask pattern of Embodiment 3 of the present invention

【図37】本発明の実施形態3の合成視差画像とマスクパターンの表示方法の説明図 Illustration of a display method of synthesizing parallax image and the mask pattern of Embodiment 3 in FIG. 37 the present invention

【図38】本発明の実施形態3の合成視差画像とマスクパターンの表示方法の説明図 Figure 38 is an explanatory diagram of a display method of synthesizing parallax image and the mask pattern of Embodiment 3 of the present invention

【図39】本発明の実施形態3の合成視差画像とマスクパターンの表示方法の説明図 Figure 39 is an explanatory diagram of a display method of synthesizing parallax image and the mask pattern of Embodiment 3 of the present invention

【図40】本発明の実施形態3の合成視差画像とマスクパターンの表示方法の説明図 Illustration of a display method of synthesizing parallax image and the mask pattern of Embodiment 3 in FIG. 40 the present invention

【図41】本発明の実施形態3の合成視差画像とマスクパターンの表示方法の説明図 Illustration of a display method of synthesizing parallax image and the mask pattern of Embodiment 3 in FIG. 41 the present invention

【図42】本発明の実施形態4の外観図 Figure 42 is an external view of an embodiment 4 of the present invention

【図43】本発明の実施形態4のシステムブロック図 [43] system block diagram of a fourth embodiment of the present invention

【図44】本発明の実施形態4の重畳指標の説明図 Figure 44 is an illustration of superimposed indices embodiment 4 of the present invention

【図45】本発明の実施形態4の重畳指標と撮影像の説明図 Figure 45 is an illustration of the overlapping index and photographing images according to the fourth embodiment of the present invention

【図46】本発明の実施形態4の重畳指標と撮影像の拡大説明図 Figure 46 is an enlarged illustration of the superimposed indication and pickup image of a fourth embodiment of the present invention

【図47】本発明の実施形態4の立体視可能領域の説明図 Figure 47 is an explanatory view of the stereoscopic area of ​​the fourth embodiment of the present invention

【図48】本発明の実施形態4の検出眼間距離の説明図 Figure 48 is an explanatory view of the detection distance between eyes of a fourth embodiment of the present invention

【符号の説明】 DESCRIPTION OF SYMBOLS

100 立体画像表示装置本体 110 ディスプレイ表示部 111 3Dウインドウ 120、420 視点検出機構 121 視点検出機構のビデオカメラ 122 撮影レンズ 123 映像撮影手段 124 ズーム制御手段 125 カメラ雲台 126 映像処理手段 127 カメラ制御手段 210 ディスプレイ(ディスプレイデバイス) 211、311 合成視差画像 220 縦レンチキュラーレンズ(縦シリンドリカルレンズアレイ) 230 横レンチキュラーレンズ(横シリンドリカルレンズアレイ) 240、340 光変調器 241、341 マスクパターン 244、344 光変調器の透光部の画素 245、345 光変調器の透光部の画素 246、346 光変調器の透光部の画素 242、342 マスクパターンの透光部 243、343 マスク 100 three-dimensional image display device main body 110 displays the display unit 111 3D window 120, 420 viewpoint detection mechanism 121 view video camera 122 photographing lens 123 image pickup unit 124 zoom control means detecting mechanism 125 camera panhead 126 image processing unit 127 the camera controller 210 display (display device) 211, 311 synthetic parallax image 220 vertical lenticular lens (vertical cylindrical lens array) 230 horizontal lenticular lens (horizontal cylindrical lens array) 240 and 340 of the optical modulator 241,341 mask pattern 244,344 optical modulator Toru light transmitting portions 243,343 mask pixels 242, 342 mask pattern of the transparent portion of the pixel 246,346 light modulator of the light transmitting portions of the pixel 245,345 light modulator of the optical portion パターンの遮光部 247、347 照射視差画像部分領域 248、348 照射視差画像部分領域 249、349 照射視差画像部分領域 250、350 バックライト光源 260 ディスプレイ駆動回路 270 画像処理手段 280 観察者 281 観察者の画像 282 撮影画面 283 検出された顔領域 284,285 目のテンプレート 290、390 照射視差画像 320 光変調器駆動回路 330 信号合成回路 430 信号切り換え手段(1) 431 信号切り換えスイッチ1 440 信号切り換え手段(2) 441 信号切り換えスイッチ2 450 カメラ操作手段 451 セーブボタン 452 ズーム、パン、ティルトボタン 460 警告手段 470 信号処理手段 480 映像信号記録手段 480 ディスプレイ画面 481、482 重畳 Pattern light shielding portions 247,347 irradiated parallax image partial areas 248,348 irradiated parallax image partial areas 249,349 irradiated parallax image partial areas 250, 350 backlight 260 Display driving circuit 270 image processing unit 280 viewer 281 observer of the image 282 imaging screen 283 detected face area 284 and 285 th of the template 290 and 390 irradiated parallax image 320 the optical modulator driving circuit 330 signal combining circuit 430 the signal switching means (1) 431 signal changeover switch 1 440 signal switching means (2) 441 signal changeover switch 2 450 camera operating unit 451 save button 452 zoom, pan, tilt button 460 warning means 470 the signal processing unit 480 the video signal recording unit 480 display screen 481, 482 superimposed 指標 E 観察者の標準眼間距離 E 観察者の眼間距離の水平成分 El 観察者の左眼 Er 観察者の右眼 G(1),G(2)、g(i)、g(i+n) 視差画像 G(1,2),g(i,i+n) 合成視差画像 GS1,GS2,gs(i)、gs(i+n) 照射視差画像領域 Hl 縦レンチキュラーレンズを構成する縦シリンドリカルレンズのピッチ幅 Hm マスクパターンの透光部の水平方向のピッチ幅 Hmw マスクパターンの透光部の水平方向の幅 Lh1 観察者と縦レンチキュラーレンズとの換算距離 Lmax 立体視可能な観察者とディスプレイ間の最大距離 Lmin 立体視可能な観察者とディスプレイ間の最小距離 Lh1max 標準眼間距離での立体視可能な観察者とディスプレイ間の最大距離 Lh1min 標準眼間距離での立体視可能な観察者とディスプレイ間の最小距離 Lh2 縦レンチキュラーレンズとマスクパターンとの換算距 The left eye of the horizontal component El observer's eye distance of the standard interocular distance E observer index E observer Er observer right eye G (1), G (2), g (i), g (i + n) parallax images G (1,2), g (i, i + n) synthetic parallax image GS1, GS2, gs (i), the vertical cylindrical constituting the gs (i + n) irradiating the parallax image region Hl vertical lenticular lens converted distance Lmax stereoscopically visible observer and horizontal width Lh1 viewer and the vertical lenticular lens of the transparent portion of the horizontal pitch width Hmw mask pattern of the transparent portion of the pitch Hm mask pattern of the lens and between the display maximum distance Lmin minimum distance Lh1max stereoscopically visible observer in standard interocular distance and the maximum distance Lh1min stereoscopically visible observer in standard interocular distance between the display and the display between the stereoscopic view possible observer and the display of translation distance of the minimum distance Lh2 vertical lenticular lens and the mask pattern between Lv1 ディスプレイデバイスと横レンチキュラーレンズとの換算距離 Lv2 横レンチキュラーレンズとマスクパターンとの換算距離 Lw1 観察者とディスプレイデバイスとの換算距離 Lw2 ディスプレイデバイスとマスクパターンとの換算距離 n マスクパターンの透光部、遮光部を構成する画素の数 Ph ディスプレイディバイス上のストライプ画素のX方向の幅 Pv ディスプレイディバイス上のストライプ画素のY方向の幅 Te 表示画像の眼間距離の水平成分 X,Y,Z 座標 Vl 横レンチキュラーレンズを構成する横シリンドリカルレンズのピッチ幅 Vm マスクパターンの透光部、遮光部の垂直方向の幅 W ディスプレイ表示部の幅 Lv1 transparent portion of the converted distances n mask patterns of the converted distances Lw2 display device and the mask pattern with the display device and the converted distance Lw1 observer the converted distance Lv2 horizontal lenticular lens and the mask pattern of the horizontal lenticular lens and the display device, horizontal component X interocular distance in the Y direction width Te display image of the stripe pixels on the X-direction width Pv display devices of stripe pixels on several Ph display devices of the pixels constituting the light-shielding portion, Y, Z coordinate Vl horizontal transparent portion of the pitch Vm mask pattern of the horizontal cylindrical lenses constituting the lenticular lens, the width of the width W the display section in the vertical direction of the light shielding portion

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) H04N 5/225 H04N 5/232 A 5/232 G06F 15/62 350V (72)発明者 森島 英樹 神奈川県横浜市西区花咲町6丁目145番地 株式会社エム・アール・システム研究所 内社内 Fターム(参考) 2H059 AA12 AA18 AA38 5B050 BA09 BA12 EA03 EA05 EA07 EA12 EA13 EA19 EA26 FA02 FA06 5C022 AB13 AB21 AB66 AB68 AC18 AC27 AC54 5C061 AA06 AB03 5C082 AA27 BA47 BD02 CB01 MM10 ────────────────────────────────────────────────── ─── of the front page continued (51) Int.Cl. 7 identification mark FI theme Court Bu (reference) H04N 5/225 H04N 5/232 a 5/232 G06F 15/62 350V (72) inventor Hideki Morishima Yokohama, Kanagawa Prefecture city ​​Nishi-ku Hanasaki-cho, address 6-chome 145 CO., LTD M-Reality systems Laboratory within the corporate F-term (reference) 2H059 AA12 AA18 AA38 5B050 BA09 BA12 EA03 EA05 EA07 EA12 EA13 EA19 EA26 FA02 FA06 5C022 AB13 AB21 AB66 AB68 AC18 AC27 AC54 5C061 AA06 AB03 5C082 AA27 BA47 BD02 CB01 MM10

Claims (21)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 観察者の視点を検出する視点検出機構と、観察者の左右両眼に対応した視差画像を視点情報に追従制御して表示するディスプレイとデバイスとを用いて、該視差画像を立体的に観察する立体画像表示装置において、 該視点検出機構は、 観察者を映像情報として取り込む撮像手段、 該撮像手段で取り込まれた観察者の映像情報から顔領域を検出し、該顔領域から観察者の両眼を検出する機能と検出された両眼をトラッキングする機能を有した映像処理手段、該映像処理手段で検出された顔領域を拡大、又は縮小するカメラ制御手段、とを有していることを特徴とする立体画像表示装置。 1. A and the viewpoint detection mechanism for detecting the observer's viewpoint, the parallax images corresponding to the left and right eyes of the observer with a display and a device for displaying tracking control to the viewpoint information, the parallax image in the stereoscopic image display device stereoscopically observed convergent point detection mechanism, the viewer imaging means for capturing a video information, and detects the observer's face area from the image information of the captured by the imaging means, the said pigment region a video processing unit having an ability to track both eyes detected as a function of detecting both eyes of the observer, a larger the face region detected by the video processing unit, or the camera control unit for reducing the capital and stereoscopic image display apparatus, characterized in that are.
  2. 【請求項2】 前記撮像手段は、ビデオカメラを有し、 Wherein said imaging means includes a video camera,
    前記カメラ制御手段は該ビデオカメラをパン・チルトする機構を有していることを特徴とする請求項1の立体画像表示装置。 Said camera control unit stereoscopic image display apparatus according to claim 1, characterized in that it comprises a mechanism for pan and tilt the video camera.
  3. 【請求項3】 前記撮像手段からの映像信号、及び前記カメラ制御手段からのズーム・パン・チルトの制御信号を外部に取り出すための信号切り換え手段を有することを特徴とする請求項1又は2の立体画像表示装置。 3. A according to claim 1 or 2, characterized in that it has a signal switching means for extracting the video signal from the imaging means, and a zoom pan-tilt control signal from the camera control unit to the outside three-dimensional image display apparatus.
  4. 【請求項4】 前記映像処理手段は、取り込まれれた観察者の映像情報から予め設定された色情報を識別することを特徴とする請求項1,2又は3の立体画像表示装置。 Wherein said image processing means, incorporated observers claim 1, 2 or 3 of the three-dimensional image display device and wherein the identifying color information set in advance from video information.
  5. 【請求項5】 前記予め設定された色情報は観察者の顔の色、あるいは標準的肌色であることを特徴とする請求項4の立体画像表示装置。 Wherein said predetermined color information stereoscopic image display apparatus according to claim 4, characterized in that the color of the face of the observer or standard flesh color.
  6. 【請求項6】 前記映像処理手段により予め設定された情報を識別する際、取り込まれた映像情報の中にその色に該当する領域が検出されなかった場合には、前記ビデオカメラの焦点距離を短焦点距離側に制御し、検出された場合には予め設定した焦点距離に制御することを特徴とする請求項4、又は5の立体画像表示装置。 Wherein when identifying the information set in advance by the image processing means, when the area corresponding to that color in the captured image information is not detected, the focal length of said video camera controls the short focal length side, claim 4, or 5 of the stereoscopic image display apparatus and controls the focal length set in advance when it is detected.
  7. 【請求項7】 前記映像処理手段により予め設定された色情報を識別する際、取り込まれた映像情報の中にその色情報に該当する領域が検出されなかった場合には、それを観察者にしらせるための警告手段を有することを特徴とする請求項4,5又は6の立体画像表示装置。 7. When identifying the color information set in advance by the image processing means, when the area corresponding to the color information in the captured image information is not detected, the viewer it the stereoscopic image display apparatus according to claim 4, 5 or 6, characterized in that it has a warning means for known.
  8. 【請求項8】 前記映像処理手段は、取り込まれれた観察者の映像情報から予め設定されたパターン領域を識別することを特徴とする請求項8の立体画像表示装置。 Wherein said image processing means, incorporated observers of the stereoscopic image display apparatus according to claim 8, wherein the identifying a preset pattern area from the image information.
  9. 【請求項9】 前記予め設定されたパターンは観察者の目、または標準的な目、目の近傍、あるいは光彩など目を構成する部分画像であることを特徴とする請求項1の立体画像表示装置。 9. eyes of the preset patterns observer or standard eye, near the eye or stereoscopic image display of claim 1, wherein the glow is partial images constituting the eyes etc., apparatus.
  10. 【請求項10】 前記予め設定された色、あるいはパターンを観察者の顔映像情報から作成するための映像処理手段、およびその情報を記録するための映像記録手段を有することを特徴とする請求項1の立体画像表示装置。 10. A video processing means for generating from said preset color or pattern the observer's face image information, and claims, characterized in that it has a video recording means for recording the information 1 of the stereoscopic image display apparatus.
  11. 【請求項11】 前記ビデオカメラで取り込まれた観察者の顔映像情報をディスプレイ表示部に表示するための切り換え手段を有することを特徴とする請求項1の立体画像表示装置。 11. The stereoscopic image display apparatus according to claim 1, characterized in that it comprises a switching means for displaying the facial image information of the observer taken by said video camera to the display section.
  12. 【請求項12】 前記ディスプレイ表示部に表示された観察者の顔映像を観察者が手動で、表示画面上で予め定められた位置、大きさに設定するための操作手段を有することを特徴とする請求項11の立体画像表示装置。 12. The method of claim 11, wherein the face image of the observer is displayed on the display section observer manually predetermined position on the display screen, and characterized by having an operation means for setting the magnitude the stereoscopic image display device of claim 11,.
  13. 【請求項13】 前記映像処理手段は、パターン認識により特定パターンをトラッキングすることを特徴とする請求項1の立体画像表示装置。 Wherein said image processing means, the stereoscopic image display apparatus according to claim 1, characterized in that tracking the specific pattern by pattern recognition.
  14. 【請求項14】 前記特定パターンは観察者の目、または標準的な目、目の近傍、あるいは光彩など目を構成する部分画像であり、両眼をトラッキングしているときの両眼間隔(ビデオカメラから見込む)が規定の値以外のときに警告を発する警告手段を有することを特徴とする請求項13の立体画像表示装置。 14. eyes of the specific pattern viewer or standard eye, a partial image constituting the eye, such as near the eye or iris, binocular interval while tracking both eyes (Video the stereoscopic image display apparatus according to claim 13, characterized in that it comprises a warning means for expected from the camera) issues a warning when a non defined value.
  15. 【請求項15】 離散的な画素構造を有する光変調器と該光変調器の表示面に透光部と遮光部とを複数個、所定のピッチで水平方向と垂直方向に配列したマスクパターンと、該光変調器に光を照射する光源手段と、離散的な画素構造を有し走査線を利用して合成視差画像を表示したディスプレイと、該ディスプレイに表示した視差画像に該マスクのパターンでパターン化した光束を照射し、 15. discrete plurality of the light transmission part and the light shielding part on the display surface of the optical modulator and optical modulator having a pixel structure, the mask pattern arranged horizontally and vertically at a predetermined pitch and a light source means for irradiating light to the optical modulator, a pattern of discrete and display a pixel structure using the scanning line displaying the synthetic parallax image, the mask on the parallax image displayed on the display irradiating a light beam having patterned,
    該視差画像に基づく光束を観察者の右目と左目に導光して、該ディスプレイに表示した画像情報を立体的に観察する、ディスプレイデバイスと観察者の視点情報を検出する視点検出機構を有する立体画像表示装置において、 該合成視差画像を、左右眼に対応する2ヶの原視差画像から構成し、該視点検出機構からの視点情報に基づき、 And guided to the right and left eyes of the observer the light beam based on the parallax image stereoscopically observing the image information displayed on the display, three-dimensional having a viewpoint detection mechanism for detecting the viewpoint information of the display device and the viewer in the image display device, the synthetic parallax image is constituted from two months of the original parallax images corresponding to the left and right eyes, based on the viewpoint information from the visual point detection mechanism,
    該マスクパターンのパターン形状、及び該合成視差画像を構成する現視差画像を切り換えて表示することを特徴とする立体画像表示装置。 Pattern shape of the mask pattern, and three-dimensional image display device and displaying by switching the current parallax images constituting the synthesized parallax image.
  16. 【請求項16】 前記合成視差画像を構成する2ヶの原視差画像は眼間距離対応した視点から観察した画像であることを特徴とする請求項15の立体画像表示装置。 16. The original parallax images of two months that constitute the synthetic parallax image stereoscopic image display apparatus according to claim 15, characterized in that an image observed from the viewpoint that the interocular distance corresponding.
  17. 【請求項17】 該光変調器のマスクパターンの透光部の水平要素を複数の画素から構成し、観察位置に投射されるストライプ状の照射領域を複数の領域に分割して制御することを特徴とする請求項15又は16の立体画像表示装置。 17. constitute horizontal component of the transparent portion of the mask pattern of the optical modulator of a plurality of pixels, to control by dividing the striped illumination area is projected on the observation position in the plurality of regions the stereoscopic image display apparatus according to claim 15 or 16, characterized.
  18. 【請求項18】 ディスプレイに表示した視差画像に基づく立体画像を観察する観察者を映像情報として取り込む工程、該観察者の映像情報より該観察者の顔領域を検出する工程、該観察者の顔領域から観察者の眼球を検出する工程、該観察者の眼球をトラッキングする工程、該検出した観察者の眼球より観察者の視点情報を検出する工程、該観察者の視点情報に基づいて該ディスプレイに表示する視差画像を追従制御する工程とを含むことを特徴とする立体画像表示方法。 18. step of detecting a process, the observer said observer's face area from the image information of the capturing viewers who see stereoscopic images based on the display parallax images on a display as the video information, the viewer's face the display on the basis of the detection to process, the observer step of tracking eye, the step of detecting the viewpoint information of the viewer from the viewer's eye to the detected, said observer's viewpoint information observer's eyeball from the area stereoscopic image display method which comprises the step of tracking control a parallax image to be displayed in.
  19. 【請求項19】 前記取り込んだ観察者の映像情報と予め設定した色情報とを識別する工程を含むことを特徴とする請求項18の立体画像表示方法。 19. The stereoscopic image display method according to claim 18, characterized in that it comprises a step of identifying the color information set in advance and the acquired viewer of the video information.
  20. 【請求項20】 前記取り込んだ観察者の映像情報の中に予め設定した色情報が存在しないときには、該観察者の映像情報を取り込み方法を変化させる工程を含むことを特徴とする請求項18又は19の立体画像表示方法。 When 20. no color information set in advance in the image information of the captured observer is present, according to claim 18 or, characterized in that it comprises the step of changing the method captures video information of the viewer three-dimensional image display method of 19.
  21. 【請求項21】 前記取り込んだ観察者の映像情報の中に予め設定した色情報が存在しないときには、警告信号を発する工程を含むことを特徴とする請求項19又は2 21. When the color information set in advance in the image information of the captured observer is not present, according to claim 19 or 2, characterized in that it comprises a step of issuing a warning signal
    0の立体画像表示方法。 Three-dimensional image display method of 0.
JP32213998A 1998-11-12 1998-11-12 Stereoscopic image display device Pending JP2000152285A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32213998A JP2000152285A (en) 1998-11-12 1998-11-12 Stereoscopic image display device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP32213998A JP2000152285A (en) 1998-11-12 1998-11-12 Stereoscopic image display device
US09395365 US6757422B1 (en) 1998-11-12 1999-09-14 Viewpoint position detection apparatus and method, and stereoscopic image display system
US10238593 US20030012425A1 (en) 1998-11-12 2002-09-11 Viewpoint position detection apparatus and method, and stereoscopic image display system

Publications (1)

Publication Number Publication Date
JP2000152285A true true JP2000152285A (en) 2000-05-30

Family

ID=18140373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32213998A Pending JP2000152285A (en) 1998-11-12 1998-11-12 Stereoscopic image display device

Country Status (1)

Country Link
JP (1) JP2000152285A (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243373A (en) * 2005-03-03 2006-09-14 Matsushita Electric Ind Co Ltd Video signal processor, imaging apparatus mounted with the same, and method and program for processing video signal
US7281802B2 (en) 2003-03-28 2007-10-16 Kabushiki Kaisha Toshiba Stereoscopic display device and method
KR100804798B1 (en) 2006-03-16 2008-02-20 주식회사 에스원 Iris scan system and the method thereof, security system and the method thereof using the same
US7605776B2 (en) 2003-04-17 2009-10-20 Sony Corporation Stereoscopic-vision image processing apparatus, stereoscopic-vision image providing method, and image display method
JP2009544992A (en) * 2006-07-24 2009-12-17 シーフロント ゲゼルシャフト ミット ベシュレンクテル ハフツング Autostereoscopic system
WO2010061689A1 (en) 2008-11-26 2010-06-03 日本電気株式会社 Display device, terminal device, and display method
WO2010071291A1 (en) * 2008-12-18 2010-06-24 (주)엘지전자 Method for 3d image signal processing and image display for implementing the same
WO2011048773A1 (en) * 2009-10-20 2011-04-28 Sony Corporation Image display apparatus, image display method, and program
JP2011257682A (en) * 2010-06-11 2011-12-22 Nintendo Co Ltd Display control program, display controller, display control method and display control system
EP2445200A1 (en) * 2009-06-16 2012-04-25 LG Electronics Inc. Viewing range notification method and tv receiver for implementing the same
WO2012097503A1 (en) * 2011-01-18 2012-07-26 青岛海信信芯科技有限公司 Control method and apparatus for stereoscopic display
JP2012205267A (en) * 2011-03-28 2012-10-22 Sony Corp Display control device, display control method, detection device, detection method, program, and display system
JP2012205262A (en) * 2011-03-28 2012-10-22 Casio Comput Co Ltd Display system, display apparatus, and display auxiliary apparatus
JP2012530284A (en) * 2010-10-07 2012-11-29 株式会社ソニー・コンピュータエンタテインメント 3-d glasses and, camera-based head tracking
US20130050816A1 (en) * 2011-08-31 2013-02-28 Kabushiki Kaisha Toshiba Three-dimensional image processing apparatus and three-dimensional image processing method
EP2693758A2 (en) 2012-07-31 2014-02-05 NLT Technologies, Ltd. Stereoscopic image display device, image processing device, and stereoscopic image processing method
JP2016082558A (en) * 2014-10-11 2016-05-16 深▲セン▼超多▲維▼光▲電▼子有限公司 Stereoscopic display device detection system and detection method thereof

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7726816B2 (en) 2003-03-28 2010-06-01 Kabushiki Kaisha Toshiba Stereoscopic display device and method
US7281802B2 (en) 2003-03-28 2007-10-16 Kabushiki Kaisha Toshiba Stereoscopic display device and method
US7736005B2 (en) 2003-03-28 2010-06-15 Kabushiki Kaisha Toshiba Stereoscopic display device and method
US7506984B2 (en) 2003-03-28 2009-03-24 Kabushiki Kaisha Toshiba Stereoscopic display device and method
US7605776B2 (en) 2003-04-17 2009-10-20 Sony Corporation Stereoscopic-vision image processing apparatus, stereoscopic-vision image providing method, and image display method
JP2006243373A (en) * 2005-03-03 2006-09-14 Matsushita Electric Ind Co Ltd Video signal processor, imaging apparatus mounted with the same, and method and program for processing video signal
KR100804798B1 (en) 2006-03-16 2008-02-20 주식회사 에스원 Iris scan system and the method thereof, security system and the method thereof using the same
JP2009544992A (en) * 2006-07-24 2009-12-17 シーフロント ゲゼルシャフト ミット ベシュレンクテル ハフツング Autostereoscopic system
JP4950293B2 (en) * 2006-07-24 2012-06-13 シーフロント ゲゼルシャフト ミット ベシュレンクテル ハフツング Autostereoscopic system
WO2010061689A1 (en) 2008-11-26 2010-06-03 日本電気株式会社 Display device, terminal device, and display method
US9122064B2 (en) 2008-11-26 2015-09-01 Nec Corporation Display device, terminal device, and display method
US9880395B2 (en) 2008-11-26 2018-01-30 Nec Corporation Display device, terminal device, and display method
US9571815B2 (en) 2008-12-18 2017-02-14 Lg Electronics Inc. Method for 3D image signal processing and image display for implementing the same
WO2010071291A1 (en) * 2008-12-18 2010-06-24 (주)엘지전자 Method for 3d image signal processing and image display for implementing the same
CN102257824B (en) * 2008-12-18 2015-04-22 Lg电子株式会社 Method for 3d image signal processing and image display for implementing the same
EP2445200A4 (en) * 2009-06-16 2013-07-24 Lg Electronics Inc Viewing range notification method and tv receiver for implementing the same
EP2445200A1 (en) * 2009-06-16 2012-04-25 LG Electronics Inc. Viewing range notification method and tv receiver for implementing the same
US9013560B2 (en) 2009-06-16 2015-04-21 Lg Electronics Inc. Viewing range notification method and TV receiver for implementing the same
WO2011048773A1 (en) * 2009-10-20 2011-04-28 Sony Corporation Image display apparatus, image display method, and program
JP2011257682A (en) * 2010-06-11 2011-12-22 Nintendo Co Ltd Display control program, display controller, display control method and display control system
US8599246B2 (en) 2010-06-11 2013-12-03 Nintendo Co., Ltd. Storage medium storing display controlling program, display controlling apparatus, display controlling method and display controlling system
JP2012530284A (en) * 2010-10-07 2012-11-29 株式会社ソニー・コンピュータエンタテインメント 3-d glasses and, camera-based head tracking
US8879830B2 (en) 2011-01-18 2014-11-04 Hisense Hiview Tech Co., Ltd. Control method and apparatus for stereoscopic display
WO2012097503A1 (en) * 2011-01-18 2012-07-26 青岛海信信芯科技有限公司 Control method and apparatus for stereoscopic display
JP2012205267A (en) * 2011-03-28 2012-10-22 Sony Corp Display control device, display control method, detection device, detection method, program, and display system
JP2012205262A (en) * 2011-03-28 2012-10-22 Casio Comput Co Ltd Display system, display apparatus, and display auxiliary apparatus
US8994797B2 (en) 2011-03-28 2015-03-31 Casio Computer Co., Ltd. Display system, display device and display assistance device
JP2013051602A (en) * 2011-08-31 2013-03-14 Toshiba Corp Electronic device and control method for electronic device
CN102970553A (en) * 2011-08-31 2013-03-13 株式会社东芝 Three-dimensional image processing apparatus and three-dimensional image processing method
US20130050816A1 (en) * 2011-08-31 2013-02-28 Kabushiki Kaisha Toshiba Three-dimensional image processing apparatus and three-dimensional image processing method
EP2693758A2 (en) 2012-07-31 2014-02-05 NLT Technologies, Ltd. Stereoscopic image display device, image processing device, and stereoscopic image processing method
US9398290B2 (en) 2012-07-31 2016-07-19 Nlt Technologies, Ltd. Stereoscopic image display device, image processing device, and stereoscopic image processing method
JP2016082558A (en) * 2014-10-11 2016-05-16 深▲セン▼超多▲維▼光▲電▼子有限公司 Stereoscopic display device detection system and detection method thereof

Similar Documents

Publication Publication Date Title
US5771066A (en) Three dimensional display device
US5976017A (en) Stereoscopic-image game playing apparatus
US6326994B1 (en) Matched field-of-view stereographic imaging apparatus
US5861936A (en) Regulating focus in accordance with relationship of features of a person's eyes
US3959580A (en) Directly viewable stereoscopic projection system
US5635947A (en) Eye movement tracking display
US20040263613A1 (en) Stereo-observation system
US5914810A (en) Stereoscopic imaging arrangement and viewing arrangement
US7154527B1 (en) Optical device
US6115058A (en) Image display system
US4851901A (en) Stereoscopic television apparatus
US7683926B2 (en) Optical device
US6864910B1 (en) Optical apparatus
US5644427A (en) Image display apparatus
US6462871B1 (en) Stereoscopic image display apparatus using specific mask pattern
US7061532B2 (en) Single sensor chip digital stereo camera
US6445365B1 (en) Image display apparatus and image photographing apparatus therefor
JPH089421A (en) Three-dimensional imaging device
JP2002095018A (en) Image display controller, image display system and method for displaying image data
JP2001281520A (en) Optical device
JPH10271536A (en) Stereoscopic video display device
JPH0847001A (en) Steroscopic television camera
US6757422B1 (en) Viewpoint position detection apparatus and method, and stereoscopic image display system
JP2001078234A (en) Image input device and image display device
JP2001008235A (en) Image input method for reconfiguring three-dimensional data and multiple-lens data input device