JP2005515487A - 3D image projection using retroreflective screen - Google Patents

3D image projection using retroreflective screen Download PDF

Info

Publication number
JP2005515487A
JP2005515487A JP2003559162A JP2003559162A JP2005515487A JP 2005515487 A JP2005515487 A JP 2005515487A JP 2003559162 A JP2003559162 A JP 2003559162A JP 2003559162 A JP2003559162 A JP 2003559162A JP 2005515487 A JP2005515487 A JP 2005515487A
Authority
JP
Japan
Prior art keywords
image
screen
projector
dimensional
projectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003559162A
Other languages
Japanese (ja)
Inventor
プチリン、アンドレイ・エヌ
ラキアニトゥサ、アンドリュー・エイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NeurOK LLC
Original Assignee
NeurOK LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NeurOK LLC filed Critical NeurOK LLC
Publication of JP2005515487A publication Critical patent/JP2005515487A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/376Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/38Image reproducers using viewer tracking for tracking vertical translational head movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/393Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the volume being generated by a moving, e.g. vibrating or rotating, surface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes

Abstract

本明細書では、2台の電子制御されたプロジェクタおよび再帰反射スクリーンを使用する3次元投影システムとその関連方法を開示する。再帰反射スクリーンは、画像が投影されると既知の非線形の光反射パターンを生じる。画像計算手段は、入力される立体ペア画像と、プロジェクタおよびスクリーンに関する情報とに基づいて各プロジェクタの平面画像情報を計算するために用いられる。本発明の好ましい実施形態において、投影システムは、ニューラルネットワークのフィードバック計算を使用して適切な平面画像情報と、任意の所与の時点でプロジェクタによってスクリーン上に投影される適切な画像とを計算する画像計算デバイスを用いる。2台よりも多いプロジェクタを使用して、複数のアスペクトのビューを生成したり、複数の観察者をサポートしたりすることができる。別の実施形態において、投影システムは、出力画像に対するフィードバックデータを提供するデジタルカメラを含む。  The present specification discloses a three-dimensional projection system using two electronically controlled projectors and a retroreflective screen and related methods. Retroreflective screens produce a known non-linear light reflection pattern when an image is projected. The image calculation means is used for calculating planar image information of each projector based on the input stereoscopic pair image and information on the projector and the screen. In a preferred embodiment of the present invention, the projection system uses neural network feedback calculations to calculate the appropriate planar image information and the appropriate image projected on the screen by the projector at any given time. An image computing device is used. More than two projectors can be used to generate multiple aspect views and to support multiple viewers. In another embodiment, the projection system includes a digital camera that provides feedback data for the output image.

Description

[発明の分野]
本発明は3次元画像投影に関する。本発明は特に、再帰反射スクリーン上に投影される立体アスペクト画像(stereo aspect images)を使用した3次元画像投影装置とその関連方法に関する。
[Field of the Invention]
The present invention relates to three-dimensional image projection. In particular, the present invention relates to a three-dimensional image projection apparatus using stereo aspect images projected on a retroreflective screen and a related method.

[関連出願の参照]
本件出願は、2002年1月4日付で出願された米国仮特許出願第60/345,245号および2002年1月7日付で出願された米国仮特許出願第60/346,386号の出願日の利点を主張する。
[Reference to related applications]
This application is filed on the filing date of US Provisional Patent Application No. 60 / 345,245 filed on January 4, 2002 and US Provisional Patent Application No. 60 / 346,386 filed on January 7, 2002. Insist on the benefits of.

[発明の背景]
投影ディスプレイは、ディフューザ(diffuser)上に合焦された画像を用いてユーザに画像を提示する。投影は、シネマプロジェクタの場合のようにディフューザから見てユーザと同じ側で行われる場合と、反対側から行われる場合とがある。図1に示すような従来技術の、例えば映画館において用いられる再帰反射スクリーン型の投影システムは通常、1台のプロジェクタ10を用いて1度に1つの画像をスクリーン12に投影することにより2次元画像を生成する。スクリーン12は線形の光分布(linear light distribution)を有し、スクリーン12によって反射される画像を観察者すべてが、その人のいる位置に関係なく同じ2次元画像を見るようになっている。
[Background of the invention]
The projection display presents the image to the user using the image focused on the diffuser. Projection may be performed on the same side as the user when viewed from the diffuser as in the case of a cinema projector, or may be performed from the opposite side. A conventional retroreflective screen type projection system as shown in FIG. 1, for example, used in a movie theater, is usually two-dimensional by projecting one image at a time onto a screen 12 using one projector 10. Generate an image. The screen 12 has a linear light distribution so that all viewers see the same two-dimensional image regardless of the position of the person viewing the image reflected by the screen 12.

最新の投影システムの多くでは、切り替え可能な構成画素により形成されるパターンで光を反射または透過する小型液晶ディスプレイ装置等の1つまたは複数の「ディスプレイ」上に画像を生成することができる。このような液晶ディスプレイは通常、マイクロエレクトロニクス加工技法を用いて、ディスプレイの各グリッド領域すなわち「画素」が、電気信号によってその反射性または透過性を制御できる領域となるように作製される。液晶ディスプレイにおいて、特定の画素に入射する光は、その画素に印加される信号により画素に反射されるか、部分的に反射されるか、あるいは遮断される。場合によっては、液晶ディスプレイは、光が実質的に遮断される状態から入射光が実質的に透過される状態までにわたる範囲で任意の画素の透過を段階(階調)的に変化させることのできる透過型装置である。   In many modern projection systems, an image can be generated on one or more “displays” such as small liquid crystal display devices that reflect or transmit light in a pattern formed by switchable constituent pixels. Such liquid crystal displays are typically fabricated using microelectronic processing techniques such that each grid area or “pixel” of the display is an area whose reflectivity or transparency can be controlled by an electrical signal. In a liquid crystal display, light incident on a specific pixel is reflected, partially reflected, or blocked by a signal applied to the pixel. In some cases, the liquid crystal display can change the transmission of any pixel in a step (gradation) from a state where light is substantially blocked to a state where incident light is substantially transmitted. It is a transmission type device.

均一な光線が液晶ディスプレイで反射(または透過)されると、光線は、画素の透過状態に応じた空間強度プロファイルを得る。画素の透過(または階調)を所望の画像に合わせて電気的に調整することによって液晶ディスプレイに画像が形成される。この画像は、直接見るために拡散スクリーン(diffusing screen)上に画像化するか、あるいは何らかの中間像面に画像化し、そこから接眼レンズ(eyepiece)によって拡大して虚像(virtual image)を生じることができる。   When the uniform light beam is reflected (or transmitted) by the liquid crystal display, the light beam obtains a spatial intensity profile according to the transmission state of the pixel. An image is formed on the liquid crystal display by electrically adjusting the transmission (or gradation) of the pixels according to the desired image. This image can be imaged on a diffusing screen for direct viewing, or on some intermediate image plane, and then magnified by an eyepiece to produce a virtual image. it can.

長い間電子画像化システムの目標とされてきた画像の3次元表示には、現代社会において多くの潜在的な応用が考えられる。例えば、パイロットから医師までの専門家の養成は現在、3次元画像の視覚化に頼ることが多い。当然、3次元画像化には、娯楽においても多くの潜在的な応用が考えられる。3次元画像化の多くの応用では、画像の複数のアスペクトを見ることができ、例えば人間または機械部品の検査のシミュレーション中に観察者が、データを変更したり画像を切り替えたりしなくても、当該部分の連続的な3次元ビューを様々な角度および視点から得ることができることが重要である。   The three-dimensional display of images that has long been the goal of electronic imaging systems has many potential applications in modern society. For example, training professionals from pilots to doctors currently relies on visualization of 3D images. Of course, 3D imaging has many potential applications in entertainment as well. In many applications of 3D imaging, it is possible to see multiple aspects of an image, for example, without the observer changing data or switching images during a simulation of human or machine part inspection. It is important that a continuous 3D view of the part can be obtained from various angles and viewpoints.

したがって、リアルタイムの3次元画像ディスプレイは長い間、様々な技術的応用における関心の対象であった。これまでに、3次元および/または体積(volumetric)画像を生成するために用いられるいくつかの技法が従来技術において知られている。これらの技法は、複雑性および結果の品質の点で異なり、心理的な奥行きの手がかりのみに訴えて2次元ディスプレイ上で3次元画像をシミュレートするコンピュータグラフィックを含む。立体ディスプレイ(stereoscopic display)は、観察者が2つ(右眼と左眼に1つずつ)の網膜像を頭の中で1つの画像に合成して奥行きの知覚を得るように設計され、ホログラフィック像は実際の波面構造を再構成し、体積型ディスプレイ(volumetric displays)は、ディスプレイの体積内で様々な奥行きの実際の光源を作動させることによって本物の物理的な高さ、奥行き、および幅を有する3次元画像を作成する。   Thus, real-time 3D image displays have long been the subject of interest in various technical applications. To date, several techniques used to generate three-dimensional and / or volumetric images are known in the prior art. These techniques differ in complexity and quality of results and include computer graphics that simulate 3D images on 2D displays, appealing only to psychological depth cues. A stereoscopic display is designed so that the viewer can combine two retinal images (one for the right eye and one for the left eye) into one image in the head to obtain depth perception. The graphic image reconstructs the actual wavefront structure, and the volumetric displays allow real physical height, depth, and width by operating actual light sources of varying depths within the display volume. Is created.

基本的に、3次元画像化技法は2つのカテゴリ、すなわち、本物の3次元画像を作成するものと、3次元画像を見ているような錯覚を生じるものとに分けることができる。1番目のカテゴリは、ホログラフィックディスプレイ、可変焦点合成(varifocal synthesis)、回転スクリーン、および発光ダイオード(「LED」)パネルを含む。2番目のカテゴリは、心理学的な奥行きの手がかりに訴えるコンピュータグラフィックと、2つ(左右)の網膜像の頭の中での合成に基づく立体画像化との両方を含む。立体画像化ディスプレイは、特殊な眼鏡の使用を必要とするシステム(例えば、ヘッドマウントディスプレイや偏光フィルタ眼鏡)と、特殊な眼鏡の使用を必要としない自動立体技術に基づくシステムとに細分することができる。   Basically, three-dimensional imaging techniques can be divided into two categories: those that create a real three-dimensional image and those that create the illusion of viewing a three-dimensional image. The first category includes holographic displays, varifocal synthesis, rotating screens, and light emitting diode (“LED”) panels. The second category includes both computer graphics that appeal to psychological depth cues and stereoscopic imaging based on the synthesis of two (left and right) retinal images in the head. Stereoscopic displays can be subdivided into systems that require the use of special glasses (eg, head-mounted displays and polarizing filter glasses) and systems based on autostereoscopic techniques that do not require the use of special glasses. it can.

ホログラフィック画像化技術は、3次元オブジェクトで反射する実際の光の波面を再現することによって本物の3次元画像が提示されるという点で従来の立体に基づく技術よりも優れてはいるものの、他の3次元画像化技術よりも複雑である。したがって、リアルタイム3次元電子ディスプレイシステムの分野の最近の研究は、商業的に最も容易に適用されると思われることから、様々な立体視(stereoscopic viewing)システムの開発に集中している。   Although holographic imaging technology is superior to conventional three-dimensional technology in that it reproduces the wavefront of the actual light reflected by a three-dimensional object, a real three-dimensional image is presented. It is more complicated than the three-dimensional imaging technology. Thus, recent research in the field of real-time 3D electronic display systems has focused on the development of various stereoscopic viewing systems, as they appear to be most easily applied commercially.

最近では、自動立体技法は、リアルタイムのフルカラー3次元ディスプレイに最も受け入れられることが広く報告されている。立体視(stereoscopy)の原理は、観察者の右眼および左眼に対応する2つの異なる視点での同時画像化を行い、2次元画像に奥行きの知覚を生じることに基づく。立体画像化において、画像は、オブジェクトを例えば観察者の両眼の間の距離に対応する異なる視点から従来通りに写真撮影することを用いて記録される。   Recently, it has been widely reported that autostereoscopic techniques are most acceptable for real-time full color 3D displays. The principle of stereoscopy is based on simultaneous imaging at two different viewpoints corresponding to the right and left eyes of the observer, resulting in depth perception in the two-dimensional image. In stereoscopic imaging, the image is recorded using conventional photography of the object from different viewpoints, eg corresponding to the distance between the observer's eyes.

通常、観察者がスクリーン上に投影されたオブジェクトの立体像を見ることで空間の印象を受けるには、左眼が左の画像のみを、右眼が右の画像のみを確実に見るようにする。これは、ヘッドギアや眼鏡を用いれば達成できるが、自動立体技法は、この制限をなくすべく開発されてきた。しかしながら従来、自動立体視システムは通常、立体効果を生じるために観察者の眼が画面(一般に「観察ゾーン」として知られる)から特定の位置および距離にあることを要求してきた。   Normally, in order for an observer to receive a spatial impression by looking at a 3D image of an object projected on the screen, the left eye should surely see only the left image and the right eye only see the right image. . This can be achieved using headgear and glasses, but autostereoscopic techniques have been developed to eliminate this limitation. However, in the past, autostereoscopic systems have typically required that the viewer's eyes be at a specific position and distance from the screen (commonly known as an “observation zone”) to produce a stereoscopic effect.

自動立体ディスプレイの有効な観察ゾーンを増大させる1つの方法は、複数の同時観察ゾーンを作成することである。しかしながらこの手法は、画像処理機器にますます大きな帯域幅要件を課す。さらに、多くの研究が、スクリーンに対する眼球/観察者の位置を追跡し、画像化装置の放射特性を電子的に調整して立体画像を維持することによって観察ゾーンの制限をなくすことに集中している。したがって、コンピュータにおいて観察者の体および頭部の移動ならびに対応する画像の適応を継続的に位置合わせする(register)高速な最新のコンピュータおよび動きセンサを用いることにより、立体投影を用いて環境およびオブジェクトの空間的な印象(仮想現実)を生じることができる。画像の複雑性が増すにつれ、この手法を具現するこの従来技術の成功率はますます低くなることが分かった。   One way to increase the effective viewing zone of an autostereoscopic display is to create multiple simultaneous viewing zones. However, this approach imposes increasingly greater bandwidth requirements on image processing equipment. In addition, many studies have concentrated on tracking the eyeball / observer's position relative to the screen and eliminating the viewing zone limitations by maintaining the stereoscopic image by electronically adjusting the radiation characteristics of the imaging device. Yes. Thus, by using stereo projection, the environment and objects can be measured using a fast, modern computer and motion sensor that continuously registers the movement of the observer's body and head and corresponding image adaptation in the computer. The spatial impression (virtual reality) can be generated. It has been found that as the complexity of the image increases, the success rate of this prior art that embodies this technique becomes increasingly low.

従来技術の自動立体視システムでは、立体視の性質から、視差は、限定された観察ゾーンの別個の位置からのみ観察することができる。例えば、標準的な自動立体視システムの任意の立体ペアは、1つの位置から観察した場合にしか正確な遠近感(perspective)が得られない。したがって、自動立体ディスプレイシステムは、観察者の動きに合わせて観察者の位置を検知して異なる遠近感を有する立体ペアの画像を再生できなければならない。これは従来技術では克服されていない困難なタスクである。   In prior art autostereoscopic systems, due to the nature of stereoscopic vision, parallax can only be observed from discrete locations in a limited viewing zone. For example, an arbitrary stereoscopic pair of a standard autostereoscopic system can only get an accurate perspective when viewed from one position. Therefore, the autostereoscopic display system must be able to reproduce the images of a stereoscopic pair having different perspectives by detecting the position of the observer according to the movement of the observer. This is a difficult task that has not been overcome by the prior art.

画像投影技術の現状を考えれば、ユーザが望むときに特定のオブジェクトの多くのアスペクト(aspect)およびビューを見ることができる、様々なアスペクトすなわち「多面」画像を投影することが可能なシステムがあることが望ましい。さらにそのような観察は、観察者が立体画像を見る際に観察者の頭部の場所に関する制約を受けないように柔軟な方法で行われることが有用である。さらにそのようなシステムは、高度な3次元画像品質を提供でき、その一方で特別なヘッドギアを必要とせずに動作可能であることが望ましい。したがって、特別なヘッドギアを必要とせずに高品質の3次元画像を複数の観察場所に投影することを可能にする改良された方法および装置が依然として必要とされている。   Given the current state of image projection technology, there are systems capable of projecting various aspects or "multi-plane" images that allow users to see many aspects and views of a particular object when they want it It is desirable. Furthermore, it is useful that such observation is performed in a flexible manner so that the viewer is not restricted by the location of the viewer's head when viewing the stereoscopic image. Furthermore, it would be desirable for such a system to provide a high degree of three-dimensional image quality while being operable without the need for special headgear. Accordingly, there remains a need for improved methods and apparatus that allow high quality 3D images to be projected to multiple viewing locations without the need for special headgear.

[発明の概要]
上記および他の満たされていない必要性に鑑みて、本発明の目的は、特定のオブジェクトの複数のアスペクトおよびビューの投影を可能にする3次元画像投影システムを提供することである。
[Summary of Invention]
In view of the above and other unmet needs, it is an object of the present invention to provide a three-dimensional image projection system that allows projection of multiple aspects and views of a particular object.

同様に、本発明の目的は、観察者を制限された観察ゾーンに限定することなく高解像度画像を提供する多面3次元画像化装置とその関連方法を提供することである。   Similarly, an object of the present invention is to provide a multi-plane three-dimensional imaging apparatus and related methods for providing a high resolution image without limiting the observer to a limited observation zone.

また、本発明の目的は、互いに異なる観察場所にいる異なる観察者に異なるビューを同時に提供することができる多面3次元画像化装置とその関連方法を提供することである。   Another object of the present invention is to provide a multi-plane three-dimensional imaging apparatus and related methods capable of simultaneously providing different views to different observers at different observation locations.

さらに、本発明の目的は、そのような装置とその関連方法が観察者にヘッドギアや眼鏡等の特別な観察機器を使用することを要求しないことである。   Furthermore, it is an object of the present invention that such an apparatus and related methods do not require the observer to use special observation equipment such as headgear or glasses.

さらに、本発明の目的は、観察のために同時に投影されると知覚される3次元画像を生成するように計算された画像ペアを用いて、オブジェクトの様々な画像および遠近感を表示することができる3次元ディスプレイとその関連画像化方法を提供することである。   Furthermore, an object of the present invention is to display various images and perspectives of an object using image pairs calculated to produce a 3D image that is perceived to be projected simultaneously for viewing. It is to provide a possible three-dimensional display and its associated imaging method.

上記および他の目的を達成するために、本発明による3次元投影システムとその関連方法は、少なくとも2台のプロジェクタと、プロジェクタを制御する画像化システムと、プロジェクタによって作成されるオブジェクトの複数の画像を投影する再帰反射スクリーンとを使用する。本発明の実施形態による投影システムの画像化システムは、画像情報の数値を計算し、その情報を用いてプロジェクタの特性を制御し、それにより立体画像を生成することが可能である。プロジェクタが組み込まれる液晶画像化ディスプレイ要素を有する本発明の実施形態では、画像化システムは、プロジェクタ内の液晶ディスプレイ要素を制御して投影画像を変更するようになっている。計算された画像情報は、所望の3次元画像シーンに関連している。このような実施形態において計算された画像情報により、液晶ディスプレイは、液晶ディスプレイ上に所望の画像が生成され、光がディスプレイを通り抜けて、スクリーンに当たり、スクリーンの特性に従ってスクリーン上で拡散または反射されて、観察可能な3次元画像を生成するように制御される。   To achieve the above and other objectives, a three-dimensional projection system and related methods according to the present invention includes at least two projectors, an imaging system for controlling the projectors, and a plurality of images of an object created by the projectors. And use a retroreflective screen to project. The imaging system of the projection system according to the embodiment of the present invention can calculate a numerical value of image information and control the characteristics of the projector using the information, thereby generating a stereoscopic image. In an embodiment of the invention having a liquid crystal imaging display element that incorporates a projector, the imaging system is adapted to control the liquid crystal display element in the projector to change the projected image. The calculated image information is related to the desired 3D image scene. With the image information calculated in such an embodiment, the liquid crystal display produces the desired image on the liquid crystal display, light passes through the display, strikes the screen, and is diffused or reflected on the screen according to the characteristics of the screen. , Controlled to generate an observable three-dimensional image.

本発明の実施形態において、再帰反射スクリーンは、発光源とスクリーン面の間の反射角に依存する非線形分布パターンに従って光を反射する。   In an embodiment of the present invention, the retroreflective screen reflects light according to a non-linear distribution pattern that depends on the reflection angle between the light source and the screen surface.

本発明の好ましい実施形態において、画像化システムは、1つまたは複数の電子制御可能な液晶ディスプレイパネルおよび光源をそれぞれ有する少なくとも2台のプロジェクタと、3次元画像生成に関する計算を行うとともに液晶パネルを制御する画像生成システムと、再帰反射スクリーンとを備える。   In a preferred embodiment of the present invention, the imaging system performs calculations relating to three-dimensional image generation and controls the liquid crystal panel with at least two projectors each having one or more electronically controllable liquid crystal display panels and light sources. And an image generation system that performs retroreflective screen.

また本発明の好ましい実施形態において、画像の複数のアスペクトを提示して3次元観察体験を生じるためのシステムおよび方法は、少なくとも2台の画像プロジェクタと、プロジェクタを制御する画像生成システムと、3次元の観察可能な画像を生成する再帰反射スクリーンとを使用する。このような好ましい実施形態における画像生成システムは、ニューラルネットワークフィードバック計算を使用して任意の所与の時点で表示される適切な立体画像ペアを計算する自動立体画像生成システムである。このような実施形態において、プロジェクタはそれぞれ、少なくとも1つの電子制御可能な液晶ディスプレイ要素または他の適切な空間光変調器(SLM)を含むことが好ましい。   In a preferred embodiment of the present invention, a system and method for presenting multiple aspects of an image to create a three-dimensional viewing experience includes: at least two image projectors; an image generation system that controls the projector; And a retroreflective screen that produces a viewable image of The image generation system in such a preferred embodiment is an autostereoscopic image generation system that uses neural network feedback calculations to calculate appropriate stereoscopic image pairs to be displayed at any given time. In such embodiments, each projector preferably includes at least one electronically controllable liquid crystal display element or other suitable spatial light modulator (SLM).

本発明の上記実施形態のいずれかの代替的なものによれば、別個の液晶ディスプレイ(「LCD」)パネル組を各プロジェクタの各色に用いて、フルカラー表示を行うことができる。このような代替的な1実施形態では、赤色光、青色光、および緑色光に対応する3つの個別のLCDパネルを各プロジェクタに設けることができる。特定の代替的な1実施形態において、プロジェクタは3つの異なる色(例えば赤色、緑色、および青色)に対して3つの光源を有する3色カラーシーケンシャルプロジェクタである。この画像ディスプレイは、画像の赤色、緑色、および青色成分を順次表示する。液晶ディスプレイおよび光源は順次切り替えられ、赤色画像が表示されるときは、対応する液晶ディスプレイが赤色光源からの光で照明されるようになっている。画像の緑色部分が適切な液晶ディスプレイによって表示されるときは、このディスプレイは緑色光源等からの光で照明される。他も同様である。   According to any alternative of the above embodiments of the present invention, a separate liquid crystal display (“LCD”) panel set can be used for each color of each projector for full color display. In one such alternative embodiment, each projector can be provided with three separate LCD panels corresponding to red light, blue light, and green light. In one particular alternative embodiment, the projector is a three-color sequential projector with three light sources for three different colors (eg, red, green, and blue). This image display sequentially displays the red, green and blue components of the image. The liquid crystal display and the light source are sequentially switched, and when a red image is displayed, the corresponding liquid crystal display is illuminated with light from the red light source. When the green portion of the image is displayed by a suitable liquid crystal display, the display is illuminated with light from a green light source or the like. Others are the same.

本発明の別の実施形態は、多面画像マッチングシステムとその関連方式を提供する。投影システムのこの実施形態は、デジタルカメラと、対応する画像取込および処理ソフトウェアとを含む。本システムは概して、投影画像の外観に関連するデータを収集および解析して、所望の画像特性を達成するために必要な投影システムに対する変更を決めるフィードバックループを作成するように機能する。画像マッピングの目的で、投影画像は通常、カラーの点の2次元アレイまたはスクリーン上に透過される一連の垂直線である。各プロジェクタは、わずかに異なる画像をスクリーン上に放射し、カメラが異なる画像を取り込む。テスト画像における差の検出を容易にするために、画像マッチングスクリーンは、再帰反射スクリーン上に一時的に載せられる白紙または従来の投影スクリーンであることが好ましい。   Another embodiment of the present invention provides a multi-plane image matching system and related schemes. This embodiment of the projection system includes a digital camera and corresponding image capture and processing software. The system generally functions to collect and analyze data related to the appearance of the projected image to create a feedback loop that determines changes to the projection system that are necessary to achieve the desired image characteristics. For image mapping purposes, the projected image is typically a two-dimensional array of colored points or a series of vertical lines that are transmitted over the screen. Each projector emits a slightly different image onto the screen and the camera captures a different image. In order to facilitate the detection of differences in the test image, the image matching screen is preferably a blank paper or a conventional projection screen that is temporarily placed on a retroreflective screen.

本発明の別の実施形態において、3D投影システムは、比較的小角の水平散乱光線と比較的広角の垂直散乱光線とを有する散乱パターンを生成する再帰反射スクリーンを用いる。この所望の散乱パターンは、透明なポリマーフィルム上に2つの連続するマイクロプリズムをエンボス加工することによって形成される再帰反射スクリーンによって生成することができる。具体的には、表面を空間周波数(spatial frequency)の高い水平プリズムでエンボス加工し、裏面を空間周波数の低い、全内部反射(total internal reflection)に対して1次元再帰反射を行う90度のマイクロプリズムでエンボス加工する。別の実施形態において、再帰反射スクリーンはマイクロプリズム再帰反射体フィルムと1次元マイクロプリズムアレイ散乱フィルムの組み合わせである。   In another embodiment of the present invention, the 3D projection system uses a retroreflective screen that produces a scattering pattern having relatively small angle horizontal scattered light and relatively wide angle vertical scattered light. This desired scattering pattern can be generated by a retroreflective screen formed by embossing two successive microprisms on a transparent polymer film. Specifically, the surface is embossed with a horizontal prism with a high spatial frequency, and the back surface is a 90 degree micro that performs one-dimensional retroreflection for total internal reflection with a low spatial frequency. Emboss with prism. In another embodiment, the retroreflective screen is a combination of a microprism retroreflector film and a one-dimensional microprism array scattering film.

本発明の様々な好ましい態様および実施形態を、以下で図面を参照して詳細に説明する。   Various preferred aspects and embodiments of the invention are described in detail below with reference to the drawings.

[好ましい実施形態の詳細な説明]
本発明は好ましい実施形態において、少なくとも2台の画像プロジェクタと、画像プロジェクタを制御する画像生成システムと、再帰反射スクリーンとを用いて画像の複数のアスペクトを提示して3次元観察体験を生じる画像投影システムとその関連方法である。
[Detailed Description of Preferred Embodiments]
The present invention, in a preferred embodiment, uses at least two image projectors, an image generation system that controls the image projectors, and a retroreflective screen to present multiple aspects of the image to produce a three-dimensional viewing experience. System and its related methods.

図2は、本発明の1実施形態による3次元画像の投影を概略的に示す。図2に示すように、3次元すなわち立体画像は、少なくとも2台のプロジェクタ20Lおよび20Rを用いて観察者に提示され、プロジェクタ20Lおよび20Rはそれぞれ計算された画像Lおよび計算された画像Rを、例えばそれぞれの透過型LCDまたは他の同様の画素ベースのディスプレイから再帰反射スクリーン22上に投影し、適切な再帰反射画像LおよびRを観察者の左右の眼に提示する。 FIG. 2 schematically shows the projection of a three-dimensional image according to an embodiment of the invention. As shown in FIG. 2, the three-dimensional or stereoscopic image is presented to the observer using at least two projectors 20L and 20R, which are respectively calculated image L p and calculated image R p. Are projected onto the retroreflective screen 22 from, for example, each transmissive LCD or other similar pixel-based display, and appropriate retroreflective images L r and R r are presented to the left and right eyes of the viewer.

本発明の実施形態において、再帰反射スクリーン22は光を、発光源とスクリーン面の間の反射角に依存する非線形の光分布パターンに従って反射する。1つの適切な再帰反射スクリーンの非線形の光分布を図3に示す。図3において、再帰反射体スクリーン22は、光源20とスクリーン22間の反射入射角αに依存する反射光分布を生成する。図3の反射光分布はガウス分布によるものであり、光強度I(α)は角度αの観察点における次式によって表すことができる。
I(α)=I・exp(−α/σ) 式1
光のピーク強度は定数Iによって与えられ、σは定数であり、使用する特定の再帰反射スクリーンのスクリーン特性に依存する。
In an embodiment of the present invention, the retroreflective screen 22 reflects light according to a non-linear light distribution pattern that depends on the reflection angle between the light source and the screen surface. The nonlinear light distribution of one suitable retroreflective screen is shown in FIG. In FIG. 3, the retroreflector screen 22 generates a reflected light distribution that depends on the reflection incident angle α between the light source 20 and the screen 22. The reflected light distribution in FIG. 3 is based on a Gaussian distribution, and the light intensity I (α) can be expressed by the following equation at the observation point of the angle α.
I (α) = I 0 · exp (−α 2 / σ 2 ) Formula 1
The peak intensity of light is given by the constant I 0 and σ is a constant and depends on the screen characteristics of the particular retroreflective screen used.

図2の2台のプロジェクタを用いた実施形態に関して、左右の眼に認められる画像は数学的に次のように表すことができる。
I(L)=I0l・exp(−α lL/σ)+I0r・exp(−α rL/σ
式2
I(R)=I0l・exp(−α lR/σ)+I0r・exp(−α rR/σ
式3
ここで、式2および式3の式において、I0lは左のプロジェクタ画像の輝度であり、I0rは右のプロジェクタ画像の輝度である。任意の特定の点のI(L)およびI(R)を固定することにより、左右のプロジェクタにより生成された後の計算された画像LおよびRに対応するI0lおよびI0rの連立方程式を作成することができる。作成される連立方程式は非線形かつ変換不可能(non-convertible)である。したがってこの連立方程式は、近似解を得ることしかできない。
Regarding the embodiment using the two projectors in FIG. 2, the images recognized by the left and right eyes can be expressed mathematically as follows.
I (L) = I 0l · exp (-α 2 lL / σ 2) + I 0r · exp (-α 2 rL / σ 2)
Formula 2
I (R) = I 0l · exp (−α 2 lR / σ 2 ) + I 0r · exp (−α 2 rR / σ 2 )
Formula 3
Here, in Equations 2 and 3, I 0l is the luminance of the left projector image, and I 0r is the luminance of the right projector image. Create a simultaneous equation of I 0l and I 0r corresponding to the calculated images L and R after being generated by the left and right projectors by fixing I (L) and I (R) at any particular point can do. The generated simultaneous equations are non-linear and non-convertible. Therefore, this simultaneous equation can only obtain an approximate solution.

この解の計算に特に適した手段は、コンピュータ上で動作する人工ニューラルネットワークを用いる。同等の3次元画像化問題に対するニューラルネットワークの適用が同一の権利者が所有する(co-owned)、2000年11月8日付で出願されたPCT出願第PCT/US00/30683号「Neurostereo Display」および同一の権利者が所有する、2001年10月15日付で出願された米国特許出願第09/977,462号「System and Method for Visualization of Stereo and Multi Aspect Images」に詳細に記載されている。   A particularly suitable means for calculating this solution uses an artificial neural network running on a computer. PCT application No. PCT / US00 / 30683 “Neurostereo Display” filed on Nov. 8, 2000, and the application of the neural network to an equivalent three-dimensional imaging problem is co-owned by the same rights holder and It is described in detail in US patent application Ser. No. 09 / 977,462 “System and Method for Visualization of Stereo and Multi Aspect Images” filed on Oct. 15, 2001, owned by the same rights holder.

図4は、1台のプロジェクタを使用し反射スクリーンを介して観察者の眼に画像情報を伝える際の投影システムの幾何学的配置(geometry)を概略的に示す。本発明によるシステムは2台以上のプロジェクタを用いて知覚される3次元画像を生成するが、図4に示す1台のプロジェクタとスクリーンからなる構成は、実際に使用される2台以上のプロジェクタの各々によって表示される適切な画像を求める際に付随する計算を理解するのに役立つ。   FIG. 4 schematically shows the geometry of the projection system when a single projector is used to convey image information to the viewer's eyes via a reflective screen. The system according to the present invention generates a perceived three-dimensional image using two or more projectors. However, the configuration including one projector and a screen shown in FIG. It helps to understand the calculations involved in determining the appropriate image displayed by each.

図4に示すように、1台のプロジェクタ40を再帰反射スクリーン42に垂直な方向に対して角度ψに向ける。この設定において、観察者の眼44はプロジェクタ40と同じ水平面にある。このような構成では、固定された各頂角について、画像Iについて以下の式を求めることができる。画像Iは眼44によって、垂直方向からの定義された観察範囲φ∈[φ,φ]の角度についてスクリーン42の一部に認められる。
(φ)=I(ψ)・K(|φ−ψ|) 式4
As shown in FIG. 4, one projector 40 is oriented at an angle ψ with respect to a direction perpendicular to the retroreflective screen 42. In this setting, the observer's eye 44 is on the same horizontal plane as the projector 40. In such a configuration, for each fixed apex angle, the following equation can be obtained for the image Ie . The image I e is recognized by the eye 44 on a part of the screen 42 for an angle of the defined observation range φ∈ [φ 1 , φ 2 ] from the vertical direction.
I e (φ) = I (ψ) · K (| φ−ψ |) Equation 4

式4において、I(ψ)はプロジェクタ40から再帰反射スクリーン42へ、垂直方向ηから角度ψで移動する投影光線の輝度を定める関数である。K(|φ−ψ|)すなわちカーネル関数は非線形であり、スクリーンの反射特性によって定められる。カーネル関数の一例は以下に挙げる式1’であり、この式1’では、元の式1が、|φ−ψ|によって定められる角度を角度αに置き換えることによって変更されている。
K(|φ−ψ|)=I・exp(−|φ−ψ|/σ) 式1’
2次元の場合のこのカーネル関数の形式を図5の50グラフにプロットする。図4に関して上記したように、図5にプロットされるφおよびψは垂直方向ηから求められる。
In Equation 4, I (ψ) is a function that determines the brightness of the projected light beam that moves from the projector 40 to the retroreflective screen 42 at an angle ψ from the vertical direction η. K (| φ−ψ |), that is, the kernel function is non-linear and is determined by the reflection characteristics of the screen. An example of a kernel function is Equation 1 ′ given below, in which the original Equation 1 is changed by replacing the angle defined by | φ−ψ | with the angle α.
K (| φ−ψ |) = I 0 · exp (− | φ−ψ | 2 / σ 2 ) Formula 1 ′
The form of this kernel function in the two-dimensional case is plotted in the 50 graph of FIG. As described above with respect to FIG. 4, φ and ψ plotted in FIG. 5 are determined from the vertical direction η.

図4で説明したシステムを拡張して、同じ水平面にあるいくつかのプロジェクタを含むようにする場合、結果として得られる眼44における画像の式は次のようになる。   If the system described in FIG. 4 is expanded to include several projectors in the same horizontal plane, the resulting image equation in the eye 44 is:

Figure 2005515487
Figure 2005515487

ここで、nはシステムにおけるプロジェクタの台数であり、I(ψ)は垂直方向から角度ψでスクリーンに近づくプロジェクタiからの光線の輝度であり、 Where n is the number of projectors in the system, and I (ψ) is the brightness of light rays from projector i approaching the screen at an angle ψ from the vertical direction,

異なる眼または眼の位置に対するm個の異なる画像I(1)〜I(m)を作成するには、全プロジェクタについてn個の未知の輝度I(ψ)に関してm個の式を有する以下の連立方程式を解く必要がある。 To create m different images I e (1) to I e (m) for different eyes or eye positions, we have m equations for n unknown luminances I i (ψ) for all projectors. It is necessary to solve the following simultaneous equations.

Figure 2005515487
Figure 2005515487

プロジェクタ(複数可)の位置決めは大きく変化しないため、角度ψは通常変化しないことに留意されたい。この連立方程式は、上述のようなニューラルネットワークを使用して解くことができる。特定の実施形態において開示するが、当業者は、式1ないし式8の式を適宜適用することで使用できる他の同等の幾何学的配置がどれだけあるかを容易に理解するだろう。その後、適切な式を用いて、本発明の実施形態の様々なプロジェクタによって投影される画像を計算する。   Note that the angle ψ does not normally change because the positioning of the projector (s) does not change significantly. This simultaneous equation can be solved using a neural network as described above. Although disclosed in certain embodiments, those skilled in the art will readily understand how many other equivalent geometries can be used by applying Equations 1 through 8 as appropriate. Thereafter, the appropriate formula is used to calculate the images projected by the various projectors of the embodiments of the present invention.

図6は、本発明の好ましい実施形態による投影システムの部品を示す概略図である。これらの部品は、図2に示すように配置して、観察者に知覚される3次元オブジェクトを投影することができる。上述のように、立体システムにおいて、知覚される3次元画像を生成するためには、観察者の右眼が左眼とは異なる画像を知覚する必要がある。図6に示すように、画像化計算デバイス61が、再帰反射スクリーンに対して既知の構成で配置された少なくとも2台の画像プロジェクタ62に通信的に結合され、その制御を行う。各プロジェクタは、画像を生成する少なくとも1つの透過パネル64(または他の適切な電子ディスプレイ要素)と、照明源63とを備え、その両方が画像化計算デバイス61によって制御される。照明源63は、透過パネル64が画像を画像化計算デバイス61によって提示された通りに表示する際に、透過パネル64を照明するようになっている。任意のプロジェクタ62の任意の透過パネル64上に表示される画像は画像化計算デバイス61によって、他のプロジェクタ62が表示および投影する画像と合わせられる。   FIG. 6 is a schematic diagram showing components of a projection system according to a preferred embodiment of the present invention. These parts can be arranged as shown in FIG. 2 to project a three-dimensional object perceived by the observer. As described above, in order to generate a perceived three-dimensional image in a stereoscopic system, the right eye of the observer needs to perceive an image different from the left eye. As shown in FIG. 6, an imaging computing device 61 is communicatively coupled to and controls at least two image projectors 62 arranged in a known configuration with respect to the retroreflective screen. Each projector includes at least one transmissive panel 64 (or other suitable electronic display element) that produces an image and an illumination source 63, both of which are controlled by an imaging computing device 61. The illumination source 63 illuminates the transmissive panel 64 when the transmissive panel 64 displays an image as presented by the imaging computing device 61. An image displayed on an arbitrary transmission panel 64 of an arbitrary projector 62 is combined with an image displayed and projected by another projector 62 by an imaging calculation device 61.

通常、透過パネル64はLCDパネルである。LCDパネルはよく知られた画素化されたデバイスであり、各画素が「オン」または「オフ」であるかまたは中間の強度レベルに設定される。LCDパネルの各々は通常単色で、画像の2色以上の成分の強度を個別制御することはできない。カラー制御を行うには、各プロジェクタにLCDマルチパネルシステムを使用することができる。このようなLCDマルチパネルシステムは通常、3つの個別のLCDパネルを用いる。3つのパネルの各々は別個の光源によって、人間の眼の中の3種類の錐体のうちの1つを刺激するスペクトル成分を用いて照明される。3つのLCDパネルの各々は、カラー画像の1つの色成分をなす光線を反射(または透過)する。次にこれらの光線がプリズム、2色フィルタシステム、および/または他の光学要素を介して合成され、単一の有色(chromatic)画像光線となる。あるいは、各原色に対応する別個の液晶ディスプレイパネルおよび複数の単色光源を各プロジェクタにおいて用いて、当該技術分野で既知のように、異なる色の光源およびLCDパネルを同期して切り替えることによりマルチカラーディスプレイを生成する。   Usually, the transmissive panel 64 is an LCD panel. The LCD panel is a well-known pixelated device where each pixel is “on” or “off” or set to an intermediate intensity level. Each LCD panel is usually a single color, and the intensity of two or more components of the image cannot be individually controlled. To perform color control, an LCD multi-panel system can be used for each projector. Such LCD multi-panel systems typically use three separate LCD panels. Each of the three panels is illuminated by a separate light source with a spectral component that stimulates one of the three types of cones in the human eye. Each of the three LCD panels reflects (or transmits) light rays that form one color component of the color image. These rays are then combined via a prism, a two-color filter system, and / or other optical elements into a single chromatic image ray. Alternatively, a separate liquid crystal display panel corresponding to each primary color and a plurality of single color light sources can be used in each projector to switch between different color light sources and LCD panels synchronously as known in the art. Is generated.

また当該技術分野で既知のように、別の実施形態では、各カラーパネルシステムをシーケンシャルな色切り替えに用いることができる。この実施形態において、LCDパネルはプロジェクタ内で、赤色、青色、および緑色の切り替え可能な照明源と結合させることができる。これらの光源の各組は、LCDパネルが表示される画像の青色、緑色、および赤色成分を循環するのと同時に、1度に1つずつ順に起動される。LCDパネルとそれに対応する光源は、人間の眼の積分時間(integration time)(100マイクロ秒未満)に比べて速い速度でディスプレイ上の画像と同時に切り替えられる。当然その場合、1つの単色LCDパネルを各プロジェクタに用いても依然としてカラーの計算された画像を提供することが可能である。   Also, as is known in the art, in another embodiment, each color panel system can be used for sequential color switching. In this embodiment, the LCD panel can be combined in the projector with a red, blue and green switchable illumination source. Each set of these light sources is activated sequentially one at a time as it circulates the blue, green and red components of the image displayed on the LCD panel. The LCD panel and its corresponding light source are switched simultaneously with the image on the display at a speed faster than the integration time (less than 100 microseconds) of the human eye. Of course, in that case, it would still be possible to provide a color-calculated image using a single monochrome LCD panel for each projector.

さらに、透過パネル64は、投影画像を作成する他のタイプの電子制御可能なデバイスとすることができることが理解されるべきである。例えば、本発明の様々な実施形態はLCDパネルの代わりに、Texas Instruments, Inc.(Dallas, Texas)製のデジタル光プロセッサ(DLP)等の適切な空間光変調器(SLM)を使用することができる。   Further, it should be understood that the transmissive panel 64 can be other types of electronically controllable devices that create projection images. For example, various embodiments of the present invention may use a suitable spatial light modulator (SLM) such as a digital light processor (DLP) from Texas Instruments, Inc. (Dallas, Texas) instead of an LCD panel. it can.

図7は、図6に示した本発明の実施形態において使用される適切な画像化計算ユニット61の計算および制御構造を示す概略図である。図7を参照して、画像化計算デバイスは、そのメモリユニット72に設けられる立体ペア(または様々な画像のアスペクト)のデータベース70を使用する。メモリユニット72は、コンピューティングの分野で知られるいくつかの機能を有する。このような機能の1つは、メモリユニット72が、プロセッサ74の指示に従って使用する特定の立体ペアを立体ペアデータベース70から抽出して記憶することである。   FIG. 7 is a schematic diagram illustrating the calculation and control structure of a suitable imaging calculation unit 61 used in the embodiment of the invention shown in FIG. Referring to FIG. 7, the imaging computing device uses a database 70 of stereo pairs (or various image aspects) provided in its memory unit 72. The memory unit 72 has several functions known in the field of computing. One such function is that the memory unit 72 extracts and stores a specific stereo pair to be used in accordance with instructions from the processor 74 from the stereo pair database 70.

メモリユニット72は、所望の立体ペアをプロセッサ74に供給して、計算された画像(図2に関して上述したLおよびR)を生成する。これらの計算された画像は、いったん生成されると、プロセッサ74からプロジェクタユニットコントローラ76へ送られる(または別法として、コントローラ76にアクセスされるようにメモリユニット72に記憶される)。プロジェクタユニットコントローラ76は次に、計算された画像を適切な透過パネル64に供給し、各画像プロジェクタ62において透過パネル64を照明する照明源63のライティングを制御する。あるいは、プロセッサ74は、個々のパネル64および照明源に対する指示を与え、当該技術分野で既知の適切なドライバソフトウェアを用いてプロジェクタを制御してもよい。 The memory unit 72 supplies the desired stereo pair to the processor 74 to generate the calculated images (L p and R p described above with respect to FIG. 2). Once generated, these calculated images are sent from processor 74 to projector unit controller 76 (or alternatively stored in memory unit 72 for access to controller 76). The projector unit controller 76 then supplies the calculated image to the appropriate transmissive panel 64 and controls the lighting of the illumination source 63 that illuminates the transmissive panel 64 at each image projector 62. Alternatively, the processor 74 may provide instructions for individual panels 64 and illumination sources and control the projector using suitable driver software known in the art.

全ての自動立体ディスプレイの場合と同様に、コンピューティングデバイス71によって生成された画像は必然的に、図7の観察者位置信号情報78の入力によって示される観察者の位置の関数である。当該技術分野では、観察者位置信号情報を生成するための様々な好適な方法が知られている。例えば、Streetに発行された米国特許第5,712,732号は、観察者の場所および距離を自動的に明らかにする自動立体画像ディスプレイシステムを記載する。Streetのディスプレイシステムは、システムが観察者の頭部の位置をスクリーンに対する距離および位置(左右)に関して求めることを可能にする距離測定装置を備える。同様に、Popovichに発行された米国特許第6,101,008号は、観察者の場所をリアルタイムで追跡し、追跡した場所を使用して、表示される画像を適切に変更するためのデジタル画像化機器の使用を教示する。   As with all autostereoscopic displays, the image generated by the computing device 71 is necessarily a function of the observer position indicated by the input of the observer position signal information 78 of FIG. Various suitable methods for generating observer position signal information are known in the art. For example, US Pat. No. 5,712,732 issued to Street describes an autostereoscopic image display system that automatically reveals the location and distance of the viewer. The Street display system includes a distance measuring device that allows the system to determine the position of the viewer's head in terms of distance and position (left and right) relative to the screen. Similarly, US Pat. No. 6,101,008, issued to Popovich, tracks the viewer's location in real time and uses the tracked location to properly change the displayed image. Teaching the use of chemical equipment.

メモリユニット72は、各LCDパネルの個々のセルまたは要素の蓄積された信号を保持することを留意すべきである。したがって、メモリユニット72およびプロセッサ74は、液晶ディスプレイパネルの関連するスクリーン要素を通って再帰反射スクリーンに向かう光を蓄積および解析する能力を有する。   It should be noted that the memory unit 72 holds the accumulated signals of individual cells or elements of each LCD panel. Thus, the memory unit 72 and the processor 74 have the ability to store and analyze light that travels through the associated screen elements of the liquid crystal display panel to the retroreflective screen.

本発明の画像をメモリユニット72、プロセッサ74、およびプロジェクタユニットコントローラ76の間で操作するためのデータフローにより、各プロジェクタ62(図7では簡略化のためにこれらのプロジェクタのうち1つだけを示す)の照明源63が発する光放射ならびに透過パネル64の透過性が規制される。LCDパネル上の複数の異なる領域にそれぞれ描画される、オブジェクトの複数の別個の2次元画像(すなわち複数の計算された画像)に関する情報、および任意選択で、観察者の左右の眼の位置に関する情報は、プロセッサ74によって継続的に調整され、投影のための新たな計算された画像を生成する。計算を行うことを可能にするには、設定されたプログラムに従って各プロジェクタ62に対する各パネル64の一部の透過状態に対応する信号を処理ブロックに入力する。   Each projector 62 (only one of these projectors is shown in FIG. 7 for the sake of simplicity) due to the data flow for manipulating the image of the present invention between the memory unit 72, the processor 74, and the projector unit controller 76. The light emission emitted by the illumination source 63 and the transparency of the transmission panel 64 are regulated. Information about multiple separate two-dimensional images (ie, multiple calculated images) of the object, each drawn in different areas on the LCD panel, and optionally information about the positions of the left and right eyes of the observer Are continuously adjusted by the processor 74 to produce a new calculated image for projection. In order to be able to perform the calculation, a signal corresponding to a part of the transmission state of each panel 64 for each projector 62 is input to the processing block according to a set program.

これらの左右の眼の信号の各々は総和されて、右眼および左眼用の計算された画像値を生じる。次にこれらの信号を、比較動作において、記憶されている各アスペクトの立体ペア画像の関連部分およびオブジェクトのアスペクトの画像の関連領域と比較する。   Each of these left and right eye signals is summed to produce calculated image values for the right and left eyes. These signals are then compared in a comparison operation with the associated portion of the stored stereoscopic pair image for each aspect and the associated region of the object aspect image.

信号は当然、観察者の眼の場所によることを留意しておくと、検出される信号はいくぶん変化する可能性がある。各LCDパネルの各セルについて比較誤差を特定する。次に各誤差を事前設定された閾値信号と比較し、誤差信号が事前設定された閾値信号を超える場合、プロセッサ制御ルーチンは、LCDパネルの透過性に対応する信号を変更する。   It should be noted that the signal naturally depends on the location of the observer's eyes, and the detected signal can vary somewhat. A comparison error is specified for each cell of each LCD panel. Each error is then compared to a preset threshold signal, and if the error signal exceeds the preset threshold signal, the processor control routine changes the signal corresponding to the transparency of the LCD panel.

観察者の位置が移動した(または異なる画像を投影することを望んだ)結果、オブジェクトの計算された画像に関する情報が変化した場合、プロセッサはこの変化を認識し、情報が変更されるまで、照明源の光放射ならびに適切なLCDパネルセルの透過性に対応する信号をメモリユニットに入力する。観察者の位置が十分遠くに変化し、新たな画像が必要とされる場合、そのビューまたは画像をデータベースから抽出し、それに従って処理する。   If the information about the calculated image of the object changes as a result of moving the observer's position (or wishing to project a different image), the processor will recognize this change and illumination until the information is changed A signal corresponding to the light emission of the source as well as the transparency of the appropriate LCD panel cell is input to the memory unit. If the viewer's position changes far enough and a new image is needed, that view or image is extracted from the database and processed accordingly.

近くおよび遠くのスクリーンのセルの透過性に対応する信号は、設定されたプログラムに従って処理ブロックによってメモリユニットに入力される。次のステップは、全てのスクリーンのセルから少なくとも1人の観察者の左右の眼に送ることができる光信号を特定することである。次に、各眼に送られる特定された光信号を関連オブジェクトの設定された2次元立体ペア画像の対応する領域と比較する。   Signals corresponding to the transparency of the near and far screen cells are input to the memory unit by the processing block according to a set program. The next step is to identify light signals that can be sent from all screen cells to the left and right eyes of at least one observer. Next, the identified optical signal sent to each eye is compared with the corresponding region of the two-dimensional stereoscopic pair image in which the related object is set.

各LCDパネルの各セルについて、関連する眼に向けて送ることができる特定された光信号と、その眼が見るはずの関連するオブジェクトのアスペクトの立体写真の特定された関連領域との間の誤差信号を特定する。受信した各誤差信号を設定された閾値信号と比較する。誤差信号が設定された閾値信号を超える場合、上記の処理ブロック制御部のプログラムが、スクリーンセルに対応する信号を変える。誤差信号が設定された閾値信号よりも低くなるか、または設定された時間が経過するまで上記プロセスを繰り返す。   For each cell of each LCD panel, the error between the identified light signal that can be sent towards the associated eye and the identified associated region of the stereoscopic view of the aspect of the associated object that the eye should see Identify the signal. Each received error signal is compared with a set threshold signal. When the error signal exceeds the set threshold signal, the program of the processing block control unit changes the signal corresponding to the screen cell. The above process is repeated until the error signal falls below a set threshold signal or until a set time has elapsed.

2人(またはそれ以上)の観察者に対して2つ(またはそれ以上)の異なる方向で再構築される2つ(またはそれ以上)の異なるオブジェクトの場合の計算を解くことも可能である。全ての計算は並列で行うことができることを明記しておかなければならない。この目的のためにDSPプロセッサを設計することができる。上記のように、本発明の実施形態における問題解決には人口ニューラルネットワークを有利に使用することができる。これは、人口ニューラルネットワークが並列処理を可能にすること、およびDSP統合方式(DSP integrated scheme)の応用の可能性による。   It is also possible to solve the calculations for two (or more) different objects that are reconstructed in two (or more) different directions for two (or more) observers. It should be noted that all calculations can be done in parallel. A DSP processor can be designed for this purpose. As described above, the artificial neural network can be advantageously used to solve the problem in the embodiment of the present invention. This is due to the fact that the artificial neural network allows parallel processing and the possibility of application of the DSP integrated scheme.

したがって、この反復様式において、再帰反射スクリーンおよび特定の観察者に対して投影されて知覚される3次元画像を生成することが望まれる立体画像ペアの特性を考慮して、再帰反射スクリーンに投影するための2つの「平面」(すなわち2次元の)画像を計算する(各プロジェクタにつき1つの計算された画像)。各プロジェクタのLCDパネルに現れる計算された画像が計算されるという事実は多くの応用に利点を有する。計算された画像を用いることにより、本発明は、余分なもの(superfluity)を最小にし、写真材料よりも低い解像度を有する液晶パネルを用いて3次元画像を生じることができる。   Thus, in this iterative fashion, the retroreflective screen and the stereoscopic image pair desired to produce a perceived 3D image are projected onto the retroreflective screen, taking into account the characteristics of the stereoscopic image pair. Compute two “planar” (ie, two-dimensional) images for (one calculated image for each projector). The fact that the calculated image appearing on the LCD panel of each projector is calculated has advantages in many applications. By using the calculated image, the present invention can produce a three-dimensional image using a liquid crystal panel that minimizes superfluity and has a lower resolution than photographic material.

本発明のシステムは、イメージを同時に観察する複数の観察者とともに用いられてもよいことにも留意すべきである。本方法は単純に、個々の観察者の位置を認識(または特定の観察ゾーンを設定)して、複数の観察者に適した画像を見せる。   It should also be noted that the system of the present invention may be used with multiple viewers viewing images simultaneously. The method simply recognizes the position of each individual observer (or sets a specific observation zone) and displays a suitable image for multiple observers.

設定された画像観察ゾーン(複数可)を使用するシステムを、視聴者が移動することを可能にするように適用するには、観察者位置信号をシステムに入力する。計算された画像を求めるために使用されるアルゴリズムは、システムの光学的な幾何学的配置を反映する変数を必然的に含む。これらの変数は、観察者位置信号を既知の方法で用いて求めることができる。また、観察者位置信号を用いて、どの立体ペアを表示するかを、光学的な幾何学的配置の計算に基づいて判定することができる。観察者位置信号の生成には、観察者が装着する無線周波数センサ、三角測量を行う赤外線および超音波システム、ならびにビデオの画像データ解析を用いるカメラベースのマシンビジョン等があるがこれらに限定されない、仮想現実(「VR」)の応用に使用される既知の頭部/眼球追跡システムを含む多くの既知の技術を用いることができる。   To apply a system that uses the set image viewing zone (s) to allow the viewer to move, an observer position signal is input into the system. The algorithm used to determine the calculated image necessarily includes variables that reflect the optical geometry of the system. These variables can be determined using the observer position signal in a known manner. In addition, it is possible to determine which solid pair is to be displayed based on the calculation of the optical geometric arrangement using the observer position signal. The generation of the observer position signal includes, but is not limited to, a radio frequency sensor worn by the observer, an infrared and ultrasonic system for triangulation, and a camera-based machine vision using video image data analysis, Many known techniques can be used, including known head / eye tracking systems used in virtual reality (“VR”) applications.

当業者には容易に理解されるように、本発明の特定の実施形態において、各プロジェクタの照明源は、実質的に広帯域の白色光源、特に白熱球、インダクションランプ(induction lamp)、蛍光灯、またはアーク灯等とすることができる。他の実施形態において、照明源は、異なる色、例えば赤色、緑色、および青色の単色光源の組とすることもできる。これらの光源は、発光ダイオード(「LED」)、レーザダイオード、または他の単色および/またはコヒーレント光源としてもよい。   As will be readily appreciated by those skilled in the art, in certain embodiments of the present invention, the illumination source of each projector is a substantially broadband white light source, particularly an incandescent bulb, induction lamp, fluorescent lamp, Or it can be an arc lamp or the like. In other embodiments, the illumination source may be a set of monochromatic light sources of different colors, eg, red, green, and blue. These light sources may be light emitting diodes (“LEDs”), laser diodes, or other monochromatic and / or coherent light sources.

特定の実施形態において開示してきたが、本発明の範囲から逸脱することなく多くの他の幾何学的配置および実施形態が可能であることは明らかである。例えば、本発明は2台以上のプロジェクタを有することができ、各プロジェクタは独自の場所を有することができ、再帰反射スクリーンはホログラムとすることができ、スクリーン画像と各プロジェクタの画像との間の裏面接続(back connection)に2台以上のビデオカメラを用いることができる。   Although disclosed in particular embodiments, it will be apparent that many other geometries and embodiments are possible without departing from the scope of the invention. For example, the present invention can have more than one projector, each projector can have its own location, the retroreflective screen can be a hologram, and between the screen image and the image of each projector Two or more video cameras can be used for back connection.

図8に示すように、本発明の別の実施形態は、多面画像マッチングのためのシステムとその関連方式を提供する。具体的には、本発明のこの実施形態は、3D画像のアスペクトの位置をマッチングすることによりプロジェクタの光学系の歪みの可能性を最小にするシステムに関する。図8のシステムは概して、画像化計算デバイス61および画像プロジェクタ62に加えて、画像化計算デバイス61に電子的に接続されたデジタルカメラ80と、画像化計算デバイス61内の画像取込および処理ソフトウェア81と、スクリーン84とを含む。概して、図8の装置は、投影画像の外観に関連するデータを収集および解析し、所望の画像特性を達成するために必要な投影システムに対する変更を決めるフィードバックループを作成するために機能する。   As shown in FIG. 8, another embodiment of the present invention provides a system for multi-plane image matching and related schemes. Specifically, this embodiment of the invention relates to a system that minimizes the possibility of distortion of the projector's optics by matching the position of the aspect of the 3D image. The system of FIG. 8 generally includes a digital camera 80 electronically connected to the imaging computing device 61 in addition to the imaging computing device 61 and the image projector 62, and image capture and processing software within the imaging computing device 61. 81 and a screen 84. In general, the apparatus of FIG. 8 functions to collect and analyze data related to the appearance of the projected image and create a feedback loop that determines changes to the projection system necessary to achieve the desired image characteristics.

デジタルカメラ80は、一般に市販されるよく知られたタイプのデバイスである。カメラ80の特定のタイプは必要に応じて変えることができる。カメラ80は通常、何らかのタイプの放射を電気に変換する技術、例えば電荷結合素子(CCD)を有して、投影画像に関するデータを、画像化計算デバイス61が使用できる電子形式で収集する機能を行う。   Digital camera 80 is a well-known type of device that is generally commercially available. The particular type of camera 80 can vary as needed. The camera 80 typically has a technology that converts some type of radiation into electricity, such as a charge coupled device (CCD), and performs the function of collecting data relating to the projected image in an electronic form that the imaging computing device 61 can use. .

プロジェクタ62およびカメラ80はプラットフォーム82上に構成される。プラットフォームは、プロジェクタ62を位置決めするために用いられる構造である。初めに、プロジェクタ62の配置および向きはランダムに決めるか、あるいは様々な既知の標準的な手順を用いて構成することができる。図8は直線の向きに配置されたプロジェクタ62を示すが、他の向きを用いてもよい。例えばプロジェクタは、アレイまたは他の幾何学的形状またはパターンに配置することができる。カメラ80は通常、プラットフォーム82の中心近くでプロジェクタ62の真ん中に配置される。   The projector 62 and the camera 80 are configured on the platform 82. The platform is a structure used for positioning the projector 62. Initially, the placement and orientation of the projector 62 can be determined randomly or configured using various known standard procedures. Although FIG. 8 shows the projector 62 arranged in a straight line orientation, other orientations may be used. For example, the projectors can be arranged in an array or other geometric shape or pattern. Camera 80 is typically located in the middle of projector 62 near the center of platform 82.

画像化計算デバイス61および画像プロジェクタ62は次に、図6および図7とその関連文に上述したように動作する。具体的には、画像化計算デバイス61は通常、画像プロジェクタ62の各々を、テスト画像83(通常はカラーの点の2次元アレイまたは一連の垂直線)をスクリーン84上に以下に説明する方法で投影するように方向付ける。   The imaging computing device 61 and the image projector 62 then operate as described above in FIGS. 6 and 7 and related text. In particular, the imaging computing device 61 typically provides each of the image projectors 62 and a test image 83 (usually a two-dimensional array of color dots or a series of vertical lines) on the screen 84 in the manner described below. Orient to project.

プロジェクタ62のうちの1つ、通常はプラットフォーム82の中心に最も近いプロジェクタを基準として用いる。この基準プロジェクタは、スクリーン84上にテスト画像83を照明して、基準テスト画像を作成する。次に、画像化計算デバイス61が第2のプロジェクタ62を、スクリーン84上にテスト画像83を送るように方向付け、2台のプロジェクタ62からの画像投影がスクリーン84上で重なるようにする。しかしながら、画像化計算デバイス61は、第2のプロジェクタ62に、基準テスト画像とは異なるわずかに変更された画像を発するよう指示する。概して、第2のプロジェクタからの画像は基準画像と色が異なる。   One of the projectors 62, usually the projector closest to the center of the platform 82, is used as a reference. The reference projector illuminates the test image 83 on the screen 84 to create a reference test image. The imaging computing device 61 then directs the second projector 62 to send the test image 83 onto the screen 84 so that the image projections from the two projectors 62 overlap on the screen 84. However, the imaging computing device 61 instructs the second projector 62 to emit a slightly modified image that is different from the reference test image. In general, the image from the second projector is different in color from the reference image.

デジタルカメラ80によるテスト画像83の差の検出を容易にするために、スクリーン84は、再帰反射スクリーン上に一時的に載せられる白紙または従来の投影スクリーンであることが好ましい。これにより、スクリーン84は、略線形の反射品質を有し、スクリーンにより生じる投影テスト画像83の歪みを最小にする。   In order to facilitate the detection of the difference in the test image 83 by the digital camera 80, the screen 84 is preferably a blank paper or a conventional projection screen that is temporarily placed on the retroreflective screen. Thereby, the screen 84 has a substantially linear reflection quality and minimizes the distortion of the projected test image 83 caused by the screen.

カメラ80は、この重複した画像83の組を取り込み、画像に関連するデータを画像化計算デバイス61に送る。画像化計算デバイス61内の画像取込および処理ソフトウェア81は、カメラ80によって取り込まれた画像データを用いて、照明された(illuminated)テスト画像83の不一致を計算し、図7とその関連文において説明した画像処理によって、この歪みの必要な補正を求める。同様に、画像取込および処理ソフトウェア81の結果を用いて、プラットフォーム82上のプロジェクタ62の方向を物理的に変える。   The camera 80 captures this set of overlapping images 83 and sends data associated with the images to the imaging calculation device 61. Image capture and processing software 81 in the imaging computing device 61 uses the image data captured by the camera 80 to calculate the inconsistency of the illuminated test image 83, and in FIG. The necessary correction of this distortion is obtained by the described image processing. Similarly, the results of image capture and processing software 81 are used to physically change the orientation of projector 62 on platform 82.

このようにして、画像化計算デバイス61は、カメラ80からテスト画像を受け取り、このテスト画像を用いて、3D画像形成のために2台のプロジェクタに送られる画像の形状および位置を計算する。同様にこの手順を、投影画像のマッチングのために他のプロジェクタ62のペアについて繰り返すことができる。   In this way, the imaging calculation device 61 receives the test image from the camera 80 and uses the test image to calculate the shape and position of the image sent to the two projectors for 3D image formation. Similarly, this procedure can be repeated for other projector 62 pairs for projection image matching.

上述の画像マッチング手順が終了したら、スクリーン83を取り除いて、システムが3D画像化に通常の方法で動作できるようにする。   When the image matching procedure described above is completed, the screen 83 is removed so that the system can operate in the normal manner for 3D imaging.

上述のように、本発明の3D投影システムは通常、非対照的な散乱パターンを有する再帰反射スクリーンを含む。1実施形態において、再帰反射スクリーンは、図9に示すような散乱パターンを有する。具体的には、図9は、水平方向では比較的小角の(3度の範囲の)ガウス分布を有する再帰反射フィルムとして、垂直方向では広角の(50度以上の範囲の)散乱を有する機能するスクリーンを示す。したがって、再帰反射スクリーンは、入射光線90から散乱パターン92を生成する。散乱パターン92は、反射光線91からの比較的小角の水平散乱光線93を有する。これに対し、散乱パターン92は、反射光線91からの比較的広角の垂直散乱光線94を有する。これらの特性により、優れた視覚特性を有する3Dディスプレイが生成される。   As mentioned above, the 3D projection system of the present invention typically includes a retroreflective screen having an asymmetrical scattering pattern. In one embodiment, the retroreflective screen has a scattering pattern as shown in FIG. Specifically, FIG. 9 functions as a retroreflective film having a Gaussian distribution with a relatively small angle (in the range of 3 degrees) in the horizontal direction, and has a wide angle (in the range of 50 degrees or more) in the vertical direction. Show screen. Therefore, the retroreflective screen generates a scattering pattern 92 from the incident light ray 90. The scattering pattern 92 has relatively small-angle horizontal scattered light 93 from the reflected light 91. In contrast, the scattering pattern 92 has a relatively wide-angle vertical scattered light 94 from the reflected light 91. These characteristics produce a 3D display with excellent visual characteristics.

図10は、図9の所望の散乱パターンを有する再帰反射スクリーンの可能な1実施形態を示す。図10は、透明なポリマーフィルム上に2つの連続するマイクロプリズムをエンボス加工することによって形成されるスクリーン100を示す。表面101は空間周波数の高い水平プリズムでエンボス加工して、入射光103からの広角の垂直散乱104を送る。具体的には、表面の水平プリズムは、50〜200mkmの範囲の特別周波数(special frequency)を有する。これに対して裏面102は、全内部反射に対して1次元再帰反射を行う空間周波数の低い90度のマイクロプリズムでエンボス加工される。裏面の垂直プリズムは、5〜20mkmの範囲の特別周波数を有する。この構成により、入射光線103からの比較的小角の水平散乱光線105が生成される。   FIG. 10 shows one possible embodiment of a retroreflective screen having the desired scattering pattern of FIG. FIG. 10 shows a screen 100 formed by embossing two successive microprisms on a transparent polymer film. The surface 101 is embossed with a horizontal prism with a high spatial frequency and sends wide-angle vertical scattering 104 from incident light 103. Specifically, the surface horizontal prism has a special frequency in the range of 50-200 mkm. On the other hand, the back surface 102 is embossed by a 90 degree microprism having a low spatial frequency that performs one-dimensional retroreflection for total internal reflection. The back vertical prism has a special frequency in the range of 5-20 mkm. With this configuration, a relatively small-angle horizontal scattered light beam 105 from the incident light beam 103 is generated.

再帰反射スクリーンの別の可能な実施形態を図11に示す。複合スクリーン(composite screen)110は2つのフィルムの組み合わせにより形成される。具体的には、再帰反射スクリーン110における実質的な散乱は、ミクロプリズム再帰反射体フィルム111と1次元マイクロプリズムアレイ散乱フィルム112との組み合わせにより達成することができる。この組み合わせにより、入射光線113からの広角の垂直散乱光線114と比較的小角の水平散乱光線115とを有する所望の散乱パターンを生じる再帰反射スクリーン110が形成される。マイクロプリズム再帰反射フィルム111および1次元マイクロプリズムアレイ散乱フィルム112をそれぞれ図12および図13にさらに詳細に示す。   Another possible embodiment of a retroreflective screen is shown in FIG. The composite screen 110 is formed by a combination of two films. Specifically, substantial scattering in the retroreflective screen 110 can be achieved by a combination of the microprism retroreflector film 111 and the one-dimensional microprism array scattering film 112. This combination forms a retroreflective screen 110 that produces a desired scattering pattern with wide-angle vertical scattered light 114 and relatively small-angle horizontal scattered light 115 from incident light 113. The microprism retroreflective film 111 and the one-dimensional microprism array scattering film 112 are shown in more detail in FIGS. 12 and 13, respectively.

本明細書中では本発明の好ましい実施形態を図示し説明してきたが、当業者には、このような実施形態は例示として提示されるに過ぎないことは明らかであろう。本件出願人により本明細書中に開示された本発明の範囲を逸脱することのない、多くの本質的でない変形、変更および置き換えが、当業者には明らかであろう。したがって、本発明は併記の特許請求項の精神および範囲によってのみ制限されることが意図される。   While preferred embodiments of the invention have been illustrated and described herein, it will be apparent to those skilled in the art that such embodiments are presented by way of example only. Many non-essential variations, modifications and substitutions will be apparent to those skilled in the art without departing from the scope of the invention disclosed herein by the applicant. Accordingly, it is intended that the invention be limited only by the spirit and scope of the appended claims.

従来技術において観察可能な2次元画像を観察スクリーン上に投影するために使用される1方法の図である。FIG. 2 is a diagram of one method used to project a two-dimensional image that can be observed in the prior art onto an observation screen. 本発明の実施形態に従って3次元画像の投影を示す概略図である。FIG. 6 is a schematic diagram illustrating projection of a three-dimensional image according to an embodiment of the present invention. 本発明の実施形態において使用することができる1つの再帰反射スクリーンによって生成される非線形の光分布を示す図である。FIG. 4 illustrates a non-linear light distribution generated by one retroreflective screen that can be used in embodiments of the present invention. 1台のプロジェクタを使用し反射スクリーンを介して観察者の眼に画像情報を伝える際の幾何学的配置を示す概略図である。It is the schematic which shows the geometric arrangement at the time of transmitting image information to an observer's eyes through a reflective screen using one projector. 本発明の1実施形態において使用される再帰反射スクリーンによって生成される非線形の光分布すなわちカーネル(kernel)を示す図である。FIG. 3 is a diagram illustrating a non-linear light distribution or kernel generated by a retroreflective screen used in one embodiment of the present invention. 本発明の実施形態による投影システムの部品を示す概略図である。FIG. 2 is a schematic diagram showing components of a projection system according to an embodiment of the present invention. 本発明の実施形態において使用される画像化計算ユニットの計算および制御構造を示す概略図である。FIG. 2 is a schematic diagram illustrating a calculation and control structure of an imaging calculation unit used in an embodiment of the present invention. 本発明の実施形態による画像マッチング投影システムの部品を示す概略図である。1 is a schematic diagram illustrating components of an image matching projection system according to an embodiment of the present invention. 図6の投影システムの実施形態による再帰反射体スクリーンを示す概略図である。FIG. 7 is a schematic diagram illustrating a retroreflector screen according to the embodiment of the projection system of FIG. 6. 図6の投影システムの実施形態による再帰反射体スクリーンを示す概略図である。FIG. 7 is a schematic diagram illustrating a retroreflector screen according to the embodiment of the projection system of FIG. 6. 図6の投影システムの実施形態による再帰反射体スクリーンを示す概略図である。FIG. 7 is a schematic diagram illustrating a retroreflector screen according to the embodiment of the projection system of FIG. 6. 図6の投影システムの実施形態による再帰反射体スクリーンを示す概略図である。FIG. 7 is a schematic diagram illustrating a retroreflector screen according to the embodiment of the projection system of FIG. 6. 図6の投影システムの実施形態による再帰反射体スクリーンを示す概略図である。FIG. 7 is a schematic diagram illustrating a retroreflector screen according to the embodiment of the projection system of FIG. 6.

Claims (26)

オブジェクトの知覚される3次元画像を生成する方法であって、
既知の非線形の光反射パターンを有する再帰反射スクリーンを得ること、
少なくとも2台の画像プロジェクタを幾何学的配置に配列して、前記スクリーンに画像を投影できるようにすること、
前記プロジェクタの各々によって投影するための別個の2次元画像を同時に計算することであって、前記計算された画像は、前記オブジェクトに関する立体ペア画像情報と、前記パターンおよび前記幾何学的配置とから求められる、同時に計算すること、および
前記計算された画像を前記プロジェクタから前記スクリーン上に、既知の場所にいる観察者に対して前記オブジェクトの3次元画像を生成する様式で前記スクリーンから反射されるように、投影すること
を含む方法。
A method for generating a perceived 3D image of an object comprising:
Obtaining a retroreflective screen having a known non-linear light reflection pattern;
Arranging at least two image projectors in a geometric arrangement so that an image can be projected onto the screen;
Simultaneously calculating a separate two-dimensional image for projection by each of the projectors, wherein the calculated image is determined from stereo pair image information about the object, the pattern and the geometrical arrangement. And simultaneously calculating the reflected image from the projector onto the screen in a manner that generates a three-dimensional image of the object for an observer at a known location. A method comprising projecting.
前記パターンはガウス分布を含む請求項1に記載の方法。   The method of claim 1, wherein the pattern comprises a Gaussian distribution. 前記パターンは比較的広角の垂直散乱および比較的小角の水平散乱を有する請求項1に記載の方法。   The method of claim 1, wherein the pattern has a relatively wide-angle vertical scatter and a relatively small-angle horizontal scatter. 前記プロジェクタは、前記計算された画像を表示するための透過型液晶ディスプレイパネルを含む請求項1に記載の方法。   The method of claim 1, wherein the projector includes a transmissive liquid crystal display panel for displaying the calculated image. 前記計算された画像は反復的に計算されて、前記オブジェクトの前記3次元画像における誤差を低減する請求項1に記載の方法。   The method of claim 1, wherein the calculated image is iteratively calculated to reduce errors in the three-dimensional image of the object. 前記計算された画像の前記反復的な計算は、ニューラルネットワークを使用する計算デバイスによって行われる請求項5に記載の方法。   6. The method of claim 5, wherein the iterative calculation of the calculated image is performed by a computing device that uses a neural network. 前記計算された画像は、
前記計算された画像の各々を表示する際に各プロジェクタのディスプレイの個々の画素により生じる光波成分を推定するステップと、
結果として得られるオブジェクトの3次元画像を、前記推定された光波成分と前記既知のパターンとの予測される相互作用から計算するステップと、
前記結果として得られる3次元画像を所望の3次元画像と比較して、誤差の程度を得るステップと、
前記誤差が所定の閾値に到達するまで前記平面画像を調整するステップと
によって得られる請求項1に記載の方法。
The calculated image is
Estimating light wave components produced by individual pixels of the display of each projector when displaying each of the calculated images;
Calculating a resulting three-dimensional image of the object from a predicted interaction between the estimated lightwave component and the known pattern;
Comparing the resulting three-dimensional image with a desired three-dimensional image to obtain a degree of error;
The method according to claim 1, further comprising: adjusting the planar image until the error reaches a predetermined threshold.
前記振幅情報を計算するステップはニューラルネットワークを用いて行われる請求項7に記載の方法。   The method of claim 7, wherein the step of calculating amplitude information is performed using a neural network. 前記観察者がいる場所を検知することをさらに含む請求項1に記載の方法。   The method of claim 1, further comprising detecting a location where the observer is. 前記プロジェクタの各々によって投影するための別個の2次元画像を同時に計算するステップは、非線形連立方程式を解くことを含む請求項1に記載の方法。   The method of claim 1, wherein simultaneously calculating separate two-dimensional images for projection by each of the projectors comprises solving nonlinear simultaneous equations. 前記プロジェクタの各々からテスト画像を投影するステップと、
前記投影されたテスト画像を取り込んで比較するステップと、
前記計算された画像の投影を必要に応じて変更して、前記プロジェクタからの投影に合わせるステップと
をさらに含む請求項1に記載の方法。
Projecting a test image from each of the projectors;
Capturing and comparing the projected test images;
The method of claim 1, further comprising: changing the calculated projection of the image as necessary to match the projection from the projector.
オブジェクトの知覚される3次元画像を生成するシステムであって、
既知の非線形の光反射パターンを有する再帰反射スクリーンと、
2次元画像を前記スクリーン上に投影することが可能な少なくとも2台のプロジェクタであって、前記スクリーンに対して幾何学的配置に配列されるとともに、それぞれが2次元画像を生成するための電子的に切り替え可能なディスプレイを含むプロジェクタと、
プロセッサを含む画像化計算デバイスであって、前記ディスプレイの画素を制御するようになっているとともに、前記ディスプレイの各々に対して別個の平面画像を生成するようになっており、前記平面画像は前記デバイスによって、前記パターンおよび前記幾何学的配置ならびに前記オブジェクトの電子立体ペア画像を用いて計算される画像化計算デバイスと
を備える、システム。
A system for generating a perceived three-dimensional image of an object,
A retroreflective screen having a known non-linear light reflection pattern;
At least two projectors capable of projecting a two-dimensional image onto the screen, arranged in a geometric arrangement with respect to the screen, each of which is an electronic device for generating a two-dimensional image A projector including a display switchable to,
An imaging computing device including a processor, adapted to control the pixels of the display and to generate a separate planar image for each of the displays, the planar image being An imaging computing device that is computed by the device using the pattern and the geometry and an electronic stereo pair image of the object.
前記ディスプレイは透過型液晶ディスプレイパネルである請求項12に記載のシステム。   The system of claim 12, wherein the display is a transmissive liquid crystal display panel. 前記プロジェクタの各々は少なくとも3つの透過型ディスプレイおよび少なくとも3つの光源を備え、
前記透過型ディスプレイの各々および前記光源の各々は前記平面画像の3つの色成分のうちの1つを生成するようになっており、
前記平面画像の前記色成分は組み合わせ可能であることにより前記オブジェクトのフルカラー3次元画像を生成する請求項12に記載のシステム。
Each of the projectors comprises at least three transmissive displays and at least three light sources;
Each of the transmissive display and each of the light sources is adapted to generate one of the three color components of the planar image;
The system of claim 12, wherein the color components of the planar image are combinable to generate a full color three-dimensional image of the object.
前記平面画像は前記計算デバイスにおいて反復的に計算され、前記オブジェクトの前記3次元画像における誤差を減らす請求項12に記載のシステム。   The system of claim 12, wherein the planar image is iteratively calculated at the computing device to reduce errors in the three-dimensional image of the object. 前記計算デバイスはニューラルネットワークを使用して前記オブジェクトの前記3次元画像における誤差を低減する請求項15に記載のシステム。   The system of claim 15, wherein the computing device uses a neural network to reduce errors in the three-dimensional image of the object. 前記計算デバイスは、
前記平面画像を表示する際に前記ディスプレイの個々の画素により生じる光波成分を推定するステップと、
結果として得られるオブジェクトの3次元画像を、前記推定された光波成分と前記スクリーンの前記パターンとの予測される相互作用から計算するステップと、
前記結果として得られる3次元画像を所望の3次元画像と比較して、誤差の程度を得るステップと、
前記誤差が所定の閾値に到達するまで前記平面画像を調整するステップと
に従って動作することにより前記平面画像を計算する請求項12に記載のシステム。
The computing device is
Estimating light wave components produced by individual pixels of the display when displaying the planar image;
Calculating a resulting three-dimensional image of the object from the predicted interaction between the estimated lightwave component and the pattern of the screen;
Comparing the resulting three-dimensional image with a desired three-dimensional image to obtain a degree of error;
The system of claim 12, wherein the planar image is calculated by operating according to adjusting the planar image until the error reaches a predetermined threshold.
前記振幅情報を計算するステップはニューラルネットワークを用いて行われる請求項17に記載のシステム。   The system of claim 17, wherein the step of calculating amplitude information is performed using a neural network. 前記ディスプレイ制御システムは、前記3次元画像の観察者の空間的な向きを検知する手段をさらに備え、
前記計算デバイスは、前記観察者が前記オブジェクトの前記3次元画像を知覚できるように前記生成された平面画像を調整するようになっている請求項12に記載のシステム。
The display control system further includes means for detecting a spatial orientation of an observer of the three-dimensional image,
The system of claim 12, wherein the computing device is adapted to adjust the generated planar image so that the observer can perceive the three-dimensional image of the object.
前記計算デバイスは、非線形の連立方程式を解くことにより、前記プロジェクタの各々によって投影する前記平面画像を同時に計算する請求項12に記載のシステム。   The system of claim 12, wherein the computing device simultaneously computes the planar image projected by each of the projectors by solving a nonlinear simultaneous equation. 少なくとも4台のプロジェクタをさらに備えることにより、2人の異なる観察者に対して前記オブジェクトの2つの別々に知覚される3次元ビューを表示することができる請求項12に記載のシステム。   The system of claim 12, further comprising at least four projectors, so that two different perceived three-dimensional views of the object can be displayed to two different viewers. 前記パターンはガウス分布を含む請求項12に記載のシステム。   The system of claim 12, wherein the pattern comprises a Gaussian distribution. 前記パターンは比較的広角の垂直散乱と比較的小角の水平散乱とを含む請求項12に記載のシステム。   The system of claim 12, wherein the pattern includes relatively wide-angle vertical scatter and relatively small-angle horizontal scatter. 前記再帰反射スクリーンは、空間周波数の高いマイクロプリズムでエンボス加工された第1の表面と、空間周波数の低いマイクロプリズムでエンボス加工された第2の表面とを有するフィルムを含む請求項12に記載のシステム。   13. The retroreflective screen includes a film having a first surface embossed with a high spatial frequency microprism and a second surface embossed with a low spatial frequency microprism. system. 前記再帰反射スクリーンは、マイクロプリズム再帰反射体フィルムと、1次元マイクロプリズムアレイ散乱フィルムとを含む請求項12に記載のシステム。   The system of claim 12, wherein the retroreflective screen includes a microprism retroreflector film and a one-dimensional microprism array scattering film. 前記画像化計算デバイスに電子的に接続されたカメラをさらに備え、
前記画像化計算デバイスは前記カメラによって取り込まれた画像を受け取り、前記取り込まれた画像を用いて前記別個の平面画像の生成を変更する請求項12に記載のシステム。
Further comprising a camera electronically connected to the imaging computing device;
The system of claim 12, wherein the imaging computing device receives an image captured by the camera and uses the captured image to modify the generation of the separate planar image.
JP2003559162A 2002-01-04 2003-01-06 3D image projection using retroreflective screen Pending JP2005515487A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US34524502P 2002-01-04 2002-01-04
US34638602P 2002-01-07 2002-01-07
PCT/US2003/000197 WO2003058979A2 (en) 2002-01-04 2003-01-06 Three-dimensional image projection employing retro-reflective screens

Publications (1)

Publication Number Publication Date
JP2005515487A true JP2005515487A (en) 2005-05-26

Family

ID=26994318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003559162A Pending JP2005515487A (en) 2002-01-04 2003-01-06 3D image projection using retroreflective screen

Country Status (7)

Country Link
US (1) US6843564B2 (en)
EP (1) EP1470727A2 (en)
JP (1) JP2005515487A (en)
KR (1) KR20040096519A (en)
CN (1) CN1640153A (en)
AU (1) AU2003210440A1 (en)
WO (1) WO2003058979A2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006528345A (en) * 2003-07-21 2006-12-14 ケンブリッジ大学テクニカルサービスリミテッド Holographic sensor
JP2007538273A (en) * 2004-05-05 2007-12-27 アイマックス コーポレイション Multi-light source high-performance stereoscopic projection system
KR101150755B1 (en) 2009-09-14 2012-06-14 이제선 Apparatus for photographing image
JP2012529076A (en) * 2009-06-04 2012-11-15 トランスパシフィック イメージ,エルエルシー 3D projection system
JP2021530181A (en) * 2018-07-03 2021-11-04 ラクシアム, インコーポレイテッド Display processing network
WO2023228752A1 (en) * 2022-05-27 2023-11-30 京セラ株式会社 Image display device

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US7059733B2 (en) * 2003-03-18 2006-06-13 Hitachi, Ltd. Display apparatus
DE102005009444A1 (en) * 2004-08-25 2006-03-16 Armin Grasnick Method for autostereoscopic display of a stereoscopic image template displayed on a display device
RU2322771C2 (en) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Stereo-projection system
CN100366097C (en) * 2005-07-13 2008-01-30 四川大学 CRT type projection ture three-dimensional stereo display system
US7843449B2 (en) * 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
WO2007072439A2 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. Rear projector and rear projecting method
US8478386B2 (en) 2006-01-10 2013-07-02 Accuvein Inc. Practitioner-mounted micro vein enhancer
US9492117B2 (en) 2006-01-10 2016-11-15 Accuvein, Inc. Practitioner-mounted micro vein enhancer
US8838210B2 (en) 2006-06-29 2014-09-16 AccuView, Inc. Scanned laser vein contrast enhancer using a single laser
US8489178B2 (en) 2006-06-29 2013-07-16 Accuvein Inc. Enhanced laser vein contrast enhancer with projection of analyzed vein data
US11253198B2 (en) 2006-01-10 2022-02-22 Accuvein, Inc. Stand-mounted scanned laser vein contrast enhancer
US9854977B2 (en) 2006-01-10 2018-01-02 Accuvein, Inc. Scanned laser vein contrast enhancer using a single laser, and modulation circuitry
US10813588B2 (en) 2006-01-10 2020-10-27 Accuvein, Inc. Micro vein enhancer
US11278240B2 (en) 2006-01-10 2022-03-22 Accuvein, Inc. Trigger-actuated laser vein contrast enhancer
US7630002B2 (en) * 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
US20070165942A1 (en) * 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
US7486854B2 (en) 2006-01-24 2009-02-03 Uni-Pixel Displays, Inc. Optical microstructures for light extraction and control
US7450799B2 (en) * 2006-01-24 2008-11-11 Uni-Pixel Displays, Inc. Corner-cube retroreflectors for displays
WO2007112612A1 (en) * 2006-04-03 2007-10-11 Kecheng Fang Video information apparatus and image processing method
US8463364B2 (en) 2009-07-22 2013-06-11 Accuvein Inc. Vein scanner
US10238294B2 (en) 2006-06-29 2019-03-26 Accuvein, Inc. Scanned laser vein contrast enhancer using one laser
US8594770B2 (en) 2006-06-29 2013-11-26 Accuvein, Inc. Multispectral detection and presentation of an object's characteristics
US8730321B2 (en) 2007-06-28 2014-05-20 Accuvein, Inc. Automatic alignment of a contrast enhancement system
US8113434B2 (en) * 2006-06-30 2012-02-14 Britta Technologies, Llc Passive electro-optical identification tags
US7874490B2 (en) * 2006-06-30 2011-01-25 Britta Technologies, Llc Active electro-optical identification
US20080043209A1 (en) * 2006-08-18 2008-02-21 Simon Widdowson Image display system with channel selection device
WO2008025765A1 (en) * 2006-09-01 2008-03-06 Seereal Technologies S.A. Direction-controlled illumination unit for an autostereoscopic display
US20080158669A1 (en) * 2006-12-29 2008-07-03 3M Innovative Properties Company Projection screen apparatus for use with portable digital projectors
US8218003B2 (en) * 2007-10-05 2012-07-10 Seiko Epson Corporation Optimization strategies for GPU view projection matrix implementation
US8491121B2 (en) * 2007-10-09 2013-07-23 Elbit Systems Of America, Llc Pupil scan apparatus
WO2009049272A2 (en) 2007-10-10 2009-04-16 Gerard Dirk Smits Image projector with reflected light tracking
US8310525B2 (en) * 2008-10-07 2012-11-13 Seiko Epson Corporation One-touch projector alignment for 3D stereo display
US7901095B2 (en) * 2009-03-27 2011-03-08 Seiko Epson Corporation Resolution scalable view projection
US7993016B2 (en) * 2009-04-03 2011-08-09 Seiko Epson Corporation Retro-reflective light diffusing display systems
US8287127B2 (en) * 2009-04-03 2012-10-16 Seiko Epson Corporation Aerial three-dimensional image display systems
US8328360B2 (en) * 2009-04-03 2012-12-11 Seiko Epson Corporation Retro-reflective light diffusing autostereoscopic 3D display systems
US9648346B2 (en) * 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
US9061109B2 (en) 2009-07-22 2015-06-23 Accuvein, Inc. Vein scanner with user interface
JP2011095743A (en) * 2009-10-28 2011-05-12 Seiko Epson Corp Screen system and method of forming three-dimensional display
CN102576154A (en) * 2009-10-30 2012-07-11 惠普发展公司,有限责任合伙企业 Stereo display systems
FR2951949B1 (en) * 2009-10-30 2012-01-20 Claranor COOLED PULSE LIGHT PROCESSING DEVICE.
US8610761B2 (en) * 2009-11-09 2013-12-17 Prohectionworks, Inc. Systems and methods for optically projecting three-dimensional text, images and/or symbols onto three-dimensional objects
CN102087465B (en) * 2009-12-02 2012-09-26 西安费斯达自动化工程有限公司 Method for directly assigning and displaying true three-dimensional simulation regions
US8587498B2 (en) * 2010-03-01 2013-11-19 Holovisions LLC 3D image display with binocular disparity and motion parallax
CN101794017B (en) * 2010-03-02 2011-09-28 天津市太阳神科技有限公司 Thin film solar reflecting and condensing device
US8189037B2 (en) * 2010-03-17 2012-05-29 Seiko Epson Corporation Various configurations of the viewing window based 3D display system
JP5799535B2 (en) * 2010-03-25 2015-10-28 セイコーエプソン株式会社 System for generating aerial 3D image and method for generating aerial 3D image
CN103026381B (en) 2010-04-18 2016-01-20 图象欧洲公司 Dual-stack projects
CN101916175B (en) * 2010-08-20 2012-05-02 浙江大学 Intelligent projecting method capable of adapting to projection surface automatically
EP2625845B1 (en) 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US9030466B2 (en) * 2010-10-05 2015-05-12 Empire Technology Development Llc Generation of depth data based on spatial light pattern
KR20130114704A (en) * 2011-01-31 2013-10-17 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. A diffuser with a dynamically tunable scattering angle
CN102158723B (en) * 2011-04-13 2012-07-04 上海文广科技(集团)有限公司 Three-dimensional double-projector automatic synchronization method and automatic synchronization three-dimensional playing system
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US9681115B2 (en) * 2011-07-25 2017-06-13 Sony Corporation In-painting method for 3D stereoscopic views generation using left and right images and a depth map
EP3675481A1 (en) 2011-08-16 2020-07-01 Imax Theatres International Limited Hybrid image decomposition and projection
US10326968B2 (en) 2011-10-20 2019-06-18 Imax Corporation Invisible or low perceptibility of image alignment in dual projection systems
WO2013057717A1 (en) 2011-10-20 2013-04-25 Imax Corporation Distortion compensation for image projection
US8837051B1 (en) * 2012-04-23 2014-09-16 Exelis, Inc. Head mounted display with a roof mirror array fold
CN102692808A (en) * 2012-05-09 2012-09-26 南京航空航天大学 Large-scene 360-degree panorama dynamic display method, and display system
US9244339B2 (en) 2012-06-15 2016-01-26 Mirraviz, Inc. Systems and methods for displaying an image or video on a retro-reflective screen
US9072426B2 (en) 2012-08-02 2015-07-07 AccuVein, Inc Device for detecting and illuminating vasculature using an FPGA
US8971568B1 (en) 2012-10-08 2015-03-03 Gerard Dirk Smits Method, apparatus, and manufacture for document writing and annotation with virtual ink
US9715117B2 (en) * 2012-10-31 2017-07-25 G. B. Kirby Meacham Autostereoscopic three dimensional display
US9467579B2 (en) * 2012-11-27 2016-10-11 Janis Dugan Window picture system
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US10517483B2 (en) 2012-12-05 2019-12-31 Accuvein, Inc. System for detecting fluorescence and projecting a representative image
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
CN104076592B (en) * 2013-03-26 2018-06-05 上海科斗电子科技有限公司 It is directed toward light source bore hole 3D optical projection systems and its 3D imaging screens
CN104076593B (en) * 2013-03-27 2018-06-01 上海科斗电子科技有限公司 Double incidence bore hole 3D imaging systems and its 3D imaging screens
CN203289635U (en) 2013-05-10 2013-11-13 瑞声声学科技(深圳)有限公司 Spring plate and multifunctional sounder applying spring plate
WO2015149027A1 (en) 2014-03-28 2015-10-01 Gerard Dirk Smits Smart head-mounted projection system
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
US10701349B2 (en) 2015-01-20 2020-06-30 Misapplied Sciences, Inc. Method for calibrating a multi-view display
US11099798B2 (en) 2015-01-20 2021-08-24 Misapplied Sciences, Inc. Differentiated content delivery system and method therefor
US10955924B2 (en) 2015-01-29 2021-03-23 Misapplied Sciences, Inc. Individually interactive multi-view display system and methods therefor
US10928914B2 (en) 2015-01-29 2021-02-23 Misapplied Sciences, Inc. Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
US10264247B2 (en) 2015-02-03 2019-04-16 Misapplied Sciences, Inc. Multi-view displays
JP6735765B2 (en) 2015-03-03 2020-08-05 ミスアプライド・サイエンシズ・インコーポレイテッド System and method for displaying location-dependent content
US10362301B2 (en) 2015-03-05 2019-07-23 Misapplied Sciences, Inc. Designing content for multi-view display
US9715827B2 (en) 2015-04-01 2017-07-25 Misapplied Sciences, Inc. Multi-view traffic signage
US10043282B2 (en) 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
JP6367499B1 (en) * 2015-06-11 2018-08-01 ミスアプライド・サイエンシズ・インコーポレイテッド Multi-view architectural lighting system
US9792712B2 (en) 2015-06-16 2017-10-17 Misapplied Sciences, Inc. Computational pipeline and architecture for multi-view displays
US10012776B2 (en) * 2015-11-23 2018-07-03 Microsoft Technology Licensing, Llc Optical filters, methods of manufacture, and methods of use
US9753126B2 (en) 2015-12-18 2017-09-05 Gerard Dirk Smits Real time position sensing of objects
US9813673B2 (en) 2016-01-20 2017-11-07 Gerard Dirk Smits Holographic video capture and telepresence system
CN106162129B (en) * 2016-08-31 2019-05-10 蒋欣飏 A kind of projection arrangement
US11060853B2 (en) 2016-09-14 2021-07-13 Scantech (Hangzhou) Co., Ltd. Three-dimensional sensor system and three-dimensional data acquisition method
CN106403845B (en) * 2016-09-14 2017-10-03 杭州思看科技有限公司 Three-dimension sensor system and three-dimensional data acquisition methods
US10602131B2 (en) 2016-10-20 2020-03-24 Misapplied Sciences, Inc. System and methods for wayfinding and navigation via multi-view displays, signage, and lights
EP3532863A4 (en) 2016-10-31 2020-06-03 Gerard Dirk Smits Fast scanning lidar with dynamic voxel probing
US10261183B2 (en) 2016-12-27 2019-04-16 Gerard Dirk Smits Systems and methods for machine perception
US10269279B2 (en) 2017-03-24 2019-04-23 Misapplied Sciences, Inc. Display system and method for delivering multi-view content
KR102372089B1 (en) 2017-03-30 2022-03-08 삼성전자주식회사 Holographic display apparatus having steerable viewing window
JP7246322B2 (en) 2017-05-10 2023-03-27 ジェラルド ディルク スミッツ Scanning mirror system and method
US10427045B2 (en) 2017-07-12 2019-10-01 Misapplied Sciences, Inc. Multi-view (MV) display systems and methods for quest experiences, challenges, scavenger hunts, treasure hunts and alternate reality games
US10565616B2 (en) 2017-07-13 2020-02-18 Misapplied Sciences, Inc. Multi-view advertising system and method
US10404974B2 (en) 2017-07-21 2019-09-03 Misapplied Sciences, Inc. Personalized audio-visual systems
US10591605B2 (en) 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
US10778962B2 (en) 2017-11-10 2020-09-15 Misapplied Sciences, Inc. Precision multi-view display
US10379220B1 (en) 2018-01-29 2019-08-13 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned LIDAR systems
CN110392248A (en) * 2018-04-23 2019-10-29 德州仪器公司 Linear activated display and its implementation method
CN110058420A (en) * 2019-04-08 2019-07-26 成都工业学院 A kind of reflex reflection stereo projection display apparatus
CN110286495B (en) * 2019-07-08 2023-12-29 成都工业学院 Retroreflective stereoscopic display device based on light source array
WO2021174227A1 (en) 2020-02-27 2021-09-02 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array
CN113985566B (en) * 2021-09-10 2023-09-12 西南科技大学 Scattered light focusing method based on spatial light modulation and neural network
CN114326273B (en) * 2022-03-16 2022-05-13 成都工业学院 Projector array positioning device for light field expansion
CN116500803B (en) * 2023-06-29 2023-08-22 成都工业学院 Time division multiplexing stereoscopic display device

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442465B2 (en) * 1992-05-05 2002-08-27 Automotive Technologies International, Inc. Vehicular component control systems and methods
US4717949A (en) * 1986-03-07 1988-01-05 Dimension Technologies, Inc. Autostereoscopic display with illuminating lines and light valve
US5502481A (en) * 1992-11-16 1996-03-26 Reveo, Inc. Desktop-based projection display system for stereoscopic viewing of displayed imagery over a wide field of view
US5421594A (en) * 1991-02-14 1995-06-06 Marine & Petroleum Mfg., Inc. Gasket
RU2116704C1 (en) 1991-12-23 1998-07-27 Олег Кимович Никифоров Method for generation and viewing stereo image for moving observer and device which implements said method
JPH06110374A (en) * 1992-09-30 1994-04-22 Fujitsu Ltd Stereographic display device
US5457574A (en) * 1993-05-06 1995-10-10 Dimension Technologies Inc. Autostereoscopic display with high power efficiency
US5785322A (en) * 1993-06-30 1998-07-28 Acadia Elastomers Gasket for flange connections
RU2108687C1 (en) 1993-07-06 1998-04-10 Леонид Иванович Биричевский Device reconstructing three-dimensional image
US5754147A (en) * 1993-08-18 1998-05-19 Tsao; Che-Chih Method and apparatus for displaying three-dimensional volumetric images
RU2090979C1 (en) 1994-04-05 1997-09-20 Альберт Леонидович Логутко Three-dimensional image reproducing device
US5764317A (en) * 1995-06-26 1998-06-09 Physical Optics Corporation 3-D volume visualization display
JPH0973049A (en) * 1995-06-29 1997-03-18 Canon Inc Image display method and image display device using the same
US5745197A (en) * 1995-10-20 1998-04-28 The Aerospace Corporation Three-dimensional real-image volumetric display system and method
US6092811A (en) * 1996-04-30 2000-07-25 Jamco Products, Llc Hybrid gasket
JP2891177B2 (en) * 1996-04-30 1999-05-17 日本電気株式会社 3D display device
JP3397602B2 (en) * 1996-11-11 2003-04-21 富士通株式会社 Image display apparatus and method
HUP9700348A1 (en) * 1997-02-04 1998-12-28 Holografika E.C. Method and device for displaying three-dimensional pictures
US6554431B1 (en) * 1999-06-10 2003-04-29 Sony Corporation Method and apparatus for image projection, and apparatus controlling image projection
US6304294B1 (en) * 1999-10-15 2001-10-16 Sony Corporation Apparatus for and method of estimating the illumination of an image
EP1252756B1 (en) * 2000-01-25 2006-05-31 NewSight GmbH Method and system for the three-dimensional representation
US6771272B2 (en) * 2000-03-17 2004-08-03 Sun Microsystems, Inc. Graphics system having a super-sampled sample buffer with hot spot correction

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006528345A (en) * 2003-07-21 2006-12-14 ケンブリッジ大学テクニカルサービスリミテッド Holographic sensor
JP2010207646A (en) * 2003-07-21 2010-09-24 Cambridge Enterprise Ltd Holographic sensor
JP4695592B2 (en) * 2003-07-21 2011-06-08 ケンブリッジ エンタープライズ リミテッド Holographic sensor
JP2007538273A (en) * 2004-05-05 2007-12-27 アイマックス コーポレイション Multi-light source high-performance stereoscopic projection system
JP4902528B2 (en) * 2004-05-05 2012-03-21 アイマックス コーポレイション Multi-light source high-performance stereoscopic projection system
US8632189B2 (en) 2004-05-05 2014-01-21 Imax Corporation Multiple source high performance stereographic projection system
JP2012529076A (en) * 2009-06-04 2012-11-15 トランスパシフィック イメージ,エルエルシー 3D projection system
KR101150755B1 (en) 2009-09-14 2012-06-14 이제선 Apparatus for photographing image
JP2021530181A (en) * 2018-07-03 2021-11-04 ラクシアム, インコーポレイテッド Display processing network
JP7247336B2 (en) 2018-07-03 2023-03-28 グーグル エルエルシー display processing circuitry
WO2023228752A1 (en) * 2022-05-27 2023-11-30 京セラ株式会社 Image display device

Also Published As

Publication number Publication date
WO2003058979A2 (en) 2003-07-17
EP1470727A2 (en) 2004-10-27
AU2003210440A1 (en) 2003-07-24
US6843564B2 (en) 2005-01-18
CN1640153A (en) 2005-07-13
KR20040096519A (en) 2004-11-16
WO2003058979A3 (en) 2003-11-13
US20030156260A1 (en) 2003-08-21

Similar Documents

Publication Publication Date Title
JP2005515487A (en) 3D image projection using retroreflective screen
US7224526B2 (en) Three-dimensional free space image projection employing Fresnel lenses
JP5214616B2 (en) 3D display system
TW540228B (en) Three-dimensional display systems
US6985290B2 (en) Visualization of three dimensional images and multi aspect imaging
US20030122828A1 (en) Projection of three-dimensional images
US5771066A (en) Three dimensional display device
JPH04504786A (en) three dimensional display device
EP0580354B1 (en) Stereoscopic display apparatus and method
EP0580353B1 (en) Stereoscopic display apparatus and method
WO2015043098A1 (en) Multi-viewing angle naked-eye three-dimensional display system and display method therefor
JP2005520184A (en) Radiation conditioning system
McAllister Display technology: stereo & 3D display technologies
KR20110080290A (en) Apparatus for acquiring 3d information and method for driving light source thereof, and system for acquiring 3d information
JP4472607B2 (en) 3D image presentation and imaging device
JPH11504729A (en) 3D display device
JP3739350B2 (en) 3D display device
JP3546921B2 (en) Stereoscopic display method and apparatus
JP3583613B2 (en) Stereoscopic display method and apparatus
KR101398804B1 (en) the eye position calculating method of the stereoscopy displaying device which consists of the pair-eye type eye position calculator, the fan-shape modified lenticular and the liquid crystal type barrier.
CN112970247A (en) System and method for displaying multiple depth-of-field images
Brar Head Tracked Multi User Autostereoscopic 3D Display Investigations
JP2003057596A (en) Three-dimensional display device
JP3739349B2 (en) 3D display device
BG66655B1 (en) Device and method for obtaining stereo images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090316

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090324

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090416

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090811