DE102005010250B4

DE102005010250B4 - Method and device for tracking sweet spots

Info

Publication number: DE102005010250B4
Application number: DE102005010250A
Authority: DE
Inventors: Sebastien Amroun; Armin Schwerdtner
Original assignee: SeeReal Technologies GmbH
Current assignee: SeeReal Technologies GmbH
Priority date: 2005-02-25
Filing date: 2005-02-25
Publication date: 2007-02-01
Anticipated expiration: 2025-02-26
Also published as: DE102005010250A1; CN100576933C; CN101129074A

Abstract

Verfahren zum Nachführen von Sweet-Spots einer Sweet-Spot-Einheit für ein autostereoskopisches Multi-User-Display mit einer Bildmatrix und Bildpunkten, wobei die Sweet-Spot-Einheit eine Beleuchtungsmatrix mit einer Vielzahl steuerbarer Beleuchtungselemente sowie Abbildungsmittel mit optischen Abbildungselementen enthält, um Licht in Sweet-Spots auf Betrachteraugen mindestens eines Betrachters abzubilden, welches von der Bildmatrix mit einer Bildinformation moduliert wird, ein Positionsfinder Positionsdaten von Betrachteraugen dreidimensional erfasst und eine Steuereinheit aus den Positionsdaten mit einer inversen Strahlberechnung ermittelte Adressdaten zum Aktivieren entsprechender Beleuchtungselemente bereitstellt,
dadurch gekennzeichnet, dass die Steuereinheit
– frei wählbare Referenzpunkte (P) festlegt, die für die Umgebung jedes Betrachterauges einen ausgedehnten Sweet-Spot (5) definieren
– die inverse Strahlberechnung von jedem Referenzpunkt (P) über die Bildpunkte (D) der Bildmatrix (4) und die Abbildungsmittel zu den Beleuchtungselementen (SP) durchführt, wobei die Bildpunkte (D) auf der Bildmatrix (4) in einem Raster liegen und durch mindestens einen Parameter definiert sind, und
– ein Muster (M) von aktiven...A method of tracking sweet spots of a sweet spot unit for an autostereoscopic multi-user display having an image matrix and pixels, the sweet spot unit including a lighting matrix having a plurality of controllable lighting elements and imaging means having optical imaging elements for light in sweet spots on observer eyes of at least one observer, which is modulated by the image matrix with image information, a position finder captures position data of observer eyes three-dimensionally and a control unit provides address data determined by the position data with an inverse ray calculation to activate corresponding illumination elements,
characterized in that the control unit
- Defines freely selectable reference points (P), which define an extended sweet spot (5) for the environment of each viewer's eye
- Performs the inverse beam calculation of each reference point (P) on the pixels (D) of the image matrix (4) and the imaging means to the illumination elements (SP), wherein the pixels (D) on the image matrix (4) lie in a grid and through at least one parameter are defined, and
- a pattern (M) of active ...

Description

Die Erfindung betrifft ein Verfahren und eine Einrichtung zum Nachführen von Sweet-Spots einer Sweet-Spot-Einheit für ein Display zur Informationsdarstellung, um Licht mit der Information in Sweet-Spots auf Betrachteraugen für mindestens einen Betrachter abzubilden.The The invention relates to a method and a device for tracking Sweet spots of a sweet spot unit for a Display for displaying information to light with the information in sweet spots on observer eyes for at least one viewer map.

Anwendungsgebiet der Erfindung sind monoskopische Displays für einzelne oder mehrere Betrachter und autostereoskopische Displays für einzelne oder mehrere Betrachter (Multi-User), wobei bei den Multi-User-Displays für jeden Betrachter ein anderer Bildinhalt dargestellt werden kann. Bei autostereoskopischen Multi-User-Displays können sich die Betrachter die verschiedenen Bildinhalte wahlweise entweder im 2D- oder 3D-Modus ansehen.field of use The invention is monoscopic displays for single or multiple viewers and autostereoscopic displays for single or multiple viewers (Multi-user), taking in the multi-user displays for each Viewer another image content can be displayed. In autostereoscopic Multi-user displays can the viewers either choose the different image contents either in 2D or 3D mode.

Als autostereoskopische Displays werden im Dokument Displays bezeichnet, bei denen mindestens ein Betrachter von wahlfreien Orten aus auf dem Informationspanel 3D-Inhalte ohne zusätzliche Hilfsmittel sehen kann.When autostereoscopic displays are referred to in the document displays, where at least one viewer from random places on the information panel can see 3D content without any additional tools.

Die Sweet-Spot-Einheit eines Displays enthält ein großflächiges Abbildungsmittel mit Abbildungselementen, um das Licht aktivierter Beleuchtungselemente einer Beleuchtungsmatrix in Form eines oder mehrerer gleichzeitig generierter Sweet-Spots auf Betrachteraugen mindestens eines Betrachters innerhalb eines Raumes annähernd durch Parallelstrahlenbündel abzubilden. Jedem Abbildungselement der Abbildungsmittel ist eine Vielzahl von Beleuchtungselementen zugeordnet. Die Abbildungsmittel können wahlweise zusätzliche optische Elemente zur Verbesserung der Abbildungsverhältnisse enthalten.The Sweet spot unit of a display contains a large-area imaging agent with Imaging elements to the light activated lighting elements a lighting matrix in the form of one or more simultaneously generated sweet spots on observer eyes of at least one observer within a Space approximately through Parallel beam map. Each imaging element of the imaging means is a Assigned variety of lighting elements. The imaging agents can optionally additional optical elements for improving the imaging conditions contain.

Sweet-Spots sind die Bereiche, von denen aus eine Information auf dem Informationspanel in einer guten Abbildungsqualität betrachtet werden kann. Dabei soll stets die Homogenität der Darstellung der Informationen auf dem Informationspanel gewährleistet werden und das Übersprechen auf das jeweils andere Auge bei 3D-Informationen vermieden werden. Auch wenn der Betrachter eine neue Position im Raum vor dem Display einnimmt, müssen die genannten Bedingungen weiterhin gelten, so dass ihm Informationen mit monoskopischen oder stereoskopischen Bildinhalten ständig in guter Qualität zur Verfügung stehen. Bei einem monoskopischen Display in einem Fahrzeug soll für den Fahrer beispielsweise ein Routenplan angezeigt werden, während sein Begleiter ein Video sieht. Beide sollen sich in einem gewissen Bereich bewegen können, ohne ihre Information zu verlieren.Sweet spots are the areas from which information on the information panel in a good picture quality can be considered. It should always the homogeneity of the representation the information on the information panel are guaranteed and the crosstalk be avoided on the other eye with 3D information. Even if the viewer enters a new position in the space in front of the display takes The said conditions continue to apply, giving him information with monoscopic or stereoscopic image content constantly in good quality to disposal stand. When a monoscopic display in a vehicle should for the For example, drivers can be shown a route plan while being Companion sees a video. Both should be in a certain area can move, without losing their information.

Von einem autostereoskopischen Display werden neben einer 3D-Darstellung in guter Abbildungsqualität auch Eigenschaften erwartet, die unabhängig von der Anzahl der Benutzer sind, wie hauptsächlich freie und unabhängige Betrachterbeweglichkeit und ein wahlfreier Zugriff auf mehrere Darstellungen im 2D- und/oder 3D-Modus. Um diese Forderungen optimal erfüllen zu können, wird ein geeignetes Trackingsystem benötigt. Es muss in der Lage sein, ständig die Betrachterbewegungen im Raum vor dem Display in einem möglichst großen Raumbereich zu verfolgen, damit jedem Betrachter stets die ihm zugehörige Bildinformation unabhängig von seiner momentanen Position dargestellt werden kann. Das stellt hohe Anforderungen an die Genauigkeit der Positionsfinder, an die Qualität der einzelnen Elemente des Displays sowie an die Abbildungsqualität des Displays insgesamt.From An autostereoscopic display will be next to a 3D display in good picture quality Also expected properties regardless of the number of users are as main free and independent Viewer mobility and random access to multiple representations in 2D and / or 3D mode. In order to be able to optimally fulfill these requirements, a suitable tracking system will be developed needed. It has to be able to do it all the time the viewer movements in the space in front of the display in one possible large room area to follow, so that each viewer always the associated image information independent of his current position can be displayed. That makes high Requirements for the accuracy of the position finder, for the quality of the individual elements of the display as well as the picture quality of the display as a whole.

Es sind Lösungen bekannt, um Betrachtern an verschiedenen Positionen vor dem Display stets die für sie bestimmten Informationen darzustellen. Grundlage ist die Positionsbestimmung bzw. das Tracking von Betrachtern oder Betrachteraugen, die Daten für die anschließende Verwertung in Nachführeinrichtungen zur Verfügung stellen. Es gibt Systeme, die beispielsweise mit mechanischen, optischen oder anderen Mitteln, allein oder in Kombination, das Nachführen realisieren. Jedoch haften diesen Systemen Nachteile an, die ihre Genauigkeit beeinträchtigen und ihre Verwendung in Echtzeit erschweren. Ihr Aufbau ist oft voluminös und der Raum relativ beschränkt, in dem Betrachtern noch Informationen dargestellt werden können. Daneben verlängern sich die Rechenzeiten erheblich, je mehr Faktoren von der Positionsbestimmung an bis zur Darstellung der Information berücksichtigt werden müssen.It are solutions known to viewers at various positions in front of the display always the for they represent certain information. The basis is the position determination or the tracking of viewers or observers, the data for the subsequent Recycling in trackers to disposal put. There are systems that, for example, with mechanical, optical or other means, alone or in combination, realize the tracking. However, these systems suffer from disadvantages that affect their accuracy impair and complicate their use in real time. Their structure is often voluminous and the Space relatively limited, in the viewer information can still be displayed. Besides extend The computing times considerably, the more factors of the position determination must be taken into account until the information is displayed.

Die Druckschrift WO 03/053072 A1 enthält ein Multi-User-Display mit einem dreidimensionale Positionsdaten erfassenden Trackingsystem und sequentieller Wiedergabe von stereoskopischen Bildern. Im Display sind nacheinander ein dreidimensional adressierbares Backlight, eine großflächige Abbildungslinse zum Fokussieren des Lichtes auf den Betrachter und ein Lichtmodulator als Bildmatrix angeordnet. Das Backlight wird hier durch in mehreren Ebenen hintereinander angeordnete zweidimensionale Lichtquellenanordnungen gebildet. Entsprechend der aktuellen Betrachterposition werden Beleuchtungselemente ermittelt, die in einer der Lichtquellenanordnungen des Backlights liegen. Damit wird ein Lichtquellentracking auch bezüglich der Entfernung eines oder mehrerer Betrachter vom Display ermöglicht. Dynamisch werden dreidimensionale Positionsdaten aller Betrachteraugen ermittelt, zuordenbare Beleuchtungselemente des Backlights geöffnet und Lichtbündel auf die jeweiligen rechten/linken Betrachteraugen synchron mit den modulierten Bildern fokussiert.The Document WO 03/053072 A1 contains a multi-user display with a three-dimensional position data detecting tracking system and sequential reproduction of stereoscopic images. In the display are successively a three-dimensionally addressable backlight, a large-scale imaging lens for focusing the light on the viewer and a light modulator arranged as a picture matrix. The backlight is here through in several levels successively arranged two-dimensional light source arrangements educated. According to the current viewer's position, lighting elements become detected in one of the light source arrangements of the backlight lie. Thus, a light source tracking with respect to the Removal of one or more viewers from the display allows. Dynamic three-dimensional position data of all observer eyes detects, backlight's assignable lighting elements open and light beam on the respective right / left viewer's eyes in sync with the focused on modulated images.

Das Display besitzt eine verminderte Lichtintensität, da pro Betrachterauge jeweils nur das Licht einer lokal selektierbaren punktförmigen Lichtquelle zum Ausleuchten des gesamten Bildes zur Verfügung steht und die sich ständig im Strahlengang befindenden nichtaktivierten Lichtquellenanordnungen weiteres Licht absorbieren. Abgesehen von seiner räumlichen Ausdehnung ist das dreidimensionale Backlight auch schwierig herzustellen.The Display has a reduced light intensity, as per viewer eye respectively only the light of a locally selectable point light source for illumination of the entire picture available stands and is constantly in the beam path located non-activated light source arrangements further Absorb light. Apart from its spatial extent, this is Three-dimensional backlight also difficult to manufacture.

Im Dokument US 6 014 164 wird ein autostereoskopisches Display für mehrere Betrachter mit einem Lichtquellen-Trackingsystem beschrieben. Die Lichtquellen sind immer paarweise pro Betrachter vorhanden und können in x-, y- und z-Richtung bewegt und so den Positionsänderungen der Betrachter durch ein Steuersystem entsprechend nachgeführt werden. Dadurch ist es möglich, den Betrachtern ständig zeitsequentiell 3D-Darstellungen auf dem Informationspanel zur Verfügung zu stellen. Da es sich hier ebenfalls um ein Lichtquellentracking handelt, treten die schon beschriebenen Nachteile auch bei diesem System auf. Insbesondere ist ein großer Aufwand an Mitteln zum Nachführen erforderlich, da die betrachterbezogenen Lichtquellenpaare für jeden Betrachter einzeln geführt werden. Diese Mittel verhindern gleichzeitig eine flache Bauweise des Displays.In the document US Pat. No. 6,014,164 describes an autostereoscopic display for multiple viewers with a light source tracking system. The light sources are always present in pairs per viewer and can be moved in the x-, y- and z-direction and thus be tracked according to the changes in position of the viewer by a control system. This makes it possible to constantly provide the viewers time-sequential 3D representations on the information panel. Since this is also a light source tracking, the disadvantages already described also occur in this system. In particular, a great deal of means for tracking is required because the viewer-related pairs of light sources are performed individually for each viewer. These means simultaneously prevent a flat design of the display.

Das Dokument US 2004/0021768 A1 offenbart ein dreidimensionales holografisches Display, bei dem das Objekt in Pixeln einer Bildmatrix dargestellt wird, indem Pixel nur in einem Teilbereich aktiviert werden. Damit können Teilhologramme einer bestimmten Betrachterposition entsprechend erzeugt werden. Die Berechnung der Pixelkonfiguration erfolgt parameterabhängig mit der inversen Strahlberechnung, so dass eine optimale Pixelkonfiguration für das jeweilige Teilhologramm in der Bildmatrix ermittelt wird. Damit wird die Rechenzeit für die einzelnen Teilhologramme gleichzeitig optimiert.The Document US 2004/0021768 A1 discloses a three-dimensional holographic Display in which the object is represented in pixels of an image matrix is activated by activating pixels in a subarea only. In order to can Part holograms corresponding to a particular viewer position be generated. The calculation of the pixel configuration is dependent on the parameters the inverse beam calculation, so that an optimal pixel configuration for each Part hologram is determined in the image matrix. This will be the computing time for the individual sub-holograms optimized simultaneously.

Die bekannten Lösungen für Trackingverfahren können zwar Betrachtern in verschiedenen Raumpositionen eines stereoskopischen Betrachterbereichs Informationen liefern, aber nur mit beträchtlichen Nachteilen. Der Trackingbereich und die in der Bildmatrix auftretende Helligkeit sind eingeschränkt. Außerdem sind die Displays voluminös und erfordern einen relativ großen Aufwand an Mitteln, auch an rechnerischen, zur Realisierung des Trackings. Je mehr Betrachter im Betrachterraum vor dem Display an unterschiedlichen Orten platziert sind, um so größer werden die zu berechnende Datenmenge und der Zeitraum zwischen Positionsermittlung und Bereitstellung von Sweet-Spots. Deshalb ist es üblich, einen bestimmten Teil der Daten nicht mehr in Echtzeit zu berechnen, sondern vorberechnete Daten in einer Look-up-table zu speichern, abzurufen und weiterzuverarbeiten. Mit zunehmender Zahl der Betrachter entsteht aber der Nachteil, dass die Grenze der Speicherkapazität des Systems schnell erreicht und überschritten wird.The known solutions for tracking procedures can Although viewers in different spatial positions of a stereoscopic Provide information to observers, but only with considerable Disadvantages. The tracking area and those occurring in the image matrix Brightness is limited. Besides, they are the displays voluminous and require a relatively large Expenditure of funds, even to mathematical, for the realization of the Tracking. The more observers in the viewer's room in front of the display are placed in different places, the larger the ones to be calculated Amount of data and the period between position determination and deployment from sweet spots. That's why it's common to have one certain part of the data is no longer real-time to calculate, but retrieve precomputed data in a lookup table and further processing. With increasing number of viewers arises but the disadvantage that the limit of the storage capacity of the system quickly reached and exceeded becomes.

Diese hier aufgeführten Nachteile des Standes der Technik sollen mit der vorliegenden Erfindung vermieden bzw. verringert werden.These listed here Disadvantages of the prior art are intended with the present invention be avoided or reduced.

Aufgabe der Erfindung ist es daher, bei Displays mit Sweet-Spot-Einheit auf nichtmechanischem Weg ein schnelles Nachführen ausgedehnter Sweet-Spots entsprechend der Positionsänderung von Betrachtern in einem relativ großen Bereich zu erreichen und an Orten der Sweet-Spots eine in der Bildmatrix dargestellte Bildinformation für jeden Betrachter stets in guter Abbildungsqualität bei homogener Ausleuchtung des Informationspanels sichtbar zu machen.task The invention is therefore, in displays with sweet spot unit non-mechanical way to quickly track extended sweet spots according to the position change of To reach viewers in a relatively large area and at locations of the sweet spots an image information represented in the image matrix for each Viewers always in good image quality with homogeneous illumination of the information panel.

Gleichzeitig sollen ein vergrößerter Trackingbereich und eine möglichst übersprechungsfreie Bilddarstellung für jeden Betrachter geschaffen werden.simultaneously should have an enlarged tracking area and as far as possible without any communication Image representation for every viewer be created.

Weiterhin soll die Menge der für ein Trackingverfahren in Echtzeit zu berechnenden Daten minimiert sowie die Menge der vorberechneten und in einer Look-up-table gespeicherten Daten so gering wie möglich gehalten werden.Farther should be the amount of for a tracking method in real-time to be calculated data minimized as well as the amount of precalculated and stored in a look-up table Data as low as possible being held.

Insbesondere soll auch die flache Bauweise des Displays nicht beeinträchtigt werden.Especially should also not affect the flat design of the display.

Zum Lösen der Aufgabe geht die Erfindung von einem Trackingverfahren für ein Display mit Sweet-Spot-Einheit und Bildmatrix aus, bei dem in Verfahrensschritten durch entsprechende Einrichtungen von einer dreidimensionalen Bestimmung der Augenpositionen von Betrachtern durch einen Positionsfinder in Echtzeit ausgehend bis zum Aktivieren von regulär angeordneten Beleuchtungselementen einer Beleuchtungsmatrix ein Bereitstellen von Sweet-Spots erfolgt.To the Solve the Task is the invention of a tracking method for a display with sweet-spot unit and image matrix, in which process steps by appropriate means of a three-dimensional determination the eye positions of viewers through a position finder in real time starting up to activating regular arranged Lighting elements of a lighting matrix provide a done by sweet spots.

Erfindungsgemäß wird zur Lösung der Aufgabe ein Trackingverfahren angewandt, dem eine inverse Strahlberechnung vom Betrachter zur Beleuchtungsmatrix zugrunde liegt. Dabei wird von der Überlegung ausgegangen, dass genau die Beleuchtungselemente aktiviert werden müssen, auf die der Betrachter durch das Informationsdisplay hindurch blickt, um den ihm zugehörigen Sweet-Spot zu erhalten, unabhängig von der Art des verwendeten Abbildungsmittels. Das Informationsdisplay kann sowohl ein monoskopisches als auch ein stereoskopisches Display für jeweils mindestens einen Betrachter sein.According to the invention is for solution the task is a tracking method applied to an inverse beam calculation from the observer to the illumination matrix. It will from the consideration assumed that exactly the lighting elements are activated have to, the viewer looks through the information display, to his own Sweet spot to receive, regardless of the type of imaging agent used. The information display can be both a monoscopic and a stereoscopic display for each be at least one viewer.

Nach einer kontinuierlichen dreidimensionalen Positionsbestimmung von Augen mindestens eines Betrachters mit einem Positionsfinder werden die ermittelten Positionsdaten einer Steuereinheit zum Ausführen der inversen Strahlberechnung zur Verfügung gestellt. In Abhängigkeit von der Genauigkeit des Positionsfinders und/oder anderen Parametern, vorzugsweise der Entfernung der Betrachteraugen vom Display, wird in der Steuereinheit in diskreten Schritten für die Umgebung jeden Betrachterauges eine Geometrie des benötigten Sweet-Spots durch Festlegen von Referenzpunkten definiert. Die Referenzpunkte sind, auf ein Betrachterauge bezogen, in Anzahl und Anordnung frei wählbar. In der Erfindung wird insbesondere eine rechteckige Anordnung der Referenzpunkte bevorzugt, bei der für mindestens vier Punkte vorzugsweise eines Rechtecks die inverse Strahlberechnung durchgeführt wird. Die Anzahl der Referenzpunkte sollte so groß sein, dass ständig eine homogene Ausleuchtung des Sweet-Spots erfolgt, der Berechnungs- und Speicheraufwand aber so gering wie möglich ist. Eine größere Sweet-Spot-Ausdehnung wird z.B. erforderlich, wenn der Betrachter eine größere Entfernung zum Display hat und die Genauigkeit des Positionsfinders bezüglich der Positionsbestimmung sich verringert.After a continuous three-dimensional positioning of eyes at least ei For a viewer with a position finder, the determined position data is made available to a control unit for performing the inverse beam calculation. Depending on the accuracy of the position finder and / or other parameters, preferably the distance of the observer's eyes from the display, a geometry of the required sweet spot is defined in the control unit in discrete steps for the environment of each observer's eye by setting reference points. The reference points are, in relation to a viewer eye, freely selectable in number and arrangement. In the invention, in particular, a rectangular arrangement of the reference points is preferred in which the inverse beam computation is performed for at least four points, preferably of a rectangle. The number of reference points should be so large that a homogeneous illumination of the sweet spot is always carried out, but the calculation and storage costs are as low as possible. A larger sweet-spot extension is required, for example, if the viewer has a greater distance to the display and the positioning accuracy of the position finder is reduced.

Von jedem Referenzpunkt aus wird von der Steuereinheit eine inverse Strahlberechnung zu Bildpunkten durchgeführt, die auf der Bildmatrix in einem Raster liegen und durch mindestens einen Parameter definiert sind. Vorteilhafterweise bilden nicht alle Bildpunkte die Grundlage der Berechnungen, sondern nur die in einer Zeile liegenden und damit durch einen einzigen Parameter definierten Bildpunkte entsprechend dem vorgegebenen Raster der Bildmatrix. Mit der Berechnung werden Datensätze mit Adressdaten für jeweils das Beleuchtungselement ermittelt, das von den Abbildungsmitteln in den entsprechenden Referenzpunkt abgebildet wird. Aus den Adressdaten erhält man als weiteren Verfahrensschritt ein Muster von aktiven Beleuchtungselementen, die in Verbindung mit dem Abbildungsmittel die definierten Sweet-Spots für jedes Betrachterauge realisieren.From each reference point is from the control unit an inverse Beam calculation to pixels performed on the image matrix lie in a grid and defined by at least one parameter are. Advantageously, not all pixels form the basis the calculations, but only those lying in a row and thus corresponding pixels defined by a single parameter the given grid of the image matrix. With the calculation will be records with address data for each determines the lighting element, that of the imaging means is mapped into the corresponding reference point. From the address data receives as a further process step, a pattern of active lighting elements, the defined sweet spots associated with the imaging agent for each Realize viewer's eye.

Das erfindungsgemäße Verfahren kann sowohl in monoskopischen als auch autostereoskopischen Displays jeweils für mindestens einen Betrachter angewandt werden.The inventive method can be used in both monoscopic and autostereoscopic displays each for at least one viewer be applied.

Während die Strahlberechnung für jeden Bildpunkt vorzugsweise für die mittlere Zeile der Bildmatrix in Echtzeit durchgeführt wird, entnimmt die Steuereinheit für den weiteren Strahlenverlauf vorberechnete und gespeicherte Datensätze zum Ermitteln der Adressdaten von Beleuchtungselementen aus einer Look-up-table. Die Adressdaten für ein der aktuellen Betrachterposition entsprechendes Muster von Beleuchtungselementen werden von der Steuereinheit durch einen Parametervergleich der Datensätze ermittelt und zum Erzeugen des entsprechenden Sweet-Spots verwendet, wobei der Blickwinkel α den Verlauf eines Strahls von einem Referenzpunkt aus zum betrachteten Bildpunkt der Bildmatrix kennzeichnet. In der Look-up-table ist der Strahlenverlauf in den Abbildungsmitteln für Strahlen von jedem auf einem Raster der Bildmatrix liegenden Bildpunkt und zu jedem Beleuchtungselement der Beleuchtungsmatrix vorberechnet und in Datensätzen gespeichert. Von den Abbildungsmitteln verursachte Abbildungsfehler, wie beispielsweise die Bildfeldkrümmung, werden vorteilhaft in den Datensätzen berücksichtigt, ebenso bekannte Material- und Fertigungstoleranzen sowie die Temperaturabhängigkeit der verwendeten optischen Elemente.While the Beam calculation for each pixel preferably for the middle row of the image matrix is performed in real time, takes the control unit for the further course of radiation pre-calculated and stored data sets for Determining the address data of lighting elements from a look-up table. The address data for a pattern of lighting elements corresponding to the current viewer position be from the control unit by a parameter comparison of Determined records and used to produce the corresponding sweet spot, wherein the angle of view α the course a ray from a reference point to the pixel under consideration of the image matrix. In the look-up table is the beam path in the imaging means for Rays from each pixel lying on a grid of the image matrix and precalculated to each illumination element of the illumination matrix and in records saved. Aberrations caused by the imaging means, such as the field curvature, are beneficial in the records considered, as well known material and manufacturing tolerances and the temperature dependence the optical elements used.

Mit dem Blickwinkel als Parameter wird in der Strahlberechnung vorteilhaft erreicht, dass sich die Anzahl der vorzunehmenden Berechnungen verringern lässt, da ein bestimmter Blickwinkel nicht nur für einen Betrachter in einer Entfernung vom Display, sondern für mehrere Betrachter in verschiedenen Entfernungen zutreffend sein kann.With the viewing angle as a parameter is advantageous in the beam calculation ensures that the number of calculations to be made decreases leaves, because a certain angle is not just for a viewer in one Distance from the display, but for multiple viewers at different distances can be true.

Wenn allen Betrachtern das gleiche Stereobild dargestellt wird, enthalten die Adressdaten vorteilhaft nur zwei separate Listen von Beleuchtungselementen für die ermittelten Positionen jeweils aller linken und aller rechten Augen von Betrachtern. In der Look-up-table sind praktisch für eine Vielzahl von Strahlen und Blickwinkeln die vorberechneten Datensätze zum Erzeugen der Sweet-Spots für die relevanten Bildpunkte der Bildmatrix und aller Beleuchtungselemente der Beleuchtungsmatrix gespeichert. In ihrer Gesamtheit stellen sie die Transferdaten der Look-up-table dar.If All observers the same stereo image is displayed included the address data advantageously only two separate lists of lighting elements for the determined positions of all left and right eyes from viewers. In the look-up table are handy for a variety of rays and angles the precalculated datasets for Generating the sweet spots for the relevant pixels of the image matrix and all lighting elements the illumination matrix stored. In their entirety they represent the transfer data of the look-up table.

Eine Ausführungsform der Erfindung enthält eine Beleuchtungsmatrix, die aus einem im Subpixelbereich aktivierbaren Shutter in Kombination mit einem Backlight besteht. Ebenso können auch einzeln aktivierbare selbstleuchtende Beleuchtungselemente wie LEDs oder OLEDs in der Beleuchtungsmatrix verwendet werden, wodurch dann das Backlight entfällt und die Flachheit des Displays erhalten bleibt.A embodiment The invention contains a Illumination matrix, which can be activated in the subpixel range Shutter in combination with a backlight exists. Likewise, too individually activatable self-illuminating lighting elements such as LEDs or OLEDs are used in the illumination matrix, whereby then the backlight is omitted and the flatness of the display is maintained.

Das Abbildungsmittel kann ein ein- oder mehrgliedriges optisches Abbildungssystem enthalten, dem wahlweise zusätzlich weitere optische Elemente zugeordnet sein können.The Imaging agent may be a single or multi-unit optical imaging system included, optionally in addition can be associated with other optical elements.

Weiterhin betrifft die Erfindung eine Einrichtung zum Bereitstellen eines Steuersignals zum Nachführen eines Sweet-Spots einer Sweet-Spot-Einheit für ein autostereoskopisches Multi-User-Display mit entsprechenden Steuer- und Speichermitteln zur Durchführung des Verfahrens.Farther The invention relates to a device for providing a Control signal for tracking a sweet spot on a sweet spot unit for an autostereoscopic multi-user display with appropriate control and storage means for carrying out the Process.

Durch das erfindungsgemäße Verfahren der inversen Strahlberechnung zum Nachführen eines Sweet-Spots einer Sweet-Spot-Einheit ist es möglich, die Menge der in einer Look-up-table zu speichernden Transferdaten und deren rechnerische Verarbeitungszeit zu verringern. Insbesondere bei der gleichzeitigen Darstellung von Informationen im 2D- und/oder 3D-Modus für mehrere Betrachter, für die der Inhalt der Informationen unterschiedlich ist, können Betrachtern vorteilhaft sehr schnell bei Positionsänderung ihre zugehörigen Bildinformationen mit hoher Qualität in Echtzeit nachgeführt werden.By means of the inverse beam calculation method according to the invention for tracking a sweet spot of a sweet spot unit, it is possible to store the quantity of in a look-up table decreasing transfer data and their computational processing time. In particular, in the simultaneous display of information in 2D and / or 3D mode for multiple viewers, for which the content of the information is different, viewers can advantageously be tracked very quickly in position change their associated image information with high quality in real time.

Das erfindungsgemäße Verfahren und eine dazugehörige Einrichtung werden nachfolgend näher beschrieben. In den Darstellungen zeigenThe inventive method and an associated one Device will be described in more detail below. In the illustrations show

1 eine Draufsicht auf eine schematische Darstellung einer Sweet-Spot-Einheit und Bildmatrix eines Multi-User-Displays sowie ein Betrachterauge in einem Sweet-Spot, mit einem ausgewählten Strahlenverlauf 1 a plan view of a schematic representation of a sweet-spot unit and image matrix of a multi-user display and a viewer eye in a sweet spot, with a selected beam path

2 in Draufsicht einen Ausschnitt der Bildmatrix mit zwei Bildpunkten und Betrachteraugen in verschiedenen Betrachterebenen 2 in plan view a section of the image matrix with two pixels and observer eyes in different observer planes

3a zwischen Referenzpunkten eines Sweet-Spots und Bildpunkten der Bildmatrix verlaufende Strahlen mit zugehörigen Blickwinkeln α 3a between rays of reference of a sweet spot and pixels of the image matrix extending rays with associated angles α

3b eine Liste mit Adressdaten für ein Muster M von Beleuchtungselementen 3b a list of address data for a pattern M of lighting elements

3c eine schematische nichtmaßstabsgerechte Darstellung des spaltenweise aktivierten Musters M von Beleuchtungselementen und 3c a schematic representation of the notch-scale activated pattern M of lighting elements and

4 ein Flussdiagramm zum Verfahrensablauf der inversen Strahlberechnung in einem Display 4 a flowchart of the procedure of the inverse beam calculation in a display

In der Beschreibung wird vorzugsweise auf ein autostereoskopisches Display Bezug genommen.In The description is preferably based on an autostereoscopic Display reference.

Anhand der 1 bis 4 werden für ein autostereoskopisches Display das erfindungsgemäße Verfahren zum Nachführen eines Sweet-Spots einer Sweet-Spot-Einheit bei Änderung der Positionen eines oder mehrerer Betrachter und eine Einrichtung zur Durchführung des Verfahrens näher beschrieben. Dem Verfahren liegt dabei der Gedanke zugrunde, für jede Betrachterposition immer nur die Beleuchtungselemente zum Erzeugen von Sweet-Spots zu aktivieren, die die beste Helligkeit und Homogenität für das darzustellende Stereobild bei hoher Bildqualität liefern. Mit einem erfindungsgemäß gestalteten Strahlrückverfolgungsverfahren und dazugehörigen Einrichtungen wird die Aufgabe gelöst.Based on 1 to 4 For an autostereoscopic display, the method according to the invention for tracking a sweet spot of a sweet-spot unit when changing the positions of one or more observers and a device for carrying out the method are described in more detail. The method is based on the idea to activate for each viewer position only the lighting elements for generating sweet spots, which provide the best brightness and homogeneity for the stereo image to be displayed with high image quality. With an inventively designed beam tracing method and associated facilities, the problem is solved.

1 enthält die Hauptkomponenten des autostereoskopischen Displays. Von links sind nacheinander eine Beleuchtungsmatrix 1 mit Beleuchtungselementen SP und ein Abbildungsmittel aus Lentikular 2 und Fresnellinse 3 dargestellt, die zusammen die Sweet-Spot-Einheit bilden. Ihnen folgen die aus regulär angeordneten Bildpunkten bestehende Bildmatrix 4 zur Darstellung des Stereobildes und ein Betrachterauge mit einem ausgedehnten Sweet-Spot 5, der durch Referenzpunkte P gekennzeichnet ist. 1 contains the main components of the autostereoscopic display. From the left are successively a lighting matrix 1 with lighting elements SP and a lenticular imaging means 2 and Fresnel lens 3 represented, which together form the sweet spot unit. They are followed by the image matrix consisting of regularly arranged pixels 4 to display the stereo image and a viewer's eye with an extended sweet spot 5 , which is characterized by reference points P.

Die Referenzpunkte P der Sweet-Spots 5 sind zum besseren Verständnis in den Zeichnungen in der Betrachterebene dargestellt, die senkrecht auf der Zeichenebene steht.The reference points P of the sweet spots 5 are shown for convenience in the drawings in the observer plane, which is perpendicular to the plane of the drawing.

In 2 ist ein Teil der Bildmatrix 4 dargestellt, aus dem ersichtlich ist, wie Strahlen von Referenzpunkten P des Sweet-Spots 5 unter verschiedenen Blickwinkeln α auf Bildpunkte D eines Rasters der Bildmatrix 4 treffen. Ein Betrachterauge ist in drei verschiedenen Betrachterebenen auf einem Strahl dargestellt. Es hat von allen drei Ebenen aus den gleichen Blickwinkel α₁ auf den Punkt D_l der Bildmatrix 4. Die mittlere Ebene ist die normale Betrachterebene 6 des Displays, wie sie sich aus den optischen Abbildungsverhältnissen ergibt. Das erste Betrachterauge befindet sich vor der Betrachterebene 6, das dritte dahinter.In 2 is part of the image matrix 4 as can be seen, such as rays from reference points P of the sweet spot 5 at different angles α to pixels D of a raster of the image matrix 4 to meet. A viewer's eye is shown in three different viewer planes on a beam. It has the same view angle α ₁ from all three planes to the point D _{1 of} the image matrix 4 , The middle level is the normal observer level 6 the display, as it results from the optical imaging conditions. The first viewer's eye is located in front of the observer level 6 , the third behind.

In 3a sind die Strahlenverläufe von vier Referenzpunkten P₁ bis P₄ des Sweet-Spots 5 zu zwei ausgewählten Bildpunkten D_r und D_m mit den entsprechenden vier Blickwinkeln α_r1 bis α_r4 und α_m1 bis α_m4 dargestellt. 3b zeigt einen Teil einer Subpixelliste 7 von ermittelten Adressdaten, die ein Muster M von zu aktivierenden Beleuchtungselementen enthält. In 3c ist das ausgehend von der mittleren Zeile der Bildmatrix 4 spaltenweise aktivierte Muster M von Beleuchtungselementen der Beleuchtungsmatrix 1 schematisch dargestellt.In 3a are the ray trajectories of four reference points P ₁ to P _{4 of} the sweet spot 5 to two selected pixels D _r and D _m with the corresponding four viewing angles α _r1 to α _r4 and α _m1 to α _m4 . 3b shows part of a subpixel list 7 determined address data containing a pattern M of lighting elements to be activated. In 3c this is starting from the middle row of the image matrix 4 column-wise activated pattern M of illumination elements of the illumination matrix 1 shown schematically.

Aus 4 ist in einem Flussdiagramm der Ablauf der inversen Strahlberechnung in seinen wesentlichen Verfahrensschritten ersichtlich.Out 4 is the flowchart of the flow of the inverse beam calculation in its essential process steps visible.

Die Beleuchtungsmatrix ist das wesentliche Element des erfindungsgemäßen Verfahrens zum Darstellen eines Stereobildes mit einem Sweet-Spot an Orten von Betrachteraugen. Insbesondere bei Positionswechsel eines Betrachters bzw. beim Vorhandensein mehrerer Betrachter ist es notwendig, dass im Sinne der Aufgabenstellung mit dem Sweet-Spot den Betrachteraugen stets eine optimal ausgeleuchtete Bildmatrix mit einem Stereobild zur Verfügung steht.The Illumination matrix is the essential element of the method according to the invention to present a stereo image with a sweet spot in places from observer eyes. Especially when changing the position of a viewer or in the presence of multiple viewers, it is necessary that in Meaning of the task with the sweet spot the viewer's eyes always an optimally illuminated image matrix with a stereo image is available.

Mit Hilfe der Beleuchtungsmatrix 1, die aus einer Vielzahl regelmäßig angeordneter einzeln aktivierbarer Beleuchtungselemente SP besteht, können der Ort, die Anzahl und auch die Ausdehnungen der zu erzeugenden Sweet-Spots 5 durch eine Steuereinheit realisiert werden. Im vorliegenden Beispiel sind gemäß 1 die Beleuchtungselemente SP die monochromen Subpixel eines Shutters, die Licht von einem nicht dargestellten Backlight erhalten. Sie können aber auch LEDs, OLEDs oder ähnliche punkt- oder spaltförmige, einzeln aktivierbare Beleuchtungselemente in regulärer Anordnung sein.With the help of the illumination matrix 1 , which consists of a plurality of regularly arranged individually activatable lighting elements SP, the location, the number and also the dimensions of the Sweet spots to be produced 5 be realized by a control unit. In the present example are according to 1 the lighting elements SP the monochrome subpixels of a shutter, which receive light from a backlight, not shown. But they can also be LEDs, OLEDs or similar point- or slit-shaped, individually activatable lighting elements in a regular arrangement.

Das Abbildungsmittel ist mehrteilig ausgeführt und besteht aus einem Lentikular 2 als Abbildungsoptik und einer Fresnellinse 3 in der Funktion einer Feldlinse, welche die Sweet-Spots 5 auf Betrachteraugen abbildet. Das Abbildungsmittel kann aber auch nur das Lentikular allein sein. Erforderlichenfalls können noch weitere optische Mittel zur Verbesserung der Abbildungsverhältnisse in das Abbildungsmittel integriert werden. Es ist möglich, das Lentikular 2 aus vertikal angeordneten Lentikeln mit mindestens einem weiteren Lentikular mit in horizontaler Richtung angeordneten Lentikeln zu ergänzen. Auch andere Kombinationen von Lentikularen sind möglich. Anstelle des Lentikulars 2 kann auch ein Linsenarray aus matrixförmig angeordneten Linsenelementen verwendet werden oder eine aus prismatischen Elementen bestehende Abbildungsoptik. Ebenso können zusätzlich Streufolien verwendet werden. In einem weiteren Ausführungsbeispiel kann das Abbildungsmittel zusätzlich ein Korrekturarray zur Korrektur der Bildfeldkrümmung enthalten. Je nach verwendetem Informationspanel kann zur Anpassung des Polarisationsverhaltens des Lichtes auch eine zusätzliche Retarderfolie in den Abbildungsstrahlengang gebracht werden. Jedem Abbildungselement ist dabei aber immer eine bestimmte Anzahl von Beleuchtungselementen SP zugeordnet.The imaging agent is made of several parts and consists of a lenticular 2 as imaging optics and a Fresnel lens 3 in the function of a field lens, which the sweet spots 5 images on observer eyes. The imaging agent may also be only the lenticular alone. If necessary, further optical means for improving the imaging conditions can be integrated into the imaging means. It is possible the lenticular 2 from vertically arranged lenticules with at least one additional lenticular with horizontally arranged lenticles. Other combinations of lenticulars are possible. Instead of the lenticular 2 It is also possible to use a lens array of lens elements arranged in matrix form or an imaging optic consisting of prismatic elements. Likewise, additional scattering films can be used. In another embodiment, the imaging means may additionally include a correction array for correcting the field curvature. Depending on the information panel used, an additional retarder film can also be brought into the imaging beam path to adapt the polarization behavior of the light. However, each imaging element is always assigned a certain number of illumination elements SP.

Im Betrachterraum vor dem Display ist in 1 ein Betrachterauge in einem ausgedehnten Sweet-Spot 5 in einer vorgegebenen Betrachterebene dargestellt. Der Sweet-Spot ist zunächst nicht real vorhanden, sondern wird vordefiniert. Seine Ausdehnung ist durch Referenzpunkte P₁ bis P_n gekennzeichnet, wobei n für die inverse Strahlberechnung mindestens vier für ein definiertes Rechteck sein sollte, um klar begrenzte Sweet-Spots 5 realisieren zu können. Im Ausführungsbeispiel ist n gleich 15. Die Ausdehnung kann größer oder kleiner sein als hier dargestellt. Das hängt von der Genauigkeit des verwendeten Positionsfinders und/oder der Position der Betrachteraugen in Bezug auf das Display ab. Je genauer der Positionsfinder misst, umso kleiner kann die Ausdehnung sein. Der Punkt P₀ gibt genau die Augenposition wieder, die vom Positionsfinder bei der Positionsbestimmung erfasst wird. Bei mehreren Betrachtern werden nacheinander alle im Betrachterraum vorhandenen Augen dynamisch erfasst und deren Positionsdaten der Steuereinheit für die inverse Strahlberechnung zur Verfügung gestellt.In the viewer's space in front of the display is in 1 a viewer's eye in a sweeping sweet spot 5 shown in a given viewer level. The sweet spot is initially not real, but is predefined. Its extent is characterized by reference points P ₁ to P _n , where n should be at least four for a defined rectangle for the inverse ray calculation, in order to have clearly delineated sweet spots 5 to be able to realize. In the exemplary embodiment, n is equal to 15. The extent may be greater or less than shown here. This depends on the accuracy of the position finder used and / or the position of the observer's eyes relative to the display. The closer the position finder measures, the smaller the extent can be. The point P _{0 represents} exactly the eye position which is detected by the position finder in the position determination. In the case of several observers, all eyes present in the viewer's space are recorded dynamically one after the other and their position data are made available to the control unit for the inverse beam calculation.

Die einzelnen Schritte des Strahlberechnungsverfahrens werden im Folgenden näher beschrieben, wobei auch auf damit zusammenhängende Einrichtungen eingegangen wird:
Nach der kontinuierlich dreidimensional in Echtzeit erfolgenden Positionsbestimmung eines Betrachterauges im Punkt P₀ wird für die Umgebung des Auges in diskreten Referenzpunkten ein real noch nicht vorhandener Sweet-Spot 5 definiert. Von jedem Referenzpunkt P₁ bis P_n aus werden Strahlenverläufe zu Bildpunkten D₀ bis D_q einer ausgewählten Zeile der Bildmatrix 4 in der Steuereinheit berechnet (s. 1). Als Grundlage der Bildpunktberechnungen ist die Bildmatrix 4 in ein Raster mit einem konstanten Pitch unterteilt. Der Pitch kann mit dem Pitch der Bildmatrix 4 identisch sein, muß es aber nicht. Es ist auch ein Raster denkbar, das aus mehreren Bereichen mit unterschiedlichem Pitch besteht. Für die inverse Strahlberechnung ist es aber vorteilhaft, einen größeren Pitch als den der Bildmatrix zu benutzen, weil dadurch erhebliche Rechenkapazität eingespart wird.The individual steps of the beam calculation method are described in more detail below, with reference also being made to related devices:
After the positioning of a viewer's eye at point P ₀ , which takes place continuously in real time in real time, a sweet spot that does not actually exist is generated for the surroundings of the eye in discrete reference points 5 Are defined. From each reference point P ₁ to P _n , beam traces to pixels D ₀ to D _{q of} a selected row of the image matrix are obtained 4 calculated in the control unit (s. 1 ). The basis of the pixel calculations is the image matrix 4 divided into a grid with a constant pitch. The pitch can match the pitch of the image matrix 4 It does not have to be identical. It is also conceivable a grid, which consists of several areas with different pitch. For the inverse beam calculation, however, it is advantageous to use a larger pitch than that of the image matrix, because this saves considerable computing capacity.

Die Bildpunkte D sind in einer Richtung durch die x-Koordinate der Zeile, auf der sie sich befinden, als Parameter gekennzeichnet. Praktisch wird zur Berechnung die mittlere Zeile der Bildmatrix ausgewählt, da von Betrachtern eine zentrale Blickposition zum Informationsdisplay bevorzugt wird. Ein weiterer Parameter der Berechnung ist der Blickwinkel α, mit dem Strahlen von den Referenzpunkten P zu den Bildpunkten D des Rasters gelangen (s. 2 und 3a). In der Praxis hat sich erwiesen, dass die Anzahl der Winkel α für eine aussagekräftige Berechnung ungefähr 4000 betragen sollte. Nimmt man wesentlich weniger als 4000, würden die Aberrationen die Abbildungsqualität negativ beeinträchtigen.The pixels D are identified as parameters in one direction by the x-coordinate of the row on which they are located. In practice, the middle row of the image matrix is selected for the calculation, since viewers prefer a central viewing position to the information display. Another parameter of the calculation is the angle of view α, with which rays pass from the reference points P to the pixels D of the grid (see FIG. 2 and 3a ). In practice, it has been found that the number of angles α for a meaningful calculation should be about 4000. Taking substantially less than 4000, the aberrations would adversely affect the imaging quality.

Für den Anwendungsfall eines zweidimensionalen Abbildungsmittels werden anstelle der x-Koordinate die x- und y-Koordinaten als Parameter eines Bildpunktes D benutzt.For the application of a two-dimensional imaging agent instead of the x-coordinate the x and y coordinates are used as parameters of a pixel D.

Als Ergebnis der inversen Strahlberechnung in Echtzeit von den Referenzpunkten P bis zu den Bildpunkten D erhält man die Eingangsdaten für in einer Look-up-table gespeicherte Datensätze. Die Look-up-table enthält vorberechnete Datensätze, die das Ergebnis der Berechnungen einer großen Anzahl von Strahlenverläufen sind, die alle nach dem gleichen Algorithmus ablaufen und deren Berechnungen in Echtzeit zu viel Zeit kosten würden. Deshalb sind hier alle Strahlenverläufe von jedem Bildpunkt D des Rasters durch das Abbildungsmittel hindurch bis zu den zweidimensionalen Koordinaten der Beleuchtungselemente der Beleuchtungsmatrix 1 in Datensätzen vorberechnet und gespeichert enthalten.As a result of the inverse beam computation in real time from the reference points P to the pixels D, one obtains the input data for records stored in a look-up table. The look-up table contains pre-computed datasets that are the result of the calculations of a large number of ray trajectories, all of which proceed according to the same algorithm and whose calculations would take too much time in real time. Therefore, here are all the ray trajectories from each pixel D of the grid through the imaging means to the two-dimensional coordinates of the illumination elements of the illumination matrix 1 pre-computed and stored in records.

Es ist aber auch möglich, den Strahlenverlauf in Echtzeit bis zum Lentikular zu berechnen. Dadurch können Datensätze und Speicherkapazität gespart werden. Im Ausführungsbeispiel gemäß 1 sind die Beleuchtungselemente SP die monochromen Subpixel eines Shutters mit nicht dargestelltem Backlight. Für den Referenzpunkt P₀ sind die Strahlen zu den äußeren Bildpunkten D₀ und D_q eingezeichnet, für den Referenzpunkt P_i der Strahlenverlauf für den Bildpunkt D_p mit dem Blickwinkel α, unter dem er zur Bildmatrix 4 gelangt. Der Strahlenverlauf vom Bildpunkt D_p durch das Abbildungsmittel endet auf der Beleuchtungsmatrix 1 im Subpixel SP_i,p. Diese Berechnung wird für diesen und alle anderen Bildpunkte vorzugsweise auf der mittleren Zeile der Bildmatrix für eine große Anzahl von Blickwinkeln α durchgeführt, um zu garantieren, dass alle Subpixel erreicht werden, die für eine homogene Ausleuchtung des mit den Referenzpunkten P₁ bis P_n definierten Sweet-Spots notwendig sind. Werden zu wenig Subpixel aktiviert, ist der Sweet-Spot mit dem Bild zu wenig ausgeleuchtet. Werden dagegen zu viele Subpixel aktiviert, beleuchtet der Sweet-Spot das falsche Auge und es tritt Übersprechen auf.But it is also possible to calculate the ray path in real time down to the lenticular. This allows records and storage capacity ge be saved. In the embodiment according to 1 the lighting elements SP are the monochrome subpixels of a shutter with not shown backlight. For the reference point P ₀ , the rays are drawn to the outer pixels D ₀ and D _q , for the reference point P _i, the beam path for the pixel D _p with the angle of view α, below the image matrix 4 arrives. The beam path from the pixel D _p through the imaging means ends on the illumination matrix 1 in the subpixel SP _{i, p} . This computation is preferably performed for this and all other pixels on the middle row of the image matrix for a large number of viewing angles α, in order to guarantee that all subpixels are achieved which are responsible for homogeneous illumination of the one defined by the reference points P ₁ to P _n Sweet spots are necessary. If too few subpixels are activated, the sweet spot with the picture is too little illuminated. If too many subpixels are activated, the sweet spot illuminates the wrong eye and crosstalk occurs.

In 2 ist für einen Bildpunkt D_l der Bildmatrix 4 ein Strahlenverlauf mit Augen in verschiedenen Betrachterebenen eingezeichnet, wobei die Augen immer den gleichen Blickwinkel α₁ haben. Die Sweet-Spots 5 sind hier durch 9 Referenzpunkte P definiert. Das mittlere Auge befindet sich direkt in der normalen Betrachterebene 6 am Ort des Referenzpunktes P₀. Für die drei Positionen würde die inverse Strahlberechnung identisch erfolgen, da die Parameter des Bildpunktes (x-Wert und α-Wert) für alle drei Ebenen gleich sind. Daher braucht hier bei Verwendung des Blickwinkels α als Parameter vorteilhaft nur ein Datensatz berechnet zu werden. Auf die große Anzahl möglicher Blickwinkel von Betrachtern bezogen wird es daher immer wieder Datensätze geben, die identisch sind. Dadurch ergibt sich hier ein Einsparpotential für Rechenzeit und Speicherkapazität. Blicken dagegen alle Augen vom Referenzpunkt P₀ aus auf den Bildpunkt D_k, ändert sich der Blickwinkel von α₁ zu α₂ und α₃. Die Datensätze der Look-up-table sind in diesem Fall für jedes Auge anders, und für die gleichen Betrachterebenen wird in der Folge daher ein anderes Muster M von Subpixeln SP aktiviert.In 2 is for a pixel D _{l of} the image matrix 4 a ray trajectory with eyes drawn in different planer planes, the eyes always have the same angle α ₁ . The sweet spots 5 are defined here by 9 reference points P. The middle eye is located directly in the normal observer level 6 at the location of the reference point P ₀ . For the three positions, the inverse beam calculation would be identical, since the parameters of the pixel (x-value and α-value) are the same for all three planes. Therefore, when using the viewing angle α as a parameter, only one data record needs to be calculated advantageously. Therefore, referring to the large number of possible viewing angles of observers, there will always be records that are identical. This results in a savings potential for computing time and storage capacity. If, on the other hand, all eyes point to the pixel D _k from the reference point P ₀ , the viewing angle changes from α ₁ to α ₂ and α ₃ . The look-up-table records in this case are different for each eye, and for the same viewer levels, therefore, a different pattern M of sub-pixels SP is subsequently activated.

Eine weitere Variante für einen mit vier Referenzpunkten P₁ bis P₄ definierten Sweet-Spot ist in 3a zu sehen. Hier ist dargestellt, wie Strahlen jeweils von den vier Referenzpunkten zu zwei verschiedenen Bildpunkten D_r und D_m verlaufen und dabei unterschiedliche Blickwinkel α_r1 bis α_r4 und α_m1 bis α_m4 besitzen. Diese Sweet-Spot Konfiguration wird bevorzugt definiert, wenn sich ein Betrachter sehr nahe zum Positionsfinder aufhält und daher die Position des Betrachterauges sehr genau bestimmt werden kann.Another variant for a sweet spot defined with four reference points P ₁ to P ₄ is in 3a to see. Here it is shown how beams each extend from the four reference points to two different pixels D _r and D _m and thereby have different viewing angles α _r1 to α _r4 and α _m1 to α _m4 . This sweet-spot configuration is preferably defined when a viewer is very close to the position finder and therefore the position of the viewer's eye can be determined very accurately.

Durch einen Vergleich der Parameter der in Echtzeit berechneten und der vorberechneten Datensätze in der Steuereinheit erhält man Adressdaten für jeweils das Beleuchtungselement SP, das vom Lentikular 2 und der Fresnellinse 3 in den entsprechenden Referenzpunkt P abgebildet wird. Dabei kann das gleiche Subpixel mehrfach getroffen werden. Aus den Adressdaten wird ein Muster M aller Subpixel gebildet, die spaltenweise in der Beleuchtungsmatrix 1 aktiviert werden müssen, damit genau für das ausgewählte Betrachterauge am vorbestimmten Ort der definierte Sweet-Spot 5 realisiert werden kann (3b, c). Hier im Beispiel sind die Adressdaten fortlaufend in Pfeilrichtung von 1 bis n in einer ausschnittsweise dargestellten Subpixelliste 7 enthalten. Es werden alle darin enthaltenen Subpixel zum Erzeugen des definierten Sweet-Spots aktiviert, deren Adressdaten keine Null haben. Die Zahl in der Liste gibt an, wie oft ein Subpixel bei der Strahlberechnung von den Referenzpunkten aus getroffen wurde. Dieses Verfahren erfolgt bei einem Betrachter erst für das rechte, dann für das linke Auge oder umgekehrt, so dass er an seinem Ort eine 3D-Information sehen kann. Befinden sich mehrere Betrachter vor dem Informationspanel, dann wird für die vorhandene Anzahl von Betrachteraugen eine Reihenfolge der zu aktivierenden Muster M von Beleuchtungselementen festgelegt. Beispielsweise werden erst alle linken Augen der Betrachter und dann alle rechten Augen mit der inversen Strahlberechnung die entsprechende Stereoinformation erhalten, wenn alle den gleichen Inhalt sehen wollen.By comparing the parameters of the calculated in real time and the precalculated data sets in the control unit to obtain address data for each of the lighting element SP, the lenticular 2 and the Fresnel lens 3 is mapped into the corresponding reference point P. The same subpixel can be hit several times. From the address data, a pattern M of all subpixels is formed, which are column by column in the illumination matrix 1 must be activated so that exactly for the selected viewer eye at the predetermined location of the defined sweet spot 5 can be realized ( 3b , c). Here in the example, the address data are continuous in the direction of the arrow from 1 to n in a subpixel list shown in sections 7 contain. All subpixels contained therein are activated to generate the defined sweet spot whose address data has no zero. The number in the list indicates how many times a subpixel was hit from the reference points in the beam calculation. This process takes place in a viewer first for the right, then for the left eye or vice versa, so that he can see in his place 3D information. If several observers are in front of the information panel, then an order of the patterns M of lighting elements to be activated is determined for the existing number of viewer eyes. For example, all the viewer's left eyes and then all right eyes with the inverse ray calculation will receive the corresponding stereo information if they all want to see the same content.

In 4 verdeutlicht ein Flussdiagramm schematisch den Verfahrensablauf der inversen Strahlberechnung, ausgehend von der Positionsbestimmung eines Auges durch einen Positionsfinder bis zum Muster der zu aktivierenden Beleuchtungselemente zum Realisieren des definierten Sweet-Spots.In 4 A flowchart schematically illustrates the method sequence of the inverse beam calculation, starting from the position determination of an eye by a position finder to the pattern of the lighting elements to be activated for realizing the defined sweet spot.

Zur Erfindung gehört eine Einrichtung, die als ein Prozessor mit Baugruppen entsprechend dem unabhängigen Einrichtungsanspruch zum Ausführen der beschriebenen inversen Strahlberechnung ausgebildet ist.to Invention belongs a device that acts as a processor with assemblies accordingly the independent one Setup claim to execute the described inverse beam calculation is formed.

Mit dem erfindungsgemäßen Verfahren zum Nachführen eines Sweet-Spots einer Sweet-Spot-Einheit wird vorteilhaft ein Display geschaffen, bei dem ein optimales Muster von Beleuchtungselementen mit einem Minimum von Daten einen Sweet-Spot in einer Betrachterebene erzeugt, von dem aus der Betrachter eine Information in einer stets homogen ausgeleuchteten Bildmatrix sehen kann. Da bei der inversen Strahlberechnung die Aberrationen berücksichtigt werden, hat das Display vorteilhafterweise sehr geringe Abbildungsfehler.With the method according to the invention for tracking a sweet spot of a sweet spot unit is advantageous Display created in which an optimal pattern of lighting elements generates a sweet spot in a viewer plane with a minimum of data, from which the viewer an information in an always homogeneous can see illuminated image matrix. As with the inverse beam calculation taking into account the aberrations be, the display advantageously has very low aberrations.

Die Verwendung der Look-up-table bringt den Vorteil, dass die einzelnen für die Ausleuchtung des Sweet-Spots benötigten Beleuchtungselemente nicht ständig neu berechnet werden müssen. Dadurch kann in Echtzeit schnell und präzise einem Betrachterauge der Sweet-Spot mit dem entsprechenden Stereobild nachgeführt und der Trackingbereich für einen Betrachter vergrößert werden.The use of the look-up table has the advantage that the individual lighting elements required for illuminating the sweet spot need not be constantly recalculated. There The sweet spot can be tracked with the corresponding stereo image in real time, quickly and precisely, and the tracking area for an observer can be enlarged to a viewer's eye.

Claims

A method of tracking sweet spots of a sweet spot unit for an autostereoscopic multi-user display having an image matrix and pixels, the sweet spot unit including a lighting matrix having a plurality of controllable lighting elements and imaging means having optical imaging elements for light in sweet spots on observer eyes of at least one observer, which is modulated by the image matrix with image information, a position finder captures position data of observer eyes three-dimensionally and a control unit provides address data determined by the inverse ray calculation for activating corresponding illumination elements from the position data, characterized in that the control unit - determines arbitrary reference points (P), which for the environment of each viewer eye an extended sweet spot ( 5 ) - the inverse ray calculation of each reference point (P) over the pixels (D) of the image matrix ( 4 ) and the imaging means to the illumination elements (SP), wherein the pixels (D) on the image matrix ( 4 ) are in a grid and are defined by at least one parameter, and - a pattern (M) of active lighting elements (SP) determines which with the imaging means the defined sweet spot ( 5 ) realize.

The method of claim 1, wherein the inverse beam computation for the Pixels (D) line by line in real time.

Method according to claim 1, wherein in the control unit the geometry of the sweet spots ( 5 ) is determined depending on the accuracy of the position finder and / or the position of the observer's eyes from the display.

Method according to Claim 1, in which the reference points (P) of the sweet spot ( 5 ) in number and arrangement with respect to the viewer's eye are freely selectable.

The method of claim 1, wherein the beam path from a reference point (P) to a pixel (D) characterized by a viewing angle α and α is one size Number of values for each assumes a pixel (D).

Method according to claim 1, wherein the ray path in the ray imaging means of each pixel (D) of the image matrix ( 4 ) and to each illumination element (SP) of the illumination matrix ( 1 ) and stored in transfer records in a look-up table.

The method of claim 6, wherein in the data sets of Imaging agent caused aberrations and known material and manufacturing tolerances of the optical elements used considered are.

The method of claim 6, wherein in the look-up table an electronic parameter comparison for creating the address data of the respective lighting element (SP) for the image in the corresponding Reference point (P) of the sweet spot takes place.

The method of claim 8, wherein the address data separate lists of lighting elements (SP) for all left and right Contain viewer eyes and for all eyes the same information is displayed.

A device for providing a control signal for controlling a sweet-spot unit for an autostereoscopic multi-user display with an image matrix and pixels, a lighting matrix with lighting elements and with imaging means to image light on observer eyes in sweet spots, with a position finder for position detection of observer eyes and a control unit which provides address data for activating corresponding illumination elements, characterized by - control means for setting reference points (P) for the definition of a sweet spot ( 5 ) and for performing an inverse beam computation of the reference points (P) over the pixels (D) in a predetermined raster on the image matrix ( 4 ) and the imaging means up to the illumination elements (SP), for determining the address data for the imaging of the illumination element (SP) in the corresponding reference point (P) and for forming a pattern (M) of active illumination elements (SP) for realizing defined sweetness Spots ( 5 ) and storage means for storing precomputed data sets in the form of a look-up table for the beam path of defined pixels (D) and for parameter comparison for the generation of address data for illumination elements (SP).

Apparatus according to claim 10, wherein the illumination matrix a shutter in combination with a directional backlight is.

Device according to Claim 10, in which the illumination matrix ( 1 ) contains individually activatable self-illuminating lighting elements (SP).

Apparatus according to claim 10, wherein the imaging means contains a single or multi-unit optical imaging system, the optionally additional associated with optical imaging or scattering elements.