DE102006046367B4

DE102006046367B4 - Imaging device and imaging method with electronic distortion correction

Info

Publication number: DE102006046367B4
Application number: DE102006046367.6A
Authority: DE
Inventors: Dr. rer. nat. Brattke Simon; Bernd Spruck; Dr. Rein Karlheinz
Original assignee: Carl Zeiss AG
Current assignee: Jenoptik AG
Priority date: 2006-09-29
Filing date: 2006-09-29
Publication date: 2020-08-20
Anticipated expiration: 2026-09-30
Also published as: WO2008040417A1; DE102006046367A1

Abstract

Abbildungsvorrichtung miteiner Steuereinrichtung (4),einem Bilderzeugungsmodul (5), das unter Steuerung der Steuereinrichtung (4) auf der Basis vorgegebener Bilddaten ein zweidimensionales Bild erzeugt,und einer dem Bilderzeugungsmodul (5) nachgeordneten Abbildungsoptik (6), die das Bild so abbildet, das es von einem Benutzer wahrnehmbar ist,wobei die Steuereinrichtung (4) eine Ansteuereinheit (3) und eine Korrektureinheit (2) umfaßt und die Korrektureinheit (2) die vorgegebenen Bilddaten so vorverzeichnet, daß eine durch die Abbildungsoptik bedingte nicht-lineare Verzeichnung kompensiert wird, und die Ansteuereinheit (3) das Bilderzeugungsmodul (5) mit den vorverzeichneten Bilddaten ansteuert,dadurch gekennzeichnet, daßdie Abbildungsoptik (6) so korrigiert ist, daß bei der Abbildung in einer ersten Richtung im abgebildeten zweidimensionalen Bild die erzeugte Verzeichnung kleiner ist als eine vorbestimmte Restverzeichnung und in einer zweiten Richtung im abgebildeten Bild die nicht-lineare Verzeichnung erzeugt wird,und daß die Korrektureinheit (2) die vorgegebenen Bilddaten derart vorverzeichnet, daß nur entlang der zweiten Richtung die nicht-lineare Verzeichnung kompensiert wird.Imaging device with a control device (4), an image generation module (5) which, under the control of the control device (4), generates a two-dimensional image on the basis of predetermined image data, and imaging optics (6) arranged downstream of the image generation module (5), which images the image so that it can be perceived by a user, the control device (4) comprising a control unit (3) and a correction unit (2) and the correction unit (2) pre-registering the specified image data so that non-linear distortion caused by the imaging optics is compensated , and the control unit (3) controls the image generation module (5) with the pre-recorded image data, characterized in that the imaging optics (6) are corrected so that when imaging in a first direction in the imaged two-dimensional image, the distortion generated is smaller than a predetermined one Residual distortion and in a second direction in the picture shown the non-lin eare distortion is generated, and that the correction unit (2) pre-writes the predetermined image data in such a way that the non-linear distortion is compensated for only along the second direction.

Description

Die vorliegende Erfindung betrifft eine Abbildungsvorrichtung mit einer Steuereinrichtung, einem Bilderzeugungsmodul, das unter Steuerung der Steuereinrichtung auf der Basis vorgegebener Bilddaten ein zweidimensionales Bild erzeugt, und einer dem Bilderzeugungsmodul nachgeordneten Abbildungsoptik, die das Bild so abbildet, das es von einem Benutzer wahrnehmbar ist, wobei die Steuereinrichtung eine Ansteuereinheit und eine Korrektureinheit umfaßt und die Korrektureinheit die vorgegebenen Bilddaten so vorverzeichnet, daß eine durch die Abbildungsoptik bedingte nicht-lineare Verzeichnung kompensiert wird, und die Ansteuereinheit das Bilderzeugungsmodul mit den vorverzeichneten Bilddaten ansteuert.The present invention relates to an imaging device with a control device, an image generation module which, under the control of the control device, generates a two-dimensional image on the basis of predetermined image data, and imaging optics downstream of the image generation module which images the image in such a way that it can be perceived by a user the control device comprises a control unit and a correction unit and the correction unit pre-records the predetermined image data in such a way that a non-linear distortion caused by the imaging optics is compensated, and the control unit drives the image generation module with the pre-recorded image data.

Bei solchen Abbildungsvorrichtungen, die häufig als HMD-Vorrichtungen ausgebildet sind, werden zur Durchführung der Vorverzeichnung alle Bilddaten eines Bildes in einen Bildspeicher geschrieben. Dann wird die gewünschte elektronische Vorverzeichnung an den Bilddaten durchgeführt. Danach können die vorverzeichneten Bilddaten zur Ansteuerung des Bilderzeugungsmoduls eingesetzt werden. Aufgrund der Korrektur an dem gesamten Bild kommt es nachteilig zu hohen Latenzzeiten. Dies ist insbesondere bei Echtzeitanwendungen störend, wenn die HMD-Vorrichtung beispielsweise so ausgebildet ist, daß der die HMD-Vorrichtung tragenden Benutzer das abgebildete Bild in Überlagerung mit der Umgebung dargeboten bekommt. Ferner ist die Elektronik zur Vorverzeichnung der Bilddaten kompliziert und häufig auch kostenintensiv.In such imaging devices, which are often designed as HMD devices, all image data of an image are written into an image memory in order to carry out the pre-distortion. The desired electronic pre-distortion is then carried out on the image data. The pre-recorded image data can then be used to control the image generation module. Because of the correction to the entire image, there is disadvantageously high latency times. This is particularly disruptive in real-time applications when the HMD device is designed, for example, in such a way that the user wearing the HMD device is presented with the imaged image superimposed on the surroundings. Furthermore, the electronics for pre-distorting the image data are complicated and often also cost-intensive.

Die US 6,520,646 B2 zeigt eine Abbildungsvorrichtung mit den Merkmalen des Oberbegriffs des Anspruchs 1.The US 6,520,646 B2 shows an imaging device with the features of the preamble of claim 1.

Ausgehend hiervon ist es Aufgabe der Erfindung, eine Abbildungsvorrichtung der eingangs genannten Art so weiterzubilden, daß die Vorverzeichnung der Bilddaten schnell und kostengünstig durchführbar ist. Ferner soll ein entsprechendes Abbildungsverfahren bereitgestellt werden.On the basis of this, the object of the invention is to develop an imaging device of the type mentioned at the beginning in such a way that the pre-distortion of the image data can be carried out quickly and inexpensively. Furthermore, a corresponding mapping method should be provided.

Die Erfindung ist in den unabhängigen Ansprüchen 1 und 9 definiert.The invention is defined in independent claims 1 and 9.

Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.Advantageous further developments are given in the dependent claims.

Mit der erfindungsgemäßen Abbildungsvorrichtung ist es möglich, die optische Korrektur (Korrektur für die Verzeichnung in einer ersten Richtung) und die elektronische Korrektur (Vorverzerrung der Bilddaten) so zu kombinieren, daß eine ausgezeichnete Abbildungsqualität erreicht wird. Ferner kann die Elektronik deutlich einfacher ausgebildet werden, da nur entlang der zweiten Richtung die nicht-lineare Verzeichnung kompensiert wird.With the imaging device according to the invention it is possible to combine the optical correction (correction for the distortion in a first direction) and the electronic correction (pre-distortion of the image data) in such a way that an excellent image quality is achieved. Furthermore, the electronics can be made much simpler, since the non-linear distortion is compensated for only along the second direction.

Das Bilderzeugungsmodul kann ein bildgebendes Element mit in Zeilen und Spalten angeordneten, individuell ansteuerbaren Pixeln aufweisen, wobei die erste Richtung der Spaltenrichtung und die zweite Richtung der Zeilenrichtung entspricht. Natürlich kann alternativ die erste Richtung der Zeilenrichtung und dann die zweite Richtung der Spaltenrichtung entsprechen. Die Pixel sind bevorzugt in einem Rechteck angeordnet, so daß das bildgebende Element einen rechteckigen Bildbereich aufweist. Die Korrektureinheit kann die vorgegebenen Bilddaten zeilenweise (wenn die zweite Richtung der Zeilenrichtung entspricht) bzw. spaltenweise (wenn die zweite Richtung der Spaltenrichtung entspricht) derart vorverzeichnen, daß ein Bilddatenwert einer Zeile bzw. einer Spalte nur in derselben Zeile bzw. Spalte transformiert wird. Dies führt zu dem Vorteil, daß auch nur Bilddaten derselben Zeile bzw. derselben Spalte bekannt sein müssen, um die gewünschte Transformation bzw. Vorverzeichnung durchzuführen. Es muß somit nicht mehr das gesamte Bild in einen Bildspeicher eingelesen werden. Es reicht aus, wenn das Bild zeilenweise in einen Zeilenspeicher eingelesen wird, in dem die Vorverzerrung durchgeführt wird. Dies ist insbesondere auch deshalb von Vorteil, da die Bilddaten häufig zeilenweise von einer Bilddatenquelle zur Verfügung gestellt werden.The image generation module can have an imaging element with individually controllable pixels arranged in rows and columns, the first direction corresponding to the column direction and the second direction corresponding to the row direction. Of course, the first direction can alternatively correspond to the row direction and then the second direction to the column direction. The pixels are preferably arranged in a rectangle so that the imaging element has a rectangular image area. The correction unit can pre-record the predetermined image data line by line (if the second direction corresponds to the row direction) or column by column (if the second direction corresponds to the column direction) in such a way that an image data value of a line or a column is transformed only in the same line or column. This leads to the advantage that only image data of the same line or the same column have to be known in order to carry out the desired transformation or pre-distortion. It is therefore no longer necessary to read the entire image into an image memory. It is sufficient if the image is read line by line into a line memory in which the predistortion is carried out. This is particularly advantageous because the image data are often made available line by line from an image data source.

Ferner kann die Korrektureinheit einen Bilddatenwert einer Zeile bzw. einer Spalte nur mit Bilddaten derselben Zeile bzw. Spalte wichten. Dies wird häufig deshalb durchgeführt, da die transformierten Bilddatenwerte in der Zeile bzw. Spalte nicht mehr genau auf dem einzelnen ansteuerbaren Pixel des bildgebenden Elementes liegen. In diesem Fall wird eine Wichtung oder Interpolation derart durchgeführt, daß die Bilddatenwerte berechnet werden, die an den Pixelpositionen des bildgebenden Elementes vorliegen. Nachdem die Wichtung nur mit Bilddaten derselben Zeile bzw. derselben Spalte durchgeführt wird, kann auch dies mit hoher Geschwindigkeit durchgeführt werden, wodurch die Latenzzeit verringert werden kann.Furthermore, the correction unit can weight an image data value of a row or a column only with image data of the same row or column. This is often done because the transformed image data values in the row or column are no longer located precisely on the individual controllable pixel of the imaging element. In this case, weighting or interpolation is carried out in such a way that the image data values are calculated which are present at the pixel positions of the imaging element. Since the weighting is carried out only with image data of the same row or the same column, this can also be carried out at high speed, as a result of which the latency time can be reduced.

Die Vorrichtung kann insbesondere eine Bilddatenquelle aufweisen, die die vorgegebenen Bilddaten zeilen- bzw. spaltenweise bereitstellt.The device can in particular have an image data source which provides the predefined image data in rows or columns.

Ferner kann die Korrektureinheit die Bilddaten so vorverzeichnen, daß die vorgegebenen Bilddaten entlang der ersten Richtung im abgebildeten Bild entlang einer Geraden abgebildet werden. Damit wird vorteilhaft erreicht, daß die Bildinformationen, die ursprünglich entlang einer Geraden im Bild vorliegen, auch im verzeichneten Bild entlang einer Geraden dargestellt werden. Dies führt dann zwar dazu, daß das Verhältnis der beiden Richtungen im ursprünglichen Bild und im abgebildeten Bild nicht mehr übereinstimmen. Dieser Unterschied ist jedoch optisch deutlich geringer störend als ein abgebildetes Bild, bei dem Bildinformation, die ursprünglicher Weise auf einer Geraden liegen, nicht mehr auf einer Geraden liegend dargestellt werden.Furthermore, the correction unit can pre-record the image data in such a way that the predetermined image data are mapped along the first direction in the mapped image along a straight line. This advantageously ensures that the image information that is originally present along a straight line in the image is also displayed in the recorded image along a straight line. This then leads to the fact that the ratio of the two directions in original picture and in the picture shown no longer match. However, this difference is visually clearly less disruptive than an imaged image, in which image information that originally lies on a straight line is no longer displayed on a straight line.

Die Vorrichtung kann insbesondere als HMD-Vorrichtung (Head-Mounted-Display-Vorrichtung) ausgebildet werden. Dabei kann sie insbesondere noch die notwendigen Halte- bzw. Befestigungsmittel aufweisen, um die HMD-Vorrichtung am Kopf eines Benutzers befestigen zu können. Die HMD-Vorrichtung kann insbesondere so ausgebildet sein, daß ein die HMD-Vorrichtung tragender Benutzer nur das durch die HMD-Vorrichtung abgebildete Bild wahrnehmen kann. Es ist natürlich auch möglich, daß der Benutzer das abgebildete Bild in Überlagerung mit der Umgebung wahrnehmen kann.The device can in particular be designed as an HMD device (head-mounted display device). In particular, it can also have the necessary holding or fastening means in order to be able to fasten the HMD device to the head of a user. The HMD device can in particular be designed in such a way that a user wearing the HMD device can only perceive the image displayed by the HMD device. It is of course also possible for the user to be able to perceive the imaged image superimposed on the surroundings.

Insbesondere kann das Bilderzeugungsmodul ein selbstleuchtendes, bilderzeugendes Element aufweisen. Es ist auch möglich, daß das Bilderzeugungsmodul ein nicht-selbstleuchtendes bilderzeugendes Element aufweist. In diesem Fall umfaßt das Bilderzeugungsmodul noch eine Lichtquelle und gegebenenfalls eine Beleuchtungsoptik, um das bilderzeugende Modul mit dem Licht der Lichtquelle beaufschlagen zu können.In particular, the image generation module can have a self-luminous, image-generating element. It is also possible for the imaging module to have a non-self-luminous imaging element. In this case, the image generation module also comprises a light source and, if necessary, an illumination optics, in order to be able to apply the light from the light source to the image generation module.

Das Bilderzeugungsmodul kann so ausgebildet sein, daß ein- oder mehrfarbige zweidimensionale Bilder erzeugt werden können.The image generation module can be designed in such a way that one-color or multi-color two-dimensional images can be generated.

Insbesondere kann die Abbildungsoptik das Bild als virtuelles Bild abbilden, das ein Benutzer dann wahrnehmen kann.In particular, the imaging optics can depict the image as a virtual image that a user can then perceive.

Das bildgebende Element des Bilderzeugungsmoduls kann mehr Pixel aufweisen, als zur Bilderzeugung (ohne Verzerrungskorrektur) benötigt werden. Dies kann vorteilhaft sein, wenn vorverzerrte Bilddaten nicht mehr im ursprünglichen Bildbereich des bildgebenden Elementes liegen, aber durch die zusätzlichen Pixel dargestellt werden können.The imaging element of the image generation module can have more pixels than are required for image generation (without distortion correction). This can be advantageous if predistorted image data are no longer in the original image area of the imaging element, but can be represented by the additional pixels.

Mit dem erfindungsgemäßen Abbildungsverfahren ist es möglich, eine ausgezeichnete Abbildungsqualität bereitzustellen, wobei die Anforderungen an die elektronische Vorverzeichnung gering sind.With the imaging method according to the invention, it is possible to provide excellent imaging quality, the requirements for electronic pre-distortion being low.

Insbesondere kann bei dem Verfahren zur Erzeugung des zweidimensionalen Bildes ein bildgebendes Element mit in Zeilen und Spalten angeordneten, individuell ansteuerbaren Pixeln verwendet werden, wobei die erste Richtung der Spalten- oder Zeilenrichtung und die zweite Richtung dann der Zeilen- bzw. Spaltenrichtung entspricht. Mit solchen bildgebenden Elementen lassen sich ausgezeichnete Bilder erzeugen, insbesondere auch hochaufgelöste Bilder.In particular, an imaging element with individually controllable pixels arranged in rows and columns can be used in the method for generating the two-dimensional image, the first direction then corresponding to the column or row direction and the second direction then corresponding to the row or column direction. With such imaging elements, excellent images can be generated, especially high-resolution images.

Bei dem Verfahren können die vorgegebenen Bilddaten zeilen- bzw. spaltenweise derart vorverzeichnet werden, daß ein Bilddatenwert einer Zeile bzw. Spalte nur in derselben Zeile bzw. Spalte transformiert wird. Dies erleichtert die durchzuführenden Rechnungen für die Transformation.In the method, the predetermined image data can be pre-recorded in rows or columns in such a way that an image data value of a row or column is transformed only in the same row or column. This simplifies the calculations to be carried out for the transformation.

Ferner kann bei dem Verfahren ein Bilddatenwert einer Zeile bzw. Spalte nur mit Bilddaten derselben Zeile bzw. Spalte gewichtet bzw. interpoliert werden. Eine solche Wichtung wird insbesondere dann durchgeführt, wenn die transformierten Bilddaten einer Zeile nicht genau auf den den Pixeln des bildgebenden Elementes entsprechenden Positionen zu liegen kommen. Es werden dann für die den Pixeln entsprechenden Positionen entsprechende gewichtete Werte ermittelt.Furthermore, in the method, an image data value of a row or column can only be weighted or interpolated with image data from the same row or column. Such a weighting is carried out in particular when the transformed image data of a line do not come to lie precisely on the positions corresponding to the pixels of the imaging element. Corresponding weighted values are then determined for the positions corresponding to the pixels.

Bei dem Verfahren werden die vorgegebenen Bilddaten insbesondere zeilen- bzw. spaltenweise bereitgestellt, wobei die Zeilen- bzw. Spaltenrichtung bevorzugt der zweiten Richtung im abgebildeten Bild entspricht. Somit kann die erforderliche Vorverzeichnung äußerst schnell elektronisch durchgeführt werden.In the method, the specified image data are provided in particular in rows or columns, the row or column direction preferably corresponding to the second direction in the displayed image. The required pre-distortion can thus be carried out electronically extremely quickly.

Insbesondere können die Bilddaten so vorverzeichnet werden, daß die vorgegebenen Bilddaten entlang der ersten Richtung im abgebildeten Bild entlang einer Geraden abgebildet werden. Dies führt dann zwar häufig zu einer Änderung der Seitenverhältnisse zwischen dem ursprünglichen Bild und dem verzerrten Bild, diese Änderung ist jedoch optisch weniger auffällig als eine Verzeichnung, bei der Bildinformationen, die ursprünglich auf einer Geraden liegen, nun nicht mehr auf der Geraden liegend dargestellt werden.In particular, the image data can be pre-recorded in such a way that the specified image data are mapped along the first direction in the mapped image along a straight line. This then often leads to a change in the aspect ratios between the original image and the distorted image, but this change is visually less noticeable than a distortion in which image information that originally lay on a straight line is no longer displayed on the straight line .

Bei dem Verfahren wird das Bild insbesondere als virtuelles Bild abgebildet. Dies wird häufig für HMD-Vorrichtungen durchgeführt.In the method, the image is mapped in particular as a virtual image. This is often done for HMD devices.

Die erfindungsgemäße Vorrichtung kann insbesondere so ausgebildet werden, daß mit ihr das oben beschriebene Verfahren sowie die angegebenen Weiterbildungen des oben beschriebenen Verfahrens ausgeführt werden können.The device according to the invention can in particular be designed in such a way that it can be used to carry out the method described above and the specified developments of the method described above.

Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung beispielhalber noch näher erläutert. Es zeigen:

1 eine schematische Ansicht einer ersten Ausführungsform der erfindungsgemäßen Abbildungsvorrichtung;
2 eine Ansicht des bildgebenden Elements 8 des Bilderzeugungsmoduls 5 von 1 zur Erläuterung der Verzeichnung der Abbildungsoptik 6;
3 eine Ansicht des bildgebenden Elements 8 des Bilderzeugungsmoduls 5 von 1 zur Erläuterung der Vorverzeichnung durch die Korrektureinheit 2;
4 eine Ansicht des bildgebenden Elements 8 des Bilderzeugungsmoduls 5 von 1 zur Erläuterung der Vorverzeichnung durch die Korrektureinheit 2 und
5 eine Ansicht des bildgebenden Elements 8 des Bilderzeugungsmoduls 5 von 1 zur Erläuterung der Vorverzeichnung durch die Korrektureinheit 2.

The invention is explained in more detail below by way of example with reference to the drawing. Show it:

1 a schematic view of a first embodiment of the imaging device according to the invention;
2 a view of the imaging element 8th of the imaging module 5 from 1 to Explanation of the distortion of the imaging optics 6th ;
3 a view of the imaging element 8th of the imaging module 5 from 1 to explain the pre-distortion by the correction unit 2 ;
4th a view of the imaging element 8th of the imaging module 5 from 1 to explain the pre-distortion by the correction unit 2 and
5 a view of the imaging element 8th of the imaging module 5 from 1 to explain the pre-distortion by the correction unit 2 .

Bei der in 1 gezeigten Ausführungsform umfaßt die Abbildungsvorrichtung eine Bilddatenquelle 1, die Daten zur Bilderzeugung bereitstellt, der eine Korrektureinheit 2 und eine Ansteuereinheit 3 nachgeordnet sind, die zusammen eine Steuereinrichtung 4 bilden. Die Steuereinrichtung 4 steuert das Bilderzeugungsmodul 5 auf der Basis der Bilddaten der Bilddatenquelle 1 an. Das Bilderzeugungsmodul 5 kann beispielsweise ein selbstleuchtendes Display (z.B. ein OLED) oder ein nicht selbstleuchtendes Display (z.B. LCoS , LCD oder eine Kippspiegelmatrix) zusammen mit einer nicht dargestellten Lichtquelle umfassen.At the in 1 In the embodiment shown, the imaging device comprises an image data source 1 , which provides data for image generation, to the correction unit 2 and a control unit 3 are downstream, which together form a control device 4th form. The control device 4th controls the imaging module 5 based on the image data of the image data source 1 on. The imaging module 5 can, for example, comprise a self-illuminating display (eg an OLED) or a non-self-illuminating display (eg LCoS, LCD or a tilting mirror matrix) together with a light source (not shown).

Das von dem Bilderzeugungsmodul 5 erzeugte Bild wird mittels einer Abbildungsoptik 6 so auf eine Projektionsfläche abgebildet, daß das abgebildete Bild von einem Benutzer wahrnehmbar ist. Bei der Projektionsfläche kann es sich beispielsweise um eine Leinwand handeln, auf der das Bild als reales Bild abgebildet wird. Der Benutzer kann das Bild auf der Leinwand betrachten.That from the imaging module 5 The image is generated by means of imaging optics 6th so mapped onto a projection surface that the mapped image can be perceived by a user. The projection surface can, for example, be a canvas on which the image is displayed as a real image. The user can view the image on the screen.

Alternativ ist es möglich, daß die Projektionsfläche so zu verstehen ist, daß es sich beispielsweise um das Auge eines Benutzers handelt. In diesem Fall erzeugt die Abbildungsoptik ein virtuelles Bild, das der Benutzer mit seinem Auge wahrnehmen kann. In diesem Fall ist die Abbildungsvorrichtung beispielsweise als HMD (Head Mounted Display)-Vorrichtung ausgebildet, die der Benutzer auf dem Kopf trägt. Gerade bei HMD-Vorrichtungen besteht die Schwierigkeit, eine unverzerrte Abbildung zu realisieren, da aufgrund der räumlichen Gegebenheiten die Abbildungsoptik 6 häufig als außeraxiale und/oder nicht rotationssymmetrische Abbildungsoptik ausgebildet werden muß, wie in 1 schematisch dargestellt ist.Alternatively, it is possible that the projection surface is to be understood such that it is, for example, the eye of a user. In this case, the imaging optics generate a virtual image that the user can perceive with his or her eye. In this case, the imaging device is designed, for example, as an HMD (Head Mounted Display) device that the user wears on his head. With HMD devices in particular, there is the difficulty of realizing an undistorted image, since the imaging optics are due to the spatial conditions 6th often has to be designed as off-axis and / or non-rotationally symmetrical imaging optics, as in FIG 1 is shown schematically.

Bei der erfindungsgemäßen Abbildungsvorrichtung wird diese Schwierigkeit derart gelöst, daß die Abbildungsoptik 6 so ausgebildet ist, daß sie das abgebildete Bild in einer ersten Richtung ohne Verzeichnungen bzw. mit maximal einer vorgegebenen Restverzeichnung (z.B. ≤ 1%) abbildet. Die Abbildungsoptik 6 ist somit für die Abbildung in dieser Richtung korrigiert. In einer dazu verschiedenen zweiten Richtung (bevorzugt senkrecht dazu) erzeugt die Abbildungsoptik 6 jedoch eine nicht-lineare Verzeichnung.In the imaging device according to the invention, this problem is solved in such a way that the imaging optics 6th is designed so that it images the imaged image in a first direction without distortion or with a maximum of a predetermined residual distortion (eg ≤ 1%). The imaging optics 6th is thus corrected for the mapping in this direction. The imaging optics generate in a different second direction (preferably perpendicular thereto) 6th however, a non-linear distortion.

Diese nicht-lineare Verzeichnung wird mittels der Steuereinrichtung 4 dadurch kompensiert, daß die Bilddaten der Bilddatenquelle 1 entsprechend vorverzerrt bzw. -verzeichnet werden. Die Vorverzerrung ist dabei so gewählt, daß sie genau die durch die Abbildung mittels der Abbildungsoptik 6 bedingte Verzerrung bzw. Verzeichnung kompensiert.This non-linear distortion is controlled by the control device 4th compensated by the fact that the image data of the image data source 1 are accordingly predistorted or recorded. The predistortion is chosen so that it is exactly what is caused by the imaging by means of the imaging optics 6th conditional distortion or distortion compensated.

Bei der Abbildungsvorrichtung gemäß 1 wird somit die Verzeichnung bei der Abbildung mittels der Abbildungsoptik 6 in einer ersten Richtung im abgebildeten Bild nur optisch korrigiert (mittels der entsprechend ausgelegten Abbildungsoptik 6) und in einer dazu verschiedenen zweiten Richtung nur elektronisch (mittels der Steuereinrichtung 4) kompensiert.With the imaging device according to 1 thus becomes the distortion in the imaging by means of the imaging optics 6th only optically corrected in a first direction in the image shown (by means of the correspondingly designed imaging optics 6th ) and in a different second direction only electronically (by means of the control device 4th ) compensated.

In 2 ist schematisch ein bilderzeugendes Element 8 (das z.B. ein OLED-Display sein kann) des Bilderzeugungsmoduls 5 gezeigt. Das bilderzeugende Element 8 ist rechteckig ausgebildet und weist (nicht gezeigt) in der ersten Richtung (y-Richtung) und der zweiten Richtung (x-Richtung) angeordnete und voneinander unabhängig ansteuerbare Pixel auf. Mit jedem Pixel kann ein Bildpunkt des Bildes erzeugt werden, das mittels der Abbildungsoptik 6 abgebildet wird.In 2 is schematically an imaging element 8th (which can be an OLED display, for example) of the image generation module 5 shown. The imaging element 8th is rectangular and has (not shown) pixels which are arranged in the first direction (y-direction) and the second direction (x-direction) and can be controlled independently of one another. With each pixel, an image point of the image can be generated by means of the imaging optics 6th is mapped.

Aufgrund der beschriebenen Abbildungseigenschaften der Abbildungsoptik 6 tritt in x-Richtung eine nicht-lineare Verzeichnung auf, während in y-Richtung keine Verzeichnung (bzw. maximal 1%) erzeugt wird. Zur Vereinfachung der Darstellung ist in 2 nur die Abbildung der Kontur (also der ursprünglichen Rechteckform) des bilderzeugenden Elementes 8 gestrichelt dargestellt.Due to the described imaging properties of the imaging optics 6th a non-linear distortion occurs in the x-direction, while no distortion (or a maximum of 1%) is generated in the y-direction. To simplify the representation, in 2 only the mapping of the contour (i.e. the original rectangular shape) of the image-generating element 8th shown in dashed lines.

In 3 ist wiederum das bilderzeugende Element 8 dargestellt. Ferner ist gestrichelt eingezeichnet, wie die Korrektureinheit 2 die von der Bilddatenquelle 1 kommenden Bilddaten vorverzerren muß, damit aufgrund der bei der Abbildung mittels der Abbildungsoptik 6 auftretenden nicht-linearen Verzerrung in x-Richtung die rechteckige Außenkontur des Bilderzeugungselementes 8 für den Benutzer als rechteckige Form (also ohne Verzeichnung in x-Richtung) wahrnehmbar wäre.In 3 is again the imaging element 8th shown. It is also shown in dashed lines how the correction unit 2 those from the image data source 1 must pre-distort incoming image data, so due to the imaging by means of the imaging optics 6th occurring non-linear distortion in the x-direction the rectangular outer contour of the image generating element 8th would be perceptible to the user as a rectangular shape (i.e. without distortion in the x-direction).

Da die nicht-lineare Verzeichnung nur in x-Richtung und somit in Zeilenrichtung auftritt, und die Bilddaten durch die Bilddatenquelle in der Regel zeilenförmig zur Verfügung gestellt wird, wird hier der Vorteil erreicht, daß die Vorverzerrung mittels der elektronischen Korrektureinheit 2 auch zeilenförmig durchgeführt werden kann. Damit kann eine äußerst schnelle Korrektur mit geringer Latenzzeit durchgeführt werden. Bei bisher bekannten Verfahren war es stets notwendig, das gesamte Bild erst in einen Bildspeicher einzulesen und dann an dem gesamten Bild die entsprechenden Korrekturen durchzuführen, was zu einer hohen Latenzzeit führt.Since the non-linear distortion occurs only in the x-direction and thus in the line direction, and the image data is generally made available in line form by the image data source, the advantage here is that the predistortion is achieved by means of the electronic correction unit 2 can also be carried out in lines. This allows an extremely fast correction with a low latency to be carried out. In previously known methods, it was always necessary to first read the entire image into an image memory and then to carry out the corresponding corrections on the entire image, which leads to a high latency period.

Aufgrund der hier beschriebenen zeilenförmigen Korrektur ist es auch möglich, die Korrektureinheit 2 durch eine einfache und damit in der Regel auch noch kostengünstige Elektronik zu realisieren.Due to the line-shaped correction described here, it is also possible to use the correction unit 2 to be implemented using simple and therefore usually inexpensive electronics.

Bei der in 3 gezeigten Darstellung ist erkennbar, daß Teile der vorverzerrten Bilddaten außerhalb des Bereiches des bildgebendes Elementes 8 liegen. Sofern das bildgebende Element 8 neben seiner rechteckigen Struktur nicht noch zusätzliche Pixel aufweist, werden diese neben der rechteckigen Struktur des bildgebenden Elementes 8 liegenden vorverzerrten Bilddaten nicht dargestellt, so daß es zu einem gewissen Informationsverlust im Bild kommt.At the in 3 It can be seen that parts of the predistorted image data are outside the area of the imaging element 8th lie. Provided the imaging element 8th does not have additional pixels in addition to its rectangular structure, these are in addition to the rectangular structure of the imaging element 8th lying predistorted image data are not displayed, so that there is a certain loss of information in the image.

Um diesen Informationsverlust möglichst gering zu halten, kann, wie in 4 angedeutet ist, die Korrektur so durchgeführt werden, daß die vorverzerrten Bilddaten besser in den Bereich des bildgebenden Elementes 8 eingepaßt werden. In diesem Fall wurden die vorverzerrten Bilddaten etwas in Zeilenrichtung (x-Richtung) nach rechts versetzt. Die Bereiche, die zwischen den vorverzerrten Bilddaten und dem rechten bzw. linken Rand des bildgebenden Elements 8 liegen (Bereiche 10 bis 12 in 3 und 4) werden bevorzugt mit der Bildinformation „dunkel“ belegt. Diese Bereiche werden dann schwarz bzw. dunkel dargestellt. Gleiches gilt für den Bereich 9 in 3.In order to keep this loss of information as low as possible, as in 4th is indicated, the correction can be carried out so that the predistorted image data better into the area of the imaging element 8th be fitted. In this case, the pre-distorted image data were shifted somewhat to the right in the line direction (x direction). The areas between the pre-distorted image data and the right or left edge of the imaging element 8th lie (areas 10 to 12 in 3 and 4th ) are preferably assigned the image information "dark". These areas are then displayed in black or dark. The same applies to the area 9 in 3 .

Natürlich kann auch ein bildgebendes Element 8 verwendet werden, dessen Bildbereich größer ist als der in 3 dargestellte Bereich. Dann liegen die vorverzerrten Bilddaten, die in 3 links neben dem eingezeichneten rechteckigen Bereich sind, auf Pixeln des bildgebenden Elementes 8 mit dem größeren Bildbereich und können somit auch dargestellt werden.Of course, an imaging element can also be used 8th whose image area is larger than that in 3 area shown. Then the pre-distorted image data, which are in 3 to the left of the rectangular area drawn are on pixels of the imaging element 8th with the larger image area and can therefore also be displayed.

Es ist ferner möglich, die Vorverzerrung in x-Richtung so durchzuführen (5), daß die Bilddaten in Zeilenrichtung so komprimiert werden, daß alle Bilddaten in den Bereich des bildgebenden Elementes 8 eingepaßt werden. Auch hier werden wiederum die Bereiche zwischen den vorverzerrten Bilddaten und dem bildgebenden Element 8 (Bereiche 13, 14 und 15) mit der Bildinformation „dunkel“ belegt.It is also possible to perform the pre-distortion in the x-direction as follows ( 5 ), that the image data are compressed in the line direction so that all image data in the area of the imaging element 8th be fitted. Here, too, the areas between the pre-distorted image data and the imaging element are again shown 8th (Areas 13th , 14th and 15th ) assigned the image information "dark".

Insbesondere kann die Komprimierung in Zeilenrichtung so durchgeführt werden, daß die Bilddaten, die im ursprünglichen Bild (also das Bild, das von der Bilddatenquelle 1 als Bilddaten bereitgestellt wird) in einer der y-Richtung entsprechenden Richtung nebeneinander liegen, auch bei der Abbildung mittels der Abbildungsoptik 6 wiederum entlang einer Geraden in y-Richtung nebeneinander liegen. In diesem Fall ist das Verhältnis der Größe des Bildes in x- und y-Richtung für die ursprünglichen Bilddaten verschieden zu dem Verhältnis für die tatsächliche Abbildung. Dies fällt jedoch einem Benutzer optisch weniger auf als eine Verzerrung, bei der die Bildinformation, die ursprünglich entlang der y-Richtung angeordnet ist, im abgebildeten Bild nicht mehr entlang einer Geraden angeordnet ist.In particular, the compression in the line direction can be carried out in such a way that the image data contained in the original image (i.e. the image obtained from the image data source 1 is provided as image data) lie next to one another in a direction corresponding to the y-direction, also when imaging by means of the imaging optics 6th again lie next to each other along a straight line in the y-direction. In this case, the ratio of the size of the image in the x and y directions for the original image data is different from the ratio for the actual image. However, this is visually less noticeable to a user than a distortion in which the image information, which is originally arranged along the y-direction, is no longer arranged along a straight line in the displayed image.

Die nicht-lineare Funktion, mit der die Korrektureinheit die Bilddaten in x-Richtung vorverzerrt, kann beispielsweise aus dem Optikdesign der Abbildungsoptik 6 abgeleitet werden. Diese Funktion kann natürlich optimiert werden. Insbesondere ist es auch möglich, die notwendige nicht-lineare Funktion empirisch zu ermitteln. Sofern aufgrund der Vorverzerrung mittels der Korrektureinheit 2 die Bilddaten nicht mehr genau auf ein Pixel des bildgebenden Elementes 8 treffen, kann die Bildinformation am Ort des Pixels beispielsweise durch Interpolation ermittelt werden. Bevorzugt werden dabei nur Bilddaten der entsprechenden Bildzeile verwendet.The non-linear function with which the correction unit predistorts the image data in the x direction can be derived, for example, from the optical design of the imaging optics 6th be derived. This function can of course be optimized. In particular, it is also possible to empirically determine the necessary non-linear function. If due to the pre-distortion by means of the correction unit 2 the image data is no longer exactly on one pixel of the imaging element 8th hit, the image information can be determined at the location of the pixel, for example by interpolation. Preferably only image data of the corresponding image line are used.

Die Korrektureinheit 2 kann nicht nur einzelne Bildzeilen nacheinander verarbeiten. Es ist natürlich auch möglich, daß die Korrektureinheit 2 mehrere Bildzeilen gleichzeitig aufnimmt und verarbeitet, wodurch auch eine verbleibende Restverzeichnung in y-Richtung korrigiert werden kann.The correction unit 2 can not only process individual image lines one after the other. It is of course also possible that the correction unit 2 records and processes several image lines at the same time, which means that residual distortion in the y-direction can also be corrected.

Die Vorverzerrung kann bei mehrfarbigen Bildern für jeden Farbkanal separat durchgeführt werden. In diesem Fall kann bei der Vorverzerrung noch die chromatisch Queraberration berücksichtigt werden, wenn diese nicht durch die Abbildungsoptik 6 ausreichend gut kompensiert wird. Die Steuereinrichtung 4 kann digitale und/oder analoge Bilddaten verarbeiten. Dazu können, je nach Notwendigkeit, A/D-Wandler und/oder D/A-Wandler vorgesehen sein.In the case of multicolored images, the predistortion can be carried out separately for each color channel. In this case, the chromatic transverse aberration can still be taken into account in the pre-distortion, if this is not caused by the imaging optics 6th is sufficiently well compensated. The control device 4th can process digital and / or analog image data. For this purpose, A / D converters and / or D / A converters can be provided, as required.

Claims

Imaging device with a control device (4), an image generation module (5) which, under the control of the control device (4), generates a two-dimensional image on the basis of predetermined image data, and imaging optics (6) downstream of the image generation module (5) which depicts the image that it can be perceived by a user, the control device (4) comprising a control unit (3) and a correction unit (2) and the correction unit (2) pre-registering the predetermined image data so that one through the imaging optics conditional non-linear distortion is compensated, and the control unit (3) controls the image generation module (5) with the pre-recorded image data, characterized in that the imaging optics (6) is corrected so that when imaging in a first direction in the two-dimensional image the generated distortion is less than a predetermined residual distortion and the non-linear distortion is generated in a second direction in the imaged image, and that the correction unit (2) pre-records the predetermined image data in such a way that the non-linear distortion only compensates along the second direction becomes.

Device according to Claim 1 , characterized in that the image generation module (5) has an imaging element (8) with individually controllable pixels arranged in rows and columns, the first direction corresponding to the column or row direction and the second direction then corresponding to the row or column direction .

Device according to Claim 2 , characterized in that the correction unit (2) pre-records the predetermined image data in rows or columns in such a way that an image data value of a row or column is transformed only in the same row or column.

Device according to Claim 3 , characterized in that the correction unit (2) weights an image data value of a row or column only with image data of the same row or column.

Device according to one of the Claims 2 to 4th , characterized in that an image data source (1) is provided which provides the predetermined image data in rows or columns.

Device according to one of the above claims, characterized in that the correction unit (2) pre-records the image data in such a way that the predetermined image data are mapped along a straight line along the first direction in the mapped image.

Device according to one of the above claims, characterized in that the device is designed as an HMD device.

Device according to one of the above claims, characterized in that the imaging optics reproduce the image as a virtual image.

The imaging method, is produced at the predetermined on the basis of image data, a two-dimensional image and imaged by means of an imaging optical system so that it is perceptible by a user, wherein the image data is vorverzeichnet so that a caused by the imaging optical non-linear distortion is compensated, characterized characterized in that the imaging optics are corrected so that when imaging in a first direction in the imaged two-dimensional image, the distortion generated is less than a predetermined residual distortion and the non-linear distortion is generated in a second direction in the imaged image, the predetermined image data are pre-recorded in such a way that the non-linear distortion is compensated for only along the second direction.

Procedure according to Claim 9 , characterized in that an imaging element (8) with individually controllable pixels arranged in rows and columns is used to generate the two-dimensional image, the first direction corresponding to the column or row direction and the second direction then the row or column direction corresponds.

Procedure according to Claim 10 , characterized in that the predetermined image data are pre-recorded in rows or columns in such a way that an image data value of a row or column is transformed only in the same row or column.

Procedure according to Claim 11 , characterized in that an image data value of a row or column is weighted only with image data of the same row or column.

Method according to one of the Claims 10 to 12 , characterized in that the predetermined image data are provided in lines or columns.

Method according to one of the Claims 9 to 13th , characterized in that the image data are pre-recorded so that the predetermined image data are mapped along the first direction in the mapped image along a straight line.

Method according to one of the above Claims 9 to 14th , characterized in that the image is mapped as a virtual image.