DE202010007397U1

DE202010007397U1 - Anzeigevorrichtung

Info

Publication number: DE202010007397U1
Application number: DE202010007397U
Authority: DE
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2010-05-31
Filing date: 2010-05-31
Publication date: 2011-08-02
Anticipated expiration: 2020-06-01

Abstract

Anzeigevorrichtung (1) mit einem Paar optischer Sensoren (2a, 2b) zur Aufnahme von 3D-Bilddaten (L, R) bestehend aus einem ersten Bilddatensatz (L) aufgenommen durch einen ersten optischen Sensor (2a) des Sensorpaares (2a, 2b) und einem zweiten Bilddatensatz (R) aufgenommen durch einen zweiten optischen Sensor (2b) des Sensorpaares (2a, 2b), mit einer Anzeigeeinheit (4) zur Anzeige aufgenommener 3D-Bilddaten (L, R), und mit einer zwischen dem optischen Sensorpaar (2a, 2b) und der Anzeigeeinheit (4) geschalteten Bildkorrektureinheit (3), welche die von dem optischen Sensorpaar (2a, 2b) aufgenommenen 3D-Bilddaten (L, R) empfängt und korrigiert zur Anzeigeeinheit (4) weiterleitet, wobei die Bildkorrektureinheit (3) bei mindestens einem Paar korrelierender Bildpunkte, das aus einem ersten Bildpunkt im ersten Bilddatensatz (L) und einem dem ersten Bildpunkt entsprechenden zweiten Bildpunkt im zweiten Bilddatensatz (R) besteht, zur Ermittlung eines Versatzes in Abhängigkeit eines Abstandes der korrelierenden Bildpunkte und zur Korrektur des korrelierenden Bildpunktepaars in Abhängigkeit des ermittelten Versatzes derart eingerichtet ist,...

Description

Die Erfindung betrifft eine Anzeigevorrichtung mit optischen Sensoren und Anzeigemitteln zum Anzeigen der mittels der optischen Sensoren aufgenommenen Bilddaten.
Kamerasysteme sind heutzutage in nahezu jedem Lebensbereich zu finden. Dabei werden mit Hilfe von optischen Sensoren, welche entsprechende Bilddaten über die Zeit erzeugen, Abbildungen einer dreidimensionalen Wirklichkeit generiert. Solche optischen Sensorsysteme, die in der Regel aus einer optischen Sensoreinheit bestehen, erzeugen somit zweidimensionale Bilddaten, welche die dreidimensional aufgenommene Szene abbilden und somit beispielsweise für Überwachungszwecke oder ähnliches eingesetzt werden können.
Solche zweidimensionalen Bilddaten, die von einer einzigen optischen Sensoreinheit aufgenommen und generiert wurden, lassen sich in der Regel keinerlei Tiefeninformationen entnehmen, so dass die dreidimensional aufgenommene Szene sich auch tatsächlich dreidimensional mit Hilfe der Bilddaten abbilden lässt. Dazu bedarf es einer weiteren technischen Anordnung von mehr als einer optischen Sensoreinheit derart, dass ähnlich wie bei dem menschlichen Auge eine dreidimensionale Szene durch zwei optische Sensoreinheiten mit unterschiedlichen Betrachtungswinkeln aufgenommen wird. Jede der optischen Sensoreinheiten erzeugt dabei zweidimensionale Bilddaten. Diese unterscheiden sich jedoch hinsichtlich ihres Inhaltes aufgrund der unterschiedlichen Aufnahmewinkel mehr oder weniger geringfügig, so dass aus diesem Unterschied zwischen den beiden zweidimensionalen Bilddaten eine dreidimensionale Tiefeninformation ermittelt werden kann. Erst dadurch gelingt es auch dem optischen Wahrnehmungssystem des Menschen, eine Tiefeninformation zu generieren, so dass beispielsweise Entfernungen abgeschätzt werden können.
Solche dreidimensionalen optischen Sensorsysteme, die aus mindestens zwei optischen Sensoreinheiten bzw. Sensoren bestehen und somit ein und dieselbe Szene aus unterschiedlichen Aufnahmewinkeln aufnehmen, sind hinreichend bekannt und werden beispielsweise für die 3D-Fassung von Kinofilmen verwendet. Die so aufgenommenen Bilddaten beider Kameras werden dann bei der Wiedergabe jeweils nacheinander angezeigt, wobei jeweils immer nur ein Auge einen Bilddatensatz einer Kamera wahrnehmen kann. Im Kino wird dies heutzutage mit so genannten Shutterbrillen realisiert, welche mit genau der gleichen Darstellungsfrequenz der Bilddaten jeweils die Wahrnehmung eines Auges behindert. Mit anderen Worten, das linke Auge nimmt nur die von der linken Kamera aufgenommenen Bilddaten und das rechte nimmt nur die von der rechten Kamera aufgenommen Bilddaten wahr, so dass durch diese unterschiedlichen Bilddaten das Gehirn eine dreidimensionale Szene generiert.
Diese Technik lässt sich darüber hinaus auch in anderen Bereichen einsetzen, bei denen es um eine Abbildung der Realität geht, wie beispielsweise Überwachungsfunktionen. So kann beispielsweise dem Piloten eines Kampfflugzeuges oder Hubschraubers ein Nachtsichtgerät zur Verfügung gestellt werden, welches die Daten dreidimensional präsentiert. Dazu werden an dem Helm des Piloten links und rechts jeweils ein optisches Sensorpaar angebracht, wobei die aufgenommenen Bilddaten mittels Displays, die vor dem linken und dem rechten Auge des Piloten angeordnet sind, derart angezeigt werden, dass die Bilddaten der linken Kamera auf dem linken Display und die Bilddaten der rechten Kamera auf dem rechten Display dargestellt werden. Da nun die Darstellung der aufgenommenen Bilddaten für jedes Auge separat erfolgt, wird eine räumliche Sicht des Piloten trotz zwischengeschalteter optischer Sensorsysteme ermöglicht. Aber auch andere Anwendungsbereiche sind denkbar, bei der es um Fernüberwachung derart geht, dass Bilddaten an einem entfernten Ort aufgenommen und einen Beobachter an einer anderen Stelle angezeigt werden. Hier sei beispielsweise auf dem so genannten „virtuellen Tower” verwiesen, bei dem die Lotsen keinen physischen Sichtkontakt mehr haben, sondern der gesamte Flughafenbereich mit Hilfe von optischen Sensorsystemen zwecks Überwachung ausgerüstet ist.
Ein großer Nachteil dabei ist, dass ein gegenüber dem Augenabstand vergrößerter Abstand zwischen den optischen Sensoren, d. h. zwischen dem linken und dem rechten optischen Sensor, es zu einer verzerrten Wahrnehmung der räumlichen Tiefe führen kann, die so genannte Hyperstereopsis. Dieser Fehleindruck kann unter Umständen mehrere Minuten andauern, was bei sicherheitskritischen Anwendungen wie bei einem Piloten sehr nachteilig ist. Bezug nehmend auf das Beispiel mit dem Piloten und dem Sensorhelm bedeutet dies, dass, wenn dem Piloten unverarbeitete Kamerabilder in ein Helm gebundenes Display projiziert werden, er unter Umständen mehrere Minuten lang den Abstand zu einem Objekt nicht genau oder nur falsch abschätzen kann. Dies kann bei kritischen Flugmanövern zu gefährlichen Situationen führen sowie zu Schwindelgefühlen und Belastungserscheinungen. Die Kompensierung durch Training des Piloten kann, abhängig von den Fähigkeiten und der Konzentration des Piloten, dabei bis zum 30 Minuten andauern.
Es ist daher Aufgabe der vorliegenden Erfindung, eine Vorrichtung anzugeben, mit der der Nachteil der Hyperstereopsis technisch vermindert wird.
Die Aufgabe wird gelöst durch eine Anzeigevorrichtung mit einem Paar optischer Sensoren zur Aufnahme von 3D-Bilddaten bestehend aus einem ersten Bilddatensatz aufgenommen durch einen ersten optischen Sensor des Sensorpaares und einem zweiten Bilddatensatz aufgenommen durch einen zweiten optischen Sensor des Sensorpaares, mit einer Anzeigeeinheit zur Anzeige aufgenommener 3D-Bilddaten und mit einer zwischen dem optischen Sensorpaar und der Anzeigeeinheit geschalteten Bildkorrektureinheit, welche die von dem optischen Sensorpaar aufgenommenen 3D-Bilddaten empfängt und korrigiert zur Anzeigeeinheit weiterleitet, wobei die Bildkorrektureinheit bei mindestens einem Paar korrelierender Bildpunkte, das aus einem ersten Bildpunkt im ersten Bilddatensatz und einem dem ersten Bildpunkt entsprechenden zweiten Bildpunkt im zweiten Bilddatensatz besteht, zur Ermittlung eines Versatzes in Abhängigkeit eines Abstandes der korrelierenden Bildpunkte und zur Korrektur des korrelierenden Bildpunktpaares in Abhängigkeit des ermittelten Versatzes derart eingerichtet ist, dass bei einem Beobachter eine räumliche Darstellung der 3D-Bilddaten bewirkt wird.
Die erfindungsgemäße Anzeigevorrichtung nimmt demnach mit Hilfe zweier optischer Sensoren bzw. Sensoreinheiten (optisches Sensorpaar genannt), das beispielsweise eine Kamera oder eine Infrarotkamera sein kann, dreidimensionale Bilddaten auf. Diese dreidimensionalen Bilddaten bestehen aus jeweils zwei Bilddatensätzen, nämlich einem ersten Bilddatensatz des ersten optischen Sensors und einem zweiten Bilddatensatz des zweiten optischen Sensors. Beide optischen Sensoren des Sensorpaares sind dabei derart nebeneinander in einem Abstand angeordnet, dass sie die betreffende Szene aus jeweils leicht unterschiedlichen Blickwinkeln aufnehmen, so dass sich hieraus bei der Zusammenführung ein dreidimensionaler Bilddatensatz ergibt, der eine räumliche Sicht ermöglicht.
Damit dieses optische Sensorpaar auch tatsächlich dreidimensionale Bilddaten produziert, müssen die beiden optischen Sensoren in einem bestimmten Abstand voneinander, meist in einem bestimmten horizontalen Abstand angeordnet sein, damit den Datensätzen eine Tiefeninformation entnehmbar ist. Dieser Abstand ist bei derartigen Sensorsystemen in der Regel größer oder auch unter Umständen kleiner als der durchschnittlich Abstand der Augen bei einem Menschen, so dass sich bei der Darstellung dieser so aufgenommenen 3D-Bilddaten eine verzerrte Wahrnehmung ergibt, die so genannte Hyperstereopsis.
Um dem entgegenzuwirken, weist die erfindungsgemäße Anzeigevorrichtung eine Bildkorrektureinheit auf, welche diese Verzerrung in den Bilddaten korrigiert. Dazu ermittelt die Bildkorrektureinheit bei korrelierenden Bildpunkten einen Versatz dieser Bildpunkte in den einzelnen Bilddaten in Abhängigkeit eines Abstandes zwischen ihnen und korrigiert das korrelierende Bildpunktpaar in Abhängigkeit dieses Versatzes, so dass eine räumliche Wahrnehmung der aufgenommenen Bilddaten ohne Verzerrung bewirkt wird. Ein Paar korrelierender Bildpunkte besteht dabei aus zwei Bildpunkten jeweils des ersten und des zweiten Bilddatensatzes derart, dass der Bildpunkt in dem ersten Bilddatensatz dem Bildpunkt in dem zweiten Bilddatensatz entspricht. Da beide Bilddatensätze aus unterschiedlichen Blickwinkeln aufgenommen wurden, befinden sich diese beiden korrelierenden Bildpunkte nicht an ein und derselben Stelle innerhalb des jeweiligen Bilddatensatzes, sondern leicht versetzt zueinander. Dieser Versatz ist letztendlich der Grund für die räumliche Wahrnehmung, der jedoch umso größer wird, je weiter der Abstand der beiden optischen Sensoren ist. In Abhängigkeit der Entfernung des den Bildpunkten zugrunde liegenden aufgenommenen Punkt müssen dann die Bildpunkte korrigiert werden, um so die Wahrnehmung für das menschliche Auge zu ermöglichen.
Mit anderen Worten, die Bildkorrektureinheit der erfindungsgemäßen Anzeigevorrichtung ermittelt zu einem aufgenommenen realen Punkt den jeweiligen Bildpunkt in dem ersten und dem zweiten Datensatz, die sich aufgrund der 3D-Aufnahme nicht an ein und derselben Stelle befinden, wobei anhand dieses Versatzes dann die Korrektur durchgeführt wird. Ein korrelierendes Bildpunktpaar wird daher als dann korrelierend betrachtet, wenn es sich auf ein und denselben aufgenommenen Bereich bezieht.
Vorteilhafter Weise ist die Bildkorrektureinheit zur Unterteilung des ersten und des zweiten Bilddatensatzes in eine Vielzahl von Bildbereichen zwecks Ermittlung der korrelierenden Bildpunkten eingerichtet. Dabei wurde erkannt, dass die Echtzeitverarbeitungsgeschwindigkeit bei akzeptablem Qualitätsverlust signifikant erhöht werden kann, wenn nur ein Teil der Bildpunkte der jeweiligen Datensätze miteinander verglichen wird, um so die korrelierenden Bildpunkte zu ermitteln. Dazu wird über jeden Bilddatensatz ein Raster gelegt, wobei der Bildpunkt in der Mitte eines jeden Rasters des beispielsweise ersten Bilddatensatzes als ersten Vergleichsbildpunkt herangezogen wird. Über den zweiten Bilddatensatz wird nun ebenfalls ein Raster gelegt, welches die gleichen Ausmaße hat. Das Raster, aus dem der erste Vergleichsbildpunkt ermittelt wurde, wird nun auch als Ausgangsbasis in den zweiten Bilddatensatz herangezogen. Zeigt der Vergleich des ersten Vergleichsbildpunktes mit dem zweiten Vergleichsbildpunkt des zweiten Datensatzes keine Übereinstimmung, so wird das nächste benachbarte Raster in den zweiten Bilddatensatz ermittelt und für den Vergleich herangezogen. Ist eine Übereinstimmung gefunden worden, so können diese beiden Bildpunkt und ihre Koordinaten als ein Paar korrelierender Bildpunkte angesehen werden.
Ganz besonders vorteilhaft ist es dabei, wenn die Größe des Rasters entsprechend variiert, und zwar in Abhängigkeit des Hintergrundmotivs. Ist z. B. bekannt, dass oberhalb einer Horizontlinie meist nur Himmel aufgenommen wird, so kann hier die Rastergrößer relativ groß gewählt werden, d. h. es gibt eine kleinere Anzahl von zu unterteilenden Bildbereichen, so dass die Anzahl der Verarbeitungsschritte reduziert wird. Im Gegensatz dazu sollte bei sehr nahen Objekten die Rastergröße sehr klein gewählt werden, da hier häufiger eine Korrektur erfolgen muss.
Der Vergleich zweier Bildpunkte kann dabei anhand von Farbinformationen, die an dem jeweiligen Bildpunkt hinterlegt sind, erfolgen. Um den Rechenaufwand möglichst gering zu halten, ist es ganz besonders vorteilhaft, wenn nicht die Bildpunkte einzeln für sich betrachtet verglichen werden, sondern die jeweiligen Bildbereiche. Denkbar ist, dass zu jedem Bildbereich anhand der darin befindlichen Bildpunkte eine mittlere Farbdifferenz ermittelt oder eine statistische Korrelation berechnet, die dann dem Vergleich zugrunde gelegt werden. Somit lässt sich mit möglichst wenig Rechenaufwand die korrelierenden Punkte ermitteln.
Zwecks Korrektur zweier korrelierender Bildpunkte ist es besonders vorteilhaft, wenn zunächst die Koordinaten des Punktes ermittelt werden, den die beiden korrelierenden Bildpunkte abbilden. Dieser Punkt entspricht letztendlich einen aufgenommenen Punkt in der dreidimensionalen Szene, der jeweils durch die beiden optischen Sensoren aus zwei unterschiedlichen Blickwinkeln aufgenommen wurde und durch die beiden korrelierenden Bildpunkte in dem jeweiligen Bilddatensatz repräsentiert wird. Unter der Annahme, dass die beiden optischen Sensoren in genau der gleichen horizontalen Ebene wie die der Augen des Beobachters angeordnet sind, bedarf es lediglich einer Korrektur in x-Richtung, d. h. in der Horizontalen. Die Ebene, von der hier ausgegangen wird, bezieht sich demnach horizontal in die Tiefe ausgehend von dem Beobachter, so dass die x-Koordinate nach links und rechts zeigt und die y-Koordinate in die Tiefe.
Ausgehend von zwei korrelierenden Bildpunkten, die einen entsprechenden Versatz aufweisen, d. h. von dem linken und dem rechten Bildrand entsprechend unterschiedlich weit beabstandet sind, lassen sich die Koordinaten nach den folgenden Formeln berechnen:

wobei R der Abstand der optischen Sensoren vom Koordinatenursprung, w die Weite der optischen Ebene jedes einzelnen optischen Sensors, E_L der Abstand in der linken optischen Ebene des linken optischen Sensors des linken Bildpunktes und E_R der Abstand in der rechten optischen Ebene des rechten optischen Sensors des rechten korrelierenden Bildpunktes ist sowie d der Abstand der optischen Sensoren von der optischen Ebene darstellt.
Mit anderen Worten, mit Hilfe dieser Stereogeometrie und zwei aus unterschiedlichen Blickwinkeln aufgenommenen Bilddatensätzen lässt sich, sofern zwei korrelierende Bildpunkte ermittelt wurden, die tatsächlichen Koordinaten des die korrelierenden Bildpunkte repräsentierenden realen Punkt ermitteln. Dies ergibt sich letztendlich aus der Überlegung daraus, dass beide Bilddatensätze der beiden optischen Sensoren nicht exakt identisch sind, so dass allein durch diesen Unterschied im Blickwinkel unterschiedliche Informationen ableitbar sind, aus denen sich dann die räumliche Darstellung ergibt.
Um nun die Korrektur durchzuführen, ist es ganz besonders vorteilhaft, wenn aus der Kenntnis der Koordinaten des Punktes der beiden korrelierenden Bildpunkte ein neuer Abstand errechnet wird, der sich ergeben würde, wenn die optischen Sensoren an genau der gleichen Position angeordnet wären, wie die der Augen des Beobachters. Mit anderen Worten, es wird nun das Bild errechnet, welches sich ergeben würde, wenn die beiden optischen Sensoren den gleichen Abstand wie die zweier Augen des Beobachters hätten.
Unter Kenntnis der Koordinaten des Punktes und dem Abstand r zwischen Koordinatenursprung und dem linken und rechten Auge des Beobachters lässt sich nun ein korrigierter Abstand x_L und x_R ermitteln, und zwar nach den folgenden Formeln:
wobei w wieder die Weite der optischen Ebene der Augen, die identisch ist mit der optischen Ebene w der optischen Sensoren, und d der Abstand der Augen von der optischen Ebene darstellt.
Zusammenfassend kann die Geometrie wie folgt erklärt werden: Der reale Punkt p, der durch die beiden optischen Sensoren aufgenommen wurde und durch die zwei korrelierenden Bildpunkte in den beiden Bilddatensätzen repräsentiert wird, hat in jedem aufgenommenen Bilddatensatz ein entsprechend anderen Blickwinkel. Unter Kenntnis dieses sich aus den unterschiedlichen Blickwinkeln ergebenen Versatzes und dem Abstand vom Koordinatenursprung lässt sich seine Position im Raum ermitteln. Wird dieser Abstand der optischen Sensoren nun verringert, so dass er dem der Augen eines Beobachters entspricht, so verändert sich logischerweise auch der Blickwinkel auf diesen Punkt. Unter Kenntnis dieser Parameter lässt sich dann der eigentliche Blickwinkel für jedes Auge des Beobachters zurückrechnen, so dass die korrelierenden Bildpunkte korrigiert werden können, und zwar derart, dass bei dem Beobachter eine räumliche Darstellung der aufgenommenen 3D-Bilddaten ergibt, und zwar ohne Verzerrung durch die Hyperstereopsis. Dies hat besonders in kritischen Situationen, wie beispielsweise bei einem Piloten, den Vorteil, dass keine Zeitspanne vergehen muss, bis der Pilot sich an die verzerrte Wahrnehmung gewöhnt hat.
Die Vorrichtung ist daher besonders vorteilhaft, wenn sie an einem Helm eines Piloten derart angeordnet ist, dass die beiden optischen Sensoren in der horizontalen Ebene der Augen des Piloten angeordnet sind, d. h. links und rechts vom Helm.
Dabei ist es ganz besonders vorteilhaft, wenn die Anzeigeeinheit zwei Displays aufweist, die jeweils vor das linke und vor das rechte Auge geschoben werden können, so dass sich aufgrund unterschiedlicher Anzeige von Bilddaten eine räumliche Darstellung ergibt. Den Piloten werden dann auf den Displays jeweils die korrigierten Bilddaten angezeigt, so dass sich ein für ihn völlig normale räumliche Wahrnehmung ergibt.
Die Erfindung wird anhand der beigefügten Zeichnung beispielhaft näher erläutert. Es zeigen:
1 – schematische Darstellung der Anzeigevorrichtung;
2 – Geometrien der 3D-Korrektur;
3 – schematische Darstellung zweier Bilddatensätze.
1 zeigt die schematische Darstellung der erfindungsgemäßen Anzeigevorrichtung 1 mit einem Paar optischer Sensoren 2a, 2b, wobei der optische Sensor 2a links und der optische Sensor 2b rechts angeordnet sind, so dass 3D-Bilddaten aufgenommen werden können. Die von den optischen Sensoren 2a, 2b aufgenommenen Bilddatensätze werden dann an die Bildkorrektureinheit 3, mit der sie verbunden sind, weitergeleitet, um so das Bild hinsichtlich der Hyperstereopsis zu korrigieren. Die Bildkorrektureinheit 3 ist des Weiteren mit einer Anzeigeeinheit 4 verbunden. In dem Ausführungsbeispiel der 1 besteht die Anzeigeeinheit 4 aus einem Paar separater Displays 5a, 5b, die zur Anzeige von jeweils separat aufgenommenen Bilddatensätzen eingerichtet sind und so einen Beobachter 6 eine räumliche Wahrnehmung der aufgenommenen Bildinformationen ermöglicht. Konkret bedeutet dies, dass der linke Display 5a der Anzeigeeinheit 4 die von dem linken optischen Sensor 2a aufgenommenen Bilddaten darstellt, während das rechte Display 5b der Anzeigeeinheit 4 die von dem rechten optischen Sensor 2b aufgenommenen Bildinformationen darstellt. Die von den optischen Sensoren 2a, 2b aufgenommenen Bilddaten werden jedoch nicht exakt 1:1 auf den Displays 5a, 5b der Anzeigeeinheit 4 dargestellt, sondern es werden die von der Korrektureinheit 3 korrigierten Bilddaten angezeigt.
2 zeigt die der 3D-Korrektur korrelierende Liniengeometrie. Um die Beschreibung zu vereinfachen, wird bei diesem Beispiel angenommen, dass das Paar optischer Sensoren 2a, 2b in der gleichen Ebene wie die des Augenpaares des Beobachters 6. Dadurch ergibt sich eine vereinfachte Geometrie, so dass lediglich von einem Kopfkoordinatensystem ausgegangen werden braucht. In diesem Fall ist dies die Ebene, die sich aus der Horizontalen und der Tiefe des Raumes ergibt.
Zunächst wird davon ausgegangen, dass die beiden optischen Sensoren 2a, 2b jeweils einen vollständigen Bilddatensatz aufgenommen haben. Dieser aufgenommene Bilddatensatz einer realen 3D-Szene enthält einen Punkt p, der durch entsprechende Bildpunkte innerhalb des aufgenommenen Bilddatensatzes der jeweiligen optischen Sensoren 2a, 2b zu finden ist. Die Bildkorrektureinheit ermittelt nun zunächst diese beiden korrelierenden Bildpunkte, und zwar jeweils in dem linken und dem rechten Bilddatensatz, der den Punkt p repräsentiert. Aufgrund der unterschiedlichen Aufnahmewinkel der Bilddatensätze befinden sich die korrelierenden Bildpunkte des aufgenommenen Punktes p an unterschiedlichen horizontalen Positionen. Dieser Versatz lässt sich ermitteln, in dem der Offset in der Bildebene w für jeden optischen Sensor 2a, 2b ermittelt wird. Für den linken optischen Sensor 2a ergibt sich somit in der Bildebene w ein Offset E_L und für den rechten optischen Sensor 2b ergibt sich in der Bildebene w ein Offset E_R. Darüber hinaus ist der Abstand R der optischen Sensoren 2a, 2b vom Mittelpunkt bekannt. Aus diesen Informationen lässt sich nun mit den Formeln
die tatsächliche relative Koordinate (im Kopfkoordinatensystem) p_x und p_y des Punktes p in der Szene ermitteln. Es wird somit also der Abstand von dem Kopfmittelpunkt p_x sowie die Tiefe p_y des aufgenommenen Punktes p allein aufgrund der beiden aufgenommenen Bilddatensätze ermittelt.
Mit Hilfe dieser beiden Koordinaten p_x und p_y lässt sich nun der Offset x_L und x_R für das Augenpaar des Beobachters in der optischen Ebene der Augen ermitteln. Dies wird anhand der Formeln
berechnet. Dieser berechnete Offset x_L und x_R ist dabei der Offset, der sich ergeben würde, wenn der Benutzer 6 mit seinem Augenpaar dem Punkt p wahrnehmen würde. Dieser Offset x_L und x_R unterscheidet sich jedoch von den aufgenommenen Offset E_L und E_R der optischen Sensoren 2a, 2b aufgrund des größeren Abstandes R vom Kopfmittelpunkt, so dass hier eine Korrektur erfolgen muss, damit die Wahrnehmung für den Benutzer 6 nicht verzerrt ist.
Durch eine Differenzbildung beispielsweise zwischen dem Offset x_L und E_L lässt sich ein Versatz bestimmen, um den der Bildpunkt in den aufgenommenen Bilddaten des optischen Sensors 2a korrigiert werden muss. Das gleiche kann auch mit den Offsets x_R und E_R erfolgen, so dass in beiden Bilddatensätzen der optischen Sensoren 2 die beiden korrelierenden Bildpunkte in der Horizontalen verschoben werden, so dass sich ein wahrnehmungsgetreues Abbild ergibt.
Ein weiterer wesentlicher Aspekt ist das Auffinden zweier korrelierenden Bildpunkten. Noch einmal kurz erwähnt, zwei korrelierende Bildpunkte beziehen sich auf ein und denselben Punkt p der realen Szene, wobei einer der korrelierenden Bildpunkte im ersten Bilddatensatz, aufgenommen durch einen ersten optischen Sensor 2a, und der zweite Bildpunkt des korrelierenden Bildpunktpaares aus dem zweiten Bilddatensatz, aufgenommen durch den zweiten optischen Sensor 2b, stammt. Da sich aufgrund des Abstandes R der beiden optischen Sensoren 2a, 2b die beiden Bildpunkt p abbildenden Bildpunkte nicht an ein und derselben Stelle im Bilddatensatz zu finden sind, müssen diese zusammengehörenden Bildpunkte entsprechend gesucht werden.
3 zeigt schematisch die Darstellung zweier Bilddatensätze aufgenommen durch einen linken und einen rechten optischen Sensor. Der aufgenommene Bilddatensatz des linken optischen Sensors ist mit einem L und der Datensatz des rechten optischen Sensors mit einem R gekennzeichnet. Im unteren Teil der Bilddatensätze L und R befindet sich kontrastarmes Gelände, das hier nur zu Illustrationszwecken gezeigt wird. Wichtig für die folgende Erklärung ist der Punkt p, der sich in beiden Bilddatensätzen L und R an unterschiedlichen Stellen zeigt. Ausgehend vom linken Bilddatensatz L wird nun der Bildpunkt, der den Punkt p repräsentiert, im rechten Datensatz R gesucht. Dazu wird die Bildinformation, die an dem Bildpunkt hinterlegt ist, mit denen von benachbarten Bildpunkten im rechten Datensatz verglichen, bis eine hinreichende Übereinstimmung erkannt wurde. Handelt es sich bei dem Bildpunkt p beispielsweise um einen roten Punkt, so wird ein entsprechender roter Punkt auch in dem rechten Datensatz gesucht. Dazu werden einfach die benachbarten Bildpunkte im rechten Bilddatensatz durchsucht. Ist das Paar korrelierender Bildpunkte für den Punkt p gefunden, so kann daraus der Offset E_L und E_R für den jeweiligen Bildpunkt ermittelt werden. Die in 3 gezeigten Pfeile geben dabei die Richtung an, in die die Bildpunkte verschoben, d. h. korrigiert werden.
Um eine vollständige Korrektur zu erreichen, müsste jeder Bildpunkt in der Szene hinsichtlich seines Versatzes untersucht werden und ggf. korrigiert werden. Bei ca. 30 aufgenommenen Bildern pro Sekunde und einer entsprechenden Auflösung ergeben sich dabei aufgrund der rekursiven Iteration eine erhebliche Anzahl von Berechnungsschritten, die ab einer bestimmten Auflösung nicht mehr in Echtzeit durchführbar ist. Hierfür hat sich jedoch gezeigt, dass für eine gute Wahrnehmbarkeit nicht alle korrelierenden Bildpunkte gesucht werden müssen, sondern nur eventuell jeder 10. oder jeder 20.
Erfindungsgemäß ist die Bildkorrektureinheit 3 in der Art eingerichtet, dass sie über einen Bilddatensatz eine Art Gitter legt, so dass dieser in eine Vielzahl von Bildbereichen unterteilt wird. Der in der Mitte liegende Bildpunkt eines jeden Bildbereiches ist nun der Bildpunkt, zu dem der korrelierende Bildpunkt in dem anderen Bilddatensatz gesucht wird. Dazu wird beispielsweise die benachbarten Bildbereiche durchsucht. So lassen sich wesentlich schneller und ressourcensparender die entsprechend korrelierenden Bildpunkte finden.
Dabei hat es sich gezeigt, dass die Bildbereiche nicht immer gleich groß sein müssen, sondern, ohne Abstriche in der Qualität machen zu müssen, unterschiedlich groß sein können. Denn je größer ein Bildbereich ist, desto weniger Raster ergeben sich in x- und y-Richtung, so dass weniger Iterationsschritte nötig sind. Ist beispielsweise bekannt, dass der obere Bereich der Bilddaten immer über dem Horizont liegt und somit den Himmel zeigt, kann hier ein sehr grobes Raster mit wenigen Bildbereichen gewählt werden. Im Nahbereich, wo die Korrekturen in der Regel sehr stark sind, ist ein sehr feines Raster vorteilhaft, um eine feinere Auflösung bei der Korrektur zu erreichen.
Die erfindungsgemäße Anzeigevorrichtung lässt sich vorteilhafter Weise in einem Helm integrieren, bei dem die optischen Sensoren links und rechts in der Ebene der Augen des Piloten oder Helmträgers angeordnet sind. Durch die Bildkorrektur, die in Echtzeit stattfindet, wird dann das von den optischen Sensoren aufgenommen Bild korrigiert, so dass es keinerlei Tiefenverzerrungen für den Piloten ergeben, wenn ihn das dreidimensionale Bild auf jeweils zwei separaten Displays zwecks 3D-Wahrnehmung angezeigt wird.

Claims

Anzeigevorrichtung (1) mit einem Paar optischer Sensoren (2a, 2b) zur Aufnahme von 3D-Bilddaten (L, R) bestehend aus einem ersten Bilddatensatz (L) aufgenommen durch einen ersten optischen Sensor (2a) des Sensorpaares (2a, 2b) und einem zweiten Bilddatensatz (R) aufgenommen durch einen zweiten optischen Sensor (2b) des Sensorpaares (2a, 2b), mit einer Anzeigeeinheit (4) zur Anzeige aufgenommener 3D-Bilddaten (L, R), und mit einer zwischen dem optischen Sensorpaar (2a, 2b) und der Anzeigeeinheit (4) geschalteten Bildkorrektureinheit (3), welche die von dem optischen Sensorpaar (2a, 2b) aufgenommenen 3D-Bilddaten (L, R) empfängt und korrigiert zur Anzeigeeinheit (4) weiterleitet, wobei die Bildkorrektureinheit (3) bei mindestens einem Paar korrelierender Bildpunkte, das aus einem ersten Bildpunkt im ersten Bilddatensatz (L) und einem dem ersten Bildpunkt entsprechenden zweiten Bildpunkt im zweiten Bilddatensatz (R) besteht, zur Ermittlung eines Versatzes in Abhängigkeit eines Abstandes der korrelierenden Bildpunkte und zur Korrektur des korrelierenden Bildpunktepaars in Abhängigkeit des ermittelten Versatzes derart eingerichtet ist, dass bei einem Beobachter (6) eine räumliche Darstellung der 3D-Bilddaten bewirkt wird.
Anzeigevorrichtung (1) nach Anspruch 1, wobei die Anzeigeeinheit (3) aus zwei zur Anzeige der 3D-Bilddaten (L, R) eingerichteten Displays (5a, 5b) derart besteht, dass der erste Bilddatensatz (L) im ersten Display (5a) und der zweite Bilddatensatz (R) im zweiten Display (5b) anzeigbar sind.
Anzeigevorrichtung (1) nach Anspruch 2, wobei die Displays (5a, 5b) derart angeordnet sind, dass das erste Display (5a) ausschließlich von einem ersten Auge des Beobachters und das zweite Display (5b) ausschließlich von einem zweiten Auge des Beobachters wahrnehmbar sind.
Anzeigevorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Bildkorrektureinheit (3) zum Unterteilen des ersten (L) und des zweiten Bilddatensatzes (R) in eine Vielzahl von Bildbereichen (g_i,j) und zum Ermitteln korrelierender Bildpunkte in Abhängigkeit dieser Bildbereiche derart eingerichtet ist, dass jeder Bildbereich im ersten Bilddatensatz mit einem oder mehreren benachbarten Bildbereichen im zweiten Bilddatensatz verglichen wird, bis eine Übereinstimmung detektiert wird.
Anzeigevorrichtung (1) nach Anspruch 4 oder 5, wobei die Bildkorrektureinheit (3) zum Unterteilen in eine Vielzahl von Bildbereichen (g_i,j) derart eingerichtet ist, dass die Größe der Bildbereiche (g_i,j) in Abhängigkeit eines Bildinhaltes gewählt wird.
Anzeigevorrichtung (1) nach Anspruch 4 oder 5, wobei die Bildkorrektureinheit (3) zum Vergleichen zweier Bildbereiche (g_i,j) in Abhängigkeit von an den jeweiligen Bildpunkten der Bildbereiche (g_i,j) hinterlegten Bildpunktwerten, insbesondere hinterlegten Farbinformationen, derart eingerichtet ist, dass der Vergleich mittels einer statistischen Korrelation oder mittels einer mittleren Farbdifferenz der Bildpunkte durchgeführt wird.
Anzeigevorrichtung (1) nach Anspruch 6, wobei die Bildkorrektureinheit (3) zum Vergleichen zweier Bildbereiche (g_i,j) in Abhängigkeit einer statistischen Korrelation oder einer mittleren Farbdifferenz der Bildpunkte eingerichtet ist.
Anzeigevorrichtung (1) nach Anspruch 4 oder 5, wobei die Bildkorrektureinheit (3) zum Vergleichen eines Bildbereiches des ersten Bilddatensatzes (L) mit Bildbereichen des zweiten Bilddatensatzes (R) derart eingerichtet ist, dass ein Bildpunkt des Bildbereiches im ersten Bilddatensatz mit jeweils einem Bildpunkt der Bildbereiche im zweiten Bilddatensatz verglichen wird.
Anzeigevorrichtung (1) nach Anspruch 8, wobei die Bildkorrektureinheit (3) zum Vergleichen zweier Bildpunkte in Abhängigkeit von an dem jeweiligen Bildpunkt hinterlegten Bildpunktwerten, insbesondere hinterlegte Farbinformationen, eingerichtet ist.
Anzeigevorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Bildkorrektureinheit (3) zum Ermitteln der Koordinaten eines Punktes zweier korrelierender Bildpunkte in einer Ebene nach den Formeln:
eingerichtet ist, wobei p_x und p_y die Koordinaten des Punktes, R der Abstand der optischen Sensoren vom Koordinatenursprung, w die Weite der optischen Ebene, E_L der Abstand in der linken optischen Ebene des linken optischen Sensors, E_R der Abstand in der rechten optischen Ebene des rechten optischen Sensors und d der Abstand der optischen Sensoren von der optischen Ebene darstellen.
Anzeigevorrichtung (1) nach Anspruch 10, wobei die Bildkorrektureinheit (3) weiterhin zur Korrektur des Punktes zweier korrelierender Bildpunkte nach den Formeln:
eingerichtet ist, wobei x_L der korrigierte Abstand in der optischen Ebene des linken Auges des Beobachters, x_R der korrigierte Abstand in der optischen Ebene des rechten Auges des Beobachters, p_x und p_y die Koordinaten des Punktes zweier korrelierender Bildpunkte in der Ebene, r der Abstand der Augen des Beobachters vom Koordinatenursprung, w die Weite der optischen Ebene und d der Abstand der Augen von der optischen Ebene darstellen.
Anzeigevorrichtung (1) nach Anspruch einem der vorhergehenden Ansprüche, wobei die Anzeigevorrichtung (1) mit den optischen Sensoren (2a, 2b), der Anzeigeeinheit (4) inklusive den Displays (5a, 5b) und der Bildkorrektureinheit (3) an einem Helm angeordnet sind.
Anzeigevorrichtung (1) nach Anspruch 11, wobei die optischen Sensoren (2a, 2b) in einer Ebene mit den Augen des Beobachters (6) an dem Helm angeordnet sind.