DE102017004859A1 - Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays und zugehörige Kalibriervorrichtung - Google Patents

Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays und zugehörige Kalibriervorrichtung Download PDF

Info

Publication number
DE102017004859A1
DE102017004859A1 DE102017004859.2A DE102017004859A DE102017004859A1 DE 102017004859 A1 DE102017004859 A1 DE 102017004859A1 DE 102017004859 A DE102017004859 A DE 102017004859A DE 102017004859 A1 DE102017004859 A1 DE 102017004859A1
Authority
DE
Germany
Prior art keywords
pixels
image
projection image
raw image
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102017004859.2A
Other languages
English (en)
Other versions
DE102017004859B4 (de
Inventor
Stephan Schmid
Janis Werner
Marc Necker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102017004859.2A priority Critical patent/DE102017004859B4/de
Publication of DE102017004859A1 publication Critical patent/DE102017004859A1/de
Application granted granted Critical
Publication of DE102017004859B4 publication Critical patent/DE102017004859B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays (10) eines Fahrzeugs (100). In einem ersten Schritt des Verfahrens erfolgt das Projizieren (S1) eines Rohbildes (20) auf eine Fahrzeugscheibe (12) durch einen Bildgeber (11) zum Erzeugen eines Projektionsbildes (30), wobei das Rohbild (20) aus einer Matrix von einzelnen Pixeln (21) besteht und wobei eine Vielzahl von Pixeln (21) des Rohbildes (20) einen für ein jeweiliges Pixel (21) charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist. In einem zweiten Schritt erfolgt das Erfassen (S2) der Pixel (31) des Projektionsbildes (30) durch eine an einer ersten Kopfposition (41) eines Fahrzeuginsassen angeordnete erste Kamera (14), woraufhin anhand des charakteristischen zeitabhängigen Verlauf in der Lichtintensität ein Vergleichen (S4) von einzelnen Pixeln (31) des an der ersten Kopfposition (41) aufgenommenen Projektionsbildes (30) mit Pixeln (21) des Rohbildes (20) und das Ermitteln einer aus der Optik des Head-Up-Displays (10) resultierenden Transformation T erfolgt, wobei die Transformation T eine Verzerrung des Projektionsbildes (30) gegenüber dem Rohbild (20) angibt. Schließlich erfolgt das Ermitteln (S6) einer Korrektur K aus der Transformation T zur Anwendung auf das Rohbild (20) zur Erzeugung eines modifizierten Projektionsbildes (30) derart, dass das auf die Fahrzeugscheibe (12) projizierte modifizierte Projektionsbild (32) gegenüber dem Rohbild (20) unverzerrt dargestellt wird.

Description

  • Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs, sowie eine Kalibriervorrichtung zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs.
  • Die US 2008/0089611 A1 betrifft ein Verfahren zum Anpassen eines auf eine gekrümmte Oberfläche projizierten Bildes.
  • Die US 2004/0179271 A1 betrifft eine elektronische Korrekturvorrichtung zum Korrigieren von optischen Verzerrungen einer Optik zum Kollimieren und Überlagern einer kollimierten Anzeige für den Fall, dass das Display einem Matrix Typ entspricht.
  • Die US 9,454,808 B2 betrifft eine musterverarbeitende Vorrichtung mit einer Erfassungseinheit, einer Identifikationseinheit für benachbarte Elemente, einer Verbindungseinheit und einer Zuordnungseinheit.
  • Die GB 2514008 A betrifft eine Anzeigevorrichtung mit einer Vielzahl von positionsfesten Bildprojektoren und mit einem Anzeigeschirm, der eine zumindest teilweise zylindrische Anzeigeoberfläche aufweist, weiterhin mit einem Datenprozessor, mit einer Vielzahl von positionsfesten Bildsensoren und mit einer Lichtemittieranordnung, die eine Reihe von LEDs aufweisen kann und die zum Emittieren von Licht an einer Vielzahl von Referenzpunkten an dem Anzeigeschirm eingerichtet ist.
  • Aufgabe der Erfindung ist es, den Kalibriervorgang eines Head-Up Displays zu verbessern.
  • Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
  • Die folgenden Informationen können für das Verständnis der Erfindung nützlich sein und gehören nicht zwangsläufig zum Stand der Technik: Insbesondere für die Ausgabe von Informationen, die in einer Umgebung für augmentierte Realität („Augmented Reality“) einem realen Objekt kontaktanalog überlagert dargestellt werden, weisen Head-Up Displays („HUD“) im Automobilbereich Vorteile gegenüber alternativen Anzeigemedien auf. Mit Head-Up Displays können die Informationen in der augmentierten Realität beispielsweise direkt in das Sichtfeld des Fahrers eingeblendet werden, sodass der Fahrer die Informationen wahrnehmen kann, ohne dass er dazu seine Blickrichtung verändern muss. Häufig erfordern jedoch Head-Up Displays einen gewissen Kalibrieraufwand, insbesondere solche, die eine Fahrzeugscheibe als Projektionsfläche verwenden. Auf der Fahrzeugscheibe wird das darauf projizierte Bild in das Sichtfeld des Fahrers reflektiert. Dabei ist die Fahrzeugscheibe üblicherweise nicht konstruktiv auf diese Reflexion ausgelegt, sondern wird vielmehr unter aerodynamischen und ästhetischen Gesichtspunkten entworfen. Darüber hinaus weist jede Fahrzeugscheibe individuelle Eigenschaften auf und unterliegt fertigungsbedingten Abweichungen von einer nominalen Geometrie. In Kombination mit einem toleranzbehafteten Zusammenbau des Gesamtsystems „Rahmen-Fahrzeugscheibe“ und anderen Anbauten ergeben sich somit aus Sicht des Fahrers Verzerrungen des auf die Fahrzeugscheibe projizierten Bildes, die insbesondere von einer Kopfposition des Fahrers abhängig sind. Unkorrigiert beeinträchtigen diese Verzerrungen den Komfort und die Ergonomie und können im Extremfall das System unbrauchbar machen.
  • Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs. In einem ersten Schritt des Verfahrens erfolgt das Projizieren eines Rohbildes auf eine Fahrzeugscheibe durch einen Bildgeber des Head-Up Displays zum Erzeugen eines Projektionsbildes auf der Fahrzeugscheibe, wobei das Rohbild aus einer Matrix von einzelnen Pixeln besteht und wobei eine Vielzahl von Pixeln des Rohbildes einen für ein jeweiliges Pixel charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist. In einem zweiten Schritt des Verfahrens erfolgt das Erfassen der Pixel des Projektionsbildes durch eine an einer ersten Kopfposition eines Fahrzeuginsassen angeordnete erste Kamera, woraufhin anhand des charakteristischen zeitabhängigen Verlaufs in der Lichtintensität das Vergleichen von einzelnen Pixeln des an der ersten Kopfposition aufgenommenen Projektionsbildes mit Pixeln des Rohbildes und das Ermitteln einer aus der Optik des Head-Up-Displays resultierenden Transformation T erfolgt, wobei die Transformation T eine Verzerrung des Projektionsbildes gegenüber dem Rohbild angibt. Im darauf folgenden Schritt findet das Ermitteln einer derartigen Korrektur K aus der Transformation T zur Anwendung auf das Rohbild zur Erzeugung eines modifizierten Projektionsbildes statt, dass das auf die Fahrzeugscheibe projizierte modifizierte Projektionsbild gegenüber dem Rohbild unverzerrt dargestellt wird.
  • Mittels es charakteristischen zeitabhängigen Verlauf in der Lichtintensität ist eine eindeutige Zuordnung eines Pixels des Rohbildes an dem Bildgeber zu einem auf dem Projektionsbild dargestellten Pixel ermöglicht. Mit anderen Worten stellt der charakteristische zeitabhängige Verlauf in der Lichtintensität eine Kennung dar, womit einem Pixel auf dem Projektionsbild das ursächliche Pixel am Bildgeber bestimmbar ist. Bei dem Vergleichen der einzelnen Pixel des Projektionsbildes mit Pixeln des Rohbildes wird insbesondere die Lage der Pixel zueinander betrachtet.
  • Das Fahrzeug kann ein PKW, LKW, Bus, Schienenfahrzeug, Wasserfahrzeug (beispielsweise Schiff), Unterwasserfahrzeug, oder ein Luftfahrzeug sein.
  • Die Lichtintensität korreliert mit einer Lichtenergie und wird insbesondere in der Einheit „Lumen“ angegeben.
  • Die Fahrzeugscheibe ist bevorzugt eine Windschutzscheibe des Fahrzeugs.
  • Die jeweilige Kopfposition ist insbesondere eine aus einer Vielzahl von Kopfpositionen, von der erwartet wird, dass sie ein Fahrer des Fahrzeugs während einer Fahrt einnehmen wird. Die Kopfposition im Sinne des Positionsbegriffs bezeichnet eine Position eines Punktes, der bevorzugt auf der Mitte einer gedachten Verbindungslinie zwischen den Augen des Fahrers angeordnet wird, wenn der Fahrzeuginsasse sich im Fahrzeug befindet. Die jeweilige Kopfposition ist jedoch lediglich als Positionsangabe einer zu erwartenden Kopfposition aufzufassen und setzt nicht voraus, dass der Fahrzeuginsasse auch tatsächlich die jeweilige Kopfposition aktuell einnimmt oder sich überhaupt im Fahrzeug aufhält.
  • Das Rohbild ist insbesondere dasjenige Bild, das unmittelbar vom Bildgeber des Head-Up Displays erzeugt und ausgegeben wird. Dieses Rohbild besteht bevorzugt aus einer Vielzahl von Pixeln, die insbesondere seriell vom Bildgeber erzeugt werden. Der Bildgeber kann auch als Projektor bezeichnet werden, da er insbesondere zur Erzeugung des Lichtes in den einzelnen Pixeln dient.
  • Die Optik des Head-Up-Displays beschreibt insbesondere den Strahlengang (bevorzugt einschließlich der Abstrahlcharakteristik des Bildgebers) durch die jeweiligen optischen Elemente des Head-Up Displays. Mögliche optische Elemente sind unter anderem Umlenkspiegel, Kollimatoren, Linsen, und eine Projektionsfläche, für die bevorzugt die Fahrzeugscheibe verwendet wird. Die Optik erzeugt dabei eine gewünschte Übertragung der vom Bildgeber erzeugten Pixel des Rohbildes auf das Projektionsbild, insbesondere jedoch auch eine ungewünschte Verzerrung des Projektionsbildes gegenüber dem Rohbild. Diese Verzerrung wird insbesondere durch die Transformation T beschrieben.
  • Der charakteristische zeitabhängige Verlauf in der Lichtintensität kann auch als Blinkcode bezeichnet werden. Die Blinkcodes der Pixel des Rohbildes sind bevorzugt so ausgestaltet, dass jedes der von der zumindest ersten Kamera erfassten Pixel des Projektionsbildes zu einem für dieses Pixel ursächlichen Pixel des Rohbildes zugeordnet werden kann. Dies bedeutet insbesondere auch, dass die Transformation T für jedes einzelne von der zumindest ersten Kamera erfasste Pixel des Projektionsbildes bestimmt werden kann.
  • Abhängig von der Optik des Head-Up Displays kann es zu einer Abschattung von Pixeln im Randbereich des Bildgebers oder anderer optischer Elemente (Beispiele siehe oben) kommen. Die Abschattung, das heißt das nicht Vorhanden sein, einzelner Pixel auf dem Projektionsbild ist insbesondere dadurch erkennbar, dass die jeweiligen von Abschattung betroffenen Pixel im Projektionsbild nicht erfassbar sind.
  • Insbesondere umfasst die Transformation T eine geometrische Verzerrung.
  • Weiterhin umfasst die Transformation T insbesondere eine Verzerrung in den Lichtstärken der jeweiligen Pixel des Projektionsbildes gegenüber den (zugehörigen) Pixeln des Rohbilds. Die Verzerrungen in den Lichtstärken der jeweiligen Pixel sind wiederum insbesondere durch Effekte in der Optik des Head-Up Displays begründet. Das heißt, es gibt Bereiche im Projektionsbild, in denen das Projektionsbild heller erscheint als in anderen Bereichen. Die ungleichmäßige Helligkeit des Projektionsbildes lässt sich insbesondere dadurch kompensieren, dass bei Pixeln des Rohbildes, die in dunklere Bereiche des Projektionsbildes abgebildet werden, die Lichtintensität des Pixels erhöht wird und dass bei Pixeln des Rohbildes, die in hellere Bereiche des Projektionsbildes abgebildet werden, die Lichtintensität verringert wird. Vorteilhaft erfolgt die Einstellung der Lichtintensität über einen bekannten Faktor, der zwischen der Lichtintensität eines Pixels des Rohbildes und der Lichtintensität des zugehörigen Pixels des Projektionsbildes besteht. Zur Kalibrierung der Lichtintensität wird insbesondere die jeweilige Lichtintensität der Pixel des Projektionsbildes mittels Kameraaufnahmen ermittelt, wobei bevorzugt hierzu alle Pixel des Rohbildes und insbesondere der jeweilige Maximalwert des Binärcodes auf dieselbe Lichtintensität eingestellt werden und anschließend im durch die jeweilige Kamera erfassten Projektionsbild die Lichtintensität eines jeweiligen Pixels ermittelt wird.
  • Es ist eine vorteilhafte Wirkung der Erfindung, dass das Kalibrieren eines Head-Up Displays eines Fahrzeugs sehr genau erfolgen kann, da die Transformation T (die einer Verzerrungsfunktion des vom Bildgeber emittierten Rohbildes in seinem Verlauf durch die Optik des Head-Up Displays zur und über die Fahrzeugscheibe entspricht) für eine Vielzahl von Pixeln einzeln ermittelt werden kann, anstatt nur für ganze Projektionsbilder oder Bereiche eines Projektionsbildes. Es ist ferner eine weitere vorteilhafte Wirkung der Erfindung, dass das Verfahren nicht iterativ angewendet werden muss, sondern bereits bei erstmaliger Anwendung eine vollständige Kalibrierung des Head-Up Displays ermöglicht. Insbesondere kann durch Verwendung mehrerer Kameras ein Projektionsbild von mehreren Kopfpositionen aus gleichzeitig erfasst werden und für jede der Kopfposition eine eigene Transformationen T ermittelt werden. Es ist außerdem eine weitere vorteilhafte Wirkung der Erfindung, dass das Verfahren den Informationsfluss vom Bildgeber bis zu der jeweiligen Kamera effizienter ausschöpft, da die über diesen Informationsfluss übertragenen Informationen aus dem Rohbild nicht nur eine Musterdarstellung zum Vergleich mit der abgespeicherten Musterdarstellung beinhalten, sondern zusätzlich dazu eine Information zur Identifizierbarkeit eines jeweiligen vom Bildgeber emittierten Pixels des Rohbildes. Dies erlaubt eine signifikante Reduktion der zur Kalibration benötigten Zeit.
  • Gemäß einer vorteilhaften Ausführungsform ist die Transformation T eine Transformationsmatrix und die Korrektur K eine aus der Transformationsmatrix abgeleitete und Warpingmatrix genannte Matrix zur Korrektur des Rohbildes.
  • In vorteilhafter Weise sind die Transformation T und Korrektur K in der Regel stetige oder differenzierbare Funktionen, welche invertierbar im Sinne von lokalen Homöomorphismen oder Diffeomorphismen sind.
  • Gemäß einer vorteilhaften Ausführungsform werden T und / oder K durch geeignete diskrete Darstellungen für glatte Funktionen beschrieben, in dem sie z.B. als mehrdimensionale Splines (z.B. B-Splines), strukturierte oder unstrukturierte Polygonnetze, Wertetabellen, Bezierflächen, NURBS o.ä. dargestellt werden.
  • Die Koeffiziententabelle einer solchen Darstellungen (im Stand der Technik werden üblicherweise zweidimensionale lineare B-Splines verwendet) werden üblicherweise als Kalibrationsmatrix bezeichnet.
  • Vorteilhaft lassen sich die diskreten Darstellungen für K und / oder T automatisiert durch Data-fitting bestimmen. Dabei können diskrete Darstellungen für K oder T direkt durch Data-fitting auf die Messdaten bestimmt werden. Weiterhin können mit Data-fitting Transformationen invertiert werden, d.h. man kann K aus T oder T aus K bestimmen.
  • Jede der Matrizen beschreibt insbesondere eine Abbildungsvorschrift aus Zeilen und Spalten. Insbesondere ist die identifizierte Matrix der Transformation T invertierbar und damit die Matrix der Korrektur K durch Matrixinversion oder Berechnung der Pseudo-Inversen der Matrix der Transformation T erzeugbar. Vorteilhaft ist durch die Matrixinversion eine automatisierte Berechnung der jeweiligen Korrektur K möglich.
  • Gemäß einer weiteren vorteilhaften Ausführungsform werden zum Ermitteln der Korrektur K die gewünschten Farbwerte der Pixel des Projektionsbildes ermittelt und der Farbwert auf das durch die Transformation T bestimmten für die Pixel des Projektionsbildes ursächlichen Pixel des Rohbildes angewendet werden. Der gewünschte Farbwert für ein Pixel des Projektionsbildes wird durch Bestimmung des Farbwertes des Pixels an der dem Projektionsbild entsprechenden Position des Rohbildes bestimmt.
  • Durch die ermittelte Transformation T kann für ein Pixel des Projektionsbildes das jeweils zugehörige ursächliche Pixel des Rohbildes ermittelt werden. Demnach ist eine Zuordnung der Pixel des Rohbildes zu den Pixeln des Projektionsbildes möglich. Nach der Zuordnung wird insbesondere durch entsprechende Einstellung der Pixel des Rohbildes die an den jeweiligen Pixeln des Projektionsbildes gewünschten Farbwerte eingestellt. Vorteilhaft beschränkt sich insbesondere der Rechenaufwand auf die Zuordnung.
  • Gemäß einer weiteren vorteilhaften Ausführungsform erfolgt in weiteren Schritten des Verfahrens das Erfassen der Pixel des Projektionsbildes durch eine an einer zweiten Kopfposition eines Fahrzeuginsassen angeordnete zweite Kamera, das Vergleichen von einzelnen Pixeln des an der zweiten Kopfposition aufgenommenen Projektionsbildes mit Pixeln des Rohbildes, und das Ermitteln einer aus der Optik des Head-Up-Displays resultierenden Transformation T.
  • Diese Ausführungsform betrifft insbesondere ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs, aufweisend die folgenden Schritte:
    • - Projizieren eines Rohbildes auf eine Fahrzeugscheibe durch einen Bildgeber zum Erzeugen eines Projektionsbildes auf der Fahrzeugscheibe, wobei das Rohbild aus einer Matrix von einzelnen Pixeln besteht und wobei eine Vielzahl von Pixeln des Rohbildes einen für ein jeweiliges Pixel charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist,
    • - Erfassen der Pixel des Projektionsbildes durch eine an einer ersten Kopfposition eines Fahrzeuginsassen angeordnete erste Kamera,
    • - Erfassen der Pixel des Projektionsbildes durch eine an einer zweiten Kopfposition eines Fahrzeuginsassen angeordneten zweiten Kamera, und
    • - anhand des charakteristischen zeitabhängigen Verlaufs in der Lichtintensität Vergleichen von einzelnen Pixeln des an der ersten Kopfposition aufgenommenen Projektionsbildes mit Pixeln des Rohbildes und Ermitteln einer ersten aus der Optik des Head-Up-Displays resultierenden Transformation T, wobei die erste Transformation T eine Verzerrung des Projektionsbildes gegenüber dem Rohbild aus Sicht der ersten Kopfposition angibt, und
    • - anhand des charakteristischen zeitabhängigen Verlaufs in der Lichtintensität Vergleichen von einzelnen Pixeln des an der zweiten Kopfposition aufgenommenen Projektionsbildes mit Pixeln des Rohbildes und Ermitteln einer zweiten aus der Optik des Head-Up-Displays resultierenden Transformation T, wobei die zweite Transformation T eine Verzerrung des Projektionsbildes gegenüber dem Rohbild aus Sicht der zweiten Kopfposition angibt, und
    • - Ermitteln einer ersten und zweiten Korrektur K aus der ersten und zweiten Transformation T zur Anwendung auf das Rohbild zur Erzeugung eines modifizierten Projektionsbildes derart, dass das auf die Fahrzeugscheibe projizierte modifizierte Projektionsbild gegenüber dem Rohbild jeweils aus Sicht der ersten und der zweiten Kopfposition unverzerrt dargestellt wird.
  • Vorteilhaft wird mit dieser Ausführungsform für eine Vielzahl von Kopfpositionen eine jeweilige Korrektur K ermittelt. Die spätere Anwendung der jeweiligen Korrektur K auf das Rohbild erfolgt bevorzugt durch ein Erfassen einer tatsächlichen Kopfposition und insbesondere durch eine Interpolation der ersten und der zweiten Korrektur K abhängig von der aktuellen tatsächlichen Kopfposition des Fahrzeuginsassen.
  • Gemäß einer weiteren vorteilhaften Ausführungsform weist der zeitabhängige Verlauf in der Lichtintensität eine Sequenz aus zwei voneinander verschiedenen Lichtintensitäten auf.
  • Ein Signalverlauf mit genau zwei verschiedenen Werten, wobei die Abfolge der Werte eine Information beinhaltet, wird auch Binärcode genannt. Durch zwei verschiedene Lichtintensitäten an einem Pixel kann ein solcher Binärcode erzeugt werden, wobei jeweils zwei Pixel des Rohbildes, bevorzugt zwei benachbarte Pixel des Rohbildes, bevorzugt einen möglichst großen Hamming-Abstand zueinander aufweisen. Der Hamming-Abstand, auch Hamming-Distanz genannt, beschreibt ein Maß für die Verschiedenheit von gleich langen Zeichenketten. Im Falle von Binärcode ist der Hamming-Abstand umso größer, je mehr Symbole an jeweils gleichen Positionen einer binären Zeichenkette sich unterscheiden. Insbesondere weisen die Zeichenketten 01010101 und 01010100 eine geringere Hamming-Distanz zueinander auf als die Zeichenketten 01010101 und 11111101, da sich die Zeichenketten in der letzteren Variante in mehreren Positionen voneinander unterscheiden als in der zuerst genannten Variante. Ähnlich zu obigen Ausführungen bezüglich eines Hamming-Abstands von digitalen Codes und Zeichenketten zueinander, insbesondere von Binärcodes, gibt das Skalarprodukt von zwei Signalen zueinander ein Maß für einen Winkel zwischen den als Vektoren auffassbaren Zeichenketten zueinander an. Je verschiedener insbesondere die beiden Zeichenketten zueinander sind, umso kleiner wird der Betrag des Skalarprodukts aus den beiden Zeichenketten sein.
  • Vorteilhaft wird der Einfluss von Messrauschen dadurch reduziert, dass die zeitliche Länge der diskreten Signalwerte (Bits) des binären Blinkcodes einen vorgegebenen Grenzwert übersteigt. Dies rührt daher, dass ein längeres Erfassen der Pixel des Projektionsbildes die Aufnahme einer höheren Photonenzahl bewirkt und dadurch zufälliges Rauschen („white noise“) über eine längere Zeit sich durch Integration der aufgenommenen Lichtmenge (dies entspricht einer längeren Beleuchtungszeit) der Rauschanteil im Signal näher zu Null ausintegriert.
  • Vorteilhaft wird durch diese Ausführungsform die Unterscheidung zwischen zwei Pixeln des Projektionsbildes, insbesondere von zwei benachbarten Pixeln des Projektionsbildes, erleichtert und damit die Zuordnung eines erfassten Pixels des Projektionsbildes zu einem Pixel des Rohbildes vereinfacht.
  • Gemäß einer weiteren vorteilhaften Ausführungsform weist der zeitabhängige Verlauf in der Lichtintensität eine sich kontinuierliche ändernde Abfolge von Lichtintensitäten auf.
  • Die oben genannten Aussagen zum Skalarprodukt zwischen zwei Zeichenketten und zum Hamming-Abstand zwischen zwei Zeichenketten lassen sich nur indirekt auf kontinuierliche Signale übertragen. Jedoch sind auch im Falle der kontinuierlichen Signale die kontinuierlichen Signale von zwei Pixeln des Rohbildes, insbesondere von zwei benachbarten Pixeln des Rohbildes, möglichst verschieden. Die Verschiedenheit von zwei kontinuierlichen Signalen kann insbesondere durch spektrale Eigenschaften der Signale angegeben werden. Vorteilhaft wird hierdurch wiederum eine Verwechslungsgefahr zwischen zwei Pixeln, insbesondere von zwei benachbarten Pixeln, verringert.
  • Gemäß einer weiteren vorteilhaften Ausführungsform wird jeweils eine Zahl n von paarweise nicht benachbarten Pixeln des Projektionsbildes mit n Pixeln des Rohbildes verglichen, wobei die Zahl n kleiner als die Zahl aller Pixel des Projektionsbildes ist.
  • Je nach Realisierung der Optik des Head-Up Displays kann von einer Stetigkeit und Lipschitzkonstanz der Verzerrung und damit der Transformation T ausgegangen werden. In anderen Worten ist das zusätzliche Inkrement einer Verzerrung normiert auf einen Abstand zwischen zwei benachbarten Pixeln klein im Vergleich zur gesamten Verzerrung zweier möglichst weit auseinander liegender Pixel. In wiederum anderen Worten ist die Änderung der Verzerrung über einen Durchmesser des Projektionsbildes begrenzt.
  • Insbesondere ist die geometrische Verzerrung eine kontinuierliche und stetige Funktion in Abhängigkeit der Koordinaten des Projektionsbildes. Diese Stetigkeit und Lipschitzkonstanz der geometrischen Verzerrung lässt sich durch diese Ausführungsform vorteilhaft ausnutzen, indem nicht jedes Pixel des Projektionsbildes ausgemessen wird, sondern nur eine Untermenge aller Pixel des Projektionsbildes. Damit werden vorteilhaft Ungenauigkeiten bei der Erfassung von Pixeln des Projektionsbildes durch Überlappung umgangen und die einzelnen Pixel sind auf Grund der verringerten Pixelzahl leichter identifizierbar. Vorteilhaft ist damit die Datenmenge in den Blinkcodes reduzierbar, da eine geringere Anzahl von Pixeln zu erfassen ist. Weiterhin vorteilhaft weisen nur die n Pixel des Rohbildes einen für das jeweilige der n Pixel charakteristischen zeitabhängigen Verlauf in der Lichtintensität auf.
  • Gemäß einer weiteren vorteilhaften Ausführungsform weist der zeitabhängige Verlauf in der Lichtintensität eine erste Farbe und eine zweite Farbe auf, wobei für den Verlauf in der ersten Farbe eine erste Korrektur K ermittelt wird und für den Verlauf in der zweiten Farbe eine zweite Korrektur K ermittelt wird.
  • Insbesondere wenn vom Bildgeber emittiertes Licht unterschiedlicher Wellenlänge durch die Optik des Head-Up Displays unterschiedlichen Verzerrungen (ausgedrückt durch unterschiedliche Transformationen T) unterliegt, wird vorteilhaft in dieser Ausführungsform ein Pixel des Rohbildes mit mehreren Farben vom Bildgeber ausgegeben und für den Verlauf in der ersten Farbe eine erste Korrektur K ermittelt und für den Verlauf in der zweiten Farbe eine zweite Korrektur K ermittelt. Hierbei kann sowohl eine Graukamera für die jeweilige Kamera verwendet werden (wenn die Farbkomponenten des jeweiligen Pixels nacheinander ausgemessen werden) als auch eine Farbkamera (damit können die Farbkomponenten des jeweiligen Pixels simultan erfasst werden). Vorteilhaft wird hierdurch der Effekt berücksichtigt, dass vom Bildgeber emittiertes Licht unterschiedlicher Wellenlänge durch die Optik des Head-Up Displays unterschiedlichen Transformationen T unterliegen kann.
  • Gemäß einer weiteren vorteilhaften Ausführungsform weist die Vielzahl von Pixeln des Rohbildes einen für das jeweilige Pixel des Rohbildes ersten charakteristischen zeitabhängigen Verlauf in der Lichtintensität in einer ersten Farbe und einen für das jeweilige Pixel vom ersten verschiedenen zweiten charakteristischen zeitabhängigen Verlauf in der Lichtintensität in einer zweiten Farbe auf, wobei für den Verlauf in der ersten Farbe eine erste Korrektur K ermittelt wird und für den Verlauf in der zweiten Farbe eine zweite Korrektur K ermittelt wird.
  • Vorteilhaft sind hierdurch die jeweiligen Transformationen T für eine jeweilige Farbe gleichzeitig ermittelbar. Bevorzugt wird ein Pixel des Rohbildes durch eine rote Lichtquelle, durch eine grüne Lichtquelle, und durch eine blaue Lichtquelle erzeugt. Insbesondere ist die jeweilige Lichtquelle für eine jeweilige Farbe einzeln vom Bildgeber ansteuerbar, so dass jede der Lichtquellen einen für die Lichtquelle zeitabhängigen charakteristischen Verlauf in der Lichtintensität ausgibt.
  • Gemäß einer weiteren vorteilhaften Ausführungsform wird beim Ermitteln der Korrektur K ein virtuelles räumliches Modell des Bildgebers und der Fahrzeugscheibe für eine erste Schätzung der Korrektur K verwendet.
  • Bevorzugt wird hierdurch a-priori Wissen zur Reduktion des benötigten Informationsgehalts des zeitabhängigen charakteristischen Verlaufs in der Lichtintensität eines jeweiligen Pixels genutzt. So wird insbesondere eine erste Schätzung der Transformation T aus CAD-Daten (CAD: „Computer-Aided-Design“) bestimmt, wodurch sich die Zuordnung eines Pixels des Projektionsbildes in erster Näherung auf eine Gruppe von Pixeln des Rohbildes reduzieren lässt. Bevorzugt weist dann ein Pixel des Rohbildes einen bezüglich aller Pixel dieser Gruppe einzigartigen zeitabhängigen und für das Pixel charakteristischen Verlauf in der Lichtintensität auf. Insbesondere lässt sich damit die Länge der Blinkcodes und somit der Zeitaufwand für die Kalibration verringern.
  • Gemäß einer weiteren vorteilhaften Ausführungsform erfolgt das Projizieren des Rohbildes durch den Bildgeber und das Erfassen des Projektionsbildes durch die jeweilige Kamera synchronisiert.
  • Die Synchronisation zwischen dem Bildgeber und der jeweiligen Kamera wird bevorzugt über einen externen Sychronisationskanal (z.B. mittels einer Kabelverbindung, über die eine Zeitinformation ausgetauscht wird, oder mittels synchronisierter Uhren) durchgeführt. Weiterhin bevorzugt erfolgt die Synchronisation über die Blinkcodes selbst. Im letzteren Fall wird zusätzlich zum Blinkcode eines Pixels in zumindest einem der Pixel des Rohbildes eine Synchronisationssequenz angefügt. Die Synchronisationssequenz weist bevorzugt wiederum die bevorzugten Signaleigenschaften der Blinkcodes wie oben beschrieben auf. Weiterhin bevorzugt erfolgt die Synchronisation durch Anzeigen einer gemeinsamen Lichtintensität für alle Pixel des Rohbildes für einen vordefinierten Zeitraum.
  • Gemäß einer weiteren vorteilhaften Ausführungsform weisen der zeitabhängige Verlauf in der Lichtintensität eines ersten Pixels und der zeitabhängige Verlauf in der Lichtintensität eines zweiten zum ersten benachbarten Pixels einen gemeinsamen Teilverlauf auf.
  • Der gemeinsame Teilverlauf bedeutet insbesondere, dass zu gewissen Zeiten während des zeitabhängigen Verlaufs der Lichtintensität beide Pixel dasselbe Signal ausgeben. Vorteilhaft kann ein Pixel des Projektionsbildes anhand seines Blinkcodes und des Blinkcodes eines benachbarten Pixels identifiziert, das heißt einem Pixel des Rohbilds zugeordnet werden.
  • Ein weiterer Aspekt der Erfindung betrifft eine Kalibriervorrichtung zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs, aufweisend:
    • - einen Bildgeber zum Projizieren eines Rohbildes auf eine Fahrzeugscheibe zum Erzeugen eines Projektionsbildes auf der Fahrzeugscheibe, wobei das Rohbild aus einer Matrix von einzelnen Pixeln besteht und wobei eine Vielzahl von Pixeln des Rohbildes einen für ein jeweiliges Pixel des Rohbildes charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist,
    • - eine an einer ersten Kopfposition eines Fahrzeuginsassen angeordnete erste Kamera zum Erfassen der Pixel des Projektionsbildes,
    • - eine Recheneinheit zum Vergleichen von einzelnen Pixeln des an der ersten Kopfposition aufgenommenen Projektionsbildes mit Pixeln des Rohbildes, und zum Ermitteln einer aus der Optik des Head-Up-Displays resultierenden Transformation T, wobei die Transformation T eine Verzerrung des Projektionsbildes gegenüber dem Rohbild angibt, und zum Ermitteln einer derartigen Korrektur K aus der Transformation T zur Anwendung auf das Rohbild zur Erzeugung eines modifizierten Projektionsbildes auf der Fahrzeugscheibe, dass das modifizierte Projektionsbild gegenüber dem Rohbild unverzerrt dargestellt wird.
  • Vorteile und bevorzugte Weiterbildungen der vorgeschlagenen Kalibriervorrichtung ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
  • Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einer Kalibriervorrichtung wie oben und im Folgenden beschrieben.
  • Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
  • Es zeigen:
    • 1 ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs gemäß einem allgemeinen Ausführungsbeispiel der Erfindung,
    • 2 eine Kalibriervorrichtung zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs gemäß einem weiteren Ausführungsbeispiel der Erfindung,
    • 3 ein Fahrzeug mit einer Kalibriervorrichtung zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays des Fahrzeugs gemäß einem weiteren Ausführungsbeispiel der Erfindung,
    • 4 ein Rohbild eines Bildgebers eines Head-Up Displays eines Fahrzeugs zu einem ausgewählten Zeitpunkt gemäß einem weiteren Ausführungsbeispiel der Erfindung,
    • 5 zeitabhängige und für ein jeweiliges Pixel des Rohbilds eines Bildgebers eines Head-Up Displays eines Fahrzeugs charakteristische Verläufe in der Lichtintensität gemäß einem weiteren Ausführungsbeispiel der Erfindung,
    • 6 ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays des Fahrzeugs gemäß einem ersten speziellen Ausführungsbeispiel der Erfindung, und
    • 7 ein zum Verfahren der 6 alternatives Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays des Fahrzeugs gemäß einem zweiten speziellen Ausführungsbeispiel der Erfindung.
  • Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
  • Die 1 bis 3 zeigen schematische Abbildungen eines möglichen Verfahrens und einer möglichen Kalibriervorrichtung 200. Durch die schematische Natur dieser 1 bis 3 kann in der sich daran anschließenden Beschreibung der verschiedenen Ausführungsformen der 4 bis 7 grundsätzlich ein Bezug auf die 1 bis 3 erfolgen.
  • 1 zeigt ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays 10 eines Fahrzeugs 100. Hierbei wird im ersten Schritt ein Projizieren S1 eines Rohbildes 20 auf eine Fahrzeugscheibe 12 durch einen Bildgeber 11 zum Erzeugen eines Projektionsbildes 30 auf der Fahrzeugscheibe 12 durchgeführt, wobei das Rohbild 20 aus einer Matrix von einzelnen Pixeln 21 besteht und wobei eine Vielzahl von Pixeln 21 des Rohbildes 20 einen für ein jeweiliges Pixel 21 charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist. Der für ein jeweiliges Pixel 21 charakteristische zeitabhängige Verlauf ist in zwei Ausführungsformen in der 5 näher erläutert. In einem zweiten Schritt findet das Erfassen S2 der Pixel 31 des Projektionsbildes 30 durch eine an einer ersten Kopfposition 41 eines Fahrzeuginsassen angeordnete erste Kamera 14 und das Erfassen S3 der Pixel 31 des Projektionsbildes 30 durch eine an einer zweiten Kopfposition 42 eines Fahrzeuginsassen angeordneten zweiten Kamera 16 statt. Anschließend erfolgt das Vergleichen S4 von einzelnen Pixeln 31 des an der ersten Kopfposition 41 aufgenommenen Projektionsbildes 30 mit Pixeln 21 des Rohbildes 20 und das Ermitteln einer aus der Optik des Head-Up-Displays 10 resultierenden Transformation T für die erste Kopfposition 42. Ebenso erfolgt das Vergleichen S5 von einzelnen Pixeln 31 des an der zweiten Kopfposition 42 aufgenommenen Projektionsbildes 30 mit Pixeln 21 des Rohbildes 20 und das Ermitteln einer aus der Optik des Head-Up-Displays 10 resultierenden Transformation T für die zweite Kopfposition 42, wobei die jeweilige Transformation T eine Verzerrung des Projektionsbildes 30 gegenüber dem Rohbild 20 angibt. Dem folgt das Ermitteln S6 einer ersten und zweiten Korrektur K für die erste und zweite Transformation T zur Anwendung auf das Rohbild 20 zur Erzeugung eines modifizierten Projektionsbildes 32 derart, dass das auf die Fahrzeugscheibe 12 projizierte modifizierte Projektionsbild 32 gegenüber dem Rohbild 20 unverzerrt dargestellt wird.
  • 2 zeigt eine Kalibriervorrichtung 200 zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays 10 eines Fahrzeugs 100, aufweisend:
    • - einen Bildgeber 11 zum Projizieren eines Rohbildes 20 auf eine Fahrzeugscheibe 12 zum Erzeugen eines Projektionsbildes 30 auf der Fahrzeugscheibe 12, wobei das Rohbild 20 aus einer Matrix von einzelnen Pixeln 21 besteht und wobei eine Vielzahl von Pixeln 21 des Rohbildes 20 einen für ein jeweiliges Pixel 21 des Rohbildes 20 charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist,
    • - eine an einer ersten Kopfposition 41 eines Fahrzeuginsassen angeordnete erste Kamera 14 zum Erfassen der Pixel 31 des Projektionsbildes 30,
    • - eine an einer zweiten Kopfposition 42 eines Fahrzeuginsassen angeordnete zweite Kamera 16 zum Erfassen der Pixel 31 des Projektionsbildes 30,
    • - eine Recheneinheit 18 (dargestellt in der 3) zum Vergleichen von einzelnen Pixeln des an der ersten Kopfposition 41 aufgenommenen Projektionsbildes 30 und des an der zweiten Kopfposition 42 aufgenommenen Projektionsbildes 30 mit Pixeln des Rohbildes 20, und zum Ermitteln einer aus der Optik des Head-Up-Displays 10 resultierenden ersten Transformation T für die erste Kopfposition 41 und einer zweiten Transformation T für die zweite Kopfposition 42, wobei die jeweilige Transformation T eine Verzerrung des Projektionsbildes 30 gegenüber dem Rohbild 20 angibt, und zum Ermitteln einer ersten und zweiten Korrektur K aus der jeweiligen Transformation T zur Anwendung auf das Rohbild 20 zur Erzeugung eines modifizierten Projektionsbildes 32 auf der Fahrzeugscheibe 12, wobei die jeweilige Korrektur K derart ausgebildet ist, dass das modifizierte Projektionsbild 32 gegenüber dem Rohbild 20 unverzerrt dargestellt wird.
  • 3 zeigt ein Fahrzeug 100 mit einer Kalibriervorrichtung 200 wie aus der 2.
  • 4 zeigt ein vom Bildgeber emittiertes Rohbild 20 mit einer Vielzahl von Pixeln 21. Die Zahl der Pixel 21 ist zur vereinfachten Darstellung gegenüber einer realistischen Zahl von Pixeln 21 in dem Head-Up Display 10 vermindert, in dem Auflösungen (das heißt Zahl von Pixeln in einer Zeile multipliziert mit der Zahl von Pixeln in einer Spalte) von beispielsweise 640x480, 800x800, 1024x768, 1600x1200, oder anderem verwendet werden. Das Rohbild 20 besteht aus einer Matrix von einzelnen Pixeln 21 und die Pixel 21 des Rohbildes 20 weisen einen für ein jeweiliges Pixel 21 charakteristischen zeitabhängigen Verlauf in der Lichtintensität auf. Der dargestellte Verlauf entspricht hierbei einem Binärcode, wie in 5a dargestellt. Aus diesem Grund sind zur Momentanaufnahme an genau einem Zeitpunkt manche der Pixel 21 des Rohbilds dunkel, und andere hell. Außerdem weist der zeitabhängige Verlauf in der Lichtintensität eine erste Farbe und eine zweite Farbe auf, wobei für den Verlauf in der ersten Farbe eine erste Korrektur K ermittelt wird und für den Verlauf in der zweiten Farbe eine zweite Korrektur K.
  • 5 zeigt in der 5a und in der 5b jeweils einen beispielhaften für genau ein Pixel 21 des Rohbildes 20 charakteristischen zeitabhängigen Verlauf in der Lichtintensität. Die horizontale Achse des jeweiligen Diagramms zeigt die Zeit t an, die vertikale Achse die Intensität. Im Fall der 5a weist der Verlauf eine Sequenz aus zwei voneinander verschiedenen Lichtintensitäten auf. Dies entspricht einem Binärcode, der auch als Abfolge der Ziffern „0“ und „1“ interpretierbar ist. Demnach zeigt der Verlauf der 5a den achtstelligen Code „10011011“ an. Diese acht Bits (acht Zeichen je Code) werden als ein Byte zusammengefasst, wodurch zumindest 28 Pixel voneinander unterscheidbar sind. Dagegen weist im Falle der 5b der zeitabhängige Verlauf in der Lichtintensität eine sich kontinuierliche ändernde Abfolge von Lichtintensitäten auf.
  • 6 zeigt die Überlagerung von Pixeln 21 eines Rohbildes 20 mit Pixeln 31 eines Projektionsbildes. Es ist eine Verzerrung (Transformation T) zwischen beiden Bildern erkennbar, wobei das Projektionsbild 30 gegenüber dem Rohbild 20 verzerrt ist. Die Transformation T wird hierbei als eine bevorzugt invertierbare Transformationsmatrix ermittelt. Demgegenüber wird die Korrektur K als inverse Matrix oder als Pseudo-Inverse der Transformationsmatrix T ermittelt. Beide Matrizen stellen Abbildungen von reellen Zahlenvektoren auf reelle Zahlenvektoren dar. Beim Warping von HUD-Optiken, d.h. beim Anwenden der Transformationsmatrix auf das Rohbild 20 des Bildgebers 11, werden bevorzugt „Freiform“-Transformationen verwendet, d.h. das Verhalten einer Verzerrung an einer Stelle ist prinzipiell unabhängig vom Verhalten an einer anderen Stelle. Daher werden zur Beschreibung solcher, viele Daten erfordernde Funktionen in der Regel zweidimensionale, auch Kalibrationsmatrix oder Warpingmatrix genannte Gitter verwendet. Erfolgt eine (natürliche) Verzerrung durch die Transformation T vom Rohbild 20 auf das Projektionsbild 30, und wird auf das Rohbild 20 die Korrektur K als Inverse der Transformation T angewendet, so ergibt sich ein modifiziertes Projektionsbild 32, dessen Pixel 31 mit den Pixeln 21 des Rohbildes 20 durch Skalierung kongruent darstellbar sind. In der Darstellung der 6 heißt dies, dass für das modifizierte Projektionsbild 32 die Pixel des modifizierten Projektionsbildes 32 auf dem Raster des Rohbildes 20 liegen.
  • 7 zeigt eine alternative Vorgehensweise, wobei zum Ermitteln der Korrektur K solche gewünschte Farbwerte der Pixel 21 des Rohbildes 20 aus einer Zuordnung der Pixel 21 des Rohbildes 20 zu den Pixeln 31 des Projektionsbildes 30 ermittelt werden, dass bei Anwendung der Korrektur K auf das Rohbild 20 die Pixel 31 des Projektionsbildes 30 die gewünschten Farbwerte aufweisen. Der erste Teil dieses Verfahrens ist in 7a anhand eines Pixels 21 des Rohbildes 20 dargestellt. Das Pixel 21 des Rohbildes 20 wird durch die Transformation T auf ein Pixel 31 des Projektionsbildes 30 abgebildet. Durch die Transformation T erscheint das Pixel 21 an einer anderen Position im Projektionsbild 30 als zunächst erwünscht. Das Pixel 21 weist einen für sich charakteristischen zeitabhängigen Verlauf in der Leuchtintensität auf, wodurch das Pixel 31 beim Erfassen des Projektionsbildes 30 zum jeweiligen Pixel 21 des Rohbildes 20 zuordenbar ist. In 7b ist die weitere Vorgehensweise erläutert. Zu dem Pixel 31 des Projektionsbildes 30, für das das Pixel 21 des Rohbildes 20 des Projektors ursächlich ist (in 7a und 7b dargestellt im linken unteren Kreuzungspunkt des Gitters) wird eine korrelierende Position eines Pixels 21' des Rohbildes 20 bestimmt. Das Rohbild 20 fungiert bei diesem Vergleich als Musterdarstellung, d.h. die Musterdarstellung gibt vor, wie ein modifiziertes Projektionsbild 32 dargestellt werden soll. Dieser Schritt führt zu einem Pixel 21' des Rohbildes 20, das im oberen rechten Kreuzungspunkt des Gitters der 7b dargestellt ist. Dieses Pixel 21' des Rohbildes und das Pixel 31 des Projektionsbildes weisen hierbei (näherungsweise) die gleiche Position im Vergleichsbild des Rohbildes 20 und des Projektionsbildes 30 auf. Der Farbwert des Pixels 21' des Rohbildes 20 wird hierbei zur Korrektur als Soll-Farbwert für dasjenige Pixel 21 des Rohbildes (in 7a und 7b dargestellt im linken unteren Kreuzungspunkt des Gitters) angewendet, das ursächlich für das Pixel 31 des Projektionsbild 30 ist, d.h. in einem korrigierten Projektionsbild 32 weist das Pixel 31 den Farbwert des Pixels 21' des Rohbildes auf. Bei Anwendung dieses Verfahrens auf eine Vielzahl oder alle der Pixel 21 des Rohbildes 20 wird eine unverzerrte Darstellung des Projektionsbildes 32 gegenüber dem Rohbild 20 erhalten.
  • Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
  • Bezugszeichenliste
  • 10
    Display
    11
    Bildgeber
    12
    Fahrzeugscheibe
    14
    erste Kamera
    16
    zweite Kamera
    18
    Recheneinheit
    20
    Rohbild
    21
    Pixel des Rohbildes
    21'
    Pixel des Rohbildes mit gleicher Position wie Pixel 31 im Projektionsbild
    30
    Projektionsbild
    31
    Pixel des Projektionsbildes
    32
    modifiziertes Projektionsbild
    41
    erste Kopfposition
    42
    zweite Kopfposition
    100
    Fahrzeug
    200
    Kalibriervorrichtung
    S1
    Projizieren
    S2
    Erfassen
    S3
    Erfassen
    S4
    Vergleichen
    S5
    Vergleichen
    S6
    Ermitteln
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2008/0089611 A1 [0002]
    • US 2004/0179271 A1 [0003]
    • US 9454808 B2 [0004]
    • GB 2514008 A [0005]

Claims (10)

  1. Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays (10) eines Fahrzeugs (100), aufweisend die folgenden Schritte: - Projizieren (S1) eines Rohbildes (20) auf eine Fahrzeugscheibe (12) durch einen Bildgeber (11) zum Erzeugen eines Projektionsbildes (30) auf der Fahrzeugscheibe (12), wobei das Rohbild (20) aus einer Matrix von einzelnen Pixeln (21) besteht und wobei eine Vielzahl von Pixeln (21) des Rohbildes (20) einen für ein jeweiliges Pixel (21) charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist, - Erfassen (S2) der Pixel (31) des Projektionsbildes (30) durch eine an einer ersten Kopfposition (41) eines Fahrzeuginsassen angeordnete erste Kamera (14), - anhand des charakteristischen zeitabhängigen Verlauf in der Lichtintensität Vergleichen (S4) von einzelnen Pixeln (31) des an der ersten Kopfposition (41) aufgenommenen Projektionsbildes (30) mit Pixeln (21) des Rohbildes (20) und Ermitteln einer aus der Optik des Head-Up-Displays (10) resultierenden Transformation T, wobei die Transformation T eine Verzerrung des Projektionsbildes (30) gegenüber dem Rohbild (20) angibt, und - Ermitteln (S6) einer Korrektur K aus der Transformation T zur Anwendung auf das Rohbild (20) zur Erzeugung eines modifizierten Projektionsbildes (32) derart, dass das auf die Fahrzeugscheibe (12) projizierte modifizierte Projektionsbild (32) gegenüber dem Rohbild (20) unverzerrt dargestellt wird.
  2. Verfahren nach Anspruch 1, wobei die Transformation T eine Transformationsmatrix und die Korrektur K eine Warpingmatrix zur Korrektur des Rohbildes (20) ist.
  3. Verfahren nach Anspruch 1, wobei zur Ermittlung der Korrektur K die gewünschten Farbwerte der Pixel (31) des Projektionsbildes (30, 32) ermittelt und der Farbwert auf das durch die Transformation T bestimmten für die Pixel (31) des Projektionsbildes (30) ursächlichen Pixel (21) des Rohbildes (20) angewendet werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche, weiterhin aufweisend die folgenden Schritte: - Erfassen (S3) der Pixel (31) des Projektionsbildes (30) durch eine an einer zweiten Kopfposition (42) eines Fahrzeuginsassen angeordneten zweiten Kamera (16), und - Vergleichen (S5) von einzelnen Pixeln (31) des an der zweiten Kopfposition (42) aufgenommenen Projektionsbildes (30) mit Pixeln (21) des Rohbildes (20) und Ermitteln einer aus der Optik des Head-Up-Displays (10) resultierenden Transformation T.
  5. Verfahren nach einem der Ansprüche 1 bis 4, wobei der zeitabhängige Verlauf in der Lichtintensität eine Sequenz aus zwei voneinander verschiedenen Lichtintensitäten aufweist.
  6. Verfahren nach einem der Ansprüche 1 bis 4, wobei der zeitabhängige Verlauf in der Lichtintensität eine sich kontinuierliche ändernde Abfolge von Lichtintensitäten aufweist.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei jeweils eine Zahl n von paarweise nicht benachbarten Pixeln (31) des Projektionsbildes (30) mit n Pixeln (21) des Rohbildes (20) verglichen wird, wobei die Zahl n kleiner als die Zahl aller Pixel (31) des Projektionsbildes (30) ist.
  8. Verfahren nach einem der Ansprüche 1 bis 7, wobei der zeitabhängige Verlauf in der Lichtintensität eine erste Farbe und eine zweite Farbe aufweist, und wobei für den Verlauf in der ersten Farbe eine erste Korrektur K ermittelt wird und für den Verlauf in der zweiten Farbe eine zweite Korrektur K ermittelt wird.
  9. Verfahren nach einem der Ansprüche 1 bis 7, wobei die Vielzahl von Pixeln (21) des Rohbildes (20) einen für das jeweilige Pixel (21) des Rohbildes (20) ersten charakteristischen zeitabhängigen Verlauf in der Lichtintensität in einer ersten Farbe und einen für das jeweilige Pixel vom ersten verschiedenen zweiten charakteristischen zeitabhängigen Verlauf in der Lichtintensität in einer zweiten Farbe aufweist, und wobei für den Verlauf in der ersten Farbe eine erste Korrektur K ermittelt wird und für den Verlauf in der zweiten Farbe eine zweite Korrektur K ermittelt wird.
  10. Kalibriervorrichtung (200) zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays (10) eines Fahrzeugs (100), aufweisend: - einen Bildgeber (11) zum Projizieren eines Rohbildes (20) auf eine Fahrzeugscheibe (12) zum Erzeugen eines Projektionsbildes (30) auf der Fahrzeugscheibe (12), wobei das Rohbild (20) aus einer Matrix von einzelnen Pixeln (21) besteht und wobei eine Vielzahl von Pixeln (21) des Rohbildes (20) einen für ein jeweiliges Pixel (21) des Rohbildes (20) charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist, - eine an einer ersten Kopfposition (41) eines Fahrzeuginsassen angeordnete erste Kamera (14) zum Erfassen der Pixel (31) des Projektionsbildes (30), - eine Recheneinheit (18) zum Vergleichen von einzelnen Pixeln des an der ersten Kopfposition (41) aufgenommenen Projektionsbildes (30) mit Pixeln des Rohbildes (20) anhand des charakteristischen zeitabhängigen Verlauf in der Lichtintensität, und zum Ermitteln einer aus der Optik des Head-Up-Displays (10) resultierenden Transformation T, wobei die Transformation T eine Verzerrung des Projektionsbildes (30) gegenüber dem Rohbild (20) angibt, und zum Ermitteln einer derartigen Korrektur K aus der Transformation T zur Anwendung auf das Rohbild (20) zur Erzeugung eines modifizierten Projektionsbildes (32) auf der Fahrzeugscheibe (12), dass das modifizierte Projektionsbild (32) gegenüber dem Rohbild (20) unverzerrt dargestellt wird.
DE102017004859.2A 2017-05-19 2017-05-19 Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays und zugehörige Kalibriervorrichtung Active DE102017004859B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017004859.2A DE102017004859B4 (de) 2017-05-19 2017-05-19 Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays und zugehörige Kalibriervorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017004859.2A DE102017004859B4 (de) 2017-05-19 2017-05-19 Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays und zugehörige Kalibriervorrichtung

Publications (2)

Publication Number Publication Date
DE102017004859A1 true DE102017004859A1 (de) 2018-11-22
DE102017004859B4 DE102017004859B4 (de) 2019-03-14

Family

ID=64278078

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017004859.2A Active DE102017004859B4 (de) 2017-05-19 2017-05-19 Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays und zugehörige Kalibriervorrichtung

Country Status (1)

Country Link
DE (1) DE102017004859B4 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019200957A1 (de) * 2019-01-25 2020-07-30 Robert Bosch Gmbh Verfahren und Projektionsvorrichtung zum Erzeugen virtueller Bilder
CN112946891A (zh) * 2019-11-26 2021-06-11 通用汽车环球科技运作有限责任公司 平视显示器图像采集和校正
EP4187903A1 (de) * 2021-11-26 2023-05-31 Robert Bosch GmbH Vorrichtung und verfahren zur synchronisierung mehrerer optischer sensoren
US11928992B1 (en) * 2023-04-03 2024-03-12 GM Global Technology Operations LLC Automated vehicle display calibration

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018129814A1 (de) * 2018-11-26 2020-05-28 Technische Universität Darmstadt Verfahren zur Bestimmung von Kalibrierungsparametern einer Kamera

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10046019A1 (de) * 2000-09-18 2002-03-28 Esg Elektroniksystem Und Logis Verfahren und Vorrichtung zur verzerrungsfreien Darstellung von Bildelementen
US20040179271A1 (en) 2002-05-31 2004-09-16 Jean-Rene Verbeque Electronic correction device for optical distortions in a collimated imaging obtained from a matrix display
DE102005037797A1 (de) * 2005-08-03 2007-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zur automatischen Kalibrierung einer Projektion, sowie eine Verwendung des Systems
US20080089611A1 (en) 2006-10-17 2008-04-17 Mcfadyen Doug Calibration Technique For Heads Up Display System
DE102012010120A1 (de) * 2012-05-23 2013-11-28 Audi Ag Verfahren zur Kalibrierung eines Head-up-Displays
GB2514008A (en) 2013-05-03 2014-11-12 Micro Nav Ltd Display system
US9454808B2 (en) 2012-05-22 2016-09-27 Ricoh Company, Ltd. Pattern processing apparatus, pattern processing method, and pattern processing program
DE102016009333A1 (de) * 2016-07-30 2017-02-23 Daimler Ag Native Ansteuerung eines Bildprojektors
DE102017001015A1 (de) * 2017-02-04 2017-11-23 Daimler Ag Latenzarme Korrektur einer Projektion eines Head-Up Displays

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10046019A1 (de) * 2000-09-18 2002-03-28 Esg Elektroniksystem Und Logis Verfahren und Vorrichtung zur verzerrungsfreien Darstellung von Bildelementen
US20040179271A1 (en) 2002-05-31 2004-09-16 Jean-Rene Verbeque Electronic correction device for optical distortions in a collimated imaging obtained from a matrix display
DE102005037797A1 (de) * 2005-08-03 2007-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zur automatischen Kalibrierung einer Projektion, sowie eine Verwendung des Systems
US20080089611A1 (en) 2006-10-17 2008-04-17 Mcfadyen Doug Calibration Technique For Heads Up Display System
US9454808B2 (en) 2012-05-22 2016-09-27 Ricoh Company, Ltd. Pattern processing apparatus, pattern processing method, and pattern processing program
DE102012010120A1 (de) * 2012-05-23 2013-11-28 Audi Ag Verfahren zur Kalibrierung eines Head-up-Displays
GB2514008A (en) 2013-05-03 2014-11-12 Micro Nav Ltd Display system
DE102016009333A1 (de) * 2016-07-30 2017-02-23 Daimler Ag Native Ansteuerung eines Bildprojektors
DE102017001015A1 (de) * 2017-02-04 2017-11-23 Daimler Ag Latenzarme Korrektur einer Projektion eines Head-Up Displays

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019200957A1 (de) * 2019-01-25 2020-07-30 Robert Bosch Gmbh Verfahren und Projektionsvorrichtung zum Erzeugen virtueller Bilder
CN112946891A (zh) * 2019-11-26 2021-06-11 通用汽车环球科技运作有限责任公司 平视显示器图像采集和校正
EP4187903A1 (de) * 2021-11-26 2023-05-31 Robert Bosch GmbH Vorrichtung und verfahren zur synchronisierung mehrerer optischer sensoren
US11928992B1 (en) * 2023-04-03 2024-03-12 GM Global Technology Operations LLC Automated vehicle display calibration

Also Published As

Publication number Publication date
DE102017004859B4 (de) 2019-03-14

Similar Documents

Publication Publication Date Title
DE102017004859B4 (de) Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays und zugehörige Kalibriervorrichtung
EP1784978B1 (de) Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
EP3298345B1 (de) Kamera und verfahren zur dreidimensionalen vermessung und farbvermessung eines dentalen objekts
DE102015209404A1 (de) Verfahren und Kamera zur dreidimensionalen Vermessung eines dentalen Objekts
DE102013014475B4 (de) Verfahren zur Erkennung und Kompensation von Messabweichungen während des Betriebes einer optischen Messvorrichtung, optisches Messverfahren und optische Messvorrichtung
DE102020124756B4 (de) Verfahren und Vorrichtung zum Kalibrieren eines virtuellen Bildes
WO2011103867A1 (de) Verfahren zur herstellung eines autostereoskopischen displays und autostereoskopisches display
WO2015044280A1 (de) Verfahren und vorrichtung zur steuerung einer bilderzeugungseinrichtung eines head-up-displays
DE102018001969A1 (de) Verfahren zur Kalibrierung eines kontaktanalogen Headup-Displays eines Fahrzeuges in einer Werkstatt
EP3711289B1 (de) Verfahren zur automatischen wiederherstellung eines eingemessenen zustands eines projektionssystems
DE102020004550A1 (de) Verfahren zum Kalibrieren eines Augmented Reality Head-Up Displays eines Fahrzeugs, und Kalibriersystem eingerichtet zum Durchführen eines solchen Verfahrens
EP3170307B1 (de) Verfahren zur darstellung einer dreidimensionalen szene auf einem autostereoskopischen monitor
DE4401541A1 (de) Verfahren zur Bestimmung der Oberflächentopometrie einer reflektierenden Oberfläche
EP2887010A1 (de) Verfahren und Vorrichtung zum dreidimensionalen optischen Vermessen von Objekten mit einem topometrischen Messverfahren sowie Computerprogramm hierzu
DE102019004816A1 (de) Verfahren zur Kalibrierung eines Head-up-Displays eines Fahrzeugs
DE102017000674B3 (de) Visuelle Unterstützung einer manuellen Kalibrierung eines Head-Up-Displays in einem Fahrzeug
DE102015205479A1 (de) Verfahren zum Darstellen einer Fahrzeugumgebung eines Fahrzeuges
DE102014018419A1 (de) Verfahren zur Erzeugung eines Tiefenbildes
DE102020005844A1 (de) Verfahren zum Kalibrieren eines Head-Up-Displays, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung, und Head-Up-Display mit einer solchen Kalibrierungsvorrichtung
DE19753246C2 (de) Vorrichtung zur Bestimmung von dreidimensionalen Daten von Objekten
DE102017120648B4 (de) 3D-Anzeigeelement, 3D-Anzeigesystem, Verfahren zum Betreiben eines 3D-Anzeigeelements und Verfahren zum Betreiben eines 3D-Anzeigesystems
EP3089105A1 (de) Verfahren zum generieren eines kontrastbildes einer objektbeschaffenheit und diesbezügliche vorrichtungen
DE102011055967B4 (de) Messverfahren und Vorrichtung zur Durchführung des Messverfahrens
DE102014108905A1 (de) Projektionsvorrichtung und Verfahren zur Erzeugung eines Projektionsbildes
DE102016109131B4 (de) Verfahren zur dreidimensionalen Erfassung eines Objekts

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, STUTTGART, DE