-
Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs, sowie eine Kalibriervorrichtung zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs.
-
Die
US 2008/0089611 A1 betrifft ein Verfahren zum Anpassen eines auf eine gekrümmte Oberfläche projizierten Bildes.
-
Die
US 2004/0179271 A1 betrifft eine elektronische Korrekturvorrichtung zum Korrigieren von optischen Verzerrungen einer Optik zum Kollimieren und Überlagern einer kollimierten Anzeige für den Fall, dass das Display einem Matrix Typ entspricht.
-
Die
US 9,454,808 B2 betrifft eine musterverarbeitende Vorrichtung mit einer Erfassungseinheit, einer Identifikationseinheit für benachbarte Elemente, einer Verbindungseinheit und einer Zuordnungseinheit.
-
Die
GB 2514008 A betrifft eine Anzeigevorrichtung mit einer Vielzahl von positionsfesten Bildprojektoren und mit einem Anzeigeschirm, der eine zumindest teilweise zylindrische Anzeigeoberfläche aufweist, weiterhin mit einem Datenprozessor, mit einer Vielzahl von positionsfesten Bildsensoren und mit einer Lichtemittieranordnung, die eine Reihe von LEDs aufweisen kann und die zum Emittieren von Licht an einer Vielzahl von Referenzpunkten an dem Anzeigeschirm eingerichtet ist.
-
Aufgabe der Erfindung ist es, den Kalibriervorgang eines Head-Up Displays zu verbessern.
-
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
-
Die folgenden Informationen können für das Verständnis der Erfindung nützlich sein und gehören nicht zwangsläufig zum Stand der Technik: Insbesondere für die Ausgabe von Informationen, die in einer Umgebung für augmentierte Realität („Augmented Reality“) einem realen Objekt kontaktanalog überlagert dargestellt werden, weisen Head-Up Displays („HUD“) im Automobilbereich Vorteile gegenüber alternativen Anzeigemedien auf. Mit Head-Up Displays können die Informationen in der augmentierten Realität beispielsweise direkt in das Sichtfeld des Fahrers eingeblendet werden, sodass der Fahrer die Informationen wahrnehmen kann, ohne dass er dazu seine Blickrichtung verändern muss. Häufig erfordern jedoch Head-Up Displays einen gewissen Kalibrieraufwand, insbesondere solche, die eine Fahrzeugscheibe als Projektionsfläche verwenden. Auf der Fahrzeugscheibe wird das darauf projizierte Bild in das Sichtfeld des Fahrers reflektiert. Dabei ist die Fahrzeugscheibe üblicherweise nicht konstruktiv auf diese Reflexion ausgelegt, sondern wird vielmehr unter aerodynamischen und ästhetischen Gesichtspunkten entworfen. Darüber hinaus weist jede Fahrzeugscheibe individuelle Eigenschaften auf und unterliegt fertigungsbedingten Abweichungen von einer nominalen Geometrie. In Kombination mit einem toleranzbehafteten Zusammenbau des Gesamtsystems „Rahmen-Fahrzeugscheibe“ und anderen Anbauten ergeben sich somit aus Sicht des Fahrers Verzerrungen des auf die Fahrzeugscheibe projizierten Bildes, die insbesondere von einer Kopfposition des Fahrers abhängig sind. Unkorrigiert beeinträchtigen diese Verzerrungen den Komfort und die Ergonomie und können im Extremfall das System unbrauchbar machen.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs. In einem ersten Schritt des Verfahrens erfolgt das Projizieren eines Rohbildes auf eine Fahrzeugscheibe durch einen Bildgeber des Head-Up Displays zum Erzeugen eines Projektionsbildes auf der Fahrzeugscheibe, wobei das Rohbild aus einer Matrix von einzelnen Pixeln besteht und wobei eine Vielzahl von Pixeln des Rohbildes einen für ein jeweiliges Pixel charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist. In einem zweiten Schritt des Verfahrens erfolgt das Erfassen der Pixel des Projektionsbildes durch eine an einer ersten Kopfposition eines Fahrzeuginsassen angeordnete erste Kamera, woraufhin anhand des charakteristischen zeitabhängigen Verlaufs in der Lichtintensität das Vergleichen von einzelnen Pixeln des an der ersten Kopfposition aufgenommenen Projektionsbildes mit Pixeln des Rohbildes und das Ermitteln einer aus der Optik des Head-Up-Displays resultierenden Transformation T erfolgt, wobei die Transformation T eine Verzerrung des Projektionsbildes gegenüber dem Rohbild angibt. Im darauf folgenden Schritt findet das Ermitteln einer derartigen Korrektur K aus der Transformation T zur Anwendung auf das Rohbild zur Erzeugung eines modifizierten Projektionsbildes statt, dass das auf die Fahrzeugscheibe projizierte modifizierte Projektionsbild gegenüber dem Rohbild unverzerrt dargestellt wird.
-
Mittels es charakteristischen zeitabhängigen Verlauf in der Lichtintensität ist eine eindeutige Zuordnung eines Pixels des Rohbildes an dem Bildgeber zu einem auf dem Projektionsbild dargestellten Pixel ermöglicht. Mit anderen Worten stellt der charakteristische zeitabhängige Verlauf in der Lichtintensität eine Kennung dar, womit einem Pixel auf dem Projektionsbild das ursächliche Pixel am Bildgeber bestimmbar ist. Bei dem Vergleichen der einzelnen Pixel des Projektionsbildes mit Pixeln des Rohbildes wird insbesondere die Lage der Pixel zueinander betrachtet.
-
Das Fahrzeug kann ein PKW, LKW, Bus, Schienenfahrzeug, Wasserfahrzeug (beispielsweise Schiff), Unterwasserfahrzeug, oder ein Luftfahrzeug sein.
-
Die Lichtintensität korreliert mit einer Lichtenergie und wird insbesondere in der Einheit „Lumen“ angegeben.
-
Die Fahrzeugscheibe ist bevorzugt eine Windschutzscheibe des Fahrzeugs.
-
Die jeweilige Kopfposition ist insbesondere eine aus einer Vielzahl von Kopfpositionen, von der erwartet wird, dass sie ein Fahrer des Fahrzeugs während einer Fahrt einnehmen wird. Die Kopfposition im Sinne des Positionsbegriffs bezeichnet eine Position eines Punktes, der bevorzugt auf der Mitte einer gedachten Verbindungslinie zwischen den Augen des Fahrers angeordnet wird, wenn der Fahrzeuginsasse sich im Fahrzeug befindet. Die jeweilige Kopfposition ist jedoch lediglich als Positionsangabe einer zu erwartenden Kopfposition aufzufassen und setzt nicht voraus, dass der Fahrzeuginsasse auch tatsächlich die jeweilige Kopfposition aktuell einnimmt oder sich überhaupt im Fahrzeug aufhält.
-
Das Rohbild ist insbesondere dasjenige Bild, das unmittelbar vom Bildgeber des Head-Up Displays erzeugt und ausgegeben wird. Dieses Rohbild besteht bevorzugt aus einer Vielzahl von Pixeln, die insbesondere seriell vom Bildgeber erzeugt werden. Der Bildgeber kann auch als Projektor bezeichnet werden, da er insbesondere zur Erzeugung des Lichtes in den einzelnen Pixeln dient.
-
Die Optik des Head-Up-Displays beschreibt insbesondere den Strahlengang (bevorzugt einschließlich der Abstrahlcharakteristik des Bildgebers) durch die jeweiligen optischen Elemente des Head-Up Displays. Mögliche optische Elemente sind unter anderem Umlenkspiegel, Kollimatoren, Linsen, und eine Projektionsfläche, für die bevorzugt die Fahrzeugscheibe verwendet wird. Die Optik erzeugt dabei eine gewünschte Übertragung der vom Bildgeber erzeugten Pixel des Rohbildes auf das Projektionsbild, insbesondere jedoch auch eine ungewünschte Verzerrung des Projektionsbildes gegenüber dem Rohbild. Diese Verzerrung wird insbesondere durch die Transformation T beschrieben.
-
Der charakteristische zeitabhängige Verlauf in der Lichtintensität kann auch als Blinkcode bezeichnet werden. Die Blinkcodes der Pixel des Rohbildes sind bevorzugt so ausgestaltet, dass jedes der von der zumindest ersten Kamera erfassten Pixel des Projektionsbildes zu einem für dieses Pixel ursächlichen Pixel des Rohbildes zugeordnet werden kann. Dies bedeutet insbesondere auch, dass die Transformation T für jedes einzelne von der zumindest ersten Kamera erfasste Pixel des Projektionsbildes bestimmt werden kann.
-
Abhängig von der Optik des Head-Up Displays kann es zu einer Abschattung von Pixeln im Randbereich des Bildgebers oder anderer optischer Elemente (Beispiele siehe oben) kommen. Die Abschattung, das heißt das nicht Vorhanden sein, einzelner Pixel auf dem Projektionsbild ist insbesondere dadurch erkennbar, dass die jeweiligen von Abschattung betroffenen Pixel im Projektionsbild nicht erfassbar sind.
-
Insbesondere umfasst die Transformation T eine geometrische Verzerrung.
-
Weiterhin umfasst die Transformation T insbesondere eine Verzerrung in den Lichtstärken der jeweiligen Pixel des Projektionsbildes gegenüber den (zugehörigen) Pixeln des Rohbilds. Die Verzerrungen in den Lichtstärken der jeweiligen Pixel sind wiederum insbesondere durch Effekte in der Optik des Head-Up Displays begründet. Das heißt, es gibt Bereiche im Projektionsbild, in denen das Projektionsbild heller erscheint als in anderen Bereichen. Die ungleichmäßige Helligkeit des Projektionsbildes lässt sich insbesondere dadurch kompensieren, dass bei Pixeln des Rohbildes, die in dunklere Bereiche des Projektionsbildes abgebildet werden, die Lichtintensität des Pixels erhöht wird und dass bei Pixeln des Rohbildes, die in hellere Bereiche des Projektionsbildes abgebildet werden, die Lichtintensität verringert wird. Vorteilhaft erfolgt die Einstellung der Lichtintensität über einen bekannten Faktor, der zwischen der Lichtintensität eines Pixels des Rohbildes und der Lichtintensität des zugehörigen Pixels des Projektionsbildes besteht. Zur Kalibrierung der Lichtintensität wird insbesondere die jeweilige Lichtintensität der Pixel des Projektionsbildes mittels Kameraaufnahmen ermittelt, wobei bevorzugt hierzu alle Pixel des Rohbildes und insbesondere der jeweilige Maximalwert des Binärcodes auf dieselbe Lichtintensität eingestellt werden und anschließend im durch die jeweilige Kamera erfassten Projektionsbild die Lichtintensität eines jeweiligen Pixels ermittelt wird.
-
Es ist eine vorteilhafte Wirkung der Erfindung, dass das Kalibrieren eines Head-Up Displays eines Fahrzeugs sehr genau erfolgen kann, da die Transformation T (die einer Verzerrungsfunktion des vom Bildgeber emittierten Rohbildes in seinem Verlauf durch die Optik des Head-Up Displays zur und über die Fahrzeugscheibe entspricht) für eine Vielzahl von Pixeln einzeln ermittelt werden kann, anstatt nur für ganze Projektionsbilder oder Bereiche eines Projektionsbildes. Es ist ferner eine weitere vorteilhafte Wirkung der Erfindung, dass das Verfahren nicht iterativ angewendet werden muss, sondern bereits bei erstmaliger Anwendung eine vollständige Kalibrierung des Head-Up Displays ermöglicht. Insbesondere kann durch Verwendung mehrerer Kameras ein Projektionsbild von mehreren Kopfpositionen aus gleichzeitig erfasst werden und für jede der Kopfposition eine eigene Transformationen T ermittelt werden. Es ist außerdem eine weitere vorteilhafte Wirkung der Erfindung, dass das Verfahren den Informationsfluss vom Bildgeber bis zu der jeweiligen Kamera effizienter ausschöpft, da die über diesen Informationsfluss übertragenen Informationen aus dem Rohbild nicht nur eine Musterdarstellung zum Vergleich mit der abgespeicherten Musterdarstellung beinhalten, sondern zusätzlich dazu eine Information zur Identifizierbarkeit eines jeweiligen vom Bildgeber emittierten Pixels des Rohbildes. Dies erlaubt eine signifikante Reduktion der zur Kalibration benötigten Zeit.
-
Gemäß einer vorteilhaften Ausführungsform ist die Transformation T eine Transformationsmatrix und die Korrektur K eine aus der Transformationsmatrix abgeleitete und Warpingmatrix genannte Matrix zur Korrektur des Rohbildes.
-
In vorteilhafter Weise sind die Transformation T und Korrektur K in der Regel stetige oder differenzierbare Funktionen, welche invertierbar im Sinne von lokalen Homöomorphismen oder Diffeomorphismen sind.
-
Gemäß einer vorteilhaften Ausführungsform werden T und / oder K durch geeignete diskrete Darstellungen für glatte Funktionen beschrieben, in dem sie z.B. als mehrdimensionale Splines (z.B. B-Splines), strukturierte oder unstrukturierte Polygonnetze, Wertetabellen, Bezierflächen, NURBS o.ä. dargestellt werden.
-
Die Koeffiziententabelle einer solchen Darstellungen (im Stand der Technik werden üblicherweise zweidimensionale lineare B-Splines verwendet) werden üblicherweise als Kalibrationsmatrix bezeichnet.
-
Vorteilhaft lassen sich die diskreten Darstellungen für K und / oder T automatisiert durch Data-fitting bestimmen. Dabei können diskrete Darstellungen für K oder T direkt durch Data-fitting auf die Messdaten bestimmt werden. Weiterhin können mit Data-fitting Transformationen invertiert werden, d.h. man kann K aus T oder T aus K bestimmen.
-
Jede der Matrizen beschreibt insbesondere eine Abbildungsvorschrift aus Zeilen und Spalten. Insbesondere ist die identifizierte Matrix der Transformation T invertierbar und damit die Matrix der Korrektur K durch Matrixinversion oder Berechnung der Pseudo-Inversen der Matrix der Transformation T erzeugbar. Vorteilhaft ist durch die Matrixinversion eine automatisierte Berechnung der jeweiligen Korrektur K möglich.
-
Gemäß einer weiteren vorteilhaften Ausführungsform werden zum Ermitteln der Korrektur K die gewünschten Farbwerte der Pixel des Projektionsbildes ermittelt und der Farbwert auf das durch die Transformation T bestimmten für die Pixel des Projektionsbildes ursächlichen Pixel des Rohbildes angewendet werden. Der gewünschte Farbwert für ein Pixel des Projektionsbildes wird durch Bestimmung des Farbwertes des Pixels an der dem Projektionsbild entsprechenden Position des Rohbildes bestimmt.
-
Durch die ermittelte Transformation T kann für ein Pixel des Projektionsbildes das jeweils zugehörige ursächliche Pixel des Rohbildes ermittelt werden. Demnach ist eine Zuordnung der Pixel des Rohbildes zu den Pixeln des Projektionsbildes möglich. Nach der Zuordnung wird insbesondere durch entsprechende Einstellung der Pixel des Rohbildes die an den jeweiligen Pixeln des Projektionsbildes gewünschten Farbwerte eingestellt. Vorteilhaft beschränkt sich insbesondere der Rechenaufwand auf die Zuordnung.
-
Gemäß einer weiteren vorteilhaften Ausführungsform erfolgt in weiteren Schritten des Verfahrens das Erfassen der Pixel des Projektionsbildes durch eine an einer zweiten Kopfposition eines Fahrzeuginsassen angeordnete zweite Kamera, das Vergleichen von einzelnen Pixeln des an der zweiten Kopfposition aufgenommenen Projektionsbildes mit Pixeln des Rohbildes, und das Ermitteln einer aus der Optik des Head-Up-Displays resultierenden Transformation T.
-
Diese Ausführungsform betrifft insbesondere ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs, aufweisend die folgenden Schritte:
- - Projizieren eines Rohbildes auf eine Fahrzeugscheibe durch einen Bildgeber zum Erzeugen eines Projektionsbildes auf der Fahrzeugscheibe, wobei das Rohbild aus einer Matrix von einzelnen Pixeln besteht und wobei eine Vielzahl von Pixeln des Rohbildes einen für ein jeweiliges Pixel charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist,
- - Erfassen der Pixel des Projektionsbildes durch eine an einer ersten Kopfposition eines Fahrzeuginsassen angeordnete erste Kamera,
- - Erfassen der Pixel des Projektionsbildes durch eine an einer zweiten Kopfposition eines Fahrzeuginsassen angeordneten zweiten Kamera, und
- - anhand des charakteristischen zeitabhängigen Verlaufs in der Lichtintensität Vergleichen von einzelnen Pixeln des an der ersten Kopfposition aufgenommenen Projektionsbildes mit Pixeln des Rohbildes und Ermitteln einer ersten aus der Optik des Head-Up-Displays resultierenden Transformation T, wobei die erste Transformation T eine Verzerrung des Projektionsbildes gegenüber dem Rohbild aus Sicht der ersten Kopfposition angibt, und
- - anhand des charakteristischen zeitabhängigen Verlaufs in der Lichtintensität Vergleichen von einzelnen Pixeln des an der zweiten Kopfposition aufgenommenen Projektionsbildes mit Pixeln des Rohbildes und Ermitteln einer zweiten aus der Optik des Head-Up-Displays resultierenden Transformation T, wobei die zweite Transformation T eine Verzerrung des Projektionsbildes gegenüber dem Rohbild aus Sicht der zweiten Kopfposition angibt, und
- - Ermitteln einer ersten und zweiten Korrektur K aus der ersten und zweiten Transformation T zur Anwendung auf das Rohbild zur Erzeugung eines modifizierten Projektionsbildes derart, dass das auf die Fahrzeugscheibe projizierte modifizierte Projektionsbild gegenüber dem Rohbild jeweils aus Sicht der ersten und der zweiten Kopfposition unverzerrt dargestellt wird.
-
Vorteilhaft wird mit dieser Ausführungsform für eine Vielzahl von Kopfpositionen eine jeweilige Korrektur K ermittelt. Die spätere Anwendung der jeweiligen Korrektur K auf das Rohbild erfolgt bevorzugt durch ein Erfassen einer tatsächlichen Kopfposition und insbesondere durch eine Interpolation der ersten und der zweiten Korrektur K abhängig von der aktuellen tatsächlichen Kopfposition des Fahrzeuginsassen.
-
Gemäß einer weiteren vorteilhaften Ausführungsform weist der zeitabhängige Verlauf in der Lichtintensität eine Sequenz aus zwei voneinander verschiedenen Lichtintensitäten auf.
-
Ein Signalverlauf mit genau zwei verschiedenen Werten, wobei die Abfolge der Werte eine Information beinhaltet, wird auch Binärcode genannt. Durch zwei verschiedene Lichtintensitäten an einem Pixel kann ein solcher Binärcode erzeugt werden, wobei jeweils zwei Pixel des Rohbildes, bevorzugt zwei benachbarte Pixel des Rohbildes, bevorzugt einen möglichst großen Hamming-Abstand zueinander aufweisen. Der Hamming-Abstand, auch Hamming-Distanz genannt, beschreibt ein Maß für die Verschiedenheit von gleich langen Zeichenketten. Im Falle von Binärcode ist der Hamming-Abstand umso größer, je mehr Symbole an jeweils gleichen Positionen einer binären Zeichenkette sich unterscheiden. Insbesondere weisen die Zeichenketten 01010101 und 01010100 eine geringere Hamming-Distanz zueinander auf als die Zeichenketten 01010101 und 11111101, da sich die Zeichenketten in der letzteren Variante in mehreren Positionen voneinander unterscheiden als in der zuerst genannten Variante. Ähnlich zu obigen Ausführungen bezüglich eines Hamming-Abstands von digitalen Codes und Zeichenketten zueinander, insbesondere von Binärcodes, gibt das Skalarprodukt von zwei Signalen zueinander ein Maß für einen Winkel zwischen den als Vektoren auffassbaren Zeichenketten zueinander an. Je verschiedener insbesondere die beiden Zeichenketten zueinander sind, umso kleiner wird der Betrag des Skalarprodukts aus den beiden Zeichenketten sein.
-
Vorteilhaft wird der Einfluss von Messrauschen dadurch reduziert, dass die zeitliche Länge der diskreten Signalwerte (Bits) des binären Blinkcodes einen vorgegebenen Grenzwert übersteigt. Dies rührt daher, dass ein längeres Erfassen der Pixel des Projektionsbildes die Aufnahme einer höheren Photonenzahl bewirkt und dadurch zufälliges Rauschen („white noise“) über eine längere Zeit sich durch Integration der aufgenommenen Lichtmenge (dies entspricht einer längeren Beleuchtungszeit) der Rauschanteil im Signal näher zu Null ausintegriert.
-
Vorteilhaft wird durch diese Ausführungsform die Unterscheidung zwischen zwei Pixeln des Projektionsbildes, insbesondere von zwei benachbarten Pixeln des Projektionsbildes, erleichtert und damit die Zuordnung eines erfassten Pixels des Projektionsbildes zu einem Pixel des Rohbildes vereinfacht.
-
Gemäß einer weiteren vorteilhaften Ausführungsform weist der zeitabhängige Verlauf in der Lichtintensität eine sich kontinuierliche ändernde Abfolge von Lichtintensitäten auf.
-
Die oben genannten Aussagen zum Skalarprodukt zwischen zwei Zeichenketten und zum Hamming-Abstand zwischen zwei Zeichenketten lassen sich nur indirekt auf kontinuierliche Signale übertragen. Jedoch sind auch im Falle der kontinuierlichen Signale die kontinuierlichen Signale von zwei Pixeln des Rohbildes, insbesondere von zwei benachbarten Pixeln des Rohbildes, möglichst verschieden. Die Verschiedenheit von zwei kontinuierlichen Signalen kann insbesondere durch spektrale Eigenschaften der Signale angegeben werden. Vorteilhaft wird hierdurch wiederum eine Verwechslungsgefahr zwischen zwei Pixeln, insbesondere von zwei benachbarten Pixeln, verringert.
-
Gemäß einer weiteren vorteilhaften Ausführungsform wird jeweils eine Zahl n von paarweise nicht benachbarten Pixeln des Projektionsbildes mit n Pixeln des Rohbildes verglichen, wobei die Zahl n kleiner als die Zahl aller Pixel des Projektionsbildes ist.
-
Je nach Realisierung der Optik des Head-Up Displays kann von einer Stetigkeit und Lipschitzkonstanz der Verzerrung und damit der Transformation T ausgegangen werden. In anderen Worten ist das zusätzliche Inkrement einer Verzerrung normiert auf einen Abstand zwischen zwei benachbarten Pixeln klein im Vergleich zur gesamten Verzerrung zweier möglichst weit auseinander liegender Pixel. In wiederum anderen Worten ist die Änderung der Verzerrung über einen Durchmesser des Projektionsbildes begrenzt.
-
Insbesondere ist die geometrische Verzerrung eine kontinuierliche und stetige Funktion in Abhängigkeit der Koordinaten des Projektionsbildes. Diese Stetigkeit und Lipschitzkonstanz der geometrischen Verzerrung lässt sich durch diese Ausführungsform vorteilhaft ausnutzen, indem nicht jedes Pixel des Projektionsbildes ausgemessen wird, sondern nur eine Untermenge aller Pixel des Projektionsbildes. Damit werden vorteilhaft Ungenauigkeiten bei der Erfassung von Pixeln des Projektionsbildes durch Überlappung umgangen und die einzelnen Pixel sind auf Grund der verringerten Pixelzahl leichter identifizierbar. Vorteilhaft ist damit die Datenmenge in den Blinkcodes reduzierbar, da eine geringere Anzahl von Pixeln zu erfassen ist. Weiterhin vorteilhaft weisen nur die n Pixel des Rohbildes einen für das jeweilige der n Pixel charakteristischen zeitabhängigen Verlauf in der Lichtintensität auf.
-
Gemäß einer weiteren vorteilhaften Ausführungsform weist der zeitabhängige Verlauf in der Lichtintensität eine erste Farbe und eine zweite Farbe auf, wobei für den Verlauf in der ersten Farbe eine erste Korrektur K ermittelt wird und für den Verlauf in der zweiten Farbe eine zweite Korrektur K ermittelt wird.
-
Insbesondere wenn vom Bildgeber emittiertes Licht unterschiedlicher Wellenlänge durch die Optik des Head-Up Displays unterschiedlichen Verzerrungen (ausgedrückt durch unterschiedliche Transformationen T) unterliegt, wird vorteilhaft in dieser Ausführungsform ein Pixel des Rohbildes mit mehreren Farben vom Bildgeber ausgegeben und für den Verlauf in der ersten Farbe eine erste Korrektur K ermittelt und für den Verlauf in der zweiten Farbe eine zweite Korrektur K ermittelt. Hierbei kann sowohl eine Graukamera für die jeweilige Kamera verwendet werden (wenn die Farbkomponenten des jeweiligen Pixels nacheinander ausgemessen werden) als auch eine Farbkamera (damit können die Farbkomponenten des jeweiligen Pixels simultan erfasst werden). Vorteilhaft wird hierdurch der Effekt berücksichtigt, dass vom Bildgeber emittiertes Licht unterschiedlicher Wellenlänge durch die Optik des Head-Up Displays unterschiedlichen Transformationen T unterliegen kann.
-
Gemäß einer weiteren vorteilhaften Ausführungsform weist die Vielzahl von Pixeln des Rohbildes einen für das jeweilige Pixel des Rohbildes ersten charakteristischen zeitabhängigen Verlauf in der Lichtintensität in einer ersten Farbe und einen für das jeweilige Pixel vom ersten verschiedenen zweiten charakteristischen zeitabhängigen Verlauf in der Lichtintensität in einer zweiten Farbe auf, wobei für den Verlauf in der ersten Farbe eine erste Korrektur K ermittelt wird und für den Verlauf in der zweiten Farbe eine zweite Korrektur K ermittelt wird.
-
Vorteilhaft sind hierdurch die jeweiligen Transformationen T für eine jeweilige Farbe gleichzeitig ermittelbar. Bevorzugt wird ein Pixel des Rohbildes durch eine rote Lichtquelle, durch eine grüne Lichtquelle, und durch eine blaue Lichtquelle erzeugt. Insbesondere ist die jeweilige Lichtquelle für eine jeweilige Farbe einzeln vom Bildgeber ansteuerbar, so dass jede der Lichtquellen einen für die Lichtquelle zeitabhängigen charakteristischen Verlauf in der Lichtintensität ausgibt.
-
Gemäß einer weiteren vorteilhaften Ausführungsform wird beim Ermitteln der Korrektur K ein virtuelles räumliches Modell des Bildgebers und der Fahrzeugscheibe für eine erste Schätzung der Korrektur K verwendet.
-
Bevorzugt wird hierdurch a-priori Wissen zur Reduktion des benötigten Informationsgehalts des zeitabhängigen charakteristischen Verlaufs in der Lichtintensität eines jeweiligen Pixels genutzt. So wird insbesondere eine erste Schätzung der Transformation T aus CAD-Daten (CAD: „Computer-Aided-Design“) bestimmt, wodurch sich die Zuordnung eines Pixels des Projektionsbildes in erster Näherung auf eine Gruppe von Pixeln des Rohbildes reduzieren lässt. Bevorzugt weist dann ein Pixel des Rohbildes einen bezüglich aller Pixel dieser Gruppe einzigartigen zeitabhängigen und für das Pixel charakteristischen Verlauf in der Lichtintensität auf. Insbesondere lässt sich damit die Länge der Blinkcodes und somit der Zeitaufwand für die Kalibration verringern.
-
Gemäß einer weiteren vorteilhaften Ausführungsform erfolgt das Projizieren des Rohbildes durch den Bildgeber und das Erfassen des Projektionsbildes durch die jeweilige Kamera synchronisiert.
-
Die Synchronisation zwischen dem Bildgeber und der jeweiligen Kamera wird bevorzugt über einen externen Sychronisationskanal (z.B. mittels einer Kabelverbindung, über die eine Zeitinformation ausgetauscht wird, oder mittels synchronisierter Uhren) durchgeführt. Weiterhin bevorzugt erfolgt die Synchronisation über die Blinkcodes selbst. Im letzteren Fall wird zusätzlich zum Blinkcode eines Pixels in zumindest einem der Pixel des Rohbildes eine Synchronisationssequenz angefügt. Die Synchronisationssequenz weist bevorzugt wiederum die bevorzugten Signaleigenschaften der Blinkcodes wie oben beschrieben auf. Weiterhin bevorzugt erfolgt die Synchronisation durch Anzeigen einer gemeinsamen Lichtintensität für alle Pixel des Rohbildes für einen vordefinierten Zeitraum.
-
Gemäß einer weiteren vorteilhaften Ausführungsform weisen der zeitabhängige Verlauf in der Lichtintensität eines ersten Pixels und der zeitabhängige Verlauf in der Lichtintensität eines zweiten zum ersten benachbarten Pixels einen gemeinsamen Teilverlauf auf.
-
Der gemeinsame Teilverlauf bedeutet insbesondere, dass zu gewissen Zeiten während des zeitabhängigen Verlaufs der Lichtintensität beide Pixel dasselbe Signal ausgeben. Vorteilhaft kann ein Pixel des Projektionsbildes anhand seines Blinkcodes und des Blinkcodes eines benachbarten Pixels identifiziert, das heißt einem Pixel des Rohbilds zugeordnet werden.
-
Ein weiterer Aspekt der Erfindung betrifft eine Kalibriervorrichtung zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs, aufweisend:
- - einen Bildgeber zum Projizieren eines Rohbildes auf eine Fahrzeugscheibe zum Erzeugen eines Projektionsbildes auf der Fahrzeugscheibe, wobei das Rohbild aus einer Matrix von einzelnen Pixeln besteht und wobei eine Vielzahl von Pixeln des Rohbildes einen für ein jeweiliges Pixel des Rohbildes charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist,
- - eine an einer ersten Kopfposition eines Fahrzeuginsassen angeordnete erste Kamera zum Erfassen der Pixel des Projektionsbildes,
- - eine Recheneinheit zum Vergleichen von einzelnen Pixeln des an der ersten Kopfposition aufgenommenen Projektionsbildes mit Pixeln des Rohbildes, und zum Ermitteln einer aus der Optik des Head-Up-Displays resultierenden Transformation T, wobei die Transformation T eine Verzerrung des Projektionsbildes gegenüber dem Rohbild angibt, und zum Ermitteln einer derartigen Korrektur K aus der Transformation T zur Anwendung auf das Rohbild zur Erzeugung eines modifizierten Projektionsbildes auf der Fahrzeugscheibe, dass das modifizierte Projektionsbild gegenüber dem Rohbild unverzerrt dargestellt wird.
-
Vorteile und bevorzugte Weiterbildungen der vorgeschlagenen Kalibriervorrichtung ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einer Kalibriervorrichtung wie oben und im Folgenden beschrieben.
-
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
-
Es zeigen:
- 1 ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs gemäß einem allgemeinen Ausführungsbeispiel der Erfindung,
- 2 eine Kalibriervorrichtung zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs gemäß einem weiteren Ausführungsbeispiel der Erfindung,
- 3 ein Fahrzeug mit einer Kalibriervorrichtung zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays des Fahrzeugs gemäß einem weiteren Ausführungsbeispiel der Erfindung,
- 4 ein Rohbild eines Bildgebers eines Head-Up Displays eines Fahrzeugs zu einem ausgewählten Zeitpunkt gemäß einem weiteren Ausführungsbeispiel der Erfindung,
- 5 zeitabhängige und für ein jeweiliges Pixel des Rohbilds eines Bildgebers eines Head-Up Displays eines Fahrzeugs charakteristische Verläufe in der Lichtintensität gemäß einem weiteren Ausführungsbeispiel der Erfindung,
- 6 ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays des Fahrzeugs gemäß einem ersten speziellen Ausführungsbeispiel der Erfindung, und
- 7 ein zum Verfahren der 6 alternatives Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays des Fahrzeugs gemäß einem zweiten speziellen Ausführungsbeispiel der Erfindung.
-
Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
-
Die 1 bis 3 zeigen schematische Abbildungen eines möglichen Verfahrens und einer möglichen Kalibriervorrichtung 200. Durch die schematische Natur dieser 1 bis 3 kann in der sich daran anschließenden Beschreibung der verschiedenen Ausführungsformen der 4 bis 7 grundsätzlich ein Bezug auf die 1 bis 3 erfolgen.
-
1 zeigt ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays 10 eines Fahrzeugs 100. Hierbei wird im ersten Schritt ein Projizieren S1 eines Rohbildes 20 auf eine Fahrzeugscheibe 12 durch einen Bildgeber 11 zum Erzeugen eines Projektionsbildes 30 auf der Fahrzeugscheibe 12 durchgeführt, wobei das Rohbild 20 aus einer Matrix von einzelnen Pixeln 21 besteht und wobei eine Vielzahl von Pixeln 21 des Rohbildes 20 einen für ein jeweiliges Pixel 21 charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist. Der für ein jeweiliges Pixel 21 charakteristische zeitabhängige Verlauf ist in zwei Ausführungsformen in der 5 näher erläutert. In einem zweiten Schritt findet das Erfassen S2 der Pixel 31 des Projektionsbildes 30 durch eine an einer ersten Kopfposition 41 eines Fahrzeuginsassen angeordnete erste Kamera 14 und das Erfassen S3 der Pixel 31 des Projektionsbildes 30 durch eine an einer zweiten Kopfposition 42 eines Fahrzeuginsassen angeordneten zweiten Kamera 16 statt. Anschließend erfolgt das Vergleichen S4 von einzelnen Pixeln 31 des an der ersten Kopfposition 41 aufgenommenen Projektionsbildes 30 mit Pixeln 21 des Rohbildes 20 und das Ermitteln einer aus der Optik des Head-Up-Displays 10 resultierenden Transformation T für die erste Kopfposition 42. Ebenso erfolgt das Vergleichen S5 von einzelnen Pixeln 31 des an der zweiten Kopfposition 42 aufgenommenen Projektionsbildes 30 mit Pixeln 21 des Rohbildes 20 und das Ermitteln einer aus der Optik des Head-Up-Displays 10 resultierenden Transformation T für die zweite Kopfposition 42, wobei die jeweilige Transformation T eine Verzerrung des Projektionsbildes 30 gegenüber dem Rohbild 20 angibt. Dem folgt das Ermitteln S6 einer ersten und zweiten Korrektur K für die erste und zweite Transformation T zur Anwendung auf das Rohbild 20 zur Erzeugung eines modifizierten Projektionsbildes 32 derart, dass das auf die Fahrzeugscheibe 12 projizierte modifizierte Projektionsbild 32 gegenüber dem Rohbild 20 unverzerrt dargestellt wird.
-
2 zeigt eine Kalibriervorrichtung 200 zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays 10 eines Fahrzeugs 100, aufweisend:
- - einen Bildgeber 11 zum Projizieren eines Rohbildes 20 auf eine Fahrzeugscheibe 12 zum Erzeugen eines Projektionsbildes 30 auf der Fahrzeugscheibe 12, wobei das Rohbild 20 aus einer Matrix von einzelnen Pixeln 21 besteht und wobei eine Vielzahl von Pixeln 21 des Rohbildes 20 einen für ein jeweiliges Pixel 21 des Rohbildes 20 charakteristischen zeitabhängigen Verlauf in der Lichtintensität aufweist,
- - eine an einer ersten Kopfposition 41 eines Fahrzeuginsassen angeordnete erste Kamera 14 zum Erfassen der Pixel 31 des Projektionsbildes 30,
- - eine an einer zweiten Kopfposition 42 eines Fahrzeuginsassen angeordnete zweite Kamera 16 zum Erfassen der Pixel 31 des Projektionsbildes 30,
- - eine Recheneinheit 18 (dargestellt in der 3) zum Vergleichen von einzelnen Pixeln des an der ersten Kopfposition 41 aufgenommenen Projektionsbildes 30 und des an der zweiten Kopfposition 42 aufgenommenen Projektionsbildes 30 mit Pixeln des Rohbildes 20, und zum Ermitteln einer aus der Optik des Head-Up-Displays 10 resultierenden ersten Transformation T für die erste Kopfposition 41 und einer zweiten Transformation T für die zweite Kopfposition 42, wobei die jeweilige Transformation T eine Verzerrung des Projektionsbildes 30 gegenüber dem Rohbild 20 angibt, und zum Ermitteln einer ersten und zweiten Korrektur K aus der jeweiligen Transformation T zur Anwendung auf das Rohbild 20 zur Erzeugung eines modifizierten Projektionsbildes 32 auf der Fahrzeugscheibe 12, wobei die jeweilige Korrektur K derart ausgebildet ist, dass das modifizierte Projektionsbild 32 gegenüber dem Rohbild 20 unverzerrt dargestellt wird.
-
3 zeigt ein Fahrzeug 100 mit einer Kalibriervorrichtung 200 wie aus der 2.
-
4 zeigt ein vom Bildgeber emittiertes Rohbild 20 mit einer Vielzahl von Pixeln 21. Die Zahl der Pixel 21 ist zur vereinfachten Darstellung gegenüber einer realistischen Zahl von Pixeln 21 in dem Head-Up Display 10 vermindert, in dem Auflösungen (das heißt Zahl von Pixeln in einer Zeile multipliziert mit der Zahl von Pixeln in einer Spalte) von beispielsweise 640x480, 800x800, 1024x768, 1600x1200, oder anderem verwendet werden. Das Rohbild 20 besteht aus einer Matrix von einzelnen Pixeln 21 und die Pixel 21 des Rohbildes 20 weisen einen für ein jeweiliges Pixel 21 charakteristischen zeitabhängigen Verlauf in der Lichtintensität auf. Der dargestellte Verlauf entspricht hierbei einem Binärcode, wie in 5a dargestellt. Aus diesem Grund sind zur Momentanaufnahme an genau einem Zeitpunkt manche der Pixel 21 des Rohbilds dunkel, und andere hell. Außerdem weist der zeitabhängige Verlauf in der Lichtintensität eine erste Farbe und eine zweite Farbe auf, wobei für den Verlauf in der ersten Farbe eine erste Korrektur K ermittelt wird und für den Verlauf in der zweiten Farbe eine zweite Korrektur K.
-
5 zeigt in der 5a und in der 5b jeweils einen beispielhaften für genau ein Pixel 21 des Rohbildes 20 charakteristischen zeitabhängigen Verlauf in der Lichtintensität. Die horizontale Achse des jeweiligen Diagramms zeigt die Zeit t an, die vertikale Achse die Intensität. Im Fall der 5a weist der Verlauf eine Sequenz aus zwei voneinander verschiedenen Lichtintensitäten auf. Dies entspricht einem Binärcode, der auch als Abfolge der Ziffern „0“ und „1“ interpretierbar ist. Demnach zeigt der Verlauf der 5a den achtstelligen Code „10011011“ an. Diese acht Bits (acht Zeichen je Code) werden als ein Byte zusammengefasst, wodurch zumindest 28 Pixel voneinander unterscheidbar sind. Dagegen weist im Falle der 5b der zeitabhängige Verlauf in der Lichtintensität eine sich kontinuierliche ändernde Abfolge von Lichtintensitäten auf.
-
6 zeigt die Überlagerung von Pixeln 21 eines Rohbildes 20 mit Pixeln 31 eines Projektionsbildes. Es ist eine Verzerrung (Transformation T) zwischen beiden Bildern erkennbar, wobei das Projektionsbild 30 gegenüber dem Rohbild 20 verzerrt ist. Die Transformation T wird hierbei als eine bevorzugt invertierbare Transformationsmatrix ermittelt. Demgegenüber wird die Korrektur K als inverse Matrix oder als Pseudo-Inverse der Transformationsmatrix T ermittelt. Beide Matrizen stellen Abbildungen von reellen Zahlenvektoren auf reelle Zahlenvektoren dar. Beim Warping von HUD-Optiken, d.h. beim Anwenden der Transformationsmatrix auf das Rohbild 20 des Bildgebers 11, werden bevorzugt „Freiform“-Transformationen verwendet, d.h. das Verhalten einer Verzerrung an einer Stelle ist prinzipiell unabhängig vom Verhalten an einer anderen Stelle. Daher werden zur Beschreibung solcher, viele Daten erfordernde Funktionen in der Regel zweidimensionale, auch Kalibrationsmatrix oder Warpingmatrix genannte Gitter verwendet. Erfolgt eine (natürliche) Verzerrung durch die Transformation T vom Rohbild 20 auf das Projektionsbild 30, und wird auf das Rohbild 20 die Korrektur K als Inverse der Transformation T angewendet, so ergibt sich ein modifiziertes Projektionsbild 32, dessen Pixel 31 mit den Pixeln 21 des Rohbildes 20 durch Skalierung kongruent darstellbar sind. In der Darstellung der 6 heißt dies, dass für das modifizierte Projektionsbild 32 die Pixel des modifizierten Projektionsbildes 32 auf dem Raster des Rohbildes 20 liegen.
-
7 zeigt eine alternative Vorgehensweise, wobei zum Ermitteln der Korrektur K solche gewünschte Farbwerte der Pixel 21 des Rohbildes 20 aus einer Zuordnung der Pixel 21 des Rohbildes 20 zu den Pixeln 31 des Projektionsbildes 30 ermittelt werden, dass bei Anwendung der Korrektur K auf das Rohbild 20 die Pixel 31 des Projektionsbildes 30 die gewünschten Farbwerte aufweisen. Der erste Teil dieses Verfahrens ist in 7a anhand eines Pixels 21 des Rohbildes 20 dargestellt. Das Pixel 21 des Rohbildes 20 wird durch die Transformation T auf ein Pixel 31 des Projektionsbildes 30 abgebildet. Durch die Transformation T erscheint das Pixel 21 an einer anderen Position im Projektionsbild 30 als zunächst erwünscht. Das Pixel 21 weist einen für sich charakteristischen zeitabhängigen Verlauf in der Leuchtintensität auf, wodurch das Pixel 31 beim Erfassen des Projektionsbildes 30 zum jeweiligen Pixel 21 des Rohbildes 20 zuordenbar ist. In 7b ist die weitere Vorgehensweise erläutert. Zu dem Pixel 31 des Projektionsbildes 30, für das das Pixel 21 des Rohbildes 20 des Projektors ursächlich ist (in 7a und 7b dargestellt im linken unteren Kreuzungspunkt des Gitters) wird eine korrelierende Position eines Pixels 21' des Rohbildes 20 bestimmt. Das Rohbild 20 fungiert bei diesem Vergleich als Musterdarstellung, d.h. die Musterdarstellung gibt vor, wie ein modifiziertes Projektionsbild 32 dargestellt werden soll. Dieser Schritt führt zu einem Pixel 21' des Rohbildes 20, das im oberen rechten Kreuzungspunkt des Gitters der 7b dargestellt ist. Dieses Pixel 21' des Rohbildes und das Pixel 31 des Projektionsbildes weisen hierbei (näherungsweise) die gleiche Position im Vergleichsbild des Rohbildes 20 und des Projektionsbildes 30 auf. Der Farbwert des Pixels 21' des Rohbildes 20 wird hierbei zur Korrektur als Soll-Farbwert für dasjenige Pixel 21 des Rohbildes (in 7a und 7b dargestellt im linken unteren Kreuzungspunkt des Gitters) angewendet, das ursächlich für das Pixel 31 des Projektionsbild 30 ist, d.h. in einem korrigierten Projektionsbild 32 weist das Pixel 31 den Farbwert des Pixels 21' des Rohbildes auf. Bei Anwendung dieses Verfahrens auf eine Vielzahl oder alle der Pixel 21 des Rohbildes 20 wird eine unverzerrte Darstellung des Projektionsbildes 32 gegenüber dem Rohbild 20 erhalten.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 10
- Display
- 11
- Bildgeber
- 12
- Fahrzeugscheibe
- 14
- erste Kamera
- 16
- zweite Kamera
- 18
- Recheneinheit
- 20
- Rohbild
- 21
- Pixel des Rohbildes
- 21'
- Pixel des Rohbildes mit gleicher Position wie Pixel 31 im Projektionsbild
- 30
- Projektionsbild
- 31
- Pixel des Projektionsbildes
- 32
- modifiziertes Projektionsbild
- 41
- erste Kopfposition
- 42
- zweite Kopfposition
- 100
- Fahrzeug
- 200
- Kalibriervorrichtung
- S1
- Projizieren
- S2
- Erfassen
- S3
- Erfassen
- S4
- Vergleichen
- S5
- Vergleichen
- S6
- Ermitteln
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2008/0089611 A1 [0002]
- US 2004/0179271 A1 [0003]
- US 9454808 B2 [0004]
- GB 2514008 A [0005]