-
Die Erfindung betrifft ein Verfahren zur Kalibrierung eines kontaktanalogen Headup-Displays eines Fahrzeuges in einer Werkstatt, bei welchem eine Warping-Matrix und Parameter einer virtuellen Kamera bestimmt werden.
-
Für die Darstellung von kontaktanalogen Augmented-Reality-Inhalten im Automobilbereich haben Headup-Displays viele Vorteile gegenüber alternativen Anzeigemedien. Mit solchen Headup-Displays können die kontaktanalogen Augmented-Reality-Inhalte z.B. direkt in das Sichtbild des Fahrers eingeblendet werden, so dass eine Wahrnehmung erfolgen kann, ohne dass sich der Fahrer vom Fahrgeschehen abwenden muss. Ein großer Nachteil von einem Headup-Display ist jedoch der erhöhte Kalibrieraufwand, der zum großen Teil dadurch bedingt ist, dass die Projektion des Headup-Displays über eine Windschutzscheibe des Fahrzeuges in das Sichtfeld des Fahrers reflektiert wird. Die Windschutzscheibe ist aber nicht in erster Linie auf diese Reflexion ausgelegt, sondern wird insbesondere vor allem unter aerodynamischen und ästhetischen Gesichtspunkten entworfen. Darüber hinaus obliegt jede individuelle Windschutzscheibe fertigungsbedingten Abweichungen von der Zielgeometrie.
-
In Kombination mit dem toleranzbehafteten Zusammenbau des Gesamtsystems ergeben sich dadurch Verzeichnungen und Verschiebungen des virtuellen Bildes, die von der Position des Fahrers abhängen. Unkorrigiert führt dies zu Augmentierungsfehlern, die das System unbrauchbar machen. Die Kalibrierung eines Augmented-Reality-Headup-Displays erfordert daher essentiell zwei Schritte:
- 1. Bestimmung einer Warping-Matrix, wobei die Warping-Matrix eine Abbildevorschrift darstellt, die dazu benutzt wird, um die Bildpunkte eines verzeichneten virtuellen Bildes in ein gewarptes, d.h. unverzeichnetes virtuelles Bild zu überführen (4).
- 2. Bestimmung der Parameter der virtuellen Kamera. Um Objekte kontaktanalog zu augmentieren, muss die Lage des virtuellen Bildes bekannt sein, damit die virtuelle Kamera im Rendering dementsprechend eingestellt werden kann (5). Dabei ist es wichtig, dass die Parameter, die die virtuelle Kamera beschreiben, in dem gleichen Koordinatensystem bekannt sind, wie die Parameter der Objekte, die augmentiert werden sollen.
-
Eine besondere Herausforderung für die Kalibrierung von kontaktanalogen Headup-Displays stellt dabei der Aftermarket dar. Gegenüber der Produktion eines Fahrzeuges sind die verfügbaren Mittel in Werkstätten extrem limitiert, weshalb Konzepte aus der Produktion nicht für die Kalibrierung eines Headup-Displays im Aftermarket geeignet sind.
-
Aufgabe der Erfindung ist es, ein Verfahren zur Kalibrierung eines kontaktanalogen Headup-Displays in einer Werkstatt anzugeben, bei welchem das kontaktanaloge Headup-Display beispielsweise bei einem Austausch einer Windschutzscheibe zuverlässig kalibriert werden kann.
-
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
-
Die Aufgabe ist mit einem Verfahren dadurch gelöst, dass vor der Bestimmung der Warping-Matrix und der Parameter der virtuellen Kamera 2D/3D-Korrespondenzen zwischen einem virtuellen Bild und einer Fahrzeugsensorik hergestellt werden. Dies hat den Vorteil, dass die 2D/3D-Korrespondenzen zur Kalibrierung benutzt werden können. Insbesondere werden dabei die Parameter der virtuellen Kamera direkt in dem Koordinatensystem der Fahrzeugsensorik geschätzt. Das heißt, die Parameter sind direkt in dem Koordinatensystem verfügbar, in dem die Daten zur Augmentierung bereitgestellt werden. Dadurch wird der Einfluss von Fehlern in der Kalibrierung der Fahrzeugsensorik auf die Augmentierung minimiert.
-
Vorteilhafterweise wird im virtuellen Bild zur Erstellung einer 2D-Korrespondenz ein reales Objekt gekennzeichnet, dessen Bildkoordinaten einem realen Objektpunkt zugeordnet werden und anschließend der reale Objektpunkt von der Fahrzeugsensorik erfasst wird, welche diesen in 3D-Koordinaten ausgibt. Mittels eines solchen Verfahrens lässt sich insbesondere in einer Werkstatt, in welcher keine hoch technisierten Instrumente zur Verfügung stehen, eine zuverlässige Kalibrierung des kontaktanalogen Headup-Displays durchführen.
-
In einer Ausgestaltung deckt die Fahrzeugsensorik das Field of View des Headup-Displays ab. Nur unter dieser Voraussetzung kann die vorgeschriebene Maßnahme fehlerfrei realisiert werden.
-
In einer besonders einfachen Ausführungsform werden die 2D/3D-Korrespondenzen über ein Target bestimmt.
-
In einer Variante wird das Target zur dreidimensionalen Erfassung durch die Fahrzeugsensorik vor dem Fahrzeug positioniert und parallel dazu wird das Target durch das Headup-Display im virtuellen Bild zweidimensional eingeblendet, wobei beide Targets in Überdeckung gebracht werden.
-
In einer Weiterbildung wird aus der Schätzung der Fahrzeugsensorik und der Einblendung des Targets im virtuellen Bild mindestens eine 2D/3D-Korrespondenz pro Targetposition abgeleitet, welche anschließend zur Bestimmung der Warping-Matrix und/oder der Parameter der virtuellen Kamera genutzt werden.
-
In einer Alternative werden die 2D/3D-Korrespondenzen über beliebige Objektpunkte hergestellt, bei welchen die Fahrzeugsensorik eine Bildausleitung bereitstellt, um aus den Bildpunkten eine 3D-Position zu berechnen. Ein User-Interface gewährleistet eine Zuordnung zwischen 2D-Koordinaten im virtuellen Bild und 3D-Koordinaten der Fahrzeugsensorik. Diese Zuordnung kann z.B. über eine Reihenfolge der Markierungen, eine Farbe oder Form erfolgen. Insgesamt wird durch diesen Ansatz eine Anzahl von 2D/3D-Korrespondenzen erfasst, die der Anzahl der markierten Objektpunkte entspricht.
-
In einer Ausgestaltung wird aufgrund einer Aufstellung des Fahrzeuges im Field of View des Headup-Displays eine Mehrzahl von markanten Objektpunkten gezeigt, aus welchen eine vorgegebene Anzahl der markanten Objektpunkte ausgewählt wird und in dem virtuellen Bild des Headup-Displays markiert werden, wobei in einem von der Fahrzeugsensorik angezeigten Bild die vorgegebene Anzahl der gleichen Objektpunkte gekennzeichnet werden und die Fahrzeugsensorik aus diesen im Bild angezeigten Objektpunkten eine 3D-Position als 3D-Korrespondenz ermittelt.
-
Vorteilhafterweise werden die 2D/3D-Korrespondenzen für eine vorgegebene Kopfposition des Fahrers bestimmt. Dies ist insbesondere von Bedeutung, da sowohl die Warping-Matrix als auch die Lage des virtuellen Bildes sich mit der Kopfposition ändert und somit für jede Kalibrierung eine gesonderte 2D/3D-Korrespondenz vorhanden sein muss.
-
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
-
Es zeigen:
- 1 ein Ausführungsbeispiel für eine Anordnung eines Headup-Displays in einem Fahrzeug zur Ausführung des erfindungsgemäßen Verfahrens,
- 2 ein Ausführungsbeispiel für das erfindungsgemäße Verfahren,
- 3 ein Ausführungsbeispiel von einer Transformation für ein ungewarptes Bild in ein gewarptes Bild,
- 4 ein Ausführungsbeispiel eines Warping-Effektes gemäß dem Stand der Technik,
- 5 eine Darstellung zur Ermittlung der Parameter zum Einstellen der virtuellen Kamera (Translation, Rotation, Öffnungswinkel) gemäß dem Stand der Technik.
-
In 1 ist ein Ausführungsbeispiel für eine Anordnung eines Headup-Displays 1 in einem Fahrzeug 7 dargestellt, welches ein virtuelles Bild 3 in eine Windschutzscheibe 5 eines Fahrzeuges 7 einspiegelt. Das Fahrzeug 7 umfasst eine Fahrzeugsensorik in Form eines Radarsensors 9 und einer Multi-Purpose-Kamera (MPC) 11, welche nur eine Kamera zur Schätzung von 2D-Koordinaten in Höhe und Querrichtung aufweist. Der Radarsensors 9 liefert Targetkoordinaten in erster Linie in Längsrichtung. Die Kombination der beiden Sensoren 9, 11 ermöglicht folglich eine Schätzung der Position in 3D-Koordinaten. Anstelle einer Verwendung des Radarsensors 9 kann das Bedienpersonal auch den Abstand zum Target 19 messen. Alternativ ist die Schätzung der Position in 3D-Koordinaten allein durch die Verwendung einer Stereo-Multi-Purpose-Kamera (SMPC) möglich.
-
Eine Kopfposition des Fahrers 13 wird durch eine Fahrerkamera 15 ermittelt. Mittels der vorgegebenen Fahrzeugsensorik 9, 11 soll ein Verfahren zur Kalibrierung eines kontaktanalogen Headup-Displays 1 in einer Werkstatt angegeben werden, beispielsweise nachdem die Windschutzscheibe 5 ausgetauscht wurde. Dazu bestehen zwei Möglichkeiten. In einem ersten Fall wird ein Target 17 vor dem Fahrzeug 7 positioniert, das von der Sensorelektronik (Radar 9 und MP-Kamera 11) erfasst wird.
-
Parallel zur Erfassung des Targets 17 über die Fahrzeugsensorik 9, 11 wird eine 2D-Darstellung 19 des Targets im virtuellen Bild 3 eingeblendet, wie es in 2 dargestellt ist. Diese 2D-Darstellung 19 des Targets im virtuellen Bild 3 wird mit dem realen Target 17 in Deckung gebracht, was beispielsweise über eine Verschiebung, eine Skalierung oder Drehung der Darstellung 19 erreicht werden kann. Als Eingabemedium für eine solche Verschiebung können z.B. die Lenkradtasten 21 genutzt werden. Sobald die Darstellung 19 des virtuellen Bildes mit dem realen Target 17 in Deckung gebracht wurde, wird dies per Eingabe auf den Lenkradtasten 21 bestätigt. Je nach Target 17 lassen sich aus den Schätzungen der Fahrzeugsensorik 9, 11 und der Eingabe des Bedienungspersonals auf den Lenkradtasten 21 eine oder mehrere 2D/3D-Korrespondenzen pro Targetposition ableiten.
-
In einem zweiten Fall des erfindungsgemäßen Verfahrens werden die 2D/3D-Korrespondenzen über beliebige Projektpunkte hergestellt. Um dies zu ermöglichen, muss die Fahrzeugsensorik 9, 11 eine Bildausleitung bereitstellen und aus Bildpunkten eine 3D-Position berechnen können. Als Beispiel wäre hier ebenfalls die Verwendung einer Stereo-Multi-Purpose-Kamera zu nennen, die zwei Kameras aufweist und die Bilder der individuellen Kameras ausleitet.
-
Um eine Kalibrierung durchzuführen, wird das Fahrzeug 7 so aufgestellt, dass im Field of View des Headup-Displays 1 eine möglichst große Anzahl von markanten Objektpunkten zu sehen ist. Das Bedienpersonal wählt nun eine Anzahl dieser markanten Objektpunkte aus und markiert diese im virtuellen Bild 3 des Headup-Displays 1 (analog zu dem Target). Im nächsten Schritt wird dem Bedienpersonal das Bildmaterial von der Fahrzeugsensorik 11 angezeigt und das Bedienpersonal markiert die gleichen markanten Objektpunkte im Bildmaterial. Aus diesen Markierungen errechnet die Fahrzeugsensorik 11 dann jeweils eine 3D-Position. Im Beispiel der Verwendung einer Stereokamera werden die beiden Bilder der zwei individuellen Kameras angezeigt und das Bedienpersonal markiert Objekte in beiden Bildern, woraufhin direkt eine 3D-Position berechnet werden kann.
-
Für beide vorgestellten Fälle gilt, dass die 2D/3D-Korrespondenzen immer nur für eine Kopfposition des Fahrers 13 gültig sind, da sich sowohl Warping-Matrizen als auch die Lage des virtuellen Bildes mit der Kopfposition des Fahrers 13 ändern. Soll das Headup-Display 1 also für mehrere Kopfpositionen kalibriert werden, müssen 2D/3D-Korrespondenzen dementsprechend für alle Kopfpositionen getrennt bestimmt werden.
-
Basierend auf den so ermittelten 2D/3D-Korrespondenzen können zwei unterschiedliche Kalibrieransätze gewählt werden:
-
Bei einem ersten Kalibrieransatz ist eine Bestimmung des virtuellen Kameraparameters möglich (extrinsische Kalibrierung). Bei diesem Ansatz wird davon ausgegangen, dass Warping-Matrixen bereits mit hinreichend hoher Genauigkeit vorhanden sind. Diese können z.B. durch einen vorgelagerten, separaten Warping-Kalibrierschritt ermittelt werden. Die 2D/3D-Korrespondenzen werden in diesem Ansatz folglich dafür verwendet, um die Parameter der virtuellen Kamera zu bestimmen. Zu diesen Parametern gehören die drei Winkel, die Position der virtuellen Kamera und eventuell ein Öffnungswinkel, wenn diese nicht bereits aus dem Warping-Schritt bekannt sind. Dies kann über einen mathematischen Standardansatz gelöst werden, wenn man ein geeignetes Kameramodell, wie beispielsweise ein Lochkameramodell, für den Zusammenhang zwischen 2D- und 3D-Positionen wählt und eine hinreichend große Anzahl von 2D/3D-Korrespondenzen bestimmt.
-
Ein zweiter Kalibrieransatz besteht darin, die Warping-Matrizen und die virtuelle Kamera zu bestimmen (intrinsische und extrinsische Kalibrierung). Dabei werden die 2D/3D-Korrespondenzen genutzt, um sowohl die Warping-Matrix als auch die Parameter der virtuellen Kamera zu bestimmen. Es muss ein geeignetes mathematisches Modell gewählt werden, das den Zusammenhang zwischen 2D- und 3D-Koordinaten herstellt und neben der virtuellen Kamera auch den Einfluss der Warping-Matrix modelliert. Dabei kann das angewendete Warping-Konzept entweder direkt modelliert werden oder über Funktionen, die die Bildpunkte des virtuellen Bildes insgesamt transformieren, wie es in 3 dargestellt ist. Letzteres hat den Vorteil, dass eventuell weniger Parameter geschätzt werden müssen. Dafür müssen allerdings eine Menge von Funktionen gewählt werden, die die im Aftermarket zu erwartenden Bildfehler im virtuellen Bild möglichst gut approximieren. Mit dem direkten Modellieren der Warping-Matrix kann ein höherer Qualitätsgrad erreicht werden. Die erhöhte Anzahl von Parametern impliziert allerdings auch, dass wesentlich mehr 3D/3D-Korrespondenzen erforderlich sind. Insbesondere sind die Anzahl der benötigten 2D/3D-Korrespondenzen im zweiten Kalibrieransatz generell höher als im ersten Kalibrieransatz, da das Modell im zweiten Kalibrieransatz neben den Parametern der virtuellen Kamera auch die Warping-Parameter beinhaltet.
-
Darüber hinaus ist es auch denkbar, zunächst in einem separaten Warping-Schritt für ein virtuelles Bild zu sorgen, das weitestgehend unverzeichnet ist. In einem Kalibrierschritt sind danach sowohl die Parameter der virtuellen Kamera zu schätzen als auch eine gegenüber dem ersten Warping-Schritt verfeinerte Warping-Matrix zu ermitteln.
-
Wenn die Fahrerkamera 15 nicht mit der Fahrzeugsensorik 9, 11 abgeglichen wurde, kann das vorgeschlagene Verfahren noch verrfeinert werden, indem eine Transformation zwischen den Koordinatensystemen, die innerhalb der Fahrerkamera 15 und der Fahrzeugsensorik 9, 11 genutzt werden, berechnet wird. Dies ist möglich, wenn man eine Koordinatentransformation aus den Positionen der virtuellen Kamera und der zugehörigen Kopfposition, wie sie von der Fahrerkamera 15 gemessen wurde, berechnet. Beide sind 3D-Koordinaten, die die gleichen Positionen beschreiben, die eine im Koordinatensystem der Fahrzeugsensorik 9, 11, die anderen im Koordinatensystem der Fahrerkamera 15.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 1
- Headup-Display
- 3
- virtuelles Bild
- 5
- Windschutzscheibe
- 7
- Fahrzeug
- 9
- Radarsensor
- 11
- Stereo-Multi-Purpose-Kamera
- 13
- Fahrer
- 15
- Fahrerkamera
- 17
- Target
- 19
- 2D-Darstellung des virtuellen Bildes
- 21
- Lenkradtasten
