-
Die Erfindung betrifft ein Verfahren zur Kalibrierung eines kontaktanalogen Headup-Displays eines Fahrzeuges, bei welchem Informationen in einem virtuellen Bild ausgewertet werden.
-
Für die Darstellung von kontaktanalogen Augmented Reality-Inhalten im Automobilbereich haben Headup-Displays viele Vorteile gegenüber alternativen Anzeigemedien. Mit diesen Headup-Displays können die Augmented Reality-Inhalte z.B. direkt in das Sichtfeld des Fahrers eingeblendet werden, so dass eine Wahrnehmung erfolgen kann, ohne dass sich der Fahrer vom Fahrgeschehen abwenden muss. Nachteilig dabei ist jedoch, dass ein erhöhter Kalibrieraufwand notwendig wird, der zum größten Teil dadurch bedingt ist, dass die Projektion des Headup-Displays über eine Windschutzscheibe des Fahrzeuges in das Sichtfeld des Fahrers reflektiert wird. Dabei ist die Windschutzscheibe nicht in erster Linie auf diese Reflexion ausgelegt, sondern wird vor allem unter aerodynamischen und ästhetischen Gesichtspunkten entworfen. Darüber hinaus obliegt jede individuelle Windschutzscheibe fertigungsbedingten Abweichungen von der Zielgeometrie. In Kombination mit dem toleranzbehafteten Zusammenbau des Gesamtsystems des Fahrzeuges ergeben sich dadurch Verzeichnungen und Verschiebungen des virtuellen Bildes, die von der Position des Fahrers abhängen. Unkorrigiert führt dies zu Augmentierungsfehlern, die das System unbrauchbar machen.
-
Insbesondere im Aftermarket werden hohe Anforderungen an die Kalibrierung der kontaktanalogen Headup-Displays gestellt, da in diesem Fall in den Werkstätten der Einsatz von Mitteln, die üblicherweise in der Produktion angewendet werden, limitiert sind. Durch das mangelnde Equipment ist eine Kalibrierung von kontaktanalogen Headup-Displays in Werkstätten mit einem hohen Umfang an manueller Arbeit verbunden. Dies führt zum einen zu erhöhten Kosten, zum anderen zu minderwertigen Kalibrierergebnissen, da ein zeitintensives Verfahren Einbußen in der Konzentration und Motivation des Bedienpersonales nach sich zieht.
-
Aufgabe der Erfindung ist es, ein Verfahren zur Kalibrierung eines kontaktanalogen Headup-Displays eines Fahrzeuges anzugeben, welches trotz geringer Kosten ein zuverlässiges Kalibrierungsergebnis ermöglicht.
-
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
-
Die Aufgabe ist mit einem Verfahren dadurch gelöst, dass eine Abbildung des virtuellen Bildes durch eine externe Bildaufnahmeeinheit aufgenommen wird, wobei für eine Kommunikation und/oder zum unidirektionalen Datenaustausch zwischen Fahrzeug und Bildaufnahmeeinheit ein QR-Code verwendet wird, der in die Abbildung des virtuellen Bildes eingeblendet wird. Dies ist von besonderem Vorteil, da QR-Codes eine große und variable Informationsdichte abbilden, so dass eine ausreichende Anzahl von Informationen zur Kalibrierung des kontaktanalogen Headup-Displays übertragen werden kann, wobei der Anteil von manueller Tätigkeit des Bedienpersonals reduziert und somit trotzdem ein zuverlässiges Kalibrierergebnis erreicht wird. QR-Codes sind tolerant gegenüber unvollständigem bzw. undeutlichem Erfassen der dargestellten Codes. Informationen, die im QR-Code kodiert sind, können auch dann extrahiert werden, wenn die QR-Codes verzeichnet sind. Dies ist insbesondere dann wichtig, wenn eine Bestimmung einer Warping-Matrix durchgeführt wird, da das virtuelle Bild zum Zeitpunkt der Kalibrierung natürlicherweise verzeichnet ist. Aufgrund der vielseitig vorhandenen Verwendungsmöglichkeiten von QR-Codes bestehen ausgereifte Dekodieralgorithmen, was die Kosten der Entwicklung des beschriebenen Datenaustauschs signifikant verringert. Ein solches Verfahren ist nicht nur für den After-Market geeignet, sondern reduziert auch das notwendige Equipment in der Produktion.
-
Vorteilhafterweise werden die auszuwertenden Informationen in dem QR-Code kodiert und der QR-Code im virtuellen Bild oder in einer Anzeige der Bildaufnahmeeinheit parallel zu weiteren kalibrierrelevanten Bildern dargestellt. Somit kann der Kalibriervorgang einfach mittels eines Bildauswertealgorithmus durchgeführt werden.
-
In einer Ausgestaltung wird zur zeitlichen Synchronisation der durch den QR-Code übertragenen Daten mit einem Zeitpunkt der Aufnahme des virtuellen Bildes der QR-Code in Abhängigkeit von einer zeitlichen Dynamik der relevanten Daten kontinuierlich neu berechnet. Durch diese kontinuierliche Erneuerung des QR-Codes wird sichergestellt, dass Fahrzeugdaten, die beispielsweise über die Fahrzeugsensorik zur Bildverarbeitung bereitstehen, bei der Kalibrierung des Headup-Displays sicher mit berücksichtigt werden.
-
In einer Ausführungsform wird eine Mindestanzahl von Bildern aufgenommen, die den Zeitraum der Maximallatenz zwischen Datengenerierung und Anzeige des QR-Codes mit den entsprechenden Daten abdecken. Dies wird insbesondere für potentiell hoch dynamische Daten, bei denen eine direkte zeitliche Zuordnung von Daten zum entsprechenden Kalibrierergebnis nötig ist, ermöglicht. Veraltete Aufnahmen, die zu einer fehlerhaften Kalibrierung führen, bleiben dabei unberücksichtigt.
-
In einer Ausführungsform wird aus der Abfolge der Aufnahmen der Bilder eine Dynamik der übertragenen Daten geschätzt, wobei die entsprechende Aufnahme abgelehnt wird, wenn ein Grenzwert durch die geschätzte Dynamik überschritten wird. Dadurch wird verhindert, dass inkorrekte Daten bei der Berechnung des Kalibriervorganges berücksichtigt werden.
-
In einer Alternative werden für jede individuelle Aufnahme die Kalibrierparameter berechnet und über die unterschiedlichen Aufnahmen innerhalb der Maximallatenz gemittelt. Wenn der entsprechende Datenwert ebenfalls gespeichert werden soll, so kann dieser ebenfalls gemittelt werden.
-
In einer weiteren Alternative werden bei bekannter Latenz zwischen Aufnahme und Datenerzeugung die kalibrierrelevante Anzeige und der QR-Code aus unterschiedlichen Aufnahmen extrahiert. Dabei werden die Aufnahmen so gewählt, dass die Zeitpunkte zwischen Aufnahme der kalibrierrelevanten Anzeige und Datenerzeugung des QR-Codes möglichst gut zueinander passen.
-
In einer Weiterbildung werden als Bildaufnahmeeinheit ein Smartphone oder ein Tablet-PC verwendet, wobei die Abbildung des virtuellen Objektes und/oder des relevanten realen Objektes durch Bildverarbeitungsalgorithmen bearbeitet werden. Die heute weit verbreiteten Smartphones bzw. Tablet-PCs umfassen derartige Bildverarbeitungsalgorithmen, so dass ihr Einsatz in Werkstätten zur Kalibrierung kontaktanaloger Headup-Displays im Aftermarket kostengünstig eingesetzt werden können.
-
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
-
Es zeigen:
- 1 eine Prinzipdarstellung eines Headup-Displays,
- 2 ein Ausführungsbeispiel zur manuellen Bestimmung einer Warping-Matrix,
- 3 ein Ausführungsbeispiel für einen automatisierten Kalibrierungsvorgang.
-
In 1 ist eine Prinzipdarstellung eines Headup-Displays 1 dargestellt, welches in die Windschutzscheibe 3 eines Fahrzeuges 5 ein virtuelles Bild 7 im Sichtfeld des Fahrers 9 einbringt. Mittels einer im Fahrzeug 5 vorhandenen Sensorik, wie beispielsweise einem Radarsensor 11 und einer Kamera 13, wir eine Position eines externen Objektes geschätzt. Mittels einer Fahrerkamera (DRCRM) 15 wird die Position des Fahrers 9 zuverlässig bestimmt.
-
Für die Kalibrierung des Headup-Displays 1 ist es unter anderem notwendig, Warping-Matrizen zu bestimmen, die von der Kopfposition des Fahrers 9 abhängen. Außerdem muss zusätzlich die Lage des virtuellen Bildes bestimmt werden. Dazu wird beispielsweise in dem virtuellen Bild 7 das angezeigte Gitter 17 mit einem realen Gitter 19 in Überdeckung gebracht (2). Dabei lässt sich der manuelle Aufwand in einer Werkstatt reduzieren, indem ein Foto oder ein Video des virtuellen Bildes 7 und eventuelle relevante reale Objekte, wie das reale Gitter 19, mit einer Bildaufnahmeeinheit 21 aufgenommen und mittels eines Bildverarbeitungslogarithmus bearbeitet werden.
-
Zur Aufnahme des Fotos werden als Bildaufnahmeeinheit 21 beispielsweise ein handelsübliches Smartphone oder ein Tablet-PC eingesetzt, wie es in 3 dargestellt ist. Dabei ist es notwendig, dass zwischen dem Fahrzeug 5 und der Bildaufnahmeeinheit 21 in Form des Smartphones oder des Tablet-PCs ein Kommunikationskanal erstellt wird, so dass auch die durch die Fahrzeugsensorik 11, 13 zur Bildverarbeitung bereitgestellten Daten bearbeitet werden können. Insbesondere sei hier die Fahrerkamera 15 zu nennen, die in der Kalibrierung benötigt wird, um die Fahrerpositionsabhängigkeit der Kalibrierparameter aufzulösen.
-
Der Kommunikationskanal zwischen Fahrzeug 5 und Bildaufnahmeeinheit 21 wird mittels eines QR-Codes 23 realisiert, welcher zur Synchronisierung und zum unidirektionalen Datenaustausch zwischen Fahrzeug 5 und Bildaufnahmeeinheit 21 genutzt wird. Dabei werden die relevanten Daten in dem QR-Code 23 kodiert, wobei der QR-Code 23 im virtuellen Bild 7 oder auf einem anderen, im Field of View der Bildaufnahmeeinheit 21 sichtbaren Bildschirm angezeigt wird.
-
Wenn die entsprechenden Daten einer zeitlichen Dynamik unterliegen, so muss der QR-Code 23 kontinuierlich neu berechnet und parallel zu den entsprechenden kalibrierrelevanten Anzeigen dargestellt werden. Dies erfolgt beispielsweise innerhalb des Gitters 19 in 2. Bei hoch dynamischen Daten müssen eventuell mehrere Aufnahmen in schneller Abfolge gemacht werden und in einem separaten Datenverarbeitungsblock behandelt werden. In einem solchen Datenverarbeitungsblock bestehen mehrere Alternativen zur Verarbeitung. So kann in einer ersten Alternative beispielsweise aus einer Abfolge von Bildaufnahmen die Dynamik der übertragenen Daten geschätzt werden. Wenn die Daten im QR-Code 23 eine hohe Dynamik aufweisen, für die Kalibrierung aber eine eindeutige Zuordnung zwischen Daten und Kalibrierergebnis wichtig oder sogar ein bestimmten Datenwert erforderlich ist, so kann die entsprechende Aufnahme abgelehnt werden, wenn die geschätzte Dynamik einen Grenzwert überschreitet.
-
In einer zweiten Alternative werden die Kalibrierparameter für jede der individuellen Aufnahmen berechnet und über die unterschiedlichen Aufnahmen innerhalb einer Maximallatenz gemittelt. Wenn der entsprechende Datenwert ebenfalls gespeichert werden soll, so könnte dieser ebenfalls gemittelt werden.
-
In einer weiteren Ausführungsform ist die Latenz zwischen Aufnahme und Datenerzeugung bekannt. So kann die kalibrierrelevante Anzeige und der entsprechende QR-Code 23 auf unterschiedlichen Aufnahmen extrahiert werden. Dabei werden die Aufnahmen so gewählt, dass die Zeitpunkte zwischen Aufnahme der kalibrierrelevanten Anzeige und Datenerzeugung des QR-Codes 23 möglichst gut zueinander passen. In der Regel wird es keine zwei Aufnahmen geben, wo die entsprechenden beiden Zeitpunkte exakt gleich sind. In solchen Fällen könnte man versuchen, zwischen den Daten zu interpolieren.
-
Allgemein kann das Auslösen der Bildaufnahme durch die Bildaufnahmeeinheit 21 entweder durch das Bedienpersonal oder automatisch durch einen Inhalt des QR-Codes 23 getriggert werden. Im Fall der Übertragung von Fahrerkamera-Positionsdaten, welche durch die Fahrerkamera 15 aufgenommen werden, kann das Auslösen der Bildaufnahme erst dann über ein Datenfeld im QR-Code 23 getriggert werden, wenn die Position der Bildaufnahmeeinheit 21 der Position entspricht, an der kalibriert werden soll. Der QR-Code 23 kann andernfalls auch dazu genutzt werden, um zu kommunizieren, an welche Position die Bildaufnahmeeinheit 21 bewegt werden soll, bevor eine Aufnahme getätigt werden kann.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 1
- Headup-Display
- 3
- Windschutzscheibe
- 5
- Fahrzeug
- 7
- virtuelles Bild
- 9
- Fahrer
- 11
- Radarsensor
- 13
- Kamera
- 15
- Fahrerkamera
- 17
- angezeigtes Gitter
- 19
- reales Gitter
- 21
- Bildaufnahmeeinheit
- 23
- CR-Code
