DE102020005844A1

DE102020005844A1 - Verfahren zum Kalibrieren eines Head-Up-Displays, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung, und Head-Up-Display mit einer solchen Kalibrierungsvorrichtung

Info

Publication number: DE102020005844A1
Application number: DE102020005844.2A
Authority: DE
Inventors: Xiang Gao; Kai Wu
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2020-09-24
Filing date: 2020-09-24
Publication date: 2020-11-26

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren Head-Up-Displays, wobei- mittels eines an einer ersten Betrachtungsposition (5.2) einer Mehrzahl von Betrachtungsposition (5) angeordneten ersten optischen Sensors (7) eine erste Aufnahme von einer ersten Darstellung (1) des Head-Up-Displays aufgenommen wird, wobei- mittels der ersten Aufnahme eine erste Kalibrierungsmatrix bestimmt wird, wobei- mittels des an der ersten Betrachtungsposition (5.2) angeordneten ersten optischen Sensors (7) eine zweite Aufnahme von einer zweiten Darstellung (9) des Head-Up-Displays aufgenommen wird, wobei- mittels der zweiten Aufnahme eine zweite Kalibrierungsmatrix bestimmt wird, wobei- mittels des an der ersten Betrachtungsposition (5.2) angeordneten ersten optischen Sensors (7) eine erste dritte Aufnahme aufgenommen wird, wobei- mittels eines zweiten optischen Sensors (19) eine zweite dritte Aufnahme aufgenommen wird, wobei- mittels der ersten dritten Aufnahme und der zweiten dritten Aufnahme eine dritte Kalibrierungsmatrix bestimmt wird, wobei- die Kalibrierung des Head-Up-Displays mittels Matrixmultiplikation der ersten Kalibrierungsmatrix, der zweiten Kalibrierungsmatrix und der dritten Kalibrierungsmatrix berechnet und gespeichert wird.

Description

Die Erfindung betrifft ein Verfahren zum Kalibrieren eines Head-Up-Displays, eine Steuereinrichtung zur Durchführung eines solchen Verfahrens, eine Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und ein Head-Up-Display mit einer solchen Kalibrierungsvorrichtung.
Aus der deutschen Offenlegungsschrift mit der Veröffentlichungsnummer DE 10 2019 04 816 A1 geht ein Verfahren zur Kalibrierung eines Head-Up-Displays eines Fahrzeugs hervor, bei dem ein virtuelles Bild in ein Sichtfeld eines Fahrers des Fahrzeugs mittels des Head-Up-Displays projiziert wird. Das virtuelle Bild wird mit einem vor dem Fahrzeug befindlichen Kalibriermuster in Überlappung gebracht. Das Kalibriermuster wird mittels zumindest eines Frontscheinwerfers des Fahrzeugs auf eine vor dem Fahrzeug befindliche Projektionsfläche projiziert und das virtuelle Bild wird von dem Fahrer manuell in Überlappung mit dem Kalibriermuster gebracht.
Darüber hinaus ist ein Verfahren zur Kalibrierung eines Head-Up-Display bekannt, bei dem das Head-Up-Display in mindestens 9 unterschiedlichen Betrachtungspositionen separat kalibriert wird. Diese Art der Kalibrierung ist überaus zeit- und kostenintensiv.
Des Weiteren ist aus der Veröffentlichung C. Yoon und K. Kim, Augmented reality information registration for head-up display, 2015 International Conference on Information and Communication Technology Convergence (ICTC) IEEE, ein Verfahren bekannt, bei dem mittels zweier Projektionen eine Kalibrierung eines Head-Up-Displays mit erweiterter Realität, auch augmented reality oder AR genannt, durchgeführt wird. Nachteilig hierbei ist, dass aus dem Verfahren keine relevanten physikalischen Parameter des Head-Up-Displays und dessen Projektionsverhaltens, wie zum Beispiel die Brennweite des Projektors des Head-Up-Displays, gewonnen werden können.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zum Kalibrieren eines Head-Up-Displays, eine Steuereinrichtung zur Durchführung eines solchen Verfahrens, ein Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und ein Head-Up-Display mit einer solchen Kalibrierungsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zum Kalibrieren eines Head-Up-Displays geschaffen wird, wobei mittels eines an einer ersten Betrachtungsposition einer Mehrzahl von Betrachtungspositionen angeordneten ersten optischen Sensors eine erste Aufnahme von einer ersten Darstellung des Head-Up-Displays aufgenommen wird. Mittels der ersten Aufnahme wird eine erste Kalibrierungsmatrix bestimmt. Weiterhin wird mittels des an der ersten Betrachtungsposition angeordneten ersten optischen Sensors eine zweite Aufnahme von einer zweiten Darstellung des Head-Up-Displays aufgenommen, und mittels der zweiten Aufnahme wird eine zweite Kalibrierungsmatrix bestimmt. Weiterhin wird mittels des an der ersten Position angeordneten ersten optischen Sensors eine erste dritte Aufnahme aufgenommen, und mittels eines zweiten optischen Sensors wird eine zweite dritte Aufnahme aufgenommen. Mittels der ersten dritten Aufnahme und der zweiten dritten Aufnahme wird eine dritte Kalibrierungsmatrix bestimmt. Abschließend wird mittels Matrixmultiplikation der ersten Kalibrierungsmatrix, der zweiten Kalibrierungsmatrix und der dritten Kalibrierungsmatrix eine Kalibrierung des Head-Up-Displays berechnet und gespeichert.
Vorteilhafterweise ist eine aufwändige Kalibrierung des Head-Up-Displays für jede einzelne Betrachtungsposition mittels eines optischen Sensors nicht notwendig. Darüber hinaus kann die Kalibrierung ohne eine aufwändige Positionierung von speziellen Kalibrierungstafeln durchgeführt werden. Die drei Kalibrierungsmatrizen liefern zudem relevante physikalische Parameter des Head-Up-Displays und dessen Projektionsverhaltens.
Unter einer Betrachtungsposition wird im Kontext der vorliegenden technischen Lehre insbesondere eine Position im dreidimensionalen Raum, aus welcher eine Darstellung, die von dem Head-Up-Display auf einer Oberfläche, vorzugsweise einer Windschutzscheibe eines Kraftfahrzeugs, erzeugt wird, betrachtet wird, verstanden. Insbesondere bei der Verwendung des Head-Up-Displays in einem Kraftfahrzeug ist eine Betrachtungsposition eine Position der Augen des Fahrers des Kraftfahrzeugs. Somit wird das Head-Up-Display in einem Kraftfahrzeug vorzugsweise entsprechend der Körpergröße, der Sitzposition, der Haltung und der Kopfbewegungen des Fahrers kalibriert bzw. eingestellt.
Unter einer Darstellung eines Head-Up-Display wird im Kontext der vorliegenden technischen Lehre eine Anzeige, welche mittels eines Projektors des Head-Up-Displays auf die Oberfläche projiziert wird, verstanden.
Vorzugsweise wird die erste Kalibrierungsmatrix mit dem Formelzeichen K, die zweite Kalibrierungsmatrix mit dem Formalzeichen R und die dritte Kalibrierungsmatrix mit dem Formelzeichen T bezeichnet. Die Kalibrierung wird mittels der Matrixmultiplikation K · R · T berechnet und gespeichert.
Der zweite optischen Sensor ist räumlich von dem ersten optischen Sensor derart beabstandet, dass eine optische Achse des ersten optischen Sensors und eine optische Achse des zweiten optischen Sensors voneinander verschieden sind.
In einer bevorzugten Ausführungsform des Verfahrens werden bei der ersten Darstellung vier Linien mittels des Projektors auf die Oberfläche projiziert. Diese vier Linien entsprechen Randlinien eines maximalen Bereichs, in welchem der Projektor die Darstellung projizieren kann. Alternativ oder zusätzlich werden bei der zweiten Darstellung eine Vielzahl von Kalibrierungspunkten mittels des Projektors auf die Oberfläche projiziert.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erste Kalibrierungsmatrix anhand von intrinsischen Parametern des Head-Up-Displays bestimmt wird. Vorteilhafterweise sind somit in der ersten Kalibrierungsmatrix eine horizontale Brennweite, bezeichnet mit f_u, eine vertikale Brennweite, bezeichnet mit f_v. ein Skew-Faktor s und ein Hauptpunkt, bezeichnet mittels den Koordinaten des Hauptpunktes u₀ und v₀, in der Form $K = (\begin{array}{l} f_{u} & s & u_{0} & 0 \\ 0 & f_{v} & v_{0} & 0 \\ 0 & 0 & 1 & 0 \end{array})$
gespeichert. Vorzugsweise wird der Skew-Faktor s gleich Null angenommen. Dies ist dann der Fall, wenn alle Bildpunkte eine Projektor des Head-Up-Display rechteckig sind. Vorzugsweise sind diese Parameter für das Head-Up-Display, insbesondere aus der Herstellung, bekannt. Somit kann die erste Kalibrierungsmatrix auch ohne das erfindungsgemäße Verfahren bestimmt werden.
In einer bevorzugten Ausführungsform des Verfahrens wird die erste Kalibrierungsmatrix, welche mittels der intrinsischen Parametern des Head-Up-Displays vorab bestimmt ist, mittels der ersten Darstellung nachjustiert. Die erste Darstellung besteht aus vier Linien, welche den maximalen Bereich, in welchem der Projektor eine Darstellung projizieren kann, nachzeichnen. Es wird angenommen, dass der Hauptpunkt im Zentrum der ersten Darstellung liegt. Mit dem ersten optischen Sensor wird die erste Aufnahme aufgenommen. Mittels der ersten Aufnahme der ersten Darstellung werden horizontale Ausdehnungen der horizontalen Linien, bezeichnet mit L₁ und L₂ , und vertikale Ausdehnungen der vertikalen Linien, bezeichnet mit L₃ und L₄ , vorzugsweise werden alle Ausdehnungen in Pixel gemessen, bestimmt. Mit diesen Ausdehnungen, einer horizontalen Auflösung h des Projektors des Head-Up-Displays, einer vertikalen Auflösung v des Projektors des Head-Up-Displays, und einer vordefinierten horizontalen Brennweite f_x und einer vordefinierten vertikalen Brennweite f_y des ersten optischen Sensors werden die horizontale Brennweite f_u und die vertikale Brennweite f_v mit den Formeln $f_{u} = \frac{2 \cdot h \cdot f_{x}}{L_{1} + L_{2}}$
$f_{v} = \frac{2 \cdot v \cdot f_{y}}{L_{3} + L_{4}}$
bestimmt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die zweite Kalibrierungsmatrix mittels eines Algorithmus zur perspektivischen Projektion berechnet wird. Vorteilhafterweise wird mittels der zweiten Kalibrierungsmatrix eine Rotation zwischen einer Aufnahme des ersten optischen Sensors und einer Darstellung des Head-Up-Displays auf der Oberfläche dargestellt.
In einer bevorzugten Ausführungsform des Verfahrens werden eine Mehrzahl von Kalibrierungspunkten von dem Projektor des Head-Up-Displays auf die Oberfläche projiziert. Anschließend wird mit dem ersten optischen Sensor die zweite Aufnahme dieser Mehrzahl von Kalibrierungspunkten aufgenommen. Basierend auf den tatsächlichen Positionen der Kalibrierungspunkte und der Bildpositionen der Kalibrierungspunkte in der zweiten Aufnahme wird mittels eines Algorithmus zur perspektivischen Projektion, vorzugsweise eines EPnP Algorithmus, die zweite Kalibrierungsmatrix, vorzugsweise eine Rotationsmatrix, bestimmt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die dritte Kalibrierungsmatrix mittels einer epipolargeometrischen Beschränkung berechnet wird.
In einer bevorzugten Ausführungsform des Verfahrens wird eine Szenerie mit dem ersten optischen Sensor und dem zweiten optischen Sensor aus zwei unterschiedlichen Blickwinkeln, als erste dritte Aufnahme und als zweite dritte Aufnahme, aufgenommen. Für mindestens ein Merkmal der Szenerie wird die Bildposition des Merkmals in der ersten dritten Aufnahme, bezeichnet mit p_j, und die Bildposition des Merkmals in der zweiten dritten Aufnahme, bezeichnet mit p_i bestimmt. Basierend auf der epipolargeometrischen Beschränkung, ausgedrückt durch die Formel $p_{i}^{T} \cdot E \cdot p_{j} = 0$
mit einer Matrix E, wird die dritte Kalibrierungsmatrix T bestimmt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass als erster optischer Sensor eine monokulare Kamera genutzt wird. Damit ist eine einfache und kostengünstige Kalibrierung des Head-Up-Displays, insbesondere des Head-Up-Displays eines Kraftfahrzeugs ohne den Besuch einer Werkstatt möglich. In einer Ausführungsform des Verfahrens wird vorzugsweise eine Smartphone-Kamera genutzt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass als zweiter optischer Sensor eine 3-D Kamera genutzt wird. Bei einer Ausführung des Verfahrens in einem Kraftfahrzeug wird vorteilhafterweise als zweiter optischer Sensor eine schon in dem Kraftfahrzeug vorhandene 3-D Kamera genutzt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das Verfahren für mindestens eine zweite Betrachtungsposition der Mehrzahl von Betrachtungspositionen durchgeführt wird. Die Ausrichtung des Head-Up-Displays für eine tatsächliche Betrachtungspositionen erfolgt bevorzugt aus einer Interpolation zwischen den Betrachtungspositionen, für welche ein Verfahren zur Kalibrierung durchgeführt wurde. Je größer die Anzahl der kalibrierten Betrachtungspositionen ist, desto zuverlässiger kann die Ausrichtung des Head-Up-Displays für die tatsächliche Betrachtungsposition interpoliert werden.
Die Aufgabe wird auch gelöst, indem eine Steuereinrichtung geschaffen wird, die eingerichtet ist, um ein erfindungsgemäßes Verfahren oder Verfahren nach einer der zuvor beschriebenen Ausführungsformen durchzuführen. Die Steuereinrichtung ist vorzugsweise als Recheneinheit, besonders bevorzugt als Computer, ausgebildet. In Zusammenhang mit der Steuereinrichtung ergeben sich insbesondere die Vorteile, die bereits zusammen mit dem Verfahren erläutert wurden.
Bei einem bevorzugten Ausführungsbeispiel der Steuereinrichtung, ist die Steuereinrichtung mit dem ersten optischen Sensor und dem zweiten optischen Sensor wirkverbunden und zu deren Ansteuerung eingerichtet.
Die Aufgabe wird auch gelöst, indem eine Kalibrierungsvorrichtung, die eine Kommunikationsschnittstelle und eine erfindungsgemäße Steuereinrichtung oder eine Steuereinrichtung nach einem der zuvor beschriebenen Ausführungsbeispiel aufweist, geschaffen wird. Die Kommunikationsschnittstelle ist eingerichtet, um Daten von dem ersten optischen Sensor zu empfangen. In Zusammenhang mit der Kalibrierungsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuerrichtung erläutert wurden.
In einer bevorzugten Ausführungsform der Kalibrierungsvorrichtung wird der erste optische Sensor mittels der Kommunikationsschnittstelle bevorzugt kabellos mit der Kalibrierungsvorrichtung verbunden. Damit ist es in einfacher Weise möglich, insbesondere eine Smartphone-Kamera oder eine andere mobile Kamera als ersten optischen Sensor zu verwenden.
Die Aufgabe wird schließlich auch gelöst, indem ein Head-Up-Display, das einen dritten optischen Sensor, einen Projektor, eine Positioniereinrichtung und eine erfindungsgemäße Kalibrierungsvorrichtung oder eine Kalibrierungsvorrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele aufweist, geschaffen wird. Der dritte optische Sensor ist eingerichtet, um eine tatsächliche Betrachtungsposition der Mehrzahl von Betrachtungspositionen zu bestimmen. Die Positioniereinrichtung ist eingerichtet, um das Head-Up-Display gemäß der zu der tatsächlichen Betrachtungsposition gespeicherten oder für die tatsächliche Betrachtungsposition interpolierten Kalibrierung auszurichten.
Der dritte optische Sensor ermittelt im laufenden Betrieb des Head-Up-Displays kontinuierlich die tatsächliche Betrachtungsposition. Entsprechend der kontinuierlich ermittelten tatsächlichen Betrachtungsposition wird das Head-Up-Display kontinuierlich ausgerichtet. Insbesondere beobachtet der dritte optische Sensor vorzugsweise die Position der Augen des Fahrers.
Eine bevorzugte Ausführungsform des Head-Up-Displays weist die bevorzugte Ausführungsform der Kalibrierungsvorrichtung auf.
Vorteilhafterweise kann bei einer Verwendung der bevorzugten Ausführungsform des Head-Up-Displays in einem Kraftfahrzeug der Fahrer des Kraftfahrzeugs das Head-Up-Display mittels seiner Smartphone-Kamera schnell und effizient kalibrieren bzw. rekalibrieren. Ein Rekalibrieren kann bei einer Veränderung der Windschutzscheibe bedingt durch Umwelteinflüsse und/oder Alterserscheinungen notwendig werden. Darüber hinaus ist ein Kalibrieren bzw. Rekalibrieren bei einem Tausch der Windschutzscheibe notwendig.
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert. Dabei zeigen:

1 eine schematische Darstellung einer ersten Darstellung eines Head-Up-Displays mit einer Mehrzahl von Betrachtungspositionen und einem ersten optischen Sensor,
2 eine schematische Darstellung einer zweiten Darstellung des Head-Up-Displays mit einer Mehrzahl von Betrachtungspositionen und dem ersten optischen Sensor, und
3 eine schematische Darstellung eines Ausführungsbeispiels einer Kalibrierungsvorrichtung, die eine Kommunikationsschnittstelle, die eingerichtet ist um von dem ersten optischen Sensor Daten zu empfangen, eine Steuereinrichtung und einen zweiten optischen Sensor aufweist, und dem ersten optischen Sensor.

Die 1 bis 3 zeigen eine schematische Darstellung der Bestimmung einer ersten Kalibrierungsmatrix, einer zweiten Kalibrierungsmatrix und einer dritten Kalibrierungsmatrix. Eine Abfolge der 1 bis 3 stellt somit ein Ausführungsbeispiel eines Verfahrens zur Kalibrierung eines Head-Up-Displays dar. Bevorzugt wird die erste Kalibrierungsmatrix mit dem Formelzeichen K, die zweite Kalibrierungsmatrix mit dem Formalzeichen R und die dritte Kalibrierungsmatrix mit dem Formelzeichen T bezeichnet. Eine Kalibrierung wird dann mittels der Matrixmultiplikation K · R · T berechnet und gespeichert.
1 zeigt eine schematische Darstellung einer ersten Darstellung 1 eines Head-Up-Displays. Die erste Darstellung 1 des Head-Up-Displays besteht aus vier Linien 3, welche die Umrandung des maximalen Bereichs, in welchem der Projektor des Head-Up-Displays eine Darstellung 1 projizieren kann, darstellen. Die beiden horizontal verlaufenden Linien 3.1 und 3.2 weisen horizontale Ausdehnungen L₁ und L₂ auf. Die beiden vertikal verlaufenden Linien 3.3 und 3.4 weisen vertikale Ausdehnungen L₃ und L₄ auf. Außerdem sind eine Mehrzahl von Betrachtungspositionen 5, 5.1, 5.2, 5.3 und ein erster optischen Sensor 7 dargestellt. Der erste optische Sensor 7 ist an einer ersten Betrachtungsposition 5.2 angeordnet.
Intrinsische Parameter des Head-Up-Displays sind entweder aus dem Herstellungsprozess des Head-Up-Displays bekannt und/oder können mit den Formeln (2) und (3) bestimmt werden. Dazu wird mit dem ersten optischen Sensor 7 eine erste Aufnahme der ersten Darstellung 1 aufgenommen. In der ersten Aufnahme werden die horizontalen Ausdehnungen L₁ und L₂ der Linien 3.1 und 3.2 bestimmt. Außerdem werden in der ersten Aufnahme die vertikalen Ausdehnungen L₃ und L₄ der Linien 3.3 und 3.4 bestimmt. Daraus ergibt sich eine erste Kalibrierungsmatrix K, dargestellt mittels der Formel (1).
2 zeigt eine schematische Darstellung einer zweiten Darstellung 9 des Head-Up-Displays. Die zweite Darstellung 9 besteht aus einer Mehrzahl von Kalibrierungspunkten 11. Zur übersichtlicheren Darstellung ist nur ein Kalibrierungspunkt 11.1 der Mehrzahl von Kalibrierungspunkten 11 mit Bezugszeichen versehen. Analog zu 1 sind außerdem eine Mehrzahl von Betrachtungspositionen 5 und der erster optischen Sensor 7 dargestellt. Der erste optische Sensor 7 ist, wie in 1, an der ersten Betrachtungsposition 5.2 angeordnet.
Ein Vorgehen zur Bestimmung einer zweiten Kalibrierungsmatrix R, vorzugsweise einer Rotationsmatrix, wird in 2 dargestellt. Mittels des ersten optischen Sensors 7 wird eine zweite Aufnahme der Mehrzahl von Kalibrierungspunkten 11 aufgenommen. Basierend auf den tatsächlichen Positionen der Kalibrierungspunkte 11 und den Bildpositionen der Kalibrierungspunkte 11 in der zweiten Aufnahme wird mittels eines Algorithmus zur perspektivischen Projektion, vorzugsweise eines EPnP Algorithmus, die zweite Kalibrierungsmatrix R bestimmt.
3 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Kalibrierungsvorrichtung 13, die eine Kommunikationsschnittstelle 15, die eingerichtet ist um Daten von dem ersten optischen Sensor 7 zu empfangen, eine Steuereinrichtung 17 und einen zweiten optischen Sensor 19 aufweist. Der erste optische Sensor 7 ist an der ersten Betrachtungsposition 5.2 angeordnet. Der zweite optische Sensor 19 ist fest mit der Kalibrierungsvorrichtung 13 verbunden. Die Steuereinrichtung 17 ist wirkverbunden mit dem zweiten optischen Sensor 19. Außerdem ist die Steuereinrichtung 17 mittels der Kommunikationsschnittstelle 15 mit dem ersten optischen Sensor wirkverbunden. Die Steuereinrichtung 17 ist eingerichtet, um ein erfindungsgemäßes Verfahren zum Kalibrieren eines Head-Up-Displays oder ein Verfahren gemäß einem der zuvor beschriebenen Ausführungsbeispiele durchzuführen.
Vorzugsweise erfolgt die Übertragung der Daten von dem ersten optischen Sensor 7 an die Kommunikationsschnittstelle 15 der Kalibrierungsvorrichtung 13 drahtlos, beispielsweise mittels Bluetooth oder WiFi. Vorteilhafterweise ist es bei einer bevorzugten Ausführungsform der Kalibrierungsvorrichtung 13 möglich, eine Kamera eines Smartphones als ersten optischen Sensor 7 zu verwenden. Damit ist eine schnelle und effiziente Ausführung eines Verfahrens zum Kalibrieren eines Head-Up-Displays möglich.
Besonders vorteilhaft ist bei der bevorzugten Ausführungsform der Kalibrierungsvorrichtung 13, dass ein Verfahren zum Kalibrieren bzw. Rekalibrieren des Head-Up-Displays bei einer Verwendung in ein Kraftfahrzeug von dem Fahrer des Kraftfahrzeugs unter Verwendung des Smartphones durchgeführt werden kann. Ein Rekalibrieren kann bei einer Veränderung der Windschutzscheibe, bedingt durch Umwelteinflüsse und/oder Alterserscheinungen, notwendig werden. Darüber hinaus ist ein Kalibrieren bzw. Rekalibrieren bei einem Tausch der Windschutzscheibe notwendig.
Mittels des ersten optischen Sensors 7 und des zweiten optischen Sensors 19 wird eine Szenerie 21 aufgenommen. Die Aufnahme der Szenerie 21 mit dem ersten optischen Sensor 7 wird als erste dritte Aufnahme bezeichnet. Die Aufnahme der Szenerie 21 mit dem zweiten optischen Sensor 19 wird als zweite dritte Aufnahme bezeichnet. Der erste optische Sensor 7 und der zweite optische Sensor 19 sind räumlich derart voneinander entfernt und angeordnet, dass die erste dritte Aufnahme und die zweite dritte Aufnahme die Szenerie 21 aus zwei unterschiedlichen Blickwinkeln zeigen.
Die Szenerie 21 umfasst vorzugsweise eine Mehrzahl von Objekten 23. Für mindestens ein Merkmal 25 eines Objekts 23.1 der Szenerie 21 wird die Bildposition des Merkmals 25 in der ersten dritten Aufnahme und die Bildposition des Merkmals 25 in der zweiten dritten Aufnahme bestimmt. Basierend auf der epipolargeometrischen Beschränkung aus Formel (4) wird die dritte Kalibrierungsmatrix T bestimmt.
In einer bevorzugten Ausführungsform eines Head-Up-Displays ermittelt ein dritter optischer Sensor im laufenden Betrieb des Head-Up-Displays kontinuierlich eine tatsächliche Betrachtungsposition, insbesondere die Position der Augen des Fahrers. Das Head-Up-Display, insbesondere der Projektor, wird gemäß der zu der tatsächlichen Betrachtungsposition gespeicherten oder für die tatsächliche Betrachtungsposition interpolierten Kalibrierung kontinuierlich ausgerichtet.
In einer bevorzugten Ausführungsform des Verfahrens wird das Verfahren für mindestens eine zweite Betrachtungsposition 5.1, 5.3 der Mehrzahl von Betrachtungspositionen 5 durchgeführt. Je größer die Anzahl der Betrachtungspositionen 5, für welche eine Kalibrierung durchgeführt wurde, ist, desto zuverlässiger kann die Ausrichtung des Head-Up-Displays für die tatsächliche Betrachtungsposition interpoliert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10201904816 A1 [0002]

Zitierte Nicht-Patentliteratur

C. Yoon und K. Kim, Augmented reality information registration for head-up display, 2015 International Conference on Information and Communication Technology Convergence (ICTC) IEEE [0004]

Claims

Verfahren zum Kalibrieren eines Head-Up-Displays, wobei - mittels eines an einer ersten Betrachtungsposition (5.2) einer Mehrzahl von Betrachtungsposition (5) angeordneten ersten optischen Sensors (7) eine erste Aufnahme von einer ersten Darstellung (1) des Head-Up-Displays aufgenommen wird, wobei - mittels der ersten Aufnahme eine erste Kalibrierungsmatrix bestimmt wird, wobei - mittels des an der ersten Betrachtungsposition (5.2) angeordneten ersten optischen Sensors (7) eine zweite Aufnahme von einer zweiten Darstellung (9) des Head-Up-Displays aufgenommen wird, wobei - mittels der zweiten Aufnahme eine zweite Kalibrierungsmatrix bestimmt wird, wobei - mittels des an der ersten Betrachtungsposition (5.2) angeordneten ersten optischen Sensors (7) eine erste dritte Aufnahme aufgenommen wird, wobei - mittels eines zweiten optischen Sensors (19) eine zweite dritte Aufnahme aufgenommen wird, wobei - mittels der ersten dritten Aufnahme und der zweiten dritten Aufnahme eine dritte Kalibrierungsmatrix bestimmt wird, wobei - die Kalibrierung des Head-Up-Displays mittels Matrixmultiplikation der ersten Kalibrierungsmatrix, der zweiten Kalibrierungsmatrix und der dritten Kalibrierungsmatrix berechnet und gespeichert wird.
Verfahren nach Anspruch 1, wobei die erste Kalibrierungsmatrix anhand von intrinsischen Parametern des Head-Up-Displays bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die zweite Kalibrierungsmatrix mittels eines Algorithmus zur perspektivischen Projektion berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die dritte Kalibrierungsmatrix mittels einer epipolargeometrischen Beschränkung berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als erster optischer Sensor (7) eine monokulare Kamera genutzt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als zweiter optischer Sensor (19) eine 3-D-Kamera genutzt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren für mindestens eine zweite Betrachtungsposition der Mehrzahl von Betrachtungspositionen (5) durchgeführt wird.
Steuereinrichtung (17), eingerichtet zur Durchführung eines Verfahrens zum Kalibrieren des Head-Up-Displays nach einem der vorhergehenden Ansprüche.
Kalibrierungsvorrichtung (13) mit einer Kommunikationsschnittstelle (15), die eingerichtet ist, um Daten von einem ersten optischen Sensor (7) zu empfangen, einer Steuereinrichtung (17) nach Anspruch 8 und einem zweiten optischen Sensor (19).
Head-Up-Display mit einer Kalibrierungsvorrichtung (13) nach Anspruch 9, und mit einem dritten optischen Sensor, der eingerichtet ist zur Bestimmung einer tatsächlichen Betrachtungsposition der Mehrzahl von Betrachtungsposition (5), einem Projektor und einer Positioniereinrichtung, die eingerichtet ist zur Ausrichtung des Head-Up-Displays gemäß der zu der tatsächlichen Betrachtungsposition gespeicherten oder für die tatsächliche Betrachtungsposition interpolierten Kalibrierung.