DE102020124756B4

DE102020124756B4 - Verfahren und Vorrichtung zum Kalibrieren eines virtuellen Bildes

Info

Publication number: DE102020124756B4
Application number: DE102020124756.7A
Authority: DE
Inventors: Kai-Han Chang; Thomas A. Seder
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-10-11
Filing date: 2020-09-23
Publication date: 2023-09-21
Anticipated expiration: 2040-09-24
Also published as: CN112649959B; US10996480B1; US20210109355A1; CN112649959A; DE102020124756A1

Abstract

Verfahren (501) zum Kalibrieren eines virtuellen Bildes, das von einem Fahrzeug-Head-Up-Display-System auf eine Windschutzscheibe (116) projiziert wird, umfassend:Anzeigen (503) eines Referenzpunktes (311) an einer vorbestimmten Stelle auf der Windschutzscheibe (116);Projizieren (505) eines Testbildes (305) von einem Testbildgenerator (103) innerhalb des Head-Up-Display-Systems;Ausrichten (507) des Testbildes (305) mit dem Referenzpunkt (311);Bestimmen (509) einer Positionsabweichung von einer kalibrierten Testbildposition (205), die erforderlich ist, um das Testbild (305) mit dem Referenzpunkt (311) auszurichten; undbasierend auf der Positionsabweichung und einer bekannten Positionsbeziehung zwischen einer kalibrierten virtuellen Bildposition (203) und der kalibrierten Testbildposition (205), Ausrichten (511) des virtuellen Bildes mit dem Referenzpunkt (311).

Description

Diese Beschreibung bezieht sich auf ein Verfahren und eine Vorrichtung zum Kalibrieren eines virtuellen Bildes, das von einem Head-up-Display-System (HUD-System) auf eine Windschutzscheibe projiziert wird.
Ein HUD ist ein Display, das Daten in teilweise transparenter Weise und an einer Position darstellt, die es dem Benutzer erlaubt, sie zu sehen, ohne von seinem gewohnten Standpunkt wegzuschauen (z.B. im Wesentlichen nach vorne). Obwohl HUDs für militärische Zwecke entwickelt wurden, werden sie heute in Verkehrsflugzeugen, Automobilen, Computerspielen und anderen Anwendungen eingesetzt.
Innerhalb von Fahrzeugen können HUDs verwendet werden, um virtuelle Bilder oder Fahrzeugparameterdaten vor die Windschutzscheibe oder Oberfläche des Fahrzeugs zu projizieren, so dass sich das Bild in oder unmittelbar neben der Sichtlinie des Bedieners befindet. Fahrzeug-HUD-Systeme können Daten projizieren, die auf Informationen basieren, die von fahrzeuginternen Betriebskomponenten (z.B. Sensoren) empfangen werden, um z.B. Benutzer über Fahrbahnmarkierungen zu informieren, die Nähe eines anderen Fahrzeugs zu erkennen oder Informationen über nahegelegene Orientierungspunkte zu liefern.
HUDs können auch Informationen von Informationssystemen außerhalb des Fahrzeugs, wie z.B. einem Navigationssystem auf einem Smartphone, empfangen und projizieren. Die vom HUD angezeigten Navigationsinformationen können beispielsweise die Projektion der Entfernung bis zu einer nächsten Kurve und die aktuelle Geschwindigkeit des Fahrzeugs im Vergleich zu einer Geschwindigkeitsbegrenzung, einschließlich einer Warnung bei Überschreitung der Geschwindigkeitsbegrenzung, umfassen. Externe Systeminformationen, die die Fahrspur für ein bevorstehendes Manöver angeben oder den Benutzer vor möglichen Verkehrsverzögerungen warnen, können ebenfalls auf dem HUD dargestellt werden.
HUDs können auch in Augmented-Reality-Displays oder verbesserten Sichtsystemen eingesetzt werden, die Objekte und Straßenmerkmale einschließlich der Infrastruktur identifizieren, indizieren, überlagern oder anderweitig referenzieren. Solche fortschrittlichen Systeme erfordern eine präzise Ausrichtung der HUD-Bilder relativ zu den Beobachtern im Fahrzeug und den Objekten in ihrem Sichtfeld.
DE 10 2018 215 185 B3 beschreibt Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zum Einstellen eines Head-Up-Displays in einem Kraftfahrzeug. In einem ersten Schritt wird eine Einstellvorrichtung in eine definierte Position im Kraftfahrzeug eingebracht. Die Einstellvorrichtung weist zumindest eine Kamera und eine Projektionseinheit auf. Anschließend wird mit der Projektionseinheit ein Ausrichtungsmuster auf eine außerhalb des Kraftfahrzeugs positionierte Kalibriertafel projiziert. Mit einer im Kraftfahrzeug verbauten kalibrierten Kamera werden die Kalibriertafel und das Ausrichtungsmuster erfasst. Auf Basis der Bilddaten der kalibrierten Kamera wird dann eine Abweichung der Einstellvorrichtung von der definierten Position im Kraftfahrzeug bestimmt. Daraufhin wird zumindest ein durch das Head-Up-Display dargestelltes Testbild mit der Kamera der Einstellvorrichtung erfasst. Auf Basis des zumindest einen erfassten Testbildes werden schließlich Einstellinformationen für das Head-Up-Display ermittelt.
DE 10 2017 001 015 A1 beschreibt ein Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays eines Fahrzeugs. Dabei werden die folgenden Schritte ausgeführt: Aufnehmen eines durch das Head-Up Display auf eine Fahrzeugscheibe projizierten ersten Projektionsbildes mit einer an einer ersten Kopfposition eines Fahrzeuginsassen angeordneten ersten Kamera, Vergleichen des aufgenommenen ersten Projektionsbildes mit einer Musterdarstellung, Verändern von Parametern des projizierten ersten Projektionsbildes derart, dass das projizierte erste Projektionsbild aus Sicht der ersten Kopfposition mit der Musterdarstellung übereinstimmt, Ermitteln und Speichern einer Warping-Matrix aus den veränderten Parametern des projizierten ersten Projektionsbildes für die erste Kopfposition, Aufnehmen eines durch das Head-Up Display auf die Fahrzeugscheibe projizierten zweiten Projektionsbildes mit einer an einer zweiten Kopfposition angeordneten zweiten Kamera, Anwenden der für die erste Kopfposition gespeicherten Warping-Matrix auf das projizierte zweite Projektionsbild für die zweite Kopfposition, und Vergleichen des aufgenommenen zweiten Projektionsbildes mit einer Musterdarstellung. Das Verfahren weist weiterhin die folgenden Schritte auf: Ermitteln und Speichern eines Verschiebevektors, wobei ein Verschieben des projizierten zweiten Projektionsbildes mit dem Verschiebevektor bewirkt, dass sich das zweite Projektionsbild aus Sicht der zweiten Kopfposition mit der Musterdarstellung überdeckt.
DE 11 2017 006 159 B4 beschreibt eine Anzeigesteuervorrichtung, die in einem Fahrzeug montiert ist, umfassend: eine Bestrahlungs-Steuereinheit zum Steuern einer Bestrahlungseinheit, die eine Straßenoberfläche mit Referenzlicht bestrahlt; und eine Projektions-Steuereinheit zum Steuern einer Projektionseinheit, die ein Bild auf eine Reflektionseinheit projiziert, die das Bild reflektiert, wobei die Bestrahlungs-Steuereinheit die Bestrahlungseinheit anweist, die Bestrahlung mit dem Referenzlicht durchzuführen, wobei die Bestrahlung einer eingestellten Bestrahlungsdistanz-Information entspricht, die Projektions-Steuereinheit die Projektionseinheit anweist, die Projektion eines Bildes auf solche Weise durchzuführen, dass ein virtuelles Bild entsprechend der Bestrahlungsdistanz-Information visuell durch einen Insassen des Fahrzeugs erkannt wird, und auch entweder eine Projektionsposition oder eine Projektionsgröße des durch die Projektionseinheit projizierten Bildes auf Basis einer Anweisung des Insassen steuert, die Bestrahlungs-Steuereinheit die Bestrahlungseinheit anweist, Bestrahlung mit mehreren Referenzlichtstrahlen durchzuführen, die unterschiedliche Bestrahlungsdistanzen aufweisen, und die Bestrahlungseinheit auch anweist, Bestrahlung mit einem der Referenzlichtstrahlen durchzuführen, der auf Basis der Insassen-Anweisung ausgewählt wird, um einen Referenzlichtstrahl aus den mehreren Referenzlichtstrahlen auszuwählen, und die Projektions-Steuereinheit die Projektionseinheit anweist, die Projektion des Bildes auf solche Weise durchzuführen, dass das der Bestrahlungsdistanz des ausgewählten einen der Referenzlichtstrahlen entsprechende virtuelle Bild durch den Insassen visuell erkannt wird.
Es kann als Aufgabe betrachtet werden, die Ausrichtung der mit einem Head-Up-Display erzeugten Bilder zu verbessern.
Erfindungsgemäß umfasst ein Verfahren zum Kalibrieren eines virtuellen Bildes, das von einem Fahrzeug-HUD-System auf eine Windschutzscheibe projiziert wird, das Anzeigen eines Referenzpunktes an einer vorbestimmten Stelle auf der Windschutzscheibe, das Projizieren eines Testbildes von einem Testbildgenerator innerhalb des HUD-Systems, das Ausrichten des Testbildes mit dem Referenzpunkt, das Bestimmen einer Positionsabweichung von einer kalibrierten Testbildposition, die erforderlich ist, um das Testbild mit dem Referenzpunkt auszurichten, und basierend auf der Positionsabweichung und einer bekannten Positionsbeziehung zwischen einer kalibrierten virtuellen Bildposition und der kalibrierten Testbildposition, das Ausrichten des virtuellen Bildes mit dem Referenzpunkt.
In einer Ausführungsform umfasst das Anzeigen des Referenzpunktes das Projektion des Referenzpunktes von einem Bildprojektor, der an einem vorbestimmten Fahrzeugteil angebracht ist.
In einer Ausführungsform umfasst das Ausrichten des Testbildes mit dem Referenzpunkt die manuelle Anpassung des Testbildes.
In einer Ausführungsform umfasst das Ausrichten des Testbildes mit dem Referenzpunkt die autonome Anpassung des Testbildes.
Erfindungsgemäß umfasst eine Vorrichtung zum Kalibrieren eines virtuellen Bildes, das von einem Fahrzeug-HUD-System auf eine Windschutzscheibe projiziert wird, ein HUD mit einem virtuellen Bildgenerator zum Projizieren eines virtuellen Bildes und einem Testbildgenerator zum Projizieren eines Testbildes, und einen Referenzpunkt, der auf der Windschutzscheibe an einer vorbestimmten Stelle angezeigt wird. Die Vorrichtung enthält ferner ein Steuermodul, das so eingerichtet ist, dass es das Testbild von dem Testbildgenerator an einer kalibrierten Testbildposition auf die Windschutzscheibe projiziert, das Testbild mit dem Referenzpunkt auf der Grundlage von Ausrichtungseingaben ausrichtet, die von dem Steuermodul empfangen werden, und eine Positionsabweichung des Testbildes von der kalibrierten Testbildposition bestimmt, die erforderlich ist, um das Testbild mit dem Referenzpunkt auszurichten. Das Steuermodul ist ferner so eingerichtet, dass es eine Positionsabweichung des virtuellen Bildes von der kalibrierten virtuellen Bildposition, die erforderlich ist, um das virtuelle Bild mit dem Referenzpunkt auszurichten, auf der Grundlage der Positionsabweichung des Testbildes und einer bekannten Positionsbeziehung zwischen einer kalibrierten virtuellen Bildposition und der kalibrierten Testbildposition bestimmt und die kalibrierte virtuelle Bildposition auf der Grundlage der Positionsabweichung des virtuellen Bildes von der kalibrierten virtuellen Bildposition, die erforderlich ist, um das virtuelle Bild mit dem Referenzpunkt auszurichten, auf den Referenzpunkt einstellt.
In einer Ausführungsform umfasst die Vorrichtung ferner mindestens eine Benutzerschnittstelle zum Empfangen von Eingaben von einem Bediener, wobei das Steuermodul ferner so eingerichtet ist, dass es die Eingaben von der mindestens einen Benutzerschnittstelle empfängt, und wobei die vom Steuermodul empfangenen Ausrichtungseingaben manuelle Eingaben vom Bediener umfassen, die die Bewegung des Testbildes in Ausrichtung mit dem Referenzpunkt führen.
In einer Ausführungsform enthält die Vorrichtung ferner mindestens eine Benutzerschnittstelle zum Empfangen von Eingaben von einem Bediener und einem Bildsensor, wobei das Steuermodul ferner so eingerichtet ist, dass es die Eingaben von der mindestens einen Benutzerschnittstelle empfängt, und wobei die von dem Steuermodul empfangenen Ausrichtungseingaben einen Befehl an das Steuermodul enthalten, das Testbild iterativ in Ausrichtung mit dem Referenzpunkt zu bewegen, wie er mit dem Bildsensor bestimmt wurde.
In einer Ausführungsform enthält die Vorrichtung einen Bildprojektor, der den Referenzpunkt auf die Windschutzscheibe projiziert.
In einer Ausführungsform umfasst die Vorrichtung ferner eine an einer Fahrzeugkomponente befestigte Halterung, an der der Bildprojektor befestigt ist.
In einer Ausführungsform verfügt der Bildprojektor über eine werkseigene Produktionsausrüstung einschließlich eines Bildverarbeitungssystems.
Weitere Merkmale, Vorteile und Details erscheinen nur beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Figuren bezieht, in denen:

1 veranschaulicht ein HUD-System;
2 veranschaulicht verschiedene Positionsbeziehungen zwischen verschiedenen Merkmalspositionen;
3 zeigt eine vorausschauende Sicht auf einen Teil des Innenraums eines Personenkraftwagens im Wesentlichen entlang einer Längsmittellinie;
4 illustriert eine beispielhafte Vorrichtung zur Kalibrierung der Position eines virtuellen Bildes auf einen Fahrzeugbezugsrahmen; und
5 illustriert ein beispielhaftes Verfahren zur Kalibrierung der Position eines virtuellen Bildes.

Unter Steuermodul, Modul, Steuerung, Regler, Steuereinheit, Prozessor und ähnlichen Begriffen sind hier eine oder mehrere Kombinationen aus einer oder mehreren anwendungsspezifischen integrierten Schaltung(en) (ASIC), elektronischen Schaltungen, Zentraleinheit(en) (vorzugsweise Mikroprozessor(en)) und zugehörigem Speicher und Speicher (Festwertspeicher (ROM), Direktzugriffsspeicher (RAM), elektrisch programmierbarer Festwertspeicher (EPROM), Festplatte usw.) zu verstehen.) oder Mikrocontroller, die ein oder mehrere Software- oder Firmware-Programme oder -Routinen ausführen, kombinatorische Logikschaltung(en), Ein-/Ausgabeschaltungen und -geräte (E/A) und geeignete Signalkonditionierungs- und Pufferschaltungen, Hochgeschwindigkeitstaktgeber, Analog-zu-Digital- (A/D) und Digital-zu-Analog- (D/A) Schaltungen und andere Komponenten zur Bereitstellung der beschriebenen Funktionalität. Ein Steuermodul kann eine Vielzahl von Kommunikationsschnittstellen enthalten, darunter Punkt-zu-Punkt- oder diskrete Leitungen und drahtgebundene oder drahtlose Schnittstellen zu Netzwerken, einschließlich Wide Area Networks und Local Area Networks, auf Fahrzeug-Controller Area Networks und innerbetrieblichen und dienstbezogenen Netzwerken. Die in dieser Beschreibung dargelegten Funktionen eines Steuermoduls können in einer verteilten Steuerungsarchitektur unter mehreren vernetzten Steuermodulen ausgeführt werden. Unter Software, Firmware, Programmen, Befehlen, Routinen, Code, Algorithmen und ähnlichen Begriffen sind alle von einem Steuergerät ausführbaren Befehlssätze einschließlich Kalibrierungen, Datenstrukturen und Nachschlagetabellen zu verstehen. Ein Steuermodul verfügt über einen Satz von Steuerroutinen, die ausgeführt werden, um beschriebene Funktionenbereitzustellen. Die Routinen werden z.B. von einer Zentraleinheit ausgeführt und dienen zur Überwachung der Eingänge von Abtastvorrichtungen und anderen vernetzten Steuermodulen sowie zur Ausführung von Steuer- und Diagnoseroutinen zur Steuerung des Betriebs von Stellgliedern. Die Routinen können in regelmäßigen Abständen während des laufenden Motor- und Fahrzeugbetriebs ausgeführt werden. Alternativ können Routinen als Reaktion auf das Eintreten eines Ereignisses ausgeführt werden.
1 zeigt ein Head-up-Display (HUD) 101. Das HUD 101 enthält ein Steuermodul 102, einen virtuellen Bildgenerator 105, der ein virtuelles Bilderzeugungsmodul 104 mit einer ersten Lichtquelle 106 und einem Spiegelaktuator 108 enthält, und einen Testbildgenerator 103 mit einer zweiten Lichtquelle 110 und einer Testbildoptikbaugruppe 112. Das Steuermodul 102 steuert den Betrieb des virtuellen Bilderzeugungsmoduls 104 und der ersten Lichtquelle 106 über die Steuerleitung 145, um ein virtuelles Bild zu erzeugen. Das Steuermodul 102 steuert auch den Betrieb der zweiten Lichtquelle 110 über die Steuerleitung 147, um ein Testbild auf der Windschutzscheibe 116 zu erzeugen. Das Steuermodul 102 steuert den Betrieb des Spiegelaktuators 108 über die Steuerleitung 143, um einen Spiegel 117 zu drehen oder zu kippen und einzustellen, wo auf der Windschutzscheibe das virtuelle HUD-Bild projiziert wird. Der Spiegelaktuator kann einen Motor enthalten, um die Position und/oder Ausrichtung des Spiegels 117zu verändern. Der Spiegel 117 kann das vom virtuellen Bilderzeugungsmodul 104 erzeugte Bild vergrößern und/oder die mit der Windschutzscheibe 116 verbundenen Verzerrungen korrigieren.
In einer Ausführung enthält das HUD 101 das virtuelle Bilderzeugungsmodul 104, den Spiegelaktuator 108, den Spiegel 117 und den einen oder mehrere Spiegel 122. In einer anderen Ausführung enthält das HUD 101 auch die zweite Lichtquelle 110 und die Testbildoptik 112. In einer Aus führungsform sind das virtuelle Bilderzeugungsmodul 104, der Spiegelaktuator 108, der Spiegel 117 und der eine oder die mehreren Spiegel 122 in einem separaten Gehäuse implementiert als die zweite Lichtquelle 110 und die optische Testbildanordnung 112. In einer anderen, bevorzugten Ausführungsform sind das virtuelle Bilderzeugungsmodul 104, der Spiegelaktuator 108, der Spiegel 117, der eine oder die mehreren Spiegel 122, die zweite Lichtquelle 110 und die Testbildoptik 112 in einem einzigen Gehäuse implementiert.
Das virtuelle Bilderzeugungsmodul 104 kann die erste Lichtquelle 106 und eine Anzeige- und Linsenbaugruppe 120 enthalten. Die erste Lichtquelle 106 erzeugt einen Lichtstrahl 121 für ein virtuelles Bild mit grafischen Bildern, die auf ein Display der Anzeige- und Linsenbaugruppe 120 projiziert werden. Der Lichtstrahl des virtuellen Bildes 121 wird dann auf eine Reihe von einem oder mehreren Spiegeln 122 gerichtet. Der eine oder die mehreren Spiegel 122 können z.B. einen Klappspiegel enthalten. Der eine oder die mehreren Spiegel 122 können aus Verpackungsgründen verwendet werden. Der Lichtstrahl 121 des virtuellen Bildes wird am Spiegel 117 reflektiert und dann durch Licht- und Blendfallen 124 zur Windschutzscheibe 116 reflektiert. Der virtuelle Bildlichtstrahl 121 wird an der Windschutzscheibe angezeigt. Die Licht- und Blendfallen 124 können filtern und so z.B. verhindern, dass Sonnenlicht (oder Umgebungslicht) von der Windschutzscheibe 116 in Richtung des Spiegels 117 reflektiert wird, und Blendungseffekte minimieren.
Die zweite Lichtquelle 110 kann einen Laser, eine oder mehrere Leuchtdioden (LEDs) oder eine andere Testbild erzeugende Lichtquelle enthalten. Die zweite Lichtquelle 110 erzeugt einen Testbild-Lichtstrahl 126, der durch die Testbildoptik 112 und den verstellbaren Spiegel 160 geleitet und von der Windschutzscheibe 116 reflektiert wird. Das Steuermodul 102 steuert den Betrieb des verstellbaren Spiegels 160 über die Steuerleitung 149. Der verstellbare Spiegel 160 kann einen galvanischen x, y-Spiegel enthalten, der eine Positionseinstellung des Testbildes ermöglicht.
Das HUD 101 kann ferner ein manuelles Steuergerät 136 mit Schaltern (Knöpfe, Schaltwippen, Schieberegler, Drehknöpfe, Joysticks oder ähnliches) 138 enthalten und/oder an ein solches angeschlossen werden. Das HUD 101 kann auch eine Anzeige, Sitzmotoren oder Sitzschalter (nicht separat abgebildet) enthalten und/oder an diese angeschlossen werden. Bei der Anzeige kann es sich z.B. um einen Touchscreen, ein Infotainment-Display in der Mittelkonsole eines Fahrzeugs oder ein anderes Display handeln. Die Sitzmotoren werden zur Positionierung eines oder mehrerer Sitze verwendet. Das Steuermodul 102 kann den Betrieb der Sitzmotoren auf der Grundlage von Benutzereingaben über die Sitzschalter und/oder im Speicher gespeicherte Sitzeinstellungen steuern. Das manuelle Steuergerät 136 kann von einem Benutzer verwendet werden, um die Höhe von virtuellen Bildern, die vom virtuellen Bilderzeugungsmodul 104 über die Schalter 138 bereitgestellt werden, manuell einzustellen. Alternativ kann ein Bildschirm-Touchscreen eine Benutzerschnittstelle (UI) für die manuelle Einstellung des virtuellen HUD-Bildes während der Anwendung durch den Endbenutzer, z.B. durch einen Fahrzeuginsassen, bieten. Eine solche Anzeige, Sitzschalter und Schalter 138 können als Eingabegeräte und/oder Schnittstellen oder allgemeiner als Benutzerschnittstelle bezeichnet werden. Unter begrenzten Umständen können die Eingabegeräte eine Benutzerschnittstelle für manuelle Einstellungen des Testbildes oder zur Feststellung der Absicht des Bedieners oder zur Steuerung eines automatisierten oder teilautomatisierten Ausrichtungsverfahrens bieten.
Der Lichtstrahl 121 des virtuellen Bildes kann einem Hauptstrahlengang eines virtuellen HUD-Bildes von der Mitte eines HUD-Displays, das Teil der Anzeige- und Linsenbaugruppe 120 ist, bis zur Windschutzscheibe 116 folgen. Der Hauptstrahlengang wird als Darmstrahl bezeichnet. Der Testbild-Lichtstrahl 126 für das Testbild kann einem anderen Pfad folgen als der Lichtstrahl 121 für das virtuelle Bild. Der Weg des Testbild-Lichtstrahls 126 kann, muss aber nicht parallel zu einem Teil oder dem gesamten Weg des virtuellen Bild-Lichtstrahls 121verlaufen. Die Lichtstrahlen 121 und 126 müssen nicht dem gleichen optischen Pfad folgen.
Bestimmte HUD-Anwendungen erfordern eine präzise Ausrichtung der vom HUD erzeugten virtuellen Bilder. Die Platzierung einer einfachen Informationsdarstellung auf der Windschutzscheibe, wie z.B. eine herkömmliche Motoranzeige, ist positionsunabhängig. Augmented-Reality-Systeme, die das Situationsbewusstsein des Fahrers oder Insassen durch Identifizierung, Überlagerung oder anderweitige Verbesserung der Sichtbarkeit von Objekten oder Merkmalen, die sich auf einer Straßenszene befinden, verbessern sollen, erfordern jedoch die Platzierung virtueller Bilder unter Berücksichtigung der Augenposition des Beobachters, der Objektposition der Szene und der Position der Windschutzscheibe des Fahrzeugs. Um eine robuste virtuelle Bildplatzierungstreue in solchen Systemen zu ermöglichen, muss die virtuelle Bildposition relativ zum Fahrzeugbezugsrahmen kalibriert werden.
In Übereinstimmung mit einer Ausführungsform wird ein temporärer Referenzpunkt auf der Windschutzscheibe des Fahrzeugs an einer vorbestimmten Position angebracht. Der Referenzpunkt kann physisch an der Windschutzscheibe befestigt oder virtuell darauf angebracht werden, beispielsweise durch Lichtprojektion. Wie hier in Bezug auf die Platzierung oder den Standort des Referenzpunktes verwendet, schließt der Begriff „angezeigt“ die physische Anbringung an der Windschutzscheibe oder die virtuelle Anzeige, z.B. durch Lichtprojektion, ein. 3 illustriert eine vorwärts gerichtete Ansicht eines Teils des Innenraums eines Personenkraftwagens 301 im Wesentlichen entlang einer Längsmittellinie. Die Armaturenbrettbaugruppe 309 erstreckt sich seitlich innerhalb der Fahrzeugkabine im Wesentlichen vor den Türen und unter und zwischen den A-Säulen 307. Die A-Säulen 307 rahmen die Windschutzscheibe 116 ein. Das Lenkrad 303 befindet sich vor dem Fahrersitz 450 (4) und ist mit einer Lenksäuleneinheit 405 (4) verbunden. Der Referenzpunkt 311 ist auf der Windschutzscheibe 116 im Wesentlichen mittig zum Lenkrad 303 angebracht oder projiziert, ist aber nicht auf diese Anordnung beschränkt. Der Referenzpunkt 311 kann eine einfache geometrische Grafik wie ein Gitter, konzentrische Kreise oder, wie dargestellt, ein einfaches Fadenkreuzmuster sein, das aus einem Paar sich normalerweise schneidender Linien besteht. Im Falle eines physisch angebrachten Referenzpunktes kann dieser mit jedem praktischen Mittel angebracht werden und beispielhafte Formen annehmen, wie z.B. leicht klebende Rückseiten oder statisches Klebematerial, das leicht entfernt werden kann. Um die Platzierung solcher angebrachten Referenzpunkte zu indizieren und eine genaue Platzierung an der vorbestimmten Position zu gewährleisten, kann eine Vielzahl von einfachen Befestigungs- oder Messvorrichtungen verwendet werden. Zum Beispiel können die A-Säulen Befestigungspunkte für die präzise Platzierung einer angebrachten Referenzpunktmarkierung relativ zu den A-Säulenbieten. Alternativ kann eine einfache Schablone, die an den Merkmalen der Windschutzscheibe ausgerichtet ist, für die Anbringung eines Referenzpunktes an der Windschutzscheibe verwendet werden. In Übereinstimmung mit einer anderen Ausführungsform für die Anzeige von Referenzpunkten kann ein Lichtprojektor verwendet werden, um einen virtuellen Referenzpunkt auf die Windschutzscheibe zu projizieren. Die Lage eines solchen virtuellen Referenzpunktes an der vorgegebenen Stelle kann durch Befestigung eines Projektors, z.B. eines sogenannten Pico-Projektors, am Bezugsrahmen des Fahrzeugs sichergestellt werden. Eine oder beide A-Säulen können zur Befestigung verwendet werden, ebenso wie das Lenkrad 303, wie später beschrieben wird. Alternativ kann der Projektor oder eine andere Lichtquelle zur Herstellung und Projektion des Referenzpunktes Teil der innerbetrieblichen Produktionsausrüstung sein, einschließlich z.B. eines Sichtsystems zur Lokalisierung des projizierten Referenzpunktes auf der Windschutzscheibe relativ zum Bezugsrahmen des Fahrzeugs. Unter Projektor, Bildprojektor oder Referenzprojektor ist jeder geeignete Lichtbildprojektor (LED, LASER, lampenbasiert usw.) zu verstehen, wenn es um die Projektion von Referenzbildern geht.
Der Einbau des HUD 101 in das Fahrzeug kann durch den Einbau einer kompletten Armaturenbrettbaugruppe, in die das HUD 101 als Teil eines Unterbaugruppenprozesses eingebaut wurde, oder durch den Aufbau der Armaturenbrettbaugruppe 309 erfolgen. Alternativ kann eine kleinere Unterbaugruppe einschließlich eines Kombiinstruments das HUD 101 enthalten und mit der bereits im Fahrzeug eingebauten Armaturenbrettbaugruppe zusammengebaut werden. Alternativ kann das HUD 101 als separate Baugruppe in das Kombiinstrument, das Armaturenbrett oder das obere Armaturenbrett eingebaut werden. Entsprechend einer Ausführungsform wird nach dem Einbau des HUD 101 in das Fahrzeug ein Testbild 305 auf die Windschutzscheibe 116 projiziert. Das Testbild 305 wird durch den Testbildgenerator 103 des HUD 101 erzeugt und kann dieselbe einfache geometrische Grafik wie das Referenzbild 311 oder eine ergänzende Grafik wie ein Umriss des Referenzbildes sein. In der abgebildeten Ausführung ist das Testbild 305 ebenfalls ein einfaches Fadenkreuzmuster, das aus einem Paar sich normalerweise schneidender Linien besteht. Das virtuelle Bild kann eine kalibrierte Ausrichtungspositionsspezifikation haben, die der vorgegebenen Referenzposition 211 entspricht (2). Allerdings können zahlreiche Toleranzaufstockungen dazu führen, dass das projizierte virtuelle Bild von der vorgegebenen Referenzposition verschoben wird. In ähnlicher Weise kann das Testbild 305 eine projizierte Position haben, die von der vorbestimmten Referenzposition 211 verschoben ist, wie durch die Trennung des Testbildes 305 von dem auf der Windschutzscheibe 116 angezeigten Referenzbild 311 veranschaulicht wird.
Unter Bezugnahme auf 2 wird HUD 101 mit virtuellem Bildgenerator 105 und Testbildgenerator 103 illustriert. Der virtuelle Bildgenerator 105 projiziert den virtuellen Bildlichtstrahl 121 in Richtung Windschutzscheibe116. Testbildgenerator 103 projiziert auch den Testbild-Lichtstrahl 126 in Richtung Windschutzscheibe 116. Während die Oberfläche der Windschutzscheibe 116 wahrscheinlich nicht planar ist, sind die HUD 101-Projektionen des virtuellen Bildgenerators 105 und des Testbildgenerators 103 in einem im Wesentlichen planaren, zweidimensionalen Raum, der in 2 durch die horizontale x-Achse und die vertikale y-Achse dargestellt ist, in Grenzen positionssteuerbar. Der virtuelle Bildgenerator 105 projiziert das virtuelle Bild auf eine kalibrierte virtuelle Bildposition 203, die anfänglich während der HUD-Herstellung festgelegt und in einem nichtflüchtigen Speicherplatz im HUD-Controller 102 gespeichert wird. Der Testbildgenerator 103 projiziert das Testbild 305 (3) auf eine kalibrierte Testbildposition 205, die ebenfalls anfänglich während der HUD-Herstellung festgelegt und in einem nichtflüchtigen Speicherplatz im HUD-Controller 102 gespeichert wird. Die x,y-Positionsdifferenz zwischen der kalibrierten virtuellen Bildposition 203 und der kalibrierten Testbildposition 205 ist aus diesen Entwurfsparametern bekannt und kann als Testbild-Offset 230 bezeichnet werden, der als Vektor $\vec{A}$
mit Fuß an der kalibrierten virtuellen Bildposition 203 gezeigt ist. Es ist wünschenswert, das virtuelle Bild aus dem virtuellen Bildgenerator 105 an der Referenzposition 211 zu positionieren. Zum Beispiel ist es wünschenswert, die Mitte des virtuellen Bildes auf die Mitte des Referenzpunktes auszurichten und dadurch das virtuelle Bild mit dem Bezugsrahmen des Fahrzeugs auszurichten. Das Testbild 305 (3) wird auf die Windschutzscheibe 116 bei der kalibrierten Testbildposition 205 projiziert. Die Differenz zwischen der kalibrierten Testbildposition 205 und der Referenzpunktposition 211 kann als Testbild-Ausrichtungsversatz 225 bezeichnet werden, der als Vektor $\vec{B}$
mit Fuß an der kalibrierten Testbildposition 205. Die Testbildposition 205 kann so eingestellt werden, dass das Testbild 305 den Referenzpunkt 311 überlagert und mit diesem ausgerichtet wird. Ausgehend von der kalibrierten Testbildposition 205 und der x, y-Positionsabweichung, die erforderlich ist, um Testbild 305 mit dem Referenzpunkt 311 auszurichten, wird der Testbild-Ausrichtungsversatz 225 als Vektor B kann bestimmt werden. Das virtuelle Bild wird auf die Windschutzscheibe 116 an der kalibrierten virtuellen Bildposition 203 projiziert. Die Differenz zwischen der kalibrierten virtuellen Bildposition 203 und der Referenzposition 211 kann als gewünschter virtueller Bildversatz 235 bezeichnet werden, der als Vektor C mit Schwanz an kalibrierter virtueller Bildposition 205. Die Differenz zwischen der kalibrierten virtuellen Bildposition 203 und der Referenzpunktposition 211 kann daher aus der x, y-Positionsabweichung, die erforderlich ist, um das Testbild 305 mit dem Referenzpunkt 311 auszurichten, und der x, y-Positionsdifferenz zwischen der kalibrierten virtuellen Bildposition 203 und der kalibrierten Testbildposition 205 bestimmt werden.
In Übereinstimmung mit einer Ausführungsform und unter Bezugnahme auf 5 beinhaltet ein Verfahren zum Kalibrieren der Position des virtuellen Bildes 501 das Anzeigen 503 eines Referenzpunktes an einer vorbestimmten Stelle auf der Windschutzscheibe. Das Anzeigen des Referenzpunktes kann in Übereinstimmung mit der Anbringung eines Referenzpunktes auf der Windschutzscheibe oder mit der Projektion eines Referenzbildes auf die Windschutzscheibe erfolgen. Ein Testbild wird von einem Testbildgenerator innerhalb des HUD-Systems an einer gemäß der HUD-Kalibrierung bekannten kalibrierten Testbildposition auf die Windschutzscheibe projiziert, 505. Die Testbildprojektion kann von einem Bediener über eine beliebige einer Vielzahl von Benutzerschnittstellen initiiert werden, wie zuvor in der Beschreibung dargelegt. Das Testbild wird mit dem Referenzpunkt ausgerichtet, 507. Die Ausrichtung kann manuell erfolgen, z.B. über eine der verschiedenen, zuvor in der Beschreibung dargelegten Benutzerschnittstellen oder gemäß der Absicht des Bedieners oder der Kontrolle eines automatisierten oder teilautomatisierten Ausrichtungsverfahrens, das über eine der verschiedenen, zuvor in der Beschreibung dargelegten Benutzerschnittstellen aufgerufen werden kann. Die Positionsabweichung, die zur Ausrichtung des Testbildes mit dem Referenzpunkt erforderlich ist, wird aus der kalibrierten Testbildposition und der Position des Testbildes bei der Ausrichtung mit dem Referenzpunkt bestimmt, 509. Das virtuelle Bild hat eine bekannte kalibrierte virtuelle Bildposition in Übereinstimmung mit der HUD-Kalibrierung. Da die kalibrierte virtuelle Bildposition bekannt ist, die kalibrierte Testbildposition bekannt ist und die Positionsabweichung, die zur Ausrichtung des Testbildes mit dem Referenzpunkt erforderlich ist, ebenfalls bekannt ist, lässt sich die Abweichung in der Lage des virtuellen Bildes, die zur Ausrichtung des virtuellen Bildes mit dem Referenzpunkt erforderlich ist, leicht bestimmen. Diese Abweichung kann verwendet werden, um das virtuelle Bild auf die Referenzpunktposition auszurichten, 511. Das Ausrichten des virtuellen Bildes kann je nach der besonderen Hardware-Konfiguration des HUD und insbesondere des virtuellen Bildgenerators 105 auf verschiedene Weise durchgeführt werden. Als nichtbegrenzende Beispiele kann die Ausrichtung des virtuellen Bildes im Falle eines DLP-HUD-Systems durch Drehung eines Innenspiegels, im Falle eines holographischen HUD-Systems durch Anwendung einer Linsenfunktion auf das Phasenhologramm oder im Falle eines holographischen HUD-Systems durch Bildübersetzung auf einer LCD-Anzeige mit Reservepixeln oder durch x, y-Verschiebung der gesamten LCD-Anzeige in einem LCD-HUD-System erfolgen.
In Übereinstimmung mit einer Ausführungsform und unter Bezugnahme auf 4 wird eine Vorrichtung zur Kalibrierung der Position des virtuellen Bildes auf einen Fahrzeugbezugsrahmen dargestellt. Die dargestellte Ausführungsform eignet sich gut für die kontrollierte Produktionsumgebung eines Endmontagewerks, obwohl solche Vorrichtungen auch in einer Außendienstumgebung eingesetzt werden können. Ein Fahrzeuginnenraum umfasst eine Armaturenbrettbaugruppe 309, in der HUD 101 enthalten ist. Die Lenksäulenbaugruppe 405 ist an strukturellen Halterungen unterhalb der Armaturenbrettbaugruppe 309 befestigt. Das Lenkrad 303 ist an einem Ende der Lenksäulenbaugruppe 405 befestigt. Die Lenksäulenbaugruppe405 kann einen Kipp-/Teleskop-Mechanismus enthalten, der es ermöglicht, die Lenksäule/das Lenkrad selektiv zwischen einer extrem angehobenen und einer abgesenkten Stellung sowie zwischen einer extrem vorderen und einer hinteren Stellung einzustellen. Der HUD 101 ist so eingerichtet, dass ein Testbild über den Testbild-Lichtstrahl 126 in Richtung Windschutzscheibe 116 und ein virtuelles Bild über den virtuellen Bild-Lichtstrahl 126 ebenfalls in Richtung Windschutzscheibe 116 projiziert wird. Ein Kalibrieraufbau 408 umfasst eine Kalibrierhalterung 411 und eine daran befestigte optische Kalibrierbaugruppe 407. Eine optische Kalibrieranordnung kann einen oder beide von einem Referenzprojektor 417 und einem Bildsensor 419 enthalten. Ein Referenzprojektor 417, zum Beispiel ein Pico-Projektor, ist in einer Anordnung nützlich, in der ein projizierter Referenzpunkt gewünscht wird. Ein Bildsensor, z.B. eine CCD- oder CMOS-Kamera, ist in einer Anordnung nützlich, in der die Ausrichtung des Testbildes auf den Referenzpunkt automatisiert ist.
Die Kalibrieranordnung 408 kann auch eine Anzeige oder eine andere Benutzer-/Steuerschnittstelle 415 enthalten, die Teil oder getrennt von der optischen Kalibrieranordnung sein kann, z.B. eine integrierte Anzeige oder ein separates intelligentes Gerät, z.B. ein Tablett, ein Laptop oder ähnliches. Die Kalibrieranordnung kann auch ein oder mehrere Steuermodule umfassen, die so angepasst sind, dass sie eine Kalibrieranwendung mit einer Benutzeroberfläche und Anweisungsaufforderungen sowie Kommunikations- und Netzwerkfunktionen bereitstellen. Ein solches Steuermodul ist vorzugsweise mit einem oder mehreren der Kalibrieranordnung oder einem separaten intelligenten Gerät verbunden. Die Kommunikation zwischen dem HUD 101, der optischen Kalibrierbaugruppe 407, der Benutzer-/Steuerschnittstelle 415 und verschiedenen innerbetrieblichen Produktionssteuerungs- und Informationssystemen kann über jedes geeignete drahtgebundene oder drahtlose Mittel erfolgen, einschließlich z.B. des Fahrzeug-Steuerbereichsnetzwerks. In der Praxis wird die Lenksäuleneinheit 405 in extreme Kipp- und Teleskopstellungen gebracht, um die Variabilität der Lenkradstellung gegenüber dem Fahrzeugbezugsrahmen zu verringern. Anschließend werden die Kalibrierhalterung 411 und die optische Kalibrierbaugruppe 407 so am Lenkrad befestigt, dass der Referenzprojektor 417 das Referenzbild an der gewünschten Position auf der Windschutzscheibe anzeigt. Alternativ können, wie bereits erwähnt, die Kalibrierhalterung 411 und die daran befestigte optische Kalibrierbaugruppe 407 an anderen Strukturen innerhalb des Fahrzeugs befestigt werden, um eine wiederholbare Positionsbeziehung zum Fahrzeugbezugsrahmen herzustellen, z.B. an einer oder mehreren A-Säulen, B-Säulen, Türöffnungsrahmen usw.

Claims

Verfahren (501) zum Kalibrieren eines virtuellen Bildes, das von einem Fahrzeug-Head-Up-Display-System auf eine Windschutzscheibe (116) projiziert wird, umfassend: Anzeigen (503) eines Referenzpunktes (311) an einer vorbestimmten Stelle auf der Windschutzscheibe (116); Projizieren (505) eines Testbildes (305) von einem Testbildgenerator (103) innerhalb des Head-Up-Display-Systems; Ausrichten (507) des Testbildes (305) mit dem Referenzpunkt (311); Bestimmen (509) einer Positionsabweichung von einer kalibrierten Testbildposition (205), die erforderlich ist, um das Testbild (305) mit dem Referenzpunkt (311) auszurichten; und basierend auf der Positionsabweichung und einer bekannten Positionsbeziehung zwischen einer kalibrierten virtuellen Bildposition (203) und der kalibrierten Testbildposition (205), Ausrichten (511) des virtuellen Bildes mit dem Referenzpunkt (311).
Verfahren (501) nach Anspruch 1, wobei das Anzeigen (503) des Referenzpunktes (311) das Projizieren des Referenzpunktes (311) von einem Bildprojektor (417) umfasst, der an einem vorbestimmten Fahrzeugbauteil befestigt ist.
Verfahren (501) nach Anspruch 1, wobei das Ausrichten (507) des Testbildes (305) mit dem Referenzpunkt (311) eine manuelle Anpassung des Testbildes (305) umfasst.
Verfahren (501) nach Anspruch 1, wobei das Ausrichten (507) des Testbildes (305) mit dem Referenzpunkt (311) eine autonome Anpassung des Testbildes (305) umfasst.
Vorrichtung zum Kalibrieren eines virtuellen Bildes, das von einem Fahrzeug-Head-Up-Display-System auf eine Windschutzscheibe (116) projiziert wird, umfassend: ein Head-Up-Display (101) mit einem virtuellen Bildgenerator (105) zum Projizieren eines virtuellen Bildes und einem Testbildgenerator (103) zum Projizieren eines Testbildes (305); einen Referenzpunkt (311), der an einer vorbestimmten Stelle auf der Windschutzscheibe (116) angezeigt wird; ein Steuermodul (102), das eingerichtet ist zum: Projizieren des Testbildes (305) vom Testbildgenerator (103) an einer kalibrierten Testbildposition (205) auf die Windschutzscheibe (116); Ausrichten des Testbildes (305) anhand von vom Steuermodul (102) empfangenen Ausrichtungseingaben mit dem Referenzpunkt (311); Bestimmen einer Positionsabweichung des Testbildes (305) von der kalibrierten Testbildposition (205), die erforderlich ist, um das Testbild (305) mit dem Referenzpunkt (311) auszurichten; Bestimmen einer Positionsabweichung des virtuellen Bildes von der kalibrierten virtuellen Bildposition (203), die erforderlich ist, um das virtuelle Bild mit dem Referenzpunkt (311) auszurichten, auf der Grundlage der Positionsabweichung des Testbildes (305) und einer bekannten Positionsbeziehung zwischen einer kalibrierten virtuellen Bildposition (203) und der kalibrierten Testbildposition (205); und Einstellen der kalibrierten virtuelle Bildposition (203) zur Ausrichtung mit dem Referenzpunkt (311) auf der Grundlage der Positionsabweichung des virtuellen Bildes von der kalibrierten virtuellen Bildposition (203), die zur Ausrichtung des virtuellen Bildes mit dem Referenzpunkt (311) erforderlich ist.
Vorrichtung Anspruch 5, ferner umfassend: mindestens eine Benutzerschnittstelle zum Empfangen von Eingaben von einem Bediener, wobei das Steuermodul (102) ferner so eingerichtet ist, dass es die Eingaben von der mindestens einen Benutzerschnittstelle empfängt, und wobei die von dem Steuermodul (102) empfangenen Ausrichtungseingaben manuelle Eingaben von dem Bediener umfassen, die die Bewegung des Testbildes (305) in Ausrichtung mit dem Referenzpunkt (311) führen.
Vorrichtung Anspruch 5, ferner umfassend: mindestens eine Benutzerschnittstelle zum Empfangen von Eingaben von einem Bediener und einem Bildsensor (419), wobei das Steuermodul (102) ferner so eingerichtet ist, dass es die Eingaben von der mindestens einen Benutzerschnittstelle empfängt, und wobei die von dem Steuermodul (102) empfangenen Ausrichtungseingaben einen Befehl an das Steuermodul (102) umfassen, das Testbild (305) iterativ in Ausrichtung mit dem Referenzpunkt (311) zu bewegen, wie mit dem Bildsensor (419) bestimmt wurde.
Vorrichtung nach Anspruch 5, ferner umfassend: einen Bildprojektor (417), der den Referenzpunkt (311) auf die Windschutzscheibe (116) projiziert.
Vorrichtung nach Anspruch 8, ferner umfassend: eine Halterung (411), die an einer Fahrzeugkomponente befestigt ist, wobei der Bildprojektor (417) an der Halterung (411) befestigt ist.