DE102011075703A1

DE102011075703A1 - Verfahren und Vorrichtung zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs

Info

Publication number: DE102011075703A1
Application number: DE201110075703
Authority: DE
Inventors: Henning Von Zitzewitz; Steffen Abraham; Mario Mueller-Frahm; Stefan Weber; Gerrit De Boer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2011-05-12
Filing date: 2011-05-12
Publication date: 2012-11-15
Also published as: CN103502876A; CN103502876B; WO2012152475A1

Abstract

Die Erfindung betrifft Verfahren zur Kalibrierung einer Projektionseinrichtung (102) eines Fahrzeugs, wobei die Projektionseinrichtung geeignet ist, um ein einem realen Objekt (108) zugeordnetes virtuelles Bild (330) in einen Strahlengang (110) zwischen dem realen Objekt und einer angenommenen Kopfposition (106) eines Insassen des Fahrzeugs zu projizieren. In einem Schritt des Erfassens wird eine entlang des Strahlengangs an der angenommenen Kopfposition eintreffende Lichtinformation erfasst, wobei die Lichtinformation zum einen Licht repräsentiert, das von dem sich außerhalb des Fahrzeugs befindlichen realen Objekt ausgeht und zum anderen Licht repräsentiert, das von der Projektionseinrichtung ausgeht, um das dem realen Objekt zugeordnete virtuelle Bild in den Strahlengang zu projizieren. In einem Schritt des Bestimmens wird eine Kalibrierinformation für die Projektionseinrichtung basierend auf einer aus der Lichtinformation ermittelten Position des virtuellen Bilds und einer aus der Lichtinformation ermittelten Position des realen Objekts bestimmt.

Description

Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs sowie auf ein entsprechendes Computerprogrammprodukt.
Die DE 10 2004 035 896 A1 befasst sich mit einem Head Up Display, mit dem ein Gesichtsfeld eines Fahrers eines Fahrzeugs abgetastet werden kann.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Mittels der Projektionseinrichtung kann ein virtuelles Bild in ein Sichtfeld eines Insassen des Fahrzeugs eingeblendet werden. Um das virtuelle Bild an einer Position einzublenden, die in einem vorbestimmten Bezug zu einer für den Insassen ersichtlichen Position eines realen Objekts steht, ist die Kalibrierung der Projektionseinrichtung erforderlich. Um eine zur Kalibrierung geeignete Kalibrierinformation zu bestimmen, können für den Insassen ersichtliche Positionen des virtuellen Bilds und des realen Objekts miteinander verglichen werden. Stehen die Positionen in dem vorbestimmten Bezug zueinander, so kann diesbezüglich keine weitere Kalibrierung erforderlich sein. Besteht dagegen eine Abweichung der Positionen von dem vorbestimmten Bezug, so kann die Kalibrierinformation basierend auf der Abweichung bestimmt werden.
Die vorliegende Erfindung schafft ein Verfahren zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs, wobei die Projektionseinrichtung geeignet ist, um ein einem realen Objekt zugeordnetes virtuelles Bild in einen Strahlengang zwischen dem realen Objekt und einer angenommenen Kopfposition eines Insassen des Fahrzeugs zu projizieren und wobei das Verfahren die folgenden Schritte umfasst:
Erfassen einer entlang des Strahlengangs an der angenommenen Kopfposition eintreffenden Lichtinformation, wobei die Lichtinformation zum einen Licht repräsentiert, das von dem sich außerhalb des Fahrzeugs befindlichen realen Objekt ausgeht und zum anderen Licht repräsentiert, das von der Projektionseinrichtung ausgeht, um das dem realen Objekt zugeordnete virtuelle Bild in den Strahlengang zu projizieren; und
Bestimmen einer Kalibrierinformation für die Projektionseinrichtung basierend auf einer aus der Lichtinformation ermittelten Position des virtuellen Bilds und einer aus der Lichtinformation ermittelten Position des realen Objekts.
Mittels der Projektionseinrichtung kann das virtuelle Bild in das Sichtfeld des Insassen, beispielsweise eines Fahrers des Fahrzeugs, eingeblendet werden. Bei dem Bild kann es sich beispielsweise um eine Abbildung eines Objekts, um eine Markierung, ein Zeichen oder um ein Wort handeln. Das Bild kann einen Bezug zu dem realen Objekt haben, dass außerhalb des Fahrzeugs angeordnet ist. Bei dem realen Objekt kann es sich beispielsweise um eine Fahrbahn, eine Fahrbahnmarkierung, ein Verkehrszeichen, ein weiteres Fahrzeug oder um eine weitere Person handeln. Beispielsweise kann das virtuelle Bild so eingeblendet werden, dass es aus Sicht des Insassen, dem realen Objekt überlagert ist oder neben dem realen Objekt angeordnet ist. Die Kalibrierung kann erforderlich sein, um das virtuelle Bild an einer in Bezug auf das reale Objekt gewünschten Position einzublenden. Bei der Projektionseinrichtung kann es sich um ein Head-up Display handeln. Insbesondere kann es sich um ein sogenanntes kontaktanaloges oder Augmented Head-up Display handeln. Der Bereich, wo für den Betrachter ein Bild sichtbar ist, wird durch eine sogenannte Eyebox repräsentiert. Das HUD wird so aufgebaut, dass die Eyebox die Punkte oder Bereiche im Fahrzeuginneren umfasst, an dem sich typischerweise der Kopf des Insassen und insbesondere die Augen des Insassen befinden. Das virtuelle Bild kann so eingebendet werden, dass es aus der Kopfposition heraus gut sichtbar ist. Der Strahlengang kann durch eine Verbindungslinie zwischen dem realen Objekt und der Kopfposition repräsentiert werden. Das Erfassen der Lichtinformation kann mittels einer Bilderfassungseinrichtung, beispielsweise einer Kamera durchgeführt werden. Somit kann die erfasste Lichtinformation beispielsweise in ein digitales Bild abgebildet werden. Das Bild kann mit einer geeigneten Bildauswertung ausgewertet werden, beispielsweise um das virtuelle Bild und das reale Objekt in dem Bild zu erkennen und die Positionen des virtuellen Bilds und des Objekts innerhalb des Bilds zueinander in Bezug zu setzten. Um die Kalibrierinformation zu bestimmen, können die aus der Lichtinformation bestimmten Positionen mit Sollpositionen verglichen werden. Auch kann eine Anordnung der aus der Lichtinformation bestimmten Positionen zueinander mit einer Sollanordnung verglichen werden. Entsprechende Sollvorgaben können vorgegeben sein oder von der Projektionseinrichtung bereitgestellt werden. Eine Sollvorgabe kann darin bestehen, dass sich die Positionen des virtuellen Bilds und des realen Objekts aus Sicht des Insassen, also von der Kopfposition aus, überdecken. Wird basierend auf der Lichtinformation eine Abweichung von der Sollvorgabe festgestellt, so kann eine die Abweichung kompensierende Kompensationsinformation bestimmt werden. Die Kompensationsinformation kann an die Projektionseinrichtung bereitgestellt werden. Die Kompensationsinformation kann bewirken, dass die Projektion des virtuellen Bilds durch die Projektionseinrichtung so verändert wird, dass die Sollvorgabe eingehalten wird. Werden von der Projektionseinrichtung mehrere virtuelle Bilder in den Strahlengang projiziert, so kann der Schritt des Bestimmens der Kalibrierungsinformation für jedes virtuelle Bild wiederholt werden. Um das virtuelle Bild an eine korrekte Position projizieren zu können, kann der Projektionseinrichtung eine reale Position des realen Objekts bekannt sein. Die reale Position kann für die Kalibrierung vorgegeben sein. Auch kann die reale Position beispielsweise mittels einer Sensorik zur Umfelderfassung bestimmt und an die Projektionseinrichtung bereitgestellt werden.
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Anordnens eines Bildaufnehmers an der angenommenen Kopfposition umfassen. Dabei kann im Schritt des Erfassens die eintreffende Lichtinformation durch den Bildaufnehmer erfasst werden. Der Bildaufnehmer kann Teil einer Bilderfassungseinrichtung, beispielsweise einer Kamera sein. Mittels des Bildaufnehmers kann aus dem die Lichtinformation aufweisenden Licht ein digitales Bild erzeugt werden. Basierend auf dem digitalen Bild kann die Kompensationsinformation bestimmt werden. Der Bildaufnehmer kann zum Durchführen des Vorgangs der Kalibrierung von einer Person an der Kopfposition angeordnet werden. Diese Vorgehensweise ist vorteilhaft, wenn das Fahrzeug keinen geeigneten Bildaufnehmer aufweist.
Alternativ kann in einem Schritt des Umlenkens die an der angenommenen Kopfposition eintreffende Lichtinformation zu einer Bilderfassungseinrichtung umgelenkt werden. Die Bilderfassungseinrichtung kann außerhalb der angenommenen Kopfposition angeordnet sein. Der Spiegel kann durch eine Person an der entsprechenden Position angeordnet werden. Diese Vorgehensweise ist vorteilhaft, wenn es sinnvoller ist, die Bilderfassungseinrichtung nicht direkt in der Kopfposition anzuordnen. Das Umlenken kann erfolgen, indem ein Umlenkelement, beispielsweise ein Spiegel, an der Kopfposition angeordnet wird und geeignet ausgerichtet wird. Auch bietet sich diese Vorgehensweise an, wenn das Fahrzeug bereits eine geeignete Bilderfassungseinrichtung aufweist.
Beispielsweise kann das Fahrzeug eine Innenraumkamera zum Überwachen eines Innenraums des Fahrzeugs aufweisen. Diese Innenraumkamera kann als Bilderfassungseinrichtung eingesetzt werden. In diesem Fall wird beispielsweise ein Spiegel so an der Kopfposition angeordnet, dass der Strahlengang von dem Spiegel weiter zu einem Bildaufnehmer der Innenraumkamera geführt wird. Es wird somit eine neue Verwendung einer bereits im Fahrzeug fest installierten Innenraumkamera als Teil einer Kalibriervorrichtung zur Kalibrierung der Projektionseinrichtung geschaffen.
Gemäß einer Ausführungsform kann der Schritt des Umlenkens wiederholt für unterschiedliche angenommene Kopfpositionen ausgeführt werden. Ebenso kann der Schritt des Erfassens wiederholt ausgeführt werden, um für jede der unterschiedlichen angenommenen Kopfpositionen eine Bildinformation zu erfassen. In einem Schritt des Ermittelns kann basierend auf den in den wiederholten Schritten des Erfassens erfassten Bildinformationen diejenige angenommen Kopfpositionen ermittelt werden, die einer tatsächlichen Position der Eye-Box entspricht. Die tatsächliche Position der Eye-Box kann mittels einer geeigneten Bildauswertung erkannt werden, beispielsweise indem an unterschiedlichen Kopfpositionen aufgenommene Bilder miteinander verglichen werden. Im Schritt des Bestimmens kann die Kalibrierinformation basierend auf der an der tatsächlichen Position der Eye-Box erfassten Lichtinformation bestimmt werden. Diese Vorgehensweise bietet sich an, wenn die tatsächliche Position der Eye-Box im Vorfeld nicht bekannt ist oder eine exakte Positionierung des Umlenkelements aufwendig ist. In diesem Fall kann das Umlenkelement solange verschoben werden, bis die tatsächliche Position der Eye-Box gefunden ist.
Auch kann im Schritt des Bestimmens basierend auf den an den unterschiedlichen Positionen erfassten Bildinformationen eine Information zur Vorverzerrung von durch die Projektionseinrichtung auszugebenden Bilddaten bestimmt werden. Die Vorverzerrung kann sinnvoll sein, damit das virtuelle Bild auch dann für den Insassen unverzerrt erscheint, wenn er den Kopf etwas bewegt und sich somit seine Blickrichtung etwas verändert.
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Anordnens einer Blende in einen Projektionsstrahlengang der Projektionseinrichtung umfassen. In einem Schritt des Ermittelns kann die angenommene Kopfposition als eine Position ermittelt werden, an der das virtuelle Bild sichtbar ist. Ob das virtuelle Bild sichtbar ist, kann durch Auswerten der eintreffenden Lichtinformation ermittelt werden. Beispielsweise kann der Bildaufnehmer oder das Umlenkelement solange zwischen möglichen Kopfpositionen hin und her bewegt werden, bis die erfasste Lichtinformation das virtuelle Bild umfasst. Das Bewegen des Umlenkelements kann durch eine Person oder eine Halteeinrichtung für das Umlenkelement durchgeführt werden. Die dadurch ermittelte Kopfposition wird als angenommene Kopfposition verwendet.
Das Verfahren kann auch einen Schritt des Projizierens des virtuellen Bilds umfassen, das dem realen Objekt zugeordnet ist. Das virtuelle Bild kann mittels der Projektionseinrichtung in den Strahlengang projiziert werden.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein oder mehrere elektrische Geräte verstanden werden, die Sensorsignale verarbeiten und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem Computer ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 ein Fahrzeug mit einer Projektionsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 eine Darstellung einer virtuellen Kamera;
3 ein Fahrzeug mit einer Projektionsvorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung;
4 ein Fahrzeug mit einer Projektionsvorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; und
5 ein Ablaufdiagramm, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt ein Fahrzeug 100 mit einer Projektionsvorrichtung 102 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 weist eine Scheibe 104 auf. Im Innenraum des Fahrzeugs 100 ist hinter der Scheibe 104, hier eine Windschutzscheibe, ein Kopfbereich 106 eines Insassen des Fahrzeugs 100 gezeigt. Außerhalb des Fahrzeugs 100, im Sichtfeld des Insassen durch die Scheibe 104, ist ein Objekt 108, hier ein Schild, angeordnet. Ein Strahlengang 110 verläuft von dem Objekt 108 zu dem Kopfbereich 106 und insbesondere zu einer Position der Augen des Insassen. Über den Strahlengang 110 trifft von dem Objekt 108 ausgestrahltes oder reflektiertes Licht auf den Kopfbereich 106 des Insassen. Die Projektionseinrichtung 102 ist im Inneren des Fahrzeugs 100 angeordnet. Die Projektionseinrichtung 102 ist ausgebildet, um ein virtuelles Bild in das Sichtfeld des Insassen zu projizieren. Dazu ist die Projektionseinrichtung 102 ausgebildet, um Licht auszustrahlen, das über einen weiteren Strahlengang 112 auf ein Reflexionselement, beispielsweise die Scheibe 104, trifft und von dem Reflexionselement in den Strahlengang 110 in Richtung des Kopfbereichs 106 eingekoppelt wird. Auf diese Weise hat der Insasse des Fahrzeugs den Eindruck, als ob sich das von der Projektionseinrichtung 102 ausgestrahlte virtuelle Bild außerhalb des Fahrzeugs 100 im Bereich des Strahlengangs 110 befindet.
Die Projektionseinrichtung 102 kann ausgebildet sein, um das virtuelle Bild mit Bezug zu dem realen Objekt 108 in das Sichtfeld des Insassen zu projizieren. Beispielsweise kann das virtuelle Bild deckungsgleich zu dem realen Objekt 108 dargestellt werden. Dazu ist es erforderlich, dass die Projektionseinrichtung 102 zumindest eine Information über eine Position des realen Objekts 108 in Bezug auf das Fahrzeug 100 hat. Die Information über die Position kann eine Richtung und eine Entfernung zwischen einem Bezugspunkt des Fahrzeugs 100 und der Position des realen Objekts 108 umfassen. Die Projektionseinrichtung 102 kann eine Schnittstelle aufweisen, um die Information über die Position zu empfangen. Über die Schnittstelle kann der Projektionseinrichtung 102 auch eine Information über eine Art des realen Objekts 108 bereitgestellt werden. Auf diese Weise kann die Projektionseinrichtung 102 einen Bildinhalt des virtuellen Bilds an das reale Objekt 108 anpassen. Die Information über die Position des realen Objekts 108 kann der Projektionseinrichtung 102 von einer Umfelderfassungseinrichtung 114 bereitgestellt werden. Die Umfelderfassungseinrichtung 114 ist an dem Fahrzeug 100 angeordnet und ist ausgebildet, um das Umfeld des Fahrzeugs 100 zumindest in einem Teilbereich des Sichtfelds des Insassen zu erfassen. Die Umfelderfassungseinrichtung 114 ist ausgebildet, um das reale Objekt 108 zu erfassen und die Position des realen Objekts 108 relativ zu dem Fahrzeug 100 zu bestimmen. Auch kann die Umfelderfassungseinrichtung 114 ausgebildet sein, um mittels einer Objekterkennung eine Art des realen Objekts 108 zu klassifizieren. Die Umfelderfassungseinrichtung 114 kann ein ACC-System (Adaptive Cruise Control) oder ein Teil eines solchen Systems darstellen. In Bezug auf eine Kalibrierung der Projektionseinrichtung 102 kann die Information über die Position des realen Objekts 108 der Projektionseinrichtung 102 auch fest vorgegeben sein oder über eine Eingabeschnittstelle, beispielsweise von einer Bedienperson, eingegeben werden.
Bei der Projektionseinrichtung 102 kann es sich um ein Head-up Display handeln. Als Head-up Display wird ein System bezeichnet, das Informationen direkt ins Sichtfeld des Fahrers einblendet. Hierzu wird eine spezielle Optik eingesetzt, die über Einspiegelung in die Windschutzscheibe 104 dafür sorgt, dass für den Fahrer der Eindruck entsteht, als ob ein Bild vor dem Fahrzeug 100 schweben würde. Im Gegensatz dazu muss der Fahrer bei einem Head Down-Display oder bei den Kombiinstrumenten im Fahrzeug 100 seinen Blick senken, um wichtige Anzeigen wie etwa Geschwindigkeit oder Richtungsanweisungen zu sehen. Das Bild eines HUDs 102 ist nur für den Fahrer sichtbar, und auch nur dann, wenn sich seine Augen in der sogenannten Eyebox (EB) befinden. Dies ist ein 3-dimensionaler Raum, der aus Sicht des Fahrers typischerweise 25 cm breit und 10 cm hoch ist.
Gemäß einem Ausführungsbeispiel kann das Head-up Display 102 Informationen gezielt dem realen Bild überlagern, um Punkte im Raum zu referenzieren. Ein solches Display wird im allgemeinen Sprachgebrauch kontaktanaloges bzw. Augmented Head-up Display genannt. Dem Fahrer können mit Hilfe dieser Technik z.B. Navigationshinweise in der Form gegeben werden, dass die von ihm zu verfolgende Straße farbig markiert wird. Auch Fahrspuren oder vom ACC-System 114 detektierte vorausfahrende Fahrzeuge können dem Fahrer direkt in das Blickfeld eingeblendet werden. Für die Erzeugung eines 3D-Effektes sind verschiedene Ansätze bekannt. Über autostereoskopische oder auch binokulare Systeme werden für beide Augen unterschiedliche Bilder erzeugt und über entsprechende Optiken dem Auge sichtbar gemacht. Andere Verfahren (biokular) erzeugen nur ein einziges Bild, dessen Bildentfernung aber so gewählt wird, dass die Augen des Fahrers diese nicht mehr erkennen können, und das Gehirn automatisch eine Zuordnung zu den hinter den eingeblendeten Symbolen liegenden Objekten vornimmt. Die Abbildung 3D nach 2D wird durch einen sogenannten Renderer durchgeführt, der das 2D-Bild auf die Szene aus der Perspektive des Fahrers und der 3D-Visualisierungsdaten errechnet. Hierzu kann eine Fahrerkopfpositionsschätzung erforderlich sein. Mittels der Fahrerkopfpositionsschätzung kann die Position des Kopfbereichs 106 im Inneren des Fahrzeugs 100, beispielsweise in Bezug zu einem Bezugspunkt des Fahrzeugs bestimmt werden.
Gemäß einem Ausführungsbeispiel überwacht die Umfeldsensorik 114 in Form des ACC mit einem Radar-Sensor den Bereich vor dem Fahrzeug 100. Die Umfeldsensorik 114 ist ausgebildet, um aus den reflektierten Signalen Richtung, Entfernung und Relativgeschwindigkeit vorausfahrender Fahrzeuge oder anderer Objekte zu berechnen. Detektiert die Umfeldsensorik 114 ein langsameres vorausfahrendes Fahrzeug in der eigenen Fahrspur, passt es die Geschwindigkeit so an, dass das Fahrzeug 100 im gewünschten Abstand folgt. Dazu reduziert ACC je nach Fahrsituation das Motormoment oder bremst das Fahrzeug 100 ab. Auch in Kurven kann ACC erkennen, welches Fahrzeug für die Geschwindigkeitsregelung entscheidend ist. Sobald sich im Messbereich kein Fahrzeug mehr befindet, beschleunigt ACC das Fahrzeug wieder automatisch auf die voreingestellte Geschwindigkeit. Moderne Verfahren nutzen zur Absicherung der Radardaten und zur Steigerung der Zuverlässigkeit eine Videoaußenkamera. Dabei werden mittels Bilderkennungsalgorithmen aus Videobildern Objekte 108 detektiert und mit den Radardaten fusioniert.
Für eine perspektivisch korrekte Projektion muss das Augmented Reality Head-Up Display (AR-HUD) 102 kalibriert werden. Hierzu soll die Projektion eines Augmented Reality Head-Up Displays nach der Montage im Kfz 100 so erfolgen, dass hinterher die Einblendung von Symbolen im Sichtfeld des Fahrers an korrekter Position erfolgt. Die Berechnung der Perspektive des Bildes, das durch das HUD 102 dargestellt wird, aus einer gewünschten 3 dimensionalen Szene, die dem Fahrer dargestellt wird, übernimmt der sogenannte Renderer. Das dargestellte Bild ist bei einem monoskopischen HUD 102 zweidimensional. Zur Berechnung der Perspektive sind Technologien bekannt, z.B. OpenGL, die die Bild-Berechnung direkt vornehmen. Dazu werden drei darzustellende Objekte in einer 3D-Beschreibungssprache beschrieben und dem Renderer übergeben, der das entsprechende 2-D Bild berechnet. Wichtig ist nun die Konfiguration des Renderers. Diese wird so vorgenommen, dass das virtuelle Bild aus Sicht des Fahrers an der gewünschten Stelle erscheint. Hierbei wird innerhalb des Renderes das Konzept einer virtuellen Kamera verfolgt, für welche die Umrechnung 3D auf 2D durch den Renderer auf Basis der Kameraparameter vorgenommen wird. Diese Kameraparameter sind die im Verfahren zu bestimmenden Kalibrierparameter.

2 zeigt eine Darstellung einer solchen virtuellen Kamera 220. Für eine korrekte Überlagerung muss sich die virtuelle Kamera 220 am Fahrerkopf befinden und auf das HUD-Bild gerichtet sein. Der „Zoom" muss so gewählt sein, dass der HUD-Bildbereich vollständig erfasst wird. Die Parameter der virtuellen Kamera 220, die für die Konfiguration des Renderers benötigt werden, sind damit:

FoV:	horizontaler Bildwinkel 222 (Field of View)
Aspect:	Seitenverhältnis 224 mit Breite w und Höhe h
Nearplane:	Beginn 226 des Zeichenvolumens (des Frustums) in z-Richtung
Farplane:	Ende 228 des Zeichenvolumens (des Frustums) in z-Richtung

Für die äußere Orientierung werden weiterhin die Position und die Rotation der Kamera 220 im Fahrzeugkoordinatensystem benötigt sowie der sogenannte "Viewport", welcher angibt, wie groß das Bild in Pixeln auf dem Bildschirm ist.
3 zeigt einen Abschnitt eines Fahrzeugs mit einer Vorrichtung zur Kalibrierung einer Projektionseinrichtung 102 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Projektionseinrichtung 102 ist als AR-HUD ausgebildet.
Die Projektionseinrichtung 102 weist eine HUD-Öffnung auf, aus der, wie anhand von 1 beschrieben, Licht 112 auf die Windschutzscheibe 104 des Fahrzeugs projiziert wird. Von der Windschutzscheibe 104 wird das Licht 112 in den Strahlengang zu der Kopfposition des Insassen reflektiert, an der gemäß diesem Ausführungsbeispiel eine Kamera 320 angeordnet ist. Die Eyebox gibt den räumlichen Bereich an, in dem für den Betrachter das Bild des Displays sichtbar ist. Somit befindet sich die Kopfposition und die Kamera 320 in der Eyebox. Die Projektionseinrichtung 102 ist ausgebildet, um das Licht 112 so auf die Windschutzscheibe 104 zu projizieren, das ein virtuelles Bild 330 entsteht, dass aus Sicht des Insassen in Verlängerung des Strahlengangs 110 hinter der Windschutzscheibe 104, also außerhalb des Fahrzeugs, schwebt. Ferner sind in 3 drei reale Objekte 108 gezeigt, die beabstandet voneinander an unterschiedlichen Positionen außerhalb des Fahrzeugs angeordnet sind. Bei den Objekten 108 handelt es sich um reale Marker 108, deren Position jeweils bekannt ist. In dem virtuellen Bild 330 sind drei Marker angeordnet. Das virtuelle Bild 330 soll gemäß diesem Ausführungsbeispiel von der Projektionseinrichtung 102 so projiziert werden, dass sich jeder der Marker des virtuellen Bilds 330 mit einem zugeordneten der realen Marker 108 überdeckt. Eine Information über die Position der realen Marker 108 kann über eine Schnittstelle der Projektionseinrichtung 102 an die Projektionseinrichtung 102 übertragen werden. Die Projektionseinrichtung 102 weist einen Speicher 332 auf, in dem Systemparameter der Projektionseinrichtung 102, hier AR-HUD-Parameter, gespeichert sind. Die Projektionseinrichtung 102 ist ausgebildet, um unter Verwendung der Systemparameter Ansteuerwerte zur Erzeugung des virtuelle Bilds 330 so zu bestimmen, dass das virtuelle Bild 330 virtuelle Marker umfasst, die in einer vorbestimmten Position zu den realen Markern 108, hier überdeckend, eingeblendet werden. Besteht eine Abweichung von der angestrebten Überdeckung, so kann die Abweichung durch einen Kalibriervorgang erkannt und eliminiert werden.
Die Kamera 320 ist so angeordnet, dass sie sowohl das virtuelle Bild 330 als auch die realen Objekte 108 erfassen kann. Ein von der Kamera 320 erzeugtes Bild 336 wird von der Kamera 320 an eine Bildauswerteeinrichtung 340 übertragen. Die Bildauswerteeinrichtung 340 ist ausgebildet, um eine Auswertung des Bilds 336 durchzuführen und basierend auf der Auswertung Systemparameter für die Projektionseinrichtung 102 zu berechnen. Dazu können beispielsweise die virtuellen Marker des virtuellen Bilds 330 und die realen Marker 108 in dem Bild 336 erkannt werden und die jeweiligen Positionen miteinander verglichen werden. Weicht beispielsweise eine Position eines virtuellen Markers von einer Position eines zugeordneten realen Markers 108 ab, so kann die Bildauswerteeinrichtung 340 ausgebildet sein, um basierend auf der Abweichung neue Systemparameter so zu bestimmen, dass die Abweichung korrigiert wird. Dazu können bekannte Verfahren zur Kalibrierung einer Projektionseinrichtung eingesetzt werden. Die zur Erzeugung des virtuellen Bildes 330 eingesetzten aktuellen Systemparameter der Projektionseinrichtung 102 können der Bildauswerteeinrichtung 340 bekannt sein und zur Bestimmung der neuen Systemparameter verwendet werden. Die von der Bildauswerteeinrichtung 340 bestimmen Systemparameter für die Projektionseinrichtung 102 können, beispielweise durch Flashen, in den Speicher 332 der Projektionseinrichtung 102 eingetragen werden. Nachfolgend können diese neuen Systemparameter für eine erneute Projizierung des virtuellen Bildes 330 eingesetzt werden.
In 3 ist ein Aufbau für eine automatische Kalibrierung eines Augmented Reality HUDs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung gezeigt. Dabei sind die Kamera 320 und die Projektionseinrichtung 102 innerhalb des Fahrzeugs angeordnet. Die Bildauswerteeinrichtung 340 kann außerhalb des Fahrzeugs angeordnet sein und über geeignete Schnittstellen mit der Kamera 320 und der Projektionseinrichtung 102 verbunden sein. Gemäß diesem Ausführungsbeispiel werden über das Bild 336, das mittels der Kamera 320 aus der Eyebox heraus aufgenommen wird, gleichzeitig Objekte 108 mit bekannter Lage sowie vom HUD 102 erzeugte virtuelle Objekte 330 erfasst. Mittels der Kamera 320 können aus der Eye-Box des HUD 102 die Abweichung der Position von realen Markern 108 vor dem Fahrzeug mit der Position von eingeblendeten Markern 330 verglichen werden. Bei einer hinreichend großen Anzahl von Markern lassen sich aus den Abweichungen die korrekten Parameter für das AR-HUD berechnen, so dass die Projektion perspektivisch korrekt ist.
Die gesuchten HUD Parameter lassen sich dann bei einer hinreichend großen Menge von Objekten 108 aus den jeweiligen Objektpositionen, für virtuelle und reale Objekte 330, 108, sowie den aktuell eingestellten, noch zu justierenden, HUD-Parametern berechnen. Dabei können die HUD-Parameter in einem einzigen Schritt berechnet werden. Zur Bestimmung der HUD-Parameter kann auf bekannte Algorithmen zur markerbasierten Berechnung von Transformationsparametern zurückgegriffen werden.
4 zeigt einen Abschnitt eines Fahrzeugs mit einer Vorrichtung zur Kalibrierung einer Projektionseinrichtung 102 gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung. Der in 4 gezeigte Aufbau entspricht dem in 3 gezeigten Aufbau, mit dem Unterschied, dass anstelle einer an der Kopfposition platzierten Kamera eine Innenraum-Kamera 420 eingesetzt wird, dass ein Umlenkelement 422, hier ein Spiegel oder Umlenkspiegel, an der Kopfposition angeordnet ist und dass das Bild 336 der Innenraum-Kamera 420 von einer Einheit 440 zur Parameterberechnung ausgewertet wird, die Teil der Projektionseinrichtung 102 ist.
Der Spiegel 422 ist so in der Eyebox angeordnet, dass der Strahlengang 110 zu der Innenraumkamera 420 umgelenkt wird. Die Innenraumkamera 420 kann fest in dem Fahrzeug installiert sein und im Normalbetrieb beispielsweise zur Überwachung des Innenraums des Fahrzeugs eingesetzt werden. Das von der Innenraumkamera 420 erzeugte Bild 336 wird über eine geeignete Schnittstelle an die Projektionseinrichtung 102 bereitgestellt. Beispielswiese kann das Bild 336 über einen Systembus, beispielsweise einen CAN-Bus, an den sowohl die Innenraumkamera 420 als auch die Projektionseinrichtung 102 angeschossen sind von der Innenraumkamera 320 an die Projektionseinrichtung 102 übertragen werden. Die Einheit 440 ist entsprechend der anhand von 4 beschriebenen Bildauswerteeinrichtung 340 ausgebildet, um neue Systemparameter für die Projektionseinrichtung 102 zu bestimmen und in dem Speicher der Projektionseinrichtung 102 abzulegen.
Gemäß diesem Ausführungsbeispiel sind sowohl die Projektionseinrichtung, als auch der Spiegel 422 und die Innenraumkamera 420 im Inneren des Fahrzeugs angeordnet. Somit kann unter Ausnutzung der bereits im Fahrzeug verbauten Innenraumkamera 420, beispielsweise zur Müdigkeitsüberwachung, und eines zusätzlichen Spiegels 422, der temporär in die Eyebox gebracht wird, eine automatische Kalibrierung des HUD 102 vorgenommen werden. Dabei findet die Berechnung der AR-HUD-Parameter vollständig im Fahrzeug-System statt, d.h. es ist keine elektronische Anbindung externer Geräte, wie z.B. einer Kamera, eines PCs oder eines Diagnosetesters, erforderlich.
Zusätzlich kann der Spiegel mit Merkmalen, wie z.B. Markern versehen sein, die eine vereinfachte Messung der Marker im Kamerabild erlauben. Dies ermöglicht eine vereinfachte Bestimmung der räumlichen Lage des Spiegels bezogen auf die Kamera und damit die Bestimmung der Lage des Spiegels im Fahrzeug mit bekannten Verfahren aus der optischen Messtechnik. Dies verbessert die Genauigkeit der Bestimmung der Systemparameter für die Projektion.
Es wird somit ein Verfahren zur automatischen Kalibrierung eines AR-HUDs 102 ermöglicht, bei dem nicht die Notwendigkeit besteht, eine Kamera innerhalb der Eyebox des HUD 102 im Fahrzeug zu platzieren, dann die Bilder dieser externen Kamera auszuwerten, die AR-HUD-Parameter außerhalb des Fahrzeugs zu berechnen und diese schließlich zur Konfiguration des AR-HUDs zu verwenden. Ein entsprechend komplexer Prozess, bei dem eine separate Kamera erforderlich ist, Bilder ausgelesen und an anderer Stelle verarbeitet werden und die Ergebnisse in die Fahrzeug-Elektronik übertragen werden, kann durch das anhand von 4 gezeigte Verfahren vollständig umgangen werden. Somit wird ein Verfahren zur automatischen Kalibrierung eines Augmented Reality HUDs basierend auf einer Innenraumkamera geschaffen, das kostengünstig und schnell ausgeführt werden kann.
Mit dem Verfahren ist es möglich, eine Kalibrierung der Projektionseinrichtung 102 lediglich mit Hilfe eines Spiegels 422 und gegebenenfalls, je nach Kalibrierverfahren, externen Markern 108 vorzunehmen. Als externe Marker 108 können speziell zum Zweck der Kalibrierung vor dem Fahrzeug angeordnete Objekte eingesetzt werden.
Im Folgenden erfolgt eine detaillierte Beschreibung von Aufbau und Funktion des in 4 gezeigten Ausführungsbeispiels. Der gezeigte Ansatz basiert darauf, das in der Eyebox sichtbare Bild von dem Spiegel 422 in die bereits für andere Zwecke genutzte Innenraumkamera 420 umzulenken. Kalibrieralgorithmen, die beispielsweise in der Ansteuerelektronik innerhalb des AR-HUD 102 installiert sind, empfangen dann das Bild 336 der Innenraumkamera 420, werten es aus, berechnen die AR-HUD-Parameter und rekonfigurieren das von der Projektionseinrichtung 102 erzeugte virtuelle Bild 330 neu.
Die dabei zum Einsatz kommenden Kalibrieralgorithmen entsprechen denen, die bei einer automatischen Kalibrierung per Kamera in der Eyebox, wie anhand von 3 beschrieben, zum Einsatz kommen. Zusätzlich können noch Software-Module erforderlich sein, die den Nutzer bei der Positionierung des Spiegels 422 unterstützen.
Die Kalibrierung muss strenggenommen aus der Mitte der Eyebox erfolgen. Da diese Position nur mit Hilfe einer komplexeren mechanischen Positionierung möglich ist, ist die Innenraumkamera gemäß einem Ausführungsbeispiel ausgebildet, um eine Video- oder Bildersequenz aufzunehmen, während der Spiegel innerhalb der Eyebox in alle Richtungen verschoben wird. Auf diese Weise lassen sich der Grenzbereich der Eyebox ermitteln und auch deren Mitte. Dabei reicht es für die Auswertung aus, wenn sich der Spiegel 422 innerhalb der Sequenz nur einmal in der Mitte der Eyebox befunden hat. Diese Stelle von der Sequenz kann per Software leicht erkannt werden und die Berechnung der Parameter für die Projektionseinrichtung 102 dann einfach anhand des entsprechenden Bildes 336 an der Stelle der Sequenz durchgeführt werden.
Eine weitere Möglichkeit, die Mitte der Eyebox zu finden, besteht im Einsatz von entsprechenden Blenden, die über die Öffnung des HUD 102 gelegt werden. Bei Einblendung eines einzigen Testmarkers würde dieser nur in der Mitte der Eyebox sichtbar sein. Damit ist es dem Anwender des Verfahrens möglich, die Mitte der Eyebox zu suchen. Beispielsweise kann das von der Kamera 420 empfangene Bild 336 auf einem Display angezeigt werden oder das System quittiert die korrekte Platzierung mit einem Ton.
Mit den beschriebenen Verfahren ist es gemäß einem Ausführungsbeispiel der Erfindung weiterhin möglich, die gesamte Eyebox zu vermessen und Bilder 336 aus jeder Position zu ermitteln. Diese Information kann für eine elektronische Vorverzerrung des von der Projektionseinrichtung auszugebenden virtuellen Bildes 330 verwendet werden. Es können somit für eine geeignete Vorverzerrung erforderliche Parameter bestimmt werden und von der Projektionseinrichtung 102 zur Projizierung des virtuellen Bildes 330 genutzt werden. Dazu können diese Parameter in dem Speicher 332 der Projektionseinrichtung 102 abgelegt werden.
5 zeigt ein Ablaufdiagramm eines Verfahrens zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei der Projektionseinrichtung kann es sich um die anhand der 1, 3 oder 4 beschriebene Projektionseinrichtung handeln.
In einem Schritt 550 wird in einer Eyebox des Fahrzeugs eintreffendes Licht mittels einer Bilderfassungseinrichtung erfasst und basierend darauf ein Bild erzeugt. Dazu kann eine Kamera direkt in der Eyebox angeordnet werden. Alternativ kann ein Spiegel in der Eyebox angeordnet werden, um das in der Eyebox eintreffende Licht zu einer an einer anderen Position angeordneten Kamera umzulenken. Die Kamera bzw. der Spiegel sind so ausgerichtet, dass das erfasste Licht dem Licht entspricht, das ein Insasse des Fahrzeugs durch seine im Bereich der Eyebox befindlichen Augen aufnehmen würde. Dabei umfasst das Licht sowohl eine Information über ein außerhalb des Fahrzeugs angeordnetes Objekt als auch eine Information über ein virtuelles Bild, das von der Projektionseinrichtung in Bezug auf das außerhalb des Fahrzeugs angeordnete Objekt erzeugt wird. Im Normalbetrieb des Fahrzeugs können die sich in der Eyebox befindliche Kamera bzw. der sich in der Eyebox befindliche Spiegel entfernt sein. D.h. dass die Kamera bzw. der Spiegel speziell für den Kalibriervorgang der Projektionseinrichtung in der Eyebox angeordnet werden. In einem Schritt 552 wird basierend auf dem von der Kamera erzeugten Bild eine Kalibrierinformation für die Projektionseinrichtung bestimmt. Dazu kann eine Bildauswertung ausgeführt werden und aus dem Bild ermittelte Daten bezüglich des virtuellen Bilds und dem realen Objekt können mit vorbestimmten Solldaten verglichen werden. Die Kalibrierinformation kann Systemparameter der Projektionseinrichtung umfassen, die an die Projektionseinrichtung bereitgestellt werden.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102004035896 A1 [0002]

Claims

Verfahren zur Kalibrierung einer Projektionseinrichtung (102) eines Fahrzeugs (100), wobei die Projektionseinrichtung geeignet ist, um ein einem realen Objekt (108) zugeordnetes virtuelles Bild (330) in einen Strahlengang (110) zwischen dem realen Objekt und einer angenommenen Kopfposition (106) eines Insassen des Fahrzeugs zu projizieren und wobei das Verfahren die folgenden Schritte umfasst: Erfassen (550) einer entlang des Strahlengangs an der angenommenen Kopfposition eintreffenden Lichtinformation, wobei die Lichtinformation zum einen Licht repräsentiert, das von dem sich außerhalb des Fahrzeugs befindlichen realen Objekt ausgeht und zum anderen Licht repräsentiert, das von der Projektionseinrichtung ausgeht, um das dem realen Objekt zugeordnete virtuelle Bild in den Strahlengang zu projizieren; und Bestimmen (552) einer Kalibrierinformation für die Projektionseinrichtung basierend auf einer aus der Lichtinformation ermittelten Position des virtuellen Bilds und einer aus der Lichtinformation ermittelten Position des realen Objekts.
Verfahren gemäß Anspruch 1, mit einem Schritt des Anordnens eines Bildaufnehmers (320) an der angenommenen Kopfposition (106), wobei im Schritt des Erfassens (550) die eintreffende Lichtinformation durch den Bildaufnehmer erfasst wird.
Verfahren gemäß Anspruch 1, mit einem Schritt des Umlenkens der an der angenommenen Kopfposition (106) eintreffenden Lichtinformation zu einer Bilderfassungseinrichtung (420), die außerhalb der angenommenen Kopfposition angeordnet ist.
Verfahren gemäß Anspruch 3, wobei das Fahrzeug (100) eine Innenraumkamera zum Überwachen eines Innenraums des Fahrzeugs aufweist, die als Bilderfassungseinrichtung (420) eingesetzt wird.
Verfahren gemäß einem der Ansprüche 3 oder 4, bei dem der Schritt des Umlenkens wiederholt für unterschiedliche angenommene Kopfpositionen (106) ausgeführt wird, der Schritt des Erfassens (550) wiederholt ausgeführt wird, um für jede der unterschiedlichen angenommene Kopfpositionen eine Bildinformation (336) zu erfassen, in einem Schritt des Ermittelns basierend auf den in den wiederholten Schritten des Erfassens erfassten Bildinformationen diejenige angenommen Kopfposition ermittelt wird, die einer tatsächlichen Kopfposition entspricht und bei dem im Schritt des Bestimmens (552) die Kalibrierinformation basierend auf der an der tatsächlichen Kopfposition erfassten Lichtinformation bestimmt wird.
Verfahren gemäß Anspruch 5, bei dem im Schritt des Bestimmens (552) basierend auf den an den unterschiedlichen Kopfpositionen (106) erfassten Bildinformationen (336) eine Information zur Vorverzerrung von durch die Projektionseinrichtung (102) auszugebenden Bilddaten zu bestimmen.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Anordnens einer Blende in einen Projektionsstrahlengang der Projektionseinrichtung (102) und mit einem Schritt des Ermittelns der angenommenen Kopfposition (106) als eine Position, an der das virtuelle Bild (330) sichtbar ist.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Projizierens des virtuellen Bilds (330), das dem realen Objekt (108) zugeordnet ist, mittels der Projektionseinrichtung (102) in den Strahlengang (110).
Vorrichtung, die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 durchzuführen.
Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programm auf einer Vorrichtung ausgeführt wird.