DE102021110477A1

DE102021110477A1 - Dynamische anpassung eines bildes mit erweiterter realität

Info

Publication number: DE102021110477A1
Application number: DE102021110477.7A
Authority: DE
Inventors: Michael Baltaxe; Dan Levi; Omer Tsimhoni
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-08-05
Filing date: 2021-04-23
Publication date: 2022-02-10
Also published as: US11562576B2; CN114063295A; US20220044032A1

Abstract

Ein System und ein Verfahren zum Anpassen eines Bildes mit erweiterter Realität (AR-Bild) umfassen eine nach vorne gerichtete Kamera in einem Fahrzeug. Die Kamera nimmt ein Bild auf, das die Fahrbahnoberfläche vor dem Fahrzeug umfasst. Das System umfasst außerdem einen Prozessor, um Fahrspurlinien der Fahrbahnoberfläche in drei Dimensionen zu erkennen und eine Interpolation zur Bestimmung einer Geländeebene der Fahrbahnoberfläche unter Verwendung der Fahrspurlinien durchzuführen und um das AR-Bild zum Erhalten eines angepassten AR-Bildes so anzupassen, dass alle Punkte des angepassten AR-Bildes mit Punkten auf der Geländeebene übereinstimmen.

Description

EINLEITUNG
Der Gegenstand der Offenbarung bezieht sich auf die dynamische Anpassung eines Bildes mit erweiterter Realität.
Fahrzeuge (z. B. Personenkraftwagen, Lastkraftwagen, Baumaschinen, landwirtschaftliche Geräte) sind zunehmend so ausgestattet, dass sie Informationen über das Fahrzeug und seine Umgebung erhalten und einer Person im Fahrzeug Informationen bereitstellen. Beispielhafte Schnittstellen umfassen ein Infotainmentsystem und ein Head-up-Display (HUD). Das Infotainmentsystem kann einen Bildschirm umfassen, um eine Karte oder ein von einer Kamera des Fahrzeugs aufgenommenes Bild anzuzeigen. Beim HUD handelt es sich um eine Projektion eines Bildes z. B. auf die Windschutzscheibe des Fahrzeugs. Ein Bild mit erweiterter Realität (AR-Bild) ist ein Bild, das ein Bild der realen Welt weiterentwickelt. Zum Beispiel kann das Bild der vorausliegenden Straße, das von einer Kamera vorne im Fahrzeug aufgenommen wird, mit einem AR-Bild eines Pfeils ergänzt werden, um eine bevorstehende Kurve anzuzeigen. Als weiteres Beispiel kann das HUD, anstatt die Geschwindigkeit oder andere Daten anzuzeigen, ein AR-Bild projizieren, das das, was der Fahrer durch die Windschutzscheibe sieh, erweitert. Straßendynamik oder andere Quellen von Änderungen der relativen Ausrichtung des Fahrzeugs zur Außenwelt können dazu führen, dass das AR-Bild an der falschen Stelle angezeigt wird (z. B. wird der die Richtung anzeigende Pfeil im Kamerabild auf die Seite der Straße projiziert, anstatt auf die Straße). Dementsprechend ist es wünschenswert, eine dynamische Anpassung eines AR-Bildes bereitzustellen.
ZUSAMMENFASSUNG
Bei einer beispielhaften Ausgestaltung umfasst ein System zur Anpassung eines Bildes mit erweiterter Realität (AR-Bild) eine nach vorne gerichtete Kamera in einem Fahrzeug, um ein Bild zu erhalten, das eine Fahrbahnoberfläche vor dem Fahrzeug umfasst. Das System umfasst außerdem einen Prozessor, um Fahrspurlinien der Fahrbahnoberfläche in drei Dimensionen zu erkennen und eine Interpolation zur Bestimmung einer Geländeebene der Fahrbahnoberfläche unter Verwendung der Fahrspurlinien durchzuführen und um das AR-Bild zum Erhalten eines angepassten AR-Bildes so anzupassen, dass alle Punkte des angepassten AR-Bildes mit Punkten auf der Geländeebene übereinstimmen.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale erhält der Prozessor ein Basisbild, das die Fahrbahnoberfläche zeigt.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale fügt der Prozessor das angepasste AR-Bild dem Basisbild zur Anzeige für einen Fahrer des Fahrzeugs hinzu.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale erhält der Prozessor das Basisbild von der Kamera oder einer zweiten nach vorne gerichteten Kamera im Fahrzeug.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale überwacht der Prozessor die Augenposition eines Fahrers des Fahrzeugs.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale bestimmt der Prozessor einen Bereich des Head-up-Displays auf einer Windschutzscheibe des Fahrzeugs, der der Augenposition des Fahrers entspricht.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale projiziert der Prozessor das angepasste AR-Bild in den Bereich des Head-up-Displays.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale passt der Prozessor das AR-Bild auf Grundlage einer Rotation und einer Translation der Punkte auf der Geländeebene an.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale erkennt der Prozessor aus dem Bild ein Objekt auf der Fahrbahnoberfläche direkt vor dem Fahrzeug.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale wählt oder erzeugt der Prozessor die Größe des angepassten AR-Bildes auf Grundlage der Fahrbahnoberfläche zwischen dem Fahrzeug und einer Position des Objekts.
Bei einer weiteren beispielhaften Ausgestaltung umfasst ein Verfahren zum Anpassen eines Bildes mit erweiterter Realität (AR-Bild) das Aufnehmen eines Bildes durch eine nach vorne gerichtete Kamera in einem Fahrzeug, wobei das Bild eine Fahrbahnoberfläche vor dem Fahrzeug umfasst. Das Verfahren umfasst außerdem das Erfassen von Fahrspurlinien der Fahrbahnoberfläche in drei Dimensionen und das Durchführen einer Interpolation unter Verwendung der Fahrspurlinien, um eine Geländeebene der Fahrbahnoberfläche zu bestimmen. Das AR-Bild wird angepasst, um ein angepasstes AR-Bild zu erhalten, so dass alle Punkte des angepassten AR-Bildes mit Punkten auf der Geländeebene übereinstimmen.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Verfahren außerdem das Erhalten eines Basisbildes, das die Fahrbahnoberfläche zeigt.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Verfahren außerdem, dass der Prozessor das angepasste AR-Bild zum Basisbild hinzufügt, um es einem Fahrer des Fahrzeugs anzuzeigen.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale erfolgt das Aufnehmen des Basisbildes durch die Kamera oder eine zweite nach vorne gerichtete Kamera im Fahrzeug.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Verfahren außerdem, dass der Prozessor die Augenposition eines Fahrers des Fahrzeugs überwacht.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Verfahren, dass der Prozessor einen Bereich des Head-up-Displays auf einer Windschutzscheibe des Fahrzeugs bestimmt, der der Augenposition des Fahrers entspricht.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Verfahren außerdem, dass der Prozessor das angepasste AR-Bild in den Bereich des Head-up-Displays projiziert.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beruht das Anpassen des AR-Bildes auf einer Rotation und einer Translation der Punkte auf der Geländeebene.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Verfahren außerdem, dass der Prozessor aus dem Bild ein Objekt auf der Fahrbahnoberfläche direkt vor dem Fahrzeug erkennt.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Verfahren außerdem, dass der Prozessor die Größe des angepassten AR-Bildes auf Grundlage der Fahrbahnoberfläche zwischen dem Fahrzeug und einer Position des Objekts auswählt oder erzeugt.
Die obigen Merkmale und Vorteile sowie weitere Merkmale und Vorteile der Offenbarung sind aus der folgenden detaillierten Beschreibung leicht ersichtlich, wenn sie in Verbindung mit den beigefügten Zeichnungen betrachtet werden.
Figurenliste
Weitere Merkmale, Vorteile und Details sind nur beispielhaft in der folgenden ausführlichen Beschreibung aufgeführt, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht, in denen:

1 ein Blockdiagramm eines Fahrzeugs zeigt, das eine dynamische Anpassung eines Bildes mit erweiterter Realität (AR-Bild) gemäß einer oder mehrerer Ausgestaltungen durchführt,
2 die Anpassung eines AR-Bildes gemäß einer oder mehrerer Ausgestaltungen veranschaulicht,
3 ein Fahrzeug zeigt, das eine dynamische Anpassung eines AR-Bildes gemäß einer oder mehrerer Ausgestaltungen durchführt,
4 einen Ablauf eines Verfahrens zur Durchführung einer dynamischen Anpassung eines AR-Bildes gemäß verschiedener Ausgestaltungen zeigt,
5 Aspekte der Extraktion der Fahrbahngeometrie zur dynamischen Anpassung eines AR-Bildes gemäß einer oder mehrerer Ausgestaltungen zeigt,
6 Vorgänge veranschaulicht, die beim Anpassen eines als Head-up-Display angezeigten AR-Bildes stattfinden,
7 Vorgänge veranschaulicht, die beim Anpassen eines auf einem Basisbild angezeigten AR-Bildes stattfinden, und
8 die Aufteilung einer Geländeebene in Teilebenen zur Verbesserung der Funktion der Anpassung des AR-Bildes gemäß einer oder mehrerer Ausgestaltungen veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Die folgende Beschreibung hat lediglich beispielhaften Charakter und ist nicht dazu bestimmt, die vorliegende Offenbarung, ihre Anwendung oder ihren Gebrauch einzuschränken. Es versteht sich, dass in den Zeichnungen entsprechende Bezugszeichen gleiche oder entsprechende Teile und Merkmale bezeichnen.
Wie bereits erwähnt, kann ein AR-Bild zu einem Bild der realen Welt hinzugefügt werden (das z. B. von einer Fahrzeugkamera aufgenommen und von dem Infotainmentsystem angezeigt wird) oder auf eine Ansicht der realen Welt projiziert werden (z. B. in Form eines HUD). Ausgestaltungen der hierin beschriebenen Systeme und Verfahren umfassen eine dynamische Anpassung des AR-Bildes. Während der Fahrt können AR-Bilder auf einer Fahrbahnoberfläche oder einem anderen Straßenmerkmal angezeigt werden. Wie ebenfalls bereits erwähnt, wird ein AR-Bild aufgrund von Änderungen der relativen Ausrichtung des Fahrzeugs zur Fahrbahnoberfläche möglicherweise an der falschen Stelle auf dem Bild der realen Welt oder in der Ansicht der realen Welt dargestellt. Dies kann passieren, wenn die vorausliegende Straße nicht eben ist. Die relative Ausrichtung kann sich auch ändern, wenn das Fahrzeug einen Neigungswinkel aufweist (z. B. durch eine schwere Ladung im Kofferraum), selbst wenn die Straße eben ist. Auch eine Änderung der Position des Fahrzeugs relativ zur Straße kann zu dem Problem führen. Schließlich können andere Fahrzeuge oder Objekte, die sich im Sichtfeld befinden, eine Änderung der Position oder anderer Aspekte des AR-Symbols erfordern.
Ein früherer Ansatz zur Lösung des Problems der relativen Orientierung umfasst die vorherige Erstellung einer genauen Geländekarte. Dann ist bei genauer Ortsbestimmung und Neigung des Fahrzeugs die Ausrichtung des Fahrzeugs zur Fahrbahnoberfläche an einer bestimmten Position bekannt. Dies erfordert jedoch das Überfahren aller möglichen Geländeformen, um die Geländekarte zu erhalten. Außerdem sind Sensoren für die Informationen über die Ortsbestimmung und Neigung erforderlich. Ferner kann die Anwesenheit anderer Fahrzeuge oder Objekte in Echtzeit bei diesem Ansatz nicht berücksichtigt werden. Ein anderer früherer Ansatz umfasst die Verwendung eines dreidimensionalen Sensors, wie z. B. eines Lidar-Systems (Light Detection and Ranging). Allerdings sind Lidar-Systeme nicht generell in Fahrzeugen verfügbar und die Verarbeitung der vom Lidar-System gewonnenen Daten ist in der Regel prozessorintensiver als die Verarbeitung der von anderen Sensoren (z. B. Kamera, Radarsystem) gewonnenen Daten.
Gemäß einer oder mehrerer hierin beschriebener Ausgestaltungen wird ein einzelnes Bild von einer einzelnen Kamera verwendet, um Informationen über die Fahrbahngeometrie oder -struktur für einen Abschnitt der Fahrbahn zu erhalten. Bei der Kamera kann es sich um eine nach vorne gerichtete Kamera handeln, die bereits allgemein in Fahrzeugen zur Verfügung steht. Zusätzliche Techniken zur Reduzierung der Verzögerung und Verbesserung der Genauigkeit werden ebenfalls vorgestellt. Gemäß einer beispielhaften Ausgestaltung wird die Fahrbahngeometrie für anstehende Straßenabschnitte bestimmt, die von der Kamera erfasst werden. Gemäß einer weiteren beispielhaften Ausgestaltung kann ein großer Straßenabschnitt in Teilabschnitte unterteilt werden, so dass die Fahrbahngeometrie jedes Teilabschnitts genauer bestimmt werden kann.
Gemäß einer beispielhaften Ausgestaltung zeigt 1 ein Blockdiagramm eines Fahrzeugs 100, das eine dynamische Anpassung eines AR-Bildes 210 durchführt (2). Das in 1 gezeigte beispielhafte Fahrzeug 100 ist ein Automobil 101. Auf der Fahrbahn 160, auf der das Fahrzeug 100 gezeigt ist, sind Fahrspurlinien 150 angegeben. Das Fahrzeug 100 umfasst eine Steuerung 110, die die dynamische Anpassung des AR-Bildes 210 durchführt, wie hierin beschrieben. Die Steuerung 110 kann außerdem Funktionen des elektronischen Steuergeräts (ECU) des Fahrzeugs 100 ausführen oder mit dem elektronischen Steuergerät kommunizieren. Beispielhafte Funktionen des elektronischen Steuergeräts können halbautonome Aktionen wie automatisches Bremsen und adaptive Geschwindigkeitsregelung umfassen. Die Steuerung 110 umfasst Verarbeitungsschaltungen, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten umfassen können, die die beschriebene Funktionalität bereitstellen. Es sind drei beispielhafte (nicht einschränkend) nach vorne gerichtete Kameras 120a, 120b, 120c (allgemein als 120 bezeichnet) gezeigt.
Die Steuerung 110 kann ein Bild 220 (2) der Fahrbahn 160 vor dem Fahrzeug 100 erhalten, z. B. von der Kamera 120b, um die dynamische Anpassung des AR-Bildes 210 durchzuführen. Eine der anderen Kameras 120a, 120c oder die Kamera 120b selbst kann ein Bild 220 (zu Erläuterungszwecken als Basisbild 225 (2) bezeichnet) bereitstellen, zu dem das AR-Bild 210 hinzugefügt wird, um ein Gesamtbild 230 zu erzeugen (2). Das heißt, die Kamera 120, die das Bild 220 aufnimmt, das zur Bestimmung der Geometrie der Fahrbahn 160 verwendet wird, um die Anpassung des AR-Bildes 210 zu ermöglichen, kann, muss aber nicht dieselbe Kamera 120 sein, die das Basisbild 225 aufnimmt, das durch das AR-Bild 210 ergänzt wird, um das Gesamtbild 230 zu erzeugen. Bei der Verwendung unterschiedlicher Kameras 120 müssen die relativen Positionen der beiden Kameras 120 im Fahrzeug 100 berücksichtigt werden, um sicherzustellen, dass das AR-Bild 210, das auf Grundlage eines Bildes 220 der einen Kamera 120 angepasst wird, an der richtigen Stelle in das von einer anderen Kamera 120 gewonnene Basisbild 225 eingefügt wird. Die Nummern und Positionen der in 1 gezeigten Kameras 120 sind lediglich beispielhaft. Bei alternativen Ausgestaltungen kann eine andere Kamera 120, die sich an einer anderen Stelle befindet und ein Bild 220 der Fahrbahn 160 vor dem Fahrzeug 100 aufnimmt, verwendet werden, um die dynamische Anpassung des AR-Bildes 210 durchzuführen.
Auf der Windschutzscheibe 135 des Fahrzeugs 100 ist ein HUD-Bereich 130 gezeigt. Der HUD-Bereich 130 entspricht der Position des Auges 310 (3) des Fahrers 330 (3), so dass die im HUD-Bereich 130 projizierten Bilder für den Fahrer 330 sichtbar sind. Da sich die Position des Auges 310 bewegt, bewegt sich die Position des HUD-Bereichs 130 auf der Windschutzscheibe 135 auf Grundlage der Überwachung des Auges 310. Ein Infotainmentsystem 140 ist im Armaturenbrett des Fahrzeugs 100 unterhalb der Windschutzscheibe 135 gemäß der Ansicht in 1 gezeigt. Das Infotainmentsystem 140 umfasst ein Display 145, das ein von einer der Kameras 120 aufgenommenes Basisbild 225 zusammen mit einem AR-Bild 210 anzeigen kann, das gemäß einer oder mehrerer Ausgestaltungen angepasst ist. Das Basisbild 225 und das angepasste AR-Bild 210 (d. h. das Gesamtbild 230) können gemäß alternativer Ausgestaltungen auf einem Tablet oder Telefon oder einem beliebigen Gerät 115 angezeigt werden, das kabelgebunden oder drahtlos mit der Steuerung 110 verbunden ist. Das Gerät 115 kann sich, wie gezeigt, innerhalb des Fahrzeugs 100 oder außerhalb des Fahrzeugs 100 befinden. Eine beispielhafte Anpassung eines AR-Bildes 210 ist in 2 veranschaulicht.
2 veranschaulicht die Anpassung eines AR-Bildes gemäß einer oder mehrerer Ausgestaltungen. Es wird weiterhin Bezug auf 1 genommen. Es sind zwei Gesamtbilder 230a, 230b (allgemein als 230 bezeichnet) gezeigt. Ein Gesamtbild 230 kann sich auf eine reale Ansicht einer Fahrbahn 160 mit einem darauf projizierten AR-Bild 210 in einem HUD-Bereich 130 beziehen. Gemäß dem in 2 gezeigten beispielhaften Fall kann sich ein Gesamtbild 230 stattdessen auf ein Basisbild 225 der Fahrbahn 160 beziehen, wobei das AR-Bild 210 auf dem Display 145 des Infotainmentsystems 140 oder einem Bildschirm eines anderen Geräts (z. B. Tablet, Telefon) hinzugefügt und angezeigt wird. Wie bereits erwähnt, kann ein Bild 220, das mit einer der Kameras 120 aufgenommen wurde, zur Bestimmung der Fahrbahngeometrie verwendet werden. Wie außerdem bereits erwähnt, kann ein mit einer der Kameras 120 aufgenommenes Bild 220 als Basisbild 225 verwendet werden, zu dem das AR-Bild 210 hinzugefügt wird, um ein Gesamtbild 230 zu erzeugen. Das Gesamtbild 230a zeigt, dass die Fahrbahn 160 ansteigt (d. h. die Steigung der Fahrbahn 160 nimmt vor dem Fahrzeug 100 zu) und sich dann abflacht und dass das AR-Bild 210a ohne Anpassung, die diese Steigungsänderung berücksichtigt, falsch positioniert ist. Wie das Gesamtbild 230a zeigt, scheint sich das AR-Bild 210a des Pfeils über die Fahrbahn 160 zu erheben, anstatt vollständig auf die Oberfläche der Fahrbahn 160 projiziert zu werden.
Das Gesamtbild 230b zeigt die gleiche Fahrbahn 160 vor dem Fahrzeug 100. Wie 2 zeigt, wird das AR-Bild 210b jedoch aus dem AR-Bild 210a so angepasst, dass es vollständig auf der Oberfläche der Fahrbahn 160 erscheint. Die Oberfläche der Fahrbahn 160 wird als Ziel für die Projektion des AR-Bildes 210 zu Erläuterungszwecken besonders erörtert. Eine Änderung der Ausrichtung des Fahrzeugs 100 zur Fahrbahn 160 kann sich auch auf die Platzierung eines AR-Bildes 210 z. B. auf einem Wegweiser neben der Fahrbahn 160 oder an einer anderen Stelle auswirken. Wie unter Bezugnahme auf 4 weiter erörtert, umfasst die Bestimmung der relativen Orientierung das Bestimmen der Geometrie der Fahrbahn 160.
3 zeigt ein Fahrzeug 100, das eine dynamische Anpassung eines AR-Bildes 210 gemäß einer oder mehrerer Ausgestaltungen durchführt. Das Fahrzeug 100 ist in einer Seitenansicht zwischen den Fahrspurlinien 150 gezeigt. In dem in 3 gezeigten beispielhaften Fall wird das AR-Bild 210 in dem HUD-Bereich 130 der Windschutzscheibe 135 angezeigt. In diesem Fall gibt es also kein Basisbild 225, zu dem das AR-Bild 210 hinzugefügt wird. Stattdessen erscheint das AR-Bild 210 in dem HUD-Bereich 130 der Windschutzscheibe 135 direkt auf der realen Ansicht der Fahrbahn 160. 3 zeigt ein Objekt 320 (z. B. ein anderes Fahrzeug 100) auf der vorausliegenden Fahrbahn 160. Neben der Fahrbahngeometrie muss auch dieses andere Objekt 320 bei der Anpassung des AR-Bildes 210 berücksichtigt werden, wie unter Bezugnahme auf 4 weiter erörtert wird. Damit das AR-Bild 210 an der richtigen Stelle erscheint, wird der HUD-Bereich 130 der Windschutzscheibe 135, der der Position der Augen 310 des Fahrers entspricht, bestimmt, indem die Augenposition des Fahrers durch Verfolgung der Position eines oder beider Augen 310 des Fahrers 330 mit einem bekannten Kopf- und Augen-Tracking-Verfahren ermittelt wird. Im Gegensatz zu einer Kamera 120, die Bilder 220 aufnimmt, ist es unwahrscheinlich, dass das Auge 310 in einer Position in Bezug auf das Fahrzeug 100 bleibt. Die Anpassung des AR-Bildes 210 auf Grundlage der Geometrie der Fahrbahn 160 umfasst somit zusätzlich die Echtzeiterfassung der Bewegung des Auges 310, wie es unter Bezugnahme auf 4 und 6 erörtert wird.
4 zeigt den Ablauf eines Verfahrens 400 zur Durchführung einer dynamischen Anpassung eines AR-Bildes 210 gemäß verschiedener Ausgestaltungen. Der Ablauf kann z. B. von der Steuerung 110 durchgeführt werden. In Block 410 bezieht sich das Aufnehmen eines Bildes 220 auf das Aufnehmen eines Bildes der Fahrbahn 160 vor dem Fahrzeug 100 durch eine der nach vorne gerichteten Kameras 120, die zum Beispiel in 1 gezeigt sind. In Block 420 wird das Extrahieren der Fahrbahngeometrie unter Bezugnahme auf 5 weiter erörtert. Es wird das Koordinatensystem $\vec{N_{G}}$
der Geländeebene P_G ermittelt. In Block 420 werden zusätzlich zur Fahrbahngeometrie auch Informationen über Objekte 320 (z. B. andere Fahrzeuge 100) auf der Fahrbahn 160 gewonnen. Diese Informationen werden verwendet, um zu vermeiden, dass ein AR-Bild 210 auf das Objekt 320 projiziert wird, wenn es eigentlich auf eine Oberfläche der Fahrbahn 160 projiziert werden soll.
In Block 430 kann sich das Auswählen des AR-Bildes 210 auf das Erzeugen des Bildes oder das Auswählen des Bildes aus vordefinierten Bildern beziehen. Die extrahierten Informationen über die Fahrbahngeometrie und die in Block 420 gewonnenen Informationen über das Objekt 320 können das Erzeugen oder Auswählen des AR-Bildes 210 beeinflussen. Befindet sich beispielsweise ein Objekt 320 (z. B. ein anderes Fahrzeug 100) direkt vor dem Fahrzeug 100, können die Dimensionen der Oberfläche der Fahrbahn 160, auf die das AR-Bild 210 projiziert wird, reduziert werden und somit die Größe des AR-Bildes 210, das erzeugt oder ausgewählt wird, einschränken.
In Block 440 wird eine Homographie verwendet, um das in Block 430 ausgewählte AR-Bild 210 auf eine korrekte Position eines Basisbildes 225 oder des HUD-Bereichs 130 zu projizieren. Eine Homographie setzt Pixelkoordinaten in zwei Bildern zueinander in Beziehung. Somit stehen zwei beliebige Bilder der gleichen ebenen Fläche durch eine Homographie zueinander in Beziehung. Insbesondere werden in Block 440 die Rotation und die Translation zwischen zwei Perspektiven - von denen eine senkrecht zu der Geländeebene P_G steht (d. h. aus der Vogelperspektive) und die andere entweder die Perspektive der Kamera, die das Basisbild 225 erzeugt, oder die Perspektive des Fahrers ist - bestimmt, wie weiter unten beschrieben wird. Der Vorgang in Block 440 erfordert die Gewinnung von Informationen aus Block 450, die aus der Überwachung des Auges 310 oder der Gewinnung eines Basisbildes 225 resultieren. Dann wird ein Punkt Q in der realen Welt auf den HUD-Bereich 130 projiziert oder ein Punkt Q in der realen Welt wird auf das Koordinatensystem der Kamera 120 projiziert, die das Basisbild 225 aufgenommen hat. Dieser Vorgang in Block 440 ist die Anpassung des AR-Bildes 210, die die relative Ausrichtung des Fahrzeugs 100 zur Fahrbahn 160 berücksichtigt und unter Bezugnahme auf 6 und 7 näher beschrieben wird. In Block 460 umfasst das Anzeigen des Gesamtbildes 230 das Projizieren des angepassten AR-Bildes 210 in den HUD-Bereich 130 oder das Bereitstellen des angepassten AR-Bildes 210 mit dem Basisbild 225 im Display 145 oder auf einem Bildschirm eines Gerätes 115.
5 zeigt Aspekte des Extrahierens der Fahrbahngeometrie in Block 420 ( 4) zur dynamischen Anpassung eines AR-Bildes in Block 440 gemäß einer oder mehrerer Ausgestaltungen. Das in Block 410 von einer der nach vorne gerichteten Kameras 120 aufgenommene Einzelbild 220 wird verwendet, um die Fahrspurlinien 150 in dem Bild 220 dreidimensional zu erkennen. Die dreidimensionale Fahrspurerkennung im Koordinatensystem der Kamera 120, mit der das Bild 220 aufgenommen wurde, ist bekannt und wird hier nicht näher erläutert. Das Verfahren ist gemäß einem Beispiel in der US-Anmeldung Nr. 16/807,735 beschrieben. Auf Grundlage des Gewinnens der dreidimensionalen Punkte, die den Fahrspurlinien 150 entsprechen, wird durch Interpolation ein dreidimensionaler Punkt $\vec{Q}$
(Q_x, Q_y, Q_z) auf der durch die Fahrspurlinien 150 definierten Fahrbahn 160 bestimmt (siehe z. B. 1). Insbesondere wird aus zwei Dimensionen des Punktes $\vec{Q} (Q_{x}, Q_{y})$
im Koordinatensystem der Kamera 120 durch Interpolation die dritte Dimension des Punktes $\vec{Q} (Q_{z})$
gewonnen, um die Steigung der Fahrbahn 160 zu berücksichtigen. Bei einem zweidimensionalen Punkt $\vec{Q}$
(z. B. einem Punkt auf der Fahrbahnoberfläche 160 zwischen den Fahrspurlinien 150) werden die nächstgelegenen Punkte in einer Fahrspurlinie 150 gesucht und ein gewichteter, interpolierter Höhenwert Q_z errechnet. Mit {P} als eine Menge der nächstgelegenen Punkte der Fahrspurlinien 150 bis zu $\vec{Q}$
in der X-Y-Ebene (in 5 gezeigt), ist die Steigung von $\vec{Q}$
gegeben durch: $Q_{z} = \sum_{\vec{p} \in P} (1 - d (\vec{p}, Q_{x}, Q_{y})) p_{z} / \sum_{\vec{p} \in P} (1 - d (\vec{p}, Q_{x}, Q_{y}))$
In Gleichung 1 ist, wie gezeigt, $\vec{p}$
ein Punkt in der Menge {P}, und die Funktion d gibt den euklidischen Abstand zwischen zwei Dimensionen des Punktes $\vec{p}$
und des Punktes $\vec{Q}$
an. Die Funktion d ist gegeben durch: $d (\vec{p}, Q_{x}, Q_{y}) = \sqrt{{(p_{x} - Q_{x})}^{2} + {(p_{y} - Q_{y})}^{2}}$
6 und 7 veranschaulichen die Faktoren, die bei der Anpassung des AR-Bildes 210 auf Grundlage der relativen Ausrichtung des Fahrzeugs 100 zur Fahrbahn 160 verwendet werden (unter der Annahme, dass das AR-Bild 210 auf die Fahrbahn 160 oder ein Basisbild 225 der Fahrbahn 160 projiziert wird). Insbesondere umfasst die Anpassung des AR-Bildes 210 das Projizieren eines Punktes $\vec{Q}$
in der realen Welt (d. h. auf der Fahrbahn 160) auf einen Punkt $\vec{q}$
in dem HUD-Bereich 130, wie in 6 gezeigt, oder auf einen Punkt $\vec{q}$
im Koordinatensystem der Kamera 120, die das Basisbild 225 aufnimmt, wie in 7 gezeigt. In 6 und 7 sind die Fahrspurlinien 150 gezeigt und sowohl die Geländeebene P_G als auch das Koordinatensystem $\vec{N_{G}}$
des Geländes (d. h. der Fahrbahn 160) sind durch einen Pfeil gezeigt, der als beispielhaftes angepasstes AR-Bild 210 projiziert ist. Auf der Geländeebene P_G ist ein beispielhafter Punkt $\vec{Q}$
gezeigt.
In 6 ist die Position $\vec{e}$
eines Auges 310 des Fahrers 330 in dem Fahrzeug 100 gezeigt, ebenso wie der HUD-Bereich 130. Die Ebene P_H des HUD-Bereichs und das Koordinatensystem $\vec{N_{H}}$
sind zusammen mit einem beispielhaften Punkt $\vec{q}$
in dem HUD-Bereich 130 gezeigt. Der Abstand von der Position $\vec{e}$
eines Auges 310 des Fahrers 330 zu dem Punkt $\vec{Q}$
ist ebenfalls mit $\vec{e Q}$
gezeigt. Die Rotation R und die Translation $\vec{t}$
des Punktes $\vec{Q}$
in der realen Welt (d. h. auf der Fahrbahn 160) ergeben einen entsprechenden Punkt $\vec{q}$
in dem HUD-Bereich 130. Insbesondere gilt: $\vec{q} = [\begin{matrix} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y} \\ 0 & 0 & 1 \end{matrix}] \cdot [R \vec{t}] \cdot \vec{Q}$
Bei Verwendung der Gleichung 3 zum Anpassen eines AR-Bildes 210, das in dem HUD-Bereich 130 angezeigt wird, ist fein ebener Abstand oder zweidimensionaler Abstand, der durch f_x und f_y zwischen der Ebene P_H des HUD-Bereichs und der Position $\vec{e}$
eines Auges 310 des Fahrers 330 gegeben ist, wie in 6 gezeigt. Außerdem ist c mit den Komponenten c_x und c_y der zweidimensionale Abstand zwischen dem Auge 310 und dem Mittelpunkt des HUD-Bereichs 130, wie ebenfalls in 6 gezeigt.
In 7 ist die Stelle $\vec{e}$
des Brennpunkts 120-fp der Kamera 120, die das Basisbild 225 aufnimmt, gezeigt. Gezeigt sind außerdem die Kameraebene Pc und das Koordinatensystem $\vec{N_{C}}$
sowie ein beispielhafter Punkt $\vec{q}$
im Koordinatensystem $\vec{N_{C}}$
der Kamera 120. Die Brennweite f mit den Komponenten f_x und f_y und der Hauptpunkt c mit den Komponenten c_x und c_y sind ebenfalls gezeigt. Mit Gleichung 3 können dann die Punkte $\vec{q}$
für das angepasste AR-Bild 210 im Koordinatensystem $\vec{N_{C}}$
der Kamera 120 bestimmt werden, um das AR-Bild 210 in den richtigen Teil des Basisbildes 225 einzufügen.
Der Vorgang des Anpassens des AR-Bildes 210 kann gemäß beispielhafter Ausgestaltungen effizienter gestaltet werden. Als ein Beispiel für die Effizienz kann der Vorgang in Block 420 vor dem Vorgang in Block 440 durchgeführt werden, wenn ein Bild 220 noch weiter vor dem Fahrzeug 100 aufgenommen wird. Insbesondere kann die folgende Vorberechnung durchgeführt werden: $A = [R \vec{t}] \cdot \vec{Q}$
A umfasst die geschätzte Rotation R und Translation $\vec{t}$
der Fahrbahn 160 in Bezug auf die Perspektive, von der aus das Basisbild 225 der Fahrbahn 160 aufgenommen wird (wenn sich das Fahrzeug 100 näher an dem durch das Bild 220 gewonnenen Bereich befindet) und aus der das AR-Bild 210 gezeigt werden soll, in dem beispielhaften Fall z. B. auf einem Display 145. Dann kann zum Zeitpunkt der Anzeige des AR-Bildes 210 bestätigt werden, ob die geschätzte Stellung A innerhalb eines vorgegebenen Schwellenwertes mit der Stellung vor dem Fahrzeug 100 übereinstimmt. Wenn ja, kann der zweite Teil der Berechnung wie folgt durchgeführt werden: $\vec{q} = [\begin{matrix} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y} \\ 0 & 0 & 1 \end{matrix}] \cdot A$
Auf diese Weise kann die Verzögerungszeit, die mit den Vorgängen des Verfahrens 400 verbunden ist, reduziert werden. 8 veranschaulicht eine weitere Effizienz, die allein oder in Kombination mit der Verwendung von GI. 4 und 5 in die Implementierung des in 4 gezeigten Verfahrens eingebracht werden kann.
8 veranschaulicht die Aufteilung einer Geländeebene P_G in Teilebenen 810 zur Verbesserung der Effizienz der Anpassung des AR-Bildes 210 gemäß einer oder mehrerer Ausgestaltungen. Wie 8 zeigt, umfasst die beispielhafte Geländeebene P_G drei Änderungen der Steigung, die zu den vier Teilebenen 810-1, 810-2, 810-3, 810-4 (allgemein als 810 bezeichnet) führen. In 8 sind drei Bereiche 820 als Übergangspunkte für die Teilebenen 810 gezeigt. Jeder dieser Bereiche 820 weist in der dreidimensionalen Darstellung der Fahrspurlinien 150, wie in Block 420 ermittelt, eine Krümmung oder Änderung des Steigungsgradienten auf, die einen Schwellenwert überschreitet. Durch die Verwendung der Teilebenen 810 anstelle der gesamten Geländeebene P_G wird in Block 440 eine kleine Menge von Homographien (eine für jede Teilebene 810) berechnet und zur Anpassung des AR-Bildes 210 verwendet. Daraus resultiert ein reduzierter Projektionsfehler und ein vertretbarer Rechenaufwand im Vergleich zu einer einzelnen Homographie für die gesamte Geländeebene P_G. Die Berechnung einer individuellen Projektion für jeden Punkt bei Verwendung der vollständigen Geländeebene P_G wäre zwar genau, ist aber rechnerisch nicht machbar.
Während die obige Offenbarung unter Bezugnahme auf beispielhafte Ausgestaltungen beschrieben wurde, ist es unter Fachleuten bekannt, dass verschiedene Änderungen vorgenommen und gleichwertige Elemente ersetzt werden können, ohne vom Anwendungsbereich abzuweichen. Darüber hinaus können viele Modifikationen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne vom wesentlichen Umfang der Offenbarung abzuweichen. Daher soll die vorliegende Offenbarung nicht auf die besonderen Ausgestaltungen beschränkt sein, sondern alle Ausgestaltungen umfassen, die in ihren Umfang fallen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 16807735 [0038]

Claims

System zum Anpassen eines Bildes mit erweiterter Realität (AR-Bild), wobei das System umfasst: eine nach vorne gerichtete Kamera in einem Fahrzeug, wobei die Kamera dazu ausgelegt ist, ein Bild aufzunehmen, das eine Fahrbahnoberfläche vor dem Fahrzeug umfasst, und einen Prozessor, der dazu ausgelegt ist, Fahrspurlinien der Fahrbahnoberfläche in drei Dimensionen zu erkennen und eine Interpolation zur Bestimmung einer Geländeebene der Fahrbahnoberfläche unter Verwendung der Fahrspurlinien durchzuführen, und um das AR-Bild zum Erhalten eines angepassten AR-Bildes so anzupassen, dass alle Punkte des angepassten AR-Bildes mit Punkten auf der Geländeebene übereinstimmen.
System nach Anspruch 1, wobei der Prozessor ferner dazu ausgelegt ist, ein Basisbild zu erhalten, das die Fahrbahnoberfläche zeigt, wobei der Prozessor ferner dazu ausgelegt ist, das angepasste AR-Bild zum Basisbild hinzuzufügen, um es einem Fahrer des Fahrzeugs anzuzeigen, wobei der Prozessor das Basisbild von der Kamera oder einer zweiten nach vorne gerichteten Kamera im Fahrzeug erhält.
System nach Anspruch 1, wobei der Prozessor ferner dazu ausgelegt ist, die Augenposition eines Fahrers des Fahrzeugs zu überwachen, der Prozessor ferner dazu ausgelegt ist, einen Bereich eines Head-up-Displays auf einer Windschutzscheibe des Fahrzeugs zu bestimmen, der der Augenposition des Fahrers entspricht, und der Prozessor ferner dazu ausgelegt ist, das angepasste AR-Bild in den Bereich des Head-up-Displays zu projizieren.
System nach Anspruch 1, wobei der Prozessor dazu ausgelegt ist, das AR-Bild auf Grundlage einer Rotation und einer Translation der Punkte auf der Geländeebene anzupassen.
Das System nach Anspruch 1, wobei der Prozessor ferner dazu ausgelegt ist, ein Objekt auf der Fahrbahnoberfläche direkt vor dem Fahrzeug aus dem Bild zu erkennen, und der Prozessor dazu ausgelegt ist, die Größe des angepassten AR-Bildes auf Grundlage der Fahrbahnoberfläche zwischen dem Fahrzeug und einer Position des Objekts auszuwählen oder zu erzeugen.
Verfahren zum Anpassen eines Bildes mit erweiterter Realität (AR-Bild), wobei das Verfahren umfasst: durch einen Prozessor Erhalten eines Bildes durch eine nach vorne gerichtete Kamera in einem Fahrzeug, wobei das Bild eine Fahrbahnoberfläche vor dem Fahrzeug umfasst, durch den Prozessor Erkennen von Fahrspurlinien der Fahrbahnoberfläche in drei Dimensionen, durch den Prozessor Ausführen einer Interpolation unter Verwendung der Fahrspurlinien, um eine Geländeebene der Fahrbahnoberfläche zu bestimmen, und durch den Prozessor Anpassen des AR-Bildes, um ein angepasstes AR-Bild zu erhalten, so dass alle Punkte des angepassten AR-Bildes mit Punkten auf der Geländeebene übereinstimmen.
Verfahren nach Anspruch 6, ferner umfassend das Erhalten eines Basisbildes durch den Prozessor, das die Fahrbahnoberfläche zeigt, und das Hinzufügen des angepassten AR-Bildes zu dem Basisbild durch den Prozessor, um es einem Fahrer des Fahrzeugs anzuzeigen, wobei das Aufnehmen des Basisbildes durch die Kamera oder eine zweite nach vorne gerichtete Kamera im Fahrzeug erfolgt.
Verfahren nach Anspruch 6, wobei der Prozessor ferner das Überwachen der Augenposition eines Fahrers des Fahrzeugs, das Bestimmen eines Bereichs des Head-up-Displays auf einer Windschutzscheibe des Fahrzeugs, der der Augenposition des Fahrers entspricht, und das Projizieren des angepassten AR-Bildes in den Bereich des Head-up-Displays umfasst.
Verfahren nach Anspruch 6, wobei das Anpassen des AR-Bildes auf einer Rotation und einer Translation der Punkte auf der Geländeebene beruht.
Verfahren nach Anspruch 6, ferner umfassend, dass der Prozessor ein Objekt auf der Fahrbahnoberfläche direkt vor dem Fahrzeug aus dem Bild erkennt und die Größe des angepassten AR-Bildes auf Grundlage der Fahrbahnoberfläche zwischen dem Fahrzeug und einer Position des Objekts auswählt oder erzeugt.