DE102016009667A1

DE102016009667A1 - Verfahren zur Positionsbestimmung eines virtuellen Obiektes in einer Anzeige mit erweiterter Realität in einem Fahrzeug

Info

Publication number: DE102016009667A1
Application number: DE102016009667.5A
Authority: DE
Inventors: Christian Gruenler; Tobias Tropper
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2016-08-09
Filing date: 2016-08-09
Publication date: 2017-04-06

Abstract

Die Erfindung betrifft ein Verfahren zur Positionsbestimmung eines virtuellen Objektes in einer Anzeige mit erweiterter Realität in einem Fahrzeug. Bei einem Verfahren, bei welchem Posensysteme auf Augmented Reality Systeme im Fahrzeuge angewendet werden, wird eine Ausrichtung einer reale Objekte aufzeichnenden, fest im Fahrzeug angeordneten Kamera im Verhältnis zum Schwerefeld der Erde geschätzt, indem eine Position und Orientierung des Fahrzeuges auf der Grundlage von, von fahrzeugeigenen Sensoren gelieferten Signalen ermittelt wird und daraus die Position des virtuellen Objektes abgeleitet wird.

Description

Die Erfindung betrifft ein Verfahren zur Positionsbestimmung eines virtuellen Objektes in einer Anzeige mit erweiterter Realität in einem Fahrzeug.
Bei einem Anzeigesystem, welches auf einer erweiterten Realität (Augmented Reality) beruht, wird eine Umgebung eines Fahrzeuges mit passenden virtuellen Informationen angereichert. Um dreidimensionale Inhalte anzeigen zu können, ist eine Posenbestimmung des Fahrzeuges Grundvoraussetzung. Unter der Posenbestimmung soll im Weiteren die Fahrzeugorientierung verstanden werden. Diese Fahrzeugorientierung besteht dabei aus einer Position (Längengrad, Breitengrad, Höhe) und einer Orientierung im dreidimensionalen Raum (Eulerwinkel). Solche Posenbestimmungen sind für Augmented Reality Anwendungen auf der Basis von Videobildern bekannt. Allerdings sind diese im Fahrzeug nicht einsetzbar, da eine Videoauswertung immer zu späte Ergebnisse liefert und keine Kartendaten mit den notwendigen Positionspunkten existieren.
Um die Fahrzeugorientierung zu erkennen, sind verschiedene Berechnungsmöglichkeiten auf der Grundlage von den unterschiedlichsten Datensystemen bekannt. So kann ein GNSS-System (Globales Navigationssatelliten-System) genutzt werden, welches unter anderem eine absolute Orientierung um die Gierachse des Fahrzeuges liefert. Das heißt, es gibt an, in welche Himmelsrichtung das Fahrzeug ausgerichtet ist. Allerdings genügt die zeitliche Auflösung nicht den Anforderungen eines Augmented Reality Systems. Darüber hinaus ist die Genauigkeit, insbesondere in scharfen Kurven, nicht ausreichend.
Im Weiteren ist der Einsatz eines Magnetometers möglich, um die absolute Orientierung des Fahrzeuges und die Gierachse feststellen zu können. Die Verwendung ferromagnetischer Bauteile im Magnetometer verursacht aber eine Verfälschung der Ausgangssignale des im Fahrzeug verbauten Magnetometers, weshalb nur unzuverlässige Ausgangssignale erhalten werden.
Die Verwendung eines Gyroskops liefert eine Winkelgeschwindigkeit, also eine Information wie schnell das Fahrzeug um eine Achse in einem bestimmten Zeitrahmen rotiert. Im Falle eines im Fahrzeug verbauten 3-Achsen-Gyroskops können somit Rotationen in x-, y-, und z-Richtung des Fahrzeuges in hoher zeitlicher und qualitativer Auflösung erkannt werden. Diese Gyroskopdaten treffen allerdings keinerlei Aussage über die aktuelle Ausrichtung des Fahrzeuges, sondern zeigen nur Änderungen auf. Infolge eines Sensorrauschens wird auch bei Stillstand des Fahrzeuges eine Winkelgeschwindigkeit ≠ 0 vom Gyroskop ausgegeben.
Eine weitere Alternative stellt ein Beschleunigungssensor dar, aus dessen Ausgangssignal sich nahe im absoluten Stillstand des Fahrzeuges aus der Erdbeschleunigung die absolute Orientierung entlang der Roll- und Nickachse des Fahrzeuges berechnen lässt. Im normalen Fahrbetrieb ist das Fahrzeug aber in der Regel Kräften ausgesetzt, die durch Beschleunigen, Bremsen oder Kurvenfahrt entstehen. Unter diesen Umständen ist die Erdbeschleunigung nicht mehr zu identifizieren, weshalb sich auch die Orientierung nicht mehr sinnvoll bestimmen lässt.
Aufgabe der Erfindung ist es, ein Verfahren zur Positionsbestimmung von virtuellen Objekten anzugeben, die in Anzeigesystemen mit einer erweiterten Realität in einem Fahrzeug anwendbar sind.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
Die Aufgabe ist mit einem Verfahren dadurch gelöst, dass eine Ausrichtung einer reale Objekte aufzeichnenden, fest im Fahrzeug angeordneten Kamera im Verhältnis zum Schwerefeld der Erde geschätzt wird, indem eine Position und Orientierung des Fahrzeuges auf der Grundlage von, von fahrzeugeigenen Sensoren gelieferten Signalen ermittelt wird und daraus die Position des virtuellen Objektes abgeleitet wird. Die Verwendung von fahrzeugeigenen Sensorsignalen, insbesondere die Kombination derer Ausgangssignale, ermöglichen die Nutzung der Vorteile jedes einzelnen Fahrzeugsensors und die Minimierung der Nachteile, so dass die Kombination der Vorteile zu einer zuverlässigen Schätzung der Fahrzeugorientierung führt und daraus resultierend die Positionierung der in der Erweiterten Realität anzuzeigenden virtuellen Objekte erfolgt. Mit der Ausrichtung des Fahrzeuges wird ein Roll-, Nick- und Gierwinkel zur Beschreibung der Orientierung des Fahrzeuges und somit der Kamera im dreidimensionalen Raum auf der Basis der Ausgangssignale von Fahrzeugsensoren, wie beispielsweise Radsensor, Lenkwinkelsensor oder Gyroskop bestimmt.
Vorteilhafterweise wird eine Eigenbeschleunigung des Fahrzeuges mittels eines fahrzeugeigenen 3D-Beschleunigungssensors ermittelt, von welcher eine gemessene Fahrzeugbeschleunigung abgezogen wird, wobei aus dem Ergebnis die Erdbeschleunigung ermittelt wird. Mittels des 3D-Beschleunigungssensors werden reale Kräfte, die im Fahrzeug wirken, bestimmt, die anschließend bewertet werden.
In einer Variante wird bei einer starken Beschleunigung und/oder Lenkung und/oder Änderung einer Bewegungsrichtung des Fahrzeuges die Schätzung vorwiegend in Abhängigkeit der Ausgangssignale des Gyroskops durchgeführt, da das Gyroskop sehr empfindlich auf die Änderungen der Fahrzeugorientierung reagiert.
In einer Alternative erfolgt bei geringen Beschleunigungskräften, insbesondere im Stillstand des Fahrzeuges, die Schätzung in Abhängigkeit von einem Fahrzeugmodell und/oder Ausgangssignalen eines fahrzeugeigenen Beschleunigungssensors. Dies ist möglich, da nur geringe Kräfte auf das Fahrzeug wirken und somit eine mehrdimensionale Auswertung die Anzeige der virtuellen Objekte in der erweiterten Realität nur unwesentlich verfälscht. Auf das Gyroskop kann in diesem Fall zur Schätzung der Fahrzeugorientierung verzichtet werden. Es besteht aber die Möglichkeit das Gyroskop im Stillstand des Fahrzeuges zu kalibrieren.
In einer Ausführungsform werden zur Kalibrierung die vom fahrzeugeigenen Gyroskop gelieferten Daten kontinuierlich in einem Tiefpassfilter als Offset verfeinert und von den tatsächlich gelieferten Daten abgezogen. Somit wird für die Weiterverarbeitung zur Schätzung der Fahrzeugorientierung ein zuverlässiges Signal bereitgestellt.
In einer Weiterbildung liegt der Schätzung der Fahrzeugorientierung die Gierrate des Fahrzeuges zugrunde, welche mittels Signalen eines globalen Navigationssatellitensystems bestimmt wird. Dabei wird der Vorteil eines solchen Satellitennavigationssystems genutzt, welches die absolute Orientierung um die Gierachse angibt.
In einer Weiterbildung liegt der Schätzung ein Roll- und Nickwinkel des Fahrzeuges zugrunde, der aus Ausgangssignalen des Gyroskops bestimmt wird. Dies erfolgt insbesondere immer dann, je höher die Gierrate des Fahrzeuges ist, da das Gyroskop sowohl die Gier- als auch den Roll- und den Nickwinkel des Fahrzeuges misst.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der – gegebenenfalls unter Bezug auf die Zeichnung – zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein.
In Fahrzeugen ist es zunehmend üblich, Anzeigesysteme anzuwenden, die auf einer erweiterten Realität (Augmented Reality) beruhen. Bei solchen Systemen werden von einer Fahrzeugkamera aufgenommene Informationen über die Umgebung, welche als reale Objekte im Fahrzeug angezeigt werden, durch virtuelle Objekte in Form einer erweiterten Realität überlagert. Zur Überlagerung dieser virtuellen Objekte der erweiterten Realität ist im Fahrzeug ein Headup-Display angeordnet, wobei die virtuellen Objekte den realen Objekten so überlagert werden, dass für einen Betrachter der Eindruck entsteht, dass das virtuelle Objekt vor das Fahrzeug projektiert ist. Die Projektion erfolgt dabei typischerweise in der Art, dass das virtuelle Bild in einer festen Entfernung von dem Fahrzeug steht. Bei der Überlagerung in Form von einer erweiterten Realität wird die reale Umgebung um virtuelle Objekte erweitert, so dass die virtuellen Objekte lagerichtig zu realen Objekten verortet und angeordnet sind. Dadurch entsteht für den Betrachter der Anschein als seien die virtuellen Objekte Bestandteil der realen Umgebung. Ein Beispiel einer solchen Anwendung stellt eine lagerichtige Verortung und Anordnung von sogenannten Points of Interest (kurz POI bezeichnet) dar.
Um die Realität mit richtungsanalogen oder positionsgenauen virtuellen Inhalten erweitern zu können, ist eine möglichst genaue Bestimmung der Fahrzeugorientierung Voraussetzung. Neben der absoluten Position eines Fahrzeuges und somit auch des als Head-up-Display ausgebildeten Anzeigegerätes ist ebenso deren Orientierung im dreidimensionalen Raum wichtig. Diese Orientierung im dreidimensionalen Raum wird als Pose bezeichnet. Stimmt die gemessene Pose nicht mit der tatsächlichen Pose überein, werden die virtuellen Informationen an falscher Stelle angezeigt. Insbesondere für eine kontaktanaloge Erweiterung der Realität ist eine möglichst hohe Genauigkeit der Orientierung des Fahrzeuges wünschenswert. Während eine leicht abweichende Position in den meisten Anwendungsfällen weniger deutlich wird, kann ein Winkelfehler selbst von nur 1 Grad bewirken, dass das virtuelle Objekt in der Entfernung mehrere Meter von seiner eigentlichen Position dargestellt wird.
Um die genaue Position des Fahrzeuges und somit auch eine genaue Position des fest im Fahrzeug verbauten Anzeigegerätes zu ermitteln, muss eine möglichst genaue Fahrzeugorientierung erhalten werden. Dies wird erreicht, indem eine Ausrichtung einer Kamera, die im Fahrzeug angeordnet ist und die reale Umgebung des Fahrzeuges aufnimmt, hinsichtlich eines Roll-, Nick- und Gierwinkels im Verhältnis zum Schwerefeld der Erde geschätzt wird. Um eine solche Schätzung durchzuführen, wird auf Basis von im Fahrzeug vorhandenen Sensoren, wie beispielsweise Radsensor, Lenkwinkelsensor, Gyroskop, eine Positionsbestimmung des Fahrzeuges und somit auch des Anzeigegerätes durchgeführt und daraus eine resultierende Eigenbeschleunigung des Fahrzeuges ermittelt. Dies ist möglich, da das Anzeigegerät fest mit dem Fahrzeug verbunden ist und seine Orientierung immer dann ändert, wenn dies das Fahrzeug tut.
Mithilfe eines im Fahrzeug fest verbauten 3D-Beschleunigungssensors werden reale Kräfte im Fahrzeug ermittelt. Da diese die Überlagerung von Erd- und Fahrzeugbeschleunigung beinhalten, kann durch Subtraktion der gemessenen Fahrzeugbeschleunigung die Erdbeschleunigung berechnet werden, wodurch der Einfluss der Fahrzeugbeschleunigung auf die Fahrzeugorientierung kompensiert wird. Gleichzeitig wird die so ermittelte Erdbeschleunigung genutzt, um die Rotation des Fahrzeugs zu berechnen.
Insbesondere bei einer dynamischen Fahrt des Fahrzeuges ist die aus der Erdbeschleunigung berechnete Rotation des Fahrzeuges nicht präzise genug, um den Anforderungen für die erweiterte Realität (Augmented Reality) gerecht zu werden. Daher wird in diesen Fällen die Rotation nur als Stütze verwendet, während das Gyroskop für feine, schnelle Rotationen angewendet wird.
Je geringer die Beschleunigungskräfte sind, umso weniger muss auf die Signale des Gyroskops zurückgegriffen werden. Die Schätzung der Fahrzeugorientierung erfolgt dabei unter Bezugnahme auf das Fahrzeugmodell und die Ausgangssignale eines Beschleunigungsmessers. Um den Drift des Gyroskops zu minimieren, werden bei erkanntem Stillstand des Fahrzeugs die von dem Gyroskop gelieferten Ausgangssignale kontinuierlich in einem Tiefpassfilter als Offset verfeinert und von den ursprünglich ermittelten Ausgangssignalen des Gyroskops abgezogen. In diesem Fall besteht die Möglichkeit, das Gyroskop nachzukalibrieren.
Je stärker allerdings das Fahrzeug lenkt, beschleunigt und seine Bewegungsrichtung ändert, desto mehr muss bei der Schätzung der Fahrzeugorientierung auf die Ausgangssignale des Gyroskops zurückgegriffen werden. In diesen Fällen wird die Schätzung der Kräfte aus dem Fahrzeugmodell ungenauer. Somit werden in Abhängigkeit der Beschleunigungskräfte die zur Schätzung der Fahrzeugorientierung notwendigen Daten gewichtet.
Um den Gierwinkel des Fahrzeuges zu bestimmen, wird das Heading aus einem GNSS-System (Globales Navigationssatellitensystem) als Stütze verwendet, während analog zur Berechnung des Roll- und Nickwinkels Ausgangssignale des Gyroskops für den hochfrequenten Anteil genutzt werden. Der Einfluss des GNSS-Systems ergibt sich dabei aus der Empfangsqualität des GNSS-Systems sowie der Gierrate des Gyroskops. Dabei kann davon ausgegangen werden, dass je höher die Gierrate ist, desto geringer ist der Einfluss des GNSS-Systems.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.

Claims

Verfahren zur Positionsbestimmung eines virtuellen Objektes in einer Anzeige mit erweiterter Realität in einem Fahrzeug, dadurch gekennzeichnet, dass eine Ausrichtung einer reale Objekte aufzeichnenden, fest im Fahrzeug angeordneten Kamera im Verhältnis zum Schwerefeld der Erde geschätzt wird, indem eine Position und Orientierung des Fahrzeuges auf der Grundlage von, von fahrzeugeigenen Sensoren gelieferten Signalen ermittelt wird und daraus die Position des virtuellen Objektes abgeleitet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Eigenbeschleunigung des Fahrzeuges mittels eines fahrzeugeigenen 3D-Beschleunigungssensors ermittelt wird, von welcher eine gemessene Fahrzeugbeschleunigung abgezogen wird, wobei in dessen Ergebnis die Erdbeschleunigung ermittelt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei einer starken Beschleunigung und/oder Lenkung und/oder Änderung einer Bewegungsrichtung des Fahrzeuges die Schätzung vorwiegend in Abhängigkeit der Ausgangssignale des Gyroskops erfolgt.
Verfahren nach Anspruch 1 oder 2 dadurch gekennzeichnet, dass bei geringen Beschleunigungskräften die Schätzung in Abhängigkeit von einem Fahrzeugmodell und/oder Ausgangssignalen eines fahrzeugeigenen Beschleunigungssensors erfolgt.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei geringen Beschleunigungskräften, vorzugsweise im Stillstand des Fahrzeuges, das Gyroskop kalibriert wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zur Kalibrierung die vom fahrzeugeigenen Gyroskop gelieferten Daten kontinuierlich in einem Tiefpassfilter als Offset verfeinert werden und von den tatsächlich gelieferten Daten abgezogen werden.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schätzung eine Gierrate des Fahrzeuges zugrunde liegt, welche mittels Signalen eines globalen Navigationssatellitensystems bestimmt wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schätzung ein Roll- und/oder Nickwinkel des Fahrzeuges zugrunde liegt, die aus Ausgangssignalen des Gyroskops bestimmt werden.
Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass je höher eine Gierrate des Fahrzeuges ist, die Schätzung auf der Grundlage des Roll- und Nickwinkels des Fahrzeuges ausgeführt wird.