-
Die vorliegende Erfindung betrifft ein System und ein Verfahren zur robusten Durchführung von Augmented Reality (AR) - Anwendungen am Fahrzeug.
-
Die Nutzung von AR-Anwendungen mit Bezug auf Fahrzeuge ist bekannt. So ist es bekannt, AR-Inhalte mit Bezug auf die Umgebung des Fahrzeugs an Fahrzeugscheiben im Innenraum einzublenden. Darüber hinaus ist es bekannt, mittels AR-Anwendungen Fahrzeuge in verschiedenen Konfigurationsvarianten zu visualisieren, beispielsweise um potentiellen Kunden die Konfiguration eines Neufahrzeugs zu erleichtern. Problematisch bei AR-Anwendungen am Fahrzeug ist die korrekte Initialisierung und Darstellung dieser. Beispielsweise sind beim Kantenabgleich gute Lichtverhältnisse Voraussetzung für eine korrekte Initialisierung, so dass die Darstellung durch schlechte Umweltbedingungen (z.B. schlechte Witterungsverhältnisse) erschwert werden kann.
-
Die Aufgabe der Erfindung besteht darin, eine Lösung bereitzustellen, die eine robuste kontaktanaloge Darstellung von AR-Inhalten an Fahrzeugen ermöglicht.
-
Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
-
Die vorstehend genannte Aufgabe wird durch ein System zur robusten Darstellung von Augmented Reality, AR, -Anwendungen an einem Fahrzeug gelöst, umfassend:
- ein mobiles Endgerät das eingerichtet ist, eine AR-Anwendung am Fahrzeug auszuführen, wobei die AR-Anwendung eine Darstellung von AR-Inhalten am Fahrzeug mithilfe eines dreidimensionalen Gitternetzes umfasst;
- wobei das mobile Endgerät umfasst:
- - zumindest einen Sensor, der eingerichtet ist, physikalische Sensordaten mit Bezug auf eine Position des mobilen Endgeräts zu erfassen;
- - eine Erfassungseinheit die eingerichtet ist, einen vordefinierbaren Fixpunkt am Fahrzeug zu erfassen; und
- - eine Recheneinheit die Eingerichtet ist, die physikalischen Sensordaten und den erfassten Fixpunkt auszuwerten und die AR-Inhalte kontaktanalog am Fahrzeug darzustellen.
-
Der Begriff Fahrzeug umfasst im Rahmen des Dokuments mobile Verkehrsmittel, die dem Transport von Personen (Personenverkehr), Gütern (Güterverkehr) oder Werkzeugen (Maschinen oder Hilfsmittel) dienen. Insbesondere umfasst der Begriff Fahrzeug Kraftfahrzeuge sowie Kraftfahrzeuge, die zumindest teilweise elektrisch angetrieben sein können (Elektroauto, Hybridfahrzeuge) sowie automatisiert fahrende Fahrzeuge. Der Begriff „automatisiertes fahrendes Fahrzeug“ bzw. „automatisiertes Fahren“ umfasst im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann.
-
Das Fahrzeug kann ein Kommunikationsmodul zum Aufbau einer Kommunikationsverbindung mit anderen Kommunikationsteilnehmern, z.B. anderen Fahrzeugen, einem Server, einem mobilen Endgerät etc., umfassen. Die KommunikationsverDinaung kann zur Uatenubertragung verwendet werden. Das Kommunikationsmodul kann ein Teilnehmeridentitätsmodul bzw. ein Subscriber Identity Module bzw. eine SIM-Karte (nicht gezeigt) umfassen, welche(s) dazu dient, eine Kommunikationsverbindung über ein Mobilfunksystem bzw. das Mobilfunknetz aufzubauen. Das Teilnehmeridentitätsmodul identifiziert dabei das Kommunikationsmodul eindeutig im Mobilfunknetz. Bei der Kommunikationsverbindung kann es sich um eine Datenverbindung (z.B. Paketvermittlung) und/oder um eine leitungsgebundene Kommunikationsverbindung (z.B. Leitungsvermittlung) handeln. Auch eine drahtlose Kommunikationsverbindung über weitere gängige und künftige Technologien, z.B. lokale Netzwerke bzw. Local Area Networks (LANs) wie z.B. Wireless LANs etc. kann über das Kommunikationsmodul mit anderen Kommunikationsteilnehmern aufgebaut werden.
-
Der Begriff mobiles Endgerät umfasst im Rahmen des Dokuments ein Gerät, welches in der Lage ist, in einem mobilen Netzwerk über lokale Netzwerke bzw. Local Area Networks (LANs), wie z.B. Wireless LAN (WiFi/WLAN), oder über Weitverkehrsnetze bzw. Wide Area Networks (WANs) wie z.B. Global System for Mobile Communication (GSM), General Package Radio Service (GPRS), Enhanced Data Rates for Global Evolution (EDGE), Universal Mobile Telecommunications System (UMTS), High Speed Downlink/Uplink Packet Access (HSDPA, HSUPA), Long-Term Evolution (LTE), oder World Wide Interoperability for Microwave Access (WIMAX) drahtlos zu kommunizieren. Eine Kommunikation über weitere gängige oder künftige Kommunikationstechnologien, z.B. 5G-Mobildunksysteme, ist möglich. Der Begriff mobiles Endgerät umfasst insbesondere Smartphones, aber auch smarte AR-Brillen andere mobile Telefone bzw. Handys, Personal Digital Assistants (PDAs), Tablet PCs, Notebooks, Smart Watches sowie alle gängigen sowie künftigen elektronischen Geräte, welche mit einer Technologie zum Laden und Ausführen von Anwendungen bzw. Applikationen bzw. Apps ausgestattet sind.
-
Der Begriff Augmented Reality (AR) bzw. erweiterte Realität umfasst im Rahmen des Dokuments eine computergestützte Erweiterung der Realitäts-Wahrnehmung. Diese umfasst insbesondere die visuelle Darstellung von Informationen als Ergänzung von Bildern, Videos, etc. mit computergenerierten Zusatzinformationen und/oder virtuellen Objekten mittels Einblendung bzw. Überlagerung. Der Begriff AR-Anwendung umfasst im Rahmen des Dokuments eine Anwendung, die von einem mobilen Endgerät geladen und ausgeführt werden kann und die Realität um AR bzw. AR-Inhalte erweitert.
-
Das System umfasst ein mobiles Endgerät, das eingerichtet ist, eine AR-Anwendung am Fahrzeug bzw. mit Bezug auf ein zu laden und auszuführen. Diese AR-Anwendung umfasst eine Darstellung von AR-Inhalten am Fahrzeug mithilfe eines dreidimensionalen Gitternetzes.
-
Ein dreidimensionales (3D) Gitternetz bzw. 3D-Grid bzw. 3D-Mesh ist ein 3D-Modell eines Objekts (in diesem Fall des Fahrzeugs), welches die Kanten des Objekts definiert.
-
Das mobile Endgerät umfasst zumindest einen Sensor, der eingerichtet ist, physikalische Sensordaten mit Bezug auf eine Position des mobilen Endgeräts zu erfassen.
-
Der zumindest eine Sensor kann ein oder mehrere der folgenden Sensoren umfassen:
- - Gyroskop bzw. Gyroskopsensor bzw. Lagesensor, der eingerichtet ist, die Lage des mobilen Endgeräts zu ermitteln; und/oder
- - Bewegungssensor, der eingerichtet ist, als physikalische Daten die Beschleunigung des mobilen Endgeräts entlang der X-Achse, Y-Achse und Z-Achse zu ermitteln. Dadurch kann die Lage bzw. können Lageänderungen des mobilen Endgeräts ermittelt werden.
-
Die Kombination der physikalischen Daten des Bewegungssensors mit den physikalischen Daten des Gyroskops kann die Ermittlung der Lage des mobilen Endgeräts ermöglichen.
-
Das mobile Endgerät umfasst zudem eine Erfassungseinheit, die eingerichtet ist, einen vordefinierbaren Fixpunkt am Fahrzeug zu erfassen.
-
Der vordefinierbare bzw. vordefinierte Fixpunkt am Fahrzeug kann beispielsweise ein Emblem Hersteller-Emblem bzw. Hersteller-Logo, das am Fahrzeug angebracht ist, umfassen.
-
Die Erfassungseinheit kann beispielsweise eine Kamera umfassen. Mithilfe der Kamera kann der vordefinierbare Fixpunkt am Fahrzeug erfasst werden.
-
Das mobile Endgerät umfasst zudem eine Recheneinheit die Eingerichtet ist, die von dem zumindest einen Sensor erfassten physikalischen Sensordaten und den erfassten Fixpunkt am Fahrzeug auszuwerten und die AR-Inhalte kontaktanalog am Fahrzeug darzustellen.
-
Vorteilhafter Weise erlaubt die Erfassung des vordefinierbaren bzw. vordefinierten Fixpunkts am Fahrzeug die Ermittlung der relativen Position des Fahrzeugs mit Bezug auf das mobile Endgerät. Somit kann bei der Erstellung des 3D-Gitternetzes zur Initialisierung der AR-Anwendung auf einen rechenaufwändigen, durch Umwelteinflüsse beeinträchtigte visuelle Erfassung des Fahrzeugs durch das mobile Endgerät (z.B. Lichtverhältnisse, schlechtes Wetter bzw. schlechte Witterungsverhältnisse, schlechte Kontrastverhältnisse, etc.) erschwerten bzw. ungenauen Kantenabgleich verzichtet werden. Insbesondere verringert sich der Abstand des mobilen Endgeräts zum Fahrzeug bei der Erfassung des vordefinierbaren bzw. vordefinierten Fixpunkts am Fahrzeug (ähnlicher Abstand wie bei der Erfassung eines QR-Codes durch ein mobiles Endgerät), wodurch eine höhere Genauigkeit erzielt wird. Zudem ist bei dieser Vorgehensweise nur eine initiale Erkennung zur Erstellung des 3D-Gitternetzes erforderlich, wohingegen beim Kantenabgleich sequentiell bzw. kontinuierlich im Hintergrund die Erstellung des 3D-Gitternetzes erfolgt. Dadurch erhöht sich die Genauigkeit des durch die beschriebene Methode generierten 3D-Gitternetzes. Darüber hinaus kann das mobile Endgerät eine Beleuchtungseinheit (z.B. die aus dem Stand der Technik bekannte Taschenlampenfunktion eines Smartphones) umfassen. Diese kann verwendet werden, um den vordefinierbaren bzw. vordefinierten Fixpunkt am Fahrzeug bei schlechten Sicht- bzw. Witterungsverhältnissen zu beleuchten. Dies ist beim Kantenabgleich, der die Erfassung eines großen Bereichs des Fahrzeugs zur Generierung des 3D-Gitternetzes benötigt, nicht anwendbar, da die Leuchtkraft der Beleuchtungseinheit des mobilen Endgeräts dazu nicht ausreicht.
-
Gleichzeitig kann mithilfe einer kontinuierlichen Erfassung der physikalischen Sensordaten die relative Position des mobilen Endgeräts zum Fahrzeug erfasst werden, wodurch zu jedem Zeitpunkt und mit jeder Bewegung des mobilen Endgeräts mit Bezug auf das Fahrzeug eine kontaktanaloge Darstellung der AR-Inhalte am Fahrzeug sichergestellt werden kann.
-
Vorzugsweise umfasst das mobile Endgerät eine Ein- und Ausgabeeinheit die eingerichtet ist, eine Nutzereingabe zu empfangen;
wobei die Recheneinheit eingerichtet ist, die AR-Inhalte um die Nutzereingabe zu erweitern.
-
Die AR-Anwendung kann eingerichtet sein, über eine Ein- und Ausgabeeinheit eine Nutzereingabe des Nutzers des mobilen Endgeräts zu empfangen. Die Recheneinheit des mobilen Endgeräts ist eingerichtet, die AR-Inhalte der AR-Anwendung um die Nutzereingabe zu erweitern.
-
Vorteilhafter Weise kann somit eine flexible Erweiterung der AR-Anwendung um nutzerbezogene AR-Inhalte realisiert werden.
-
Vorzugsweise umfasst das Auswerten der physikalischen Sensordaten und des vordefinierbaren Fixpunkts zur kontaktanalogen Darstellung der AR-Inhalte am Fahrzeug:
- - Ermitteln einer exakten relativen Position des mobilen Endgeräts zum vordefinierbaren Fixpunkt;
- - Ermitteln einer exakten relativen Position des Fahrzeugs zum mobilen Endgerät;
- - Initialisieren des dreidimensionalen Gitternetzes zur Darstellung der AR-Inhalte am Fahrzeug; und
- - kontaktanaloges Darstellen der AR-Inhalte durch Simultaneous Localization and Mapping, SLAM.
-
Das Auswerten der physikalischen Sensordaten und des vordefinierbaren bzw. vordefinierten Fixpunkts zur kontaktanalogen Darstellung der AR-Inhalte am Fahrzeug umfasst das Ermitteln der exakten relativen Position des mobilen Endgeräts zum Fahrzeug. Dies kann durch Ermitteln der Koordinaten-Daten des mobilen Endgeräts aus den erfassten physikalischen Sensordaten mit Bezug auf den vordefinierbaren Fixpunkts am Fahrzeug erfolgen.
-
Darüber hinaus umfasst das Auswerten das Ermitteln einer exakten relativen Position des Fahrzeugs zum mobilen Endgerät. Dies kann durch erfassen der Koordinaten-Daten des mobilen Endgeräts mit Bezug auf den vordefinierbaren Fixpunkt erfolgen. Die Koordinaten-Daten des Fahrzeugs können beispielsweise lokal am mobilen Endgerät hinterlegt sein. In einem anderen Beispiel können die Koordinaten-Daten des Fahrzeugs über die Kommunikationseinheit an das mobile Endgerät übermittelt werden. In einem weiteren Beispiel können die Koordinaten-Daten des Fahrzeugs vom mobilen Endgerät von einem geeigneten Server abgerufen werden. Aus diesen Größen kann die relative Position des mobilen Endgeräts zum Fahrzeug durch die Recheneinheit des mobilen Endgeräts ermittelt werden.
-
Die Ermittlung der exakten relativen Positionen des mobilen Endgeräts und des Fahrzeugs zueinander ermöglicht die Initialisierung des dreidimensionalen Gitternetzes zur Darstellung der AR-Inhalte der AR-Anwendung am Fahrzeug, ohne dass es einen rechenintensiven und durch die beim Kantenabgleich bekannten, vorgenannten Nachteile gegenüber der in diesem Dokument beschriebenen Vorgehensweise am Fahrzeug erfordert.
-
Durch Anwendung von SLAM können mithilfe der physikalischen Sensordaten die AR-Inhalte der AR-Anwendung in der Folge kontaktanalog dargestellt werden.
-
Vorzugsweise umfassen die AR-Inhalte:
- - vorhandene Schäden am Fahrzeug; und/oder
- - Betriebsanleitung für das Fahrzeug; und/oder
- - Zubehör für das Fahrzeug; und/oder
- - Reparaturen am Fahrzeug; und/oder
- - Informationsinhalte am Fahrzeug.
-
Gemäß einem zweiten Aspekt wird die zugrundeliegende Aufgabe durch ein Verfahren zur robusten Darstellung von Augmented Reality, AR, - Anwendungen an einem Fahrzeug gelöst, umfassend:
- Ausführen, mittels einer mobilen Endgeräts, einer AR-Anwendung am Fahrzeug, wobei die AR-Anwendung eine Darstellung von AR-Inhalten am Fahrzeug mithilfe eines dreidimensionalen Gitternetzes umfasst;
- wobei das Ausführen der AR-Anwendung am Fahrzeug umfasst:
- - Erfassen, über zumindest einen Sensor, physikalischer Sensordaten mit Bezug auf eine Position des mobilen Endgeräts;
- - Erfassen, über eine Erfassungseinheit, eines vordefinierbaren Fixpunkts am Fahrzeug; und
- kontaktanaloges Darstellen, über eine Recheneinheit, der AR-Inhalte am Fahrzeug nach Auswerten der physikalischen Sensordaten und dem erfassten Fixpunkt durch die Recheneinheit.
-
Vorzugsweise umfasst das Verfahren zudem:
- Empfangen, über eine Ein- und Ausgabeeinheit am mobilen Endgerät, einer Nutzereingabe; und
- Erweitern der AR-Inhalte um die Nutzereingabe.
-
Vorzugsweise umfasst das Auswerten der physikalischen Sensordaten und dem vordefinierbaren Fixpunkt zur kontaktanalogen Darstellung der AR-Inhalte am Fahrzeug:
- - Ermitteln einer exakten relativen Position des mobilen Endgeräts vordefinierbaren Fixpunkt;
- - Ermitteln einer exakten relativen Position des Fahrzeugs zum mobilen Endgerät;
- - Initialisieren des dreidimensionalen Gitternetzes zur Darstellung der AR-Inhalte am Fahrzeug; und
- - kontaktanaloges Darstellen der AR-Inhalte durch Simultaneous Localization and Mapping, SLAM.
-
Vorzugsweise umfassen die AR-Inhalte:
- - vorhandene Schäden am Fahrzeug; und/oder
- - Betriebsanleitung für das Fahrzeug; und/oder
- - Zubehör für das Fahrzeug; und/oder
- - Reparaturen am Fahrzeug; und/oder
- - Informationsinhalte am Fahrzeug.
-
Diese und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus dem Studium der folgenden detaillierten Beschreibung bevorzugter Ausführungsformen und der beiliegenden Figuren verdeutlicht. Es ist ersichtlich, dass - obwohl Ausführungsformen separat beschrieben werden - einzelne Merkmale daraus zu zusätzlichen Ausführungsformen kombiniert werden können.
- 1 zeigt ein schematisches System zur robusten Darstellung von Augmented Reality, AR, - Anwendungen an einem Fahrzeug;
- 2 zeigt ein beispielhaftes Verfahren zur robusten Darstellung von AR - Anwendungen an einem Fahrzeug;
- 3A zeigt beispielhaft ein mobiles Endgerät, bei dem eine AR-Anwendung an einem vordefinierten Fixpunkt am Fahrzeug initialisiert wird;
- 3B zeigt ein beispielhaftes dreidimensionales Gitternetz, mit dessen Hilfe AR-Inhalte am Fahrzeug dargestellt werden;
- 4 zeigt schematisch eine Initialisierung der AR-Anwendung am Fahrzeug;
- 5 zeigt eine beispielhafte Darstellung von AR-Inhalten am Fahrzeug.
-
1 zeigt schematisch ein beispielhaftes System 100 zur robusten Darstellung von Augmented Reality, AR, -Anwendungen an einem Fahrzeug 110.
-
Das Fahrzeug 110 kann ein Kommunikationsmodul 112 zum Aufbau einer Kommunikationsverbindung mit anderen Kommunikationsteilnehmern, z.B. anderen Fahrzeugen, einem Server, einem mobilen Endgerät 120 etc., umfassen.
-
Das System 100 umfasst ein mobiles Endgerät 120 das eingerichtet ist, eine AR-Anwendung am Fahrzeug 110 auszuführen. Die AR-Anwendung umfasst eine Darstellung von AR-Inhalten 510, 520 am Fahrzeug 110 mithilfe eines dreidimensionalen Gitternetzes 320. Das dreidimensionale (3D) Gitternetz bzw. 3D-Grid bzw. 3D-Mesh 320 ist ein 3D-Modell eines Objekts bzw. des Fahrzeugs 110, welches die Kanten des Objekts bzw. des Fahrzeugs 110 definiert.
-
Die AR-Inhalte 510, 520 können vorhandene Schäden am Fahrzeug 110 umfassen, wie weiter unten mit Bezug auf 5 erläutert.
-
Darüber hinaus oder alternativ dazu können die AR-Inhalte 510, 520 eine Betriebsanleitung bzw. Betriebsanleitungsinformationen für das Fahrzeug 110 umfassen.
-
Darüber hinaus oder alternativ dazu können die AR-Inhalte 510, 520 Zubehör für das Fahrzeug 110 umfassen. Beispielsweise können verschiedene Zubehör-Objekte wie z.B. neue Felgen, getönte Scheiben etc. angezeigt werden.
-
Darüber hinaus oder alternativ dazu können die AR-Inhalte 510, 520 Reparaturen am Fahrzeug 110 umfassen. Beispielsweise können dem Nutzer des Fahrzeugs 110 die Stellen am Fahrzeug 110 markiert bzw. angezeigt werden, an denen eine Reparatur durchgeführt werden soll.
-
Darüber hinaus oder alternativ dazu können die AR-Inhalte 510, 520 weitere Informationsinhalte am Fahrzeug 110 umfassen.
-
Das mobile Endgerät 120 umfasst zumindest einen Sensor 122 A ... 122 N. Der zumindest eine Sensor 122 A ... 122 N ist eingerichtet, physikalische Sensordaten mit Bezug auf eine Position des mobilen Endgeräts 120 zu erfassen.
-
Der zumindest eine Sensor 122 A ... 122 N kann ein oder mehrere der folgenden Sensoren 122 A ... 122 N umfassen:
- - Gyroskop bzw. Gyroskopsensor bzw. Lagesensor, der eingerichtet ist, als physikalische Sensordaten die Lage des mobilen Endgeräts 120 zu ermitteln; und/oder
- - Bewegungssensor, der eingerichtet ist, als physikalische Sensordaten die Beschleunigung des mobilen Endgeräts 120 entlang der X-Achse, Y-Achse und Z-Achse zu ermitteln. Dadurch kann die Lage bzw. können Lageänderungen des mobilen Endgeräts 120 ermittelt werden.
-
Die Kombination bzw. die Auswertung der physikalischen Sensordaten des Bewegungssensors mit den physikalischen Sensordaten des Gyroskops ermöglicht die kontinuierliche, exakte Ermittlung der Koordinaten-Daten 410 des mobilen Endgeräts 120.
-
Das mobile Endgerät 120 umfasst zudem eine Erfassungseinheit 124 die eingerichtet ist, einen vordefinierbaren Fixpunkt 114, 310 am Fahrzeug 110 zu erfassen. Der vordefinierbare bzw. vordefinierte Fixpunkt 114, 310 am Fahrzeug 110 kann beispielsweise ein Emblem Hersteller-Emblem bzw. Hersteller-Logo, das am Fahrzeug 110 angebracht ist, umfassen. Insbesondere kann der vordefinierbare bzw. vordefinierte Fixpunkt 114, 310 am Fahrzeug 110 das BMW-Emblem bzw. BMW-Logo 310 (vgl. 3A), das an einem BMW-Fahrzeug 110 (vgl. 3A) angebracht ist, umfassen.
-
Die Erfassungseinheit 124 kann beispielsweise eine Kamera umfassen. Mithilfe der Kamera kann der vordefinierbare Fixpunkt 114, 310 am Fahrzeug 110 erfasst bzw. aufgenommen werden.
-
Das mobile Endgerät 120 umfasst zudem eine Recheneinheit 126 die Eingerichtet ist, die von dem zumindest einen Sensor 122 A ... 122 N erfassten physikalischen Sensordaten und den erfassten Fixpunkt 114, 310 am Fahrzeug 110 auszuwerten und die AR-Inhalte 510, 520 kontaktanalog am Fahrzeug 110 darzustellen.
-
Das Auswerten der physikalischen Sensordaten und des vordefinierbaren bzw. vordefinierten Fixpunkts 114, 340 zur kontaktanalogen Darstellung der AR-Inhalte 510, 520 am Fahrzeug 110 kann das das Ermitteln der exakten relativen Position 430 des mobilen Endgeräts 120 zum Fahrzeug 110 umfassen. Dies kann durch Ermitteln der Koordinaten-Daten 410 des mobilen Endgeräts 120 aus den erfassten physikalischen Sensordaten mit Bezug auf den vordefinierbaren Fixpunkt 114, 310 am Fahrzeug 110 erfolgen, wie weiter unten mit Bezug auf 4 beschrieben.
-
Darüber hinaus kann das Auswerten das Ermitteln einer exakten relativen Position des Fahrzeugs 110 zum mobilen Endgerät 120 erfolgen. Dies kann durch erfassen der Koordinaten-Daten 420 des Fahrzeugs 110 mit Bezug auf den vordefinierbaren Fixpunkt 110, 310 erfolgen. Die Koordinaten-Daten 420 des Fahrzeugs 110 können beispielsweise lokal am mobilen Endgerät 120 hinterlegt sein. In einem anderen Beispiel können die Koordinaten-Daten 420 des Fahrzeugs 110 über die Kommunikationseinheit 112 an das mobile Endgerät 120 übermittelt werden. In einem weiteren Beispiel können die Koordinaten-Daten des Fahrzeugs 110 durch das mobile Endgerät 120 von einem geeigneten Server (nicht gezeigt) abgerufen werden.
-
Das Ermitteln der exakten relativen Positionen des mobilen Endgeräts 120 und des Fahrzeugs 110 zueinander ermöglicht die Initialisierung des dreidimensionalen Gitternetzes 320 zur Darstellung der AR-Inhalte 510, 520 der AR-Anwendung am Fahrzeug 110, ohne dass es einen rechenintensiven und fehleranfälligen Kantenabgleich am Fahrzeug 110 erfordert.
-
Durch Anwendung von SLAM können mithilfe der physikalischen Sensordaten die AR-Inhalte 510, 520 der AR-Anwendung in der Folge kontaktanalog dargestellt werden.
-
Vorteilhafter Weise erlaubt die Erfassung des vordefinierbaren bzw. vordefinierten Fixpunkts 114, 310 am Fahrzeug 110 die Erfassung der relativen Position des Fahrzeugs 110 mit Bezug auf das mobile Endgerät 120. Somit kann bei der Erstellung des 3D-Gitternetzes 320 zur Initialisierung der AR-Anwendung auf einen rechenaufwändigen, durch Umwelteinflüsse beeinträchtigte visuelle Erfassung des Fahrzeugs110 durch das mobile Endgerät 120 (z.B. Lichtverhältnisse, schlechtes Wetter bzw. schlechte Witterungsverhältnisse, schlechte Kontrastverhältnisse, etc.) erschwerten bzw. ungenauen Kantenabgleich verzichtet werden.
-
Insbesondere verringert sich der Abstand des mobilen Endgeräts 120 zum Fahrzeug 110 bei der Erfassung des vordefinierbaren bzw. vordefinierten Fixpunkts am Fahrzeug 114, 310 (ähnlicher Abstand wie bei der Erfassung eines QR-Codes durch ein mobiles Endgerät 120), wodurch eine höhere Genauigkeit erzielt wird. Zudem ist bei dieser Vorgehensweise nur eine initiale Erkennung zur Erstellung des 3D-Gitternetzes 320 erforderlich, wohingegen beim Kantenabgleich sequentiell bzw. kontinuierlich im Hintergrund die Erstellung des 3D-Gitternetzes (nicht gezeigt) erfolgt. Dadurch erhöht sich die Genauigkeit des durch die beschriebene Methode generierten 3D-Gitternetzes 320. Darüber hinaus kann das mobile Endgerät 120 eine Beleuchtungseinheit (nicht gezeigt, z.B. die aus dem Stand der Technik bekannte Taschenlampenfunktion eines Smartphones) umfassen. Die Beleuchtungseinheit kann verwendet werden, um den vordefinierbaren bzw. vordefinierten Fixpunkt 114, 310 am Fahrzeug 110 bei schlechten Sicht- bzw. Witterungsverhältnissen zu beleuchten. Dies ist beim Kantenabgleich, der die Erfassung eines großen Bereichs des Fahrzeugs 110 zur Generierung des 3D-Gitternetzes benötigt, nicht anwendbar, da die Leuchtkraft der Beleuchtungseinheit des mobilen Endgeräts 120 dazu nicht ausreicht.
-
Gleichzeitig kann mithilfe einer kontinuierlichen Erfassung der physikalischen Sensordaten die relative Position 430 des mobilen Endgeräts 120 zum Fahrzeug 110 ermittelt werden, wie weiter unten mit Bezug auf 4 näher erläutert. Dadurch kann zu jedem Zeitpunkt und mit jeder Bewegung des mobilen Endgeräts 120 mit Bezug auf das Fahrzeug 110 eine kontaktanaloge Darstellung der AR-Inhalte 510, 520 am Fahrzeug 110 sichergestellt werden.
-
Das mobile Endgerät 120 kann eine Ein- und Ausgabeeinheit 128 umfassen, die eingerichtet ist, eine Nutzereingabe des Nutzers 130 des mobilen Endgeräts 120 zu empfangen. Die Recheneinheit 126 des mobilen Endgeräts 120 kann eingerichtet sein, die AR-Inhalte 510, 520 der AR-Anwendung um die Nutzereingabe 530 zu erweitern, wie weiter unten mit Bezug auf 5 genauer erläutert.
-
Vorteilhafter Weise kann somit eine flexible Erweiterung der AR-Anwendung um nutzerbezogene AR-Inhalte 530 realisiert werden.
-
2 zeigt ein Verfahren 200 zur robusten Darstellung von Augmented Reality, AR, - Anwendungen an einem Fahrzeug 110, das über ein System 100 wie mit Bezug auf 1 beschrieben ausgeführt werden kann.
-
Das Verfahren 200 umfasst:
- Ausführen 210, mittels einer mobilen Endgeräts 120, einer AR-Anwendung am Fahrzeug 110, wobei die AR-Anwendung eine Darstellung von AR-Inhalten 510, 520 am Fahrzeug 110 mithilfe eines dreidimensionalen Gitternetzes 320 umfasst;
- wobei das Ausführen 210 der AR-Anwendung am Fahrzeug 110 umfasst:
- - Erfassen 220, über zumindest einen Sensor 122 A ... 122 N, physikalischer Sensordaten mit Bezug auf eine Position des mobilen Endgeräts 120;
- - Erfassen 230, über eine Erfassungseinheit 124, eines vordefinierbaren Fixpunkts 114, 320 am Fahrzeug 110; und
- kontaktanaloges Darstellen 240, über eine Recheneinheit 126, der AR-Inhalte 510, 520 am Fahrzeug 110 nach Auswerten 245 der physikalischen Sensordaten und dem erfassten Fixpunkt 114, 310 durch die Recheneinheit 126.
-
Dar Verfahren 200 kann umfassen:
- Empfangen 250, über eine Ein- und Ausgabeeinheit 128 am mobilen Endgerät 120, einer Nutzereingabe; und
- Erweitern 260, durch die Recheneinheit 126, der AR-Inhalte 510, 520 um die empfangene Nutzereingabe 530.
-
Das Auswerten 245 der physikalischen Sensordaten und dem vordefinierbaren Fixpunkt 114, 320 zur kontaktanalogen Darstellung der AR-Inhalte 510, 520 am Fahrzeug 110 kann umfassen:
- - Ermitteln einer exakten relativen Position des mobilen Endgeräts 120 zum vordefinierbaren Fixpunkt 114, 320;
- - Ermitteln einer exakten relativen Position des Fahrzeugs 110 zum mobilen Endgerät 120;
- - Initialisieren des dreidimensionalen Gitternetzes 32 zur kontaktanalogen Darstellung der AR-Inhalte 510, 520 am Fahrzeug 110; und
- - kontaktanaloges Darstellen der AR-Inhalte 510, 520 durch Simultaneous Localization and Mapping, SLAM.
-
Die AR-Inhalte 510, 520 können umfassen:
- - vorhandene Schäden am Fahrzeug 110; und/oder
- - Betriebsanleitung für das Fahrzeug 110; und/oder
- - Zubehör für das Fahrzeug 110; und/oder
- - Reparaturen am Fahrzeug 110; und/oder
- - Informationsinhalte am Fahrzeug 110.
-
3A zeigt beispielhaft ein mobiles Endgerät 120, bei dem eine AR-Anwendung an einem vordefinierten Fixpunkt 310 am Fahrzeug 110 wie mit Bezug auf 1 beschrieben, initialisiert wird.
-
3B zeigt ein beispielhaftes dreidimensionales Gitternetz 320, mit dessen Hilfe im späteren Verlauf - wie mit Bezug auf 1 beschrieben, AR-Inhalte 510, 520 am Fahrzeug 110 dargestellt werden.
-
4 zeigt schematisch eine Initialisierung der AR-Anwendung am Fahrzeug 110. Dazu ermittelt die Recheneinheit 140 des mobilen Endgeräts 110 aus den physikalischen Sensordaten - wie mit Bezug auf 1 beschrieben, relative Koordinatendaten 410 des mobilen Endgeräts 120 aus den physikalischen Sensordaten und dem vordefinierbaren Fixpunkt 114, 310 des Fahrzeugs 110. Zudem ermittelt die Recheneinheit 140 des mobilen Endgeräts 120 die Koordinaten 420 des Fahrzeugs 110, wie mit Bezug auf 1 beschrieben. Daraus ermittelt die Recheneinheit 140 des mobilen Endgeräts die relative Position 430 des mobilen Endgeräts 120 zum Fahrzeug 110, wodurch die AR-Anwendung ohne die Durchführung eines aufwändigen Kantenabgleichs initialisiert werden kann.
-
5 zeigt eine beispielhafte Darstellung von AR-Inhalten 510, 520 am Fahrzeug 110. Die AR-Inhalte 510, 520 zeigen vorhandene Beschädigungen an einem Fahrzeug 110 an, die dem Nutzer 130 des mobilen Endgeräts 120 vor der Buchung eines Car-Sharing-Fahrzeugs 110 angezeigt werden. Die AR-Inhalte 510, 520 können vom Nutzer 130 des mobilen Endgeräts 120 über eine entsprechende Eingabe über die Ein- und Ausgabeeinheit 128 des mobilen Endgeräts 120 um einen nutzerdefinierten AR-Inhalt 530 erweitert werden. Insbesondere kann der Nutzer 130 über das mobile Endgerät 120 eine weitere Beschädigung des Fahrzeugs 110 vor der Buchung des Fahrzeugs 120 eingeben. Die AR-Anwendung wird um den Nutzerdefinierten AR-Inhalt 530 erweitert.
