-
Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zum Überwachen einer Bewegung eines Fortbewegungsmittels. Die Erfindung betrifft weiterhin ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zum Planen einer Bewegung eines Fortbewegungsmittels, sowie ein Fortbewegungsmittel, das ein solches Verfahren oder eine solche Vorrichtung nutzt.
-
Bereits seit Jahren lässt sich eine zunehmende Verbreitung digitaler Technologien in der Gesellschaft feststellen. Es steht zu erwarten, dass diese Digitalisierung der Gesellschaft im Alltag deutlich zunehmen wird. Virtual- und Augmented-Reality-Technologien und -Anwendungen stellen eine besondere Ausprägung der Digitalisierung dar. Bei Augmented Reality (AR), auf Deutsch „erweiterte Realität“, handelt es sich um die Anreicherung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Da sich in der Fachwelt im deutschsprachigen Raum der Ausdruck „Augmented Reality“ gegenüber dem Ausdruck „erweiterte Realität“ durchgesetzt hat, wird im Folgenden ersterer benutzt. Synonym wird auch der Ausdruck „Mixed Reality“ verwendet. Für die Darstellung von AR-Anzeigen können beispielsweise Augmented-Reality-Brillen genutzt werden. Eine Augmented-Reality-Brille wird wie eine normale Brille getragen, weist aber eine oder mehrere Projektionseinheiten oder Anzeigen auf, mit deren Hilfe dem Träger der Brille Informationen vor die Augen oder direkt auf die Netzhaut projiziert werden können. Die Brille ist dabei so gestaltet, dass der Träger auch die Umgebung wahrnehmen kann. Neue Technologien für Augmented-Reality-Brillen, beispielsweise Lichtfeldtechnologie, Fortschritte in der verwendeten Batterietechnik sowie der Einstieg großer Unternehmen in diese lassen eine steigende Akzeptanz dieser Geräte erwarten.
-
Alternativ können AR-Anzeigen auch mittels Augmented-Reality-Smartphones oder Augmented-Reality-Tablets generiert werden. Dabei werden virtuelle Elemente auf dem Display des jeweiligen Gerätes zusammen mit der von einer Kamera des jeweiligen Gerätes aufgenommenen Umgebung angezeigt. Auch eine Projektion von Inhalten in die reale Umgebung ist möglich.
-
Insgesamt ist absehbar, dass Augmented-Reality-Brillen, Augmented-Reality-Smartphones und andere Augmented-Reality-Geräte bei Endkunden zunehmend stärker im Einsatz sein werden. Da die Anbieter der marktführenden Betriebssysteme derzeit große Anstrengungen unternehmen, ihre Entwicklungsumgebungen und Funktionen für Augmented-Reality-Anwendungen zu etablieren, kann davon ausgegangen werden, dass dieser Sektor zukünftig leistungsfähige Möglichkeiten bieten wird, beispielsweise zum Bereitstellen von Nutzerschnittstellen auf Basis von Augmented-Reality-Darstellungen im Automobilbereich.
-
Ein möglicher Anwendungsfall derartiger Nutzerschnittstellen sind Bewegungsmanöver eines Fortbewegungsmittels. Betrachtet wird dabei eine Situation, in der der Fahrer oder eine weitere Person sich außerhalb eines Fahrzeugs befinden, welches gerade ein Fahrmanöver ausführt. In Frage kommen hier zum Beispiel Nutzungsszenarien, in denen das Fahrzeug automatische Einparkmanöver vornimmt oder, nach der Übergabe in entsprechenden Zonen, automatisierte Valet-Parking Fahrten ausführt. Im manuellen Bereich stehen hier Szenarien im Vordergrund, die ein manuelles Einparken oder Rangieren beinhalten.
-
Beispielsweise beschreibt
DE 10 2016 013 696 A1 ein Verfahren zur Parkplatzerkennung für ein Fahrzeug mit einem zumindest eine Kamera umfassenden mobilen Endgerät. Mittels des mobilen Endgerätes wird eine Freiraumanalyse in mittels der Kamera erfassten Bildern einer Fahrzeugumgebung durchgeführt. Anhand von Ergebnissen der Freiraumanalyse wird zumindest ein freier Parkplatz in der Fahrzeugumgebung erkannt. Dieser wird auf dem mobilen Endgerät angezeigt und kann vom Nutzer für einen Parkvorgang ausgewählt werden.
-
Die
DE 10 2016 009 700 A1 beschreibt ein eine Vorrichtung zur Unterstützung eines Nutzers bei einer Durchführung eines autonomen Einpark- oder Ausparkvorgangs eines Kraftfahrzeugs mit einem zumindest eine optische Anzeigeeinheit umfassenden mobilen Endgerät. Das mobile Endgerät umfasst weiterhin zumindest eine Kamera und eine Steuereinheit. Die Steuereinheit ermittelt oder empfängt eine prädizierte Trajektorie des Kraftfahrzeugs während des autonomen Einpark- oder Ausparkvorgangs. Die Steuereinheit führt zudem eine Darstellung der Trajektorie und/oder eines anhand der Trajektorie ermittelten, vom Kraftfahrzeug zukünftig durchfahrenen Fahrschlauchs auf der Anzeigeeinheit durch. Die Darstellung erfolgt einem Live-Bild des Kraftfahrzeugs und dessen Umgebung, das mittels der Kamera erfasst wird, lagerichtig überlagert.
-
Es ist eine Aufgabe der Erfindung, ein verbessertes Konzept für das Überwachen und Planen einer Bewegung eines Fortbewegungsmittels bereitzustellen.
-
Diese Aufgabe wird durch Verfahren mit den Merkmalen des Anspruchs 1 oder 6, durch ein computerlesbares Speichermedium mit Instruktionen gemäß Anspruch 8, durch eine Vorrichtung mit den Merkmalen des Anspruchs 9 oder 10 sowie durch ein Fortbewegungsmittel mit den Merkmalen des Anspruchs 11 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
-
Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Überwachen einer Bewegung eines Fortbewegungsmittels die Schritte:
- - Empfangen von Informationen zu einer Trajektorie des Fortbewegungsmittels;
- - Anzeigen der Trajektorie auf einer Anzeigeeinheit eines mobilen Gerätes in Form einer Augmented-Reality- Darstellung;
- - Erfassen einer Eingabe eines Nutzers des mobilen Gerätes für eine Beeinflussung der Trajektorie; und
- - Übermitteln von Informationen an das Fortbewegungsmittel auf Basis der Eingabe des Nutzers.
-
Entsprechend enthält ein computerlesbares Speichermedium Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Überwachen einer Bewegung eines Fortbewegungsmittels veranlassen:
- - Empfangen von Informationen zu einer Trajektorie des Fortbewegungsmittels;
- - Anzeigen der Trajektorie auf einer Anzeigeeinheit eines mobilen Gerätes in Form einer Augmented-Reality-Darstellung;
- - Erfassen einer Eingabe eines Nutzers des mobilen Gerätes für eine Beeinflussung der Trajektorie; und
- - Übermitteln von Informationen an das Fortbewegungsmittel auf Basis der Eingabe des Nutzers.
-
Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch mobile prozessorbasierte Datenverarbeitungsvorrichtungen.
-
Analog dazu weist eine Vorrichtung zum Überwachen einer Bewegung eines Fortbewegungsmittels auf:
- - eine Empfangseinheit zum Empfangen von Informationen zu einer Trajektorie des Fortbewegungsmittels;
- - eine Grafikeinheit zum Generieren einer Anzeige der Trajektorie auf einer Anzeigeeinheit eines mobilen Gerätes in Form einer Augmented-Reality-Darstellung;
- - eine Nutzerschnittstelle zum Erfassen einer Eingabe eines Nutzers des mobilen Gerätes für eine Beeinflussung der Trajektorie; und
- -eine Übermittlungseinheit zum Übermitteln von Informationen an das Fortbewegungsmittel auf Basis der Eingabe des Nutzers.
-
Gemäß einem zweiten Aspekt der Erfindung umfasst ein Verfahren zum Planen einer Bewegung eines Fortbewegungsmittels die Schritte:
- - Übermitteln von Informationen zu einer Trajektorie des Fortbewegungsmittels an ein mobiles Gerät;
- - Empfangen von Informationen für eine Beeinflussung der Trajektorie vom mobilen Gerät auf Basis einer Eingabe eines Nutzers des mobilen Gerätes; und
- - Planen der Bewegung des Fortbewegungsmittels auf Basis zumindest der empfangenen Informationen.
-
Entsprechend enthält ein computerlesbares Speichermedium Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Planen einer Bewegung eines Fortbewegungsmittels veranlassen:
- - Übermitteln von Informationen zu einer Trajektorie des Fortbewegungsmittels an ein mobiles Gerät;
- - Empfangen von Informationen für eine Beeinflussung der Trajektorie vom mobilen Gerät auf Basis einer Eingabe eines Nutzers des mobilen Gerätes; und
- - Planen der Bewegung des Fortbewegungsmittels auf Basis zumindest der empfangenen Informationen.
-
Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Steuergeräte in Fortbewegungsmitteln.
-
Analog dazu weist eine Vorrichtung zum Planen einer Bewegung eines Fortbewegungsmittels auf:
- - eine Übermittlungseinheit zum Übermitteln von Informationen zu einer Trajektorie des Fortbewegungsmittels an ein mobiles Gerät;
- - eine Empfangseinheit zum Empfangen von Informationen für eine Beeinflussung der Trajektorie vom mobilen Gerät auf Basis einer Eingabe eines Nutzers des mobilen Gerätes; und
- - einen Bewegungsplaner zum Planen der Bewegung des Fortbewegungsmittels auf Basis zumindest der empfangenen Informationen.
-
Die erfindungsgemäße Lösung basiert auf der Idee, dass Informationen über die aktuelle und geplante Trajektorie ausgehend von einer aktuellen Position aus einem Fortbewegungsmittel heraus an ein mobiles Gerät übertragen werden und hier mittels Augmentierungen zu Anzeige gebracht werden, z.B. unter Verwendung einer Kamerafunktion des mobilen Gerätes. Zur Übertragung können beispielsweise drahtlose Übertragungswege wie WiFi oder Bluetooth genutzt werden. Eine außenstehende Person, z.B. der Fahrer eines Fahrzeugs, kann so die Kamera seines Smartphones auf das Fahrzeug richten und auf dem Display seines Smartphones dann augmentierte Anzeigen über den geplanten Fahrweg sehen. Alternativ kann er das Fahrzeug durch seine Augmented-Reality-Brille betrachten, die dann die erforderlichen Augmentierungen erzeugt. Im Unterschied zu bekannten Ansätzen, bei denen der Nutzer lediglich eine Bewegung des Fortbewegungsmittels starten oder stoppen kann, hat der Nutzer nun die Möglichkeit, die Trajektorie des Fortbewegungsmittels aktiv zu beeinflussen. Auf diese Weise kann der Nutzer auf potenzielle Gefahrensituationen reagieren und hat eine größere Kontrolle über die Bewegung des Fortbewegungsmittels. Im Automobilbereich ist das beschriebene Konzept sowohl für klassische PKW-Anwendungen als auch für Nutzungsszenarien mit schweren, z.B. mehrachsigen, Nutzfahrzeugen mit besonders hohen Anforderungen bei Rangiertätigkeiten hilfreich. Vorteilhaft nutzbar ist die Lösung zudem für Bewegungssysteme für Wohnwagen, die beispielsweise mittels einer Fernbedienung gesteuert werden können.
-
Gemäß einem Aspekt der Erfindung empfängt das mobile Gerät Informationen zu von einer Sensorik des Fortbewegungsmittels erkannten Hindernissen und zeigt diese auf der Anzeigeeinheit an. Durch die Augmented-Reality-Darstellung kann ebenfalls visualisiert werden, ob das Fortbewegungsmittel bestimmte statische oder dynamische Hindernisse in der Umwelt, beispielsweise Betonpfeiler, die Stützen eines Carports oder Personen, korrekt erkannt hat. Dem Nutzer, insbesondere unerfahrenen Anwendern, kann so gerade bei initialen Einsätzen die Angst genommen werden, dass sich das Fortbewegungsmittel, z.B. aufgrund von Sensorfehlern, selbst beschädigt.
-
Gemäß einem Aspekt der Erfindung bestimmt die Eingabe des Nutzers einen Zielpunkt für das Fortbewegungsmittel, einen Pfad für das Fortbewegungsmittel oder eine Information zu einem Hindernis. Hierfür bietet sich insbesondere die Nutzung eines berührungsempfindlichen Displays an. Beispielsweise können ein Zielpunkt oder ein Hindernis durch einfaches Antippen des Displays an der entsprechenden Position bestimmt werden. Ein Pfad kann wiederum durch das Zeichnen des Pfades auf dem Display mit einem Finger bestimmt werden. Die genannten Eingaben lassen sich somit sehr intuitiv und auf besonders einfache Weise vornehmen. Zusätzlich können dedizierte Steuerungsschaltflächen vorgesehen sein, z.B. für das Starten oder Stoppen der Bewegung. Über eine solche Schaltfläche kann zudem die Funktion eines Totmann-Tasters realisiert werden.
-
Gemäß einem Aspekt der Erfindung markiert der Nutzer ein Hindernis auf der Anzeigeeinheit oder klassifiziert ein markiertes Hindernis. Beispielsweise kann der Nutzer ein Hindernis auf einem berührungsempfindlichen Display antippen oder einkreisen. Sofern das markierte Element nach der manuellen Markierung nicht automatisch erkannt wird, kann hierfür eine Bedeutungszuweisung ermöglicht werden. Dazu kann der Nutzer z.B. ein Drop-Down-Menü aufrufen, in dem verschiedene Klassifikationen zur Auswahl stehen. Dies können ortsbasierte Klassifikationen sein, wie „Hindernis am Boden“, „senkrechtes Hindernis“ oder „dynamisches Objekt“. Es sind aber auch genauere Klassifikationen möglich, wie „Schlagloch“, „Person“ oder „Mauer“. Der Nutzer kann somit auf sehr einfache Weise von der Sensorik nicht oder falsch erkannte Hindernisse ergänzen oder korrigieren. Diese Informationen können zudem dazu genutzt werden, die Datenlage seitens der Umfeldwahrnehmung des Fortbewegungsmittels zu verbessern.
-
Gemäß einem Aspekt der Erfindung empfängt das Fortbewegungsmittel vom mobilen Gerät erfasste Umfeldinformationen oder Informationen weiterer Quellen und berücksichtigt diese beim Planen der Bewegung. Eine Möglichkeit zur effektiven Einbindung des mobilen Gerätes besteht darin, das Kamerabild des mobilen Gerätes als zusätzlichen Sensor zu verwenden und die Inhalte der Sensorfusion des Fortbewegungsmittels zur Verfügung zu stellen.
-
Hierbei sind insbesondere zwei Wege denkbar. Einerseits kann das Kamerabild ohne weitere Informationen den Auswertungseinheiten des Fortbewegungsmittels zur Verfügung gestellt werden. Das entsprechende technische Softwaremodul kann in diesem Fall mit den bordeigenen Algorithmen eine Verbesserung oder Validierung der eigenen Umfeldwahrnehmung vornehmen, indem zum Beispiel Entfernungen besser eingeschätzt oder Objekte durch die neue Perspektive überhaupt erst entdeckt werden können.
-
Andererseits sind Bildverarbeitungsschritte bereits auf Seiten des mobilen Gerätes bzw. serverbasiert ausführbar. Hier können dann wesentliche Verarbeitungsschritte zur Vermessung und Erkennung der Umwelt vorgenommen werden, die ohnehin zur Darstellung von Augmented-Reality-Anzeigen durchgeführt werden müssen. Die Ergebnisse können dann in aggregierter Form an die Module des Fortbewegungsmittels weitergegeben werden.
-
Natürlich ist auch die parallele Nutzung der oben beschriebenen Ansätze möglich.
-
Da mobile Geräte auch mit Mikrophonen ausgerüstet sind, können dem Fortbewegungsmittel nach den oben beschriebenen Prinzipien auch akustische Signale zur Verfügung gestellt und zur Interpretation der aktuellen Situation herangezogen werden. Da z.B. Reifenbewegungen auf verschiedenen Untergründen charakteristische Klangmuster erzeugen, kann z.B. bei unerwarteten Geräuschen, wie zersplitterndem Glas oder Kollisionsgeräuschen, mit Maßnahmen reagiert werden. Beispielsweise kann ein Parkvorgang gestoppt, eine Trajektorie verändert oder einer Geschwindigkeit verringert werden, etc.
-
Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung zum Planen einer Bewegung in einem Fortbewegungsmittel eingesetzt. Bei dem Fortbewegungsmittel kann es sich beispielsweise um ein Kraftfahrzeug handeln. Die erfindungsgemäße Lösung ist allerdings ebenso für andere Arten von Fortbewegungsmitteln nutzbar, z.B. für Schiffe, Flugzeuge, insbesondere bei der Bewegung am Boden, oder automatisierte Transportsysteme.
-
Im Bereich der Schifffahrt ermöglicht das beschriebene Konzept eine bessere Vorhersage der Bewegungen und Positionen von Schiffen, sowohl im manuellen als auch im automatischen Betrieb. So können lokale Lotsen, aber auch die Besatzung und Gäste eines Schiffes, mit Hilfe ihres mobilen Gerätes die Auswirkungen der aktuellen Ruderlage (Kurs) und Maschinenleistung (Geschwindigkeit) bezogen auf die tatsächliche Fahrrinne und die übrige Umwelt erkennen und vorhersagen.
-
So wie für den Bereich der Seefahrt hat das vorgestellte Konzept auch eine hohe Relevanz im Bereich des Flugverkehrs. Hier sind einerseits Einsätze durch Piloten denkbar, bei denen vor allem auf dem Boden (Taxiing vom Gate zur Startbahn oder von der Landebahn zum Gate) eine optische Orientierung für den richtigen Pfad gegeben werden kann. Anderseits kann ein mobiles Gerät auch vom Bodenpersonal, z.B. einem Park-Einweiser oder der Flugfeldüberwachung, eingesetzt werden, um die aktuelle Trajektorie eines Flugzeugs anzuzeigen. Hierbei würde z.B. der Einweiser ein mobiles Gerät auf ein Flugzeug richten und hierdurch dann die aktuelle Trajektorie und gegebenenfalls auch den weiterführenden Pfad bis zum Ziel-Gate sehen.
-
Das gleiche Prinzip kann ebenso für den Bahn- und Busverkehr angewandt werden. Auch hier können die Nutzer einerseits die Kunden, andererseits aber auch das am Bahn- oder Bussteig stehende Personal sein. Auch hier ist es ein Ziel, die Bewegung und die Absichten eines anderen Fahrzeugs zu verstehen, vorherzusagen und, falls gewünscht, auch zu steuern.
-
Ein weiterer Anwendungsfall ist die Nutzung in einem automatisierten Container-Terminal, in dem automatisierte Hebefahrzeuge eingesetzt werden und überwacht werden können. Auf diese Weise kann die Sicherheit im Umgang mit diesen automatisierten Schwerlastfahrzeugen deutlich erhöht werden.
-
Ein weiterer Anwendungsfall ist die Nutzung durch Fahrschulen. Hier können die Fahreingaben eines Schülers in eine zukünftige Augmented-Reality-Trajektorie übersetzt werden. Diese Informationen können dann einerseits vom Fahrlehrer herangezogen werden, um Feedback zu geben. Eine Aufzeichnung kann aber auch später für den Schüler selbst als Feedback-Grundlage relevant sein.
-
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.
- 1 zeugt schematisch ein Verfahren zum Überwachen einer Bewegung eines Fortbewegungsmittels;
- 2 zeigt schematisch eine erste Ausführungsform einer Vorrichtung zum Überwachen einer Bewegung eines Fortbewegungsmittels;
- 3 zeigt schematisch eine zweite Ausführungsform einer Vorrichtung zum Überwachen einer Bewegung eines Fortbewegungsmittels;
- 4 zeigt schematisch ein Verfahren zum Planen einer Bewegung eines Fortbewegungsmittels;
- 5 zeigt schematisch eine erste Ausführungsform einer Vorrichtung zum Planen einer Bewegung eines Fortbewegungsmittels;
- 6 zeigt schematisch eine zweite Ausführungsform einer Vorrichtung zum Planen einer Bewegung eines Fortbewegungsmittels;
- 7 zeigt schematisch ein Smartphone zur Anzeige einer Augmented-Reality-Darstellung;
- 8 zeigt schematisch eine Augmented-Reality-Brille;
- 9 stellt schematisch ein Kraftfahrzeug dar, in dem eine erfindungsgemäße Lösung realisiert ist;
- 10 zeigt schematisch ein Systemdiagramm der erfindungsgemäßen Lösung;
- 11 veranschaulicht eine Visualisierung einer Trajektorie und sensorisch erkannter Objekte in Form einer Augmented-Reality-Darstellung; und
- 12-15 veranschaulichen die aktive Einflussnahme eines Nutzers auf die Bewegungsplanung.
-
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.
-
1 zeigt schematisch ein Verfahren zum Überwachen einer Bewegung eines Fortbewegungsmittels. Zunächst werden Informationen zu einer Trajektorie des Fortbewegungsmittels von einem mobilen Gerät empfangen 10. Zudem können Informationen zu von einer Sensorik des Fortbewegungsmittels erkannten Hindernissen empfangen werden. Die Trajektorie und gegebenenfalls die erkannten Hindernisse werden dann auf einer Anzeigeeinheit des mobilen Gerätes in Form einer Augmented-Reality-Darstellung angezeigt 11. Daraufhin wird eine Eingabe eines Nutzers des mobilen Gerätes für eine Beeinflussung der Trajektorie erfasst 12. Die Eingabe des Nutzers kann z.B. einen Zielpunkt für das Fortbewegungsmittel, einen Pfad für das Fortbewegungsmittel oder eine Information zu einem Hindernis bestimmen. Beispielsweise markiert der Nutzer dazu ein Hindernis auf der Anzeigeeinheit oder klassifiziert ein markiertes Hindernis. Schließlich werden auf Basis der Eingabe des Nutzers Informationen an das Fortbewegungsmittel übermittelt 13. Dabei können zusätzlich vom mobilen Gerät erfasste Umfeldinformationen an das Fortbewegungsmittel übermittelt werden.
-
2 zeigt schematisch eine erste Ausführungsform einer Vorrichtung 20 zum Überwachen einer Bewegung eines Fortbewegungsmittels. Die Vorrichtung 20 hat einen Eingang 21, über den eine Empfangseinheit 22 beispielsweise Informationen zu einer Trajektorie des Fortbewegungsmittels empfängt. Zudem können Informationen zu von einer Sensorik des Fortbewegungsmittels erkannten Hindernissen empfangen werden. Die Vorrichtung 20 hat zudem eine Grafikeinheit 23 zum Generieren einer Anzeige der Trajektorie und der erkannten Hindernisse auf einer Anzeigeeinheit eines mobilen Gerätes 90 in Form einer Augmented-Reality-Darstellung. Mittels einer Nutzerschnittstelle 28 kann eine Eingabe eines Nutzers für eine Beeinflussung der Trajektorie erfasst werden. Die Eingabe des Nutzers kann z.B. einen Zielpunkt für das Fortbewegungsmittel, einen Pfad für das Fortbewegungsmittel oder eine Information zu einem Hindernis bestimmen. Beispielsweise markiert der Nutzer dazu ein Hindernis auf der Anzeigeeinheit oder klassifiziert ein markiertes Hindernis. Eine Übermittlungseinheit 26 übermittelt über einen Ausgang 27 der Vorrichtung 20 Informationen an das Fortbewegungsmittel auf Basis der Eingabe des Nutzers. Zusätzlich können vom mobilen Gerät erfasste Umfeldinformationen an das Fortbewegungsmittel übermittelt werden.
-
Die Empfangseinheit 22, die Grafikeinheit 23 und die Übermittlungseinheit 26 können von einer Kontrolleinheit 24 gesteuert werden. Über die Nutzerschnittstelle 28 können gegebenenfalls auch Einstellungen der Empfangseinheit 22, der Grafikeinheit 23, der Übermittlungseinheit 26 oder der Kontrolleinheit 24 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 25 der Vorrichtung 20 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Die Empfangseinheit 22, die Grafikeinheit 23, die Übermittlungseinheit 26 sowie die Kontrolleinheit 24 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 21 und der Ausgang 27 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein. Die Vorrichtung 20 kann eine eigenständige Komponente sein, die mit dem mobilen Gerät über eine Datenverbindung verbunden ist. Sie kann aber ebenso in das mobile Gerät integriert sein.
-
3 zeigt schematisch eine zweite Ausführungsform einer Vorrichtung 30 zum Überwachen einer Bewegung eines Fortbewegungsmittels. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um eine mobile Recheneinheit, z.B. in einem Tablet oder in einem Smartphone. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.
-
Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.
-
Die Speicher 25, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.
-
4 zeigt schematisch ein Verfahren zum Planen einer Bewegung eines Fortbewegungsmittels. Zunächst werden Informationen zu einer Trajektorie des Fortbewegungsmittels an ein mobiles Gerät übermittelt 15. Zusätzlich können Informationen zu von einer Sensorik des Fortbewegungsmittels erkannten Hindernissen übermittelt werden. Anschließend werden vom mobilen Gerät übermittelte Informationen für eine Beeinflussung der Trajektorie auf Basis einer Eingabe eines Nutzers des mobilen Gerätes empfangen 16. Die Eingabe des Nutzers kann z.B. einen Zielpunkt für das Fortbewegungsmittel, einen Pfad für das Fortbewegungsmittel oder eine Information zu einem Hindernis bestimmen. Schließlich wird die Bewegung des Fortbewegungsmittels auf Basis zumindest der empfangenen Informationen geplant 17. Zusätzlich kann das Fortbewegungsmittel vom mobilen Gerät erfasste Umfeldinformationen oder Informationen weiterer Quellen empfangen 16 und diese beim Planen 17 der Bewegung berücksichtigen.
-
5 zeigt schematisch eine erste Ausführungsform einer Vorrichtung 40 zum Planen einer Bewegung eines Fortbewegungsmittels. Die Vorrichtung 40 hat einen Ausgang 47, über den eine Übermittlungseinheit 46 Informationen zu einer Trajektorie des Fortbewegungsmittels an ein mobiles Gerät übermittelt. Zusätzlich können dabei Informationen zu von einer Sensorik des Fortbewegungsmittels erkannten Hindernissen übermittelt werden. Eine Empfangseinheit 42 empfängt über einen Eingang 41 der Vorrichtung 40 vom mobilen Gerät übermittelte Informationen für eine Beeinflussung der Trajektorie auf Basis einer Eingabe eines Nutzers des mobilen Gerätes. Die Eingabe des Nutzers kann z.B. einen Zielpunkt für das Fortbewegungsmittel, einen Pfad für das Fortbewegungsmittel oder eine Information zu einem Hindernis bestimmen. Ein Bewegungsplaner 43 plant die Bewegung des Fortbewegungsmittels auf Basis zumindest der empfangenen Informationen. Zusätzlich kann der Bewegungsplaner 43 vom mobilen Gerät erfasste Umfeldinformationen oder Informationen weiterer Quellen beim Planen der Bewegung berücksichtigen, die von der Empfangseinheit 42 empfangen wurden. Die Planungsdaten des Bewegungsplaners 43 können über den Ausgang 47 an Steuergeräte des Fortbewegungsmittels ausgegeben werden.
-
Die Empfangseinheit 42, der Bewegungsplaner 43 und die Übermittlungseinheit 46 können von einer Kontrolleinheit 44 gesteuert werden. Über eine Nutzerschnittstelle 48 können gegebenenfalls auch Einstellungen der Empfangseinheit 42, des Bewegungsplaners 43, der Übermittlungseinheit 46 oder der Kontrolleinheit 44 geändert werden. Die in der Vorrichtung 40 anfallenden Daten können bei Bedarf in einem Speicher 45 der Vorrichtung 40 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 40. Die Empfangseinheit 42, der Bewegungsplaner 43, die Übermittlungseinheit 46 sowie die Kontrolleinheit 44 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 41 und der Ausgang 47 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.
-
6 zeigt schematisch eine zweite Ausführungsform einer Vorrichtung 50 zum Planen einer Bewegung eines Fortbewegungsmittels. Die Vorrichtung 50 weist einen Prozessor 52 und einen Speicher 51 auf. Beispielsweise handelt es sich bei der Vorrichtung 50 um ein Steuergerät eines Fortbewegungsmittels. Im Speicher 51 sind Instruktionen abgelegt, die die Vorrichtung 50 bei Ausführung durch den Prozessor 52 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 51 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 52 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 50 hat einen Eingang 53 zum Empfangen von Informationen. Vom Prozessor 52 generierte Daten werden über einen Ausgang 54 bereitgestellt. Darüber hinaus können sie im Speicher 51 abgelegt werden. Der Eingang 53 und der Ausgang 54 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.
-
Der Prozessor 52 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.
-
Die Speicher 45, 51 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.
-
7 zeigt schematisch ein Smartphone 60 als Beispiel für ein mobiles Gerät, das zur Verwendung mit einem erfindungsgemäßen Verfahren oder einer erfindungsgemäßen Vorrichtung geeignet ist. Das Smartphone 60 hat ein Display 62, das zur Anzeige einer Augmented-Reality-Darstellung eingerichtet ist. Dazu erfasst das Smartphone 60 mittels einer Kamera 63 eine Umgebung, die auf dem Display 62 angezeigt wird. Informationen zur Überlagerung der angezeigten Umgebung auf dem Display 62 werden über eine Schnittstelle 61 empfangen. Insbesondere kann über die Schnittstelle 61 ein Datenaustausch mit einem Fortbewegungsmittel erfolgen. Das Display 62 ist berührungsempfindlich ausgelegt und dient als Schnittstelle für die Interaktion mit einem Nutzer.
-
8 zeigt schematisch eine Augmented-Reality-Brille 70 als Beispiel für ein mobiles Gerät, das zur Verwendung mit einem erfindungsgemäßen Verfahren oder einer erfindungsgemäßen Vorrichtung geeignet ist. Die Augmented-Reality-Brille 70 hat eine Kamera 71 zum Erfassen von Umgebungsdaten einer Umgebung der Augmented-Reality-Brille. Mittels einer Posenbestimmungsvorrichtung 72 kann eine Pose der Augmented-Reality-Brille bestimmt werden, beispielsweise anhand der Umgebungsdaten. Eine Grafikeinheit 73 generiert eine Anzeige für die Augmented-Reality-Brille entsprechend der ermittelten Pose. Dazu können die Posenbestimmungsvorrichtung 72 und die Grafikeinheit 73 miteinander Daten austauschen. Informationen zu anzuzeigenden Inhalten werden über eine Schnittstelle 74 empfangen. Insbesondere kann über die Schnittstelle 74 ein Datenaustausch mit einem Fortbewegungsmittel erfolgen. Die von der Grafikeinheit 73 generierte Anzeige wird durch eine Projektionseinheit 75 eingeblendet. Im Beispiel in 8 wird ein monokulares Display genutzt, d.h. nur vor einem Auge des Nutzers ist ein Display angeordnet. Die vorliegend beschriebene Lösung kann selbstverständlich auch mit einer Augmented-Reality-Brille mit einem binokularen Display, bei dem pro Auge ein Display genutzt wird, oder mit einem binokularen Display, bei dem für beide Augen ein gemeinsames Display genutzt wird, realisiert werden. Die Interaktion mit dem Nutzer kann hier mittels Sprachbefehlen oder durch Verwendung eines zusätzlichen Eingabegerätes erfolgen.
-
9 stellt schematisch ein Fortbewegungsmittel 80 dar, in dem eine erfindungsgemäße Lösung realisiert ist. In diesem Beispiel handelt es sich beim Fortbewegungsmittel 80 um ein Kraftfahrzeug. Das Kraftfahrzeug weist einen bildgebenden Sensor 81 auf, beispielsweise eine Kamera. Weiterhin sind ein Radarsensor 82 sowie ein Lidarsensor 83 vorhanden. Weitere Komponenten des Kraftfahrzeugs sind eine Navigationseinrichtung 84 sowie eine Datenübertragungseinheit 85. Mittels der Datenübertragungseinheit 85 kann eine Verbindung zu einem mobilen Gerät oder zu einem Dienstanbieter aufgebaut werden, insbesondere zum Austausch von Informationen für die Bewegungsplanung. Die Daten der verschiedenen Sensoren 81, 82, 83 sowie die über die Datenübertragungseinheit 85 empfangenen Informationen für die Bewegungsplanung werden von einer erfindungsgemäßen Vorrichtung 40 bei der Planung der Bewegung des Kraftfahrzeugs berücksichtigt. Zur Speicherung von Daten ist ein Speicher 86 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des Kraftfahrzeugs erfolgt über ein Netzwerk 87.
-
10 zeigt schematisch ein Systemdiagramm der erfindungsgemäßen Lösung. Zu sehen sind das Fortbewegungsmittel 80, hier in Form eines Kraftfahrzeugs, sowie das mobile Gerät 90, die über eine Kommunikationsverbindung Daten austauschen. Zusätzlich sind ein weiterer Sensor 96 in Form einer Überwachungskamera sowie ein Backend 97 dargestellt. In der bisherigen Beschreibung fanden das Überwachen und Planen der Bewegung unter Einbeziehung der jeweils im mobilen Gerät 90 bzw. im Fortbewegungsmittel 80 vorhandenen Sensorik, der dort erfassten Sensordaten und der dort vorhandenen Rechenkapazität statt.
-
Eine Erweiterung ist möglich, wenn ein Backend 97 durch eine drahtlose Datenanbindung zur Verfügung steht. Mit Hilfe eines solchen Backends können Sensoren anderer, in der Nähe befindlicher Fahrzeuge, Mobilgeräte, oder fest installierter Quellen 96 dem mobilen Gerät 90 oder dem Fortbewegungsmittel 80 als Datenquelle zur Verfügung gestellt werden. Die Augmentierung bzw. die Trajektorie wird dann aufgrund der eigenen und fremder Sensordaten berechnet. Zur Verhinderung schädlicher Angriffsszenarien ist die Kommunikation vorzugsweise verschlüsselt und mit einem eindeutigen Zeitstempel je Datenpaket versehen.
-
Reichen die Umfelddaten des eigenen mobilen Gerätes 90 bzw. des Fortbewegungsmittels 80 nicht aus, z.B. aufgrund einer Verdeckung des Kamerabildes durch einen Pfeiler, können im Backend 97 hinterlegte Umfelddaten für das Tracking oder die Objekterkennung herangezogen werden. Hierbei ist vorzugsweise ein Zeitstempel für jedes im Backend 97 hinterlegte Datum vorzusehen, damit entschieden werden kann, ob diese Daten für den jeweiligen Anwendungsfall als Quelle dienen können oder nicht.
-
Als zusätzliche Alternative können dem Anwender Daten, die zu anderen Zeitpunkten von mobilen Geräten oder Fortbewegungsmitteln an das Backend 97 geliefert wurden, mittels einer Augmentierung so zur Verfügung gestellt werden, dass sie für den Anwender einen Mehrwert bieten. Ein Beispiel dafür sind Information wie „In der von Ihnen gewählten Parklücke parkten heute bereits X Personen“ oder „Das Fahrzeug drei Parklücken links von Ihnen verlässt gewöhnlich in 5 Minuten den Platz“. Dabei ist selbstverständlich der Datenschutz zu gewährleisten.
-
11 veranschaulicht eine Visualisierung einer Trajektorie 92 und sensorisch erkannter Objekte 93 in Form einer Augmented-Reality-Darstellung auf einer Anzeigeeinheit 91 eines mobilen Gerätes 90. Eine außenstehende Person, z.B. ein ausgestiegener Fahrer, kann so die Handlungen eines automatisch fahrenden Fahrzeugs nachvollziehen und korrigierend eingreifen. Auf diese Weise lassen sich ebenso die Handlungen einer manuell fahrenden Person von außen nachvollziehen, z.B. ein voraussichtlicher Fahrweg beim aktuellem Lenkradwinkel, und beispielsweise für eine genauere Einweisung nutzen.
-
12-15 veranschaulichen die aktive Einflussnahme eines Nutzers auf die Bewegungsplanung, hier am Beispiel eines Kraftfahrzeugs. Der Nutzer richtet dazu die Kamera seines mobilen Gerätes auf das Fahrzeug und arbeitet mit den augmentierten Anzeigen bzw. erzeugt diese. Dargestellt sind nur angezeigten Inhalte auf der Anzeigeeinheit des mobilen Gerätes.
-
12 zeigt die geplante Trajektorie 92 eines Fahrzeugs in Richtung einer Parkfläche. In der Parkfläche befindet sich eine Hindernis 93 in Form eines Schlaglochs, das von der Sensorik des Fahrzeugs bisher nicht erkannt wurde.
-
In 13 markiert der Nutzer das Schlagloch mit dem Finger auf dem Kamerabild des mobilen Gerätes. Die entsprechende Information wird daraufhin vom mobilen Gerät an das Fahrzeug übermittelt, das das identifizierte Schlagloch nun bei der Bewegungsplanung berücksichtigen kann. Sofern das markierte Element nach der manuellen Markierung nicht automatisch erkannt wird, kann der Nutzer seinerseits eine Bedeutungszuweisung vornehmen.
-
In 14 ist zu erkennen, dass das Schlagloch vom Fahrzeug als Hindernis 93 erkannt wurde. Im konkreten Beispiel wurde die geplante Bewegung vom Bewegungsplaner aber nicht geändert, da das Schlagloch nicht als problematisches Hindernis 93 betrachtet wird. Der Nutzer möchte dem Fahrzeug daher selbst eine Route zuweisen.
Für diese Anwendung, die in 15 dargestellt ist, kann der Nutzer in einem ersten Schritt einen einfachen Pfad 95 mit dem Finger auf das Kamerabild des mobilen Gerätes einzeichnen. In einem zweiten Schritt kann dieser Pfad dann von der entsprechenden Pfadplanungseinheit des Fortbewegungsmittels überprüft und in einen ausführbaren Vorschlag übersetzt werden. Hierfür erfolgt vorzugsweise eine erneute und verbesserte augmentierte Anzeige, die die tatsächlichen Fähigkeiten des Fortbewegungsmittels widerspiegelt. Nach einem optionalen dritten Schritt, der Bestätigung, wird dieser neue Pfad dann abgefahren.
-
Bezugszeichenliste
-
- 10
- Empfangen von Informationen zu einer Trajektorie eines Fortbewegungsmittels
- 11
- Anzeigen der Trajektorie als Augmented-Reality-Darstellung
- 12
- Erfassen einer Eingabe eines Nutzers
- 13
- Übermitteln von Informationen zur Eingabe des Nutzers an das Fortbewegungsmittel
- 15
- Übermitteln von Informationen zu einer Trajektorie des Fortbewegungsmittels
- 16
- Empfangen von Informationen für eine Beeinflussung der Trajektorie
- 17
- Planen der Bewegung des Fortbewegungsmittels
- 20
- Vorrichtung
- 21
- Eingang
- 22
- Empfangseinheit
- 23
- Grafikeinheit
- 24
- Kontrolleinheit
- 25
- Speicher
- 26
- Übermittlungseinheit
- 27
- Ausgang
- 28
- Nutzerschnittstelle
- 30
- Vorrichtung
- 31
- Speicher
- 32
- Prozessor
- 33
- Eingang
- 34
- Ausgang
- 40
- Vorrichtung
- 41
- Eingang
- 42
- Empfangseinheit
- 43
- Bewegungsplaner
- 44
- Kontrolleinheit
- 45
- Speicher
- 46
- Übermittlungseinheit
- 47
- Ausgang
- 48
- Nutzerschnittstelle
- 50
- Vorrichtung
- 51
- Speicher
- 52
- Prozessor
- 53
- Eingang
- 54
- Ausgang
- 60
- Smartphone
- 61
- Schnittstelle
- 62
- Display
- 63
- Kamera
- 70
- Augmented-Reality-Brille
- 71
- Kamera
- 72
- Schnittstelle
- 73
- Posenbestimmungsvorrichtung
- 74
- Grafikeinheit
- 75
- Projektionseinheit
- 80
- Fortbewegungsmittel
- 81
- Bildgebender Sensor
- 82
- Radarsensor
- 83
- Lidarsensor
- 84
- Navigationseinrichtung
- 85
- Datenübertragungseinheit
- 86
- Speicher
- 87
- Netzwerk
- 90
- Mobiles Gerät
- 91
- Anzeigeeinheit
- 92
- Trajektorie
- 93
- Hindernis
- 94
- Zielpunkt
- 95
- Pfad
- 96
- Sensor
- 97
- Backend
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016013696 A1 [0006]
- DE 102016009700 A1 [0007]
