AT522549B1

AT522549B1 - Verfahren zum Leiten von Verkehrsteilnehmern

Info

Publication number: AT522549B1
Application number: ATA141/2019A
Authority: AT
Inventors: Correia Duarte Furtado Hugo
Original assignee: Dreamwaves Gmbh
Priority date: 2019-04-18
Filing date: 2019-04-18
Publication date: 2022-09-15
Also published as: KR20210154833A; US20220221296A1; AT522549A3; US11835353B2; AT522549A2; JP2022530347A; WO2020211990A1; EP3956635A1

Abstract

Computerimplementiertes Verfahren zum Führen von Verkehrsteilnehmern in städtischen Umgebungen zwischen zwei Orten, mit folgenden Schritten: A. Bereitstellen einer multimodalen, dreidimensionalen Karte, B. Berechnen einer Route basierend auf der multimodalen, dreidimensionalen Karte, die die zwei Orte über mindestens einen dazwischenliegenden Wegpunkt verbindet, C. Bestimmen des genauen Standortes des Verkehrsteilnehmers unter Verwendung der multimodalen, dreidimensionalen Karte, indem a. eine digitale Ansicht erfasst wird, b. basierend auf einem Rohstandort mindestens eine mögliche künstliche Ansicht anhand der multimodalen, dreidimensionalen Karte erzeugt wird, und c. die künstliche Ansicht und die reale Ansicht verglichen werden, wobei, d. wenn die künstliche Ansicht und die reale Ansicht im Wesentlichen identisch sind, der Standort als Blickwinkel, aus dem die künstliche Ansicht generiert wurde, zur Verfügung gestellt und der Teilprozesses abgeschlossen wird, e. und wenn nicht, das Verfahren ab Schritt b. wiederholt wird, und D. Setzen von Leitpunkten entlang des Pfades an den Wegpunkten.

Description

Beschreibung

[0001] Die Erfindung betrifft ein computerimplementiertes Verfahren zum Führen eines Verkehrsteilnehmers, insbesondere eines Fußgängers, insbesondere einer sehbehinderten oder blinden Person, insbesondere zum Führen in städtischen Umgebungen, zwischen mindestens zwei Orten, wobei das Verfahren die folgenden Schritte enthält:

A. Bereitstellen einer multimodalen, dreidimensionalen Karte,

B. Berechnen einer Route basierend auf der multimodalen, dreidimensionalen Karte, die die mindestens zwei Orte über mindestens einen dazwischenliegenden Wegpunkt verbindet,

C. Bestimmen des genauen Standortes des Verkehrsteilnehmers, vorzugsweise unter Verwendung der multimodalen, dreidimensionalen Karte und

D. Setzen von Leitpunkten entlang des Pfades an den Wegpunkten.

[0002] Mit der öffentlichen Zugänglichkeit des „Global Positioning System“ (GPS) und der Entwicklung kontinuierlich stärkerer, transportabler Recheneinheiten - wie Smartphones - hat sich der Einsatz computergestützter Navigationssysteme bei motorisierten und nicht motorisierten Verkehrsteilnehmern gleichermaßen verbreitet. Sehbehinderte und blinde Menschen, die beim Navigieren im Verkehr wahrscheinlich am ehesten Unterstützung benötigen, können die aktuellen Navigationssysteme jedoch nicht verwenden.

[0003] Systeme zum Navigieren von Fußgängern, insbesondere solche mit Beeinträchtigungen ihrer Sehfähigkeit, sind beispielsweise aus den Veröffentlichungen „Assistive technology solutions for aiding travel of pedestrians with visual impairment” (Chanana P. et al., 2017), „Towards a 3D geo-data model to support pedestrian routing in multimodal public transport travel advices“ (Schaap J. et al. 2010), „Towards a 3D geo-data model to support pedestrian routing in multimodal public transport travel advices“ (Schaap J. et al. 2012), „Different Approache to Aiding Blind Persons in Mobility and Navigation in the 'Naviton' and 'Sound of Vision' Projects“ (Strumillo P. et al., 2018), sowie US 2017/003132 A1 (KIM JU WAN et al., 2017) bekannt. Allerdings weisen diese Systeme sowohl beim Erzeugen der notwendigen Karten als auch beim Lokalisieren der Nutzer große Schwächen auf.

[0004] Einen für Fußgänger viel zu groben und daher unpraktikablen Lösungsansatz zeigt JP 2005-326168 A für das Navigieren von Fahrzeugen.

[0005] Es ist daher Aufgabe der Erfindung, die oben genannten Hindernisse und Nachteile zu überwinden und ein Navigationssystem bereitzustellen, das von allen Verkehrsteilnehmern und insbesondere von sehbehinderten und blinden Personen verwendet werden kann.

[0006] Diese Aufgabe wird durch ein Verfahren wie in Anspruch 1 beschrieben gelöst.

[0007] Weitere bevorzugte und vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Ansprüche.

[0008] Im Folgenden werden eine Darstellung einer bevorzugten Ausführungsform der Erfindung sowie die Probleme mit der gegenwärtigen Technologie beschrieben.

[0009] Die beschriebenen Ausführungsformen und Aspekte sollen lediglich die Erfindung und die damit verbundenen Probleme veranschaulichen, die nicht auf die gezeigten Beispiele beschränkt sind, sondern in einem weiten Bereich von Anwendungen implementiert werden können.

[0010] Fig. 1 zeigt eine Skizze einer urbanen Szene, die das Problem beispielhaft darstellt, [0011] Fig.2 zeigt die Szene aus Fig. 1 mit einem erfindungsgemäß erzeugten Pfad, [0012] Fig. 3 eine weitere urbane Szene mit einem erfindungsgemäß erzeugten Pfad, [0013] Fig. 4 eine zweidimensionale Karte,

[0014] Fig. 5 ein Luftbild der in Fig. 4 gezeigten Region,

[0015] Fig. 6 eine herkömmliche dreidimensionale Karte der in Fig. 4 gezeigten Region, [0016] Fig. 7 ein Tiefenbild der ungefähren, in Fig. 4 gezeigten Region,

[0017] Fig.8 eine multimodale, dreidimensionale Karte der in Fig. 4 gezeigten Region,

[0018] Fig. 9 die multimodale, dreidimensionale Karte von Fig. 8 mit einem erfindungsgemäß erzeugten Pfad, und

[0019] Fig. 10 ein Flussdiagramm, das ein Verfahren zum Lokalisieren eines Nutzers grob darstellt.

[0020] Fig. 1 zeigt eine urbane Szene mit einem Gehsteig 2, einem Gebäude 3, das näher zur Straße gebaut ist, einem Gebäude 4, das weiter von der Straße entfernt gebaut ist, einem Blumenbeet 5, Laternenmasten 6 und geparkten Fahrzeugen 7. Fig. 1 zeigt außerdem eine beispielhafte Route 8, wie sie von einem herkömmlichen Navigationssystem berechnet werden könnte. Man kann deutlich erkennen, dass die tatsächliche Route, die ein Fußgänger nähme, von der gezeigten geraden Linie abweichen und das Blumenbeet 5 und das Gebäude 3, welches näher zur Straße gebaut ist, berücksichtigen würde. Diese Handlung erfordert allerdings, dass der Fußgänger vom Blumenbeet 5 und den unregelmäßig platzierten Gebäuden 3, 4 weiß. Diese Information kann leicht erlangt werden, indem man einfach in der Szene anwesend ist und die Platzierung der vorgenannten urbanen Elemente sehen kann. Fehlt es jedoch an visuellen Informationen, um die Szene zu bewerten, ist die vorgegebene Route 8 unzureichend und kann sogar gefährlich sein, indem sie beispielsweise ein Stolpern einer blinden Person über den Rand des Blumenbeetes verursacht, der mitunter nicht einmal mit einem Blindenstock erkannt werden kann.

[0021] Die in Fig. 2 gezeigte Szene ist die gleiche wie in Fig. 1 mit einem verbesserten Pfad 9, der - wenn ihm ein Fußgänger folgt - keine Anpassungen aufgrund von Hindernissen benötigt. Das Blumenbeet 5 und die verschieden platzierten Gebäude stellen nicht länger eine Gefahr dar.

[0022] Zwei weitere Probleme werden in Fig. 3 illustriert. Erstens besteht ein Problem, wenn ein Fußgänger mit beeinträchtigtem Sehvermögen eine Straße 10 überqueren möchte. Wenn man davon ausgeht, dass Sicherheit von höchster Wichtigkeit ist, muss jede Route, die das Uberqueren von Straßen erfordert, so erzeugt sein, dass Zebrasteifen 11 immer vor anderen Routen priorisiert werden. Zweitens sind stationäre Installationen, wie Poller 12, Laternenpfähle 6 (siehe Fig. 1), Mistkübel 13, Straßenschilder 14 und dergleichen Sicherheitsrisiken, die umgangen werden müssen. Ein optimierter Pfad, die diese Anforderungen erfüllt, ist ebenso in Fig. 3 gezeigt.

[0023] Um einen solchen Pfad 9, 15 zu erzeugen und effizient zu nutzen, sind drei wesentliche Eigenschaften des Systems höchst vorteilhaft. Erstens muss eine möglichst feinkörnige und möglichst präzise Route auf der Karte definiert werden. Zweitens muss die Position des Nutzers mit möglichst hoher Genauigkeit und innerhalb sehr feiner Messungen, ungefähr innerhalb weniger Zentimeter, bestimmt werden, damit ein Nutzer in der Lage ist, der Route zu folgen. Die übliche Genauigkeit von „ein paar Metern“, die die gegenwärtige Technik bietet, wie beispielsweise GPS oder Magnetfeldsensoren (Kompasse auf Mobilgeräten), sind nicht ausreichend. Drittens muss die Pfadinformation, damit eine blinde oder sehbehinderte Person davon Gebrauch machen kann, auf eine Art und Weise übermittelt werden, dass so eine Person diese nutzen kann.

[0024] Um diese Aufgabe zu erfüllen, muss ein erfindungsgemäßes Leitsystem für sehbehinderte und blinde Menschen das Ausführen der folgenden Schritte beinhalten: A. zur Verfügung Stellen einer multimodalen, dreidimensionalen Karte, B. basierend auf der multimodalen, dreidimensionalen Karte Berechnen einer Route, die zumindest zwei Orte über einen dazwischen liegenden Wegpunkt verbindet, C. Bestimmen eines präzisen Standortes des Verkehrsteilnehmers, bevorzugt durch Verwenden der multimodalen, dreidimensionalen Karte und D. Setzen von Leitpunkten entlang des Pfades an den Wegpunkten.

[0025] Eine multimodale dreidimensionale Karte, wie sie in Schritt A. zur Verfügung gestellt wird,

wird aus zwei oder mehr Quellen gewonnen, wobei jede Quelle eine zusätzliche Lage an Informationen hinzufügt. Ein präzise, aber konventionelle Karte kann Informationen darüber enthalten, wo sich Gehsteige und Straßen befinden, sie wird aber wahrscheinlich nicht zwischen Gehsteig und Blumenbeet unterscheiden. Ein (städtischer) Baumkataster kann Informationen über die Lage von Bäumen liefern; dieser ist häufig mit einem Garten- und Parkamt kombiniert, wo die präzise Lage von Öffentlichen Blumenbeeten verzeichnet ist. Stadtwerke können Informationen über Elektrizität (Straßenlaternen) und Wasser (Hydranten, Kanaldeckel) liefern. Die Verkehrsabteilung kann Pläne liefern, wo sich Ampeln, Zebrastreifen und dergleichen befinden.

[0026] Neben den vorgenannten kartographischen und geodätischen Informationen können weitere Quellen zu einer multimodalen, dreidimensionalen Karte hinzugefügt werden, wie beispielsweise: Luftaufnahmen, Sattelitenbilder, Oberflächeninformationen oder konventionelle 3D-Daten. Die letzteren sind beispielsweise einfache geometrische Informationen über dreidimensionale Objekte, beispielsweise die Form und Lage von Häusern.

[0027] Die Liste der möglichen Quellen, um eine multimodale, dreidimensionale Karte zu erstellen, ist nicht erschöpfend und kann erweitert werden, um charakteristische Besonderheiten einer Stadt oder Region widerzuspiegeln, beispielsweise Radwege auf Gehsteigen, für Kutschen reservierte Plätze, Straßenbahnschienen, Stiegen, die Art des Straßenbelags (insbesondere Kopfsteinpflaster), Denkmäler, (Park-)Bänke, Trinkbrunnen, Mülleimer, Fahrradständer, die Außenbereiche von Restaurants oder Defibrillatoren.

[0028] Die Fig. 4 bis Fig. 6 zeigen verschiedene frei verfügbare Karten und Informationen, die zu multimodalen, dreidimensionalen Karten kombiniert werden können. Fig. 4 zeigt eine zweidimensionale Karte. Fig. 5 zeigt eine rekonstruierte Luftaufnahme, die aus Satellitenbildern mit vielen verschiedenen Datensets von verschiedenen Satelliten mit unterschiedlichen Sensoren gewonnen wurde. Fig. 6 zeigt ein dreidimensionales Modell der in Fig. 4 und Fig. 5 gezeigten Region. Fig. 7 zeigt ein sogenanntes „Tiefenbild“ der in Fig. 4 bis 6 gezeigten Region. Ein Tiefenbild zeigt Entfernungen entlang einer definierten Achse, wobei weiter entfernte Oberflächen dunkler dargestellt werden und nähere Oberflächen heller dargestellt werden. Im gezeigten Beispiel ist die definierte Achse die Vertikale. Hellere Bereiche des Tiefenbildes sind entsprechend höher und dunklere Bereiche flacher bzw. niedriger. Im Fall der urbanen Szene zeigt das Tiefenbild in Fig. 7 folglich die Höhe von Gebäuden und anderen Strukturen.

[0029] Alle Daten-Lagen können von einer Vielzahl von verfügbaren Quellen bezogen werden. Ein bevorzugter Weg, Daten zu beziehen, ist durch offene Quellen. Beispielsweise sind die zweidimensionalen Kartendaten, die Luftansicht/-karte und konventionelle dreidimensionale Kartendaten- in vielen Fällen ohne Nutzungsbeschränkungen - von der OpenStreetMap Foundation erhältlich. Weiters haben andere Quellen, wie beispielsweise staatliche Stellen, öffentlich verfügbare geographische Daten über Städte.

[0030] Die Stadt Wien verfügt beispielsweise sowohl über die drei vorgenannten Quellen, als auch über das vorgenannte Oberflächenmodell, aus dem die Höhe von Objekten an jedem Punkt der Karte hergeleitet werden kann. Zur Stadt Wien gibt es über 50 verschiedene Datensets mit verschiedener Detailliertheit, die zum Erzeugen einer multimodalen, dreidimensionalen Karte verwendet werden können.

[0031] In einer bevorzugten Ausführungsform der Erfindung werden die verschiedenen Lagen in einer räumlich kohärenten Weise kombiniert. Räumliche Kohärenz kann erreicht werden, indem beispielsweise Objekte und Merkmale, wie beispielsweise Häuser, in einem gemeinsamen Koordinatensystem definiert werden. Durch das Setzen dieses Schrittes allein sind die Lagen bereits zu einem gewissen Grad aneinander ausgerichtet. Weiters kann eine präzisere Ausrichtung erreicht werden, indem aus dem Stand der Technik gut bekannte Bildregistrierungsmethoden auf Merkmale, die in beiden Karten-Lagen (beispielsweise Gebäude in der Luftansicht und der zweidimensionalen Lage) vorhanden sind, angewendet werden. Durch diese Ausrichtung kann die Lage von Objekten, die nur in einigen Lagen vorhanden sind (beispielsweise Straßenbegrenzungen oder Hydranten), mit allen übrigen Kartenmerkmalen in der multimodalen Karte korreliert werden.

[0032] Wenn sie kombiniert werden, können die folgenden Informationen aus den verschiedenen, beispielhaften Datensets, wie sie in Fig. 4 bis Fig. 7 gezeigt werden, extrahiert werden:

[0033] Die dreidimensionale Lage kann beispielsweise die Information über die genaue Position der Wände 19 (siehe Fig. 8) oder Kanten 20 (siehe Fig. 8) von Gebäuden liefern. Eine Grenze 22 (siehe Fig. 9) zwischen Gehsteig 2 und Straße 10 kann aus der Luftansicht gewonnen werden. Eine Kombination zwischen dem Tiefenbild und der dreidimensionalen Karte liefert beispielsweise sehr gute Näherungen zur korrekten Position von Bäumen (siehe Hindernisse 21 in Fig. 8). Alle in diesem Beispiel, das sich in der Stadt Wien befindet, genannten Informationsquellen sind frei verfügbare, offene Daten der Stadtregierung und anderer, nichtstaatlicher Quellen. Eine multimodale, dreidimensionale Karte kann auch unabhängig von der Erfindung sehr nützlich sein, beispielsweise wenn autonome Fahrzeuge automatisch geführt oder der Transport großer Objekte auf der Straße geplant werden.

[0034] Gemäß einer weiteren Ausführungsform der Erfindung wird mindestens ein begehbarer Raum innerhalb der multimodalen, dreidimensionalen Karte definiert. Der begehbare Raum kann nach einem sehr einfachen Beispiel jeder Gehsteig abzüglich allem sein, was nicht Gehsteig ist, zum Beispiel Gehsteig abzüglich jeder Bank, jedes Mülleimers, Schilderpfostens, Laternenpfahls, Pollers, Blumenbeetes usw. In diesem Fall können die begehbaren Räume automatisch definiert werden. Natürlich können die begehbaren Räume auch manuell definiert werden.

[0035] Neben den im Wesentlichen stationären, vorgenannten Objekten können auch andere Aspekte berücksichtigt werden. Beispielsweise kann der Eingangsbereich eines stark frequentierten Geschäfts vom begehbaren Raum ausgeschlossen und umgangen werden.

[0036] Dementsprechend wird Schritt B vorzugsweise basierend auf der multimodalen, dreidimensionalen Karte ausgeführt, insbesondere basierend auf dem begehbaren Raum.

[0037] Bei der Ausführung von Schritt B (Berechnen eines Pfades) können auch zwei begehbare Räume über mindestens einen Wegpunkt verbunden werden. Weiters wird, wenn zwei oder mehr begehbare Räume innerhalb der multimodalen, dreidimensionalen Karte nicht aneinandergrenzen, mindestens ein Ubergangsraum definiert, und ein Ubergangsraum überbrückt eine Lücke zwischen den zwei oder mehr begehbaren Räumen.

[0038] Dies ist in Fig. 3 dargestellt. Der Gehsteig 2 grenzt nicht direkt an den anderen entfernten Gehsteig 16. Sie sind über zwei Wegpunkte 17, 18 verbunden. Zwischen ihnen befindet sich ein Zebrastreifen 11. In diesem Fall ist der Zebrastreifen 11 der Übergangsraum, der die Lücke zwischen den beiden Gehwegen 2, 16 überbrückt. Andere Arten von Übergangsräumen können beispielsweise Ampeln und Wege zwischen ihnen sein. Jedoch können selbst Treppen oder Räume mit schwierigem Pflaster, wie Kopfsteinpflaster, Ubergangsräume sein, wenn sie nicht als sicherer Raum zum Gehen angesehen werden.

[0039] Ein weiterer Aspekt der Erfindung ist in Fig. 8 und Fig. 9 dargestellt. Sie zeigen ein sehr vereinfachtes Beispiel einer zweidimensionalen Ansicht einer multimodalen, dreidimensionalen Karte.

[0040] Die multimodale, dreidimensionale Karte zeigt das Gebäude 3, die Straße 10 und den Gehsteig 2 genauso, wie es eine normale Karte zeigen würde. Aufgrund der zusätzlichen Informationsebenen wird jedoch die korrekte Position der Wände 19 und Kanten 20 des Gebäudes 3 mit ihrer tatsächlichen Position korrekt notiert. Bäume 21 wurden registriert und entsprechend platziert. Gleiches gilt für die nun korrekt notierte Grenze 22 zwischen Gehsteig 2 und Straße 10.

[0041] Gemäß einer bevorzugten Ausführungsform der Erfindung wird mindestens ein Hindernis identifiziert und in der multimodalen, dreidimensionalen Karte markiert, und mindestens ein Wegpunkt wird festgesetzt, um das Hindernis zu umgehen.

[0042] Wie in Fig. 9 zu sehen ist, wurde ein Pfad 15 entlang mehrerer Wegpunkte 23 erzeugt, die Hindernisse wie Wände 19, Ecken 20, Bäume 21 und die Grenze 23 zwischen Straße 10 und Gehsteig 2 umgehen.

[0043] Wenn die Wegpunkte 23 automatisch oder manuell erstellt werden, ist es wichtig zu ver

suchen, sich in einem maximalen Abstand zu Räumen zu befinden, die keine begehbaren Räume sind. Ein einfacher Weg, geeignete Orte für Wegpunkte zu finden, könnte darin bestehen, einen Engpass zu identifizieren und die Wegpunkte im Wesentlichen in der Mitte des Engpasses zu platzieren, um einen maximalen Abstand zu allen Räumen zu erreichen, die keine begehbaren Räume sind.

[0044] Um dem nun erstellten Pfad zu folgen, muss der genaue Standort der Person (oder des Fahrzeugs / der Drohne) bekannt sein. Dies kann vorzugsweise durch Lokalisieren eines Geräts erfolgen, das zum Ausführen des computerimplementierten Verfahrens verwendet wird, beispielsweise eines Smartphones. Die Methoden zum Auffinden von Geräten sind jedoch nicht präzise genug, um sicher zu erkennen, wo sich das Gerät auf einem Pfad befindet oder ob es sich überhaupt auf oder in der Nähe des Pfads befindet.

[0045] Ein erfindungsgemäßes Verfahren zum Bestimmen des genauen Ortes des Verkehrsteilnehmers während des Schrittes C der Erfindung ist in dem Flussdiagramm in Fig. 10 gezeigt.

[0046] Die dargestellte, erfindungsgemäße Ausführungsform umfasst die folgenden Unterschritte:

a. Erfassen einer realen Ansicht durch Verarbeiten mindestens eines digitalen Bildes der Umgebung,

b. Erzeugen mindestens einer möglichen, künstlichen Ansicht basierend auf einem Rohstandort, wobei der Rohstandort eine Szene bereitstellt, die Teil der multimodalen, dreidimensionalen Karte ist, und die dargestellt wird, um die künstliche Ansicht bereitzustellen,

c. Vergleichen der künstlichen Ansicht und der realen Ansicht,

d. wenn die künstliche Ansicht und die reale Ansicht im Wesentlichen identisch sind, zur Verfügung Stellen des Ortes als Blickwinkel, aus dem die künstliche Ansicht generiert wurde, und Abschließen des Unterprozess,

e. wenn die künstliche Ansicht und die reale Ansicht nicht im Wesentlichen gleich sind, wird der Teilprozess mit mindestens einer anderen künstlichen Ansicht wiederholt.

[0047] Schritt a. kann einfach ausgeführt werden, indem die Szene vor dem Gerät fotografiert wird, mit dem der Vorgang ausgeführt wird. Wenn das Gerät ein Smartphone ist, kann die Smartphone-Kamera verwendet werden.

[0048] Das Filmen einer Szene wird auch als Fotografieren betrachtet, da das Filmen im Grunde genommen das Fotografieren mit einer (höheren) Bildrate ist.

[0049] Eine Abfolge von Bildern, die aneinandergereiht sind, um eine größere reale Ansicht zu erzeugen, wird ebenfalls als im Umfang der Erfindung liegend angesehen.

[0050] Dann wird mindestens eine künstliche Ansicht erstellt. Dies kann beispielsweise unter Verwendung eines Raycasters erfolgen, wie er dem Fachmann bekannt ist. Ein einfacher Raycaster wirft Strahlen von einem bestimmten Blickwinkel durch eine 3D-Oberfläche und rendert die erste Oberfläche, auf die die Strahlen treffen. Anspruchsvollere Raycaster können das Material berücksichtigen und beispielsweise sogar eine Ansicht rendern, als wäre sie durch Glas gegangen. Für diese Ausführungsform der Erfindung ist jedoch ein sehr einfacher Raycaster ausreichend. Andere Verfahren zum Rendern von 3D- Bildern können ebenfalls verwendet werden. Im Fall dieser Ausführungsform ist die 3D-Oberfläche die multimodale, dreidimensionale Karte.

[0051] Der Blickwinkel ist ein Rohstandort. Der Rohstandort kann durch jedes bekannte Ortungsmittel erhalten werden, beispielsweise GPS, Magnetsensoren oder ein Trägheitsnavigationssystem, das Bewegungssensoren wie Beschleunigungssensoren und Gyroskope verwendet. Die Näherung des Rohstandortes kann auch verbessert werden, indem ein Teil oder alle zuvor bekannten, genauen Standorte in der Karte berücksichtigt werden. Diese Informationen können zusammen mit geometrischen Einschränkungen (wie Wänden) der Karte verwendet werden, um die vom Sensor geschätzte Unsicherheit des aktuellen Rohstandorts zu verringern. Zum Beispiel kann eine Person nicht stehen, wo sich Gebäude oder Bäume befinden.

[0052] Die künstliche Ansicht und die reale Ansicht werden dann verglichen. Wenn sie im Wesentlichen gleich sind, wird der Blickwinkel der künstlichen Ansicht als Standort des Verkehrsteilnehmers betrachtet. Wenn sie nicht gleich sind, werden weitere künstliche Ansichten mit der realen Ansicht verglichen, bis ein Ort bestimmt wurde.

[0053] Ein Problem, das das oben erwähnte Verfahren zum Bestimmen eines Ortes behindern kann, besteht darin, dass die Sicht der Kamera, die das Bild aufnimmt, das zum Erstellen der realen Ansicht verwendet wird, behindert ist. Diese Hindernisse können beliebige Objekte sein, die sich zwischen den Oberflächen und Objekten der multimodalen, dreidimensionalen Karte und der Kamera befinden. Ubliche Ursachen für ein solches Hindernis sind dynamische Objekte, die Teil der Szenerie sein können, aber nicht von der multimodalen, dreidimensionalen Karte erfasst werden, wie z. B. Autos 24, Fußgänger 25 (siehe Fig. 3 für beide), nicht permanente Kunstinstallationen oder Werbung wie Kundenstopper.

[0054] Selbst wenn der Schwellenwert für die Berücksichtigung der realen Ansicht und der künstlichen Ansicht sehr grob eingestellt ist, kann eine hohe Anzahl dynamischer Objekte beim Vergleich von Ansichten zu falsch-negativen Ergebnissen führen. Um dieses Problem zu vermeiden, wird bei der Verarbeitung des digitalen Bilds zur Erstellung der realen Ansicht ein Unterschritt „1. Dynamische Objekte aus dem Bild entfernen“ ausgeführt. Ein mögliches Mittel zum Entfernen dynamischer Objekte besteht darin, sie mit einer künstlichen Intelligenz zu identifizieren, beispielsweise ein Convolutional Neural Network, das darauf trainiert ist, Fußgänger, Autos, Fahrräder und dergleichen in Bildern zu identifizieren.

[0055] Das beschriebene Verfahren zur Bestimmung eines Standortes kann vorteilhafterweise unabhängig von der Erfindung implementiert werden. Es kann in Kombination mit den oben genannten anderen Eigenschaften der Erfindung oder allein verwendet werden.

[0056] Sobald der genaue Standort bestimmt wurde, ist die Relation zwischen einem Benutzer und seiner Umgebung bekannt und es kann eine Augmented Reality erstellt werden, die sich genau in die Realität einpasst.

[0057] Der Benutzer muss in diesem Fall kein Fachmann sein. Es reicht aus, wenn er einfach in der Lage ist, die Vorrichtung zu bedienen, auf der das Verfahren ausgeführt wird, beispielsweise ein Smartphone zu benutzen.

[0058] Gemäß einer bevorzugten Ausführungsform der Erfindung sind die Leitpunkte aus Schritt D innerhalb der Augmented Reality wahrnehmbar.

[0059] Beispielsweise können die wahrnehmbaren Leitpunkte innerhalb des Bildes, das zur Bestimmung des Ortes aufgenommen wurde, oder innerhalb einer Ansicht einer Kamera des oben genannten Geräts oder in das Sichtfeld einer Smartbrille, eingeblendet werden.

[0060] Diese Mittel helfen jedoch sehbehinderten oder blinden Benutzern kaum oder gar nicht. Daher ist das Verfahren gemäß einer weiteren bevorzugten Ausführungsform der Erfindung dadurch gekennzeichnet, dass die Augmented Reality akustisch ist und die Leitpunkte an ihren jeweiligen Positionen hörbar sind. Dies kann beispielsweise über Kopfhörer realisiert werden, die an bestimmten Positionen Geräusche simulieren. In einer einfacheren, beispielhaften Ausführungsform erzeugt die Vorrichtung selbst einen Ton, der lauter wird, wenn sie auf den nächsten Leitpunkt gerichtet ist, und leiser, wenn sie weg gerichtet ist. Wenn ein Leitpunkt/Wegpunkt erreicht wurde, kann ein Geräusch abgespielt werden, um anzuzeigen, dass das Geräusch für den nächsten Leitpunkt nun abgespielt wird. Bei Verwendung von Stereotechnik ist der Ton im linken Lautsprecher außerdem lauter zu hören, wenn sich der Wegpunkt links vom Benutzer befindet, und im rechten Lautsprecher lauter, wenn sich der Wegpunkt rechts vom Benutzer befindet. In einer bevorzugten Ausführungsform kann binaurales virtuelles Audio (auch als räumliches Audio oder 3D-Audio bekannt) verwendet werden. In diesem Fall steuert das Gerät eine Audioquelle, um dem Benutzer zu simulieren, dass der Ton vom tatsächlichen räumlichen Ort des Wegpunkts kommt. Da diese Technik die Art und Weise simuliert, wie Menschen Richtung und Entfernung einer Schallquelle wahrnehmen, ist sie ideal, um Benutzer entlang des Pfades zu führen, da dies ein echtes Mittel ist, um virtuelle Geräuschquellen im Raum zu implementieren (Audio Augmented

Reality).

[0061] Es wird auch bevorzugt, dass jeweils nur ein Leitpunkt aktiv ist. Vorzugsweise ist nur der nächstgelegene Leitpunkt entlang des Pfades aktiv und es wird zum nächsten umgeschaltet, wenn der Benutzer den jeweiligen Wegpunkt erreicht.

[0062] Das beschriebene Verfahren zum Führen von Personen kann unabhängig von der Erfindung vorteilhaft implementiert und für Systeme zum Führen verwendet werden, die auf anderen Verfahren basieren, beispielsweise zum Führen von Personen innerhalb eines Gebäudes. Ein mögliches Verfahren zum Lokalisieren des Benutzers relativ zu seiner Umgebung könnte dann beispielsweise die Verwendung von RFID-Transpondern innerhalb des Gebäudes und eines entsprechenden RFID-Chips am Benutzer sein.

[0063] Die Augmented Reality kann natürlich weitere Indikatoren enthalten, zum Beispiel beim Erreichen oder Überqueren von UÜbergangsräumen oder um welche Art von Ubergangsraum es sich handelt (Zebrastreifen, Ampel, Treppe, Rampe, Aufzug, Rolltreppen usw.).

[0064] Im Allgemeinen kann jedes Element, das in der multimodalen, dreidimensionalen Karte vermerkt ist, Teil der Augmented Reality sein.

[0065] Ein Verkehrsteilnehmer gemäß der Erfindung kann nicht nur ein Fußgänger sein, sondern auch ein Fahrradfahrer, eine Drohne, ein Auto oder dergleichen.

BEZUGSZEICHENLISTE

1 urbane Szene 14 Straßenschild 2 Gehsteig 15 Pfad

3 Gebäude 16 Gehsteig (nicht verbunden) 4 Gebäude 17 Wegpunkt

5 Blumenbeet 18 Wegpunkt

6 Laternenpfähle 19 Wand

7 Autos 20 Kante / Ecke 8 Route 21 Baum

9 Pfad 22 Grenze

10 Straße 23 Wegpunkte 11 Zebrastreifen 24 Autos

12 Poller 25 Fußgänger

13 Mülleimer

71717

Claims

Patentansprüche

1. Computerimplementiertes Verfahren zum Führen von Verkehrsteilnehmern, insbesondere Fußgängern, insbesondere sehbehinderten und blinden Personen, insbesondere zum Führen in städtischen Umgebungen, zwischen mindestens zwei Orten, wobei das Verfahren die folgenden Schritte enthält:

A. Bereitstellen einer multimodalen, dreidimensionalen Karte,

D. Setzen von Leitpunkten entlang des Pfades an den Wegpunkten dadurch gekennzeichnet, dass Schritt C mit folgenden Teilschritten durchgeführt wird:

b. Erzeugen mindestens einer möglichen künstlichen Ansicht basierend auf einem Rohstandort, wobei eine Szene auf Basis des Rohstandorts bereitgestellt wird, die Teil der multimodalen, dreidimensionalen Karte ist und die dargestellt wird, um die künstliche Ansicht bereitzustellen,

c. Vergleichen der künstlichen Ansicht und der realen Ansicht,

d. wenn die künstliche Ansicht und die reale Ansicht im Wesentlichen identisch sind, zur Verfügung Stellen des Standortes als Blickwinkel, aus dem die künstliche Ansicht generiert wurde, und Abschließen des Teilprozesses,

e. wenn die künstliche Ansicht und die reale Ansicht nicht im Wesentlichen gleich sind, wird der Teilprozess mit mindestens einer weiteren künstlichen Ansicht wiederholt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die multimodale, dreidimensionale Karte aus mindestens zwei, vorzugsweise mehreren, Quellen erzeugt wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Quellen in Schritt A mindestens eines oder mehrere des Folgenden enthalten: zweidimensionale Kartendaten, Satellitenbilder, herkömmliche dreidimensionale Informationen, topografische Karten, (kommunale) Straßenbauminventare, Hydrantenpläne, Straßenbaupläne, Oberflächentextur für dreidimensionale Modelle und Luftaufnahmen.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass innerhalb der multimodalen, dreidimensionalen Karte mindestens ein begehbarer Raum definiert ist.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass Schritt B basierend auf dem begehbaren Raum innerhalb der multimodalen, dreidimensionalen Karte ausgeführt wird.

6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass zwei benachbarte, begehbare Räume über mindestens einen Wegpunkt verbunden sind.

7. Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass in Schritt A innerhalb der multimodalen, dreidimensionalen Karte mindestens ein Ubergangsraum definiert wird, und dass ein UÜbergangsraum eine Lücke zwischen mindestens zwei begehbaren Räumen überbrückt, die nicht aneinander grenzen.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass mindestens ein Hindernis identifiziert und in der multimodalen, dreidimensionalen Karte markiert wird, und dass mindestens ein Wegpunkt gesetzt wird, um das Hindernis zu umgehen.

9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der Teilschritt C.a. den folgenden Teilschritt enthält:

i Entfernen dynamischer Objekte aus dem digitalen Bild.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass dynamische Objekte eines 0der mehre Objekte aus einer Liste sind, die enthält: Autos, andere Fußgänger, Tiere, bewegliche Mülleimer, Kundenstopper, mobile Werbeanlagen, Fahrräder.

11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass mit der genauen Position von Schritt C und der multimodalen, dreidimensionalen Karte aus Schritt A eine Augmented Reality um einen Benutzer erzeugt wird, und dass die Leitpunkte aus Schritt D in dieser Augmented Reality wahrnehmbar sind.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Augmented Reality akustisch ist, und dass die Leitpunkte an ihrem jeweiligen Standort hörbar sind.

13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass nur ein oder zwei Leitpunkte gleichzeitig aktiv sind, und dass der aktive Leitpunkt oder die aktiven Leitpunkte in Richtung des Pfades am nächsten liegen.

14. System zum Führen von Verkehrsteilnehmern, dadurch gekennzeichnet, dass ein Gerät ein Verfahren nach einem der Ansprüche 1 bis 13 ausführt.

Hierzu 8 Blatt Zeichnungen