-
Die Erfindung betrifft ein Verfahren und ein System zum Lokalisieren eines autonom betriebenen Transportmittels. Die Erfindung betrifft auch ein entsprechendes autonom betriebenes Transportmittel. Die Lokalisation erfolgt dabei mittels einer so genannten simultanen Positionsbestimmung und Kartierung (Simultaneos Localization and Mapping, kurz: SLAM). Das heißt, es wird der so genannte SLAM-Algorithmus genutzt, um das autonom betriebene Transportmittel zu orten, also dessen relative geographische Position zu bestimmen.
-
Unter Verwendung des SLAM-Algorithmus kann ein fahrerloses Transportfahrzeug, wie zum Beispiel ein mobiler Roboter, eine Karte seiner Umgebung erstellt und anhand dieser dann seine aktuelle relative Position in der Umgebung abschätzen. Dadurch kann eine Lokalisation des mobilen Roboters in der jeweiligen Umgebung durchgeführt werden. Um die Karte zu erstellen, kann der mobile Roboter Sensordaten der Umgebung erfassen. Entsprechende Sensordaten können zum Beispiel Tiefen- oder RGB-Bilder sein. Die Sensordaten können ausgewertet werden, um Objekte oder Kanten zu erkennen. Die relative Position der erkannten Objekte zu dem mobilen Roboter kann dann in einem Frame (Datenstruktur für die Repräsentation von Objekten) gespeichert werden. Durch kontinuierliches Aufnehmen der Umgebung im Umkreis des mobilen Roboters und Erkennen von Objekten kann eine Klassifizierung durchgeführt und eine Karte der Umgebung erstellt werden. Durch Fortbewegung des mobilen Roboters in der Umgebung verändert sich die Positionen der erkannten Objekte gemäß den erfassten Sensordaten. Anhand dieser Veränderung kann eine relative Positionsveränderung des mobilen Roboters abgeschätzt werden. Falls die Karte der Umgebung aufgenommen wurde, kann der mobile Roboter zudem selbständig seine Position durch Vergleich seiner aktuellen Sensordaten mit der Karte feststellen.
-
Die konkrete Umsetzung des SLAM-Algorithmus ist aus dem Stand der Technik hinreichend bekannt. Zum Beispiel offenbart die
DE 10 2016 114 594 A1 einen Roboter, dessen Navigation unter Verwendung des SLAM-Algorithmus durchgeführt wird.
-
Insgesamt kann ein Lokalisationsverfahren auf Basis des SLAM-Algorithmus grob in die folgenden drei Prozesse aufgeteilt werden: eine Objekterkennung (Feature Extraction), eine Kartenerstellung (Mapping) und eine Erkennung von Gemeinsamkeiten des aktuellen Bildes mit der zuvor aufgezeichneten Karte (Loop Closure). Alle drei Prozesse können sehr rechenaufwendig und zugleich zeitkritisch sein, da zum Beispiel auch die Steuerung des Roboters davon abhängen kann. Um dem Rechenaufwand gerecht zu werden und die benötigte Rechenleistung verfügbar zu machen, kann der mobile Roboter mit einem Prozessor (Central Processing Unit, kurz: CPU) und einer Graphikkarte mit einer hohen Rechenkapazität ausgestattet werden. Solche Prozessoren und Graphikkarten sind jedoch häufig teuer, oft überdimensioniert und verbrauchen in der Regel viel Energie. Das kann zu einer kürzeren Laufzeit der Geräte führen. Eine andere Möglichkeit besteht darin, die Rechenoperationen und somit die Rechenlast aus dem mobilen Roboter auszulagern. Dazu sind aus dem Stand der Technik verschiedene Möglichkeiten bekannt.
-
Zum Beispiel offenbart die
DE 10 2016 121 320 A1 ein Verfahren zum Betreiben eines sich selbständig fortbewegenden Roboters. Dieser nutzt für die Positionsbestimmung den vorgenannten SLAM-Algorithmus. Für die Navigation des Roboters werden relevante Daten zumindest teilweise zur Verarbeitung an eine externe Recheneinrichtung übermittelt.
-
Aus der
DE 10 2018 009 906 A1 ist beispielsweise ein Verfahren zum Auslagern von Rechenleistung aus einem mobilen Endgerät, wie etwa einem Fahrzeug über ein Netzwerk an mindestens einen Edge-Cloudcomputer oder einen Cloudcomputer bekannt. Das Auslagern erfolgt in Abhängigkeit von erfassten Ressourceninformationen.
-
Es ist die Aufgabe der Erfindung unter Verwendung des SLAM-Algorithmus situationsabhängig eine möglichst schnelle Lokalisation eines autonom betriebenen Transportmittels zu realisieren.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die Beschreibung sowie die Figuren offenbart.
-
Die Erfindung basiert auf der Erkenntnis, dass heutzutage Kommunikationsverbindungen mit einer hohen Kapazität in Bezug auf einen möglichen Durchsatz verfügbar sind, die eine Auslagerung von bandweitenintensiven Applikationen in die Cloud, also an eine externe Recheneinrichtung, denkbar machen. Seit der Einführung des fünften Mobilfunkstandards (5G) und des WLAN-Standards 802.1 1ax wird auch die Latenz und die Zuverlässigkeit als Parameter in die Entwicklung von kabellosen Netzwerken einbezogen. Somit wird auch die Auslagerung des rechenintensiven und zeitkritischen SLAM-Algorithmus zur Lokalisation eines autonom betriebenen Transportmittels möglich. Um Latenzen zum Beispiel in der Funkverbindung zwischen Cloud und Transportmittel gering zu halten, kann die Rechenkapazität örtlich nah an der Funkverbindung platziert werden. Es kann in kabellosen Netzwerken aber dennoch zu Latenzschwankungen und Bandweitenschwankungen kommen. Dadurch kann es zu zeitkritischen Verzögerungen in der Datenübertragung im Netzwerk kommen. Um dies zu vermeiden, wird ein dynamisches Load Balancing (dynamische Lastverteilung) für den SLAM-Algorithmus zur Lokalisation des autonom betriebenen Transportmittels vorgeschlagen. Das Load Balancing kann zum Beispiel abhängig von den Ressourcen beziehungsweise Kennwerten, die die Funkverbindung in dem Netzwerk liefern kann, sein. Es geht in der Erfindung also um ein Verfahren und System zur dynamischen Auslagerung der Lokalisierung eines oder mehrerer autonom betriebener Transportmittel.
-
Für die Umsetzung des dynamischen Load Balancing schlägt die Erfindung ein Verfahren zum Lokalisieren oder Orten eines autonom betriebenen Transportmittels mittels einer simultanen Positionsbestimmung und Kartierung (SLAM-Algorithmus) vor. Das Transportmittel umfasst dazu eine Umgebungserfassungseinrichtung und eine Recheneinrichtung. Das Transportmittel kann zum Beispiel ein mobiler Roboter oder ein Kraftfahrzeug sein.
-
Für die Lokalisation werden in dem Verfahren folgende Schritte ausgeführt. Zunächst werden Umgebungsdaten einer Umgebung des Transportmittels mittels der Umgebungserfassungseinrichtung erfasst. Das heißt, das Transportmittel kann seine Umgebung selbst aufnehmen oder aufzeichnen. Danach werden die erfassten Umgebungsdaten verarbeitet oder ausgewertet. Das Verarbeiten der Umgebungsdaten ist dabei im Wesentlichen in die drei eingangs erwähnten Prozesse unterteilt, nämlich die Objekterkennung (Feature Extraction), die Kartenerstellung (Mapping) und den Karten-Bild-Vergleich (Loop Closure).
-
Zur Objekterkennung wird aus den erfassten Umgebungsdaten wenigstens ein Umgebungsmerkmal der Umgebung ermittelt. Das Umgebungsmerkmal kann zum Beispiel ein vorbestimmtes Bildmerkmal und/oder ein Objekt und/oder eine Kante sein. Die Umgebung beschreibt vorliegend einen erfassbaren Bereich im Umkreis des Transportmittels. Je nach verwendeter Umgebungserfassungseinrichtung und Umgebungstopographie kann der erfassbare Bereich wenige Meter bis einige Kilometer betragen. Zum Beispiel kann ein Bereich von zwei bis drei Kilometern Umkreis um das Transportmittel als die Umgebung erfasst werden. Die Umgebungsdaten können diese Umgebung abbilden. Die Umgebungsdaten können zum Beispiel von einem jeweiligen Sensor der Umgebungserfassungseinrichtung als Sensordaten oder Messdaten bereitgestellt werden. Ist die Umgebungserfassungseinrichtung beispielsweise als Kamera ausgebildet, können die Umgebungsdaten als Bilddaten, etwa in Form eines RGB-Bilds oder Stereobilds oder Tiefenbilds, vorliegen. Natürlich sind in Abhängigkeit von der Ausgestaltung der Umgebungserfassungseinrichtung auch andere Ausgestaltungen der Umgebungsdaten möglich. Die Umgebungserfassungseinrichtung kann zum Beispiel zusätzlich oder alternativ als Radarsystem, Lidarsystem oder Ultraschallsystem ausgebildet sein. Das Auswerten der Umgebungsdaten zum Ermitteln des jeweiligen Umgebungsmerkmals kann zum Beispiel mit bekannten Objekterkennungsalgorithmen oder Merkmalsdetektionsverfahren erfolgen.
-
Zur Kartenerstellung werden Kartendaten beschreibend eine Karte der Umgebung des Transportmittels bereitgestellt. In den Kartendaten sind dabei Umgebungsmerkmale der mittels der Karte dargestellten Umgebung umfasst. Die Karte kann das Transportmittel zum Beispiel durch zyklisches Erfassen der Umgebung aus den erfassten Umgebungsdaten zum Beispiel selbst erstellen. Alternativ kann das Transportmittel die Kartendaten aus einem internen Datenspeicher oder einem externen Datenserver laden oder abrufen. Bei Nutzung eines externen Datenservers können die Kartendaten zum Beispiel von mehreren verschiedenen Transportmitteln genutzt werden. So kann zum Beispiel ein erstes Transportmittel auf die Kartendaten eines zweiten Transportmittels zugreifen. Denkbar ist zum Beispiel auch eine Kombination beider Methoden. Das heißt, es kann in einem Optimierungs- oder Schätzungsprozess der aktuell neu erfassten Umgebungsdaten und den bereits bekannten Kartendaten, die wahrscheinlichste Karte ermittelt werden.
-
Zum Karten-Bild-Vergleich wird schließlich eine relative Position des Transportmittels in der Umgebung bestimmt, indem die erfassten Umgebungsdaten mit den Kartendaten zum Abgleichen der jeweiligen Umgebungsmerkmale miteinander verglichen werden. Das heißt, es wird überprüft, ob und wo in der Karte übereinstimmende Umgebungsmerkmale mit den Umgebungsdaten vorhanden sind. Es werden also Gemeinsamkeiten der Karte mit den Umgebungsdaten ermittelt.
-
Um die einzelnen Verarbeitungsschritte zum Verarbeiten der erfassten Umgebungsdaten auslagern zu können, wird zudem eine externe Recheneinrichtung bereitgestellt. Mit extern ist gemeint, dass die Recheneinrichtung nicht von dem Transportmittel umfasst ist. Die Recheneinrichtung kann zum Beispiel von einem zentralen Server umfasst sein. Es können natürlich können mehrere, also zwei oder mehr entsprechende Recheneinrichtungen vorgesehen sein. Mittels der jeweiligen Recheneinrichtung können bei Bedarf die entsprechenden Rechenoperationen für die Umgebungsdatenverarbeitung durchgeführt werden. Dazu können entsprechende Verarbeitungsdaten zwischen der Recheneinrichtung des Transportmittels und der externen Recheneinrichtung gesendet werden. Mit Verarbeitungsdaten sind dabei diejenigen Daten gemeint, die beim Verarbeiten oder Auswerten der erfassten Umgebungsdaten entstehen. Dabei kann es sich sowohl um Daten oder Datenpakete handeln, die zur Verarbeitung an die externe Recheneinrichtung gesendet werden (zu verarbeitende Daten) oder um Daten, die nach der Verarbeitung von der externen Recheneinrichtung zurückgesendet werden (verarbeitete Daten).
-
Zum Übertragen der Verarbeitungsdaten wird eine Kommunikationsverbindung zwischen der Recheneinrichtung des Transportmittels und der externen Recheneinrichtung bereitgestellt oder aufgebaut. Die Kommunikationsverbindung ist zum Beispiel drahtlos ausgebildet. Sie kann beispielsweise als Funkverbindung, wie etwa als WLAN-Verbindung oder Mobilfunkverbindung vorliegen. Zum Herstellen der Kommunikationsverbindung können die jeweiligen Recheneinrichtungen ein jeweiliges Kommunikationsmodul mit einer entsprechenden Funkschnittstelle, wie zum Beispiel einem Antennensystem, aufweisen.
-
Um situationsabhängig eine möglichst schnelle Lokalisation des Transportmittels in der Umgebung zu realisieren, wird eine Verbindungsqualität der Kommunikationsverbindung ermittelt. Dazu werden Verbindungsdaten, die der Kommunikationsverbindung zugeordnet sind, ausgewertet. Mit Verbindungsdaten sind vorliegend Daten oder Informationen gemeint, die eine Eigenschaft oder einen Zustand der Kommunikationsverbindung beschreiben und somit auf die Güte der Verbindung rückschließen lassen. Das heißt, es geht zum Beispiel darum, zu ermitteln, wie schnell oder welche Datenmenge pro Zeiteinheit die Verarbeitungsdaten übermittelt oder gesendet werden können.
-
In Abhängigkeit von der ermittelten Verbindungsqualität werden gemäß einer vorgegebenen Zuordnungsvorschrift die Verfahrensschritte zum Verarbeiten der Umgebungsdaten (Verarbeitungsschritte) vollständig oder teilweise zwischen der Recheneinrichtung des Transportmittels und der externen Recheneinrichtung aufgeteilt. Anders ausgedrückt, alle Verarbeitungsschritte insgesamt mit genau einer der Recheneinrichtung durchgeführt werden oder jeder der Verarbeitungsschritte wird genau einer der Recheneinrichtungen zur Verarbeitung zugeteilt. Alternativ können natürlich auch Teilschritte genau eines der jeweiligen Verarbeitungsschritte, also einzelne Rechenoperationen zwischen den Recheneinrichtungen wie beschrieben aufgeteilt werden. So kann zum Beispiel die Objekterkennung in den Umgebungsdaten mittels der Transportmittelrecheneinrichtung durchgeführt werden, während die Untersuchung der Umgebungsdaten nach Kanten mittels der externen Recheneinrichtung durchgeführt wird. Im Folgenden wird zur Vereinfachung nur noch von der Aufteilung oder Zuteilung der Verfahrensschritte gesprochen. Natürlich ist unter dieser Formulierung aber auch das Aufteilen der Verfahrensschritte in Teilschritte oder einzelne Rechenoperationen zu verstehen.
-
Durch die Aufteilung der Verfahrensschritte ergibt sich der Vorteil, dass zum Beispiel aufwendige Rechenaufgaben oder Rechenoperationen zwischen den jeweiligen Recheneinrichtungen aufgeteilt werden kann. Bei Bedarf können somit aufwendige Rechenoperationen von dem Transportmittel ausgelagert werden. Zudem kann die Verarbeitung der Umgebungsdaten dadurch parallelisiert werden. Dadurch können Performance Vorteile durch höhere Rechenkapazität erzielt werden. Die Lokalisation des Transportmittels kann also noch effizienter und schneller erfolgen. Indem die Verbindungsqualität berücksichtigt wird, kann außerdem eine qualifizierte Entscheidung darüber getroffen werden, welche Rechenoperationen überhaupt ausgelagert werden sollen. So kann zum Beispiel sichergestellt werden, dass die Verarbeitungsdaten nur dann ausgelagert werden, wenn die Datenübertragung im Wesentlichen ohne Verluste erfolgen kann. Somit kann situationsabhängig die Lokalisation des Transportmittels schnellstmöglich durchgeführt werden. Das dynamische Auslagern der Verarbeitungsschritte hat zudem den Vorteil, dass weniger Hardware auf dem Gerät, also dem Transportmittel benötigt wird. Das spart Kosten, wodurch das Transportmittel günstiger wird. Zusätzlich wird das Transportmittel leichter und verbraucht dadurch weniger Energie, wodurch die Laufzeit erhöht werden kann.
-
Bei der Zuteilung oder Aufteilung der Verfahrensschritte können zudem Metadaten zu den Verarbeitungsdaten berücksichtigt werden. Mit Metadaten sind vorliegend Daten gemeint, die eine Information über eine Eigenschaft der Verarbeitungsdaten bereitstellen. Diese können zum Beispiel mit den Verbindungsdaten korrespondieren. Zum Beispiel können in den Metadaten eine Paketgröße, eine benötigte Rechenkapazität und/oder eine Verarbeitungsdauer und/oder ein maximal zulässiger Verlust und/oder eine maximal zulässige Latenz und/oder eine Priorität und/oder ein Datentyp gespeichert sein. Die Verarbeitungsdaten werden zum Beispiel nur dann über die Kommunikationsverbindung gesendet, wenn die Metadaten und die Verbindungsdaten zusammenpassen. Das heißt, es kann überprüft werden, ob die Metadaten und die Verbindungsdaten gemäß einem vorgegebenen Überprüfungskriterium übereinstimmen oder aufeinander abgestimmt sind.
-
Zur Verbesserung der Genauigkeit der Lokalisation des Transportmittels oder zur Verifikation der bestimmten relativen Position können zusätzlich noch Odometriedaten oder GPS-Daten (GPS: Global Positioning System, Globales Positionsbestimmungssystem) des Transportmittels herangezogen oder berücksichtigt werden. Dazu kann die relative Position, die mittels des SLAM-Algorithmus bestimmt wurde, mit den Odometriedaten oder GPS-Daten verglichen und bei einer Abweichung nach einem bestimmten Annäherungskriterium an die Odometriedaten oder GPS-Daten angepasst werden.
-
Die Erfindung umfasst auch Ausführungsformen durch die sich zusätzliche Vorteile ergeben.
-
Gemäß einer Ausführungsform werden zum Ermitteln der Verbindungsqualität als jeweilige Verbindungsdaten zumindest eine der folgenden Eigenschaften der Kommunikationsverbindung beziehungsweise der Datenübertragung mittels der Kommunikationsverbindung bestimmt:
- - ein Übertragungsstandard, und/oder
- - eine Latenz, und/oder
- - eine Datenübertragungsrate (Bandbreite/Bandweite), und/oder
- - ein Datendurchsatz, und/oder
- - Verluste in der Datenübertragung, also zum Beispiel eine Zuverlässigkeit der Kommunikationsverbindung, und/oder
- - Reflexionen, und/oder
- - Interferenzen, und/oder
- - ein nicht-Sichtverbindungsverlust (Non line of sight, kurz: NLOS), und/oder
- - ein Jitter, also Latenzschwankungen in der Datenübertragung.
-
Gemäß einer weiteren Ausführungsform werden gemäß der Zuordnungsvorschrift mehrere, also beispielsweise unterschiedliche, Qualitätsklassen für die Verbindungsqualität vorgegeben. Jede der Qualitätsklassen beschreibt eine unterschiedliche Qualität oder Güte der Kommunikationsverbindung. Das heißt, die jeweilige Qualitätsklasse stellt dar, wie effizient und/oder genau und/oder schnell die Datenübertragung mittels der Kommunikationsverbindung erfolgen kann. Für jede der Qualitätsklassen ist dabei einerseits ein Sollwert oder Sollwertebereich, also zum Beispiel ein Grenzwert, für die jeweiligen Verbindungsdaten vorgegeben. Andererseits ist für jede der Qualitätsklassen eine Aufteilungsinformation für das vollständige oder teilweise Aufteilen der Verfahrensschritte zum Verarbeiten der Umgebungsdaten zwischen den jeweiligen Recheneinrichtungen vorgegeben. Die Aufteilungsinformation gibt dabei an, welche Rechenoperationen mit welcher der Recheneinrichtungen durchgeführt werden sollen. Somit ist durch die Aufteilungsinformation auch vorgegeben, welche der Verarbeitungsdaten für den jeweiligen Verfahrensschritt oder Teilschritt an welche der Recheneinrichtungen übertragen oder bereitgestellt werden soll.
-
Zum Auswerten der Verbindungsqualität wird nun ein aktueller Wert der Verbindungsdaten mit dem jeweiligen Sollwert oder Sollwertebereich der jeweiligen Qualitätsklasse verglichen. In Abhängigkeit von dem Vergleich wird die Verbindungsqualität der Kommunikationsverbindung dann der jeweiligen Qualitätsklasse zugeordnet. Das heißt, falls der jeweils aktuelle Wert der Verbindungsdaten mit dem jeweiligen Sollwert oder Sollwertebereich übereinstimmt, kann die Kommunikationsverbindung der dem Sollwert(ebereich) zugeordneten Qualitätsklasse eingeordnet werden.
-
Gemäß einer weiteren Ausführungsform werden die Verfahrensschritte zum Verarbeiten der Umgebungsdaten in Abhängigkeit von einer Rechenkapazität der jeweiligen Recheneinrichtung gemäß einer weiteren vorgegebenen Zuordnungsvorschrift vollständig oder teilweise zwischen der Recheneinrichtung des Transportmittels und der Recheneinrichtung der externen Recheneinrichtung aufgeteilt. Das heißt, die Zuteilung der Rechenoperationen zusätzlich auch unter Berücksichtigung der Rechenkapazität oder Rechenleistung der jeweiligen Recheneinrichtung erfolgen. Für die Zuteilung gemäß der weiteren Zuordnungsvorschrift kann die Rechenkapazität ein zusätzliches Merkmal, also einen zusätzlichen Sollwert für die jeweilige Qualitätsklasse bilden.
-
Gemäß einer weiteren Ausführungsform werden in Abhängigkeit von der bestimmten relativen Position Steuerdaten zum autonomen Betreiben des Transportmittels und/oder eines Aktuators des Transportmittels bereitgestellt. Das Bereitstellen oder Erzeugen der Steuerdaten kann, wie zuvor beschrieben, zum Beispiel in Abhängigkeit von der Verbindungsqualität oder der Rechenkapazität zwischen den jeweiligen Recheneinrichtungen aufgeteilt werden. Die Steuerdaten können genutzt werden, um das Transportmittel anzusteuern. Dadurch kann das Transportmittel gelenkt werden, das heißt, es kann ein gewünschtes Fahrmanöver durchgeführt werden. Der Aktuator kann dementsprechend zum Beispiel eine Antriebseinrichtung oder ein Antriebsstrang des Transportmittels sein. Alternativ oder zusätzlich kann durch das Ansteuern zum Beispiel eine bestimmte Bedienhandlung oder eine gewünschte Änderung eines Betriebszustands herbeigeführt werden. So kann zum Beispiel ein mobiler Roboter, der in einem Logistikprozess für die Lagerhaltung eingesetzt wird, zum Aufnehmen oder Ablegen eines gewünschten Lagergegenstands angesteuert werden.
-
Gemäß einer weiteren Ausführungsform wird als die Kommunikationsverbindung eine Funkverbindung gemäß dem 5G-Mobilfunkstandard oder dem WLAN-Standard IEEE 802.1 1ax bereitgestellt. Somit kann sichergestellt werden, dass zum Beispiel eine Latenz und Zuverlässigkeit als Eigenschaft oder Parameter der Verbindungsdaten bekannt ist.
-
Gemäß einer weiteren Ausführungsform wird die externe Recheneinrichtung mittels eines Cloudservers oder eines Edge-Cloudservers bereitgestellt. Somit ergibt sich der Vorteil, dass die Verfahrensschritte besonders effizient dezentralisiert durchgeführt werden können. Mit Edge-Cloudserver ist vorliegend eine Servereinrichtung gemeint, deren Rechenkapazität oder Rechenleistung örtlich möglichst nah an dem die Daten genierenden Endgerät, vorliegend also dem Transportmittel, liegt. Der Begriff „Edge“ beschreibt dabei, dass die Datenverarbeitung am Rand eines gemeinsamen Netzwerks erfolgt. Das heißt, die externe Recheneinrichtung und das Transportmittel sind Teil eines lokalen oder geschlossenen Rechnernetzes oder Netzwerks, wie zum Beispiel eines Unternehmensnetzwerks an einen Standort. Somit kann die Zeitverzögerung der Datenübertragung in dem Netzwerk, also über die Kommunikationsverbindung, vermieden werden. Im Gegensatz dazu ist mit Cloudserver eine Servereinrichtung extern, also außerhalb des lokalen Rechnernetzes gemeint. Während ein Edge-Cloudserver häufig vom Unternehmen selbst bereitgestellt und betrieben wird, wird ein Cloudserver meist von einem Drittanbieter bereitgestellt und betrieben. Die Verarbeitung mittels eines Edge-Cloudservers hat zudem den Vorteil, dass die Kartendaten, also die Karte in einer zentralen Recheneinrichtung zur Verfügung steht. Dort kann sie zum Beispiel von anderen Transportmitteln verwendet oder verbessert werden. Zusätzlich kann die Karte mit den Kartendaten zum Beispiel auch für eine Produktionsüberwachung in einem Produktionsprozess genutzt werden. Die zentral abrufbare Information über die aktuelle Position des Transportmittels kann zum Beispiel für Asset-Tracking oder Logistikplanung genutzt werden.
-
Die Erfindung betrifft auch ein autonom betriebenes Transportmittel, welches zum Durchführen einer Lokalisation mittels einer simultanen Positionsbestimmung und Kartierung (SLAM-Algorithmus) ausgebildet ist. Dabei weist das Transportmittel eine Umgebungserfassungseinrichtung auf, die ausgebildet ist, Umgebungsdaten einer Umgebung des Transportmittels zu erfassen. Außerdem weist das Transportmittel eine Recheneinrichtung auf, die ausgebildet ist, die erfassten Umgebungsdaten zum Lokalisieren des Transportmittels in der Umgebung zu verarbeiten oder auszuwerten. Zum Durchführen der Verarbeitung ist die Recheneinrichtung dazu eingerichtet, aus den erfassten Umgebungsdaten wenigstens ein Umgebungsmerkmal der Umgebung zu ermitteln. Des Weiteren ist die Recheneinrichtung dazu eingerichtet, Kartendaten beschreibend eine Karte der Umgebung des Transportmittels zu erfassen, wobei in den Kartendaten Umgebungsmerkmale der mittels der Karte dargestellten Umgebung umfasst sind. Schließlich ist die Recheneinrichtung dazu eingerichtet, eine relative Position des Transportmittels in der Umgebung zu bestimmen, durch Vergleichen der erfassten Umgebungsdaten mit den Kartendaten zum Abgleichen der jeweiligen Umgebungsmerkmale miteinander.
-
Zum Auslagern der Verarbeitungsschritte umfasst das Transportmittel zudem ein Kommunikationsmodul zum Bereitstellen einer Kommunikationsverbindung mit einer externen Recheneinrichtung. Schließlich umfasst das Transportmittel noch eine Steuereinrichtung, die ausgebildet ist, eine Verbindungsqualität der Kommunikationsverbindung durch Auswerten von Verbindungsdaten, die der Kommunikationsverbindung zugeordnet sind, zu ermitteln. Die Steuereinrichtung ist zudem ausgebildet, in Abhängigkeit von der ermittelten Verbindungsqualität gemäß einer vorgegebenen Zuordnungsvorschrift die Verarbeitungsschritte, also die zuvor genannten Rechenoperationen, zum Verarbeiten der Umgebungsdaten zwischen der Recheneinrichtung des Transportmittels und der externen Recheneinrichtung vollständig und/oder teilweise aufzuteilen und das Kommunikationsmodul zum Übertragen der Daten, die die Schritte betreffen, die der Recheneinrichtung zugeteilt sind, anzusteuern.
-
Das heißt, die Steuereinrichtung des Transportmittels ist zum Überprüfen der Verbindungsqualität und zum Aufteilen der Rechenoperationen für die Verarbeitung der Umgebungsdaten zuständig. Alternativ können diese Funktionen natürlich auch von einer Steuereinrichtung der externen Recheneinrichtung übernommen werden.
-
Gemäß einer Ausführungsform ist das Transportmittel als Kraftfahrzeug oder als Personenkraftwagen oder als Transportroboter ausgebildet. Zusätzlich oder alternativ ist natürlich auch die Ausgestaltung als Fluggerät, wie zum Beispiel eine Drohne, denkbar. Da das Transportmittel autonom betreiben wird oder betreibbar ist, kann das Transportmittel auch als fahrerloses Transportfahrzeug bezeichnet werden. Das heißt, es handelt sich um ein selbstfahrendes Transportmittel, das ohne Zutun einer Bedienperson zum Beispiel Fahrmanöver durchführen kann.
-
Die Erfindung betrifft auch ein System zum Lokalisieren eines autonom betriebenen Transportmittels, welches ein Transportmittel wie es zuvor beschrieben wurde und eine externe Recheneinrichtung umfasst. Die externe Recheneinrichtung ist ausgebildet, die ihr zugeteilten Verfahrensschritte gemäß einem Verfahren nach einem der zuvor beschriebenen Ausführungsformen auszuführen.
-
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Transportmittels oder des erfindungsgemäßen Systems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Transportmittels und des erfindungsgemäßen Systems hier nicht noch einmal beschrieben.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Darstellung eines Systems zum Lokalisieren eines autonom betriebenen Transportmittels;
- 2 ein schematisches Verfahrensablaufdiagramm für einzelne Verfahrensschritte eines SLAM-Algorithmus zum Lokalisieren des autonom betriebenen Transportmittels; und
- 3 ein schematisches Verfahrensablaufdiagramm für ein Verfahren zum Lokalisieren des autonom betriebenen Transportmittels unter Verwendung des SLAM-Algorithmus.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
-
1 zeigt in schematischer Darstellung ein Kraftfahrzeug 10. Das Kraftfahrzeug 10 ist selbstfahrend ausgebildet. Das heißt, das Kraftfahrzeug 10 kann selbständig oder autonom, also ohne Zutun einer Bedienperson, Fahrmanöver ausführen und/oder einen sonstigen vorgegebenen Fahrzeugbetrieb durchführen. Beispielsweise kann das Kraftfahrzeug 10 zum Beispiel die Navigation, also das Führen oder Lenken des Kraftfahrzeugs, selbsttätig übernehmen. Das in 1 gezeigte Kraftfahrzeug 10 stellt somit ein autonom betriebenes Transportmittel 11 dar.
-
Für das autonome Navigieren kann es von Vorteil sein, wenn das Kraftfahrzeug 10 seine Position, also seinen geographischen Ort in einer Umgebung U, in der es sich befindet, kennt. Zum Lokalisieren, also für die Positionsbestimmung in der Umgebung U, sind verschiedene Lokalisationsmethoden anwendbar. Gemäß einer Lokalisationsmethode kann dazu zum Beispiel der sogenannte SLAM-Algorithmus genutzt werden. Die Abkürzung SLAM steht für Simultaneos Localization and Mapping, auf Deutsch: simultane Positionsbestimmung und Kartierung. Durch Nutzen des SLAM-Algorithmus kann das Kraftfahrzeug 10 oder ein beliebiges anderes autonom betriebenes Transportmittel 11, wie zum Beispiel ein mobiler Roboter, eine Karte seiner Umgebung U erstellen und anhand dieser dann seine aktuelle Position relativ in der Umgebung U abschätzen. Der konkrete Ablauf eines Verfahrens zur Lokalisierung des Kraftfahrzeugs 10 mittels des SLAM-Algorithmus, wird im späteren Verlauf anhand von 2 noch einmal näher beschrieben. Anhand von 1 wird nun zunächst auf die Ausgestaltung des Kraftfahrzeugs 10 eingegangen, die für das Lokalisieren vorgesehen sein kann.
-
Zum Erfassen oder Aufnehmen der Umgebung U weist das Fahrzeug 10 eine Umgebungserfassungseinrichtung, im folgenden kurz Erfassungseinrichtung 13 genannt, auf. Gemäß dem Ausführungsbeispiel in 1 ist die Erfassungseinrichtung 13 als Kamerasystem ausgebildet. Das Kamerasystem kann entsprechend ein oder mehrere Kameras oder Bildsensoren umfassen, mit denen die Umgebung aufgenommen und/oder aufgezeichnet werden kann. Die Umgebung U kann vorliegend somit in Form von einem oder mehreren Bildern, wie zum Beispiel einem Tiefen- oder RGB-Bild, erfasst werden. Natürlich sind auch andere Ausgestaltungsmöglichkeiten für die Erfassungseinrichtung 13 denkbar. Zum Beispiel kann die Erfassungseinrichtung 13 als Radarsystem oder Lidarsystem oder Ultraschallsystem ausgebildet sein. Es ist auch eine Kombination mehrerer der vorgenannten Systeme zum Bilden der Erfassungseinrichtung 13 einsetzbar.
-
Durch das Erfassen der Umgebung U werden mittels der Erfassungseinrichtung 13 Umgebungsdaten 14 generiert. Die Umgebungsdaten 14 beschreiben dabei die Umgebung U. Das heißt, die Umgebungsdaten 14 können die Umgebung U nachbilden oder abbilden. Die Umgebungsdaten 14 liegen im vorliegenden Ausführungsbeispiel in Form von Bilddaten vor. Bei Verarbeitung durch eine geeignete Anzeigeeinrichtung kann aus diesen Bilddaten das entsprechende Bild, also ein Abbild der Umgebung U, rekonstruiert und dargestellt werden.
-
Zum Verarbeiten oder Auswerten der Umgebungsdaten 14 für die Positionsbestimmung und Kartierung nach dem SLAM-Algorithmus umfasst das Fahrzeug 10 noch eine Recheneinrichtung 12. Mittels der Recheneinrichtung 12 kann also der SLAM-Algorithmus durchgeführt werden. Die Recheneinrichtung 12 kann dazu zum Beispiel eine Prozessoreinheit mit zumindest einem Mikroprozessor oder Microcontroller umfassen. Zudem kann die Prozessoreinheit Programmcode aufweisen, durch den der SLAM-Algorithmus codiert ist. Durch Ausführen des Programmcodes mittels der Prozessoreinheit kann der SLAM-Algorithmus durchgeführt werden. Der Programmcode kann zum Beispiel in einem Datenspeicher (in 1 nicht dargestellt) der Prozessoreinheit gespeichert sein. Die Recheneinrichtung 12 und die Erfassungseinrichtung 13 können gemeinsam eine Lokationsvorrichtung 15 für das Kraftfahrzeug 10 bilden.
-
Die Verarbeitung der Umgebungsdaten 14 kann mit einer hohen Rechenlast für die Recheneinrichtung 12 verbunden sein. Zudem sind die einzelnen Verarbeitungsschritte der Umgebungsdatenverarbeitung mittels des SLAM-Algorithmus zeitkritisch. Denn die Navigation, also die Lenkung des Fahrzeugs 10 hängt wesentlich von der Position des Fahrzeugs 10 in der Umgebung U ab. Um die Verarbeitungsschritte, also die Berechnungen oder Rechenoperationen schnell genug durchführen zu können, kann zum Beispiel die Recheneinrichtung 12 mit einer hohen Rechenkapazität ausgestattet werden. Bei einer entsprechenden Dimensionierung der Recheneinrichtung 12 wird diese jedoch teuer in der Anschaffung und verbraucht in der Regel viel Energie. Deshalb wird vorliegend ein dynamisches Load Balancing, das heißt, ein Auslagern von rechenintensiven Verarbeitungsschritten an eine externe Recheneinrichtung 30 vorgeschlagen. Die externe Recheneinrichtung 30 kann, wie in 1 gezeigt, zum Beispiel ein externer Server, wie zum Beispiel ein Edge-Cloudserver oder ein Cloudserver sein. Mit extern ist gemeint, dass die Recheneinrichtung 30 unabhängig vom Kraftfahrzeug 10 ist. Die externe Recheneinrichtung 30 kann analog zu der Recheneinrichtung 12 ausgebildet sein, um zum Beispiel die Verarbeitungsdaten 22, 23 unter Verwendung des SLAM-Algorithmus zu verarbeiten. Insgesamt können das Kraftfahrzeug 10 und die externe Recheneinrichtung 30 somit ein System 1 zum Lokalisieren des Kraftfahrzeugs 10 mittels des SLAM-Algorithmus bilden.
-
Um die Verarbeitung mittels des SLAM-Algorithmus auszulagern, wird zwischen der Recheneinrichtung 12 und der externen Recheneinrichtung 30 eine Kommunikationsverbindung 20 bereitgestellt. Dazu können die externe Recheneinrichtung 30 und das Kraftfahrzeug 10 zum Beispiel ein Kommunikationsmodul (in 1 nicht dargestellt) mit einer entsprechenden Kommunikationsschnittstelle aufweisen. Die Kommunikationsverbindung 20 ist zum Beispiel eine drahtlose Funkverbindung, wie zum Beispiel eine Mobilfunkverbindung nach dem 5G-Mobilfunkstandard oder eine WLAN-Verbindung nach dem WLAN-Standard 802.11 ax. Über die Kommunikationsverbindung 20 können Verarbeitungsdaten 22, 23, die beim Verarbeiten der Umgebungsdaten 14 entstehen, zwischen den Recheneinrichtungen 12, 30 übertragen werden. Bei den Verarbeitungsdaten 22, 23 kann es sich zum Beispiel um Daten als Ergebnis einzelner Rechenoperationen des SLAM-Algorithmus handeln. Zusätzlich oder alternativ können die Verarbeitungsdaten 22, 23 natürlich auch die Rohdaten der Umgebungserfassung, also die Umgebungsdaten 14, sein. Schließlich können die Verarbeitungsdaten 22, 23 zum Beispiel auch Steuerdaten, also Steuerbefehle umfassen, die von der externen Recheneinrichtung 30 beim Ausführen des SLAM-Algorithmus erzeugt und über die Kommunikationsverbindung 20 zum Steuern oder Navigieren des Fahrzeugs 10 an dieses bereitgestellt werden.
-
Um zu bestimmen, welche Verarbeitungsschritte oder Rechenoperationen ausgelagert werden sollen, also welche Verarbeitungsdaten 22, 23 übertragen werden sollen, wird mittels der Recheneinrichtung 12 eine Verbindungsqualität anhand von Verbindungsdaten 21 der Kommunikationsverbindung 20 bestimmt. Das heißt, es können Ressourcen beziehungsweise Kennwerte, die das Funknetzwerk beschreiben, bei der Entscheidung zur Auslagerung berücksichtigt werden. Bei den Verbindungsdaten 21 kann es sich zum Beispiel um einen Übertragungsstandard und/oder eine Latenz und/oder eine Datenübertragungsrate, also eine Bandbreite, und/oder einen Datendurchsatz und/oder Verluste in der Datenübertragung, also eine Zuverlässigkeit der Kommunikationsverbindung 20 und/oder Reflexionen und/oder Interferenzen und/oder nicht sich-Verbindungsverluste und/oder einen Jitter handeln. Natürlich kann zusätzlich oder alternativ zum Beispiel auch eine Rechenkapazität der jeweiligen Recheneinrichtung 12, 30 für die Aufteilung oder Zuteilung der Verarbeitung zur Lokalisation berücksichtigt werden.
-
Zum Erfassen der Verbindungsdaten 21 kann die Recheneinrichtung 12 zum Beispiel ein Prüfverfahren, das in einem entsprechenden Programmcode hinterlegt sein kann, durchführen. Zusätzlich oder alternativ kann die Recheneinrichtung 12 sogenannte Layer-4-Protokolle, wie zum Beispiel einen sogenannten Ping oder ein sogenanntes TCP-Window-Protokoll nutzen, um die gewünschten Verbindungsdaten 21 zu ermitteln. Zum Bestimmen der Verbindungsqualität kann die Recheneinrichtung 12 die erfassten Verbindungsdaten 21 auswerten und dann gemäß einer vorgegebenen Zuordnungsvorschrift darüber entscheiden, wie die Verarbeitungsschritte des SLAM-Algorithmus für das dynamische Load Balancing zugeteilt oder aufgeteilt werden sollen.
-
Die einzelnen Verfahrensschritte des SLAM-Algorithmus sind im Folgenden anhand von 2 näher beschrieben. Dazu zeigt 2 ein schematisches Verfahrensablaufdiagramm mit einzelnen Verfahrensschritten, die zum Ausführen des SLAM-Algorithmus mittels der jeweiligen Recheneinrichtung 12, 30 durchgeführt werden können. In einem Schritt S1 werden dabei zunächst die Umgebungsdaten 14 mittels der vorgenannten Erfassungseinrichtung 13 erfasst. In den Schritten S2, S3 und S4 geht es um das Verarbeiten oder Auswerten der erfassten Umgebungsdaten 14 für das Lokalisieren des Kraftfahrzeugs 10. Diese Schritte können als Verarbeitungsschritte Sv zusammengefasst werden. Jeder dieser Verarbeitungsschritte Sv kann eine oder mehrere Rechenoperationen oder Teilschritte, die jeweils einzeln oder in ihrer Gesamtheit an die jeweilige Recheneinrichtung 12, 30 zur Verarbeitung ausgelagert werden können, umfassen. Im Folgenden werden die Verfahrensschritte S2, S3 und S4 kurz beschrieben.
-
Zur Verarbeitung der erfassten Umgebungsdaten 14 wird in dem Schritt S2 aus den Umgebungsdaten 14 zunächst wenigstens ein Umgebungsmerkmal ermittelt. Der Schritt S2 wird deshalb auch als Feature Extraction bezeichnet. Als Umgebungsmerkmal kann zum Beispiel ein Objekt oder eine Kante oder ein anderes markantes Bildmerkmal detektiert werden. Dazu kann in dem Schritt S2 beispielsweise ein vorbekannter Bildanalysealgorithmus durchgeführt werden. In dem Schritt S3 werden dann Kartendaten beschreibend eine Karte der Umgebung U bereitgestellt. Der Schritt S3 wird somit auch als Mapping oder Kartenerstellung bezeichnet. In den Kartendaten sind dabei selbst wiederum Umgebungsmerkmale der mittels der Karte dargestellten Umgebung U umfasst. Die Karte und somit die Kartendaten können mittels der jeweiligen Recheneinrichtung 12, 30 aus den erfassten Umgebungsdaten 14 zum Beispiel selbst erstellt werden. Das heißt, die Umgebungsdaten können zu der Karte fusioniert werden. Alternativ kann die Karte zum Beispiel von extern vorgegeben werden. Das heißt, die Karte kann zum Beispiel aus einem zentralen Server geladen werden. Auf diesen Server können zum Beispiel mehrere verschieden Kraftfahrzeuge 10 oder Transportmittel 11 Zugriff haben. Um die Karte zu aktualisieren oder noch genauer zu machen, können die neu erfassten Umgebungsdaten 14 zum Beispiel zum Verbessern der Karte genutzt werden.
-
In dem Schritt S4 wird nun die relative Position des Fahrzeugs 10 in der Umgebung U bestimmt, in dem die erfassten Umgebungsdaten 14 mit den Kartendaten zum Abgleich der jeweiligen Umgebungsmerkmale verglichen werden. Der Schritt S4 wird auch als Loop Closure bezeichnet. Somit geht es in dem Schritt S4 darum, Gemeinsamkeiten in dem aktuell aufgezeichneten Bild und der erstellten Karte zu erkennen. Dabei kann zum Beispiel überprüft werden, ob und wo in der Karte die korrespondierenden Umgebungsmerkmale der erfassten Umgebung U vorhanden sind. Dadurch kann über den Abgleich der Umgebungsmerkmale auf die Position des Kraftfahrzeugs 10 rückgeschlossen werden. Das heißt, durch einen Vergleich der Position der Umgebungsmerkmale in den Umgebungsdaten 14 zu den Umgebungsmerkmalen in den Kartendaten kann Aufschluss über die relative Position des Fahrzeugs 10 geben.
-
Anhand von 3 soll nun näher beschrieben werden, wie das Aufteilen der Verfahrensschritte, nämlich der Verarbeitungsschritte Sv zum Verarbeiten der Umgebungsdaten gemäß dem in 2 gezeigten SLAM-Algorithmus in Abhängigkeit von der Verbindungsqualität 21 der Kommunikationsverbindung 20 zwischen den beiden Recheneinrichtungen 12, 30 aufgeteilt oder zugeteilt werden können. Es geht also darum, wie das dynamische Load Balancing für das Lokalisieren des Kraftfahrzeugs 10 mittels des oben beschriebenen Systems 1 unter Verwendung des SLAM-Algorithmus umgesetzt werden kann. Um über die Aufteilung der Verarbeitungsschritte Sv zu entscheiden, kann die Recheneinrichtung (12) zum Beispiel eine entsprechende Steuereinrichtung umfassen. Diese kann ausgebildet sein, die entsprechenden Verfahrensschritte S5 bis S8 gemäß 3 durchzuführen.
-
Für die Lokalisation wird in einem Schritt S5 vor dem Durchführen der Schritte S1 bis S4 oder zumindest vor dem Durchführen der Verarbeitungsschritte Sv die Verbindungsqualität der Kommunikationsverbindung 20 ermittelt. Für das Ermitteln werden die zuvor beschriebenen Verbindungsdaten 21 ausgewertet. Das heißt, es werden, wie Kennwerte der Kommunikationsverbindung 20, wie zuvor beschrieben, bestimmt. In einem Schritt S6 wird zudem die Rechenkapazität oder Rechenleistung der jeweiligen Recheneinrichtung 12, 30 bestimmt.
-
In einem Schritt S7 wird danach in Abhängigkeit von der ermittelten Verbindungsqualität und der ermittelten Rechenkapazität gemäß einer vorgegebenen Zuordnungsvorschrift ein vollständiges oder teilweises Aufteilen der Verarbeitungsschritte Sv zwischen den Recheneinrichtungen 12, 30 ausgeführt. Gemäß der Zuordnungsvorschrift können für die Verbindungsqualität zum Beispiel mehrere verschiedene Qualitätsklassen vorgegeben sein. Jede Qualitätsklasse beschreibt dabei eine unterschiedliche Qualität der Kommunikationsverbindung 20 und gibt zum Beispiel an, wie effizient oder genau oder schnell die Datenübertragung über die Kommunikationsverbindung 20 und die Datenverarbeitung durch jeweilige Recheneinrichtung 12, 30 erfolgen kann. Jeder der Qualitätsklassen ist zum Beispiel ein Sollwert oder Sollwertebereich, also ein Grenzwert für die jeweiligen Verbindungsdaten 21 vorgegeben. Zudem umfasst jede der Qualitätsklassen eine vorgegebene Aufteilungsinformation, die angibt, wie die Verfahrensschritte zwischen den jeweiligen Recheneinrichtungen 12, 30 aufgeteilt werden sollen. Zum Auswerten der Verbindungsqualität kann nun ein aktueller Wert der Verbindungsdaten 21 mit dem jeweiligen Sollwert oder Sollwertebereich verglichen werden. Stimmt der aktuelle Wert der Verbindungsdaten, oder liegt der aktuelle Wert in dem jeweiligen Sollwertebereich, kann die Verbindungsqualität der Kommunikationsverbindung 20 der entsprechenden Qualitätsklasse zugeordnet werden. Anhand der Aufteilungsinformation ist dann bekannt, wie die Verfahrensschritte aufgeteilt werden sollen.
-
Im Folgenden soll die Aufteilung der Verfahrensschritte Sv beispielhaft anhand von vier verschiedenen Qualitätsklassen die unterschiedlichen Verbindungsqualitäten beschreiben, erläutert werden. Eine erste Qualitätsklasse kann zum Beispiel eine sehr gute Verbindungsqualität beschreiben. Das heißt, die Verbindungsdaten können Werte aufweisen, die für eine Kommunikationsverbindung 20 im Wesentlichen ohne Latenzschwankungen und Bandbreitenschwankungen und gleichzeitig mit einer hohen Datenübertragungsrate darstellen. In diesem Fall können zum Beispiel alle Verarbeitungsschritte Sv an die externe Recheneinrichtung 30 ausgelagert werden. Das heißt, als Verarbeitungsdaten 22, 23 können dann zum Beispiel die Umgebungsdaten 14 über die Kommunikationsverbindung 20 an die externe Recheneinrichtung 30 übertragen werden. Von der externen Recheneinrichtung 30 können als Verarbeitungsdaten 22, 23 dann zum Beispiel Steuerdaten zum Navigieren des Fahrzeugs 10 über die Kommunikationsverbindung 20 zurück übertragen werden.
-
Eine zweite Qualitätsklasse kann zum Beispiel eine mittelmäßige Verbindungsqualität der Kommunikationsverbindung 20 beschreiben. Das heißt, die Latenzschwankungen und Bandweitenschwankungen sind im Vergleich zur ersten Qualitätsklassen gestiegen, während die Datenübertragungsrate geringer ist. In diesem Fall kann zum Beispiel die Feature Extraction mittels der Recheneinrichtung 12 durchgeführt werden. Die Kartenerstellung sowie die Lokalisation mittels Loop Closure und auch die Steuerung können hingegen mittels der externen Recheneinrichtung 30 durchgeführt werden. Als Verarbeitungsdaten 22, 23 können somit von der Recheneinrichtung 12 an die externe Recheneinrichtung 30 die Ergebnisse der Feature Extraction übermittelt werden. Die externe Recheneinrichtung 30 übertragt im Gegenzug die Steuerdaten zurück an die Recheneinrichtung 12
-
Eine dritte Qualitätsklasse beschreibt zum Beispiel eine schlechte Verbindungsqualität. Das heißt, es treten noch stärkere Latenzschwankungen und Bandweitenschwankungen auf als in der zweiten Qualitätsklasse auf und die Datenübertragungsrate ist weiter reduziert. Dann können zum Beispiel alle Verarbeitungsschritte Sv gemäß dem SLAM-Algorithmus mittels der Recheneinrichtung 12 durchgeführt werden. Einzig die Steuerung, also das Erzeugen der Steuerdaten, kann zum Beispiel mittels der externen Recheneinrichtung 30 durchgeführt werden. Über die Kommunikationsverbindung 20 kann somit von der Recheneinrichtung 12 als Verarbeitungsdaten 22, 23 die relative Position an die externe Recheneinrichtung 30 übertragen werden. Die externe Recheneinrichtung 30 kann daraus die Steuerdaten ermitteln und diese über die Kommunikationsverbindung als Verarbeitungsdaten 22, 23 zurück an die Recheneinrichtung 12 senden.
-
Eine vierte Qualitätsklasse kann zum Beispiel eine sehr schlechte Verbindungsqualität beschreiben. Das heißt, die Kommunikationsverbindung 20 kann zum Beispiel gar nicht erst aufgebaut werden oder es kommt zu den anderen zuvor beschriebenen Qualitätsklassen zu sehr starken Latenz- und Bandweitenschwankungen und einer sehr geringen Datenübertragungsrate. In diesem Fall kann die gesamte Berechnung zur Lokalisation und Steuerung des Fahrzeugs 10 zum Beispiel nur mittels der Recheneinrichtung 12 durchgeführt werden.
-
In einem Schritt S8 erfolgt schließlich die Verarbeitung der Umgebungsdaten je nach Aufteilung der Verfahrensschritte Sv mittels der jeweiligen Recheneinrichtung 12, 30. Das heißt, die jeweilige Recheneinrichtung 12, 30 führt die entsprechenden Verarbeitungsschritte Sv gemäß dem SLAM-Algorithmus, wie er in 2 gezeigt ist, durch. Dadurch kann die Lokalisation des Fahrzeugs 10 in der Umgebung U realisiert werden. In dem Schritt S8 können natürlich zusätzlich auch noch Steuerdaten für die Navigation des Fahrzeugs 10 in der Umgebung bereitgestellt werden.
-
Alternativ zu dem beschriebenen Ausführungsbeispiel können natürlich auch Teilschritte oder einzelne Rechenoperationen der beschriebenen Verfahrensschritte zur Datenverarbeitung Sv ausgelagert werden. Somit kann die Verarbeitung der Daten parallelisiert und die Lokalisation hinsichtlich Zeit und Rechenleistung noch weiter optimiert werden. Zum Beispiel können dadurch bei der Feature Detection mehrere verschiedene Kamerabilder simultan von den beiden Recheneinrichtungen 12, 30 ausgewertet werden. Zusätzlich oder alternativ kann die Verarbeitung zum Beispiel auch synchronisiert, das heißt, durch entsprechendes Timing angepasst werden.
-
Insgesamt zeigen die Beispiele eine Methode zur dynamische Auslagerung der Lokalisierung eines mobilen autonomen Transportmittels 11 durch das SLAM-Verfahren.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016114594 A1 [0003]
- DE 102016121320 A1 [0005]
- DE 102018009906 A1 [0006]
