-
Stand der Technik
-
Die vorliegende Offenbarung betrifft Vorrichtungen und Verfahren zum Bestimmen der Position von mehreren Fahrzeugen.
-
In den letzten Jahren ist die Nachfrage nach Automatisierung auf Baustellen, die aus verschiedenen Gründen unter Arbeitskräftemangel leiden, gestiegen. Erstens kann die Automatisierung die Produktivität steigern, die in den letzten Jahrzehnten ziemlich stagniert hat, und die steigenden Kosten senken. Zweitens kann sie die Sicherheit der Arbeitskräfte verbessern, indem sie Maschinen die riskanten Aufgaben übernehmen lässt und so die Arbeitskräfte aus der Gefahrenzone heraushält. Drittens kann sie dazu beitragen, den Bedarf an manueller Arbeit der Arbeitskräfte zu verringern und so den Arbeitskräftemangel zu beheben.
-
Baustellen sind jedoch von Natur aus unvorhersehbare und unstrukturierte Umgebungen, in denen mehrere Maschinen gleichzeitig an verschiedensten anspruchsvollen Aufgaben arbeiten. Eine der Schwierigkeiten ist die Positionsbestimmung auf Baustellen, die einerseits genau sein muss, um z.B. Kollisionen von autonomen Baustellenfahrzeugen untereinander oder mit Hindernissen zu vermeiden, andererseits aber auch durch die unstrukturierte Umgebung und den unebenen Boden erschwert wird.
-
Daher sind genaue Ansätze zur Positionsbestimmung von mehreren Fahrzeugen in einer schwierigen Umgebung wie einer Baustelle wünschenswert.
-
Offenbarung der Erfindung
-
Gemäß verschiedenen Ausführungsformen wird ein Verfahren zum Bestimmen der Position von mehreren Fahrzeugen bereitgestellt, das umfasst: Durchführen, für jedes Fahrzeug, einer Messung mit einer Trägheitsmesseinheit und Schätzen der Position des Fahrzeugs anhand der Messung mit der Trägheitsmesseinheit, Durchführen einer oder mehrerer Messungen, die Informationen über die relativen Positionen der mehreren Fahrzeuge liefern, und Bereitstellen der geschätzten Positionen und der Informationen über die relativen Positionen der mehreren Fahrzeuge an ein Maschinenlernmodell, das darauf trainiert ist, eine Position für jedes Fahrzeug auszugeben, wenn es mit Positionsschätzungen für jedes Fahrzeug und Informationen über die relativen Positionen der Fahrzeuge versorgt wird.
-
Das oben beschriebene Verfahren ermöglicht eine verbesserte Positionsbestimmung von Fahrzeugen durch Kombinieren von Positionsschätzungen, die auf der einzelnen (IMU-) Messung basieren, mit Informationen über deren relative Positionen. Um für jedes Fahrzeug die Position des Fahrzeugs anhand der IMU-Messungen zu schätzen, kann dem Maschinenlernmodell auch eine Startposition des Fahrzeugs (die das Fahrzeug beim Start der IMU-Messung einnimmt, was Messwerte über ein bestimmtes Zeitintervall umfassen kann) zugeführt werden.
-
Daher wird gemäß verschiedenen Ausführungsformen eine verbesserte Positionsbestimmung für ein Fahrzeug, insbesondere für ein Baufahrzeug auf einer Baustelle, bereitgestellt. Die Ergebnisse der Positionsbestimmung können die Entscheidungsfindung verbessern. In Kombination mit einem Entscheidungsfindungsschema, das Unsicherheiten berücksichtigt (oder robust gegenüber Unsicherheiten ist), die auch in den Ergebnissen der verbesserten Positionsbestimmung noch vorhanden sein können, lassen sich gute Steuerungsergebnisse erzielen.
-
Im Folgenden werden verschiedene Ausführungsformen beschrieben.
-
Ausführungsform 1 ist das Verfahren zum Bestimmen der Position von mehreren Fahrzeugen wie oben beschrieben.
-
Ausführungsform 2 ist das Verfahren von Ausführungsform 1, wobei die ein oder mehreren Messungen, die Informationen über die relativen Positionen der mehreren Fahrzeuge liefern, Entfernungsmessungen zwischen Paaren von Fahrzeugen der mehreren Fahrzeuge umfassen.
-
Beispielsweise können die Fahrzeuge ihren gegenseitigen Abstand mit Hilfe von Radar- und/oder Lidar-Messungen schätzen. Das Maschinenlernmodell kann dann diese Informationen über die gegenseitigen Abstände (d.h. die Informationen über die relativen Positionen der Fahrzeuge) mit den Positionsschätzungen (der einzelnen Fahrzeuge) kombinieren, um (bessere) Schätzungen über die Positionen der Fahrzeuge vorzunehmen.
-
Ausführungsform 3 ist das Verfahren von Ausführungsform 1 oder 2, wobei das Maschinenlernmodell ein neuronales Netz ist.
-
Das Maschinenlernmodell kann durch überwachtes Training für die Aufgabe trainiert werden, die einzelnen Positionsschätzungen mit den Informationen über die relativen Positionen zu kombinieren, indem Trainingseingaben von einzelnen Positionsschätzungen und Informationen über relative Positionen und Zielausgaben (d.h. (Ground Truth, Grundwahrheit)-Label), die die wahren Positionen der mehreren Fahrzeuge enthalten, bereitgestellt werden. Dies kann effizient durch den Einsatz eines neuronalen Netzes als Maschinenlernmodell geschehen, indem Rückwärtspropagierung verwendet und die Gewichte des neuronalen Netzes angepasst werden, um einen Verlust zwischen den vom neuronalen Netz ausgegebenen Positionen und den Zielausgaben zu reduzieren (typischerweise über Stapel von Trainingsdatenelementen (die jeweils eine Trainingseingabe und eine Zielausgabe für die Trainingseingabe enthalten)).
-
Ausführungsform 4 ist das Verfahren von einer der Ausführungsformen 1 bis 3, wobei die Fahrzeuge Baufahrzeuge sind und die Positionen Positionen auf einer Baustelle sind.
-
Insbesondere auf Baustellen ist die Schätzung von Position (und Pose) aufgrund des unebenen Bodens schwierig. Die Verwendung einzelner Schätzungen in Kombination mit Informationen über relative Positionen, um die Positionsbestimmung zu verbessern wie oben beschrieben, bietet eine Möglichkeit einer zuverlässigen Positionsbestimmung in einem solchen Szenario.
-
Ausführungsform 5 ist das Verfahren von einer der Ausführungsformen 1 bis 4, umfassend, für jedes Fahrzeug, das Schätzen der Pose des Fahrzeugs anhand der Messung mit der Trägheitsmesseinheit und Bereitstellen der geschätzten Posen und der Informationen über die relativen Posen der mehreren Fahrzeuge an ein Maschinenlernmodell, wobei das Maschinenlernmodell darauf trainiert ist, eine Pose für jedes Fahrzeug auszugeben, wenn es mit Posen für jedes Fahrzeug und Informationen über die relativen Positionen der Fahrzeuge versorgt wird.
-
Das bedeutet, dass dem Maschinenlernmodell zusätzlich zu den Positionsschätzungen auch Orientierungsschätzungen zugeführt werden können, um die Positionsbestimmung weiter zu verbessern und eine vollständige Pose (d.h. Position plus Orientierung) auszugeben, die z.B. zum Steuern der Fahrzeuge (z.B. für autonomes Fahren oder (z.B. Baustellen-) Betrieb) verwendet werden kann.
-
Ausführungsform 6 ist eine Datenverarbeitungsanordnung, die dafür ausgelegt ist, ein Verfahren nach einer der Ausführungsformen 1 bis 5 durchzuführen.
-
Das Verfahren kann von einer Datenverarbeitungsvorrichtung durchgeführt werden, z.B. in einem der Fahrzeuge oder in einer zentralisierten Vorrichtung oder auf verteilte Weise. Beispielsweise kann jedes Fahrzeug seine eigene Position schätzen, und eine zentrale Einheit implementiert das Maschinenlernmodell und führt die Kombination der Positionsschätzungen und der Informationen über die relativen Positionen durch. Die (zusätzlichen) Informationen über die relativen Positionen können von wenigstens einigen der Fahrzeuge bestimmt und an die Zentraleinheit gesendet werden.
-
Ausführungsform 7 ist ein Computerprogramm, das Anweisungen umfasst, die bei Ausführung durch einen Computer bewirken, dass der Computer ein Verfahren gemäß einer der Ausführungsformen 1 bis 5 ausführt.
-
Ausführungsform 8 ist ein computerlesbares Medium, das Anweisungen umfasst, die bei Ausführung durch einen Computer bewirken, dass der Computer ein Verfahren gemäß einer der Ausführungsformen 1 bis 5 ausführt.
-
In den Zeichnungen beziehen sich in allen verschiedenen Ansichten gleiche Bezugszeichen im Allgemeinen auf die gleichen Teile. Die Zeichnungen sind nicht unbedingt maßstabsgerecht, stattdessen wird im Allgemeinen das Augenmerk auf die Darstellung der Prinzipien der Erfindung gelegt. In der nachfolgenden Beschreibung werden verschiedene Aspekte unter Bezugnahme auf die folgenden Zeichnungen beschrieben; hierbei gilt:
- 1 zeigt ein Steuerungsszenario gemäß einer Ausführungsform.
- 2 veranschaulicht die Positionsbestimmung eines Fahrzeugs mit Hilfe eines neuronalen Netzes ohne Sensorfusion.
- 3 veranschaulicht die Positionsbestimmung eines Fahrzeugs mit Hilfe eines neuronalen Netzes mit Sensorfusion.
- 4 zeigt ein Beispiel mit vier Fahrzeugen auf einer Baustelle.
- 5 zeigt ein Ablaufdiagramm, das ein Verfahren zum Bestimmen der Position von mehreren Fahrzeugen veranschaulicht.
-
Die folgende ausführliche Beschreibung bezieht sich auf die beigefügten Zeichnungen, die zu Veranschaulichungszwecken spezifische Einzelheiten und Aspekte der vorliegenden Offenbarung darstellen, in denen die Erfindung praktisch ausgeführt werden kann. Andere Aspekte können verwendet werden, und strukturelle, logische und elektrische Änderungen können vorgenommen werden, ohne den Schutzbereich der Erfindung zu verlassen. Die verschiedenen Aspekte der vorliegenden Offenbarung schließen sich nicht notwendigerweise gegenseitig aus, da einige Aspekte dieser Offenbarung mit einem oder mehreren anderen Aspekt(en) der Offenbarung kombiniert werden können, um neue Aspekte zu bilden.
-
Im Folgenden werden verschiedene Beispiele ausführlicher beschrieben.
-
1 zeigt ein Steuerungsszenario in einer Baustellenumgebung 101.
-
Ein Baufahrzeug 100 befindet sich in der Umgebung 101. Das Fahrzeug 100 hat eine Startposition 102 und sollte zum Beispiel Sandhaufen 103 verräumen. Die Umgebung 101 kann auch Hindernisse 104 enthalten, die vom Fahrzeug 100 umfahren werden sollten. Sie dürfen beispielsweise vom Fahrzeug 100 nicht befahren werden (z.B. Mauern, Bäume oder Felsen) oder sollten gemieden werden, weil das Fahrzeug sie beschädigen oder verletzen (z.B. Arbeitskräfte) würde.
-
Das Fahrzeug 100 hat eine Steuerung 105 (die auch von dem Fahrzeug 100 entfernt sein kann, d.h. das Fahrzeug 100 kann ferngesteuert sein). Die Steuerung 105 kann betrachtet werden, dass sie einen Agenten implementiert, der das Fahrzeug 100 steuert. Die Begriffe „Steuerung“ und „Agent“ werden im Folgenden austauschbar verwendet. In dem beispielhaften Szenario von 1 besteht das Ziel darin, dass die Steuerung 105 das Fahrzeug 100 so steuert, dass es in der Umgebung 101 navigiert, um die Sandhaufen 103 zu verräumen, d.h. eine Planieraufgabe ausführt. In diesem Beispiel ist das Fahrzeug 100 eine autonome Planierraupe, es kann jedoch auch ein Fahrzeug mit Beinen oder Raupen oder einer anderen Art von Antriebssystem sein (etwa ein Tiefsee- oder Marsrover).
-
Die Steuerung (oder der Agent) 105 kann das Fahrzeug 100 steuern, z.B. um eine Aufgabe (etwa das Planieren) autonom durchzuführen. Beispielsweise kann sie das Fahrzeug 100 anhand von Beobachtungen steuern, d.h. sie empfängt eine Beobachtung (z.B. eine Höhenkarte, die eine Kamera 105 beobachtet), wählt eine oder mehrere Aktionen für die Beobachtung aus und steuert das Fahrzeug 100, um die ein oder mehreren Aktionen auszuführen (z.B. in eine bestimmte Richtung um eine bestimmte Entfernung zu verfahren).
-
Damit die richtigen Entscheidungen getroffen werden, muss das Fahrzeug 100 jedoch eine Positionsbestimmung durchführen, d.h. seine Position und/oder Orientierung in der Umgebung 101 bestimmen. Zu diesem Zweck ist das Fahrzeug 100 mit einem oder mehreren Sensoren, etwa einer Trägheitsmesseinheit (IMU, Inertial Measurement Unit), ausgestattet, mit deren Hilfe es seine Position bestimmen kann. Allerdings können Messungen Fehler enthalten, insbesondere in einer schwierigen Umgebung wie einer Baustelle, wo der Boden uneben ist, und andererseits können Fehler bei der Positionsbestimmung schwerwiegende Folgen haben (etwa dass ein Fahrzeug in eine Grube stürzt).
-
2 veranschaulicht die Positionsbestimmung eines Fahrzeugs mit Hilfe eines neuronalen Netzes 201.
-
Eine IMU des Fahrzeugs stellt (rohe) IMU-Daten 202 an ein neuronales Netz 201 bereit. Das neuronale Netz 201 empfängt ferner eine Anfangsbedingung 203 (z.B. eine Anfangsposition) und leitet unter Verwendung der IMU-Daten 202 eine aktuelle Position des Fahrzeugs ab, d.h. es macht eine Vorhersage für die aktuelle Position des Fahrzeugs.
-
Um das neuronale Netz 201 für diese Vorhersage zu trainieren, können die Positionsvorhersagen durch das neuronale Netz 201 mit (Referenz-)Positionen 204 (die z.B. mit einem anderen Sensor bestimmt wurden) oder wahren Positionen, wenn das neuronale Netz 201 mit bekannten Positionen trainiert wird (z.B. in einer Simulation), als Labels verglichen werden, um einen Verlust 205 zu berechnen, wobei das neuronale Netz 201 so trainiert wird, dass der Verlust 205 reduziert wird.
-
Der Ansatz von 2 kann zwar gute Ergebnisse liefern, aber es ist zu beachten, dass er sich (bei der Inferenz) nur auf (IMU-)Messungen des Fahrzeugs selbst stützt.
-
Gemäß verschiedenen Ausführungsformen wird die Genauigkeit und Robustheit der Positionsbestimmung gegenüber dem Ansatz von 2 verbessert (und die Unsicherheit der Positionsbestimmung verringert), indem Informationen mehrerer Fahrzeuge und gegenseitige Informationen, etwa Informationen über räumliche Beziehungen der Fahrzeuge, z.B. mehrerer Baufahrzeuge auf einer Baustelle, verwendet werden. So wird insbesondere eine Sensorfusion durchgeführt (wobei die (IMU-) Sensoren, deren Daten fusioniert werden, die Sensoren mehrerer Fahrzeuge sind), um eine verbesserte Positionsbestimmung für jedes der Fahrzeuge zu erhalten (d.h. für jedes Fahrzeug, das an dem Sensorfusionsschema teilnimmt).
-
Die Sensorfusion kann nach der Schätzung durchgeführt werden, wobei jeder Sensor eine Positionsschätzung und eine Schätzung seiner Unsicherheit bereitstellt. In einer Nachverarbeitungsphase werden diese Schätzungen fusioniert, um eine zentralisierte integrative Lösung zu bilden, deren Zweck es ist, die Genauigkeit zu verbessern und die Unsicherheit der einzelnen Lösungen zu verringern, um eine sicherere Lösung zu erhalten. Die Sensorfusion kann auch auf der Ebene der Rohsensordaten durchgeführt werden, wobei eine zentralisierte Fusion die Rohsensordaten von jedem Sensor (oder Fahrzeug) übernimmt, damit eine Lösung viele Sensoren nutzen kann.
-
Gemäß verschiedenen Ausführungsformen werden Rohsensormesswerte (d.h. IMU-Messdaten) mit Zusatzinformationen (z.B. Reichweite, grobe Position usw.) in ein neuronales Netz (NN) eingespeist, um eine genauere Position auszugeben und die Unsicherheit für jedes der Fahrzeuge zu verringern. Zu den Zusatzinformationen gehören insbesondere Informationen über die relativen Positionen der Fahrzeuge, z.B. in Form von Entfernungsmessungen zwischen den Fahrzeugen oder in Form von globalen Informationen, die von einer zentralen Stelle über die Positionen der Fahrzeuge bereitgestellt werden.
-
3 veranschaulicht die Positionsbestimmung eines Fahrzeugs mit Hilfe eines neuronalen Netzes 201.
-
Ein neuronales Netz (oder ein anderes (Maschinenlern-) Fusionsmodell, linear oder nicht-linear) 301 empfängt die (rohen) Sensordaten 302 von Sensoren (IMU-Messwerte) mehrerer Fahrzeuge. Die Rohsensordaten (IMU-Sensorwerte) der Sensoren der verschiedenen Fahrzeuge werden beispielsweise gestapelt, und der resultierende Stapel von Sensordaten 302 wird in das neuronale Netz 301 eingespeist. Das neuronale Netz 301 empfängt ferner eine Anfangsbedingung (Anfangsposition) 303 für jedes Fahrzeug sowie Zusatzinformationen 306. Die Ausgabe des neuronalen Netzes ist eine Vorhersage für die Position jedes der Fahrzeuge. Ähnlich wie das neuronale Netz 201 kann das neuronale Netz 301 unter Verwendung von Labels trainiert werden, die Referenzpositionen enthalten (wobei das Label für eine Trainingseingabe nun eine Referenzposition für jedes Fahrzeug enthält, d.h. das Label 305 ist ein Stapel von einzelnen Positionen), wobei ein Verlust 304 durch Vergleich der Labels mit den vorhergesagten Positionen berechnet wird. Das neuronale Netz 301 wird trainiert, um den Verlust zu verringern und so die Position jedes Fahrzeugs genauer vorherzusagen.
-
Die Zusatzinformationen 306 enthalten Informationen über die relativen Positionen der mehreren Fahrzeuge, die es dem neuronalen Netz 301 ermöglichen, die Sensordaten 302 als Sensordaten eines (pseudo-)starren Körpers zu behandeln.
-
4 zeigt ein Beispiel mit vier Fahrzeugen 401 bis 404 auf einer Baustelle 400.
-
Ohne Sensorfusion, z.B. bei Verwendung des Ansatzes von 4, hat jedes Fahrzeug 401 bis 404 seine eigene Schätzung über seine Position und ein gewisses Maß an Unsicherheit. Mit dem Ansatz von 3 nutzt jedes Fahrzeug 401 bis 404 die Sensormessdaten aller (oder wenigstens einiger) anderen Fahrzeuge. Die Zusatzinformationen 306 umfassen in diesem Beispiel etwa, wie angegeben, den gegenseitigen Abstand 405 (z.B. durch eine Radarmessung gegeben) zwischen dem dritten Fahrzeug 403 und dem vierten Fahrzeug 404. Diese Zusatzinformationen sind ebenfalls mit Unsicherheiten behaftet, die bei der Positionsvorhersage berücksichtigt werden können (z.B. als Teil der Zusatzinformationen 306 und damit durch das neuronale Netz 301).
-
Der hier beschriebene Ansatz muss nicht notwendigerweise auf ein neuronales Netz angewandt werden, sondern kann auf jedes ML (Maschinenlern)-Modell oder jeden Algorithmus angewandt werden, das bzw. der die Eingaben von mehreren Sensoren zur Verbesserung der Genauigkeit nutzen kann. Wie oben beschrieben, gehören diese Sensoren zu mehreren Fahrzeugen (oder Agenten), d.h. mehreren Fahrzeugen, die sich auf derselben Baustelle befinden. Die Agenten können symmetrisch sein (d.h. vom gleichen Typ, z.B. mehrere Planierraupen, Kipper oder andere) oder nicht-symmetrisch (z.B. eine beliebige Kombination von Fahrzeugen, z.B. Planierraupen und Kipper, die zusammenarbeiten, wobei jedes seine Aufgabe hat, aber beide mit einem oder mehreren Sensoren ausgestattet sind, die Sensordaten für die Positionsbestimmung liefern (etwa eine IMU)). Der hier beschriebene Ansatz zur Positionsbestimmung kann in jedem Geländeszenario angewendet werden, in dem solche Sensoren zur Verfügung stehen und einige andere Hilfssensoren (die die Zusatzinformationen liefern) verwendet werden könnten. Beispiele für solche Zusatzsensoren sind GPS, Lidar, Entfernungsmessungen (z.B. Radar) oder jeder andere Sensor, der geometrische Informationen über die Beziehungen der Agenten zueinander bereitstellt (was indirekt durch die Angabe der Positionen der Agenten in einem gemeinsamen Referenzrahmen geschehen kann).
-
Zusammenfassend wird gemäß verschiedenen Ausführungsformen ein Verfahren bereitgestellt wie in 5 dargestellt.
-
5 zeigt ein Ablaufdiagramm 500, das ein Verfahren zum Bestimmen der Position von mehreren Fahrzeugen veranschaulicht.
-
In 501 wird für jedes Fahrzeug eine Messung mit einer Trägheitsmesseinheit durchgeführt und wird die Position des Fahrzeugs anhand der Messung mit einer Trägheitsmesseinheit geschätzt.
-
In 502 werden eine oder mehrere Messungen durchgeführt, die Informationen über die relativen Positionen der mehreren Fahrzeuge liefern.
-
In 503 werden die geschätzten Positionen und die Informationen über die relativen Positionen der mehreren Fahrzeuge an ein Maschinenlernmodell bereitgestellt, das darauf trainiert ist, eine Position für jedes Fahrzeug auszugeben, wenn es mit Positionsschätzungen für jedes Fahrzeug und Informationen über die relativen Positionen der Fahrzeuge versorgt wird.
-
Verschiedene Ausführungsformen können Bilddaten (d.h. digitale Bilder) von verschiedenen visuellen Sensoren (Kameras) wie etwa Video, Radar, LiDAR, Ultraschall, Wärmebild, Bewegung, Sonar usw. empfangen und verwenden, um die Informationen über die relativen Positionen zu bestimmen.
-
Gemäß einer Ausführungsform wird das Verfahren durch einen Computer implementiert.
-
Obwohl hier spezifische Ausführungsformen veranschaulicht und beschrieben wurden, ist für den Durchschnittsfachmann erkennbar, dass vielfältige alternative und/oder äquivalente Implementierungen die dargestellten und beschriebenen spezifischen Ausführungsformen ersetzen können, ohne vom Schutzbereich der vorliegenden Erfindung abzuweichen. Die vorliegende Anmeldung soll jegliche Anpassungen oder Varianten der hier besprochenen spezifischen Ausführungsformen abdecken. Deshalb ist es beabsichtigt, dass die vorliegende Erfindung nur durch die Ansprüche und ihre Äquivalente eingeschränkt wird.
