-
Die Erfindung betrifft die Kalibrierung mindestens eines Sensors bei Schienenfahrzeugen. Der Begriff „Kalibrierung“ bezieht sich dabei beispielsweise auf das Bestimmen von Geometrie- und Latenzparametern. Geometrische Kalibrierung bedeutet dabei, dass sowohl innere Parameter der Sensoren, als auch äußere Parameter der einzelnen Sensoren zueinander sowie zum Fahrzeug selbst bestimmt werden. Im Folgenden kann sich der Begriff „Kalibrierung“ jedoch auch lediglich auf eine Teilmenge dieser Parameter beziehen.
-
Unsicherheiten können dabei verschiedene Gründe haben. So sind bestimmte Merkmale des Sensors von außen nicht erkennbar und werden vom Hersteller nicht veröffentlicht. Manuelle Messungen sind mitunter fehleranfällig oder unmöglich.
-
Zur Kalibrierung sind Kalibriermerkmale nötig, die von den Sensoren in guter Qualität in einer Umgebung identifiziert werden können.
-
Üblicherweise findet die Kalibrierung in einer festgelegten Kalibrierumgebung statt. Dabei werden entweder Kalibrierkörper eingesetzt und vorbestimmte Kalibriermuster verwendet, um dedizierte Kalibrierexperimente durchzuführen. Ein typisches Beispiel ist der Einsatz von Schachbrettmustern zur Kalibrierung von Kameras.
-
Aus J. Levinson, S. Thrun, Automatic online calibration of cameras and lasers, Robotics: Science and Systems, p. 24 - 28, 2013 ist ein Ansatz für den Automotive-Bereich bekannt, der eine Online-Kalibrierung von einem Laserscanner relativ zu einer Kamera ermöglicht. Dabei werden im Kamerabild und in den Laserdaten Kanten identifiziert, deren Übereinstimmung über ein Optimierungsproblem erreicht werden soll. Dies stellt dann den Kalibrierungsprozess dar.
-
Der Begriff Pose bezeichnet die Kombination von Position und Orientierung eines Objekts im dreidimensionalen Raum. Die Pose kann hierbei neben der Position im zwei- oder dreidimensionalen Raum auch alle Winkel der Orientierung enthalten. Es ist jedoch auch möglich, dass im Rahmen der Pose nur ein oder zwei Winkel bestimmt werden. Der Begriff Pose wird im Folgenden gemäß dieser Bestimmung verwendet.
-
Durch die vorliegende Erfindung soll eine Alternative zum Stand der Technik bereitgestellt werden.
-
Diese Aufgabe wird durch ein Verfahren zur Kalibrierung mindestens eines Sensors eines Schienenfahrzeugs gelöst, bei dem mindestens ein Sensor mindestens ein Referenzobjekt in einer Umgebung erfasst, mindestens ein Merkmal des Referenzobjekts aus Signalen des Sensors extrahiert wird, und mindestens ein Prozessor den mindestens einen Sensor anhand des Merkmals kalibriert. Das Verfahren ist dadurch gekennzeichnet, dass der Sensor an einem Schienenfahrzeug montiert ist, die Umgebung eine Fahrumgebung des Schienenfahrzeugs ist, und die Erfassung des Referenzobjekts während einer Fahrt des Schienenfahrzeugs durchgeführt wird.
-
Die im Folgenden genannten Vorteile müssen nicht notwendigerweise durch die Gegenstände der unabhängigen Patentansprüche erzielt werden. Vielmehr kann es sich hierbei auch um Vorteile handeln, welche lediglich durch einzelne Ausführungsformen, Varianten oder Weiterbildungen erzielt werden. Gleiches gilt für die nachfolgenden Erläuterungen.
-
Die Referenzobjekte sind Objekte in der Umgebung, welche von dem Sensor erfasst werden können. Es kann sich hierbei um ein einziges oder einige wenige Objekte handeln, welche vorab von einem Systementwickler ausgewählt oder in der Umgebung montiert wurden. Es kann sich jedoch auch um eine Vielzahl von Objekten handeln, bis hin zu sämtlichen Objekten, welche von dem Sensor in der Umgebung erfasst werden können.
-
Der Prozessor ist beispielsweise ein Mikroprozessor oder Mikrocontroller, ein System-on-Chip oder ein programmierbarer Digitalbaustein, etwa ein „Field Programmable Gate Array“ (FPGA).
-
Das Verfahren beruht auf der Verwendung von Umgebungsinvarianten - also Referenzobjekten, welche in der Fahrumgebung von vornherein vorhanden waren oder speziell für das Verfahren installiert wurden - zur online-Kalibrierung von einem oder mehreren Sensoren des Schienenfahrzeugs. Das Verfahren kann hierbei Vorwissen über die Fahrumgebung sowie Ort und Maße der Referenzobjekte verwenden, dies ist aber nicht zwingend erforderlich.
-
Das mindestens eine Merkmal kann hierbei beispielsweise ein visuelles Muster oder eine zweidimensionale oder dreidimensionale geometrische Form sein. Es kann aber auch ganz allgemein ein Punkt in einer Punktwolke sein, welche als Signal von dem mindestens einen Sensor aufgezeichnet wird. In letzterem Fall besteht die Extraktion des Merkmals in der Auswahl des Punktes aus der Punktwolke.
-
Das Verfahren bietet gegenüber aus dem Stand der Technik bekannten Vorgehensweisen zur Kalibrierung den Vorteil, dass der Aufwand für eine vollständige Kalibrierung der Sensoren vor der Inbetriebnahme des Schienenfahrzeugs entfällt, worunter auch die Arbeitszeit eines Fachmanns für Sensorkalibrierung fällt.
-
Gemäß einer Ausführungsform wird die Extraktion des Merkmals sowie die Kalibrierung des Sensors während der Fahrt des Schienenfahrzeugs durchgeführt.
-
In einer Weiterbildung wird die Kalibrierung des Sensors zu vorgegebenen Zeitpunkten, an vorgegebenen Orten und/oder während vorgegebenen Betriebszuständen des Schienenfahrzeugs durchgeführt.
-
Beispielsweise erfolgt die Kalibrierung bei jedem planmäßigen Halt des Schienenfahrzeugs, zu einer vorgegebenen Uhrzeit nachts oder während einem vorgegebenen Betriebszustand, oder an vorgegebenen Orten, beispielsweise bei der Einfahrt in ein Depot oder in eine Waschanlage.
-
Gemäß einer Ausführungsform erfolgt die Kalibrierung fortlaufend oder in Intervallen während der Fahrt in einem regulären Linienbetrieb des Schienenfahrzeugs.
-
Die regelmäßige Wiederholung der Kalibrierung während der Fahrt bietet den Vorteil, dass das Sensorsystem unmittelbar auf dynamische Veränderungen des Schienenfahrzeugs reagieren kann, indem permanent während des Betriebs Kalibrierdaten aus vorhandenen Umgebungsstrukturen erhoben und verarbeitet werden. Dies ermöglicht eine häufigere und genauere Kalibrierung. Die regelmäßige Abfahrt einer Strecke im Linienbetrieb garantiert so eine regelmäßige Kalibrierung, welche häufiger und genauer durchführbar ist, als dies bisher möglich ist, wodurch die Sicherheit erhöht wird. In der Folge werden Wartungsaufwand und -kosten für das Sensorsystem reduziert.
-
Die häufigere und genauere Kalibrierung ermöglicht neue Anwendungen wie den Einsatz von Fahrassistenzsystemen und autonomem Fahren, welche eine hohe Präzision der Sensormessungen erfordern.
-
Und gerade bei diesen Anwendungen kann sich die Kalibrierung im Betrieb ändern, beispielsweise durch Vibrationen. Daher ist ein wiederholtes Kalibrieren, idealerweise von allen Sensoren gleichzeitig, notwendig. Eine ungenaue Kalibrierung würde in einer ungenauen Repräsentation der Fahrumgebung resultieren. Da die Entscheidungen von (semi-)autonomen Systemen auf diesen Umgebungsmodellen basieren, haben Kalibrierabweichungen sowohl bei der Auswahl wie auch bei der Ausführung von Aktionen gravierende Auswirkungen. In diesem Zusammenhang wirkt die Ausführungsform besonders vorteilhaft.
-
In einer Weiterbildung werden mehrere Referenzobjekte erfasst, welche insbesondere Masten, Baken, Prellböcke, Verkehrssignale, Bahnhöfe und/oder Kalibrierkörper sind. Mindestens ein Merkmal jedes Referenzobjekts wird aus den Signalen des Sensors extrahiert. Der Prozessor kalibriert den mindestens einen Sensor anhand der Merkmale.
-
Besonders vorteilhaft erweist sich im Kontext dieser Weiterbildung die Verwendung von Referenzobjekten wie Masten, Baken, Prellböcken, Verkehrssignalen oder Bahnhöfen, welche bereits in der Fahrumgebung vorhanden sind. Somit kann auf künstliche Kalibrierkörper verzichtet werden, wodurch die Kosten für deren Anschaffung, Installation und Wartung eingespart werden. Ferner wird eine (mutwillige) Manipulation der Referenzobjekte weitgehend ausgeschlossen, wenn vorhandene Objekte anstelle neuer Kalibrierkörper genutzt werden. Prellböcke eignen sich aufgrund ihrer genormten Geometrie besonders gut als Referenzobjekte. Sie sind mit einem reflektierenden Schild markiert und somit in Kamera, Laser und Radar gut im Rahmen der Datenverarbeitung zu erkennen. Bei den Verkehrssignalen kann es sich auch um Fahrsignale mit aktiven Lichtquellen wie etwa Ampeln handeln, deren Lichter gut aus dem Kamerabild extrahiert werden können.
-
Gemäß einer Ausführungsform ordnet der Prozessor Merkmale einander zu, die zu unterschiedlichen Zeitpunkten erfasst werden. Alternativ oder ergänzend ordnet der Prozessor Merkmale einander zu, die von unterschiedlichen Sensoren erfasst werden. Der Sensor wird kalibriert, indem der Prozessor Parameter des Sensors so optimiert, dass die jeweils einander zugeordneten Merkmale möglichst konsistent sind.
-
Beispielsweise wird hierbei ein Maß für die Konsistenz im Zuge der Optimierung maximiert.
-
Gemäß einer Ausführungsform wird eine Repräsentation der Fahrumgebung aus den Merkmalen erstellt. Der Sensor wird kalibriert, indem der Prozessor Parameter des Sensors so berechnet, dass Abweichungen zwischen anhand der Repräsentation der Fahrumgebung prädizierten Merkmalen und aus realen Signalen des Sensors extrahierten Merkmalen minimiert werden.
-
In einer Weiterbildung berücksichtigt die Repräsentation der Fahrumgebung Vermessungen der Referenzobjekte, welche vorab in der Fahrumgebung durchgeführt wurden.
-
Gemäß einer Ausführungsform wird mittels eines SLAM-Algorithmus zur simultanen Lokalisierung und Kartenerstellung zugleich die Repräsentation der Fahrumgebung bestimmt, wobei die Repräsentation der Fahrumgebung die Merkmale abbildet, und eine Pose des Schienenfahrzeugs bestimmt, wobei die Pose eine Pose in dem Koordinatensystem ist.
-
Diese Ausführungsform ermöglicht es, darauf zu verzichten, vorab Daten über die Fahrumgebung zu erheben, indem diese beispielsweise vermessen wird. Denn die Repräsentation der Fahrumgebung kann mittels des SLAM-Algorithmus auch ohne Vorbereitung bzw. Vorwissen aufgebaut werden.
-
Im Rahmen des SLAM-Algorthmus kann auch beispielsweise aus der Orientierung von Masten neben dem Gleis eine Neigung des Schienenfahrzeugs ermittelt werden, welche in der Pose des Schienenfahrzeugs enthalten ist.
-
In einer Weiterbildung ist die Repräsentation der Fahrumgebung eine statistische Schätzung. Die Pose wird als Wahrscheinlichkeitsdichtefunktion modelliert.
-
Gemäß einer Ausführungsform führt der SLAM-Algorithmus iterativ einen Kalmanfilter-Algorithmus, Extended-Kalmanfilter-Algorithmus, Unscented-Kalmanfilter-Algorithmus oder Particle-Filter-Algorithmus aus.
-
In einer Weiterbildung beruht der SLAM-Algorithmus auf einem Faktorgraph-Algorithmus.
-
Gemäß einer Ausführungsform werden die Merkmale aus Signalen von mehreren Sensoren extrahiert, welche an dem Schienenfahrzeug montiert sind, wobei die Sensoren insbesondere unterschiedlichen Typs sind.
-
In einer Weiterbildung werden mindestens zwei Sensoren gleichzeitig kalibriert.
-
Die Anordnung umfasst mindestens einen Sensor und mindestens einen Prozessor (4), welcher zur Kalibrierung des Sensors durch Ausführung des Verfahrens eingerichtet ist.
-
Das Schienenfahrzeug weist die Anordnung auf.
-
Auf dem computerlesbaren Datenträger ist ein Computerprogramm gespeichert welches das Verfahren ausführt, wenn es in einem Prozessor abgearbeitet wird. Das Computerprogramm wird in einem Prozessor abgearbeitet und führt dabei das Verfahren aus.
-
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand von Figuren näher erläutert. In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen, sofern nichts anderes angegeben ist. Es zeigen:
- 1 ein Schienenfahrzeug 1 mit vier Sensoren 21, 22, 23, 24 in einer Fahrumgebung mit Referenzobjekten 5, 6, 7, 8; und
- 2 einen Ablauf einer Kalibrierung 13.
-
Grundsätzlich sind zur Kalibrierung eines Sensors eines Schienenfahrzeugs zusätzliche Informationen nötig. Diese können beispielsweise Messwerte eines weiteren Sensors sein. Alternativ können Referenzobjekte, welche der Sensor aufzeichnet, vorab genau vermessen werden. Andere Arten von Vorwissen sind beispielsweise vorbekannte Formen von Merkmalen der Referenzobjekte. Auch eine Repräsentation der Fahrumgebung kann Vorwissen über Position und Orientierung der Referenzobjekte bzw. deren Merkmale enthalten. Als zusätzliche Information kann auch das Vorwissen genutzt werden, dass die Referenzobjekte in der Fahrumgebung stationär sind.
-
1 zeigt ein Schienenfahrzeug 1, beispielsweise eine Lok oder ein Zug, auf dem ein erster Sensor 21, ein zweiter Sensor 22, ein dritter Sensor 23 und ein vierter Sensor 24 montiert sind, beispielsweise Radar- oder LiDAR-Sensoren, Kameras und/oder Laserscanner. Die Sensoren 21, 22, 23, 24 erfassen während der Fahrt ein erstes Referenzobjekt 5, ein zweites Referenzobjekt 6, ein drittes Referenzobjekt 7 und ein viertes Referenzobjekt 8 in einer Fahrumgebung des Schienenfahrzeugs 1. Grundsätzlich können die Sensoren 21, 22, 23, 24 beliebig auf dem Schienenfahrzeug 1 verteilt sein, beispielsweise auch über mehrere Waggons. Mehrere Sensoren, die benachbart montiert sind, sind vorzugsweise in unterschiedlichen Richtungen ausgerichtet oder von unterschiedlichem Typ. Abweichend von 1 können jedoch auch nur ein, zwei oder drei Sensoren, oder mehr als vier Sensoren auf dem Schienenfahrzeug 1 angeordnet sein.
-
Das System zur Kalibrierung beinhaltet neben den Sensoren 21, 22, 23, 24 einen oder mehrere Prozessoren, beispielsweise den in 1 dargestellten Prozessor 4, auf dem Software zur Kalibrierung der Sensoren 21, 22, 23, 24 läuft. Die Kalibrierung erfolgt basierend auf Merkmalen, welche sich aus den Referenzobjekten 5, 6, 7, 8 in der Fahrumgebung, also aus vorhandenen, statischen Strukturen der Fahrumgebung extrahieren lassen. Die Merkmale lassen sich beispielsweise aus Masten, Baken, Prellböcken, Verkehrssignalen oder Bahnhöfen als Referenzobjekten 5, 6, 7, 8 extrahieren. Alternativ können Kalibrierkörper als Referenzobjekte 5, 6, 7, 8 in der Fahrumgebung montiert werden. Wichtig ist, dass die Referenzobjekte 5, 6, 7, 8 statisch und konstant sind, so dass ihre Merkmale wiederholt erkannt werden können.
-
In einem Ausführungsbeispiel wird der erste Sensor 21 kalibriert, ohne dass hierzu ein Koordinatensystem mit geographischen Koordinaten oder Weltkoordinaten berücksichtigt werden muss. Beispielsweise wird ein Merkmal zu unterschiedlichen Zeitpunkten aufgezeichnet. Die Kenntnis eines Fahrwegs zwischen den Zeitpunkten erlaubt nun eine Bestimmung einer Transformation zwischen einem Referenzsystems des Schienenfahrzeugs 1 und einer Pose des ersten Sensors 21. Anhand der Transformation können die äußeren Parameter des ersten Sensors 21 bestimmt und der erste Sensor 21 kalibriert werden.
-
Eine andere Möglichkeit besteht darin, dass der erste Sensor 21 und der zweite Sensor 22 zum gleichen Zeitpunkt das gleiche Merkmal erfassen. In diesem Fall ist es möglich, eine Transformation zwischen den beiden Sensoren 21, 22 abzuleiten, anhand derer sich deren äußere Parameter einstellen bzw. kalibrieren lassen.
-
In einer weiteren Gruppe von Varianten werden Zuordnungen der extrahierten Merkmale zwischen verschiedenen Sensoren und/oder Zeitpunkten unter Zuhilfenahme von Invarianzannahmen vorgenommen. Anhand dieser Zuordnungen ist es möglich, eine Transformation zwischen den beiden Sensoren 21, 22 abzuleiten, anhand derer sich deren äußere Parameter einstellen bzw. kalibrieren lassen.
-
Beispielsweise wird ein aus Signalen des ersten Sensors 21 extrahiertes Merkmal oder eine Gruppe von Merkmalen in den Signalen des ersten Sensors 21 zu einem späteren Zeitpunkt erneut erwartet, oder in den Signalen des zweiten Sensors 22 erwartet. Die Merkmale können sich hierbei an einem anderen Ort im Sichtfeld des jeweiligen Sensors befinden, stehen aber zueinander in der gleichen Relation. Somit stellt sich die Aufgabe, das Merkmal oder die Gruppe von Merkmalen in den jeweiligen Sensorsignalen aufzufinden, wozu lokal begrenzte Such- und Optimierungsalgorithmen eingesetzt werden können. Beispielsweise kann dies bei einer Kalibrierung von Lidar zu Radar in einer Fahrumgebung mit räumlich ausreichend getrennten Merkmalen so durchgeführt werden, dass der Lidar aufgrund seiner Genauigkeit verwendet wird, um geeignete Merkmale zu identifizieren, denen das jeweils räumlich nächste Merkmal in der Radarmesssung zugeordnet wird. Dies setzt eine grobe vorläufige Kalibrierung voraus.
-
Eine andere Variante nach einer initialen, möglicherweise manuellen oder aufgrund von eindeutigen Merkmaleigenschaften bestimmten Zuordnung eines Merkmals in verschiedenen Sensoren sieht vor, dieses Merkmal über die Zeit in den Sensoren getrennt unter Verwendung von Objekttrackingmethoden wie Kalman Filter zu verfolgen, um so die initiale Zuordnung zu erhalten.
-
Die Transformation zur Kalibrierung kann dann so bestimmt werden, dass beispielsweise der quadratische Abstand zwischen den zugeordneten Merkmalen minimiert wird. Dazu können iterative Optimierungsalgorithmen wie der Levenberg-Marquardt Algorithmus oder Quasi-Newton Verfahren verwendet werden.
-
Dies kann iterativ durchgeführt werden, um die Genauigkeit zu erhöhen. Der Aufbau einer komplexen Datenstruktur wie etwa einer Karte der Fahrumgebung ist hierfür nicht erforderlich.
-
In einer weiteren Variante wird hingegen eine Repräsentation der Fahrumgebung, beispielsweise eine Karte, erstellt, welche beispielsweise ein zwei- oder dreidimensionales Umgebungsmodell ist. Die Parameter der Sensoren 21, 22, 23, 24 werden dann so gewählt, dass die Abweichungen zwischen anhand der Repräsentation der Fahrumgebung prädizierten Sensormessungen und tatsächlichen Sensormessungen minimiert werden.
-
Durch eine Vielzahl an Referenzobjekten 5, 6, 7, 8 und somit auch Messungen und Kalibrierungen, wird nicht nur die aktuelle Kalibrierung ständig verifiziert und aktualisiert, sondern es lassen sich auch fehlerhafte Merkmale in der Repräsentation der Fahrumgebung erkennen, welche daraufhin korrigiert oder ignoriert werden.
-
Die Sensoren 21, 22, 23, 24 sind beispielsweise von unterschiedlichem Typ. Der erste Sensor 21 ist zum Beispiel ein Radar, welcher horizontal aufgefächert nach vorne ausgerichtet ist und als Signal eine Objektliste zurückliefert. Die Objektliste enthält beispielsweise für jedes Objekt einen horizontalen Winkel, eine Entfernung und eine Geschwindigkeit. Anstelle von zweidimensionalen Daten kann der Radar auch dreidimensionale Daten als Signal erfassen und ausgeben.
-
Der zweite Sensor 22 ist beispielsweise ein LiDAR, welcher als Signal einen Abstandswert für jeden Winkel auf vier leicht geneigten fächerförmigen Ebenen zurückliefert. Die Signale des LiDARS können ein-, zwei oder dreidimensional sein.
-
Die Extraktion der Merkmale der Referenzobjekte 5, 6, 7, 8 kann außerhalb des ersten Sensors 21 und des zweiten Sensors 22 in einer Recheneinheit, beispielsweise dem Prozessor 4, oder innerhalb des ersten Sensors 21 und des zweiten Sensors 22 erfolgen.
-
Der dritte Sensor 23 ist beispielsweise eine 2D-Kamera.
-
Der vierte Sensor 24 ist beispielsweise eine Stereokamera oder eine Zoomkamera. Varianten des vorliegenden Ausführungsbeispiels können nur einen dieser Sensoren oder eine beliebige Auswahl umfassen.
-
In einer Variante werden der erste Sensor 21, der zweite Sensor 22 und der dritte Sensor 23 gemeinsam kalibriert.
-
Grundsätzlich werden äußere Parameter, innere Paramater, oder sowohl äußere Parameter als auch innere Parameter eines oder mehrerer der Sensoren 21, 22, 23, 24 eingestellt, wodurch die jeweiligen Sensoren 21, 22, 23, 24 kalibriert werden.
-
Bei den äußeren (extrinsischen) Parametern des jeweiligen Sensors 21, 22, 23, 24 handelt es sich um seine Pose in Relation zu dem Schienenfahrzeug 1 oder in Relation zu anderen Sensoren. Die fortlaufende Korrektur der äußeren Parameter ist vorteilhaft, da diese sich während der Fahrt des Schienenfahrzeugs durch Erschütterungen, sich lösende Schrauben oder andere Umwelteinflüsse verändern können.
-
Ebenfalls von großer Bedeutung ist die Bestimmung von LatenzParametern, welche beispielsweise eine zeitliche Verzögerung beschreiben, bis ein in der Fahrumgebung detektiertes Referenzobjekt 5, 6, 7, 8 in einer Fusionseinheit, welche die Signale der unterschiedlichen Sensoren 21, 22, 23, 24 fusioniert, für eine weitere Auswertung verfügbar ist.
-
Erst an zweiter Stelle steht die Bestimmung innerer (intrinsischer) Parameter der Sensoren 21, 22, 23, 24; diese kann auch entfallen oder vorab durchgeführt werden. So sind die inneren Parameter eines Radars oder LiDARs in der Regel bereits vorab kalibriert worden und konstant.
-
Zumindest für Kameras kann jedoch auch eine Bestimmung der inneren Parameter vorgenommen werden, zu denen beispielsweise eine Brennweite, ein x-Wert und y-Wert eines Bildmittelpunktes, sowie eine Pixelskalierung in x-Richtung und y-Richtung zählen. Hierzu werden beispielsweise Kamerabilder von den Referenzobjekten 5, 6, 7, 8 in der Fahrumgebung aufgezeichnet, welche als Sequenz vorliegen. Mit dem Wissen, dass das Schienenfahrzeug 1 zwischen den einzelnen aufgenommen Bildern beispielsweise jeweils 5 Meter zurücklegt, können die inneren Parameter der Kamera derart bestimmt werden, dass Mehrfacheinträge des gleichen Referenzobjekts 5, 6, 7, 8 in der Repräsentation der Fahrumgebung übereinander fallen.
-
Dies ist grundsätzlich sowohl für 2D-Kameras als auch für 3D-Kameras oder Kameras mit speziellen Objektiven, etwa Zoom-Objektiven, möglich.
-
Kalibrierdaten werden in einer Variante permanent oder in regelmäßigen Intervallen während des Betriebs erhoben. Das System verarbeitet die aufgenommen Daten so, dass es die benötigten inneren und äußeren Parameter sowie die Latenz-Parameter bestimmen kann.
-
Eine Vorab-Vermessung der Referenzobjekte bzw. der Merkmale zueinander bzw. zur Infrastruktur kann die Kalibrierung verbessern bzw. die Kalibrierung bestimmter äußerer Parameter ermöglichen.
-
Entsprechend einem weiteren Ausführungsbeispiel sind auf dem Schienenfahrzeug 1 Sensoren 21, 22, 23, 24 angebracht, die in der Fahrumgebung vorhandene Referenzobjekte 5, 6, 7, 8 erfassen und deren Messwerte geeignet sind, die Posen der Sensoren 21, 22, 23, 24 und - nach einer geeigneten Transformation - des Schienenfahrzeugs 1 in Bezug auf die Fahrumgebung zu bestimmen.
-
Die Fahrumgebung weist hierzu die Referenzobjekte 5, 6, 7, 8 mit Merkmalen auf, die von den Sensoren 21, 22, 23, 24 erkannt werden können, und deren Posen relativ zu den Sensoren 21, 22, 23, 24 zumindest teilweise ermittelbar sind. Dies können sowohl speziell zum Zweck der Bestimmung der Pose des Schienenfahrzeugs 1 angebrachte Referenzobjekte sein, als auch solche, die ohnehin in der Fahrumgebung vorhanden sind. Die Bestimmung der Posen der Merkmale geschieht durch das Schienenfahrzeug 1 mit seinen Sensoren 21, 22, 23, 24 selbst. Die ermittelten Posen sind beispielsweise Posen in einem absoluten, festen Koordinatensystem der Fahrumgebung, welches in der Begrifflichkeit der Photogrammetrie ein Weltkoordinatensystem ist. Die Posen können jedoch auch lediglich in einem relativen Koordinatensystem ermittelt werden, dessen Ursprung durch das Schienenfahrzeug definiert wird.
-
Hierbei können zur Kalibrierung Parameter der Sensoren 21, 22, 23, 24 bestimmt und so die Genauigkeit der Messung der Posen verbessert werden. Externe Kalibriervorrichtungen und spezielle Kalibriervorgänge werden nicht mehr zwingend benötigt.
-
In einer Variante dieses Ausführungsbeispiels wird mittels eines SLAM-Algorithmus zur simultanen Lokalisierung und Kartenerstellung zugleich die Repräsentation der Fahrumgebung bestimmt, wobei die Repräsentation der Fahrumgebung aus Sichtungen der Referenzobjekte 5, 6, 7, 8 extrahierte Merkmale abbildet, und eine Pose des Schienenfahrzeugs 1 bestimmt, wobei die Pose eine Pose in dem Koordinatensystem ist. Hierbei kann ein absolutes, ortsfestes Koordinatensystem verwendet werden. Es ist jedoch auch möglich und für die vorliegende Anwendung einfacher, lediglich ein relatives Koordinatensystem zu verwenden, welches seinen Ursprung im Schienenfahrzeug hat.
-
Hierbei können die extrahierten Merkmale in der Repräsentation der Fahrumgebung eingetragen oder aufgefunden werden, welche eine statistische Schätzung ist. Die Pose des Schienenfahrzeugs 1 muss nicht in allen Koordinaten bzw. Winkeln bestimmt werden. Sie kann auch eine Unschärfe aufweisen und probabilistisch beschrieben sein, beispielsweise als Wahrscheinlichkeitsdichtefunktion.
-
Der SLAM-Algorithmus kann iterativ einen Kalmanfilter-Algorithmus, Extended-Kalmanfilter-Algorithmus, Unscented-Kalmanfilter-Algorithmus oder Particle-Filter-Algorithmus ausführen. Iterative Verfahren beruhen auf iterativer Prädiktion und Korrektur.
-
Alternativ kann der SLAM-Algorithmus auf einem Faktorgraph-Algorithmus beruhen. Einen hierzu geeigneten Algorithmus offenbart beispielsweise das Dokument „Information fusion in navigation systems via factor graph based incremental smoothing", V. Indelman, S. Williams, M. Kaess, F. Dellaert, Robotics and Autonomous Systems 61 (2013) 721-738.
-
Es können mehrere Referenzobjekten 5, 6, 7, 8 mit mehreren Sensoren 21, 22, 23, 24 erfasst werden, woraufhin für jedes Referenzobjekt 5, 6, 7, 8 mindestens ein Merkmal extrahiert und in der Repräsentation der Fahrumgebung abgebildet wird, und wobei die Sensoren 21, 22, 23, 24 zumindest teilweise unterschiedlichen Typs sind.
-
Die Sensoren 21, 22, 23, 24 erfassen, je nach Sichtbereich, Signale, aus denen sich die Merkmale der Referenzobjekte 5, 6, 7, 8 in der Fahrumgebung extrahieren lassen. Die Merkmale können in der Fahrumgebung ohnehin vorhandene Strukturen der Referenzobjekte sein, welche sich beispielsweise als SIFT- oder SURF-Merkmale mit geeigneten Algorithmen aus Kamerabildern extrahieren lassen, sofern Kameras unter den Sensoren 21, 22, 23, 24 sind.
-
Die unkalibrierte Genauigkeit der Sensoren 21, 22, 23, 24 ist für zahlreiche Anwendungsfälle nicht genau genug. Zum einen sind die Werte der inneren und äußeren Parameter der Sensoren 21, 22, 23, 24 nicht genau bekannt. Dies kann eine Kalibrierung verbessern, bei der beispielsweise die Werte der Parameter so verändert werden, dass für eine Anzahl von physikalisch gemessenen Punkten in Koordinaten die Summe der quadratischen Abweichungen von sensorisch gemessenem Punkt und physikalisch gemessenem Punkt minimiert wird. Die Punkte sind hierbei die zuvor erläuterten Merkmale, welche aus der Fahrumgebung extrahiert werden.
-
Eine derartige Kalibrierung stößt jedoch an Grenzen, da es hierzu erforderlich ist, die Punkte vorab physikalisch zu vermessen. Im Folgenden werden weitere Beispiele erläutert, wie mittels einer simultanen Lokalisierung und Kartenerstellung zugleich eine Repräsentation der Fahrumgebung und eine Pose des Schienenfahrzeugs 1 bestimmt werden kann. Hierbei wird Bezug auf 1 und die bisherigen Ausführungen genommen. Bei der Repräsentation der Fahrumgebung handelt es sich beispielsweise um eine statistische Schätzung, während die Pose gut als Wahrscheinlichkeitsdichtefunktion modellierbar ist. Im Rahmen des Abgleichs der Repräsentation der Fahrumgebung mit den realen Sensormessungen können die Parameter der Sensoren eingestellt werden, wodurch diese kalibriert werden.
-
Im vorliegenden Ausführungsbeispiel gilt es, eine Pose des Schienenfahrzeugs 1 zu bestimmen. Anhand der Pose können dann auch die Parameter der Sensoren 21, 22, 23, 24 kalibriert werden.
-
Die Lokalisierung des Schienenfahrzeugs 1 wird mittels der Sensoren 21, 22, 23, 24 durchgeführt. In dem in 1 gezeigten Aufbau lassen sich Posen der Merkmale der Referenzobjekte 5, 6, 7, 8 in der Fahrumgebung relativ zu den Sensoren 21, 22, 23, 24 aus den Sensormessungen ermitteln. Bei unterschiedlichen Fahrten des Schienenfahrzeugs 1 kann jedes Mal eine andere Pose eines dieser Merkmale ermittelt werden, obwohl diese konstant sein muss. Daher werden die Parameter der Sensoren 21, 22, 23, 24 und die Posen so bestimmt, dass die Schwankung der Posen der Merkmale minimiert wird, d.h. die Repräsentation der Fahrumgebung wird verbessert. Gleichzeitig wird damit auch die Schätzung der Pose des Schienenfahrzeugs 1 verbessert. Die Bestimmung der Parameter der Sensoren 21, 22, 23, 24 ist deren Kalibrierung.
-
Die Referenzobjekte 5, 6, 7, 8 befinden sich im Sichtbereich des Schienenfahrzeugs 1. Der Sichtbereich des Schienenfahrzeugs 1 bezeichnet hierbei die Überdeckung der Sichtbereiche aller Sensoren 21, 22, 23, 24 für alle möglichen Fahrpositionen. In einer Variante sind die Positionen der Referenzobjekte 5, 6, 7, 8 dem Schienenfahrzeug 1 a priori bekannt.
-
Im Folgenden wird zunächst nur von einem ersten Sensor 21 ausgegangen. Zum Aufbau der Repräsentation der Fahrumgebung und zur gleichzeitigen Lokalisierung fährt das Schienenfahrzeug 1 mit dem ersten Sensor 21 entlang einer vorgegebenen Strecke, welche beispielsweise eine reguläre Stammstrecke des Schienenfahrzeugs 1 ist, wodurch die Referenzobjekte 5, 6, 7, 8 erfasst werden. Der erste Sensor 21 ist beispielsweise ein bildgebender Sensor. Die Repräsentation der Fahrumgebung wird aufgebaut, indem Merkmale der Referenzobjekte 5, 6, 7, 8 aus Signalen des ersten Sensors 21 extrahiert und in der Repräsentation der Fahrumgebung gespeichert werden.
-
Nach dem Aufbau der Repräsentation der Fahrumgebung kann diese genutzt werden, um bei weiteren Fahrten die Merkmale in der Repräsentation der Fahrumgebung mit vom ersten Sensor 21 aufgezeichneten Merkmalen zu vergleichen. Sofern die Pose des Schienenfahrzeugs 1 in der Repräsentation der Fahrumgebung bekannt ist, kann nun die Transformation zwischen einem Referenzsystems des Schienenfahrzeugs 1 und einer Pose des ersten Sensors 21 bestimmt werden. Anhand dieser Transformation können die äußeren Parameter des ersten Sensors 21 eingestellt werden, wodurch dieser kalibriert wird.
-
Hierbei wird zugleich die Repräsentation der Fahrumgebung verbessert und die Pose des ersten Sensors 21 bestimmt, wie dies bei Algorithmen zur simultanen Lokalisierung und Kartenerstellung (engl. „Simultanous Localization and Mapping“, SLAM) aus dem Stand der Technik bereits für andere Anwendungen bekannt ist. Eine günstige Implementierung dieses Ansatzes stellen Faktorgraph-Algorithmen bereit, welche ausführlich erläutert sind in dem Dokument „Factor Graphs and GTSAM: A Hands-on Introduction", Georgia Institute of Technology, Center for Robotics and Intelligent Machines, CP&R Technical Report, 2012, erhältlich im Internet am 06.07.2016 unter http://hdl.handle.net/1853/45226.
-
Eine ähnliche Genauigkeit lässt sich für den SLAM-Algortihmus auch erreichen, wenn nicht gleichzeitig über alle Messungen optimiert wird, sondern jede Messung berücksichtigt wird, sobald sie durchgeführt wird. Die zuvor beschriebene Optimierung des Systemzustands (Lokalisierung und Kartographierung) wird also iterativ durchgeführt. Dazu geeignete Algorithmen sind beispielsweise als Kalmanfilter, Extended-Kalmanfilter, Unscented-Kalmanfilter oder Particle-Filter bekannt aus S. Thrun, W. Burgard, and D. Fox, Probabilistic Robotics, MIT-Press, 2005.
-
In den letzten Ausführungsbeispielen wurde die Verwendung eines einzigen Sensors erläutert. Dies lässt sich natürlich auch auf zwei oder mehr Sensoren verallgemeinern.
-
Die Merkmale können aus Bildern von a priori bekannten Referenzobjekten in der Fahrumgebung extrahiert werden. Im Folgenden wird erläutert, wie jedoch auch andere Referenzobjekte verwendet werden können.
-
Beispielsweise können die Merkmale anhand von Referenzobjekten in der Fahrumgebung extrahiert werden, auf denen durch Bildverarbeitungsmethoden ein Punkt genau bestimmt und auch wiedererkannt werden kann. Solche Bildmerkmale sind z.B. als SIFT-Feature oder SURF-Feature bekannt, vgl. das Dokument „Scale-invariant feature transform“, erhältlich im Internet am 06.07.2016 unter https://en.wikipedia.org/wiki/Scale-invariant_feature_transform.
-
In einem solchen Fall ist die Bestimmung der Entfernung ungenau, und auch zwei der drei Rotationsparameter lassen sich nur ungenau bestimmen. Aber diese Unsicherheit lässt sich wiederum als Wahrscheinlichkeitsdichteverteilung modellieren, und die Genauigkeit der Gesamtschätzung lässt sich wie in den vorigen Ausführungsbeispielen ermitteln. Es liegen also schlechtere Informationen aus Einzelmessungen vor, welche aber durch zusätzliche unabhängige Messungen kompensiert werden können.
-
Als Sensoren 21, 22, 23, 24 können beispielsweise Kameras eingesetzt werden. Anstelle der Kameras können in den jeweiligen Ausführungsbeispielen jedoch auch andere Sensoren verwendet werden, da die beschriebenen Prinzipien auch für andere Sensoren gültig sind. So eignen sich als Sensoren neben 2D-Kameras auch 3D-Kameras, Infrarotkameras, Streifenprojektionssensoren, Ultraschallsensoren, Radar-, LiDAR-Sensoren, beispielsweise 2D- und 3D-Laserscanner oder Mehr-Ebenen-Laserscanner, die eine dichte Punktwolke erzeugen. Eine solche Punktwolke enthält in der Regel charakteristische Strukturen, die als Merkmale für eine Lokalisierung und Kartographierung verwendet werden können. Auch ein Laserscanner mit nur einer Scanebene kann verwendet werden.
-
Weiterhin können auch aktive Merkmale z.B. in Form von Lichtquellen, etwa von Fahrsignalen in der Fahrumgebung, ausgewertet werden. Wie zuvor erläutert ist es hilfreich, die Position dieser Merkmale als a-priori-Information bereitzustellen, aber nicht unbedingt erforderlich. Auch hier kann durch simultane Lokalisierung und Kartographierung eine hohe Genauigkeit der Sensorkalibrierung erreicht werden.
-
Aus der Photogrammetrie bekannte Verfahren können zur Kalibrierung einer Kamera als erstem Sensor 21 genutzt werden. Der Prozessor 4 extrahiert hierbei visuelle Merkmale von Referenzobjekten 5, 6, 7, 8 wie Masten, Baken, Prellböcken, Verkehrssignalen, Bahnhöfen oder Kalibrierkörpern aus den Signalen des ersten Sensors 21 und berechnet aus diesen eine Abbildung zwischen einem Weltkoordinatensystem, welches die Ortskoordinaten der Merkmale im dreidimensionalen Raum der Fahrumgebung des Schienenfahrzeugs 1 beschreibt, und einem Bildkoordinatensystem des ersten Sensors 21. In einem Anwendungsszenario ist das Weltkoordinatensystem dreidimensional und das Bildkoordinatensystem zweidimensional. Grundsätzlich kann das Weltkoordinatensystem in speziellen Anwendungsfällen jedoch auch zweidimensional sein. Umgekehrt können auch sowohl das Weltkoordinatensystem als auch das Bildkoordinatensystem dreidimensional sein, sofern die zum Einsatz kommende Kameratechnik oder Bildverarbeitungssoftware ein dreidimensionales Kamerabild generiert.
-
Die Abbildung zwischen dem Weltkoordinatensystem und dem Bildkoordinatensystem beruht beispielsweise auf den bekannten Kollinearitätsgleichungen, welche die zentralen Gleichungen der Photogrammetrie bilden und eine mathematische Formulierung der Zentralprojektion bereitstellen, welche als optische Gesetzmäßigkeit auch der physikalischen Aufzeichnung des Kamerabildes zugrunde liegt. Die Abbildung erlaubt es als Koordinatentransformation, aus Weltkoordinaten eines Objektpunkts Bildkoordinaten eines Bildpunkts zu berechnen. Umgekehrt können mittels der Abbildung unter bestimmten Voraussetzungen, beispielsweise einer Aufzeichnung mehrerer Kamerabilder aus unterschiedlichen Perspektiven, auch Bildkoordinaten eines Bildpunkts zurück in Weltkoordinaten eines Objektpunkts umgerechnet werden. Objektpunkt, Projektionszentrum der Zentralprojektion und Bildpunkt liegen hierbei auf einer Geraden.
-
Zur Berechnung der Abbildung muss im Regelfall eine affine Transformation zwischen dem Weltkoordinatensystem und einem Kamerakoordinatensystem ermittelt werden, welche von einer Pose des Schienenfahrzeugs 1 abhängt und beispielsweise eine Translation, eine Rotation und eine Skalierung umfasst. Die Pose des Schienenfahrzeugs 1, welche die Lage und Orientierung der Kamera als erstem Sensor 21 vorgibt, wird in der Photogrammetrie als äußere Orientierung bezeichnet und beeinflusst die perspektivische Verzerrung des Kamerabilds. Die affine Transformation zwischen dem Weltkoordinatensystem und einem Kamerakoordinatensystem ist Teil der Kollinearitätsgleichungen, welche mittels der Zentralprojektion auch die perspektivische Verzerrung berechnen.
-
Die ermittelte affine Transformation kann auch genutzt werden, um die äußeren Parameter des ersten Sensors 21 einzustellen und den ersten Sensor 21 so zu kalibrieren.
-
Der Referenzobjekte 5, 6, 7, 8, also beispielsweise die Masten, Baken, Prellböcke, Verkehrssignale, Bahnhöfe oder Kalibrierkörper, dienen in der Begrifflichkeit der Photogrammetrie als zusätzliche Beobachtung, speziell als Maßstab, da sich aus der Pose der Referenzobjekte 5, 6, 7, 8 relativ zum Schienenfahrzeug 1 auch unmittelbar die Pose des Schienenfahrzeugs 1 im Weltkoordinatensystem ergibt, da die Posen der Referenzobjekte 5, 6, 7, 8 im Weltkoordinatensystems vorab bekannt sind oder erlernt werden. Die Merkmale, die aus den Signalen des ersten Sensors 21 extrahiert werden, können in diesem Zusammenhang als Passpunkte verstanden werden. Die Referenzobjekte 5, 6, 7, 8 erlauben die räumlich eindeutige Rekonstruktion der äußeren Orientierung aus dem Kamerabild mit den Methoden der Photogrammetrie, beispielsweise durch eine iterative Berechnung eines räumlichen Rückwärtsschritts, wobei die Weltkoordinaten des Referenzobjekts 5, 6, 7, 8, eine innere Orientierung und das Kamerabild als Eingangsdaten verwendet werden können. Vorzugsweise weisen die Referenzobjekte 5, 6, 7, 8 ausreichend viele extrahierbare Merkmale auf, sodass im Kamerabild mindestens sechs Merkmale als Passpunkte sichtbar sind, wodurch die Genauigkeit verbessert wird. Alternativ kann beispielsweise jeweils ein Passpunkt als Merkmal aus Kamerabildern von unterschiedlichen Referenzobjekten 5, 6, 7, 8 extrahiert werden.
-
Zur Extraktion der Merkmale können zusätzlich Methoden der digitalen Bildverarbeitung und der Mustererkennung herangezogen werden. Die Genauigkeit der Extraktion liegt hierbei mittels geeigneter Algorithmen vorzugsweise im Subpixelbereich, beispielsweise bei 1/50 bis 1/100 Pixel.
-
Der erste Sensor 21 kann ein korrigiertes Linsensystem, insbesondere ein orthoskopisches Linsensystem, aufweisen.
-
Im Rahmen der Kamerakalibrierung kann insbesondere auch die innere Orientierung der Kamera bestimmt werden. Der Begriff innere Orientierung bezeichnet in der Photogrammetrie abbildungsrelevante Parameter einer Kamera, darunter beispielsweise eine Verzeichnung eines Linsensystems der Kamera, eine Kammerkonstante bzw. Brennweite des Linsensystems und ein Bildhauptpunkt auf dem Bildsensor. Alternativ kann die innere Orientierung auch den Spezifikationen des Herstellers entnommen oder im Rahmen einer Simultankalibrierung bestimmt werden.
-
Neben der Transformation zwischen Weltkoordinatensystem und Kamerakoordinatensystem können die Abbildung, also beispielsweise die Kollinearitätsgleichungen, und/oder die aus der Photogrammetrie bekannten Algorithmen auch einen Korrekturterm für eine Verzeichnung eines Objektivs der Kamera berücksichtigen. In diesem Fall sind die Bildkoordinaten nicht identisch mit Koordinaten von Bildpunkten des Bildsensors, sondern werden entsprechend der Verzeichnung des Objektivs korrigiert. Weitere Größen, die im Rahmen der Kollinearitätsgleichungen berücksichtigt werden, sind eine Kammerkonstante bzw. Brennweite des Objektivs und ein Bildhauptpunkt auf dem Bildsensor. Diese Aspekte werden in der Photogrammetrie unter dem Begriff innere Orientierung zusammengefasst.
-
Die ermittelte innere Orientierung kann auch genutzt werden, um die inneren Parameter des ersten Sensors 21 einzustellen und den ersten Sensor 21 so zu kalibrieren.
-
2 zeigt einen Ablauf einer Kalibrierung 13. Nach einem Fahrtbeginn 11 erfolgen kontinuierlich oder in Intervallen Sensormessungen 12, die für eine Kalibrierung 13 der Sensoren genutzt werden. Dies wird iterativ fortgeführt, bis die Fahrt mit einem Fahrtende 14 abgeschlossen wird.
-
Obwohl die Erfindung durch die Ausführungsbeispiele im Detail illustriert und beschrieben wurde, ist sie nicht durch die offenbarten Beispiele eingeschränkt. Andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Die beschriebenen Ausführungsbeispiele, Varianten, Ausführungsformen und Weiterbildungen können auch frei miteinander kombiniert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- „Information fusion in navigation systems via factor graph based incremental smoothing“, V. Indelman, S. Williams, M. Kaess, F. Dellaert, Robotics and Autonomous Systems 61 (2013) 721-738 [0072]
- „Factor Graphs and GTSAM: A Hands-on Introduction“, Georgia Institute of Technology, Center for Robotics and Intelligent Machines, CP&R Technical Report, 2012, erhältlich im Internet am 06.07.2016 [0082]