DE102018208512A1

DE102018208512A1 - Kalibrierungsverfahren und Kalibrierungssystem für eine Bahnfahrzeugkamera und Bahnfahrzeug mit Bahnfahrzeugkamera

Info

Publication number: DE102018208512A1
Application number: DE102018208512.9A
Authority: DE
Inventors: Andreas Schönberger
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2018-05-29
Filing date: 2018-05-29
Publication date: 2019-12-05
Also published as: WO2019228766A1; CN112154090B; CN112154090A; RU2762164C1; EP3802266A1

Abstract

Um auf einfache und kostengünstige Weise eine Bahnfahrzeugkamera (BFZK) kalibriert zu können, wird es vorgeschlagen, dass- von einem Bahnfahrzeug (BFZ), insbesondere einem Schienenfahrzeug (SFZ), aus, von einer Bahnstrecke (BST), insbesondere einer Schienenstrecke (SST), in Bezug auf einen dem Bahnfahrzeug (BFZ, SFZ) vorgelagerten Fahrstreckenbereich (FSB) eine Vielzahl von jeweils den Fahrstreckenbereich (FSB) repräsentierende Referenz-Bilder (RBI) erfasst und gespeichert wird,- Metadaten (MD) der erfassten Bilder über die Bahnstrecke (BST, SST) vorliegen,- ein Kalibrierungsbild (KBI) von einem aufgrund der Metadaten (MD) ermittelbaren Abschnitt der Bahnstrecke (BST, SST) mit geradem Verlauf einer Fahrspur durch die Bahnfahrzeugkamera (BFZK) erfasst wird,- eine Position und Orientierung der Bahnfahrzeugkamera (BFZK) angebende Information, die sogenannte Pose, in Bezug zur Fahrspur anhand des Fahrspurverlaufs in dem Kalibrierungsbild (KBI) ermittelt wird,- ein Korrekturwert (KW) auf der Basis eines zum Kalibrierungsbild (KBI) korrespondierenden, Metadaten-bezogenen Referenz-Bildes (RBI) der Referenz-Bilder (RBI) als Differenzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild (RBI) anhand der Pose-Information berechnet wird,- der berechnete Korrekturwert (KW) benutzt wird, um eine Kamerakalibrierungsinformation (KKI) zu erzeugen oder die Bildinformationen in dem Kalibrierungsbild (KBI) zu interpretieren.

Description

Die Erfindung bezieht sich auf ein Kalibrierungsverfahren für eine Bahnfahrzeugkamera gemäß dem Oberbegriff des Patentanspruches 1, ein Kalibrierungssystem für eine Bahnfahrzeugkamera gemäß dem Oberbegriff des Patentanspruches 3 und ein Bahnfahrzeug mit Bahnfahrzeugkamera gemäß dem Oberbegriff des Patentanspruches 7.
Bahnfahrzeuge sind als Bestandteil einer modernen Verkehrsinfrastruktur spurgebundene Verkehrs- und Transportmittel, die sich beispielsweise rollend auf oder unter von einer oder zwei Leitschienen (Gleisen), schwebend über oder unter einem Magnetfeld oder hängend an Stahlseilen fortbewegen. Von den genannten spurgebundenen Verkehrs- und Transportmittel sind Schienenfahrzeuge, die auf einem Rad-Schiene-System basieren, die entweder einen eigenen Fahrantrieb (Triebwagen) oder von eine Lokomotive gezogen oder geschoben werden und bei denen überwiegend Stahlräder mit einem Spurkranz auf zwei Stahlschienen bzw. Gleisen geführt werden, am weitesten verbreitet.
In zukünftigen Assistenzsystemen für solche Bahnfahrzeuge respektive Schienenfahrzeuge oder in autonom fahrenden spurgebundenen Fahrzeugen werden Kameras zur Erkennung unterschiedlicher Objekte und Umgebungsmerkmale wie beispielsweise zur Signalerkennung zum Einsatz kommen. Wenn diese Kameras nicht immer an derselben Stelle in einem Fahrzeug in Bezug zur Fahrspur respektive den Schienen (so z.B. Links/Rechts, Oben/Unten und Blickwinkel der Kamera) eingebaut werden können, ergibt sich für die aufgenommenen Bilder jeweils eine andere Perspektive (vgl. 2 und 3).
Alle Verfahren, die darauf beruhen, dass aufgenommene Bilder mit Referenz-Bildern verglichen oder lediglich ein bestimmter Ausschnitt des Bildes ausgewählt werden soll, benötigen eine Kamerakalibrierung, um einen Korrekturwert berechnen zu können der die Lage der Bilder zu den Referenzbildern angibt. Dieser Korrekturwert wird für weitere Auswertungen von Bildausschnitten oder der Lage von Objekten im Bild in Bezug zum Referenzbild benötigt.
Es ist derzeit kein System zur automatischen Kalibrierung von Kameras in spurgebundenen Fahrzeugen bekannt. Von der Firma Bosch® AG wird zwar gemäß einem Video-Link http://videoportal.bosch-presse.de/clip/ /-/-/Bosch-Kollisionswarnsystem für-Stadt-und-Straßenbahnen ein Kamerabasiertes Kollisionswarnsystem für Straßenbahnen angeboten, aber es ist nicht bekannt, ob dort eine automatische Kalibrierung der Kameras enthalten ist. Vermutlich wird dies aber für den gezeigten Anwendungsfall nicht benötigt.
Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein Kalibrierungsverfahren und Kalibrierungssystem für eine Bahnfahrzeugkamera sowie ein Bahnfahrzeug mit Bahnfahrzeugkamera anzugeben, mit dem auf einfache und kostengünstige Weise die Bahnfahrzeugkamera kalibriert werden kann.
Diese Aufgabe wird ausgehend von dem im Oberbegriff des Patentanspruchs 1 definierten dem Kalibrierungsverfahren durch die im Kennzeichen des Patentanspruches 1 angegebenen Merkmale gelöst.
Darüber hinaus wird die Aufgabe ausgehend von dem im Oberbegriff des Patentanspruchs 3 definierten Kalibrierungssystem durch die im Kennzeichen des Patentanspruches 3 angegebenen Merkmale gelöst.
Außerdem wird die Aufgabe ausgehend von dem im Oberbegriff des Patentanspruchs 7 definierten Bahnfahrzeug mit Bahnfahrzeugkamera durch die im Kennzeichen des Patentanspruches 7 angegebenen Merkmale gelöst.
Die der Erfindung gemäß den unabhängigen Ansprüchen 1, 3 und 7 zugrunde liegenden Idee besteht darin, dass

A) von einem Bahnfahrzeug, insbesondere einem Schienenfahrzeug, aus, von einer Bahnstrecke, insbesondere einer Schienenstrecke, in Bezug auf einen dem Bahnfahrzeug vorgelagerten Fahrstreckenbereich eine Vielzahl von jeweils den Fahrstreckenbereich repräsentierende Referenz-Bilder erfasst und gespeichert wird,
B) Metadaten der erfassten Bilder über die Bahnstrecke vorliegen,
C) ein Kalibrierungsbild von einem aufgrund der Metadaten ermittelbaren Abschnitt der Bahnstrecke mit geradem Verlauf einer Fahrspur, z.B. Schienen-oder Gleisverlauf, durch die Bahnfahrzeugkamera erfasst wird,
D) eine Position und Orientierung der Bahnfahrzeugkamera angebende Information, die sogenannte Pose, in Bezug zur Fahrspur anhand des Fahrspurverlaufs in dem Kalibrierungsbild ermittelt wird,
E) ein Korrekturwert auf der Basis eines zum Kalibrierungsbild korrespondierenden, Metadaten-bezogenen Referenz-Bildes der Referenz-Bilder als Differenzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild anhand der Pose-Information berechnet wird,
F) der berechnete Korrekturwert benutzt wird, um eine Kamerakalibrierungsinformation zu erzeugen oder die Bildinformationen in dem Kalibrierungsbild zu interpretieren.

Mindestens eine auf dem Bahn- bzw. Schienenfahrzeug montierte Kamera nimmt kontinuierlich den Bereich vor dem Fahrzeug auf. Dies entspricht ganz oder teilweise der Perspektive des Fahrzeugführers. Alternativ oder zusätzlich ist eine weitere Kamera so montiert, dass aus einer ortsfesten, fahrspurobservierenden Position im oder am Bahnfahrzeug der Bereich vor dem Fahrzeug kontinuierlich aufgenommen wird.
Als weiteres, erfindungsrelevantes technisches Merkmal zur Problemlösung sind neben der mindestens einen Kamera Metadaten über die Bahnstrecke erforderlich. Befindet sich das Fahrzeug nämlich gemäß dieser Metadaten auf einem Fahrspurabschnitt mit geradem Fahrspurverlauf, so lässt sich anhand des Fahrspurverlaufs im Bild die Position und Orientierung der Kamera, eine sogenannte Pose, in Bezug zur Fahrspur, insbesondere den Gleisen, ermittelt werden. Anhand dieser Information kann ein Korrekturwert zu einem Bild berechnet werden, das von der Bahnfahrzeug/Schienenfahrzeug-Kamera oder einer Referenz-Kamera aufgenommen wurde.
Der berechnete Korrekturwert zur Referenzposition kann dazu benutzt werden, die aufgenommenen Bildinformationen entsprechend zu interpretieren.
Soll beispielsweise lediglich ein bestimmter Bereich abhängig vom Fahrspurverlauf (Schienen- oder Gleisverlauf) in einem Bild für die Bildverarbeitung betrachtet werden, kann der errechnete Korrekturwert für die genaue Bestimmung des Bildausschnitts herangezogen werden.
Durch Vergleich des Fahrspurverlaufs (Schienen- oder Gleisverlaufs) in zwei Bildern gemäß der 2 und 3 kann auf die Lage der zu kalibrierenden Kamera geschlossen werden.
In einer Erweiterung kann die Kalibrierung, also die Berechnung der Differenzwerte zur Referenzposition, durch einen Cloud-basierten Service erbracht und lediglich die Kalibrierungsinformation an das Kamerasystem zurückgeliefert werden.
Der Vorteil der Erfindung besteht darin, dass nach dem Einbau einer oder mehrerer Kameras in ein Bahnfahrzeug keine aufwendige oder gar manuelle Kalibrierung des Kamerasystems notwendig ist.
Das Kalibrierungsverfahren kann auch auf unterschiedliche Arten von Kameras sowie bei unterschiedlichen Aufnahmecharakteristiken angewandt werden. Beispielsweise können Kameras mit unterschiedlichen Objektiven (Tele- oder Weitwinkelobjektiv) zum Einsatz kommen.
Somit wird es möglich ein Kamerabasiertes Erkennungssystem unabhängig von einem spezifischen Kamerahersteller zu entwickeln und somit einen deutlichen Kostenvorteil zu erzielen, weil die jeweils aktuell beste bzw. günstigste Kamera eingesetzt werden kann.
Weitere Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines Ausführungsbeispieles der Erfindung anhand der 1 bis 3. Diese zeigen:

1 ein Kalibrierungssystem in Verbindung mit einer Bahnfahrzeugkamera als Bestandteil eines Bahnfahrzeugs, insbesondere eines Schienenfahrzeugs,
2 eine beispielhafte Darstellung eines Referenz-Bildes, das aus der Perspektive eines Fahrzeugführers aufgenommen worden ist,
3 eine beispielhafte Darstellung eines Kalibrierungsbildes, das wie das Bild in der 2 aus der Perspektive des Fahrzeugführers aufgenommen worden ist.

1 zeigt ein Kalibrierungssystem KS in Verbindung mit einer Bahnfahrzeugkamera BFZK als Bestandteil eines Bahnfahrzeugs BFZ, insbesondere eines Schienenfahrzeugs SFZ. Das Kalibrierungssystem KS ist vorzugsweise als ein Cloud-basiertes System ausgebildet und enthält eine Speichereinrichtung SPE und eine Auswerte-/Berechnungseinheit ABE, die beide zum Kalibrieren der Bahnfahrzeugkamera BFZK mit dieser verbunden sind.
Mit der Bahnfahrzeugkamera BFZK oder alternativ mit einer anderen als Referenz-Kamera verwendeten, in der 1 jedoch nicht explizit dargestellten Kamera werden gemäß der Darstellung in 2 von dem Bahnfahrzeug BFZ, SFZ aus, vorzugsweise zumindest aus der Teil-Perspektive eines Fahrzeugführers FZF und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Bahnfahrzeug BFZ, SFZ, von einer Bahnstrecke BST, die z.B. als Schienenstrecke SST ausgebildet sein, in Bezug auf einen dem Bahnfahrzeug BFZ, SFZ vorgelagerten Fahrstreckenbereich FSB eine Vielzahl von jeweils den Fahrstreckenbereich FSB repräsentierende, von der Referenz-Bilder RBI erfasst. Die erfassten Referenz-Bilder RBI werden in der Speichereinrichtung SPE des Kalibrierungssystems KS gespeichert. In dieser Speichereinrichtung SPE sind auch Metadaten MD der erfassten Bilder über die Bahnstrecke BST, SST gespeichert. Metadaten sind ganz generell Daten, die dem Wortsinn nach Merkmale oder Eigenschaften der erfassten Bilder betreffen.
Um nun gemäß 3 von dem Bahnfahrzeug BFZ, SFZ aus, wieder vorzugsweise zumindest aus der Teil-Perspektive des Fahrzeugführers FZF und/oder aus der ortsfesten, fahrspurobservierenden Position im oder am Bahnfahrzeug BFZ, SFZ, von einem Abschnitt der Bahnstrecke BST, SST mit geradem Verlauf einer Fahrspur, beispielsweise geradem Verlauf von Schienen oder Gleisen, wieder in Bezug auf den dem Bahnfahrzeug BFZ, SFZ vorgelagerten Fahrstreckenbereich FSB mit der Bahnfahrzeugkamera BFZK Kalibrierungsbilder zu erfassen, werden Metadaten MD, mit denen oder auf deren Basis der Abschnitt der Bahnstrecke BST, SST mit geradem Verlauf der Fahrspur ermittelbar ist, von der Speichereinrichtung SPE in die Bahnfahrzeugkamera BFZK geladen. Aufgrund dieses Ladens der Metadaten MD in die in die Bahnfahrzeugkamera BFZK erfasst diese ein Kalibrierungsbild KBI_MD , das an die Auswerte-/Berechnungseinheit ABE übermittelt oder in diese geladen wird.
Die Auswerte-/Berechnungseinheit ABE ist zudem mit der Speichereinrichtung SPE verbunden und bildet mit dieser eine Funktionseinheit derart, dass

- eine Position und Orientierung der Bahnfahrzeugkamera BFZK angebende Information, die sogenannte Pose, in Bezug zur Fahrspur anhand des Fahrspurverlaufs in dem Kalibrierungsbild KBI_MD gemäß der 3 ermittelt wird,
- von der Auswerte-/Berechnungseinheit ABE ein in der Speichereinrichtung SPE gespeichertes, zum Kalibrierungsbild KBI_MD korrespondierendes, Metadaten-bezogenes Referenz-Bild RBI_MD der Referenz-Bilder RBI gemäß der 2 in die Auswerte-/Berechnungseinheit ABE hochgeladen wird,
- ein Korrekturwert KW auf der Basis des zum Kalibrierungsbild KBI_MD korrespondierenden, Metadaten-bezogenen Referenz-Bildes RBI_MD als Differenzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild RBI_MD anhand der Pose-Information berechnet wird, wobei durch Vergleich des Fahrspurverlaufs in den zwei Bildern gemäß der 2 und 3 kann auf die Lage der zu kalibrierenden Kamera geschlossen werden kann,
- auf der Basis des berechneten Korrekturwertes KW eine Kamerakalibrierungsinformation KKI erzeugt wird oder die Bildinformationen in dem Kalibrierungsbild KBI_MD interpretiert werden kann.

Darüber hinaus ist es auch möglich, dass die Auswerte-/Berechnungseinheit ABE mit einer Bildanalysevorrichtung BAV verbunden und der berechnete Korrekturwert KW für die genaue Bestimmung eines Bildausschnitts bei einer in der Bildanalysevorrichtung BAV durchgeführten Bildanalyse im Bahn- oder Schienenverkehr herangezogen wird, indem beispielsweise im Zuge einer fahrspurbasierten Bildanalyse, wie sie in der Internationalen Patentanmeldung mit dem Aktenzeichen PCT/ EP2017/081845 offenbart ist, ein bestimmter Bereich in einem mit der Bahnfahrzeugkamera BFZK aufgenommenen Bild für die Bildverarbeitung betrachtet wird.
Die Bildanalysevorrichtung BAV ist dabei vorzugsweise wie das Kalibrierungssystem KS in Verbindung mit der Bahnfahrzeugkamera BFZK Bestandteil des Bahnfahrzeugs BFZ, SFZ.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2017/081845 [0025]

Claims

Kalibrierungsverfahren für eine Bahnfahrzeugkamera (BFZK), bei dem a) von einem Bahnfahrzeug (BFZ), insbesondere einem Schienenfahrzeug (SFZ), aus, insbesondere zumindest aus der Teil-Perspektive eines Fahrzeugführers (FZF) und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Bahnfahrzeug (BFZ, SFZ), von einer Bahnstrecke (BST), insbesondere einer Schienenstrecke (SST), in Bezug auf einen dem Bahnfahrzeug (BFZ, SFZ) vorgelagerten Fahrstreckenbereich (FSB) eine Vielzahl von jeweils den Fahrstreckenbereich (FSB) repräsentierende Referenz-Bilder (RBI) erfasst und gespeichert wird, b) Metadaten (MD) der erfassten Bilder über die Bahnstrecke (BST, SST) vorliegen, dadurch gekennzeichnet, dass c) ein Kalibrierungsbild (KBI_MD) von einem aufgrund der Metadaten (MD) ermittelbaren Abschnitt der Bahnstrecke (BST, SST) mit geradem Verlauf einer Fahrspur, insbesondere geradem Verlauf von Schienen oder Gleisen, durch die Bahnfahrzeugkamera (BFZK) erfasst wird, d) eine Position und Orientierung der Bahnfahrzeugkamera (BFZK) angebende Information, die sogenannte Pose, in Bezug zur Fahrspur, insbesondere zu den Schienen oder Gleisen, anhand des Fahrspurverlaufs in dem Kalibrierungsbild (KBI_MD) ermittelt wird, e) ein Korrekturwert (KW) auf der Basis eines zum Kalibrierungsbild (KBI_MD) korrespondierenden, Metadaten-bezogenen Referenz-Bildes (RBI_MD) der Referenz-Bilder (RBI) als Differenzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild (RBI_MD) anhand der Pose-Information berechnet wird, f) der berechnete Korrekturwert (KW) benutzt wird, um eine Kamerakalibrierungsinformation (KKI) zu erzeugen oder die Bildinformationen in dem Kalibrierungsbild (KBI_MD) zu interpretieren.
Kalibrierungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass der berechnete Korrekturwert (KW) für die genaue Bestimmung eines Bildausschnitts bei einer Bildanalyse im Bahnverkehr, insbesondere Schienenverkehr, herangezogen wird, indem beispielsweise im Zuge einer fahrspurbasierten Bildanalyse ein bestimmter Bereich in einem mit der Bahnfahrzeugkamera (BFZK) aufgenommenen Bild für die Bildverarbeitung betrachtet wird.
Kalibrierungssystem (KS) für eine Bahnfahrzeugkamera (BFZK), mit a) einer Speichereinrichtung (SPE), in der a1) von einem Bahnfahrzeug (BFZ), insbesondere einem Schienenfahrzeug (SFZ), aus, insbesondere zumindest aus der Teil-Perspektive eines Fahrzeugführers (FZF) und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Bahnfahrzeug (BFZ, SFZ), von einer Bahnstrecke (BST), insbesondere einer Schienenstrecke (SST), in Bezug auf einen dem Bahnfahrzeug (BFZ, SFZ) vorgelagerten Fahrstreckenbereich (FSB) eine Vielzahl von jeweils den Fahrstreckenbereich (FSB) repräsentierende, von der Bahnfahrzeugkamera (BFZK) oder einer Referenz-Kamera erfasste Referenz-Bilder (RBI) gespeichert sind, a2) Metadaten (MD) der erfassten Bilder über die Bahnstrecke (BST, SST) gespeichert sind, gekennzeichnet durch b) eine Auswerte-/Berechnungseinheit (ABE), b1) die mit der Bahnfahrzeugkamera (BFZK) verbindbar ist, um ein mit der Bahnfahrzeugkamera (BFZK) erfasstes Kalibrierungsbild (KBI_MD) von einem aufgrund der Metadaten (MD) ermittelbaren Abschnitt der Bahnstrecke (BST, SST) mit geradem Verlauf einer Fahrspur, insbesondere geradem Verlauf von Schienen oder Gleisen, in die Auswerte-/Berechnungseinheit (ABE) zu laden, b2) die mit der Speichereinrichtung (SPE) verbunden ist und dabei mit dieser eine Funktionseinheit derart bildet, dass b21) eine Position und Orientierung der Bahnfahrzeugkamera (BFZK) angebende Information, die sogenannte Pose, in Bezug zur Fahrspur, insbesondere zu den Schienen oder Gleisen, anhand des Fahrspurverlaufs in dem Kalibrierungsbild (KBI_MD) ermittelt wird, b22) ein Korrekturwert (KW) auf der Basis eines zum Kalibrierungsbild (KBI_MD) korrespondierenden, Metadaten-bezogenen Referenz-Bildes (RBI_MD) der Referenz-Bilder (RBI) als Differenzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild (RBI_MD) anhand der Pose-Information berechnet wird, b23) der berechnete Korrekturwert (KW) benutzt wird, um eine Kamerakalibrierungsinformation (KKI) zu erzeugen oder die Bildinformationen in dem Kalibrierungsbild (KBI_MD) zu interpretieren.
Kalibrierungssystem (KS) nach Anspruch 3, dadurch gekennzeichnet, dass die Auswerte-/Berechnungseinheit (ABE) mit einer Bildanalysevorrichtung (BAV) verbunden und derart ausgebildet ist, dass der berechnete Korrekturwert (KW) für die genaue Bestimmung eines Bildausschnitts bei einer in der Bildanalysevorrichtung (BAV) durchgeführten Bildanalyse im Bahnverkehr, insbesondere Schienenverkehr, herangezogen wird, indem beispielsweise im Zuge einer fahrspurbasierten Bildanalyse ein bestimmter Bereich in einem mit der Bahnfahrzeugkamera (BFZK) aufgenommenen Bild für die Bildverarbeitung betrachtet wird.
Kalibrierungssystem (KS) nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass das Kalibrierungssystem (KS) mit der Bahnfahrzeugkamera (BFZK) verbunden ist.
Kalibrierungssystem (KS) nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass das Kalibrierungssystem (KS) ein Cloud-basiertes System ist.
Bahnfahrzeug (BFZ, SFZ) mit einer Bahnfahrzeugkamera (BFZK) dadurch gekennzeichnet, dass ein Kalibrierungssystem (KS) nach einem der Ansprüche 3 bis 5 in das Bahnfahrzeug (BFZ, SFZ) integriert ist.