EP3802266A1 - Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera - Google Patents

Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera

Info

Publication number
EP3802266A1
EP3802266A1 EP19727831.0A EP19727831A EP3802266A1 EP 3802266 A1 EP3802266 A1 EP 3802266A1 EP 19727831 A EP19727831 A EP 19727831A EP 3802266 A1 EP3802266 A1 EP 3802266A1
Authority
EP
European Patent Office
Prior art keywords
railway vehicle
image
calibration
bfzk
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19727831.0A
Other languages
English (en)
French (fr)
Inventor
Andreas Schönberger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP3802266A1 publication Critical patent/EP3802266A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072—On-board train data handling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection

Definitions

  • the invention relates to a calibration method for a railway vehicle camera according to the preamble of patent entitlement 1, a calibration system for a Bruschka mera according to the preamble of claim 3 and a railway vehicle with railway vehicle camera according to the preamble of claim. 7
  • Rail vehicles are part of a modern transport infrastructure track-bound transport and transport, for example, rolling on or under of one or two rails (tracks), floating above or below a magnetic field or hanging on steel cables move.
  • track-bound transport and Transportmit tel are rail vehicles based on a wheel-rail system, either a private traction (Triebwa conditions) or pulled or pushed by a locomotive and in which predominantly steel wheels with a flange on two steel rails railways are the most widespread.
  • the object underlying the invention is to provide a calibration method and calibration system for a train vehicle camera and a railway vehicle with railway vehicle camera, with the train vehicle camera can be calibrated in a simple and cost-effective manner.
  • the object is achieved on the basis of the Oberbe handle of claim 3 defined calibration system by the features specified in the characterizing part of claim 3.
  • a correction value is calculated on the basis of a calibration image corresponding, metadata-related reference image of the reference images as a difference value to a Referenzposi tion in the metadata-related reference image based on the Po se information
  • the calculated correction value is used to generate camera calibration information or to interpret the image information in the calibration image.
  • At least one camera mounted on the railway or rail vehicle continuously picks up the area in front of the vehicle. This corresponds wholly or partly to the perspective of the driver. Alternatively or additionally, another camera is mounted so that the area in front of the vehicle is continuously picked up from a stationary, driving lane-topping position in or on the railway vehicle.
  • Another technical feature for problem solving which is relevant to the invention is, in addition to the at least one camera, metadata required over the railway line. Namely, if the vehicle is according to this metadata on a Fahrspurab section with straight lane course, it can be determined based on the lane course in the picture, the position and orientation of the camera, a so-called pose, in relation to the lane, in particular special the tracks. Based on this information, a correction value can be calculated to an image taken by the railway vehicle / rail vehicle camera or a reference camera.
  • the calculated correction value to the reference position can be used to interpret the recorded image information accordingly.
  • the calculated correction value can be used for the precise determination of the image section.
  • the calibration ie the calculation of the difference values to the reference position
  • the calibration can be performed by a cloud-based service and only the calibration information can be returned to the camera system.
  • the advantage of the invention is that after the installation of one or more cameras in a railway vehicle on agile or even manual calibration of the camera system is not agile.
  • the calibration method can also be applied to different types of cameras as well as different recording characteristics. For example, cameras with different lenses (telephoto or wide-angle lens) are used.
  • FIGS 1 to 3 show:
  • FIG. 1 shows a calibration system in conjunction with a railway vehicle camera as part of a railway vehicle, in particular a rail vehicle,
  • FIG. 2 shows an exemplary representation of a reference image that has been taken from the perspective of a vehicle driver.
  • FIGURE 3 is an exemplary illustration of a calibration image that has been taken as the image in FIGURE 2 from the perspective of the driver.
  • FIG. 1 shows a calibration system KS in conjunction with a railway vehicle camera BFZK as part of a train driving tool BFZ, in particular a rail vehicle SFZ.
  • the Ka libr istssystem KS is preferably designed as a cloud-based system and includes a memory device SPE and an evaluation / calculation unit ABE, both for Ka librieren the railway vehicle camera BFZK are connected to this.
  • the railway vehicle BFZ, SFZ, V orzugs- example at least from the partial perspective of aharimon rers FZF and / or from a stationary, lane coach the position in or on the railway vehicle BFZ, SFZ, of a railway BST, which may be formed as a rail track SST, for example, with respect to a the railway vehicle BFZ, SFZ vorgela gererten route range FSB a plurality of each of the route range FSB representing, detected by the reference images RBI.
  • the acquired reference images RBI are stored in the storage device SPE of the calibration system KS.
  • SPE Me tartz MD are stored on the detected in the images railway line BST, SST.
  • metadata is data that literally refers to characteristics or characteristics of the railway line BST, SST recorded in the images.
  • SFZ as the preferably at least from the partial perspective of driving convincing driver FZF and / or from the stationary, driving lane four-end position in or on the railway vehicle BFZ, SFZ, of egg nem section of the railway line BST, SST with a straight course of a lane, for example, straight course of rails or tracks, again with respect to the train vehicle BFZ, SFZ upstream route distance FSB with the Bahnfahr camera BFZK calibration images to be metadata MD, with or on their basis the section of the railway line BST, SST with straight course of the traffic lane can be determined, loaded from the storage device SPE into the train driving camera BFZK. Due to this loading of the metadata MD into the railway vehicle camera BFZK, the latter acquires a calibration image KBI MD , which is transmitted to or loaded into the evaluation / calculation unit ABE.
  • the evaluation / calculation unit ABE is also connected to the SpeI cher worn SPE and forms with this a functional unit FE such that
  • a metadata-related reference image RBI MD of the reference images RBI corresponding to the calibration image KBI MD and uploaded to the evaluation / calculation unit ABE is uploaded by the evaluation / calculation unit ABE into the evaluation / calculation unit ABE in accordance with FIG .
  • a correction value KW is calculated on the basis of the calibration image KBI MD corresponding, metadata-related reference image RBI MD as a difference value to a reference position in the metadata-related reference image RBI MD based on the pose information, wherein by comparing the Lane course in the two images according to FIGURES 2 and 3 can be closed to the position of the camera to be calibrated,
  • a camera calibration information KKI is generated on the basis of the calculated correction value KW or the image information can be interpreted in the calibration image KBI MD .
  • the evaluation / calculation unit ABE to be connected to an image analysis device BAV and the calculated correction value KW to be used for the exact determination of an image section in image analysis carried out in the image analysis device BAV by rail or rail, for example by On the basis of a lane-based image analysis, as described in the international patent application with the file reference
  • the image analysis device BAV is preferably like the calibration system KS in conjunction with the Bruschka mera BFZK part of the railway vehicle BFZ, SFZ.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Um auf einfache und kostengünstige Weise eine Bahnfahrzeugkamera (BFZK) kalibriert zu können, wird es vorgeschlagen, dass - von einem Bahnfahrzeug (BFZ), insbesondere einem Schienenfahrzeug (SFZ), aus, von einer Bahnstrecke (BST), insbesondere einer Schienenstrecke (SST), in Bezug auf einen dem Bahnfahrzeug (BFZ, SFZ) vorgelagerten Fahrstreckenbereich (FSB) eine Vielzahl von jeweils den Fahrstreckenbereich (FSB) repräsentierende Referenz-Bilder (RBI) erfasst und gespeichert wird, - Metadaten (MD) über die in den Bildern erfasste Bahnstrecke (BST, SST) vorliegen, - ein Kalibrierungsbild (KBIMD) von einem aufgrund der Metadaten (MD) ermittelbaren Abschnitt der Bahnstrecke (BST, SST) mit geradem Verlauf einer Fahrspur durch die Bahnfahrzeugkamera (BFZK) erfasst wird, - eine Position und Orientierung der Bahnfahrzeugkamera (BFZK) angebende Information, die sogenannte Pose, in Bezug zur Fahrspur anhand des Fahrspurverlaufs in dem Kalibrierungsbild (KBIMD) ermittelt wird, - ein Korrekturwert (KW) auf der Basis eines zum Kalibrierungsbild (KBIMD) korrespondierenden, Metadaten-bezogenen Referenz-Bildes (RBIMD) der Referenz-Bilder (RBI) als Differenzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild (RBIMD) anhand der Pose-Information berechnet wird, - der berechnete Korrekturwert (KW) benutzt wird, um eine Kamerakalibrierungsinformation (KKI) zu erzeugen oder die Bildinformationen in dem Kalibrierungsbild (KBIMD) zu interpretieren.

Description

Beschreibung
Kalibrierungsverfahren und Kalibrierungssystem für eine Bahn fahrzeugkamera und Bahnfahrzeug mit Bahnfahrzeugkamera
Die Erfindung bezieht sich auf ein Kalibrierungsverfahren für eine Bahnfahrzeugkamera gemäß dem Oberbegriff des Patentan spruches 1, ein Kalibrierungssystem für eine Bahnfahrzeugka mera gemäß dem Oberbegriff des Patentanspruches 3 und ein Bahnfahrzeug mit Bahnfahrzeugkamera gemäß dem Oberbegriff des Patentanspruches 7.
Bahnfahrzeuge sind als Bestandteil einer modernen Verkehrs infrastruktur spurgebundene Verkehrs- und Transportmittel, die sich beispielsweise rollend auf oder unter von einer o- der zwei Leitschienen (Gleisen) , schwebend über oder unter einem Magnetfeld oder hängend an Stahlseilen fortbewegen.
Von den genannten spurgebundenen Verkehrs- und Transportmit tel sind Schienenfahrzeuge, die auf einem Rad-Schiene-System basieren, die entweder einen eigenen Fahrantrieb (Triebwa gen) oder von eine Lokomotive gezogen oder geschoben werden und bei denen überwiegend Stahlräder mit einem Spurkranz auf zwei Stahlschienen bzw. Gleisen geführt werden, am weitesten verbreitet .
In zukünftigen Assistenzsystemen für solche Bahnfahrzeuge respektive Schienenfahrzeuge oder in autonom fahrenden spur gebundenen Fahrzeugen werden Kameras zur Erkennung unter schiedlicher Objekte und Umgebungsmerkmale wie beispielsweise zur Signalerkennung zum Einsatz kommen. Wenn diese Kameras nicht immer an derselben Stelle in einem Fahrzeug in Bezug zur Fahrspur respektive den Schienen (so z.B. Links/Rechts, Oben/Unten und Blickwinkel der Kamera) eingebaut werden kön nen, ergibt sich für die aufgenommenen Bilder jeweils eine andere Perspektive (vgl. FIGUREN 2 und 3) .
Alle Verfahren, die darauf beruhen, dass aufgenommene Bilder mit Referenz-Bildern verglichen oder lediglich ein bestimmter Ausschnitt des Bildes ausgewählt werden soll, benötigen eine Kamerakalibrierung, um einen Korrekturwert berechnen zu kön nen der die Lage der Bilder zu den Referenzbildern angibt. Dieser Korrekturwert wird für weitere Auswertungen von Bild ausschnitten oder der Lage von Objekten im Bild in Bezug zum Referenzbild benötigt.
Es ist derzeit kein System zur automatischen Kalibrierung von Kameras in spurgebundenen Fahrzeugen bekannt. Von der Firma Bosch® AG wird zwar gemäß einem Video-Link
http://videoportal.bosch-presse.de/clip/ /-/-/Bosch- Kollisionswarnsystem für-Stadt-und-Straßenbahnen ein Kamera basiertes Kollisionswarnsystem für Straßenbahnen angeboten, aber es ist nicht bekannt, ob dort eine automatische Kalib rierung der Kameras enthalten ist. Vermutlich wird dies aber für den gezeigten Anwendungsfall nicht benötigt.
Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein Kalibrierungsverfahren und Kalibrierungssystem für eine Bahn fahrzeugkamera sowie ein Bahnfahrzeug mit Bahnfahrzeugkamera anzugeben, mit dem auf einfache und kostengünstige Weise die Bahnfahrzeugkamera kalibriert werden kann.
Diese Aufgabe wird ausgehend von dem im Oberbegriff des Pa tentanspruchs 1 definierten dem Kalibrierungsverfahren durch die im Kennzeichen des Patentanspruches 1 angegebenen Merkma le gelöst.
Darüber hinaus wird die Aufgabe ausgehend von dem im Oberbe griff des Patentanspruchs 3 definierten Kalibrierungssystem durch die im Kennzeichen des Patentanspruches 3 angegebenen Merkmale gelöst.
Außerdem wird die Aufgabe ausgehend von dem im Oberbegriff des Patentanspruchs 7 definierten Bahnfahrzeug mit Bahnfahr zeugkamera durch die im Kennzeichen des Patentanspruches 7 angegebenen Merkmale gelöst. Die der Erfindung gemäß den unabhängigen Ansprüchen 1, 3 und 7 zugrunde liegenden Idee besteht darin, dass
A) von einem Bahnfahrzeug, insbesondere einem Schienenfahr zeug, aus, von einer Bahnstrecke, insbesondere einer Schie nenstrecke, in Bezug auf einen dem Bahnfahrzeug vorgelagerten Fahrstreckenbereich eine Vielzahl von jeweils den Fahrstre ckenbereich repräsentierende Referenz-Bilder erfasst und ge speichert wird,
B) Metadaten über die in den Bildern erfasste Bahnstrecke vorliegen,
C) ein Kalibrierungsbild von einem aufgrund der Metadaten er mittelbaren Abschnitt der Bahnstrecke mit geradem Verlauf ei ner Fahrspur, z.B. Schienen- oder Gleisverlauf, durch die Bahnfahrzeugkamera erfasst wird,
D) eine Position und Orientierung der Bahnfahrzeugkamera an gebende Information, die sogenannte Pose, in Bezug zur Fahr spur anhand des Fahrspurverlaufs in dem Kalibrierungsbild er mittelt wird,
E) ein Korrekturwert auf der Basis eines zum Kalibrierungs bild korrespondierenden, Metadaten-bezogenen Referenz-Bildes der Referenz-Bilder als Differenzwert zu einer Referenzposi tion in dem Metadaten-bezogenen Referenz-Bild anhand der Po se-Information berechnet wird,
F) der berechnete Korrekturwert benutzt wird, um eine Kamera kalibrierungsinformation zu erzeugen oder die Bildinformatio nen in dem Kalibrierungsbild zu interpretieren.
Mindestens eine auf dem Bahn- bzw. Schienenfahrzeug montierte Kamera nimmt kontinuierlich den Bereich vor dem Fahrzeug auf. Dies entspricht ganz oder teilweise der Perspektive des Fahr zeugführers. Alternativ oder zusätzlich ist eine weitere Ka mera so montiert, dass aus einer ortsfesten, fahrspurobser vierenden Position im oder am Bahnfahrzeug der Bereich vor dem Fahrzeug kontinuierlich aufgenommen wird.
Als weiteres, erfindungsrelevantes technisches Merkmal zur Problemlösung sind neben der mindestens einen Kamera Metada- ten über die Bahnstrecke erforderlich. Befindet sich das Fahrzeug nämlich gemäß diesen Metadaten auf einem Fahrspurab schnitt mit geradem Fahrspurverlauf, so lässt sich anhand des Fahrspurverlaufs im Bild die Position und Orientierung der Kamera, eine sogenannte Pose, in Bezug zur Fahrspur, insbe sondere den Gleisen, ermittelt werden. Anhand dieser Informa tion kann ein Korrekturwert zu einem Bild berechnet werden, das von der Bahnfahrzeug/Schienenfahrzeug-Kamera oder einer Referenz-Kamera aufgenommen wurde.
Der berechnete Korrekturwert zur Referenzposition kann dazu benutzt werden, die aufgenommenen Bildinformationen entspre chend zu interpretieren.
Soll beispielsweise lediglich ein bestimmter Bereich abhängig vom Fahrspurverlauf (Schienen- oder Gleisverlauf) in einem Bild für die Bildverarbeitung betrachtet werden, kann der er- rechnete Korrekturwert für die genaue Bestimmung des Bildaus schnitts herangezogen werden.
Durch Vergleich des Fahrspurverlaufs (Schienen- oder Gleis verlaufs) in zwei Bildern gemäß der FIGUREN 2 und 3 kann auf die Lage der zu kalibrierenden Kamera geschlossen werden.
In einer Erweiterung kann die Kalibrierung, also die Berech nung der Differenzwerte zur Referenzposition, durch einen Cloud-basierten Service erbracht und lediglich die Kalibrie rungsinformation an das Kamerasystem zurückgeliefert werden.
Der Vorteil der Erfindung besteht darin, dass nach dem Einbau einer oder mehrerer Kameras in ein Bahnfahrzeug keine auf wendige oder gar manuelle Kalibrierung des Kamerasystems not wendig ist.
Das Kalibrierungsverfahren kann auch auf unterschiedliche Ar ten von Kameras sowie bei unterschiedlichen Aufnahmecharakte ristiken angewandt werden. Beispielsweise können Kameras mit unterschiedlichen Objektiven (Tele- oder Weitwinkelobjektiv) zum Einsatz kommen.
Somit wird es möglich ein Kamerabasiertes Erkennungssystem unabhängig von einem spezifischen Kamerahersteller zu entwi ckeln und somit einen deutlichen Kostenvorteil zu erzielen, weil die jeweils aktuell beste bzw. günstigste Kamera einge setzt werden kann.
Weitere Vorteile der Erfindung ergeben sich aus der nachfol genden Beschreibung eines Ausführungsbeispieles der Erfindung anhand der FIGUREN 1 bis 3. Diese zeigen:
FIGUR 1 ein Kalibrierungssystem in Verbindung mit einer Bahn fahrzeugkamera als Bestandteil eines Bahnfahrzeugs, insbeson dere eines Schienenfahrzeugs,
FIGUR 2 eine beispielhafte Darstellung eines Referenz-Bildes, das aus der Perspektive eines Fahrzeugführers aufgenommen worden ist,
FIGUR 3 eine beispielhafte Darstellung eines Kalibrierungs bildes, das wie das Bild in der FIGUR 2 aus der Perspektive des Fahrzeugführers aufgenommen worden ist.
FIGUR 1 zeigt ein Kalibrierungssystem KS in Verbindung mit einer Bahnfahrzeugkamera BFZK als Bestandteil eines Bahnfahr zeugs BFZ, insbesondere eines Schienenfahrzeugs SFZ. Das Ka librierungssystem KS ist vorzugsweise als ein Cloud-basiertes System ausgebildet und enthält eine Speichereinrichtung SPE und eine Auswerte-/Berechnungseinheit ABE, die beide zum Ka librieren der Bahnfahrzeugkamera BFZK mit dieser verbunden sind .
Mit der Bahnfahrzeugkamera BFZK oder alternativ mit einer an deren als Referenz-Kamera verwendeten, in der FIGUR 1 jedoch nicht explizit dargestellten Kamera werden gemäß der Darstel lung in FIGUR 2 von dem Bahnfahrzeug BFZ, SFZ aus, Vorzugs- weise zumindest aus der Teil-Perspektive eines Fahrzeugfüh rers FZF und/oder aus einer ortsfesten, fahrspurobservieren den Position im oder am Bahnfahrzeug BFZ, SFZ, von einer Bahnstrecke BST, die z.B. als Schienenstrecke SST ausgebildet sein, in Bezug auf einen dem Bahnfahrzeug BFZ, SFZ vorgela gerten Fahrstreckenbereich FSB eine Vielzahl von jeweils den Fahrstreckenbereich FSB repräsentierende, von der Referenz- Bilder RBI erfasst. Die erfassten Referenz-Bilder RBI werden in der Speichereinrichtung SPE des Kalibrierungssystems KS gespeichert. In dieser Speichereinrichtung SPE sind auch Me tadaten MD über die in den Bildern erfasste Bahnstrecke BST, SST gespeichert. Metadaten sind ganz generell Daten, die dem Wortsinn nach Merkmale oder Eigenschaften der in den Bildern erfassten Bahnstrecke BST, SST betreffen.
Um nun gemäß FIGUR 3 von dem Bahnfahrzeug BFZ, SFZ aus, wie der vorzugsweise zumindest aus der Teil-Perspektive des Fahr zeugführers FZF und/oder aus der ortsfesten, fahrspurobser vierenden Position im oder am Bahnfahrzeug BFZ, SFZ, von ei nem Abschnitt der Bahnstrecke BST, SST mit geradem Verlauf einer Fahrspur, beispielsweise geradem Verlauf von Schienen oder Gleisen, wieder in Bezug auf den dem Bahnfahrzeug BFZ, SFZ vorgelagerten Fahrstreckenbereich FSB mit der Bahnfahr zeugkamera BFZK Kalibrierungsbilder zu erfassen, werden Meta daten MD, mit denen oder auf deren Basis der Abschnitt der Bahnstrecke BST, SST mit geradem Verlauf der Fahrspur ermit telbar ist, von der Speichereinrichtung SPE in die Bahnfahr zeugkamera BFZK geladen. Aufgrund dieses Ladens der Metadaten MD in die in die Bahnfahrzeugkamera BFZK erfasst diese ein Kalibrierungsbild KBIMD, das an die Auswerte-/Berechnungsein- heit ABE übermittelt oder in diese geladen wird.
Die Auswerte-/Berechnungseinheit ABE ist zudem mit der Spei chereinrichtung SPE verbunden und bildet mit dieser eine Funktionseinheit FE derart, dass
- eine Position und Orientierung der Bahnfahrzeugkamera BFZK angebende Information, die sogenannte Pose, in Bezug zur Fahrspur anhand des Fahrspurverlaufs in dem Kalibrierungsbild KBIMD gemäß der FIGUR 3 ermittelt wird,
- von der Auswerte-/Berechnungseinheit ABE ein in der Spei chereinrichtung SPE gespeichertes, zum Kalibrierungsbild KBIMD korrespondierendes, Metadaten-bezogenes Referenz-Bild RBIMD der Referenz-Bilder RBI gemäß der FIGUR 2 in die Aus- werte-/Berechnungseinheit ABE hochgeladen wird,
- ein Korrekturwert KW auf der Basis des zum Kalibrierungs bild KBIMD korrespondierenden, Metadaten-bezogenen Referenz- Bildes RBIMD als Differenzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild RBIMD anhand der Pose- Information berechnet wird, wobei durch Vergleich des Fahr spurverlaufs in den zwei Bildern gemäß der FIGUREN 2 und 3 auf die Lage der zu kalibrierenden Kamera geschlossen werden kann,
- auf der Basis des berechneten Korrekturwertes KW eine Kame rakalibrierungsinformation KKI erzeugt wird oder die Bildin formationen in dem Kalibrierungsbild KBIMD interpretiert wer den kann.
Darüber hinaus ist es auch möglich, dass die Auswerte- /Berechnungseinheit ABE mit einer Bildanalysevorrichtung BAV verbunden und der berechnete Korrekturwert KW für die genaue Bestimmung eines Bildausschnitts bei einer in der Bildanaly sevorrichtung BAV durchgeführten Bildanalyse im Bahn- oder Schienenverkehr herangezogen wird, indem beispielsweise im Zuge einer fahrspurbasierten Bildanalyse, wie sie in der In ternationalen Patentanmeldung mit dem Aktenzeichen
PCT/EP2017/081845 offenbart ist, ein bestimmter Bereich in einem mit der Bahnfahrzeugkamera BFZK aufgenommenen Bild für die Bildverarbeitung betrachtet wird.
Die Bildanalysevorrichtung BAV ist dabei vorzugsweise wie das Kalibrierungssystem KS in Verbindung mit der Bahnfahrzeugka mera BFZK Bestandteil des Bahnfahrzeugs BFZ, SFZ.

Claims

Patentansprüche
1. Kalibrierungsverfahren für eine Bahnfahrzeugkamera (BFZK) , bei dem
a) von einem Bahnfahrzeug (BFZ) , insbesondere einem Schienen fahrzeug (SFZ) , aus, insbesondere zumindest aus der Teil- Perspektive eines Fahrzeugführers (FZF) und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Bahn fahrzeug (BFZ, SFZ) , von einer Bahnstrecke (BST) , insbesonde re einer Schienenstrecke (SST) , in Bezug auf einen dem Bahn fahrzeug (BFZ, SFZ) vorgelagerten Fahrstreckenbereich (FSB) eine Vielzahl von jeweils den Fahrstreckenbereich (FSB) re präsentierende Referenz-Bilder (RBI) erfasst und gespeichert wird,
b) Metadaten (MD) über die in den Bildern erfasste Bahnstre cke (BST, SST) vorliegen,
dadurch gekennzeichnet, dass
c) ein Kalibrierungsbild (KBIMD) von einem aufgrund der Meta daten (MD) ermittelbaren Abschnitt der Bahnstrecke (BST, SST) mit geradem Verlauf einer Fahrspur, insbesondere geradem Ver lauf von Schienen oder Gleisen, durch die Bahnfahrzeugkamera (BFZK) erfasst wird,
d) eine Position und Orientierung der Bahnfahrzeugkamera (BFZK) angebende Information, die sogenannte Pose, in Bezug zur Fahrspur, insbesondere zu den Schienen oder Gleisen, an hand des Fahrspurverlaufs in dem Kalibrierungsbild (KBIMD) ermittelt wird,
e) ein Korrekturwert (KW) auf der Basis eines zum Kalibrie rungsbild (KBImd) korrespondierenden, Metadaten-bezogenen Re ferenz-Bildes (RBImd) der Referenz-Bilder (RBI) als Diffe renzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild (RBIMD) anhand der Pose-Information berechnet wird,
f) der berechnete Korrekturwert (KW) benutzt wird, um eine Kamerakalibrierungsinformation (KKI) zu erzeugen oder die Bildinformationen in dem Kalibrierungsbild (KBIMD) zu inter pretieren .
2. Kalibrierungsverfahren nach Anspruch 1, dadurch ge kennzeichnet, dass
der berechnete Korrekturwert (KW) für die genaue Bestimmung eines Bildausschnitts bei einer Bildanalyse im Bahnverkehr, insbesondere Schienenverkehr, herangezogen wird, indem bei spielsweise im Zuge einer fahrspurbasierten Bildanalyse ein bestimmter Bereich in einem mit der Bahnfahrzeugkamera (BFZK) aufgenommenen Bild für die Bildverarbeitung betrachtet wird.
3. Kalibrierungssystem (KS) für eine Bahnfahrzeugkamera
(BFZK) , mit
a) einer Speichereinrichtung (SPE) , in der
al ) von einem Bahnfahrzeug (BFZ) , insbesondere einem Schie nenfahrzeug (SFZ) , aus, insbesondere zumindest aus der Teil- Perspektive eines Fahrzeugführers (FZF) und/oder aus einer ortsfesten, fahrspurobservierenden Position im oder am Bahn fahrzeug (BFZ, SFZ) , von einer Bahnstrecke (BST) , insbesonde re einer Schienenstrecke (SST) , in Bezug auf einen dem Bahn fahrzeug (BFZ, SFZ) vorgelagerten Fahrstreckenbereich (FSB) eine Vielzahl von jeweils den Fahrstreckenbereich (FSB) re präsentierende, von der Bahnfahrzeugkamera (BFZK) oder einer Referenz-Kamera erfasste Referenz-Bilder (RBI) gespeichert sind,
a2 ) Metadaten (MD) über die in den Bildern erfasste Bahnstre cke (BST, SST) gespeichert sind,
gekennzeichnet durch
b) eine Auswerte-/Berechnungseinheit (ABE) ,
bl) die mit der Bahnfahrzeugkamera (BFZK) verbindbar ist, um ein mit der Bahnfahrzeugkamera (BFZK) erfasstes Kalibrie rungsbild (KBImd) von einem aufgrund der Metadaten (MD) er mittelbaren Abschnitt der Bahnstrecke (BST, SST) mit geradem Verlauf einer Fahrspur, insbesondere geradem Verlauf von Schienen oder Gleisen, in die Auswerte-/Berechnungseinheit (ABE) zu laden,
b2 ) die mit der Speichereinrichtung (SPE) verbunden ist und dabei mit dieser eine Funktionseinheit (FE) derart bildet, dass b21 ) eine Position und Orientierung der Bahnfahrzeugkamera (BFZK) angebende Information, die sogenannte Pose, in Bezug zur Fahrspur, insbesondere zu den Schienen oder Gleisen, an hand des Fahrspurverlaufs in dem Kalibrierungsbild (KBIMD) ermittelt wird,
b22 ) ein Korrekturwert (KW) auf der Basis eines zum Kalibrie rungsbild (KBImd) korrespondierenden, Metadaten-bezogenen Re ferenz-Bildes (RBImd) der Referenz-Bilder (RBI) als Diffe renzwert zu einer Referenzposition in dem Metadaten-bezogenen Referenz-Bild (RBIMD) anhand der Pose-Information berechnet wird,
b23) der berechnete Korrekturwert (KW) benutzt wird, um eine Kamerakalibrierungsinformation (KKI) zu erzeugen oder die Bildinformationen in dem Kalibrierungsbild (KBIMD) zu inter pretieren .
4. Kalibrierungssystem (KS) nach Anspruch 3, dadurch ge kennzeichnet, dass
die Auswerte-/Berechnungseinheit (ABE) mit einer Bildanalyse vorrichtung (BAV) verbunden und derart ausgebildet ist, dass der berechnete Korrekturwert (KW) für die genaue Bestimmung eines Bildausschnitts bei einer in der Bildanalysevorrichtung (BAV) durchgeführten Bildanalyse im Bahnverkehr, insbesondere Schienenverkehr, herangezogen wird, indem beispielsweise im Zuge einer fahrspurbasierten Bildanalyse ein bestimmter Be reich in einem mit der Bahnfahrzeugkamera (BFZK) aufgenomme nen Bild für die Bildverarbeitung betrachtet wird.
5. Kalibrierungssystem (KS) nach Anspruch 3 oder 4,
dadurch gekennzeichnet, dass
das Kalibrierungssystem (KS) mit der Bahnfahrzeugkamera (BFZK) verbunden ist.
6. Kalibrierungssystem (KS) nach Anspruch 3 oder 4,
dadurch gekennzeichnet, dass
das Kalibrierungssystem (KS) ein Cloud-basiertes System ist.
7. Bahnfahrzeug (BFZ, SFZ) mit einer Bahnfahrzeugkamera
(BFZK) dadurch gekennzeichnet , dass
ein Kalibrierungssystem (KS) nach einem der Ansprüche 3 bis 5 in das Bahnfahrzeug (BFZ, SFZ) integriert ist.
EP19727831.0A 2018-05-29 2019-05-08 Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera Pending EP3802266A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018208512.9A DE102018208512A1 (de) 2018-05-29 2018-05-29 Kalibrierungsverfahren und Kalibrierungssystem für eine Bahnfahrzeugkamera und Bahnfahrzeug mit Bahnfahrzeugkamera
PCT/EP2019/061793 WO2019228766A1 (de) 2018-05-29 2019-05-08 Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera

Publications (1)

Publication Number Publication Date
EP3802266A1 true EP3802266A1 (de) 2021-04-14

Family

ID=66685558

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19727831.0A Pending EP3802266A1 (de) 2018-05-29 2019-05-08 Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera

Country Status (5)

Country Link
EP (1) EP3802266A1 (de)
CN (1) CN112154090B (de)
DE (1) DE102018208512A1 (de)
RU (1) RU2762164C1 (de)
WO (1) WO2019228766A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111836235B (zh) * 2020-07-14 2023-02-28 北京阿帕科蓝科技有限公司 一种共享电单车时间校准方法及车辆时间校准系统
DE102020212374A1 (de) * 2020-09-30 2022-03-31 Siemens Mobility GmbH Verfahren zur Überprüfung der Kalibrierung eines auf einem Schienenfahrzeug angeordneten Umfeldsensors
DE102023213021A1 (de) * 2023-12-20 2025-06-26 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Kalibrieren einer Kamera, die an einem Schienenfahrzeug befestigt ist

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290820A (ja) * 2000-01-31 2001-10-19 Mitsubishi Electric Corp 映像収集装置、映像検索装置および映像収集検索システム
US8942426B2 (en) * 2006-03-02 2015-01-27 Michael Bar-Am On-train rail track monitoring system
US9846025B2 (en) * 2012-12-21 2017-12-19 Wabtec Holding Corp. Track data determination system and method
US8860818B1 (en) * 2013-07-31 2014-10-14 Apple Inc. Method for dynamically calibrating rotation offset in a camera system
US20170021863A1 (en) * 2015-07-20 2017-01-26 Dura Operating, Llc System and method for verifying road position information for a motor vehicle
JP6413974B2 (ja) * 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
US10783382B2 (en) * 2016-04-06 2020-09-22 Semiconductor Components Industries, Llc Systems and methods for buffer-free lane detection
DE102016225595A1 (de) * 2016-12-20 2018-06-21 Siemens Aktiengesellschaft Verfahren und Anordnung zur Kalibrierung mindestens eines Sensors eines Schienenfahrzeugs

Also Published As

Publication number Publication date
DE102018208512A1 (de) 2019-12-05
RU2762164C1 (ru) 2021-12-16
CN112154090A (zh) 2020-12-29
WO2019228766A1 (de) 2019-12-05
CN112154090B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
EP3523177B1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur hinderniserkennung im bahnverkehr, insbesondere im schienenverkehr
DE102019008316A1 (de) Verfahren zur Objekterkennung und Abstandsbestimmung
DE102004050149A1 (de) Verfahren zur Bestimmung von Deichsel- und Trailerwinkel
DE102019106275A1 (de) Erfassungssystem und Verfahren zum Ermitteln eines Knickwinkels zwischen zwei Teilfahrzeugen eines Fahrzeug-Gespanns sowie Fahrzeug- Gespann
DE102018221427B4 (de) Verfahren zur Ermittlung einer vorliegenden Dejustage wenigstens eines Sensors innerhalb eines Sensorverbundes
EP2888604A1 (de) Verfahren zur bestimmung eines fahrspurverlaufs für ein fahrzeug
DE102016118497A1 (de) Ermittlung einer virtuellen Fahrspur für eine von einem Kraftfahrzeug befahrene Straße
DE102011111051A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei der Steuerung eines Fahrzeugs
EP3526097A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurerkennung im bahnverkehr, insbesondere zur gleiserkennung im schienenverkehr
DE102017222017A1 (de) Verfahren und System zum Ermitteln und Bereitstellen eines Bodenprofils
WO2019228766A1 (de) Kalibrierungsverfahren und kalibrierungssystem für eine bahnfahrzeugkamera und bahnfahrzeug mit bahnfahrzeugkamera
WO2017174155A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur signalerkennung im bahnverkehr, insbesondere schienenverkehr
DE102018117290A1 (de) Verfahren zur Kalibrierung und/oder Justierung mindestens einer Sensoreinheit eines Fahrzeugs
WO2021130074A1 (de) Verfahren und vorrichtung zum bestimmen von mindestens einem knickwinkel eines fahrzeuggespanns
DE102017210112A1 (de) Verfahren und System zur Durchführung einer Kalibrierung eines Sensors
DE102019101040A1 (de) Verfahren zum Trainieren einer Trajektorie für ein Fahrzeug, sowie elektronisches Fahrzeugführungssystem
DE102018210340A1 (de) Verfahren und System zum Ermitteln einer Relativpose zwischen einem Zielobjekt und einem Fahrzeug
DE102010049216A1 (de) Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera
DE102015210816B4 (de) Verfahren für einen Anhängerrangierassistenten
EP3310637A1 (de) Prüfeinrichtung und verfahren zur überprüfung eines definierten profils von einem zugverband aus fahrzeugen, insbesondere schienenfahrzeugen
DE102008026876A1 (de) Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
DE102010049214A1 (de) Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE102023203758A1 (de) Verfahren zur Detektion eines Anhängers
DE102017003629A1 (de) Vorrichtung und Verfahren zur Kalibrierung optischer Sensoren eines Fahrzeugs
WO2018059735A1 (de) Verfahren zur selbstlokalisierung eines fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20201109

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230724

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS MOBILITY GMBH