EP4294696A1 - Hindernisdetektion im gleisbereich auf basis von tiefendaten - Google Patents

Hindernisdetektion im gleisbereich auf basis von tiefendaten

Info

Publication number
EP4294696A1
EP4294696A1 EP22721037.4A EP22721037A EP4294696A1 EP 4294696 A1 EP4294696 A1 EP 4294696A1 EP 22721037 A EP22721037 A EP 22721037A EP 4294696 A1 EP4294696 A1 EP 4294696A1
Authority
EP
European Patent Office
Prior art keywords
image data
rail vehicle
depth
rails
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP22721037.4A
Other languages
English (en)
French (fr)
Inventor
Benjamin Hartmann
San-yu HUANG
Irina Vidal Migallon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP4294696A1 publication Critical patent/EP4294696A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072—On-board train data handling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the invention relates to a method for detecting obstacles for a rail vehicle.
  • the invention also relates to an obstacle detection device.
  • the invention also relates to a rail vehicle.
  • a supervised object detection with the return of so-called bounding boxes based on machine learning has proven to be quite effective for most marked objects.
  • it is quite expensive to create a new one To identify or train a class in a development cycle for a model.
  • a database must be sought that includes the relevant obstacles. The data must then either be annotated by the company's own specialist staff or this process must be left to external contractors.
  • the new model must be trained and validated accordingly. Then the model has to be implemented in the field and tested in practice.
  • the imaged environment of the rail vehicle preferably includes a driving channel of the rail vehicle running in front of the rail vehicle, but can preferably also include peripheral areas to the right and left of the driving channel, for example to identify potential collision obstacles early on before they even get close to the driving channel have arrived.
  • 2D image data are generated on the basis of the 3D image data.
  • the 3D image data are projected onto a 2D plane, the orientation of which preferably corresponds to the visual perspective of the rail vehicle.
  • This visual perspective also preferably includes the perspective of a driver looking forward from the rail vehicle or in the direction of travel and/or the perspective with which at least some of the sensors, which are preferably aligned in the direction of travel or in the direction of the longitudinal axis of the rail vehicle, the Surrounding area detected.
  • Farther determines whether a pixel or point is part of an object that protrudes over the terrain plane. This determination is made depending on whether the difference between the depth value of the relevant pixel and the depth value of the rails of the same image segment exceeds a predetermined threshold value.
  • a depth value of a pixel of a line-like image segment outside the rails is compared with the respective depth value of the rails inside the line-like image segment.
  • the line-like image segment can, for example, comprise a horizontal line in an image.
  • all pixels in the tile should have approximately the same depth. In this case, the pixels are all considered part of the terrain layer. Otherwise, it is determined that the pixel is part of an object, possibly an obstacle, which protrudes above the ground level, i.e. in the event that the difference in the depth value of the pixel to the depth value of the rails exceeds a predetermined threshold value.
  • the pixel was detected as part of an object that projects beyond the terrain level, depending on a position and/or a detected movement, in particular the speed and direction of movement of the object, it is determined whether the detected object is a represents a potential collision obstacle.
  • Annotations for classifications of objects are not strictly required.
  • the actual obstacle detection can be carried out, for example, depending on the position of the detected object and by tracking a movement of the detected object. If the detected object moves or even moves in the direction of the track area, the detected object can be classified as a potential obstacle.
  • the obstacle detection device has a sensor data interface to an image recording unit for recording three-dimensional image data of a surrounding area of a rail vehicle.
  • the three-dimensional image data can be recorded directly by a stereo camera. However, the three-dimensional image data can also initially be recorded by a mono camera, for example from different positions, and a 3D image is then reconstructed on the basis of its 2D image data.
  • the obstacle detection device also includes a projection unit for generating 2D image data on the basis of the 3D image data. Part of the obstacle detection device according to the invention is also a localization unit for detecting and localizing rails in the 2D image data.
  • the obstacle detection device also includes a depth data determination unit for determining depth data in the 2D image data based on the 3D image data and an assignment unit for dividing the 2D image data into linear image segments, each with a rail section with a constant depth.
  • a depth data determination unit for determining depth data in the 2D image data based on the 3D image data
  • an assignment unit for dividing the 2D image data into linear image segments, each with a rail section with a constant depth.
  • Part of the inventions to the invention obstacle detection device is also a comparison unit for comparing the depth value of a Pixels of a line-like image segment outside the rails with the respective depth value of the rails.
  • the obstacle detection device also includes a detection unit for detecting whether the pixel is part of an object projecting beyond the terrain level, depending on whether the difference between the depth value of the pixel and the depth value of the rails of the same image segment exceeds a predetermined threshold value.
  • the obstacle detection device also includes an obstacle determination unit for determining, in the event that the pixel was detected as part of an object that projects beyond the terrain level, whether the detected object represents a potential collision obstacle, depending on a position and/or a detected movement of the object.
  • the obstacle detection device shares the advantages of the process according to the invention for obstacle detection for a rail vehicle.
  • the rail vehicle according to the invention has a sensor unit for capturing 3D image data from the surroundings of the rail vehicle.
  • the rail vehicle according to the invention includes the obstacle detection device according to the invention.
  • the rail vehicle according to the invention has a control device for controlling a driving behavior of the rail vehicle depending on whether an obstacle in the vicinity of the rail vehicle was detected by the obstacle detection device.
  • the rail vehicle according to the invention shares the advantages of the obstacle detection device according to the invention.
  • Some components of the obstacle detection device can be designed for the most part in the form of software components. This applies in particular to the sensor data interface, the projection unit, the localization unit, the depth data determination unit, the assignment unit, the comparison unit and the detection unit. In principle, however, these components can also be partially implemented in the form of software-supported hardware, for example FPGAs or the like, particularly when particularly fast calculations are involved.
  • the required interfaces for example when it is only a matter of taking over data from other software components, can be designed as software interfaces. However, they can also be in the form of hardware interfaces that are controlled by suitable software.
  • a largely software-based implementation has the advantage that even previously existing computer systems in a rail vehicle can be easily retrofitted with a software update after a possible addition of additional hardware elements, such as a video camera, in order to work in the manner according to the invention work.
  • the object is also achieved by a corresponding computer program product with a computer program that can be loaded directly into a memory device of such a computer system, with program sections in order to carry out the steps of the method according to the invention that can be implemented using software when the computer program is executed in the computer system will.
  • such a computer program product may also include additional components such as documentation and/or additional components, including hardware components such as hardware keys (dongles, etc.) for using the software.
  • additional components such as documentation and/or additional components, including hardware components such as hardware keys (dongles, etc.) for using the software.
  • a computer-readable medium for example a memory stick, a hard disk or another transportable or permanently installed data medium, on which the program sections of the computer program that can be read and executed by a computer unit, can be used for transport to the storage device of the computer system and/or for storage on the computer system are saved.
  • the computing unit can have one or more working micro processors or the like for this purpose.
  • the localization of the rails is based on semantic segmentation on deep learning (in German: multi-layer learning, deep learning: relates to a method of machine learning that uses artificial neural networks with numerous intermediate layers between the input layer and output layer uses) carried out based ren.
  • a variant of obstacle detection, which can be implemented with the help of machine learning, is based on semantic segmentation.
  • semantic segmentation pixels are divided into classes. In a training process, each pixel is annotated. Pixels from railroad tracks are assigned to one class, all other pixels are assigned to a class relating to the background of the image.
  • Such a scenario can also be understood as a binary foreground/background scenario.
  • the training process can advantageously be limited to two classes, which greatly simplifies the training process.
  • the 3D image data are captured by a stereo camera.
  • 3D information in particular depth data
  • 3D information can be recorded directly from the area surrounding a rail vehicle. While the detection of rails in 2D image data is simplified, 3D information, in particular depth data, is used to detect objects that have a height that exceeds the height of the rails.
  • the 3D image data can also be captured dynamically by a mono camera.
  • image data is captured from different directions and a 3D image is generated from this image data.
  • Such a technology is called “Monodepth” and is described in Clement Godard et al.: “Digging Into Self-Supervised Monocular Depth Estimation” (available on the Internet at the address https://ar-xiv.org/pdf/1806.01260. pdf) described.
  • the 3D image data preferably include RGB data as image data that have color differences. Color differences can be used advantageously to differentiate between objects and image sections.
  • the depth data is preferably determined by a model based on machine learning.
  • the training of such a model can be supervised or unsupervised.
  • the obstacles can be detected particularly effectively by removing the terrain plane.
  • the depth data of rail points is compared with the depth data of pixels of an image segment in which the rail points are located. If a depth difference exceeds a threshold, the pixels can be classified as object pixels, otherwise they are classified as part of the terrain plane and removed from the image, leaving only object pixels that are processed further.
  • a sub-area of the 2D image data can also be defined as a safety area and only the safety area is examined for obstacles. The amount of image data to be evaluated is advantageously reduced, as a result of which the evaluation process is accelerated.
  • FIG. 1 shows a flowchart which illustrates a method for detecting an obstacle for a rail vehicle according to an exemplary embodiment of the invention.
  • FIG. 2 shows a schematic representation of two-dimensional image data which are generated in the method illustrated in FIG. 1,
  • FIG. 3 shows a schematic representation of the recorded image data, with depth data being assigned to the rails pixel by pixel,
  • FIG. 4 shows a schematic representation of the image data already shown in FIG. 3, with different objects being detected
  • FIG. 5 shows the representation shown in FIG. 3 and FIG. 4 as a representation with the terrain level removed
  • FIG. 6 shows the image representation already shown in FIG. 3, FIG. 4, and FIG. 5 again as a representation with the safety area drawn in,
  • FIG. 7 shows a schematic representation of an obstacle detection device according to an embodiment of the inventions
  • 8 shows a schematic representation of a rail vehicle according to an exemplary embodiment of the invention.
  • FIG. 1 shows a flow chart 100 which illustrates a method for detecting obstacles for a rail vehicle according to an exemplary embodiment of the invention.
  • step 1.1 three-dimensional colored 3D image data 3D-BD, also referred to as RGB 3D image data, are recorded from the surroundings or a surrounding area U in front of a rail vehicle 81 (see FIG. 8).
  • the 3D image data 3D-BD is recorded by a sensor unit 82 arranged on the rail vehicle 81 (see FIG. 8).
  • the sensor unit 82 includes an optical camera for recording three-dimensional color image data 3D-BD.
  • the 3D-BD image data include information about the topography of the surrounding area U of the rail vehicle 81.
  • the surrounding area U comprises a front area in front of the rail vehicle 81, into which the rail vehicle 81 would like to drive.
  • step l.II 2D image data 2D-BD are generated on the basis of the 3D image data 3D-BD.
  • the 3D image data is projected onto a 2D plane, which is perpendicular to the orientation of the sensor unit 82 .
  • step l.III the rails S running in front of the rail vehicle are detected and localized in the 2D image data. In particular, positions P(S) of the rails S are determined.
  • step 1.IV depth data T in the 2D image data 2D-BD is also determined on the basis of the 3D image data 3D-BD. This means that depth information assigned to the individual pixels is obtained from the 3D image data in order to determine the depth information of individual pixels in the 2D image data.
  • step IV the 2D image data 2D-BD are divided into line-like image segments BS, each with a rail section divided with a constant depth.
  • a straight line runs transversely to the rail track, at least in the event that the rail track runs straight. It can then be assumed that, in the case of flat terrain, all points of the transverse straight line have the same depth if there is no object projecting above the terrain plane.
  • step 1.VI the depth value T(P) of a pixel P of a linear image segment BS outside the rails S is compared with the respective depth value T(S) of the rails S of this linear image segment BS. If the difference between the depth values T(P), T(S) exceeds a predetermined threshold value SW, then it is concluded that the pixel P belongs to an object 0 rising out of the plane. In this way, pixels are assigned to different objects 0 and the objects are localized.
  • the pixel P is not classified as part of an object 0 in step l.VII.
  • step l.VIII a check is made as to whether the detected and localized object 0 is within a safety area around the rails S or, if appropriate, is moving in the direction of the rails. If this is the case, the object 0 is classified as a potential collision obstacle KH in step l.VIII. Otherwise, the object 0 is not classified as a collision obstacle KH in step l.VIII.
  • the potential collision obstacles are checked, for example by comparing them with map material, in order to be able to distinguish actual collision obstacles KH from objects 0 in the existing infrastructure. Further methods for identifying collision obstacles KH track a detected object 0. If the object 0 moves, in particular in the direction of the track area, it can be classified as a potential collision obstacle KH, if it does not move and is not there either directly in the track area, the detected object 0 can be regarded as harmless.
  • FIG. 3 shows a schematic representation 30 of recorded or generated image data 2D-BD, with the rails S being assigned depth data T(S) pixel by pixel. 3 also shows objects in the image, such as a cyclist CL, a mast PL, and buildings BL. FIG. 3 therefore shows a scenario that can be assigned to step 1.IV in FIG.
  • FIG. 4 shows a schematic representation 40 of the image data already illustrated in FIG. 3, with different objects BL, CL, PL, such as a cyclist CL, a mast PL and building BL, being detected.
  • the pixels of the objects typically have a shallower depth in any image row than the pixels of the rails S.
  • the pixel P(PL) in row R ⁇ has a shallower depth T(P(PL)) than the rails S. It can therefore be assumed that the pixel P(PL) belongs to an object that protrudes from the ground plane.
  • FIG. 4 therefore shows a scenario which corresponds to steps l.V and l.VI in FIG.
  • FIG. 7 shows a schematic representation of an obstacle detection device 70 according to an exemplary embodiment of the invention.
  • the trajectory of the detected object 0 is tracked, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Es wird ein Verfahren zur Hinderniserkennung für ein Schienenfahrzeug (81) beschrieben. Bei dem Verfahren zur Hinderniserkennung für ein Schienenfahrzeug (81) werden 3D-Bilddaten (3D-SD) von einem Umgebungsbereich (U) des Schienenfahrzeugs (81) erfasst. Weiterhin werden 2D-Bilddaten (2D-BD) auf Basis der 3D-Bilddaten (3D-BD) erzeugt. In den 2D-Bilddaten (2D-BD) werden Schienen (S) detektiert und lokalisiert. Außerdem werden Tiefendaten (T) in den 2D-Bilddaten (2D-BD) auf Basis der 3D-Bilddaten (3D-BD) ermittelt. Die 2D-Bilddaten (2D-BD) werden in linienartige Bildsegmente (BS) mit jeweils einem Schienenabschnitt mit einer konstanten Tiefe (T(S)) eingeteilt. Dann wird ein Tiefenwert (T(P)) eines Pixels (P) eines linienartigen Bildsegments (BS) außerhalb der Schienen (S) mit dem jeweiligen Tiefenwert (T(S)) der Schienen (S) verglichen. Weiterhin wird in Abhängigkeit davon, ob die Differenz (ΔT) des Tiefenwertes (T(P)) des Pixels (P) zu dem Tiefenwert (T(S)) der Schienen (S) einen vorbestimmten Schwellwert (SW) überschreitet, ermittelt, ob der Pixel (P) Teil eines die Geländeebene überragenden Objekts (O) ist. Schließlich wird in Abhängigkeit von einer Position und/oder detektierten Bewegung des Objekts (O) ermittelt, ob das Objekt (O) ein potenzielles Kollisionshindernis (KH) darstellt. Es wird auch eine Hinderniserkennungseinrichtung (70) beschrieben. Ferner wird ein Schienenfahrzeug (81) beschrieben.

Description

Beschreibung
Hindernisdetektion im Gleisbereich auf Basis von Tiefendaten
Die Erfindung betrifft ein Verfahren zur Hinderniserkennung für ein Schienenfahrzeug. Außerdem betrifft die Erfindung eine Hinderniserkennungseinrichtung. Überdies betrifft die Erfindung ein Schienenfahrzeug.
Im Schienenverkehr kommt es gelegentlich vor, dass Objekte, wie zum Beispiel Personen oder Straßenfahrzeuge, Einkaufswa gen, die auf die Schienen geworfen wurden, oder auch Felsbro cken oder umgestürzte Bäume, auf den Gleiskörper geraten und daher eine Gefahr für die Sicherheit des Schienenverkehrs darstellen und im Fall der Personen und Straßenfahrzeuge auf grund der Möglichkeit einer Kollision mit einem fahrenden Schienenfahrzeug auch selbst hochgradig gefährdet werden. Da her müssen solche Objekte rechtzeitig erkannt werden, um für ein sich näherndes Schienenfahrzeug einen Bremsvorgang einzu leiten, so dass ein Zusammenstoß zwischen dem Schienenfahr zeug und den erkannten Objekten verhindert werden kann.
Mithin ist eine Detektion von möglichen Hindernissen jegli cher Form oder Gestalt, welche die Schienen blockieren, eine sicherheitskritische Notwendigkeit für alle Arten von Schie nenfahrzeugen. Die Detektion von Hindernissen spielt insbe sondere eine entscheidende Rolle bei dem autonomen Fahren oder bei der automatisierten Assistenz der Steuerung von Schienenfahrzeugen. Es gibt viele Lösungsansätze für dieses Problem, wobei auf künstlicher Intelligenz (abgekürzt mit KI) basierende Lösungsansätze am vielversprechendsten sind. Jede KI-basierte Lösung ist so gut wie ihre Trainingsdatenbasis, welche für Schienenverkehrsszenarios sehr aufwändig zusammen zustellen ist und zu annotieren ist.
Eine überwachte Objektdetektion mit der Rückgabe von soge nannten Bounding-Boxen basierend auf maschinellem Lernen, hat sich für die meisten gekennzeichneten Objekte als recht ef fektiv erwiesen. Allerdings ist es recht aufwändig, eine neue Klasse in einem Entwicklungszyklus für ein Modell zu kenn zeichnen bzw. zu trainieren. Zunächst einmal muss eine Daten basis gesucht werden, die die entsprechenden Hindernisse um fasst. Dann muss eine Annotation der Daten entweder durch ei genes Fachpersonal erfolgen oder dieser Vorgang muss auswär tigen Auftragnehmern überlassen werden. Das neue Modell muss entsprechend trainiert und auch validiert werden. Dann muss das Modell im Feld implementiert werden und noch in der Pra xis getestet werden. Außerdem ist es häufig schwierig, alle Arten von Hindernissen durch ein Modell abzudecken. Wenn neue Arten von Hindernissen identifiziert werden, muss hierzu auch ausreichendes Bildmaterial vorhanden sein, in dem die Hinder nisse abgebildet sind. Für jede Datensammlung müssen wichtige Strecken mit allen notwendigen Sensoren in allen Funktionszu ständen abgefahren werden, und es muss Datenmaterial für die unterschiedlichen Hindernistypen, welche unter unterschiedli chen Bedingungen und aus unterschiedlichen Abständen aufge nommen wurden, gesammelt werden. Die Kosten für diese zusätz lichen Fahrten sind nicht unerheblich. Mithin erscheint eine ständige Suche nach Hindernissen, die noch nicht klassifi ziert wurden, und eine entsprechende kontinuierliche Ergän zung der Modelle nur schwer durchführbar.
Es gibt auch Ansätze, in denen a priori Informationen in ei nem überwachten Rahmen genutzt werden, um Typen von Hinder nissen vorab zu erkennen. Dabei wird das a priori Wissen ge nutzt, um Bilder zu Trainingszwecken zu synthetisieren. Diese Ansätze sind allerdings nicht allgemein anwendbar. Außerdem sind sie auf Szenarien mit 2D-Bilddatenverarbeitung be schränkt. Selbst wenn Hindernisse korrekt erkannt werden, kann es sein, dass ohne Tiefeninformation nicht erkannt wer den kann, ob ein Objekt die Schienen blockiert, insbesondere in Kurven.
Mithin erscheint die direkte Erkennung von Objekten mit Hilfe von Verfahren, welche auf KI-basiertem Training basieren, für eine generische Nutzung im Schienenverkehr nicht realisier bar. Weiterhin gibt es Versuche, Objekte in Punktwolken zu erken nen, die von Lidarsensoren erzeugt werden. Dabei gibt es KI- basierte Verfahren und konventionelle modellbasierte Verfah ren. KI-basierte Verfahren sind recht erfolgreich bei der De tektion von großen Objekten, wie zum Beispiel Automobilen, aber sie haben Probleme, kleinere Objekte, wie zum Beispiel Menschen, zu erkennen. Außerdem sind bei KI-basierten Verfah ren derart viele Daten zu verarbeiten, dass die Verarbeitung selbst für Hochleistungsrechner kaum in Echtzeit zu schaffen ist. Herkömmliche Verfahren zur Verarbeitung von Punktwolken verwenden Technologien, wie zum Beispiel ein Clustering und eine Filterung, um Anomalien zu detektieren. Solche Methoden weisen viele festeingestellte Parameter auf, die nur durch ein langdauerndes Testverfahren optimiert werden können, falls es überhaupt möglich ist. Lidarsensoren weisen eine be schränkte Reichweite und Auflösung auf, so dass darauf ba sierte Erkennungsverfahren nur etwa bis 100 m auch bei Anwen dungen auf einer Hauptstrecke verlässlich sind.
Es besteht also die Aufgabe, ein Verfahren und eine Vorrich tung zur Erkennung von Hindernissen für Schienenfahrzeuge be reitzustellen, welche generalisiert auch für größere Entfer nungen auf Hauptstrecken bzw. für den Schienenfernverkehr an wendbar sind.
Diese Aufgabe wird durch ein Verfahren zur Hinderniserkennung für ein Schienenfahrzeug gemäß Patentanspruch 1, eine Hinder niserkennungseinrichtung gemäß Patentanspruch 9 und ein Schienenfahrzeug gemäß Patentanspruch 10 gelöst.
Bei dem erfindungsgemäßen Verfahren zur Hinderniserkennung für ein Schienenfahrzeug werden 3D-Bilddaten von einem Umge bungsbereich des Schienenfahrzeugs erfasst. Als 3D-Bilddaten sollen Bilddaten verstanden werden, die eine Tiefeninforma tion umfassen. Davon sollen auch sogenannte Disparitätsbilder umfasst sein, die Informationen unterschiedlicher Blickwinkel umfassen. Aus diesen Bildern können dann wieder 3D-Bilder er zeugt werden. Die 3D-Bilddaten müssen die vorhandenen Objekte bezüglich ihrer dreidimensionalen Gestalt nicht vollständig beschreiben, wozu möglicherweise eine Vielzahl von Bildauf nahmen aus mindestens drei unterschiedlichen Richtungen nötig wäre.
Die bildlich erfasste Umgebung des Schienenfahrzeugs umfasst bevorzugt einen vor dem Schienenfahrzeug verlaufenden Fahrka nal des Schienenfahrzeugs, kann aber vorzugsweise auch rechts und links von dem Fahrkanal liegende periphere Bereiche um fassen, um zum Beispiel potenzielle Kollisionshindernisse frühzeitig zu erkennen, bevor sie überhaupt in die Nähe des Fahrkanals gelangt sind.
Weiterhin werden 2D-Bilddaten auf Basis der 3D-Bilddaten er zeugt. Hierzu werden die 3D-Bilddaten auf eine 2D-Ebene pro jiziert, deren Orientierung vorzugsweise mit der Sichtper spektive des Schienenfahrzeugs übereinstimmt. Auch bevorzugt umfasst diese Sichtperspektive die Perspektive eines aus dem Schienenfahrzeug nach vorne bzw. in Fahrtrichtung schauenden Fahrers und/oder die Perspektive, mit der zumindest ein Teil der Sensoren, welche bevorzugt in Fahrtrichtung bzw. in Rich tung der Längsachse des Schienenfahrzeugs ausgerichtet sind, den Umgebungsbereich erfasst.
In den 2D-Bilddaten werden Schienen detektiert und lokali siert. Ein Verfahren zur Schienendetektion ist beispielsweise in der Anmeldung DE 102020 215 754.5 beschrieben. Außerdem werden Tiefendaten in den 2D-Bilddaten auf Basis der 3D-Bild- daten ermittelt. Als Tiefe eines Punkts, beispielsweise eines Objekts, soll ein Abstand des Punkts zur betreffenden Sen soreinheit bzw. Bildaufnahmeeinheit, beispielsweise eine Ka mera, verstanden werden. Die 2D-Bilddaten werden in linienar tige Bildsegmente mit jeweils einem Schienenabschnitt mit ei ner konstanten Tiefe eingeteilt. Die Linien verlaufen vor zugsweise quer zur Bildaufnahmerichtung und sind vorzugsweise geradlinig bzw. gegebenenfalls derart gekrümmt, dass für den Fall, dass die Linie lediglich die Geländeebene nachzeichnet, alle Punkte auf der Linie dieselbe Tiefe aufweisen. Weiterhin wird ermittelt, ob ein Pixel bzw. Punkt Teil eines die Gelän deebene überragenden Objekts ist. Diese Ermittlung erfolgt in Abhängigkeit davon, ob die Differenz des Tiefenwerts des be treffenden Pixels zu dem Tiefenwert der Schienen desselben Bildsegments einen vorbestimmten Schwellwert überschreitet.
Anders ausgedrückt, wird ein Tiefenwert eines Pixels eines linienartigen Bildsegments außerhalb der Schienen mit dem je weiligen Tiefenwert der Schienen innerhalb des linienartigen Bildsegments verglichen. Das linienartige Bildsegment kann zum Beispiel eine waagrechte Linie in einem Bild umfassen.
Ist in dem Bildsegment kein zusätzliches Objekt vorhanden, so sollten alle Pixel in dem Bildsegment ungefähr dieselbe Tiefe aufweisen. Die Pixel werden in diesem Fall alle als Teil der Geländeebene aufgefasst. Andernfalls wird ermittelt, dass der Pixel Teil eines Objekts, möglicherweise eines Hindernisses ist, das über die Geländeebene hinausragt, d.h. für den Fall, dass die Differenz des Tiefenwertes des Pixels zu dem Tiefen wert der Schienen einen vorbestimmten Schwellwert überschrei tet.
Schließlich wird für den Fall, dass der Pixel als Teil eines Objekts, welches die Geländeebene überragt, detektiert wurde, in Abhängigkeit von einer Position und/oder einer detektier- ten Bewegung, insbesondere Geschwindigkeit und Bewegungsrich tung des Objekts ermittelt, ob das detektierte Objekt ein po tenzielles Kollisionshindernis darstellt.
Vorteilhaft lassen sich mit dem erfindungsgemäßen Verfahren zur Hinderniserkennung alle Arten von Objekten, insbesondere Hindernissen, jeglicher Form und Gestalt detektieren, da die Gestalt eines Objekts nicht gelernt werden bzw. bekannt sein muss. Für die Schienendetektion kann ein auf maschinellem Lernen basierendes Verfahren angewendet werden, das durch ein Trainingsverfahren in die Lage versetzt wird, Schienen in Bilddaten zu detektieren. Vorteilhaft ist die Reichweite für die bildhafte Aufnahme der Umgebung, beispielsweise durch RGB-Kameras, deutlich höher als zum Beispiel für Lidar- Systeme. Außerdem ist eine Bildaufnahmeeinheit, beispiels weise eine RGB-Kamera, deutlich weniger aufwändig herzustel len als ein Lidarsystem. Überdies wird kein a priori Wissen über die Objekte und Hindernisse benötigt. Vielmehr ergibt sich aus der Objekterkennung auf Basis einer Kombination aus Schienenstreckensegmentierung und Tiefendatenermittlung die Möglichkeit einer generischen Hindernisdetektion. Annotatio nen für Klassifizierungen von Objekten werden nicht unbedingt benötigt. Die eigentliche Hindernisdetektion kann zum Bei spiel in Abhängigkeit von der Position des detektierten Ob jekts sowie durch eine Nachverfolgung einer Bewegung des de tektierten Objekts erfolgen. Bewegt sich das detektierte Ob jekt oder bewegt es sich sogar in Richtung Gleisbereich, so kann das detektierte Objekt als potenzielles Hindernis einge stuft werden.
Die erfindungsgemäße Hinderniserkennungseinrichtung weist eine Sensordatenschnittstelle zu einer Bildaufnahmeeinheit zur Aufnahme von dreidimensionalen Bilddaten von einem Umge bungsbereich eines Schienenfahrzeugs auf. Die dreidimensiona len Bilddaten können direkt von einer Stereokamera aufgenom men werden. Die dreidimensionalen Bilddaten können aber auch zunächst durch eine Monokamera, beispielsweise von unter schiedlichen Positionen aus, aufgenommen werden, auf Basis von deren 2D-Bilddaten dann ein 3D-Bild rekonstruiert wird. Die erfindungsgemäße Hinderniserkennungseinrichtung umfasst auch eine Projektionseinheit zum Erzeugen von 2D-Bilddaten auf Basis der 3D-Bilddaten. Teil der erfindungsgemäßen Hin derniserkennungseinrichtung ist zudem eine Lokalisierungsein heit zum Detektieren und Lokalisieren von Schienen in den 2D- Bilddaten. Die erfindungsgemäße Hinderniserkennungseinrich tung umfasst auch eine Tiefendatenermittlungseinheit zum Er mitteln von Tiefendaten in den 2D-Bilddaten auf Basis der 3D- Bilddaten und eine Zuordnungseinheit zum Aufteilen der 2D- Bilddaten in linienartige Bildsegmente mit jeweils einem Schienenabschnitt mit einer konstanten Tiefe. Teil der erfin dungsgemäßen Hinderniserkennungseinrichtung ist auch eine Vergleichseinheit zum Vergleichen des Tiefenwerts eines Pixels eines linienartigen Bildsegments außerhalb der Schie nen mit dem jeweiligen Tiefenwert der Schienen.
Überdies umfasst die erfindungsgemäße Hinderniserkennungsein richtung eine Detektionseinheit zum Detektieren, ob der Pixel Teil eines die Geländeebene überragenden Objekts ist, in Ab hängigkeit davon, ob die Differenz des Tiefenwertes des Pi xels zu dem Tiefenwert der Schienen desselben Bildsegments einen vorbestimmten Schwellwert überschreitet. Schließlich umfasst die erfindungsgemäße Hinderniserkennungseinrichtung auch eine Hindernisermittlungseinheit zum Ermitteln für den Fall, dass der Pixel als Teil eines Objekts, welches die Ge ländeebene überragt, detektiert wurde, ob das detektierte Ob jekt ein potenzielles Kollisionshindernis darstellt, in Ab hängigkeit von einer Position und/oder einer detektierten Be wegung des Objekts. Die erfindungsgemäße Hinderniserkennungs einrichtung teilt die Vorteile des erfindungsgemäßen Verfah rens zur Hinderniserkennung für ein Schienenfahrzeug.
Das erfindungsgemäße Schienenfahrzeug weist eine Sensorein heit zum Erfassen von 3D-Bilddaten von der Umgebung des Schienenfahrzeugs auf. Zudem umfasst das erfindungsgemäße Schienenfahrzeug die erfindungsgemäße Hinderniserkennungsein richtung. Weiterhin weist das erfindungsgemäße Schienenfahr zeug eine Steuerungseinrichtung zum Steuern eines Fahrverhal tens des Schienenfahrzeugs in Abhängigkeit davon, ob von der Hinderniserkennungseinrichtung ein Hindernis in der Umgebung des Schienenfahrzeugs erkannt wurde, auf. Das erfindungsge mäße Schienenfahrzeug teilt die Vorteile der erfindungsgemä ßen Hinderniserkennungseinrichtung.
Einige Komponenten der erfindungsgemäßen Hinderniserkennungs einrichtung können zum überwiegenden Teil in Form von Soft warekomponenten ausgebildet sein. Dies betrifft insbesondere die Sensordatenschnittstelle, die Projektionseinheit, die Lo kalisierungseinheit, die Tiefendatenermittlungseinheit, die Zuordnungseinheit, die Vergleichseinheit und die Detektions einheit. Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.
Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher in einem Schienenfahrzeug vorhandene Rechnersysteme nach einer eventuellen Ergänzung durch zusätz liche Hardwareelemente, wie zum Beispiel eine Bildkamera, auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Inso fern wird die Aufgabe auch durch ein entsprechendes Computer programmprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersys tems ladbar ist, mit Programmabschnitten, um die durch Soft ware realisierbaren Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in dem Rechnersystem ausgeführt wird.
Ein solches Computerprogrammprodukt kann neben dem Computer programm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen.
Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein compu terlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest einge bauter Datenträger dienen, auf welchem die von einer Rech nereinheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikro prozessoren oder dergleichen aufweisen.
Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhän gigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rah men der Erfindung die verschiedenen Merkmale unterschiedli cher Ausführungsbeispiele und Ansprüche auch zu neuen Ausfüh rungsbeispielen kombiniert werden.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zur Hinderniserkennung für ein Schienenfahrzeug wird die Lokali sierung der Schienen durch semantische Segmentierung auf Deep Learning (zu Deutsch: mehrschichtiges Lernen, tiefgehendes Lernen: betrifft eine Methode des maschinellen Lernens, die künstliche neuronale Netze mit zahlreichen Zwischenschichten zwischen Eingabeschicht und Ausgabeschicht einsetzt) basie rend durchgeführt. Eine Variante der Hinderniserkennung, wel che mit Hilfe von maschinellem Lernen realisiert werden kann, basiert auf semantischer Segmentierung. Bei der semantischen Segmentierung werden Pixel in Klassen eingeteilt. Bei einem Trainingsprozess wird jeder Pixel annotiert. Pixel von Schie nensträngen werden in eine Klasse eingeteilt, alle anderen Pixel werden einer den Hintergrund des Bildes betreffenden Klasse zugeordnet. Ein solches Szenario kann auch als binäres Vordergrund/Hintergrundszenario aufgefasst werden. Vorteil haft kann sich bei dem Trainingsprozess auf zwei Klassen be schränkt werden, wodurch der Trainingsprozess stark verein facht ist.
In einer Variante des erfindungsgemäßen Verfahrens werden die 3D-Bilddaten durch eine Stereokamera erfasst. Vorteilhaft können direkt 3D-Informationen, insbesondere Tiefendaten von der Umgebung eines Schienenfahrzeugs erfasst werden. Während die Detektion von Schienen in 2D-Bilddaten vereinfacht ist, werden für die Erkennung von Objekten, die eine Höhe haben, die über die Höhe der Schienen hinausgeht, 3D-Informationen, insbesondere Tiefendaten, herangezogen.
Die 3D-Bilddaten können auch durch eine Mono-Kamera dynamisch erfasst werden. Bei dieser Variante werden Bilddaten aus un terschiedlichen Richtungen erfasst und es wird ein 3D-Bild aus diesen Bilddaten erzeugt. Eine solche Technologie wird mit „Monodepth" bezeichnet und ist in Clement Godard et al.: „Digging Into Self-Supervised Monocular Depth Estimation" (zu finden im Internet unter der Adresse https://ar- xiv.org/pdf/1806.01260.pdf) beschrieben.
Bevorzugt umfassen die 3D-Bilddaten RGB-Daten, als Bilddaten, die Farbunterschiede aufweisen. Vorteilhaft können Farbunter- schiede für die Unterscheidung von Objekten und Bildabschnit ten genutzt werden.
Die Tiefendaten werden vorzugsweise durch ein Modell ermit telt, das auf maschinellem Lernen basiert. Das Training eines solchen Modells kann überwacht oder unüberwacht erfolgen.
Eine solche modellhafte Erfassung von Tiefendaten ist in Tinghui Zhou et al.: "Unsupervised Learning of Depth and Ego- Motion from Video" (zu finden im Internet unter der Adresse https://people.eecs.berkeley.edu/~tinghuiz/pro jects/SfMLear- ner/cvprl7_sfm_final .pdf) beschrieben.
Die Hindernisse können besonders effektiv durch Entfernung der Geländeebene erfasst werden. Vorteilhaft findet ein Ver gleich der Tiefendaten von Schienenpunkten mit den Tiefenda ten von Pixeln eines Bildsegments statt, in dem die Schienen punkte liegen. Überschreitet eine Tiefendifferenz einen Schwellwert, so können die Pixel als Objektpixel klassifi ziert werden, andernfalls werden sie als Teil der Gelände ebene klassifiziert und aus dem Bild entfernt, so dass am Ende nur Objektpixel übrigbleiben, die weiterverarbeitet wer den. Es kann auch ein Teilbereich der 2D-Bilddaten als Sicher heitsbereich festgelegt werden und nur der Sicherheitsbereich auf Hindernisse untersucht wird. Vorteilhaft wird die auszu wertende Bilddatenmenge reduziert, wodurch der Auswertungs prozess beschleunigt wird.
Die Erfindung wird im Folgenden unter Hinweis auf die beige fügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:
FIG 1 ein Flussdiagramm, welches ein Verfahren zur Hinder niserkennung für ein Schienenfahrzeug gemäß einem Ausfüh rungsbeispiel der Erfindung veranschaulicht,
FIG 2 eine schematische Darstellung von zweidimensionalen Bilddaten, die bei dem in FIG 1 veranschaulichten Verfahren erzeugt werden,
FIG 3 eine schematische Darstellung der aufgenommenen Bildda ten, wobei den Schienen pixelweise Tiefendaten zugeordnet werden,
FIG 4 eine schematische Darstellung der bereits in FIG 3 ver anschaulichten Bilddaten, wobei unterschiedliche Objekte de- tektiert wurden,
FIG 5 die in FIG 3 und FIG 4 gezeigte Darstellung als Dar stellung mit entfernter Geländeebene,
FIG 6 die in FIG 3, FIG 4, und FIG 5 bereits gezeigte Bild darstellung nochmals als Darstellung mit eingezeichnetem Si- cherheitsbereich,
FIG 7 eine schematische Darstellung einer Hinderniserken nungseinrichtung gemäß einem Ausführungsbeispiel der Erfin dung, FIG 8 eine schematische Darstellung eines Schienenfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung.
In FIG 1 ist ein Flussdiagramm 100 gezeigt, welches ein Ver fahren zur Hinderniserkennung für ein Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht.
Bei dem Schritt 1.1 werden dreidimensionale farbige 3D-Bild- daten 3D-BD, auch als RGB-3D-Bilddaten bezeichnet, von der Umgebung bzw. einem Umgebungsbereich U vor einem Schienen fahrzeug 81 (siehe FIG 8) erfasst. Die Erfassung der 3D-Bild- daten 3D-BD erfolgt durch eine an dem Schienenfahrzeug 81 an geordnete Sensoreinheit 82 (siehe FIG 8). Die Sensoreinheit 82 umfasst eine optische Kamera zur Aufnahme von dreidimensi onalen farbigen Bilddaten 3D-BD. Die Bilddaten 3D-BD umfassen Informationen über die Topografie des Umgebungsbereichs U des Schienenfahrzeugs 81. Der Umgebungsbereich U umfasst in die sem Ausführungsbeispiel einen Frontbereich vor dem Schienen fahrzeug 81, in den das Schienenfahrzeug 81 einfahren möchte.
Bei dem Schritt l.II werden auf Basis der 3D-Bilddaten 3D-BD 2D-Bilddaten 2D-BD erzeugt. Hierzu erfolgt eine Projektion der 3D-Bilddaten auf eine 2D-Ebene, die senkrecht zur Orien tierung der Sensoreinheit 82 liegt.
Bei dem Schritt l.III werden die vor dem Schienenfahrzeug verlaufenden Schienen S in den 2D-Bilddaten detektiert und lokalisiert. Es werden insbesondere Positionen P(S) der Schienen S ermittelt.
Bei dem Schritt 1.IV werden Tiefendaten T in den 2D-Bilddaten 2D-BD auch auf Basis der 3D-Bilddaten 3D-BD ermittelt. D.h. es werden für die Ermittlung der Tiefeninformation einzelner Pixel in den 2D-Bilddaten den einzelnen Pixeln zugeordnete Tiefeninformationen aus den 3D-Bilddaten gewonnen.
Bei dem Schritt l.V werden die 2D-Bilddaten 2D-BD in linien artige Bildsegmente BS mit jeweils einem Schienenabschnitt mit einer konstanten Tiefe aufgeteilt. Beispielsweise erfolgt für das linienartige Bildsegment eine gerade Linienführung quer zum Schienenstrang, zumindest für den Fall, dass die Schienenstrecke gerade verläuft. Es kann dann davon ausgegan gen werden, dass bei ebenem Terrain alle Punkte der quer ver laufenden geraden Linie dieselbe Tiefe aufweisen, falls kein die Geländeebene überragendes Objekt vorhanden ist.
Anschließend wird bei dem Schritt l.VI der Tiefenwert T(P) eines Pixels P eines linienartigen Bildsegments BS außerhalb der Schienen S mit dem jeweiligen Tiefenwert T(S) der Schie nen S dieses linienartigen Bildsegments BS verglichen. Über steigt die Differenz der Tiefenwerte T(P), T(S) einen vorbe stimmten Schwellwert SW, so wird daraus geschlossen, dass der Pixel P zu einem aus der Ebene aufragenden Objekt 0 gehört. Auf diese Weise werden Pixel unterschiedlichen Objekten 0 zu geordnet und die Objekte lokalisiert.
Falls der Schwellwert SW nicht überschritten wurde, wird bei dem Schritt l.VII der Pixel P nicht als Teil eines Objekts 0 eingestuft .
Andernfalls wird bei dem Schritt l.VIII geprüft, ob sich das detektierte und lokalisierte Objekt 0 innerhalb eines Sicher- heitsbereichs um die Schienen S befindet oder sich gegebenen falls in Richtung der Schienen bewegt. Ist das der Fall, wird das Objekt 0 bei dem Schritt l.VIII als potenzielles Kollisi onshindernis KH eingestuft. Andernfalls wird das Objekt 0 bei dem Schritt l.VIII nicht als Kollisionshindernis KH einge stuft. Weiterhin erfolgt eine Prüfung der potenziellen Kolli sionshindernisse zum Beispiel durch den Vergleich mit Karten material, um tatsächliche Kollisionshindernisse KH von Objek ten 0 der vorhandenen Infrastruktur unterscheiden zu können. Weitere Verfahren zur Identifizierung von Kollisionshinder nissen KH verfolgen ein detektiertes Objekt 0 nach. Bewegt sich das Objekt 0, insbesondere in Richtung Gleisbereich, so kann es als potenzielles Kollisionshindernis KH eingestuft werden, bewegt es sich nicht und befindet es sich auch nicht direkt im Gleisbereich, so kann das detektierte Objekt 0 als harmlos angesehen werden.
In FIG 2 ist eine schematische Darstellung 20 von zweidimen sionalen Bilddaten 2D-BD gezeigt. In FIG 2 ist der Schritt l.III der FIG 1 veranschaulicht, bei dem die Schienen S loka lisiert und identifiziert werden.
In FIG 3 ist eine schematische Darstellung 30 von aufgenomme nen bzw. erzeugten Bilddaten 2D-BD gezeigt, wobei den Schie nen S pixelweise Tiefendaten T(S) zugeordnet werden. Weiter hin sind in FIG 3 auch Objekte im Bild zu erkennen, wie zum Beispiel ein Radfahrer CL, ein Mast PL, und Gebäude BL. FIG 3 zeigt mithin ein Szenario, das dem Schritt 1.IV in FIG 1 zu zuordnen ist.
In FIG 4 ist eine schematische Darstellung 40 der bereits in FIG 3 veranschaulichten Bilddaten gezeigt, wobei unterschied liche Objekte BL, CL, PL, wie zum Beispiel ein Radfahrer CL, ein Mast PL und Gebäude BL, detektiert wurden. Die Pixel der Objekte weisen in einer beliebigen Bildreihe in der Regel eine geringere Tiefe auf als die Pixel der Schienen S. Bei spielsweise weist der Pixel P(PL) in der Reihe R± eine gerin gere Tiefe T(P(PL)) auf als die Schienen S. Mithin kann ange nommen werden, dass der Pixel P(PL) zu einem aus der Gelände ebene herausragenden Objekt gehört. In FIG 4 ist mithin ein Szenario veranschaulicht, welches den Schritten l.V und l.VI in FIG 1 entspricht.
In FIG 5 ist die in FIG 3 und FIG 4 gezeigte Darstellung als Darstellung 50 mit entfernter Geländeebene gezeigt, so dass in der Darstellung 50 nur noch die detektierten Objekte CL, PL, BL zu erkennen sind, nicht aber die Schienen S und übri gen Bildbereiche der Geländeebene.
In FIG 6 ist die in FIG 3, FIG 4 und FIG 5 bereits gezeigte Bilddarstellung nochmals als Darstellung 60 mit eingezeichne tem Sicherheitsbereich SB gezeigt. Der Sicherheitsbereich SB markiert den Bereich im Bild, in dem Objekte als Kollisions hindernisse aufgefasst werden. Nur der Mast PL der detektier- ten Objekte PL, BL, CL befindet sich in dem Sicherheitsbe reich SB. Nur dieser Mast PL wird als potenzielles Kollisi onshindernis KH identifiziert und zum Beispiel mit Hilfe ei nes Nachverfolgungsalgorithmus überwacht. Wird bei der Nach verfolgung ermittelt, dass sich der Mast PL nicht bewegt, was zu erwarten ist, so wird auch der Mast PL nicht als potenzi elles Kollisionshindernis KH eingestuft. Das in FIG 6 ge zeigte Szenario entspricht dem Schritt l.VIII in FIG 1.
In FIG 7 ist eine schematische Darstellung einer Hinderniser kennungseinrichtung 70 gemäß einem Ausführungsbeispiel der Erfindung gezeigt.
Die Hinderniserkennungseinrichtung 70 umfasst eine links in FIG 7 dargestellte Sensordatenschnittstelle 71. Die Sensorda tenschnittstelle 71 ist als Kamera ausgebildet und ist dazu eingerichtet, 3D-Bilddaten 3D-SD von einem Umgebungsbereich U eines Schienenfahrzeugs 81 (siehe FIG 8), an dem die Hinder niserkennungseinrichtung 70 angeordnet ist, zu empfangen. Weiterhin umfasst die Hinderniserkennungseinrichtung 70 auch eine Projektionseinheit 72, welche auf Basis der 3D-Bilddaten 3D-BD durch eine Projektion 2D-Bilddaten 2D-BD erzeugt. Die Hinderniserkennungseinrichtung 70 weist auch eine Lokalisie rungseinheit 73 zum Detektieren und Lokalisieren von Schienen S in den 2D-Bilddaten auf. Teil der Hinderniserkennungsein richtung 70 ist auch eine Tiefendatenermittlungseinheit 74 zum Ermitteln von Tiefendaten T in den 2D-Bilddaten 2D-BD auf Basis der 3D-Bilddaten 3D-BD. Die Hinderniserkennungseinrich tung 70 umfasst auch eine Zuordnungseinheit 75 zum Aufteilen der 2D-Bilddaten 2D-BD in linienartige Bildsegmente BS mit jeweils einem Schienenabschnitt mit einer konstanten Tiefe. Die Hinderniserkennungseinrichtung 70 weist auch eine Ver gleichseinheit 76 auf, welche dazu eingerichtet ist, den Tie fenwert T(P) eines Pixels P eines linienartigen Bildsegments BS außerhalb der Schienen S mit dem jeweiligen Tiefenwert T(S) der Schienen S zu vergleichen. Dabei wird ein Differenzwert DT der Tiefenwerte ermittelt und mit einem Schwellwert SW verglichen.
Teil der Hinderniserkennungseinrichtung 70 ist auch eine De tektionseinheit 77. Die Detektionseinheit 77 detektiert, ob ein Pixel P Teil eines die Geländeebene überragenden Objekts 0 ist. Diese Detektion erfolgt in Abhängigkeit davon, ob die Differenz DT der Tiefenwerte den vorbestimmten Schwellwert SW überschreitet. Wird detektiert, dass der Pixel P Teil eines Objekts 0 ist, so wird von einer Hindernisermittlungseinheit 78, die ebenfalls Teil der Hinderniserkennungseinrichtung 70 ist, ermittelt, ob das Objekt 0 ein potenzielles Kollisions hindernis KH darstellt. Diese Ermittlung erfolgt in Abhängig keit davon, ob dem Objekt 0 Eigenschaften eines Kollisions hindernisses KH zuzuordnen sind. Diese Eigenschaften können zum Beispiel dessen Position in einem Sicherheitsbereich SB, sein oder dessen Bewegung und Bewegungsrichtung betreffen.
Für die Ermittlung der Bewegung des Objekts 0 wird zum Bei spiel eine Nachverfolgung der Trajektorie des detektierten Objekts 0 durchgeführt.
In FIG 8 ist eine schematische Darstellung 80 eines Schienen fahrzeugs 81 gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Das links in FIG 8 schematisch dargestellte Schienenfahrzeug 81 fährt von links nach rechts in Pfeilrich tung auf einem Gleiskörper GK und erfasst dreidimensionale Bilddaten 3D-BD von einem vor dem Schienenfahrzeug 81 liegen den Umgebungsbereich U. Hierzu umfasst das Schienenfahrzeug 81 in seinem Frontbereich eine Kameraeinheit 82. Die 3D-Bild- daten 3D-BD werden an eine Hinderniserkennungseinrichtung 70 übermittelt, die ebenfalls Teil des Schienenfahrzeugs 68 ist und den in FIG 7 veranschaulichten Aufbau hat. Die Hinder niserkennungseinrichtung 70 ermittelt nun auf Basis der 3D- Bilddaten 3D-BD, dass sich in der Umgebung, genauer gesagt auf der rechten Schiene des in FIG 8 gezeigten Gleiskörpers GK ein Kollisionshindernis KH befindet. Dieses Ergebnis KH wird an eine von dem Schienenfahrzeug 81 umfasste Steuerein richtung 83 übermittelt, welche in Antwort auf dieses Kollisionshindernis KH Steuerbefehle an einzelne Funktions einheiten des Schienenfahrzeugs 81 übermittelt. Beispiels- weise werden die Bremsen des Schienenfahrzeugs 81 angesteu ert, um das Schienenfahrzeug 81 vor dem Kollisionshindernis zum Stehen zu bringen.
Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen le diglich um bevorzugte Ausführungsbeispiele der Erfindung han delt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständig- keit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit" nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.

Claims

Patentansprüche
1. Verfahren zur Hinderniserkennung für ein Schienenfahrzeug (81), aufweisend die Schritte:
- Erfassen von 3D-Bilddaten (3D-BD) von einem Umgebungsbe reich (U) des Schienenfahrzeugs (81),
- Erzeugen von 2D-Bilddaten (2D-BD) auf Basis der 3D-Bildda- ten (3D-BD),
- Detektieren und Lokalisieren von Schienen (S) in den 2D- Bilddaten (2D-BD),
- Ermitteln von Tiefendaten (T) in den 2D-Bilddaten (2D-BD) auf Basis der 3D-Bilddaten (3D-BD),
- Aufteilen der 2D-Bilddaten (2D-BD) in linienartige Bildseg mente (BS) mit jeweils einem Schienenabschnitt mit einer konstanten Tiefe (T(S)),
- Vergleichen des Tiefenwerts (T(P)) eines Pixels (P) eines linienartigen Bildsegments (BS) außerhalb der Schienen (S) mit dem jeweiligen Tiefenwert (T(S)) der Schienen (S),
- Detektieren, ob der Pixel (P) Teil eines die Geländeebene überragenden Objekts (0) ist, in Abhängigkeit davon, ob die Differenz (DT) des Tiefenwertes (T(P)) des Pixels (P) zu dem Tiefenwert (T(S)) der Schienen (S) einen vorbestimmten Schwellwert (SW) überschreitet,
- Ermitteln, für den Fall, dass der Pixel (P) als Teil eines Objekts (0), welches die Geländeebene überragt, detektiert wurde, ob das Objekt (0) ein potentielles Kollisionshinder nis (KH) darstellt, in Abhängigkeit von einer Position und/oder detektierten Bewegung des Objekts (0).
2. Verfahren nach Anspruch 1, wobei die Lokalisierung der
Schienen (S) durch semantische Segmentierung auf der Methode
Deep Learning basierend durchgeführt wird.
3. Verfahren nach Anspruch 1 oder 2, wobei die 3D-Bilddaten (3D-BD) durch eine Stereokamera erfasst werden.
4. Verfahren nach einem der vorstehenden Ansprüche, wobei die 3D-Bilddaten (3D-BD) durch eine Mono-Kamera dynamisch erfasst werden.
5. Verfahren nach einem der vorstehenden Ansprüche, wobei die 3D-Bilddaten (3D-BD) RGB-Daten umfassen.
6. Verfahren nach einem der vorstehenden Ansprüche, wobei die Tiefendaten (T) durch ein Modell ermittelt werden, das auf maschinellem Lernen basiert.
7. Verfahren nach einem der vorstehenden Ansprüche, wobei po tenzielle Hindernisse (0, KH) durch Entfernung der Gelände ebene erfasst werden.
8. Verfahren nach einem der vorstehenden Ansprüche, wobei ein
Teilbereich der 2D-Bilddaten (2D-BD) als Sicherheitsbereich
(SB) festgelegt wird und nur der Sicherheitsbereich (SB) auf potenzielle Hindernisse (KH) hin untersucht wird.
9. Hinderniserkennungseinrichtung (70), aufweisend:
- eine Sensordatenschnittstelle (71) zum Empfangen von 3D- Bilddaten (3D-BD) von einem Umgebungsbereich (U) eines Schienenfahrzeugs (61),
- eine Projektionseinheit (72) zum Erzeugen von 2D-Bilddaten (2D-BD) auf Basis der 3D-Bilddaten (3D-BD),
- eine Lokalisierungseinheit (73) zum Detektieren und Lokali sieren von Schienen (S) in den 2D-Bilddaten (2D-BD),
- eine Tiefendatenermittlungseinheit (74) zum Ermitteln von Tiefendaten (T) in den 2D-Bilddaten (2D-BD) auf Basis der 3D-Bilddaten (3D-BD),
- eine Zuordnungseinheit (75) zum Aufteilen der 2D-Bilddaten (2D-BD) in linienartige Bildsegmente (BS) mit jeweils einem Schienenabschnitt mit einer konstanten Tiefe (T(S)),
- eine Vergleichseinheit (76) zum Vergleichen des Tiefenwerts (T(P)) eines Pixels (P) eines linienartigen Bildsegments (BS) außerhalb der Schienen (S) mit dem jeweiligen Tiefen wert (T(S)) der Schienen (S), - eine Detektionseinheit (77) zum Detektieren, ob ein Pixel (P) Teil eines die Geländeebene überragenden Objekts (0) ist, in Abhängigkeit davon, ob die Differenz (DT) des Tie fenwertes (T(P))) des Pixels (P) zu dem Tiefenwert (T(S)) der Schienen (S) einen vorbestimmten Schwellwert (SW) über schreitet,
- eine Hindernisermittlungseinheit (78) zum Ermitteln, für den Fall, dass der Pixel (P) als Teil eines Objekts (0), welches die Geländeebene überragt, detektiert wurde, ob das Objekt (0) ein potenzielles Kollisionshindernis (KH) dar stellt, in Abhängigkeit von einer Position und/oder detek- tierten Bewegung des Objekts (0).
10. Schienenfahrzeug (81), aufweisend
- eine Sensoreinheit (82) zum Erfassen von 3D-Bilddaten (3D- BD) von der Umgebung des Schienenfahrzeugs (81),
- eine Hinderniserkennungseinrichtung (70) nach Anspruch 9,
- eine Steuereinrichtung (83) zum Steuern eines Fahrverhal tens des Schienenfahrzeugs (81) in Abhängigkeit davon, ob von der Hinderniserkennungseinrichtung (70) ein Hindernis (KH) in der Umgebung des Schienenfahrzeugs (81) erkannt wurde.
11. Computerprogrammprodukt mit einem Computerprogramm, wel ches direkt in eine Speichereinheit einer Steuereinrichtung (83) eines Schienenfahrzeugs (81) ladbar ist, mit Programmab schnitten, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 8 auszuführen, wenn das Computerprogramm in der Steuereinrichtung (83) ausgeführt wird.
12. Computerlesbares Medium, auf welchem von einer Rech nereinheit ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 8 auszuführen, wenn die Programmabschnitte von der Rech nereinheit ausgeführt werden.
EP22721037.4A 2021-06-23 2022-04-06 Hindernisdetektion im gleisbereich auf basis von tiefendaten Withdrawn EP4294696A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021206475.2A DE102021206475A1 (de) 2021-06-23 2021-06-23 Hindernisdetektion im Gleisbereich auf Basis von Tiefendaten
PCT/EP2022/059110 WO2022268375A1 (de) 2021-06-23 2022-04-06 Hindernisdetektion im gleisbereich auf basis von tiefendaten

Publications (1)

Publication Number Publication Date
EP4294696A1 true EP4294696A1 (de) 2023-12-27

Family

ID=81580403

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22721037.4A Withdrawn EP4294696A1 (de) 2021-06-23 2022-04-06 Hindernisdetektion im gleisbereich auf basis von tiefendaten

Country Status (4)

Country Link
US (1) US20240326883A1 (de)
EP (1) EP4294696A1 (de)
DE (1) DE102021206475A1 (de)
WO (1) WO2022268375A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023203319A1 (de) * 2023-04-12 2024-10-17 Siemens Mobility GmbH Spurgebundene Hinderniserkennung
DE102023210109A1 (de) * 2023-10-16 2025-04-17 Siemens Mobility GmbH Hindernisdetektion im Gleisbereich durch Kombination von Streckenverlaufsdaten und Bilddaten
US12553735B2 (en) * 2024-01-22 2026-02-17 Disney Enterprises, Inc. Selective three-dimensional localization and navigation systems and methods

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014206473A1 (de) 2014-04-03 2015-10-08 Bombardier Transportation Gmbh Automatische Assistenz eines Fahrers eines fahrspurgebundenen Fahrzeugs, insbesondere eines Schienenfahrzeugs
DE102014222900A1 (de) 2014-11-10 2016-05-12 Bombardier Transportation Gmbh Betrieb eines Schienenfahrzeugs mit einem Bilderzeugungssystem
JP6307037B2 (ja) * 2015-03-31 2018-04-04 公益財団法人鉄道総合技術研究所 障害物検知方法およびその装置
JP7062407B2 (ja) * 2017-11-02 2022-05-06 株式会社東芝 支障物検知装置
JP6843274B2 (ja) 2018-02-08 2021-03-17 三菱電機株式会社 障害物検出装置および障害物検出方法
DE102020215754A1 (de) 2020-12-11 2022-06-15 Siemens Mobility GmbH Optische Schienenwegerkennung

Also Published As

Publication number Publication date
US20240326883A1 (en) 2024-10-03
WO2022268375A1 (de) 2022-12-29
DE102021206475A1 (de) 2022-12-29

Similar Documents

Publication Publication Date Title
DE102016114535B4 (de) Wegbestimmung für automatisierte Fahrzeuge
DE69322306T2 (de) Gegenstandserkennungssystem mittels Bildverarbeitung
DE102016107705A1 (de) Reaktive Pfadplanung für autonomes Fahren
EP4294696A1 (de) Hindernisdetektion im gleisbereich auf basis von tiefendaten
DE102019123483B4 (de) Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
DE102014206473A1 (de) Automatische Assistenz eines Fahrers eines fahrspurgebundenen Fahrzeugs, insbesondere eines Schienenfahrzeugs
DE102018215055A1 (de) Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug
DE102018133457B4 (de) Verfahren und System zum Bereitstellen von Umgebungsdaten
EP4198894B1 (de) Kamerabasierte fahrzeugkonturerfassung für fahrzeugbehandlungsanlagen
DE102020118589A1 (de) Verbesserter fahrzeugbetrieb
DE102020201939A1 (de) Verfahren und Vorrichtung zur Bewertung eines Bildklassifikators
DE102017123226A1 (de) Verfahren zum Bestimmen einer kritischen Höhe eines vorausliegenden Streckenabschnitts für ein Fahrzeug, das ein Zugfahrzeug und einen Anhänger umfasst
AT506964A4 (de) Verfahren und vorrichtung zur bilderkennung von bewegten objekten, wie etwa in förderanlagen
DE102023123012B3 (de) Verfahren und Vorrichtung zur schnellen Kollisionserkennung bei hochautomatisiertem Testen von Fahrvorgängen
DE102018100667A1 (de) Computersichtvorfusion und räumlich-zeitliche Verfolgung
DE102020005763A1 (de) Verfahren zur Steuerung eines Fahrzeugs
DE102022208187A1 (de) Hinderniserkennung im Gleisbereich durch Anomaliedetektion
WO2022042903A1 (de) Verfahren zur erkennung dreidimensionaler objekte, computerprogramm, maschinenlesbares speichermedium, steuergerät, fahrzeug und videoüberwachungssystem
DE102018109680A1 (de) Verfahren zum Unterscheiden von Fahrbahnmarkierungen und Bordsteinen durch parallele zweidimensionale und dreidimensionale Auswertung; Steuereinrichtung; Fahrassistenzsystem; sowie Computerprogrammprodukt
WO2023247356A1 (de) Verfahren und assistenzsystem zum unterstützen einer fahrzeugführung basierend auf einem fahrschlauch und einer begrenzungsschätzung und kraftfahrzeug
EP4381465A1 (de) Verfahren und kartenerzeugungseinrichtung für ein fahrzeug zur erzeugung einer hochauflösenden karte einer bodenfläche in einem fahrzeugumfeld
DE102004047122A1 (de) Verfahren zum Überwachen eines Fahrzeugs
EP4232341B1 (de) Selbstlernendes verfahren zur hinderniserkennung für ein schienenfahrzeug, hinderniserkennungseinrichtung, und schienenfahrzeug mit einer hinderniserkennungseinrichtung
EP4113392B1 (de) Verfahren zum prüfen der zuverlässigkeit einer ki-basierten objekt-detektion
WO2025082652A1 (de) Hindernisdetektion im gleisbereich durch kombination von streckenverlaufsdaten und bilddaten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230921

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20251101