EP4222039A1 - Optische schienenwegerkennung - Google Patents

Optische schienenwegerkennung

Info

Publication number
EP4222039A1
EP4222039A1 EP21769400.9A EP21769400A EP4222039A1 EP 4222039 A1 EP4222039 A1 EP 4222039A1 EP 21769400 A EP21769400 A EP 21769400A EP 4222039 A1 EP4222039 A1 EP 4222039A1
Authority
EP
European Patent Office
Prior art keywords
images
railway
objects
detection
rail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21769400.9A
Other languages
English (en)
French (fr)
Inventor
Benoît Bleuzé
Benjamin Hartmann
San-yu HUANG
Christoph REINBOTHE
Albi Sema
Irina Vidal Migallon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP4222039A1 publication Critical patent/EP4222039A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072—On-board train data handling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the invention relates to a method for creating a training data record for optical rail route detection with integrated obstacle detection.
  • the invention relates to a method for training an optical rail route detection with integrated obstacle detection.
  • the invention relates to a method for identifying a rail route with integrated obstacle detection by a rail vehicle and a computing unit for carrying out the method for identifying a rail route with integrated obstacle detection.
  • An optical track detection with integrated obstacle detection can be done by means of artificial neural networks, for which purpose a large number of digital images of different track sections with obstacles located on the track sections are required in order to successfully train the neural network.
  • the occurrence of obstacles on railways is a comparatively rare event, of which there are consequently only a small number of usable images.
  • the invention is based on the object of providing a method for creating a training data set for optical rail path detection with integrated obstacle detection, which circumvents these restrictions.
  • a further object of the invention is to provide a training method for optical rail path detection with integrated obstacle detection, a method for optical rail path detection with integrated obstacle detection and a computing unit for carrying out the method for optical rail path detection with integrated obstacle detection, each based on the training data set .
  • This object is achieved by a method for creating a training data record for optical rail track identification and a method for training optical rail track identification, a method for determining the position of a rail vehicle and a computing unit for carrying out the method for determining position.
  • Advantageous configurations are specified in the dependent claims.
  • a method for creating a training data set for an optical railway path detection with integrated obstacle detection comprising the following steps:
  • each first recorded image comprising a representation of a rail route
  • each second image recording comprising a representation of at least one object
  • an improved method for creating a training data set for an optical railway path detection with integrated obstacle detection can be provided, the training data set being based on images that each include at least one railway path and at least one object.
  • first recorded images of rail routes and second recorded images of objects are provided and combined with one another.
  • Third images are then generated from the combined first and second images of the railways and the objects, with each third image at least one railway and at least one Object includes .
  • a plurality of the third image recordings thus forms the training set for the optical rail route detection with integrated obstacle detection.
  • the method according to the invention thus allows a cost-effective generation of a training data set with railways and objects, for which no time-consuming and cost-intensive creation of images of real situations in which objects are arranged on railways have to be carried out.
  • a rail route is a rail route for rail vehicles and comprises at least two parallel rails.
  • the first image data includes images taken by an RGB camera of real rail routes.
  • an improved training data record for an optical rail path detection with integrated obstacle detection can be provided, which is based on images from RGB cameras of real rail paths.
  • An optical railway path detection with integrated obstacle detection that is trained on such a training data set can thus preferably be operated in a rail vehicle that is equipped with RGB cameras for object detection.
  • the simplest and most precise possible optical rail route detection with integrated obstacle detection can be provided.
  • Such a trained optical track detection with integrated obstacle detection can be operated exclusively on RGB images and does not require any further environment sensor data for track and obstacle detection.
  • the first image data includes images from a LiDAR sensor and/or a stereo camera of real rail routes.
  • a distance determination can be carried out by the correspondingly trained optical railway path detection with integrated obstacle detection.
  • Such a trained railway track detection with integrated obstacle detection can thus be operated on images from RGB cameras, LiDAR sensors and/or stereo cameras.
  • the second image data includes images from an RGB camera and/or a LiDAR sensor and/or a stereo camera of real objects and/or virtually generated images of real and/or virtual objects.
  • the technical advantage can be achieved that a wide range of uses of the method for creating a training data set for optical rail route detection with integrated obstacle detection can be provided.
  • the second recorded images can be recorded images from RGB cameras, from LiDAR sensors or from stereo cameras.
  • Such a trained optical track detection with integrated obstacle detection can thus be used based on RGB image data, LiDAR image data or stereo camera image data.
  • the objects can be generated virtually. In this way it can be achieved that the objects can be adapted accordingly to the later training method.
  • any objects can be generated for which there are no image recordings of real objects.
  • combining the first and second image data includes:
  • the technical advantage can be achieved that improved training of the optical rail path detection with integrated obstacle detection and in particular improved ob ect detection or Obstacle detection can be achieved.
  • the randomized arrangement of the objects of the second image recordings in the first image recordings makes it possible to achieve an improved training performance of the optical rail route recognition to be trained with integrated obstacle recognition.
  • a method for training an optical railway path detection with integrated obstacle detection comprising:
  • the technical advantage of improved training of rail detection with integrated obstacle detection can be provided, which includes the technical advantages of the method according to the invention for creating a training data record for optical rail path detection with integrated obstacle detection.
  • recognizing the railway tracks and the obstacles includes a segmentation of railway tracks and objects arranged on the railway tracks in the third th image recordings, wherein the segmentation of railway tracks includes a contrasting between railway tracks and image background, and wherein the segmentation of the obj ects includes a contrasting between objects arranged on the railway tracks and image background.
  • Each pixel of the third image recordings can be assigned either to the image background, a railway track or an object via the segmentation. This allows a precise railway or Object recognition can be achieved.
  • the segmentation includes a semantic segmentation and/or a semantic instance segmentation of the rail routes and objects.
  • the technical advantage can be achieved that precise detection of rail routes and objects is made possible.
  • a differentiation between railway tracks and objects arranged on the railway tracks can be achieved.
  • a differentiation between different objects can be achieved via the semantic instance segmentation.
  • the neural network is designed as a convolutional neural network, in particular as an encoder-decoder convolutional neural network, with the neural network being trained to recognize railway tracks and obstacles.
  • the technical advantage can be achieved that a precise and reliable optical railway path detection with integrated obstacle detection can be provided.
  • a convolutional neural network in particular designed as an encoder-decoder convolutional neural network, simultaneous detection of rail paths and obstacles can be provided. Due to the fact that only a neural network is used, the simplest possible optical rail route detection with integrated obstacle detection can be provided.
  • the optical railway path detection with integrated obstacle detection comprises two neural networks, the two neural networks each being designed as a convolutional neural network, and one neural network being trained to detect railway paths, and the respective other neural network is trained to recognize obstacles.
  • the technical advantage can be achieved that a simplified training process of the optical railway path detection with integrated obstacle detection is made possible.
  • the training process can be simplified by providing two neural networks, one of which is trained in each case for detecting a railway track and one for detecting an obstacle.
  • the optical rail path detection with integrated obstacle detection includes a distance module, with the method also including:
  • a method for rail route detection with integrated obstacle detection is provided by a rail vehicle with the following steps:
  • the technical advantage of improved rail detection with integrated obstacle detection includes the technical advantages of the inventive method for creating a training data set for optical rail path detection with integrated obstacle detection and the technical advantages of the inventive method for training optical rail path detection with integrated obstacle detection .
  • a computing unit which includes at least one artificial neural network and is set up to be trained according to the method for training according to the preceding embodiments and to execute the method of the preceding embodiment after the training has been carried out.
  • FIG. 1 shows a flow chart of a method for creating a
  • Training data set for an optical track detection with integrated obstacle detection according to one embodiment
  • FIG. 2 shows a graphic representation of the method for creating a training data set for optical rail path detection with integrated obstacle detection according to one embodiment
  • FIG. 3 shows a flow chart of a method for training an optical railway path detection with integrated obstacle detection according to one embodiment
  • FIG. 4 shows a graphic representation of the method for training an optical railway path detection with integrated obstacle detection according to one embodiment
  • FIG. 5 shows a flow chart of a method for optical railway path detection with integrated obstacle detection according to one embodiment
  • FIG. 6 shows a rail vehicle with a computing unit.
  • FIG. 1 shows a flow chart of a method 100 for creating a training data set for an optical rail route detection with integrated obstacle detection according to one embodiment.
  • first images 401 of rail routes 403 are provided.
  • the first recorded images 401 can be real images of an RGB camera, for example, which were recorded from real railway tracks 403 . Such a real image of a railway 403 is shown in FIG.
  • the first images 401 of tracks 403 include images from LiDAR sensors or stereo cameras.
  • corresponding recordings of real rail routes 403 can be created.
  • already existing data sets of rail routes 403 can be used for this purpose.
  • second image recordings 407 of objects 409 are provided.
  • the second recorded images 407 can include RGB recorded images of real objects 409 , LiDAR sensor recordings of real objects 409 or stereo camera recordings of real objects 409 .
  • the recordings can be generated explicitly to create the training data set. Alternatively, already existing datasets of recordings of railway tracks can be used. Alternatively or additionally, the second image recordings 407 can include virtually generated recordings of artificially generated virtual objects 409 .
  • the obj ects 409 can be any objects or represent people or animals. Alternatively, objects 409 can only be geometric shapes or represent three-dimensional geometric bodies.
  • step 105 the first and second recorded images 401 , 407 are combined.
  • the combining of the first and second recorded images 401 , 407 includes a method step 109 in which the objects 409 of the second recorded images 407 are arranged randomly in the first recorded images 401 .
  • the randomized arrangement of the objects 409 can in this case include a randomized positioning of the objects 409 in the first recorded images 401 by the objects 409 of the second recorded images 407 being arranged at any positions within the first recorded images 401 .
  • the randomized arrangement can also include a randomized orientation of the objects 409, in which the objects 409 are arranged in any orientation relative to the railway tracks 403 of the first images 401 are arranged.
  • the randomized arrangement can include the objects 409 of any size being integrated into the first recorded images 401 .
  • third images 411 are generated based on the combined first and second images 401 , 407 , each third image 411 comprising at least one railway 403 and at least one object 409 .
  • the third images 411 can in this case include a plurality of railway tracks 403 and a plurality of objects 409 .
  • the objects 409 can be arranged in any size, position and orientation relative to the railway tracks 403 in the third images 411 .
  • FIG. 2 shows a graphic representation of the method 100 for creating a training data set for an optical railway path detection with integrated obstacle detection according to one embodiment.
  • FIG. 2 shows a graphic representation of the creation of the training data set according to the method 100 in the embodiment in FIG.
  • first images 401 of rail routes 403 are provided. These can be real recordings, for example from RGB cameras, of real railway tracks 403 .
  • second image recordings 407 of objects 409 are provided, which can include both real objects 409 and synthetically generated virtual objects.
  • the first and second recorded images 401 , 407 are then combined and third recorded images 411 based on the first and second recorded images 401 , 407 are generated accordingly.
  • the objects 409 of the second recorded images 407 are arranged in a randomized manner in the first recorded images 401 .
  • the various objects 409 are arranged in any desired position, orientation and size relative to the tracks 403 of the third images 411.
  • a realistic arrangement of the objects 409 with a realistic positioning, orientation or Size in relation to the real railway tracks 403 is not absolutely necessary in this case.
  • a plurality of third image recordings 411 generated in this way finally forms the training data record for the rail route recognition to be trained with integrated object recognition.
  • FIG. 3 shows a flow chart of a method 200 for training an optical rail path detection with integrated obstacle detection according to one embodiment.
  • the method 200 for training the optical railway path detection with integrated obstacle detection in the embodiment in FIG. 3 is described with reference to the description of FIG.
  • third image recordings 411 with railway tracks 403 and objects 409 are read in by at least one neural network 501 .
  • the third recorded images 411 were generated using the method 100 for creating a training data set for an optical railway path detection with integrated obstacle detection according to the method steps described above.
  • a subsequent method step 203 rail routes 403 and/or obstacles 413 are recognized in the third image recordings 411 by the at least one neural network.
  • the neural network 501 only recognizes objects 409 that are positioned on the railway tracks 403 in the third image recordings 411 as obstacles 413 .
  • the neural network 501 can be trained to recognize objects 409 within the third image recordings 411 and to distinguish between objects 409 that are arranged on corresponding railway tracks 403 and objects 409 that are not arranged on railway tracks 403 .
  • the neural network 501 can be designed as a convolutional neural network and in particular as an encoder-decoder convolutional neural network.
  • the neural network 501 can be designed in particular to include both railway tracks 403 and objects 409 or to recognize obstacles 413 .
  • the optical rail path detection with integrated obstacle detection can include two neural networks 501, which are each designed as convolutional neural networks, for example.
  • one neural network 501 can be set up in each case to recognize rail routes 403, while the other neural network in each case can be set up to recognize objects 409 or to recognize obstacles 413 .
  • the optical railway path detection with integrated obstacle detection can also include a distance module that is set up to determine a distance of the objects 409 in the third image recordings 411 from a predetermined reference point.
  • the predetermined reference point can be set here, for example, by the positioning of the camera, which was used to record the first images 401, relative to the railway tracks 403 or Obj ects 409 be given.
  • the distance module recognizes distances of the objects 409 in the third image recordings 411 from the reference point P, for example the RGB camera.
  • the reference point P for example the RGB camera.
  • Obstacles 413 in method step 203 are learned by the neural network 501 recognition parameters and thus a training process of the neural network 501 is carried out.
  • corresponding distance determination parameters are learned, as a result of which the distance module is trained accordingly.
  • the training process described can be carried out according to supervised learning or unsupervised learning, for example.
  • the neural network 501 or the plurality of neural networks 501 are trained according to a backpropagation process that is customary in the prior art.
  • the detection of the railway tracks 403 and/or the obstacles 413 or of the objects 409 in method step 203 a segmentation of rail routes 403 and objects 409 or Include obstacles 413 in the third images 411 .
  • the segmentation can, for example, be a semantic segmentation or be a semantic instance segmentation.
  • it is determined for each pixel of the third recorded image 411 whether the respective pixel belongs to a railroad track 403 , to an obstacle 413 or to the image background of the third recorded image 411 .
  • the segmentation carried out in this way can thus be used to achieve a contrast between railroad tracks 403 , obstacles 413 and the image background of the third image recording 411 .
  • the segmentation of the third recorded images 411 can be carried out according to segmentation processes known from the prior art.
  • FIG. 4 shows a graphic representation of the method 200 for training an optical railway path detection with integrated obstacle detection according to one embodiment.
  • the training process according to the method 200 in the embodiment shown in FIG. 3 is illustrated in a graphical representation.
  • third image recordings 411 with railway tracks 403 and objects 409 are read in by the neural networks 501 .
  • recognition parameters are learned by the neural networks 501 for recognizing the railway tracks 403 and the objects 409 arranged on the railway tracks 403 by the neural networks 501 .
  • the neural networks 501 segment the tracks 403, obstacles 413 or of the image background of the third image recordings 411 is carried out.
  • FIG. 4 also shows a segmented image recording 412 in which two segmented railway tracks 404 and three segmented obstacles 414 each and a segmented image background 416 of the third image recording 411 shown in FIG. 4 are shown.
  • the segmentation shown here enables a distinction between segmented railroad 404 and segmented obstacles 414 , so that a clear distinction between railroad and objects 409 arranged on the railroad 403 and hereby a clear recognition of obstacles 413 given by objects 409 arranged on the railroad 403 the correspondingly trained neural networks 501 is made possible.
  • the objects 409 in the third image recording 411 which are not arranged on the railway 403 are not recognized as obstacles 413.
  • a detection of an arrangement of objects 409 on railways 403 can be determined here, for example, by overlapping the outline of an object 409 with the outline of a railway 403 .
  • perspective criteria can be taken into account through which both for example a vertical distance of the object 409 to the railroad track 403 can be determined.
  • objects 409 such as vegetation covering the railway 403 or birds flying over the railway 403, which are arranged on the railway 403 solely because of the perspective representation in the image recording, can be identified as non-hazardous objects and thus as obstacles 413 be excluded. This enables a more precise classification of obstacles 413 and the avoidance of false positive recognition results in which objects 409 are classified as obstacles 413 but are not arranged on the railway 403 and thus do not actually represent an obstacle to the rail vehicle.
  • FIG. 5 shows a flow chart of a method 300 for optical rail path detection with integrated obstacle detection according to one embodiment.
  • Obstacles 413 by a rail vehicle 400 are first read in a method step 301 images of a camera 405 of the rail vehicle 400 by the optical track detection with integrated obstacle detection and in particular the neural network 501 of the optical track detection with integrated obstacle detection.
  • the camera 405 can be an RGB camera, for example, which is arranged in a front area 406 of the rail vehicle 400 and can see an area in front of the rail vehicle 400 in the direction of travel, in which at least the railway 403 , on which the rail vehicle 400 is moving, can be seen is .
  • optical track detection with integrated obstacle detection and in particular the corresponding neural network 501 were trained according to the method 200, a corresponding training data record, which was generated according to the method 100 , was used for this purpose.
  • an optical rail route detection with integrated obstacle detection is carried out.
  • a method step 305 the railway 403 on which the rail vehicle 400 is moving is recognized and, if necessary, an object 409 arranged on the railway 403 is identified as an obstacle 413 .
  • the recognition of the railway line 403 or . of the obstacle 413 by the optical railway path detection with integrated obstacle detection and in particular by the correspondingly trained neural network 501 can be carried out according to the explanations for the method 200 by a corresponding segmentation of the image recordings.
  • a corresponding warning signal can be emitted or a braking process of the rail vehicle 400 can be initiated.
  • FIG. 6 shows a rail vehicle with a computing unit.
  • FIG. 6 shows a rail vehicle 400 which is arranged on a rail track 403 .
  • the rail vehicle 400 includes a computing unit 500 on which a neural network 501 is set up, which is trained in accordance with the method 200 for rail route detection and obstacle detection.
  • the processing unit 500 can be designed as a software module or as a hardware component with a corresponding software module.
  • the rail vehicle 400 comprises a camera 405 which can see an area which can see at least the rail track 403 on which the rail vehicle 400 is being moved.
  • the camera 405 can be an RGB camera, for example, and is connected to the processing unit 500 in terms of data technology.
  • the neural network 501 can use the method 300 to calculate a railway or Obstacle detection can be carried out.
  • FIG. 6 also shows an object 409 which is arranged on the track 403 adjacent to the front area 406 of the rail vehicle 400 and can be viewed by the camera 405 .
  • the rail vehicle 400 can also have a LiDAR sensor or include an additional stereo camera, which can also be arranged in the front area 406 and are not shown in FIG. Based on the data from the LiDAR sensor or The stereo camera can be used to determine the distance between the object 409 and the rail vehicle 400 using the optical rail path detection with integrated obstacle detection.
  • a distance module (not shown in FIG. 6) for the optical railway path detection with integrated obstacle detection can also be set up on the computing unit 500, which is designed to carry out a distance determination of the object 409 relative to the rail vehicle 400 based on the images recorded by the camera 405.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

Verfahren (100) zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung, mit den folgenden Schritten: - Bereitstellen (101) von ersten Bildaufnahmen (401) von Schienenwegen (403) für Schienenfahrzeuge (400), wobei jede erste Bildaufnahme (401) eine Darstellung eines Schienenwegs (403) umfasst; - Bereitstellen (103) von zweiten Bildaufnahmen (407) von Objekten (409), wobei jede zweite Bildaufnahme (407) eine Darstellung wenigstens eines Objekts (409) umfasst; - Kombinieren (105) der ersten und zweiten Bildaufnahmen (401, 407); und - Generieren (107) von dritten Bildaufnahmen (411) aus den kombinierten ersten und zweiten Bildaufnahmen (401, 407), wobei jede dritte Bildaufnahme (411) eine Darstellung eines Schienenwegs (403) mit wenigstens einem Objekt (409) umfasst, und wobei eine Mehrzahl der dritten Bildaufnahmen (411) den Trainings-Datensatz für die optische Schienenwegerkennung mit integrierter Hinderniserkennung bilden.

Description

Beschreibung
Optische Schienenwegerkennung
Die Erfindung betri f ft ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung . Außerdem betri f ft die Erfindung ein Verfahren zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung . Ferner betri f ft die Erfindung ein Verfahren zur Schienenwegerkennung mit integrierter Hinderniserkennung durch ein Schienenfahrzeug und eine Recheneinheit zur Durchführung des Verfahrens zur Schienenwegerkennung mit integrierter Hinderniserkennung .
Eine optische Schienenwegerkennung mit integrierter Hinderniserkennung kann mittels künstlicher neuronale Netzwerke erfolgen, wobei hierzu eine große Anzahl von digitalen Bildern von verschiedenen Schienenstrecken mit auf den Schienenstrecken befindlichen Hindernissen benötigt wird, um das neuronale Netzwerk erfolgreich zu trainieren . Das Auftreten von Hindernissen auf Schienenwegen ist j edoch ein vergleichsweise seltenes Ereignis , von dem es folglich nur eine geringe Anzahl verwendbarer Bildaufnahmen gibt . Derzeit bestehen somit keine Datensätze von Bildaufnahmen von Schienenwegen mit auf den Schienenwegen angeordneten Obj ekten, die ein Training von neuronalen Netzen zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung ermöglichen würden .
Der Erfindung liegt die Aufgabe zugrunde , ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitzustellen, das diese Beschränkungen umgeht . Eine weitere Aufgabe der Erfindung ist es , ein Trainingsverfahren für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung, ein Verfahren zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung sowie eine Recheneinheit zur Durchführung des Verfahrens zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung bereitzustellen, die j eweils auf dem Trainings-Datensatz basieren . Diese Aufgabe wird durch ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung sowie ein Verfahren zum Trainieren einer optischen Schienenwegerkennung, ein Verfahren zur Positionsbestimmung eines Schienenfahrzeugs und eine Recheneinheit zur Durchführung des Verfahrens zur Positionsbestimmung gelöst . Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben .
Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt , wobei das Verfahren die folgenden Schritte umfasst :
- Bereitstellen von ersten Bildaufnahmen von Schienenwegen für Schienenfahrzeuge , wobei j ede erste Bildaufnahme eine Darstellung eines Schienenwegs umfasst ;
- Bereitstellen von zweiten Bildaufnahmen von Obj ekten, wobei j ede zweite Bildaufnahme eine Darstellung wenigstens eines Obj ekts umfasst ;
- Kombinieren der ersten und zweiten Bildaufnahmen; und
- Generieren von dritten Bildaufnahmen aus den kombinierten ersten und zweiten Bildaufnahmen, wobei j ede dritte Bildaufnahme eine Darstellung eines Schienenwegs mit wenigstens einem Obj ekt umfasst , und wobei eine Mehrzahl der dritten Bildaufnahmen den Trainings-Datensatz für die optische Schienenwegerkennung mit integrierter Hinderniserkennung bilden .
Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann, wobei der Trainingsdatensatz auf Bildaufnahmen basiert , die j eweils wenigstens einen Schienenweg und wenigstens ein Obj ekt umfassen . Hierzu werden erste Bildaufnahmen von Schienenwegen und zweite Bildaufnahmen von Obj ekten bereitgestellt und miteinander kombiniert . Aus den kombinierten ersten und zweiten Bildaufnahmen der Schienenwege und der Obj ekte werden darauffolgend dritte Bildaufnahmen generiert , wobei j ede dritte Bildaufnahme wenigstens einen Schienenweg und wenigstens ein Obj ekt umfasst . Eine Mehrzahl der dritten Bildaufnahmen bildet damit den Trainingssatz für die optische Schienenwegerkennung mit integrierter Hinderniserkennung .
Das erfindungsgemäße Verfahren ermöglicht somit eine kostengünstige Generierung eines Trainingsdatensatzes mit Schienenwegen und Obj ekten, für den kein zeitintensives und kostenintensives Erstellen von Bildaufnahmen realer Situationen, in denen Obj ekte auf Schienenwegen angeordnet sind, durchgeführt werden müssen .
Ein Schienenweg ist im Sinne der Anmeldung ein Schienenverlauf für Schienenfahrzeuge und umfasst wenigstens zwei parallel geführte Schienen .
Nach einer Aus führungs form umfassen die ersten Bilddaten Bildaufnahmen einer RGB-Kamera von realen Schienenwegen .
Hierdurch kann der technische Vorteil erreicht werden, dass ein verbesserter Trainingsdatensatz für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann, der auf Bildaufnahmen von RGB-Kameras von realen Schienenwegen basiert . Eine auf einem derartigen Trainingsdatensatz trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung kann somit vorzugsweise in einem Schienenfahrzeug, das mit RGB-Kameras zur Obj ekterkennung ausgestattet ist , betrieben werden . Hierdurch kann eine möglichst einfache und präzise optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden . Eine derartig trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung kann auf ausschließlich RGB- Bildaufnahmen betrieben werden und benötigt keine weiteren Umfeldsensordaten zur Schienenweg- und Hinderniserkennung .
Nach einer Aus führungs form umfassen die ersten Bilddaten Bildaufnahmen eines LiDAR-Sensors und/oder einer Stereokamera von realen Schienenwegen . Hierdurch kann der technische Vorteil erreicht werden, dass durch die Verwendung von LiDAR-Sensoren und/oder Stereokameras basierend auf den ersten Bildaufnahmen durch die entsprechend trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung eine Entfernungsbestimmung durchgeführt werden kann . Eine derart trainierte Schienenwegerkennung mit integrierter Hinderniserkennung kann somit auf Bildaufnahmen von RGB-Kameras , LiDAR-Sensoren und/oder Stereokameras betrieben werden .
Nach einer Aus führungs form umfassen die zweiten Bilddaten Bildaufnahmen einer RGB-Kamera und/oder eines LiDAR-Sensors und/oder einer Stereokamera von realen Obj ekten und/oder virtuell generierte Bildaufnahmen von realen und/oder virtuellen Ob ekten .
Hierdurch kann der technische Vorteil erreicht werden, dass ein breiter Einsatzbereich des Verfahrens zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann . Die zweiten Bildaufnahmen können hierbei Bildaufnahmen von RGB-Kameras , von LiDAR-Sensoren oder von Stereokameras sein . Eine derart trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung kann somit basierend auf RGB-Bilddaten, LiDAR-Bilddaten oder Stereokamerabilddaten eingesetzt werden . Darüber hinaus oder alternativ können die Obj ekte virtuell generiert werden . Hierdurch kann erreicht werden, dass die Obj ekte dem späteren Trainingsverfahren entsprechend angepasst werden können . Darüber hinaus können beliebige Obj ekte generiert werden, für die keine Bildaufnahmen realer Obj ekte bestehen .
Nach einer Aus führungs form umfasst das Kombinieren der ersten und zweiten Bilddaten :
- randomisiertes Anordnen eines Obj ekts der zweiten Bildaufnahmen in der ersten Bildaufnahme des Schienenwegs , wobei das randomisierte Anordnen eine randomisierte Positionierung des Obj ekts relativ zum Schienenweg der ersten Bildaufnahme und/oder eine randomisierte Orientierung des Obj ekts relativ zum Schienenweg der ersten Bildaufnahme und/oder eine rando- misierte Größenzuordnung des Obj ekts relativ zum Schienenweg der ersten Bildaufnahme umfasst .
Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Training der optischen Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere eine verbesserte Ob ekterkennung bzw . Hinderniserkennung erreicht werden kann . Durch das randomisierte Anordnen der Obj ekte der zweiten Bildaufnahmen in den ersten Bildaufnahmen kann eine verbesserte Trainingsleistung der zu trainierenden optischen Schienenwegerkennung mit integrierter Hinderniserkennung erreicht werden .
Nach einem zweiten Aspekt der Erfindung wird ein Verfahren zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt , wobei das Verfahren umfasst :
- Einlesen durch wenigstens ein neuronales Netz von dritten Bildaufnahmen mit Schienenwegen und Obj ekten, die mit dem Verfahren der voranstehenden Aus führungs formen erzeugt wurden;
- Erkennen durch das wenigstens eine neuronale Netz von Schienenwegen und/oder Hindernissen in den dritten Bildaufnahmen, wobei durch das neuronale Netz ausschließlich auf den Schienenwegen positionierte Obj ekte als Hindernisse erkannt werden, und wobei dabei durch das wenigstens eine neuronale Netz Erkennungs-Parameter erlernt werden .
Hierdurch kann der technische Vorteil eines verbesserten Trainings der Schienenerkennung mit integrierter Hinderniserkennung bereitgestellt werden, das die technischen Vorteile des erfindungsgemäßen Verfahrens zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung umfasst .
Nach einer Aus führungs form umfasst das Erkennen der Schienenwege und der Hindernisse eine Segmentierung von Schienenwegen und auf den Schienenwegen angeordneten Obj ekten in den drit- ten Bildaufnahmen, wobei die Segmentierung von Schienenwegen eine Kontrastierung zwischen Schienenwegen und Bildhintergrund umfasst , und wobei die Segmentierung der Obj ekte eine Kontrastierung zwischen auf den Schienenwegen angeordneten Obj ekten und Bildhintergrund umfasst .
Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichst präzise Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann . Über die Segmentierung kann j edes Pixel der dritten Bildaufnahmen entweder dem Bildhintergrund, einem Schienenweg oder einem Obj ekt zugeordnet werden . Hierdurch kann eine präzise Schienenweg- bzw . Obj ekterkennung erreicht werden .
Nach einer Aus führungs form umfasst die Segmentierung eine semantische Segmentierung und/oder eine semantische Instanzsegmentierung der Schienenwege und Obj ekte .
Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Erkennung von Schienenwegen und Obj ekten ermöglicht ist . Über die semantische Segmentierung bzw . die semantische Instanzsegmentierung kann eine Unterscheidung zwischen Schienenwegen und auf den Schienenwegen angeordneten Obj ekten erreicht werden .
Über die semantische Instanzsegmentierung kann darüber hinaus eine Unterscheidung zwischen verschiedenen Obj ekten erreicht werden .
Nach einer Aus führungs form ist das neuronale Netz als ein Convolutional Neural Network, insbesondere als ein Encoder- Decoder Convolutional Neural Network, ausgebildet , wobei das neuronale Netz trainiert ist , Schienenwege und Hindernisse zu erkennen .
Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise und zuverlässige optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann . Über das als Convolutional Neural Network, insbesondere als ein Encoder-Decoder Convolutional Neural Network ausgebildet , kann eine simultane Erkennung von Schienenwegen und Hindernissen bereitgestellt werden . Dadurch dass ausschließlich ein neuronales Netz verwendet wird, kann eine möglichst einfache optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden .
Nach einer Aus führungs form umfasst die optische Schienenwegerkennung mit integrierter Hinderniserkennung zwei neuronale Netze , wobei die zwei neuronalen Netze j eweils als ein Convolutional Neural Network ausgebildet sind, und wobei ein neuronales Netz trainiert wird, Schienenwege zu erkennen, und wobei das j eweils andere neuronale Netz trainiert wird, Hindernisse zu erkennen .
Hierdurch kann der technische Vorteil erreicht werden, dass ein vereinfachter Trainingsprozess der optischen Schienenwegerkennung mit integrierter Hinderniserkennung ermöglicht ist . Durch die Bereitstellung von zwei neuronalen Netzen, von denen j eweils eines auf eine Schienenwegerkennung und eines auf eine Hinderniserkennung trainiert wird, kann der Trainingsprozess vereinfacht werden .
Nach einer Aus führungs form umfasst die optische Schienenwegerkennung mit integrierter Hinderniserkennung ein Entfernungsmodul , wobei das Verfahren ferner umfasst :
- Bestimmen durch das Entfernungsmodul von Entfernung von Obj ekten zu einem Referenzpunkt in den dritten Bildaufnahmen, wobei dabei durch das Entfernungsmodul Entfernungsbestimmungs-Parameter erlernt werden .
Hierdurch kann der technische Vorteil erreicht werden, dass eine verbesserte optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann, mittels welcher eine Entfernungsbestimmung von Obj ekten zu einem Referenzpunkt ermöglicht ist . Der Referenzpunkt kann über die Positionierung des Schienenfahrzeugs auf dem Schienenweg gegeben sein . Nach einem dritten Aspekt der Erfindung wird ein Verfahren zur Schienenwegerkennung mit integrierter Hinderniserkennung durch ein Schienenfahrzeug mit den folgenden Schritten be- reitgestellt :
- Einlesen einer Bildaufnahme einer Kamera, wobei die Kamera in einem Frontbereich des Schienenfahrzeugs angeordnet ist ;
- Durchführen einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung, welche nach dem Verfahren nach einem der voranstehenden Aus führungs formen trainiert wurde ;
- Erkennen eines Schienenwegs , auf dem sich das Schienenfahrzeug bewegt , und eines auf dem Schienenweg angeordneten Obj ekts als ein Hindernis mittels der optischen Schienenerkennung anhand der Erkennungs-Parameter .
Hierdurch kann der technische Vorteil einer verbesserten Schienenerkennung mit integrierter Hinderniserkennung bereitgestellt werden, die die technischen Vorteile des erfindungsgemäßen Verfahrens zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung und die technischen Vorteile des erfindungsgemäßen Verfahrens zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung umfasst .
Nach einem vierten Aspekt wird eine Recheneinheit bereitgestellt , die wenigstens ein künstliches neuronales Netz umfasst und eingerichtet ist , nach dem Verfahren zum Trainieren nach den voranstehenden Aus führungs formen trainiert zu werden und nach der Durchführung des Trainings das Verfahren der voranstehenden Aus führungs form aus zuführen .
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise , wie diese erreicht werden, werden klarer und deutlicher verständlich durch die Erläuterungen der folgenden, stark vereinfachten, schematischen Darstellungen bevorzugter Aus führungsbeispiele . Hierbei zeigen in j eweils schematisierter Darstellung
FIG 1 ein Ablauf diagramm eines Verfahrens zum Erstellen eines
Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungsform;
FIG 2 eine graphische Darstellung des Verfahrens zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form;
FIG 3 ein Ablauf diagramm eines Verfahrens zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form;
FIG 4 eine graphische Darstellung des Verfahrens zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form;
FIG 5 ein Ablauf diagramm eines Verfahrens zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form; und
FIG 6 ein Schienenfahrzeug mit einer Recheneinheit .
FIG 1 zeigt ein Ablauf diagramm eines Verfahrens 100 zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form .
Die Beschreibung des Verfahrens 100 zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß der Aus führungs form in FIG 1 wird mit Bezug auf FIG 2 vorgenommen .
So werden in einem ersten Verfahrensschritt 101 erste Bildaufnahmen 401 von Schienenwegen 403 bereitgestellt . Die ersten Bildaufnahmen 401 können beispielsweise reale Bilder einer RGB-Kamera sein, die von realen Schienenwegen 403 aufgenommen wurden . Ein derartiges reales Bild eines Schienenwegs 403 ist in FIG 2 dargestellt . Alternativ hierzu können die ersten Bildaufnahmen 401 von Schienenwegen 403 Bildaufnahmen von LiDAR-Sensoren oder Stereokameras umfassen . Zum Bereitstellen der ersten Bildaufnahmen 401 können entsprechende Aufnahmen von realen Schienenwegen 403 erstellt werden . Alternativ kann hierzu auf bereits bestehende Datensätze von Schienenwegen 403 zurückgegri f fen werden .
In einem folgenden Verfahrensschritt 103 werden zweite Bildaufnahmen 407 von Obj ekten 409 bereitgestellt . Die zweiten Bildaufnahmen 407 können RGB-Bildaufnahmen von realen Obj ekten 409 , LiDAR-Sensoraufnahmen von realen Obj ekten 409 oder Stereokameraaufnahmen von realen Obj ekten 409 umfassen . Due Aufnahmen können expli zit zur Erstellung des Trainingsdatensatzes generiert sein . Alternativ können bereits bestehenden Datensätze von Aufnahmen von Schienenwegen verwendet werden . Alternativ oder zusätzlich können die zweiten Bildaufnahmen 407 virtuell generierte Aufnahmen von künstlich generierten virtuellen Obj ekten 409 umfassen .
Die Obj ekte 409 können beliebige Gegenstände bzw . Personen oder Tiere darstellen . Alternativ können Obj ekte 409 lediglich geometrische Formen bzw . dreidimensionale geometrische Körper darstellen .
In einem weiteren Verfahrensschritt 105 werden die ersten und zweiten Bildaufnahmen 401 , 407 kombiniert .
In der gezeigten Aus führungs form umfasst das Kombinieren der ersten und zweiten Bildaufnahmen 401 , 407 einen Verfahrensschritt 109 , in dem die Obj ekte 409 der zweiten Bildaufnahmen 407 randomisiert in den ersten Bildaufnahmen 401 angeordnet werden . Das randomisierte Anordnen der Obj ekte 409 kann hierbei ein randomisiertes Positionieren der Obj ekte 409 in den ersten Bildaufnahmen 401 umfassen, indem die Obj ekte 409 der zweiten Bildaufnahmen 407 an beliebigen Positionen innerhalb der ersten Bildaufnahmen 401 angeordnet werden . Das randomisierte Anordnen kann darüber hinaus ein randomisiertes Orientieren der Obj ekte 409 umfassen, bei dem die Obj ekte 409 in einer beliebigen Ausrichtung relativ zu den Schienenwegen 403 der ersten Bildaufnahmen 401 angeordnet werden . Darüber hinaus kann das randomisierte Anordnen umfassen, dass die Obj ekte 409 mit beliebiger Größe in die ersten Bildaufnahmen 401 integriert werden .
Darauf folgend werden in einem Verfahrensschritt 107 basierend auf den kombinierten ersten und zweiten Bildaufnahmen 401 , 407 dritte Bildaufnahmen 411 generiert , wobei j ede dritte Bildaufnahme 411 wenigstens einen Schienenweg 403 und wenigstens ein Obj ekt 409 umfasst .
Die dritten Bildaufnahmen 411 können hierbei eine Mehrzahl von Schienenwegen 403 und eine Mehrzahl von Obj ekten 409 umfassen . Die Obj ekte 409 können in beliebiger Größe , Positionierung und Orientierung relativ zu den Schienenwegen 403 in den dritten Bildaufnahmen 411 angeordnet sein .
FIG 2 zeigt eine graphische Darstellung des Verfahrens 100 zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form .
FIG 2 zeigt in graphischer Darstellung das Erstellen des Trainingsdatensatzes gemäß dem Verfahren 100 in der Aus führungs form in FIG 1 .
Zunächst werden erste Bildaufnahmen 401 von Schienenwegen 403 bereitgestellt . Diese können reale Aufnahmen, beispielsweise von RGB-Kameras , von realen Schienenwegen 403 sein .
Ferner werden zweite Bildaufnahmen 407 von Obj ekten 409 bereitgestellt , die sowohl reale Obj ekte 409 umfassen können als auch synthetisch generierte virtuelle Obj ekte .
Die ersten und zweiten Bildaufnahmen 401 , 407 werden darauffolgend kombiniert , und entsprechend auf den ersten und zweiten Bildaufnahmen 401 , 407 basierende dritte Bildaufnahmen 411 generiert . Zum Generieren der dritten Bildaufnahmen 411 werden die Obj ekte 409 der zweiten Bildaufnahmen 407 in randomisierter Weise in den ersten Bildaufnahmen 401 angeordnet . Wie in FIG 2 dargestellt , werden hierzu die verschiedenen Obj ekte 409 in beliebiger Positionierung, Orientierung und Größe relativ zu den Schienenwegen 403 der dritten Bildaufnahmen 411 angeordnet . Eine realistische Anordnung der Obj ekte 409 mit einer realistischen Positionierung, Orientierung bzw . Größe in Relation zu den realen Schienenwegen 403 ist hierbei nicht zwingend erforderlich .
Eine Mehrzahl derart generierter dritten Bildaufnahmen 411 bildet hierbei abschließend den Trainingsdatensatz für die zu trainierende Schienenwegerkennung mit integrierter Obj ekterkennung .
FIG 3 zeigt ein Ablauf diagramm eines Verfahrens 200 zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form .
Das Verfahren 200 zum Trainieren der optischen Schienenwegerkennung mit integrierter Hinderniserkennung in der Aus führungs form in FIG 3 wird mit Bezug auf die Beschreibung zur FIG 4 beschrieben .
In einem ersten Verfahrensschritt 201 werden dritte Bildaufnahmen 411 mit Schienenwegen 403 und Obj ekten 409 durch wenigstens ein neuronales Netz 501 eingelesen . Die dritten Bildaufnahmen 411 wurden hierbei mit dem Verfahren 100 zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß den oben beschriebenen Verfahrensschritten erzeugt .
Darauf folgend werden in einem folgenden Verfahrensschritt 203 durch das wenigstens eine neuronale Netz Schienenwege 403 und/oder Hindernisse 413 in den dritten Bildaufnahmen 411 erkannt . Das neuronale Netz 501 erkennt hierbei ausschließlich Obj ekte 409 , die in den dritten Bildaufnahmen 411 auf den Schienenwegen 403 positioniert sind, als Hindernisse 413 . Obj ekte 409 , die in den dritten Bildaufnahmen 411 einen entsprechenden Schienenweg 403 nicht überdecken bzw . kreuzen, werden durch das neuronale Netz 501 hingegen nicht als Hindernisse erkannt .
Das neuronale Netz 501 kann hierbei darauf trainiert sein, Obj ekte 409 innerhalb der dritten Bildaufnahmen 411 zu erkennen und zwischen Obj ekten 409 , die auf entsprechenden Schienenwegen 403 angeordnet sind und Obj ekten 409 , die nicht auf Schienenwegen 403 angeordnet sind, zu unterscheiden .
Gemäß einer Aus führungs form kann das neuronale Netz 501 als ein Convolutional Neural Network und insbesondere als ein Encoder-Decoder Convolutional Neural Network ausgebildet sein . Das neuronale Netz 501 kann insbesondere ausgebildet sein, sowohl Schienenwege 403 als auch Obj ekte 409 bzw . Hindernisse 413 zu erkennen .
Alternativ kann die optische Schienenwegerkennung mit integrierter Hinderniserkennung zwei neuronale Netze 501 umfassen, die beispielsweise j eweils als Convolutional Neural Networks ausgebildet sind . Hierbei kann j eweils ein neuronales Netz 501 eingerichtet sein, Schienenwege 403 zu erkennen, während das j eweils andere neuronale Netz eingerichtet sein kann, Obj ekte 409 bzw . Hindernisse 413 zu erkennen .
Gemäß einer Aus führungs form kann die optische Schienenwegerkennung mit integrierter Hinderniserkennung ferner ein Entfernungsmodul umfassen, das eingerichtet ist , eine Entfernung der Obj ekte 409 in den dritten Bildaufnahmen 411 zu einem vorbestimmten Referenzpunkt zu bestimmen . Der vorbestimmte Referenzpunkt kann hier beispielsweise durch die Positionierung der Kamera, durch die die ersten Bildaufnahmen 401 aufgenommen wurden, relativ zu den Schienenwegen 403 bzw . Obj ekten 409 gegeben sein .
In einem weiteren Verfahrensschritt 205 werden entsprechend durch das Entfernungsmodul Entfernungen der Obj ekte 409 in den dritten Bildaufnahmen 411 zum Referenzpunkt P, beispielsweise der RGB-Kamera, erkannt . Durch das Erkennen der Schienenwege 403 bzw . Hindernisse 413 im Verfahrensschritt 203 werden durch das neuronale Netz 501 Erkennungs-Parameter erlernt und damit ein Trainingsprozess des neuronalen Netzes 501 durchgeführt . Analog wird durch das Bestimmen der Entfernungen der Obj ekte 409 durch das Entfernungsmodul im Verfahrensschritt 205 entsprechende Entfernungsbestimmungs-Parameter erlernt , wodurch das Entfernungsmodul entsprechend trainiert wird .
Der beschriebene Trainingsprozess kann beispielsweise gemäß einem Supervised Learning oder Unsupervised Learning durchgeführt werden . Insbesondere kann das neuronale Netz 501 bzw . die Mehrzahl von neuronalen Netzen 501 gemäß eines im Stand der Technik üblichen Backpropagation Prozesses trainiert werden .
Gemäß einer Aus führungs form kann das Erkennen der Schienenwege 403 und/oder der Hindernisse 413 bzw . der Obj ekte 409 im Verfahrensschritt 203 eine Segmentierung von Schienenwegen 403 und Obj ekten 409 bzw . Hindernissen 413 in den dritten Bildaufnahmen 411 umfassen . Die Segmentierung kann hierbei beispielsweise eine semantische Segmentierung bzw . eine semantische Instanzsegmentierung sein . Zur Segmentierung wird für j edes Pixel der dritten Bildaufnahme 411 bestimmt , ob das j eweilige Pixel zu einem Schienenweg 403 , zu einem Hindernis 413 oder zum Bildhintergrund der dritten Bildaufnahme 411 gehört . Durch die derart durchgeführte Segmentierung kann somit eine Kontrastierung zwischen Schienenwegen 403 , Hindernissen 413 und dem Bildhintergrund der dritten Bildaufnahme 411 erreicht werden . Die Segmentierung der dritten Bildaufnahmen 411 kann hierbei gemäß aus dem Stand der Technik bekannten Segmentierungsprozessen vorgenommen werden .
FIG 4 zeigt eine graphische Darstellung des Verfahrens 200 zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form . In FIG 4 ist in graphischer Darstellung der Trainingsprozess gemäß dem Verfahren 200 in der in FIG 3 dargestellten Aus führungs form illustriert .
Zum Trainieren des neuronalen Netzes 501 bzw . der neuronalen Netze 501 werden dritte Bildaufnahmen 411 mit Schienenwegen 403 und Obj ekten 409 durch die neuronalen Netze 501 eingelesen .
Während des Trainingsprozesses werden Erkennungs-Parameter durch die neuronalen Netze 501 zur Erkennung der Schienenwege 403 und der auf den Schienenwegen 403 angeordneten Obj ekte 409 durch die neuronalen Netze 501 erlernt . Im Zuge des Trainingsprozesses wird durch die neuronalen Netze 501 eine Segmentierung der Schienenwege 403 , Hindernisse 413 bzw . des Bildhintergrunds der dritten Bildaufnahmen 411 durchgeführt .
In FIG 4 ist ferner eine segmentierte Bildaufnahme 412 dargestellt , in der zwei segmentierte Schienenwege 404 und j eweils drei segmentierte Hindernisse 414 und ein segmentierter Bildhintergrund 416 der in FIG 4 gezeigten dritten Bildaufnahme 411 dargestellt sind . Die hier dargestellte Segmentierung ermöglicht eine Unterscheidung zwischen segmentiertem Schienenweg 404 und segmentierten Hindernissen 414 , sodass eine eindeutige Unterscheidung zwischen Schienenweg und auf dem Schienenweg 403 angeordneten Obj ekten 409 und hiermit eine eindeutige Erkennung von durch auf den Schienenwegen 403 angeordneten Obj ekten 409 gegebenen Hindernissen 413 durch die entsprechend trainierten neuronale Netze 501 ermöglicht ist .
Wie in FIG 4 dargestellt , werden die Obj ekte 409 in der dritten Bildaufnahme 411 , die nicht auf dem Schienenweg 403 angeordnet sind, nicht als Hindernisse 413 erkannt .
Eine Erkennung einer Anordnung von Obj ekten 409 auf Schienenwegen 403 kann hierbei beispielsweise durch ein Überlappen des Umrisses eines Obj ekts 409 mit dem Umriss eines Schienenwegs 403 ermittelt werden . Alternativ hierzu können perspektivische Kriterien berücksichtigt werden, durch die bei- spielsweise ein vertikaler Abstand des Obj ekts 409 zum Schienenweg 403 ermittelt werden kann . Hierdurch können Obj ekte 409 , wie beispielsweise den Schienenweg 403 überdeckender Pflanzenbewuchs oder den Schienenweg 403 überfliegende Vögel , die lediglich aufgrund der perspektivischen Darstellung in der Bildaufnahme auf dem Schienenweg 403 angeordnet sind, als nicht gefährdende Obj ekte identi fi ziert werden und somit als Hindernisse 413 ausgeschlossen werden . Dies ermöglicht eine präzisere Klassi fi zierung von Hindernissen 413 und die Vermeidung von falschen positiven Erkennungsergebnissen, in denen Obj ekte 409 als Hindernisse 413 klassi fi ziert werden, j edoch nicht auf dem Schienenweg 403 angeordnet sind und somit tatsächlich keine Behinderung des Schienenfahrzeugs darstellen .
FIG 5 zeigt ein Ablauf diagramm eines Verfahrens 300 zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Aus führungs form .
Die Aus führungs form des Verfahrens 300 zur Schienenwegerkennung mit integrierter Hinderniserkennung durch ein Schienenfahrzeug 400 wird mit Bezug auf die FIG 6 beschrieben .
Zur Erkennung von Schienenwegen 403 bzw . Hindernissen 413 durch ein Schienenfahrzeug 400 werden zunächst in einem Verfahrensschritt 301 Bildaufnahmen einer Kamera 405 des Schienenfahrzeugs 400 durch die optische Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere das neuronale Netz 501 der optischen Schienenwegerkennung mit integrierter Hinderniserkennung eingelesen . Die Kamera 405 kann hierbei beispielsweise eine RGB-Kamera sein, die in einem Frontbereich 406 des Schienenfahrzeugs 400 angeordnet ist und einen Bereich in Fahrtrichtung vor dem Schienenfahrzeug 400 einsehen kann, in dem wenigstens der Schienenweg 403 , auf dem das Schienenfahrzeug 400 bewegt wird, einsehbar ist .
Die optische Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere das entsprechende neuronale Netz 501 wurden hierbei gemäß dem Verfahren 200 trainiert , wobei hierzu ein entsprechender Trainingsdatensatz verwendet wurde , der gemäß dem Verfahren 100 generiert wurde .
Basierend auf den im Verfahrensschritt 301 eingelesenen Bildaufnahmen wird in einem folgenden Verfahrensschritt 303 eine optische Schienenwegerkennung mit integrierter Hinderniserkennung durchgeführt .
Hierauf basierend werden in einem Verfahrensschritt 305 der Schienenweg 403 , auf dem sich das Schienenfahrzeug 400 bewegt erkannt und gegebenenfalls ein auf dem Schienenweg 403 angeordnetes Obj ekt 409 als ein Hindernis 413 identi fi ziert . Die Erkennung des Schienenwegs 403 bzw . des Hindernisses 413 durch die optische Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere durch das entsprechend trainierte neuronale Netz 501 kann hierbei gemäß den Aus führungen zum Verfahren 200 durch eine entsprechende Segmentierung der Bildaufnahmen durchgeführt werden .
Bei Erkennen eines entsprechenden Hindernisses 413 kann gegebenenfalls ein entsprechendes Warnsignal ausgesendet oder ein Bremsprozess des Schienenfahrzeugs 400 eingeleitet werden .
FIG 6 zeigt ein Schienenfahrzeug mit einer Recheneinheit .
FIG 6 zeigt ein Schienenfahrzeug 400 , das auf einem Schienenweg 403 angeordnet ist . Das Schienenfahrzeug 400 umfasst eine Recheneinheit 500 , auf der ein neuronales Netz 501 eingerichtet ist , das entsprechend dem Verfahren 200 zu einer Schienenwegerkennung und Hinderniserkennung trainiert ist . Die Recheneinheit 500 kann als ein Softwaremodul oder als eine Hardwarekomponente mit einem entsprechenden Softwaremodul ausgebildet sein . Das Schienenfahrzeug 400 umfasst in einem Frontbereich 406 eine Kamera 405 , die einen Bereich einsehen kann, der wenigstens den Schienenweg 403 einsehen kann, auf dem das Schienenfahrzeug 400 bewegt wird . Die Kamera 405 kann beispielsweise eine RGB-Kamera sein und ist mit der Recheneinheit 500 datentechnisch verbunden . Über die Bildaufnahmen der Kamera 405 kann durch das neuronale Netz 501 gemäß dem Verfahren 300 eine Schienenweg- bzw . Hinderniserkennung durchgeführt werden .
FIG 6 zeigt ferner ein Obj ekt 409 , das benachbart zum Frontbereich 406 des Schienenfahrzeugs 400 auf dem Schienenweg 403 angeordnet und durch die Kamera 405 einsehbar ist .
Gemäß einer Aus führungs form kann das Schienenfahrzeug 400 ferner einen LiDAR-Sensor bzw . eine zusätzliche Stereokamera umfassen, die ebenfalls im Frontbereich 406 angeordnet sein können und in FIG 6 nicht dargestellt sind . Basierend auf den Daten des LiDAR-Sensors bzw . der Stereokamera kann durch die optische Schienenwegerkennung mit integrierter Hinderniserkennung eine Entfernungsbestimmung des Obj ekts 409 zum Schienenfahrzeug 400 ermittelt werden .
Alternativ hierzu kann auf der Recheneinheit 500 ferner ein Entfernungsmodul ( in FIG 6 nicht dargestellt ) der optischen Schienenwegerkennung mit integrierter Hinderniserkennung eingerichtet sein, das ausgebildet ist , basierend auf den Bildaufnahmen der Kamera 405 eine Entfernungsbestimmung des Obj ekts 409 relativ zum Schienenfahrzeug 400 durchzuführen .
Obwohl die Erfindung im Detail durch das bevorzugte Aus führungsbeispiel näher illustriert und beschrieben wurde , so ist die Erfindung nicht durch die of fenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen .

Claims

Patentansprüche
1. Verfahren (100) zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung, mit den folgenden Schritten:
- Bereitstellen (101) von ersten Bildaufnahmen (401) von Schienenwegen (403) für Schienenfahrzeuge (400) , wobei jede erste Bildaufnahme (401) eine Darstellung eines Schienenwegs (403) umfasst;
- Bereitstellen (103) von zweiten Bildaufnahmen (407) von Objekten (409) , wobei jede zweite Bildaufnahme (407) eine Darstellung wenigstens eines Objekts (409) umfasst;
- Kombinieren (105) der ersten und zweiten Bildaufnahmen (401, 407) ; und
- Generieren (107) von dritten Bildaufnahmen (411) aus den kombinierten ersten und zweiten Bildaufnahmen (401, 407) , wobei jede dritte Bildaufnahme (411) eine Darstellung eines Schienenwegs (403) mit wenigstens einem Objekt (409) umfasst, und wobei eine Mehrzahl der dritten Bildaufnahmen (411) den Trainings-Datensatz für die optische Schienenwegerkennung mit integrierter Hinderniserkennung bilden.
2. Verfahren (100) nach Anspruch 1, wobei die ersten Bildaufnahmen (401) Bildaufnahmen einer RGB-Kamera von realen Schienenwegen (403) umfassen.
3. Verfahren (100) nach Anspruch 2, wobei die ersten Bildaufnahmen (401) Bildaufnahmen eines LiDAR-Sensors und/oder einer Stereokamera von realen Schienenwegen (403) umfassen.
4. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die zweiten Bildaufnahmen (407) Bildaufnahmen einer RGB-Kamera und/oder eines LiDAR-Sensors und/oder einer Stereokamera von realen Objekten (409) und/oder virtuell generierte Bildaufnahmen von realen und/oder virtuellen Objekten (409) umfassen.
5. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Kombinieren (105) der ersten und zweiten Bilddaten umfasst :
- randomisiertes Anordnen (109) eines Objekts (409) der zweiten Bildaufnahmen (407) in der ersten Bildaufnahme (401) des Schienenwegs (403) , wobei das randomisierte Anordnen eine randomisierte Positionierung des Objekts (409) relativ zum Schienenweg (403) der ersten Bildaufnahme (401) und/oder eine randomisierte Orientierung des Objekts (409) relativ zum Schienenweg (403) der ersten Bildaufnahme (401) und/oder eine randomisierte Größenzuordnung des Objekts (409) relativ zum Schienenweg (403) der ersten Bildaufnahme (401) umfasst.
6. Verfahren (200) zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung, umfassend:
- Einlesen (201) durch wenigstens ein neuronales Netz (501) von dritten Bildaufnahmen (411) mit Schienenwegen (403) und Objekten (409) , die mit dem Verfahren (100) der Ansprüche 1 bis 5 erzeugt wurden;
- Erkennen (203) durch das wenigstens eine neuronale Netz von Schienenwegen (403) und/oder Hindernissen (413) in den dritten Bildaufnahmen (411) , wobei durch das neuronale Netz (501) ausschließlich auf den Schienenwegen (403) positionierte Objekte (409) als Hindernisse (413) erkannt werden, und wobei dabei durch das wenigstens eine neuronale Netz (501) Erkennungs-Parameter erlernt werden.
7. Verfahren (200) nach Anspruch 6, wobei das Erkennen der Schienenwege (403) und der Hindernisse (413) eine Segmentierung von Schienenwegen (403) und auf den Schienenwegen (403) angeordneten Objekten (409) in den dritten Bildaufnahmen (411) umfasst, wobei die Segmentierung von Schienenwegen (403) eine Kontrastierung zwischen Schienenwegen (403) und Bildhintergrund umfasst, und wobei die Segmentierung der Objekte (409) eine Kontrastierung zwischen auf den Schienenwegen (403) angeordneten Objekten (409) und Bildhintergrund umfasst .
8. Verfahren (200) nach Anspruch 7, wobei die Segmentierung eine semantische Segmentierung und/oder eine semantische Instanzsegmentierung der Schienenwege (403) und Objekte (409) umfasst .
9. Verfahren (200) nach einem der Ansprüche 6 bis 8, wobei das neuronale Netz (501) als ein Convolutional Neural Network, insbesondere als ein Encoder-Decoder Convolutional Neural Network, ausgebildet ist, und wobei das neuronale Netz (501) trainiert ist, Schienenwege (403) und Hindernisse (413) zu erkennen.
10. Verfahren (200) nach einem der Ansprüche 6 bis 8, wobei die optische Schienenwegerkennung mit integrierter Hinderniserkennung zwei neuronale Netze (501) umfasst, wobei die zwei neuronalen Netze (501) jeweils als ein Convolutional Neural Network ausgebildet sind, und wobei ein neuronales Netz (501) trainiert wird, Schienenwege (403) zu erkennen, und wobei das jeweils andere neuronale Netz (501) trainiert wird, Hindernisse (413) zu erkennen.
11. Verfahren (200) nach einem der Ansprüche 6 bis 10, wobei die optische Schienenwegerkennung mit integrierter Hinderniserkennung ein Entfernungsmodul umfasst, und wobei das Verfahren ferner umfasst:
- Bestimmen (205) durch das Entfernungsmodul von Entfernung von Objekten (409) zu einem Referenzpunkt in den dritten Bildaufnahmen (411) , wobei dabei durch das Entfernungsmodul Entfernungsbestimmungs-Parameter erlernt werden.
12. Verfahren (300) zur Schienenwegerkennung mit integrierter Hinderniserkennung durch ein Schienenfahrzeug (400) mit den folgenden Schritten:
- Einlesen (301) einer Bildaufnahme einer Kamera (405) , wobei die Kamera (405) in einem Frontbereich (406) des Schienenfahrzeugs (400) angeordnet ist;
- Durchführen (303) einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung, welche nach dem Verfahren 22
(200) nach einem der voranstehenden Ansprüche 6 bis 11 trainiert wurde;
- Erkennen (305) eines Schienenwegs (403) , auf dem sich das Schienenfahrzeug (400) bewegt, und eines auf dem Schienenweg angeordneten Objekts (409) als ein Hindernis (413) mittels der optischen Schienenerkennung anhand der Erkennungs- Parameter .
13. Recheneinheit (500) , umfassend ein künstliches neuronales Netz (501) , wobei die Recheneinheit (500) eingerichtet ist, nach dem Verfahren (200) zum Trainieren nach den Ansprüchen 6 bis 11 trainiert zu werden und nach der Durchführung des Trainings das Verfahren (300) nach Anspruch 12 auszuführen.
EP21769400.9A 2020-12-11 2021-08-26 Optische schienenwegerkennung Pending EP4222039A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020215754.5A DE102020215754A1 (de) 2020-12-11 2020-12-11 Optische Schienenwegerkennung
PCT/EP2021/073593 WO2022122196A1 (de) 2020-12-11 2021-08-26 Optische schienenwegerkennung

Publications (1)

Publication Number Publication Date
EP4222039A1 true EP4222039A1 (de) 2023-08-09

Family

ID=77726465

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21769400.9A Pending EP4222039A1 (de) 2020-12-11 2021-08-26 Optische schienenwegerkennung

Country Status (4)

Country Link
US (1) US20240034372A1 (de)
EP (1) EP4222039A1 (de)
DE (1) DE102020215754A1 (de)
WO (1) WO2022122196A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020005343A1 (de) * 2020-08-31 2022-03-03 Daimler Ag Verfahren zur Objektverfolgung von mindestens einem Objekt, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung
DE102021206475A1 (de) 2021-06-23 2022-12-29 Siemens Mobility GmbH Hindernisdetektion im Gleisbereich auf Basis von Tiefendaten
US11574462B1 (en) * 2022-06-30 2023-02-07 Plus AI, Inc. Data augmentation for detour path configuring
US11702011B1 (en) 2022-06-30 2023-07-18 Plusai, Inc. Data augmentation for driver monitoring
EP4509382A1 (de) * 2023-08-16 2025-02-19 Siemens Aktiengesellschaft Verfahren zum bestimmen einer störung einer bahninfrastruktur mittels einer erfassungsvorrichtung eines zuges, computerprogrammprodukt, computerlesbares speichermedium sowie erfassungsvorrichtung
DE102023210109A1 (de) 2023-10-16 2025-04-17 Siemens Mobility GmbH Hindernisdetektion im Gleisbereich durch Kombination von Streckenverlaufsdaten und Bilddaten
DE102024105146A1 (de) 2024-02-23 2025-08-28 Deutsche Bahn Aktiengesellschaft Computer-implementiertes Verfahren zur Hindernis- oder Landmarkenerkennung für ein Schienenfahrzeug
DE102024105145A1 (de) 2024-02-23 2025-08-28 Deutsche Bahn Aktiengesellschaft Computer-implementiertes Verfahren zur Hindernis- oder Landmarkenerkennung für ein Schienenfahrzeug
CN119399723B (zh) * 2024-11-18 2025-10-31 南京邮电大学 基于动态线锚的轨道线检测方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL117279A (en) 1996-02-27 2000-01-31 Israel Aircraft Ind Ltd System for detecting obstacles on a railway track
CN109070915A (zh) * 2016-01-31 2018-12-21 铁路视像有限公司 用于检测列车的电导体系统中的缺陷的系统和方法
WO2017154305A1 (ja) * 2016-03-10 2017-09-14 株式会社リコー 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム
US20190039633A1 (en) 2017-08-02 2019-02-07 Panton, Inc. Railroad track anomaly detection
JP6843274B2 (ja) * 2018-02-08 2021-03-17 三菱電機株式会社 障害物検出装置および障害物検出方法
CN112351928B (zh) * 2018-07-10 2023-11-10 铁路视像有限公司 基于轨道分段的铁路障碍物检测的方法与系统
DE102019209484A1 (de) 2019-06-28 2020-12-31 Siemens Mobility GmbH Raumüberwachungsverfahren und Raumüberwachungsanlage zum Überwachen eines Verkehrsraumes
CN111923966B (zh) * 2020-07-16 2022-07-05 北京交通大学 面向不同智能化等级的城市轨道交通列车运行控制系统

Also Published As

Publication number Publication date
DE102020215754A1 (de) 2022-06-15
WO2022122196A1 (de) 2022-06-16
US20240034372A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
EP4222039A1 (de) Optische schienenwegerkennung
DE69322306T2 (de) Gegenstandserkennungssystem mittels Bildverarbeitung
DE102018215055A1 (de) Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug
EP2402827B1 (de) Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
WO2020126167A1 (de) Verfahren zur erkennung von mindestens einem muster in einer umgebung eines fahrzeugs, steuergerät zum ausführen eines solchen verfahrens, sowie fahrzeug mit einem solchen steuergerät
DE102019208735A1 (de) Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
DE102020201939A1 (de) Verfahren und Vorrichtung zur Bewertung eines Bildklassifikators
EP4068223B1 (de) Verfahren und system zur bestimmung der bodenebene mit einem künstlichen neuronalen netz
WO2023143800A1 (de) Verfahren zur detektion von geisterobjekten in sensormessungen
EP3545506A1 (de) Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts
DE102021206475A1 (de) Hindernisdetektion im Gleisbereich auf Basis von Tiefendaten
DE102019209861A1 (de) System und Verfahren zur Visualisierung von Oberflächendefekten auf einem Werkstück
EP3576013A1 (de) Abschätzen eines verlaufs eines schienenpfads
EP3734557A1 (de) Verfahren zur bereitstellung von trainingsdaten für adaptierbare situationserkennungsalgorithmen sowie verfahren zur automatisierten situationserkennung von betriebssituationen eines fahrzeugs zur öffentlichen personenbeförderung
DE102022213244A1 (de) Fahrzeugsystem zur Erhöhung der Sicherheit eines Fahrzeugs, Verfahren und Verwendung
EP3772017A1 (de) Bahnsignalerkennung für autonome schienenfahrzeuge
DE102021206299A1 (de) Verfahren zur Fahrzeugerkennung eines Fahrzeugs in einem automatischen Valet-Parking-System
EP4232341B1 (de) Selbstlernendes verfahren zur hinderniserkennung für ein schienenfahrzeug, hinderniserkennungseinrichtung, und schienenfahrzeug mit einer hinderniserkennungseinrichtung
DE102023205045B4 (de) Automatisiertes Ausrichten von Sensoren
DE102019209152A1 (de) Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern
DE102024202974A1 (de) Verfahren und spurgeführtes Fahrzeug zur Positionsbestimmung des spurgeführten Fahrzeugs
DE102022204086A1 (de) Verfahren zur Ermittlung einer dynamischen Fremdobjekt-Fahrkorridor-Assoziation
DE102022207101A1 (de) Verfahren zum Bestimmen von Unzulänglichkeiten bei der Detektion von Objekten in durch von einem Umgebungssensor eines Kraftfahrzeuges erfassten Daten
DE102024204664A1 (de) Einstufiges Auswerten eines Achszähler-Zeitverlaufs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230502

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS MOBILITY GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS