-
Die Erfindung betrifft ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung. Außerdem betrifft die Erfindung ein Verfahren zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung. Ferner betrifft die Erfindung ein Verfahren zur Schienenwegerkennung mit integrierter Hinderniserkennung durch ein Schienenfahrzeug und eine Recheneinheit zur Durchführung des Verfahrens zur Schienenwegerkennung mit integrierter Hinderniserkennung.
-
Eine optische Schienenwegerkennung mit integrierter Hinderniserkennung kann mittels künstlicher neuronale Netzwerke erfolgen, wobei hierzu eine große Anzahl von digitalen Bildern von verschiedenen Schienenstrecken mit auf den Schienenstrecken befindlichen Hindernissen benötigt wird, um das neuronale Netzwerk erfolgreich zu trainieren. Das Auftreten von Hindernissen auf Schienenwegen ist jedoch ein vergleichsweise seltenes Ereignis, von dem es folglich nur eine geringe Anzahl verwendbarer Bildaufnahmen gibt. Derzeit bestehen somit keine Datensätze von Bildaufnahmen von Schienenwegen mit auf den Schienenwegen angeordneten Objekten, die ein Training von neuronalen Netzen zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung ermöglichen würden.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitzustellen, das diese Beschränkungen umgeht. Eine weitere Aufgabe der Erfindung ist es, ein Trainingsverfahren für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung, ein Verfahren zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung sowie eine Recheneinheit zur Durchführung des Verfahrens zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung bereitzustellen, die jeweils auf dem Trainings-Datensatz basieren.
-
Diese Aufgabe wird durch ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung sowie ein Verfahren zum Trainieren einer optischen Schienenwegerkennung, ein Verfahren zur Positionsbestimmung eines Schienenfahrzeugs und eine Recheneinheit zur Durchführung des Verfahrens zur Positionsbestimmung gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt, wobei das Verfahren die folgenden Schritte umfasst:
- - Bereitstellen von ersten Bildaufnahmen von Schienenwegen für Schienenfahrzeuge, wobei jede erste Bildaufnahme eine Darstellung eines Schienenwegs umfasst;
- - Bereitstellen von zweiten Bildaufnahmen von Objekten, wobei jede zweite Bildaufnahme eine Darstellung wenigstens eines Objekts umfasst;
- - Kombinieren der ersten und zweiten Bildaufnahmen; und
- - Generieren von dritten Bildaufnahmen aus den kombinierten ersten und zweiten Bildaufnahmen, wobei jede dritte Bildaufnahme eine Darstellung eines Schienenwegs mit wenigstens einem Objekt umfasst, und wobei eine Mehrzahl der dritten Bildaufnahmen den Trainings-Datensatz für die optische Schienenwegerkennung mit integrierter Hinderniserkennung bilden.
-
Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann, wobei der Trainingsdatensatz auf Bildaufnahmen basiert, die jeweils wenigstens einen Schienenweg und wenigstens ein Objekt umfassen. Hierzu werden erste Bildaufnahmen von Schienenwegen und zweite Bildaufnahmen von Objekten bereitgestellt und miteinander kombiniert. Aus den kombinierten ersten und zweiten Bildaufnahmen der Schienenwege und der Objekte werden darauffolgend dritte Bildaufnahmen generiert, wobei jede dritte Bildaufnahme wenigstens einen Schienenweg und wenigstens ein Objekt umfasst. Eine Mehrzahl der dritten Bildaufnahmen bildet damit den Trainingssatz für die optische Schienenwegerkennung mit integrierter Hinderniserkennung.
-
Das erfindungsgemäße Verfahren ermöglicht somit eine kostengünstige Generierung eines Trainingsdatensatzes mit Schienenwegen und Objekten, für den kein zeitintensives und kostenintensives Erstellen von Bildaufnahmen realer Situationen, in denen Objekte auf Schienenwegen angeordnet sind, durchgeführt werden müssen.
-
Ein Schienenweg ist im Sinne der Anmeldung ein Schienenverlauf für Schienenfahrzeuge und umfasst wenigstens zwei parallel geführte Schienen.
-
Nach einer Ausführungsform umfassen die ersten Bilddaten Bildaufnahmen einer RGB-Kamera von realen Schienenwegen.
-
Hierdurch kann der technische Vorteil erreicht werden, dass ein verbesserter Trainingsdatensatz für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann, der auf Bildaufnahmen von RGB-Kameras von realen Schienenwegen basiert. Eine auf einem derartigen Trainingsdatensatz trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung kann somit vorzugsweise in einem Schienenfahrzeug, das mit RGB-Kameras zur Objekterkennung ausgestattet ist, betrieben werden. Hierdurch kann eine möglichst einfache und präzise optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden. Eine derartig trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung kann auf ausschließlich RGB-Bildaufnahmen betrieben werden und benötigt keine weiteren Umfeldsensordaten zur Schienenweg- und Hinderniserkennung.
-
Nach einer Ausführungsform umfassen die ersten Bilddaten Bildaufnahmen eines LiDAR-Sensors und/oder einer Stereokamera von realen Schienenwegen.
-
Hierdurch kann der technische Vorteil erreicht werden, dass durch die Verwendung von LiDAR-Sensoren und/oder Stereokameras basierend auf den ersten Bildaufnahmen durch die entsprechend trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung eine Entfernungsbestimmung durchgeführt werden kann. Eine derart trainierte Schienenwegerkennung mit integrierter Hinderniserkennung kann somit auf Bildaufnahmen von RGB-Kameras, LiDAR-Sensoren und/oder Stereokameras betrieben werden.
-
Nach einer Ausführungsform umfassen die zweiten Bilddaten Bildaufnahmen einer RGB-Kamera und/oder eines LiDAR-Sensors und/oder einer Stereokamera von realen Objekten und/oder virtuell generierte Bildaufnahmen von realen und/oder virtuellen Objekten.
-
Hierdurch kann der technische Vorteil erreicht werden, dass ein breiter Einsatzbereich des Verfahrens zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann. Die zweiten Bildaufnahmen können hierbei Bildaufnahmen von RGB-Kameras, von LiDAR-Sensoren oder von Stereokameras sein. Eine derart trainierte optische Schienenwegerkennung mit integrierter Hinderniserkennung kann somit basierend auf RGB-Bilddaten, LiDAR-Bilddaten oder Stereokamerabilddaten eingesetzt werden. Darüber hinaus oder alternativ können die Objekte virtuell generiert werden. Hierdurch kann erreicht werden, dass die Objekte dem späteren Trainingsverfahren entsprechend angepasst werden können. Darüber hinaus können beliebige Objekte generiert werden, für die keine Bildaufnahmen realer Objekte bestehen.
-
Nach einer Ausführungsform umfasst das Kombinieren der ersten und zweiten Bilddaten:
- - randomisiertes Anordnen eines Objekts der zweiten Bildaufnahmen in der ersten Bildaufnahme des Schienenwegs, wobei das randomisierte Anordnen eine randomisierte Positionierung des Objekts relativ zum Schienenweg der ersten Bildaufnahme und/oder eine randomisierte Orientierung des Objekts relativ zum Schienenweg der ersten Bildaufnahme und/oder eine randomisierte Größenzuordnung des Objekts relativ zum Schienenweg der ersten Bildaufnahme umfasst.
-
Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Training der optischen Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere eine verbesserte Objekterkennung bzw. Hinderniserkennung erreicht werden kann. Durch das randomisierte Anordnen der Objekte der zweiten Bildaufnahmen in den ersten Bildaufnahmen kann eine verbesserte Trainingsleistung der zu trainierenden optischen Schienenwegerkennung mit integrierter Hinderniserkennung erreicht werden.
-
Nach einem zweiten Aspekt der Erfindung wird ein Verfahren zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt, wobei das Verfahren umfasst:
- - Einlesen durch wenigstens ein neuronales Netz von dritten Bildaufnahmen mit Schienenwegen und Objekten, die mit dem Verfahren der voranstehenden Ausführungsformen erzeugt wurden;
- - Erkennen durch das wenigstens eine neuronale Netz von Schienenwegen und/oder Hindernissen in den dritten Bildaufnahmen, wobei durch das neuronale Netz ausschließlich auf den Schienenwegen positionierte Objekte als Hindernisse erkannt werden, und wobei dabei durch das wenigstens eine neuronale Netz Erkennungs-Parameter erlernt werden.
-
Hierdurch kann der technische Vorteil eines verbesserten Trainings der Schienenerkennung mit integrierter Hinderniserkennung bereitgestellt werden, das die technischen Vorteile des erfindungsgemäßen Verfahrens zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung umfasst.
-
Nach einer Ausführungsform umfasst das Erkennen der Schienenwege und der Hindernisse eine Segmentierung von Schienenwegen und auf den Schienenwegen angeordneten Objekten in den dritten Bildaufnahmen, wobei die Segmentierung von Schienenwegen eine Kontrastierung zwischen Schienenwegen und Bildhintergrund umfasst, und wobei die Segmentierung der Objekte eine Kontrastierung zwischen auf den Schienenwegen angeordneten Objekten und Bildhintergrund umfasst.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichst präzise Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann. Über die Segmentierung kann jedes Pixel der dritten Bildaufnahmen entweder dem Bildhintergrund, einem Schienenweg oder einem Objekt zugeordnet werden. Hierdurch kann eine präzise Schienenweg- bzw. Objekterkennung erreicht werden.
-
Nach einer Ausführungsform umfasst die Segmentierung eine semantische Segmentierung und/oder eine semantische Instanzsegmentierung der Schienenwege und Objekte.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Erkennung von Schienenwegen und Objekten ermöglicht ist. Über die semantische Segmentierung bzw. die semantische Instanzsegmentierung kann eine Unterscheidung zwischen Schienenwegen und auf den Schienenwegen angeordneten Objekten erreicht werden.
-
Über die semantische Instanzsegmentierung kann darüber hinaus eine Unterscheidung zwischen verschiedenen Objekten erreicht werden.
-
Nach einer Ausführungsform ist das neuronale Netz als ein Convolutional Neural Network, insbesondere als ein Encoder-Decoder Convolutional Neural Network, ausgebildet, wobei das neuronale Netz trainiert ist, Schienenwege und Hindernisse zu erkennen.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise und zuverlässige optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann. Über das als Convolutional Neural Network, insbesondere als ein Encoder-Decoder Convolutional Neural Network ausgebildet, kann eine simultane Erkennung von Schienenwegen und Hindernissen bereitgestellt werden. Dadurch dass ausschließlich ein neuronales Netz verwendet wird, kann eine möglichst einfache optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden.
-
Nach einer Ausführungsform umfasst die optische Schienenwegerkennung mit integrierter Hinderniserkennung zwei neuronale Netze, wobei die zwei neuronalen Netze jeweils als ein Convolutional Neural Network ausgebildet sind, und wobei ein neuronales Netz trainiert wird, Schienenwege zu erkennen, und wobei das jeweils andere neuronale Netz trainiert wird, Hindernisse zu erkennen.
-
Hierdurch kann der technische Vorteil erreicht werden, dass ein vereinfachter Trainingsprozess der optischen Schienenwegerkennung mit integrierter Hinderniserkennung ermöglicht ist. Durch die Bereitstellung von zwei neuronalen Netzen, von denen jeweils eines auf eine Schienenwegerkennung und eines auf eine Hinderniserkennung trainiert wird, kann der Trainingsprozess vereinfacht werden.
-
Nach einer Ausführungsform umfasst die optische Schienenwegerkennung mit integrierter Hinderniserkennung ein Entfernungsmodul, wobei das Verfahren ferner umfasst:
- - Bestimmen durch das Entfernungsmodul von Entfernung von Objekten zu einem Referenzpunkt in den dritten Bildaufnahmen, wobei dabei durch das Entfernungsmodul Entfernungsbestimmungs-Parameter erlernt werden.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine verbesserte optische Schienenwegerkennung mit integrierter Hinderniserkennung bereitgestellt werden kann, mittels welcher eine Entfernungsbestimmung von Objekten zu einem Referenzpunkt ermöglicht ist. Der Referenzpunkt kann über die Positionierung des Schienenfahrzeugs auf dem Schienenweg gegeben sein.
-
Nach einem dritten Aspekt der Erfindung wird ein Verfahren zur Schienenwegerkennung mit integrierter Hinderniserkennung durch ein Schienenfahrzeug mit den folgenden Schritten bereitgestellt:
- - Einlesen einer Bildaufnahme einer Kamera, wobei die Kamera in einem Frontbereich des Schienenfahrzeugs angeordnet ist;
- - Durchführen einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung, welche nach dem Verfahren nach einem der voranstehenden Ausführungsformen trainiert wurde;
- - Erkennen eines Schienenwegs, auf dem sich das Schienenfahrzeug bewegt, und eines auf dem Schienenweg angeordneten Objekts als ein Hindernis mittels der optischen Schienenerkennung anhand der Erkennungs-Parameter.
-
Hierdurch kann der technische Vorteil einer verbesserten Schienenerkennung mit integrierter Hinderniserkennung bereitgestellt werden, die die technischen Vorteile des erfindungsgemäßen Verfahrens zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung und die technischen Vorteile des erfindungsgemäßen Verfahrens zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung umfasst.
-
Nach einem vierten Aspekt wird eine Recheneinheit bereitgestellt, die wenigstens ein künstliches neuronales Netz umfasst und eingerichtet ist, nach dem Verfahren zum Trainieren nach den voranstehenden Ausführungsformen trainiert zu werden und nach der Durchführung des Trainings das Verfahren der voranstehenden Ausführungsform auszuführen.
-
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich durch die Erläuterungen der folgenden, stark vereinfachten, schematischen Darstellungen bevorzugter Ausführungsbeispiele. Hierbei zeigen in jeweils schematisierter Darstellung
- 1 ein Ablaufdiagramm eines Verfahrens zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Ausführungsform;
- 2 eine graphische Darstellung des Verfahrens zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Ausführungsform;
- 3 ein Ablaufdiagramm eines Verfahrens zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Ausführungsform;
- 4 eine graphische Darstellung des Verfahrens zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Ausführungsform;
- 5 ein Ablaufdiagramm eines Verfahrens zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Ausführungsform; und
- 6 ein Schienenfahrzeug mit einer Recheneinheit.
-
1 zeigt ein Ablaufdiagramm eines Verfahrens 100 zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Ausführungsform.
-
Die Beschreibung des Verfahrens 100 zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß der Ausführungsform in 1 wird mit Bezug auf 2 vorgenommen.
-
So werden in einem ersten Verfahrensschritt 101 erste Bildaufnahmen 401 von Schienenwegen 403 bereitgestellt. Die ersten Bildaufnahmen 401 können beispielsweise reale Bilder einer RGB-Kamera sein, die von realen Schienenwegen 403 aufgenommen wurden. Ein derartiges reales Bild eines Schienenwegs 403 ist in 2 dargestellt. Alternativ hierzu können die ersten Bildaufnahmen 401 von Schienenwegen 403 Bildaufnahmen von LiDAR-Sensoren oder Stereokameras umfassen. Zum Bereitstellen der ersten Bildaufnahmen 401 können entsprechende Aufnahmen von realen Schienenwegen 403 erstellt werden. Alternativ kann hierzu auf bereits bestehende Datensätze von Schienenwegen 403 zurückgegriffen werden.
-
In einem folgenden Verfahrensschritt 103 werden zweite Bildaufnahmen 407 von Objekten 409 bereitgestellt. Die zweiten Bildaufnahmen 407 können RGB-Bildaufnahmen von realen Objekten 409, LiDAR-Sensoraufnahmen von realen Objekten 409 oder Stereokameraaufnahmen von realen Objekten 409 umfassen. Due Aufnahmen können explizit zur Erstellung des Trainingsdatensatzes generiert sein. Alternativ können bereits bestehenden Datensätze von Aufnahmen von Schienenwegen verwendet werden. Alternativ oder zusätzlich können die zweiten Bildaufnahmen 407 virtuell generierte Aufnahmen von künstlich generierten virtuellen Objekten 409 umfassen.
-
Die Objekte 409 können beliebige Gegenstände bzw. Personen oder Tiere darstellen. Alternativ können Objekte 409 lediglich geometrische Formen bzw. dreidimensionale geometrische Körper darstellen.
-
In einem weiteren Verfahrensschritt 105 werden die ersten und zweiten Bildaufnahmen 401, 407 kombiniert.
-
In der gezeigten Ausführungsform umfasst das Kombinieren der ersten und zweiten Bildaufnahmen 401, 407 einen Verfahrensschritt 109, in dem die Objekte 409 der zweiten Bildaufnahmen 407 randomisiert in den ersten Bildaufnahmen 401 angeordnet werden. Das randomisierte Anordnen der Objekte 409 kann hierbei ein randomisiertes Positionieren der Objekte 409 in den ersten Bildaufnahmen 401 umfassen, indem die Objekte 409 der zweiten Bildaufnahmen 407 an beliebigen Positionen innerhalb der ersten Bildaufnahmen 401 angeordnet werden. Das randomisierte Anordnen kann darüber hinaus ein randomisiertes Orientieren der Objekte 409 umfassen, bei dem die Objekte 409 in einer beliebigen Ausrichtung relativ zu den Schienenwegen 403 der ersten Bildaufnahmen 401 angeordnet werden. Darüber hinaus kann das randomisierte Anordnen umfassen, dass die Objekte 409 mit beliebiger Größe in die ersten Bildaufnahmen 401 integriert werden.
-
Darauffolgend werden in einem Verfahrensschritt 107 basierend auf den kombinierten ersten und zweiten Bildaufnahmen 401, 407 dritte Bildaufnahmen 411 generiert, wobei jede dritte Bildaufnahme 411 wenigstens einen Schienenweg 403 und wenigstens ein Objekt 409 umfasst.
-
Die dritten Bildaufnahmen 411 können hierbei eine Mehrzahl von Schienenwegen 403 und eine Mehrzahl von Objekten 409 umfassen. Die Objekte 409 können in beliebiger Größe, Positionierung und Orientierung relativ zu den Schienenwegen 403 in den dritten Bildaufnahmen 411 angeordnet sein.
-
2 zeigt eine graphische Darstellung des Verfahrens 100 zum Erstellen eines Trainings-Datensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Ausführungsform.
-
2 zeigt in graphischer Darstellung das Erstellen des Trainingsdatensatzes gemäß dem Verfahren 100 in der Ausführungsform in 1.
-
Zunächst werden erste Bildaufnahmen 401 von Schienenwegen 403 bereitgestellt. Diese können reale Aufnahmen, beispielsweise von RGB-Kameras, von realen Schienenwegen 403 sein.
-
Ferner werden zweite Bildaufnahmen 407 von Objekten 409 bereitgestellt, die sowohl reale Objekte 409 umfassen können als auch synthetisch generierte virtuelle Objekte.
-
Die ersten und zweiten Bildaufnahmen 401, 407 werden darauffolgend kombiniert, und entsprechend auf den ersten und zweiten Bildaufnahmen 401, 407 basierende dritte Bildaufnahmen 411 generiert. Zum Generieren der dritten Bildaufnahmen 411 werden die Objekte 409 der zweiten Bildaufnahmen 407 in randomisierter Weise in den ersten Bildaufnahmen 401 angeordnet. Wie in 2 dargestellt, werden hierzu die verschiedenen Objekte 409 in beliebiger Positionierung, Orientierung und Größe relativ zu den Schienenwegen 403 der dritten Bildaufnahmen 411 angeordnet. Eine realistische Anordnung der Objekte 409 mit einer realistischen Positionierung, Orientierung bzw. Größe in Relation zu den realen Schienenwegen 403 ist hierbei nicht zwingend erforderlich.
-
Eine Mehrzahl derart generierter dritten Bildaufnahmen 411 bildet hierbei abschließend den Trainingsdatensatz für die zu trainierende Schienenwegerkennung mit integrierter Objekterkennung.
-
3 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Ausführungsform.
-
Das Verfahren 200 zum Trainieren der optischen Schienenwegerkennung mit integrierter Hinderniserkennung in der Ausführungsform in 3 wird mit Bezug auf die Beschreibung zur 4 beschrieben.
-
In einem ersten Verfahrensschritt 201 werden dritte Bildaufnahmen 411 mit Schienenwegen 403 und Objekten 409 durch wenigstens ein neuronales Netz 501 eingelesen. Die dritten Bildaufnahmen 411 wurden hierbei mit dem Verfahren 100 zum Erstellen eines Trainingsdatensatzes für eine optische Schienenwegerkennung mit integrierter Hinderniserkennung gemäß den oben beschriebenen Verfahrensschritten erzeugt.
-
Darauffolgend werden in einem folgenden Verfahrensschritt 203 durch das wenigstens eine neuronale Netz Schienenwege 403 und/oder Hindernisse 413 in den dritten Bildaufnahmen 411 erkannt. Das neuronale Netz 501 erkennt hierbei ausschließlich Objekte 409, die in den dritten Bildaufnahmen 411 auf den Schienenwegen 403 positioniert sind, als Hindernisse 413. Objekte 409, die in den dritten Bildaufnahmen 411 einen entsprechenden Schienenweg 403 nicht überdecken bzw. kreuzen, werden durch das neuronale Netz 501 hingegen nicht als Hindernisse erkannt.
-
Das neuronale Netz 501 kann hierbei darauf trainiert sein, Objekte 409 innerhalb der dritten Bildaufnahmen 411 zu erkennen und zwischen Objekten 409, die auf entsprechenden Schienenwegen 403 angeordnet sind und Objekten 409, die nicht auf Schienenwegen 403 angeordnet sind, zu unterscheiden.
-
Gemäß einer Ausführungsform kann das neuronale Netz 501 als ein Convolutional Neural Network und insbesondere als ein Encoder-Decoder Convolutional Neural Network ausgebildet sein. Das neuronale Netz 501 kann insbesondere ausgebildet sein, sowohl Schienenwege 403 als auch Objekte 409 bzw. Hindernisse 413 zu erkennen.
-
Alternativ kann die optische Schienenwegerkennung mit integrierter Hinderniserkennung zwei neuronale Netze 501 umfassen, die beispielsweise jeweils als Convolutional Neural Networks ausgebildet sind. Hierbei kann jeweils ein neuronales Netz 501 eingerichtet sein, Schienenwege 403 zu erkennen, während das jeweils andere neuronale Netz eingerichtet sein kann, Objekte 409 bzw. Hindernisse 413 zu erkennen.
-
Gemäß einer Ausführungsform kann die optische Schienenwegerkennung mit integrierter Hinderniserkennung ferner ein Entfernungsmodul umfassen, das eingerichtet ist, eine Entfernung der Objekte 409 in den dritten Bildaufnahmen 411 zu einem vorbestimmten Referenzpunkt zu bestimmen. Der vorbestimmte Referenzpunkt kann hier beispielsweise durch die Positionierung der Kamera, durch die die ersten Bildaufnahmen 401 aufgenommen wurden, relativ zu den Schienenwegen 403 bzw. Objekten 409 gegeben sein.
-
In einem weiteren Verfahrensschritt 205 werden entsprechend durch das Entfernungsmodul Entfernungen der Objekte 409 in den dritten Bildaufnahmen 411 zum Referenzpunkt P, beispielsweise der RGB-Kamera, erkannt.
-
Durch das Erkennen der Schienenwege 403 bzw. Hindernisse 413 im Verfahrensschritt 203 werden durch das neuronale Netz 501 Erkennungs-Parameter erlernt und damit ein Trainingsprozess des neuronalen Netzes 501 durchgeführt. Analog wird durch das Bestimmen der Entfernungen der Objekte 409 durch das Entfernungsmodul im Verfahrensschritt 205 entsprechende Entfernungsbestimmungs-Parameter erlernt, wodurch das Entfernungsmodul entsprechend trainiert wird.
-
Der beschriebene Trainingsprozess kann beispielsweise gemäß einem Supervised Learning oder Unsupervised Learning durchgeführt werden. Insbesondere kann das neuronale Netz 501 bzw. die Mehrzahl von neuronalen Netzen 501 gemäß eines im Stand der Technik üblichen Backpropagation Prozesses trainiert werden.
-
Gemäß einer Ausführungsform kann das Erkennen der Schienenwege 403 und/oder der Hindernisse 413 bzw. der Objekte 409 im Verfahrensschritt 203 eine Segmentierung von Schienenwegen 403 und Objekten 409 bzw. Hindernissen 413 in den dritten Bildaufnahmen 411 umfassen. Die Segmentierung kann hierbei beispielsweise eine semantische Segmentierung bzw. eine semantische Instanzsegmentierung sein. Zur Segmentierung wird für jedes Pixel der dritten Bildaufnahme 411 bestimmt, ob das jeweilige Pixel zu einem Schienenweg 403, zu einem Hindernis 413 oder zum Bildhintergrund der dritten Bildaufnahme 411 gehört. Durch die derart durchgeführte Segmentierung kann somit eine Kontrastierung zwischen Schienenwegen 403, Hindernissen 413 und dem Bildhintergrund der dritten Bildaufnahme 411 erreicht werden. Die Segmentierung der dritten Bildaufnahmen 411 kann hierbei gemäß aus dem Stand der Technik bekannten Segmentierungsprozessen vorgenommen werden.
-
4 zeigt eine graphische Darstellung des Verfahrens 200 zum Trainieren einer optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Ausführungsform.
-
In 4 ist in graphischer Darstellung der Trainingsprozess gemäß dem Verfahren 200 in der in 3 dargestellten Ausführungsform illustriert.
-
Zum Trainieren des neuronalen Netzes 501 bzw. der neuronalen Netze 501 werden dritte Bildaufnahmen 411 mit Schienenwegen 403 und Objekten 409 durch die neuronalen Netze 501 eingelesen.
-
Während des Trainingsprozesses werden Erkennungs-Parameter durch die neuronalen Netze 501 zur Erkennung der Schienenwege 403 und der auf den Schienenwegen 403 angeordneten Objekte 409 durch die neuronalen Netze 501 erlernt. Im Zuge des Trainingsprozesses wird durch die neuronalen Netze 501 eine Segmentierung der Schienenwege 403, Hindernisse 413 bzw. des Bildhintergrunds der dritten Bildaufnahmen 411 durchgeführt.
-
In 4 ist ferner eine segmentierte Bildaufnahme 412 dargestellt, in der zwei segmentierte Schienenwege 404 und jeweils drei segmentierte Hindernisse 414 und ein segmentierter Bildhintergrund 416 der in 4 gezeigten dritten Bildaufnahme 411 dargestellt sind. Die hier dargestellte Segmentierung ermöglicht eine Unterscheidung zwischen segmentiertem Schienenweg 404 und segmentierten Hindernissen 414, sodass eine eindeutige Unterscheidung zwischen Schienenweg und auf dem Schienenweg 403 angeordneten Objekten 409 und hiermit eine eindeutige Erkennung von durch auf den Schienenwegen 403 angeordneten Objekten 409 gegebenen Hindernissen 413 durch die entsprechend trainierten neuronale Netze 501 ermöglicht ist.
-
Wie in 4 dargestellt, werden die Objekte 409 in der dritten Bildaufnahme 411, die nicht auf dem Schienenweg 403 angeordnet sind, nicht als Hindernisse 413 erkannt.
-
Eine Erkennung einer Anordnung von Objekten 409 auf Schienenwegen 403 kann hierbei beispielsweise durch ein Überlappen des Umrisses eines Objekts 409 mit dem Umriss eines Schienenwegs 403 ermittelt werden. Alternativ hierzu können perspektivische Kriterien berücksichtigt werden, durch die beispielsweise ein vertikaler Abstand des Objekts 409 zum Schienenweg 403 ermittelt werden kann. Hierdurch können Objekte 409, wie beispielsweise den Schienenweg 403 überdeckender Pflanzenbewuchs oder den Schienenweg 403 überfliegende Vögel, die lediglich aufgrund der perspektivischen Darstellung in der Bildaufnahme auf dem Schienenweg 403 angeordnet sind, als nicht gefährdende Objekte identifiziert werden und somit als Hindernisse 413 ausgeschlossen werden. Dies ermöglicht eine präzisere Klassifizierung von Hindernissen 413 und die Vermeidung von falschen positiven Erkennungsergebnissen, in denen Objekte 409 als Hindernisse 413 klassifiziert werden, jedoch nicht auf dem Schienenweg 403 angeordnet sind und somit tatsächlich keine Behinderung des Schienenfahrzeugs darstellen.
-
5 zeigt ein Ablaufdiagramm eines Verfahrens 300 zur optischen Schienenwegerkennung mit integrierter Hinderniserkennung gemäß einer Ausführungsform.
-
Die Ausführungsform des Verfahrens 300 zur Schienenwegerkennung mit integrierter Hinderniserkennung durch ein Schienenfahrzeug 400 wird mit Bezug auf die 6 beschrieben.
-
Zur Erkennung von Schienenwegen 403 bzw. Hindernissen 413 durch ein Schienenfahrzeug 400 werden zunächst in einem Verfahrensschritt 301 Bildaufnahmen einer Kamera 405 des Schienenfahrzeugs 400 durch die optische Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere das neuronale Netz 501 der optischen Schienenwegerkennung mit integrierter Hinderniserkennung eingelesen. Die Kamera 405 kann hierbei beispielsweise eine RGB-Kamera sein, die in einem Frontbereich 406 des Schienenfahrzeugs 400 angeordnet ist und einen Bereich in Fahrtrichtung vor dem Schienenfahrzeug 400 einsehen kann, in dem wenigstens der Schienenweg 403, auf dem das Schienenfahrzeug 400 bewegt wird, einsehbar ist.
-
Die optische Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere das entsprechende neuronale Netz 501 wurden hierbei gemäß dem Verfahren 200 trainiert, wobei hierzu ein entsprechender Trainingsdatensatz verwendet wurde, der gemäß dem Verfahren 100 generiert wurde.
-
Basierend auf den im Verfahrensschritt 301 eingelesenen Bildaufnahmen wird in einem folgenden Verfahrensschritt 303 eine optische Schienenwegerkennung mit integrierter Hinderniserkennung durchgeführt.
-
Hierauf basierend werden in einem Verfahrensschritt 305 der Schienenweg 403, auf dem sich das Schienenfahrzeug 400 bewegt erkannt und gegebenenfalls ein auf dem Schienenweg 403 angeordnetes Objekt 409 als ein Hindernis 413 identifiziert. Die Erkennung des Schienenwegs 403 bzw. des Hindernisses 413 durch die optische Schienenwegerkennung mit integrierter Hinderniserkennung und insbesondere durch das entsprechend trainierte neuronale Netz 501 kann hierbei gemäß den Ausführungen zum Verfahren 200 durch eine entsprechende Segmentierung der Bildaufnahmen durchgeführt werden.
-
Bei Erkennen eines entsprechenden Hindernisses 413 kann gegebenenfalls ein entsprechendes Warnsignal ausgesendet oder ein Bremsprozess des Schienenfahrzeugs 400 eingeleitet werden.
-
6 zeigt ein Schienenfahrzeug mit einer Recheneinheit.
-
6 zeigt ein Schienenfahrzeug 400, das auf einem Schienenweg 403 angeordnet ist. Das Schienenfahrzeug 400 umfasst eine Recheneinheit 500, auf der ein neuronales Netz 501 eingerichtet ist, das entsprechend dem Verfahren 200 zu einer Schienenwegerkennung und Hinderniserkennung trainiert ist. Die Recheneinheit 500 kann als ein Softwaremodul oder als eine Hardwarekomponente mit einem entsprechenden Softwaremodul ausgebildet sein. Das Schienenfahrzeug 400 umfasst in einem Frontbereich 406 eine Kamera 405, die einen Bereich einsehen kann, der wenigstens den Schienenweg 403 einsehen kann, auf dem das Schienenfahrzeug 400 bewegt wird. Die Kamera 405 kann beispielsweise eine RGB-Kamera sein und ist mit der Recheneinheit 500 datentechnisch verbunden.
-
Über die Bildaufnahmen der Kamera 405 kann durch das neuronale Netz 501 gemäß dem Verfahren 300 eine Schienenweg- bzw. Hinderniserkennung durchgeführt werden.
-
6 zeigt ferner ein Objekt 409, das benachbart zum Frontbereich 406 des Schienenfahrzeugs 400 auf dem Schienenweg 403 angeordnet und durch die Kamera 405 einsehbar ist.
-
Gemäß einer Ausführungsform kann das Schienenfahrzeug 400 ferner einen LiDAR-Sensor bzw. eine zusätzliche Stereokamera umfassen, die ebenfalls im Frontbereich 406 angeordnet sein können und in 6 nicht dargestellt sind. Basierend auf den Daten des LiDAR-Sensors bzw. der Stereokamera kann durch die optische Schienenwegerkennung mit integrierter Hinderniserkennung eine Entfernungsbestimmung des Objekts 409 zum Schienenfahrzeug 400 ermittelt werden.
-
Alternativ hierzu kann auf der Recheneinheit 500 ferner ein Entfernungsmodul (in 6 nicht dargestellt) der optischen Schienenwegerkennung mit integrierter Hinderniserkennung eingerichtet sein, das ausgebildet ist, basierend auf den Bildaufnahmen der Kamera 405 eine Entfernungsbestimmung des Objekts 409 relativ zum Schienenfahrzeug 400 durchzuführen.
-
Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
