DE102021207417A1

DE102021207417A1 - Überwachungsverfahren und -system

Info

Publication number: DE102021207417A1
Application number: DE102021207417.0A
Authority: DE
Inventors: Thomas Waschulzik
Original assignee: Siemens Mobility GmbH
Current assignee: Siemens Mobility GmbH
Priority date: 2021-07-13
Filing date: 2021-07-13
Publication date: 2023-01-19
Also published as: EP4119417A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und ein System (50) zur Überwachung eines Fahrzeugumfelds (10) bei der Fahrt eines Fahrzeugs (1) auf einer Route (2) sowie ein Fahrzeug (1). Dabei wird eine Szene im Fahrzeugumfeld sensorisch erfasst und entsprechende Sensordaten erzeugt. Auf Grundlage der Sensordaten und in einer Datenbank (52) gespeicherten, qualitätsgesicherten Routeninformation wird eine virtuelle Szenenrepräsentation der erfassten Szene ermittelt.

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein System zur Überwachung eines Fahrzeugumfelds bei der Fahrt eines Fahrzeugs auf einer Route sowie ein Fahrzeug, insbesondere Schienenfahrzeug.
Moderne Fahrzeuge, insbesondere Schienenfahrzeuge, sind üblicherweise mit einer Sensorik ausgestattet, die zur Überwachung des Fahrzeugumfelds eingesetzt wird. Mithilfe der Sensorik können beispielsweise andere Verkehrsteilnehmer oder Fahrspuren erfasst und die dabei gewonnene Information von Assistenzsystemen zur - gegebenenfalls unterstützenden - Steuerung des Fahrzeugs eingesetzt werden. Dabei ist es eine besondere Herausforderung, die bei der Überwachung des Fahrzeugumfelds anfallende Datenmenge zu verarbeiten. Beispielsweise kann es schwierig sein, komplexe Fahrsituationen, in denen eine Vielzahl von statischen Objekten und/oder anderen Verkehrsteilnehmern miteinander interagiert, zu analysieren und eine der Situation angemessene Reaktion des Assistenzsystems zu ermitteln.
Es ist eine Aufgabe der vorliegenden Erfindung, eine Analyse von Fahrsituationen zu verbessern, insbesondere zu vereinfachen.
Diese Aufgabe wird gelöst durch ein Verfahren und ein System zur Überwachung des Fahrzeugumfelds bei einer Fahrt eines Fahrzeugs auf einer Route sowie ein Fahrzeug gemäß den unabhängigen Ansprüchen.
Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche und der folgenden Beschreibung.
Ein erster Aspekt der Erfindung betrifft ein, insbesondere computerimplementiertes, Verfahren zur Überwachung eines Fahrzeugumfelds bei der Fahrt eines Fahrzeugs, insbesondere eines Schienenfahrzeugs, auf einer, insbesondere vorgegebenen, Route. Das Verfahren weist die folgenden Schritte auf: (i) sensorisches Erfassen einer Szene im Fahrzeugumfeld und Erzeugen entsprechender Sensordaten; (ii) Erzeugen einer virtuellen Szenenrepräsentation der erfassten Szene auf Grundlage der Sensordaten und in einer Datenbank gespeicherter, qualitätsgesicherter Routeninformation.
Unter einer Szene im Sinne der Erfindung ist vorzugsweise eine Fahrsituation des Fahrzeugs zu verstehen. Anders gesagt kann eine Szene eine „Momentaufnahme“ der Umgebung des Fahrzeugs zu einem bestimmten Zeitpunkt darstellen. Somit ist eine Szene zweckmäßigerweise durch Objekte aus dem Umfeld des Fahrzeugs und deren Anordnung relativ zueinander und/oder zum Fahrzeug zu einem bestimmten Zeitpunkt gekennzeichnet.
Unter einer virtuellen Szenenrepräsentation im Sinne der Erfindung ist vorzugsweise ein digitales Abbild einer (realen) Szene, beispielsweise aus dem Fahrzeugumfeld, zu verstehen. Anhand einer virtuellen Szenenrepräsentation kann etwa ein Assistenzsystem das Fahrzeugumfeld analysieren und das Fahrzeug oder zumindest einzelne Fahrzeugfunktionen auf Grundlage der Analyse steuern und/oder dem Fahrzeugführer zumindest Hinweise zur Fahrzeugsteuerung geben.
Unter einer Routeninformation im Sinne der Erfindung ist vorzugsweise eine Zusatzinformation zu möglichen Szenen auf der Route zu verstehen. Bei der Routeninformation kann es sich beispielsweise um eine Zusatzinformation zu sensorisch erfassbaren Objekten oder einem bestimmten Bereich in der gegenwärtig erfassten Szene handeln. Die Routeninformation kann dabei zumindest teilweise routenspezifisch sein. Beispielsweise ist es denkbar, dass durch die Routeninformation besondere Objekte, Objektkonstellationen, Streckenabschnitte und/oder dergleichen, die entlang der Route auftreten, und/oder deren Auswirkungen aufeinander und/oder auf das Fahrzeug gekennzeichnet sind.
Unter einer Datenbank im Sinne der Erfindung ist vorzugsweise eine, insbesondere digitale, Karte zu verstehen, die zum Beispiel routenspezifische Information enthalten kann. Dabei ist die in der Datenbank enthaltene, insbesondere routenspezifische, Information zweckmäßigerweise mit einer geographischen Information verknüpft. Bevorzugt ist insbesondere, wenn die Datenbank zusätzlich auch generische Information zum Fahrzeugumfeld, zum Beispiel zu möglicherweise im Fahrzeugumfeld auftretenden Verkehrsteilnehmern, enthält. Zweckmäßigerweise enthält die Datenbank, zum Beispiel neben einer Routeninformation zum Verlauf von Straßen oder Wegen, zusätzliche Information zur Umgebung der Straßen, beispielsweise zu sogenannten Landmarken. Die Landmarken können mit extrem hoher räumlicher Auflösung beispielsweise Verkehrszeichen, Ampeln, Straßenlampen, Bauwerke und/oder andere markante Objekte in der Umgebung von Straßen oder Wegen charakterisieren.
Unter einer qualitätsgesicherten Information im Sinne der Erfindung ist vorzugsweise eine Information zu verstehen, die wenigstens eine vorgegebene Sicherheitsanforderung erfüllt. Eine qualitätsgesicherte Information kann beispielsweise mit einer vorgegebenen Wahrscheinlichkeit korrekt sein bzw. einen geringen Fehler aufweisen, sodass ein auf die Information zurückgreifendes System nur eine geringe Wahrscheinlichkeit für ein die Gesundheit oder das Leben gefährdendes Verhalten aufweist. Eine auf Grundlage der qualitätsgesicherten Information betriebenes (Assistenz-)System erfüllt vorzugsweise eine sogenannte Sicherheitsanforderungsstufe (SIL), um eine Gefährdung von Personen, der Umwelt oder Prozessen durch das System mit einer vorgegebenen Zuverlässigkeit - zum Beispiel auf weniger als eine Gefährdung alle elf Jahre - reduzieren zu können.
Die qualitätsgesicherte Information kann zum Beispiel Eigenschaften, im Folgenden auch Merkmale genannt, von Objekten charakterisieren. Die Qualitätssicherung der Information umfasst zweckmäßigerweise unter anderem, dass zumindest eine Kombination der Eigenschaften bzw. Merkmale spezifisch für jedes der Objekte ist. Insbesondere kann für eine qualitätsgesicherte Information vorgesehen sein, dass die eindeutige Beschreibung eines Objekts durch zumindest ein Merkmal, insbesondere eine Kombination von Merkmalen, hinsichtlich der Spezifität gegenüber anderen Objekten gesichert ist.
Ein Aspekt der Erfindung basiert auf dem Ansatz, eine auf einer sensorischen Erfassung eines Fahrzeugumfelds basierende virtuelle Szenenrepräsentation, die eine reale Szene aus dem Fahrzeugumfeld charakterisiert, mithilfe von externer Information anzupassen, insbesondere zu vereinfachen und/oder zu ergänzen. Externe Information bedeutet hierbei, dass die Information nicht von dem Fahrzeug oder seinen Sensoren bereitgestellt wird, sondern vielmehr zum Beispiel einer Datenbank entnommen wird. Eine derart angepasste virtuelle Szenenrepräsentation kann dann zum Beispiel analysiert und der Steuerung zumindest einer Teilfunktion des Fahrzeugs zugrunde gelegt werden. Die Ermittlung der Szene unter Berücksichtigung der Information aus der Datenbank ermöglicht dabei nicht nur eine zuverlässigere, sondern gegebenenfalls auch eine schnellere Szenenanalyse.
Ein Zurückgreifen auf in der Datenbank gespeicherte auch als Routeninformation bezeichnete externe Information ist besonders vorteilhaft, da dadurch Vorwissen über das Fahrzeugumfeld entlang der Route in die Ermittlung der virtuellen Szenenrepräsentation - insbesondere in deren Anpassung - einfließen kann. Dabei wird ausgenutzt, dass gerade Schienenfahrzeuge wiederholt auf derselben Route verkehren und so beispielsweise Objekte, die keine Beeinträchtigung der Fahrsicherheit bewirken, vorbekannt sein oder zumindest ermittelt werden können. Soll die virtuelle Szenenrepräsentation beispielsweise einer Gefährdungsanalyse zur Beurteilung der Fahrsicherheit zugrunde gelegt werden, müssen diese Objekte gar nicht mit in die Szenenrepräsentation aufgenommen werden oder können dort als für die Fahrsicherheit irrelevant markiert werden. Durch diese technische Unterstützung kann auch ein Fahrzeugführer, der für diese Strecke noch nicht ausgebildet ist, mit vergleichbarem Sicherheitsniveau eine neue Strecke fahren wie ein ausgebildeter Fahrer, wodurch sich die Flexibilität des Schienenfahrzeugbetriebs bezüglich der Personalplanung erheblich steigern lässt.
Zur Ermittlung der virtuellen Szenenrepräsentation kann beispielsweise eine Szene im Umfeld des Fahrzeugs, etwa das Gleisbett vor einem Zug oder ein Bahnsteig bei Einfahrt des Zugs in einen Bahnhof, sensorisch erfasst und die Position des Fahrzeugs auf seiner Route bestimmt werden. Aus einer digitalen Karte lässt sich dann mit der Position korrespondierende Routeninformation laden. Anhand bei der sensorischen Erfassung des Fahrzeugumfelds erzeugter Sensordaten und der Routeninformation kann die virtuelle Szenenrepräsentation erzeugt werden. Es ist insbesondere denkbar, dass die auf Grundlage der Sensordaten ermittelte virtuelle Szenenrepräsentation anhand der Routeninformation angepasst, d. h. weiter modifiziert wird.
Dabei ist die Routeninformation zweckmäßigerweise qualitätsgesichert, d. h. insbesondere präzise, vollständig, aktuell und verfügbar.
Dies bedeutet, dass die Semantik der Information wohldefiniert sein sollte, damit zum Beispiel eine Interpretation durch einen auf der Information aufbauenden Algorithmus korrekt erfolgt. Enthält die Information beispielsweise Objektmerkmale zur Charakterisierung eines Objekts, sollte der Wertebereich der Merkmale zusammen mit den möglichen Ausprägungen sowie der Semantik jeder Ausprägung exakt und vollständig definiert sein. Zudem sollten für jede Nutzung der Information, etwa im Zusammenhang mit einer sicherheitsgerichteten Funktion, die erforderlichen Parameter festgelegt sein. Bei solchen Parametern kann es sich beispielsweise um die für eine Identifikation eines Objekts oder eine Positionsbestimmung eines Objekts vorgegebenen Qualitätsmerkmale handeln. Dabei sollten die Parameter bei jeder Fahrt die korrekte Situation auf der Route darstellen. Ebenso sollte die Information für die Anwendung während der Fahrt mit der in zum Beispiel einer Sicherheitsarchitektur geforderten Qualität verfügbar sein.
Die Verwendung qualitätsgesicherter Routeninformation erlaubt so nicht nur eine besonders zuverlässige Szenenanpassung, sondern gegebenenfalls auch eine Überprüfung der sensorischen Funktionen des Fahrzeugs anhand eines Abgleichs der Routeninformation mit aus den Sensordaten gewonnener Information. Beispielsweise lassen sich aus den Sensordaten abgeleitete Eigenschaften von einem im Fahrzeugumfeld erfassten Objekt mit sogenannten in der digitalen Karte gespeicherten Merkmalsvektoren vergleichen, die Objekte im Fahrzeugumfeld charakterisieren.
Die Merkmalsvektoren weisen als Einträge vorzugsweise spezifische Merkmale der erfassten Objekte auf. Die Länge der Vektoren, d. h. die Anzahl der durch sie beschriebenen Merkmale, korrespondiert zweckmäßigerweise mit einem Zuverlässigkeitsmaß. Ein großer Umfang der in der Datenbank gespeicherten Information erlaubt das Validieren von anhand der Sensordaten erkannten Objekten aus dem Fahrzeugumfeld mit hoher Zuverlässigkeit.
Insbesondere kann durch eine Kombination von Merkmalen eines Merkmalsvektors ein auf Grundlage der Sensordaten erkanntes Objekt mit hoher Sicherheit in der Datenbank identifiziert, d. h. mit einem in der Datenbank erfassten Objekt assoziiert, werden. Dadurch kann der Nachweis des Vorliegens des Objekts in den Sensordaten geführt werden.
Zweckmäßigerweise sind die Merkmalsvektoren überbestimmt. D. h., dass bereits eine Untermenge von in den Merkmalsvektoren enthaltenen spezifischen Merkmalen ausreicht, um das Objekt eindeutig zu erkennen. Dadurch kann die Robustheit beim Vergleichen der Sensordaten mit den korrespondierenden Merkmalsvektoren erhöht werden.
Die Länge und Eigenschaften der Merkmalsvektoren sind vorzugsweise über eine Gefährdungsanalyse und Sicherheitsarchitektur definiert bzw. dadurch vorgegeben. Insbesondere sollten die Merkmale im Merkmalsvektor ausreichend spezifisch sein, damit eine zufällige Übereinstimmung zwischen Objekten aus dem Fahrzeugumfeld und in der Datenbank erfassten Objekten mit ausreichend hoher Sicherheit ausgeschlossen werden kann.
Solchen Merkmalsvektoren wird zweckmäßigerweise auch die Routeninformation zur Szenenanpassung entnommen. Die Merkmalsvektoren können beispielsweise eine Information darüber enthalten, wie groß der Einfluss des jeweiligen Objekts auf die Fahrsicherheit des Fahrzeugs ist. Entsprechend können bestimmte Objekte in der Szenenrepräsentation bei einer Steuerung des Fahrzeugs verstärkt berücksichtigt und andere Objekte dagegen vernachlässigt werden.
Nachfolgend werden bevorzugte Ausführungsformen der Erfindung und deren Weiterbildungen beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird, beliebig miteinander sowie mit den im Weiteren beschriebenen Aspekten der Erfindung kombiniert werden können.
In einer bevorzugten Ausführungsform wird beim Erzeugen der virtuellen Szenenrepräsentation ein Übereinstimmungsmaß für die Übereinstimmung einer aus den Sensordaten abgeleiteten Umweltinformation und der Routeninformation ermittelt. Das Übereinstimmungsmaß kann auch als ein Konfidenzmaß aufgefasst werden, welches die Zuverlässigkeit des Erkennens der Objekte in der Umgebung des Fahrzeugs, insbesondere die Stärke von Abweichungen zwischen der Umweltinformation und der Routeninformation, charakterisiert. Anders gesagt lässt sich mit dem Übereinstimmungsmaß eine Spezifität angeben, mit der ein Objekt auf Grundlage der Sensordaten erkannt wird. Anhand des Übereinstimmungsmaßes lässt sich die Zuverlässigkeit einer Objekterkennung besonders einfach beurteilen.
Das Übereinstimmungsmaß kann beispielsweise einen großen Wert annehmen, wenn durch die Sensordaten nicht nur Objekte charakterisiert sind, die auch durch die Routeninformation charakterisiert sind, sondern auch, wenn die Charakterisierung durch die jeweilige Information im Wesentlichen übereinstimmt. Die Routeninformation kann etwa nicht nur Information über die Position eines Objekts enthalten, sondern auch über weitere qualitätsgesicherte Merkmale, deren Nachvollziehbarkeit und Spezifität einem Gutachter nachgewiesen werden kann. Die Routeninformation kann beispielsweise auch Information über die Form, Struktur, Ausdehnung, Textur, Farbe und/oder dergleichen eines Objekts enthalten. Je größer der Anteil dieser Information ist, der mit entsprechender Information aus den Sensordaten übereinstimmt, desto größer kann das ermittelte Übereinstimmungsmaß sein. Entsprechend kann das ermittelte Übereinstimmungsmaß einen kleinen Wert annehmen, wenn zwar die in den Sensordaten enthaltene Information über eine Position und Form eines erfassten Objekts mit der entsprechenden Routeninformation im Wesentlichen übereinstimmt, die Information über die Ausdehnung und Textur jedoch nicht.
Zweckmäßigerweise wird geprüft, ob das Übereinstimmungsmaß einen vorgegebenen Übereinstimmungsschwellenwert erreicht oder überschreitet. Der Übereinstimmungsschwellenwert kann als Indikator dienen, ob eine als ausreichend bzw. sicher vorgegebene Anzahl an Eigenschaften eines erkannten Objekts mit der Routeninformation übereinstimmt. Ist dies der Fall, kann von einer sicheren Erkennung der Objekte ausgegangen werden. Daraus lässt sich zum Beispiel auf die Sicherheit der Positionsbestimmung des Fahrzeugs, die zuverlässige und exakte Funktion der Sensorik zur Erfassung und Ermittlung der Objektpositionen und gegebenenfalls der korrekten Kalibrierung mehrerer Sensoren zueinander schließen. Ist dies nicht der Fall, kann davon ausgegangen werden, dass das Objekt nicht korrekt erkannt wurde.
Der Übereinstimmungsschwellenwert hängt dabei in bevorzugter Weise von den Sicherheitsanforderungen ab oder kann abhängig davon gewählt werden. Wird der Übereinstimmungsschwellenwert groß gewählt und von dem Übereinstimmungsmaß erreicht oder überschritten, kann grundsätzlich eine hohe Sicherheitsstufe mit der Objekterkennung assoziiert werden. Wird der Übereinstimmungsschwellenwert kleiner gewählt und von dem Übereinstimmungsmaß erreicht oder überschritten, kann dagegen lediglich eine geringe Sicherheitsstufe mit der Objekterkennung assoziiert werden.
Gegebenenfalls kann für verschiedene Umstände, unter denen das Fahrzeug auf der Route fährt, unterschiedliche Routeninformation gültig sein. Daher wird in einer weiteren bevorzugten Ausführungsform die Routeninformation in Abhängigkeit von wenigstens einem Fahrtparameter bereitgestellt, also zum Beispiel aus der Datenbank gelesen. Ein Fahrtparameter kann hierbei zum Beispiel die Position, die Geschwindigkeit und/oder die Fahrtrichtung des Fahrzeugs sein. Alternativ oder zusätzlich kann ein Fahrtparameter auch das Wetter, die Uhrzeit, das Datum und/oder dergleichen sein. Dies ermöglicht eine differenzierte Beurteilung der erfassten Szene.
So kann durch die Berücksichtigung von fahrtparameterabhängiger Routeninformation die Beeinträchtigung der Fahrsicherheit durch ein Objekt im größeren Kontext berücksichtigt werden. Beispielsweise lassen sich Personen auf einem Bahnsteig bei der Durchfahrt eines Zugs durch den Bahnhof sicherheitstechnisch anders bewerten als Personen, die sich auf einem möglicherweise baulich getrennten Weg neben der Bahnstrecke aufhalten. Während letztere nicht mit in die virtuelle Szenenrepräsentation aufgenommen werden müssen, kann die Berücksichtigung der Personen auf dem Bahnsteig für die Fahrsicherheit von größter Bedeutung sein.
Befindet sich eine Person jedoch auf oder an der freien Strecke ohne eine schützende Barriere, insbesondere in der gleichen Entfernung zum Fahrweg wie die Person im Bahnhof, dann wird sie für die Sicherheit der Fahrt als relevanter betrachtet, da sich diese Person an der Position eigentlich nicht aufhalten dürfte. Befindet sich diese Person auf der freien Strecke ohne Barriere in der räumlichen Nähe zu einem Krankenhaus, in dem Personen mit psychiatrischen Erkrankungen behandelt werden, so kann die Bewertung der geringen Entfernung der Person zum Fahrweg von noch größerer Bedeutung sein. Entsprechend kann die Bewertung des Sachverhalts, dass eine Person sich in der Nähe des Gleises befindet, sehr stark von dem Kontext in der Szene abhängen. Die Information für die sicherheitstechnische Bewertung der Relativposition der Person zum Gleis ist vorzugsweise entsprechend qualitätsgesichert in der Datenbank hinterlegt. Die sicherheitstechnische Bewertung kann so für die komplette Strecke bei der Planung der Fahrt hinterlegt werden, wodurch diese Bewertung nicht durch einen Algorithmus während der Fahrt bestimmt werden muss.
In einer weiteren bevorzugten Ausführungsform wird die ermittelte virtuelle Szenenrepräsentation einer Bewertung der Fahrsicherheit zugrunde gelegt. So kann zum Beispiel eine Analyse der virtuellen Szenenrepräsentation durchgeführt und anhand der Analyse eine Gefährdungsbewertung vorgenommen werden. Dabei ist unter der Fahrsicherheit vorzugsweise die Sicherheit sowohl im Hinblick auf eine Gefährdung des Fahrzeugs durch sein Umfeld, zum Beispiel durch Objekte im Fahrzeugumfeld, als auch im Hinblick auf eine Gefährdung des Fahrzeugumfelds, also zum Beispiel von Objekten im Fahrzeugumfeld, durch das Fahrzeug zu verstehen. Auf Grundlage der virtuellen Szenenrepräsentation kann das Fahrzeug sicher durch sein Umfeld, insbesondere entlang der vorgegebenen Route, gesteuert werden.
In einer weiteren bevorzugten Ausführungsform wird für in der erfassten Szene identifizierte Objekte anhand der Routeninformation geprüft, ob ein vorgegebenes Gefährdungskriterium erfüllt ist. Vorzugsweise werden die Objekte in Abhängigkeit eines Ergebnisses der Prüfung bei der Ermittlung der virtuellen Szenenrepräsentation berücksichtigt, beispielsweise in der Szenenrepräsentation etwa durch einen „Flag“, d. h. einen Statusindikator, markiert oder gar nicht erst mit aufgenommen. Vorzugsweise können die Objekte in Abhängigkeit eines Ergebnisses der Prüfung/der Markierung bei einer auf der Szenenrepräsentation basierenden Bewertung der Fahrsicherheit berücksichtigt werden. Beispielsweise ist es denkbar, dass Objekte in Abhängigkeit ihrer Markierung bei der Bewertung aus der Szenenrepräsentation entfernt werden. Dadurch kann vermieden werden, dass der (Rechen-)Aufwand bei einer Analyse der Szenenrepräsentation, insbesondere im Hinblick auf die Fahrsicherheit, durch die unnötige Berücksichtigung per se ungefährlicher Objekte, zum Beispiel stationärer Objekte wie Gebäude, Vegetation und/oder dergleichen, steigt.
Zweckmäßigerweise enthält die Routeninformation eine Gefährdungsbewertung - im Hinblick auf die Fahrt des Fahrzeugs - einzelner Objekte in der erfassten Szene. Beispielsweise können einzelne Objekte entlang der Route, gegebenenfalls sogar ganze Typen von Objekten, als gefährlich oder ungefährlich bewertet sein und/oder einen Gefährdungsscore aufweisen. Diese Typinformation ist zweckmäßigerweise ebenfalls qualitätsgesichert. Dies erlaubt eine besonders einfache Prüfung, ob das vorgegebene Gefährdungskriterium erfüllt ist bzw. eine besonders einfache Berücksichtigung der Routeninformation.
In einer weiteren bevorzugten Ausführungsform enthält die Routeninformation eine Typinformation spezifisch für einen Objekttyp, d. h. eine Information, die einen Objekttyp charakterisiert. Vorzugsweise werden alle Objekte eines Objekttyps bei der Ermittlung der virtuellen Szenenrepräsentation gemäß der Typeninformation berücksichtigt, z. B. markiert. Besonders bevorzugt werden auf Grundlage der Typeninformation alle Objekte eines Objekttyps aus der virtuellen Szenenrepräsentation entfernt, zum Beispiel um die Szenenanalyse zu erleichtern. Unter einer Typinformation kann hierbei insbesondere eine generalisierte Information zu einem Objekttyp verstanden werden, zum Beispiel zu einem Fahrzeug oder einer bestimmten Fahrzeugklasse, einem Fußgänger, der Vegetation, Bauwerken, Signalanlagen und/oder dergleichen. Die Typeninformation kann insbesondere eine allgemeingültige Gefährdungsbewertung eines spezifischen Objekttypen, d. h. eine für alle Objekte dieses Typs gültige Gefährdungsbewertung etwa in Form eines Gefährdungsscores, enthalten. Die Typeninformation kann beispielsweise die Information enthalten, dass ein Fußgänger durch das Fahrzeug potenziell besonders stark gefährdet sein kann. Alternativ oder zusätzlich kann die Typeninformation die Information enthalten, dass von Vögeln oder einem entgegenkommenden Schienenfahrzeug (auf einem anderen Gleis) generell keine Gefahr ausgeht. Mithilfe der Typeninformation kann so der Tatsache Rechnung getragen werden, dass bestimmte Objekte aus einer erfassten Szene im Hinblick auf die Fahrsicherheit a priori nicht berücksichtigt werden müssen.
In einer weiteren bevorzugten Ausführungsform enthält die Routeninformation eine Szeneninformation spezifisch für einen Bereich in der erfassten Szene. Anders gesagt enthält die Routeninformation eine Information, die einen Bereich in der Szene, vorzugsweise im Hinblick auf seine Auswirkung auf die Fahrsicherheit, charakterisiert. Zweckmäßigerweise wird die Ermittlung oder eine (spätere) Anpassung der virtuellen Szenenrepräsentation dann auf Grundlage der Szeneninformation vorgenommen. Durch die Szeneninformation kann eine bessere Absicherung der Fahrt auch in potenziell gefährlichen Abschnitten der Route erreicht werden.
Beispielsweise können durch die Szeneninformation Bereiche gekennzeichnet sein, in denen Objekte niemals als gefährlich zu betrachten sind. So können etwa Bereiche gekennzeichnet sein, die durch eine Barriere, etwa eine bauliche Maßnahme, von der Route des Fahrzeugs, zum Beispiel vom Gleisbett, getrennt sind. Für in der erfassten Szene erkannte Objekte kann anhand der Szeneninformation geprüft werden, ob sie aus der virtuellen Szenenrepräsentation entfernt werden können oder ob sie überhaupt aufgenommen werden sollten. Andersherum können anhand der Szeneninformation ebenso Bereiche hervorgehoben werden, in und/oder aus denen besonders große Gefahr droht. Beispielsweise kann bei einer Szenenanalyse einem durch die Szeneninformation gekennzeichneten Bereich, etwa einem Bahnsteig, besonders große Aufmerksamkeit gewidmet werden.
In einer weiteren bevorzugten Ausführungsform enthält die Routeninformation eine Wechselwirkungsinformation zur Wechselwirkung zwischen wenigstens zwei Objekten in der erfassten Szene. Beispielsweise kann die Routeninformation eine Information zu einer Barriere im Fahrzeugumfeld enthalten, welche die Bewegungsfreiheit von anderen Objekten im Fahrzeugumfeld einschränkt. So kann in der Datenbank etwa die Information hinterlegt sein, dass ein parallel zu Route verlaufender Fußweg durch einen Zaun von der Route, zum Beispiel einem Gleisbett, getrennt ist, welcher Fußgänger am Betreten der Route hindert. Ebenso ist es denkbar, dass in der Datenbank die Position eines an einem Bahnübergang stehenden Baumes hinterlegt ist, der durch seinen Schattenwurf die Erfassung von Personen auf dem Bahnübergang erschwert. Dies macht es möglich, die Auswirkung von bestimmten Objekten auf ihr Umfeld differenziert, gegebenenfalls sogar bereits bei der sensorischen Erfassung der Szene, zu berücksichtigen.
Vorzugsweise wird die Ermittlung, insbesondere die (spätere) Anpassung, der virtuellen Szenenrepräsentation unter Berücksichtigung der Wechselwirkungsinformation vorgenommen. Im Fall der zuvor genannten Beispiele könnten etwa sich auf dem Fußweg befindliche Personen aus der virtuellen Szenenrepräsentation entfernt oder als ungefährlich markiert werden, oder die Szenenrepräsentation im Schatten des Baumes mit anderen Parametern oder Sensoren erfasst und/oder verarbeitet werden.
In einer weiteren bevorzugten Ausführungsform wird anhand der Routeninformation, insbesondere der Wechselwirkungsinformation, ein Sicherheitsbereich in der erfassten Szene ermittelt, in dem die Gefährdung der Fahrt durch ein Objekt aus der Szene zumindest vermindert ist. Ein Sicherheitsbereich kann hierbei auch als Schutzzone verstanden werden, in der Objekte die Fahrsicherheit nicht beeinträchtigen können. Ein Sicherheitsbereich kann beispielsweise durch eine Barriere, etwa einen Zaun, einen Wall, eine Schranke, eine Sicherheitslinie auf einem Bahnsteig und/oder dergleichen, gebildet sein. Dabei befindet sich der Sicherheitsbereich zweckmäßigerweise auf einer von der Route abgewandten Seite der Barriere. In der Szene erfasste Objekte, die sich im Sicherheitsbereich befinden, können entsprechend aus der Szenenrepräsentation entfernt oder als ungefährlich markiert werden. Alternativ kann zumindest ihre Gefährdungsbewertung angepasst werden, also zum Beispiel ein ihnen zugeordneter Gefährdungsscore zumindest zeitweise herabgesetzt werden.
In einer weiteren bevorzugten Ausführungsform wird die Auswirkung des Sicherheitsbereichs auf eine Trajektorie eines Objekts aus der Szene ermittelt. Diese Auswirkung auf die Trajektorie wird zweckmäßigerweise bei der Ermittlung, insbesondere der (späteren) Anpassung, der virtuellen Szenenrepräsentation berücksichtigt. Vorzugsweise hängt die Auswirkung des Sicherheitsbereichs auf ein Objekt dabei von der mit dem Objekt korrespondieren Typinformation, d. h. vom Objekttyp, ab. Poller können beispielsweise die Fahrt eines Fahrradfahrers verzögern, während ein Fußgänger im Wesentlichen ungehindert weiterlaufen kann, ein Auto jedoch gestoppt wird. Die Auswirkungen einer Barriere auf bewegliche Objekte können somit differenziert berücksichtigt werden.
Die Auswirkung auf die Trajektorie kann dabei auch von der mit der Barriere korrespondierenden Typinformation abhängen. Je nach Typ der Barriere kann der Szenenanpassung zum Beispiel eine starke Einschränkung der Bewegung von Objekten zugrunde gelegt werden, zum Beispiel durch einen Zaun oder durch eine Schranke, oder eine schwache Einschränkung, etwa durch eine Sicherheitslinie auf einem Bahnsteig. Zweckmäßigerweise ist eine Information zur Stärke der Auswirkung in der Wechselwirkungsinformation enthalten.
In einer weiteren bevorzugten Ausführungsform wird die Routeninformation während der Fahrt des Fahrzeugs auf der Fahrtroute validiert. Vorzugsweise wird während der Fahrt hierbei insbesondere geprüft, ob ein Objekt in der erfassten Szene die - zum Beispiel gemäß der Wechselwirkungsinformation - erwarteten Auswirkungen auf andere Objekte in der Szene hat. Es kann so beispielsweise geprüft werden, ob eine Barriere bzw. ein durch sie definierter Sicherheitsbereich intakt ist, die Bewegung von anderen Objekten also tatsächlich, insbesondere in dem erwarteten Maße, einschränkt. Durch eine derartige Validierung der Routeninformation kann die Fahrt des Fahrzeugs, insbesondere aber die zukünftigen Fahrten von anderen Fahrzeugen auf der gleichen Route, noch besser abgesichert werden. Alternativ oder zusätzlich ist es auch denkbar, dass bei fehlgeschlagener Validierung entsprechende Sicherungsmaßnahmen eingeleitet werden, etwa die Routeninformation korrigiert und/oder ein Nothalt eingeleitet wird.
In einer weiteren bevorzugten Ausführungsform wird die Routeninformation anhand eines Vergleichs der zeitlichen Entwicklung der erfassten Szene mit einer Prädiktion auf Grundlage der Routeninformation validiert. Beispielsweise kann eine ermittelte („gemessene“) Trajektorie eines im Bereich einer Barriere erfassten Radfahrers mit einer etwa anhand der Wechselwirkungsinformation vorhergesagten Trajektorie des Radfahrers verglichen werden. Bei einer Übereinstimmung kann davon ausgegangen werden, dass die Routeninformation korrekt ist.
In einer weiteren bevorzugten Ausführungsform wird (i) zusätzliche Objektinformation spezifisch für ein Objekt aus der erfassten Szene empfangen und (ii) die virtuelle Szenenrepräsentation auf Grundlage der zusätzlichen Objektinformation ermittelt, insbesondere angepasst. Solche zusätzliche Objektinformation kann zum Beispiel von Objekten aus der Szene gesendet werden, etwa von anderen Verkehrsteilnehmern, Signalanlagen, an der Route arbeitendem Personal und/oder dergleichen. Die Berücksichtigung der zusätzlichen Objektinformation ist besonders vorteilhaft, da ihr besonders großes Vertrauen entgegengebracht werden kann. Anders gesagt kann die Szenenrepräsentation auf Grundlage besonders gesicherter Information angepasst werden.
Es ist bevorzugt, dass die ermittelte virtuelle Szenenrepräsentation an andere Verkehrsteilnehmer, beispielsweise einen entgegenkommenden Zug, übermittelt wird. Vorzugsweise wird bei der Übertragung auch eine Information über die Zuverlässigkeit der Ermittlung der virtuellen Szenenrepräsentation übermittelt. Dadurch kann die Szenenanalyse des anderen Verkehrsteilnehmers erleichtert werden.
In einer weiteren bevorzugten Ausführungsform enthält die zusätzliche Objektinformation eine Zustandsinformation, die einen Zustand eines Objekts in der erfassten Szene charakterisiert. Anhand der Zustandsinformation lässt sich vorzugsweise die gegenwärtige Gefährdung für die Fahrt des Fahrzeugs und/oder das Objekt durch das Fahrzeug beurteilen. Eine solche Zusatzinformation kann beispielsweise den Öffnungszustand einer Schranke betreffen: ist die Schranke zu, besteht eine geringe Gefährdung, ist die Schranke jedoch offen, besteht eine hohe Gefährdung. Die Zusatzinformation kann auch beinhalten, dass an der Route arbeitendes Personal die Annäherung des Fahrzeugs wahrgenommen und bestätigt hat. Die Zustandsinformation kann aber auch einen dynamischen Zustand charakterisieren, zum Beispiel die Beschleunigung eines Verkehrsteilnehmers: bremst der Verkehrsteilnehmer vor einem Bahnübergang, besteht eine geringe Gefährdung, beschleunigt der Verkehrsteilnehmer jedoch oder behält seine Geschwindigkeit bei, besteht eine hohe Gefährdung. Die Information über dynamische Objekte kann auch von einem streckenseitigen System kommen, welches einen gewissen Bereich überwacht und die Information über dynamische Objekte qualitätsgesichert übermittelt.
In einer weiteren bevorzugten Ausführungsform enthält die Routeninformation eine Beleuchtungsinformation. Die Beleuchtungsinformation kann beispielsweise eine Information über den Schattenwurf von Objekten in der erfassten Szene, über Blendeffekte, Spiegelungen, Helligkeitsverläufe und/oder dergleichen enthalten, die zum Beispiel beim sensorischen Erfassen der Szene zu erwarten sind. Zweckmäßigerweise werden bei der Ermittlung der virtuellen Szenenrepräsentation, gegebenenfalls sogar bereits beim sensorischen Erfassen der Szene, beleuchtungsbedingte Effekte berücksichtigt. Beispielsweise können beschattete Bereiche in der Szenenrepräsentation beleuchtet werden oder Objekte als Spiegelungen eines anderen Objekts identifiziert und aus der Szenenrepräsentation entfernt oder gar nicht erst aufgenommen werden. Somit lassen sich auch scheinbar komplexe Entscheidungssituationen zuverlässig auflösen oder zumindest vereinfachen.
Ein zweiter Aspekt der Erfindung betrifft ein System zur Überwachung eines Fahrzeugumfelds bei der Fahrt eines Fahrzeugs, insbesondere Schienenfahrzeugs, auf einer, insbesondere vorgegebenen, Route. Das System weist eine Sensorvorrichtung auf, die zum Erfassen einer Szene und Erzeugen entsprechender Sensordaten eingerichtet ist, und eine Datenbank, in der eine qualitätsgesicherte Routeninformation gespeichert ist. Zudem ist eine Datenverarbeitungsvorrichtung vorgesehen, die zum Erzeugen einer virtuellen Szenenrepräsentation auf Grundlage der Sensordaten und der Routeninformation eingerichtet ist.
Ein solches System ist vorzugsweise dazu eingerichtet, das Verfahren gemäß dem ersten Aspekt der Erfindung auszuführen. Es kann besonders vorteilhaft bei einem Schienenfahrzeug eingesetzt werden, um eine sichere Fahrt des Schienenfahrzeugs auf einer vorgegebenen Route, d. h. entlang von Schienen, sicherzustellen und/oder die Gefährdung von Objekten aus dem Umfeld des Fahrzeugs oder, allgemeiner, dem Umfeld der Route zu vermeiden oder zumindest zu verringern.
Ein Fahrzeug, insbesondere Schienenfahrzeug, gemäß einem dritten Aspekt der Erfindung weist ein System gemäß dem zweiten Aspekt der Erfindung auf.
Die bisher gegebene Beschreibung bevorzugter Ausführungsformen der Erfindung enthält zahlreiche Merkmale, die in den einzelnen Unteransprüchen teilweise zu mehreren zusammengefasst wiedergegeben sind. Diese Merkmale können jedoch zweckmäßigerweise auch einzeln betrachtet und zu sinnvollen weiteren Kombinationen zusammengefasst werden. Insbesondere sind diese Merkmale jeweils einzeln und in beliebiger geeigneter Kombination mit dem Verfahren gemäß dem ersten Aspekt der Erfindung, dem System gemäß dem zweiten Aspekt der Erfindung und dem Fahrzeug gemäß dem dritten Aspekt der Erfindung kombinierbar. So sind Verfahrensmerkmale auch als Eigenschaft der entsprechenden Vorrichtungseinheit gegenständlich formuliert zu sehen und umgekehrt.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Die Ausführungsbeispiele dienen der Erläuterung der Erfindung und beschränken die Erfindung nicht auf die darin angegebene Kombination von Merkmalen, auch nicht in Bezug auf funktionale Merkmale. Außerdem können dazu geeignete Merkmale eines jeden Ausführungsbeispiels auch explizit isoliert betrachtet, aus einem Ausführungsbeispiel entfernt, in ein anderes Ausführungsbeispiel zu dessen Ergänzung eingebracht und mit einem beliebigen der Ansprüche kombiniert werden.
Es zeigen:

1 ein Beispiel einer Szene aus dem Umfeld eines Fahrzeugs;
2 ein Beispiel einer Szeneninformation spezifisch für einen Bereich einer Szene;
3 ein Beispiel eines Systems zum Überwachen eines Fahrzeugumfelds; und
4 ein Beispiel für eine Nutzung von in einer Datenbank gespeicherten, qualitätsgesicherten Routeninformation.

1 zeigt ein Beispiel einer Szene aus dem Umfeld 10 eines Fahrzeugs 1. Das Fahrzeug 1 ist hier beispielhaft als Schienenfahrzeug ausgebildet, das auf einer durch einen Schienenstrang vorgegebenen Route 2 fährt. Die Szene ist durch Objekte 11 aus dem Umfeld 10 des Fahrzeugs 1 - oder, allgemeiner formuliert: aus dem Umfeld der Route 2 - charakterisiert. Vorliegend befindet sich im Umfeld 10 des Fahrzeugs 1 rein beispielhaft ein Baum 11a, ein Wall 11b, ein Fußweg 11c, Vögel 11d, eine Signalanlage 11e, eine Brücke 11f und Personen 11g.
Das Fahrzeug 1 ist mit einer Sensorvorrichtung 51 ausgestattet, mit der es sein Umfeld 10, insbesondere die gegenwärtige, auch als Fahrsituation bezeichnete Szene, erfassen kann. Die bei der Erfassung gewonnene Information über das Fahrzeugumfeld 10, zum Beispiel über die die Szene konstituierenden Objekte 11, können einer Steuerung des Fahrzeugs 1 oder zumindest einzelnen Fahrzeugfunktionen zugrunde gelegt werden. Solche Information kann insbesondere von Assistenzsystemen genutzt werden, um das Fahrzeug 1 sicher entlang der Route 2 zu bewegen, d. h. ohne das Fahrzeug 1 oder Objekte 11 im Umfeld 10 des Fahrzeugs gefährden.
Die bei der Erfassung gewonnene Information kann auch als virtuelle Szenenrepräsentation aufgefasst werden, da sie die reale Szene charakterisiert. Eine solche virtuelle Szenenrepräsentation kann zum Beispiel aus von der Sensorvorrichtung 51 erzeugten Sensordaten abgeleitet werden.
Da die Analyse einer solchen virtuellen Szenenrepräsentation, zum Beispiel im Hinblick auf zu ergreifende Steuerungsmaßnahmen, im Allgemeinen sehr aufwändig und komplex ist, wird zweckmäßigerweise in einer Datenbank gespeicherte, qualitätsgesicherte Routeninformation herangezogen, um die Szenenrepräsentation zu ermitteln, insbesondere anzupassen. Dadurch kann der Tatsache Rechnung getragen werden, dass üblicherweise nicht alle Objekte 11 im Umfeld 10 des Fahrzeugs 1 die Fahrsicherheit des Fahrzeugs 1 beeinträchtigen (können).
Zum Beispiel stellen stationäre Objekte wie der Baum 11a, der Wall 11b, der Fußweg 11c, oder die Brücke 11f für das schienengebundene Fahrzeug 1 keine Gefahr dar. Bei einer Szenenanalyse muss Ihnen daher keine oder nur untergeordnete Aufmerksamkeit zuteil werden. Anders gesagt können diese stationären Objekte bei einer Gefährdungsbewertung auf Grundlage der virtuellen Szenenrepräsentation beispielsweise aus der Szenenrepräsentation entfernt werden oder zumindest übergangen werden.
Anders stellen dynamische Objekte wie die Vögel 11d oder die Personen 11g potenziell eine Gefahr für das Fahrzeug 1 dar - oder können durch das Fahrzeug 1 gefährdet sein -, da sie sich in den Fahrweg des Fahrzeugs 1 bewegen können. Diesen dynamischen Objekten kann bei der Szenenanalyse daher eine erhöhte Aufmerksamkeit zuteil werden.
Ebenso sind auch speziell für den Betrieb des Fahrzeugs 1 vorgesehene Objekte 11 wie die Signalanlage 11e für die Fahrsicherheit wichtig. Auch solche als Betriebsobjekte bezeichenbare Objekte 11 sollten bei der Szenenanalyse berücksichtigt werden.
Routeninformation zu den stationären Objekten 11, die sich bei jeder Fahrt eines Fahrzeugs 1 auf der Route 2 im Fahrzeugumfeld 10 befinden bzw. von der Sensorvorrichtung 51 bei jeder Fahrt des Fahrzeugs 1 entlang der Route 2 erfasst werden, kann unmittelbar in der Datenbank erfasst sein. In der virtuellen Szenenrepräsentation kann anhand der Routeninformation entsprechend leicht geprüft werden, ob ein in der Umgebung 10 erfasstes Objekt 11 stationär ist oder dynamisch - zum Beispiel indem geprüft wird, ob seine Position relativ zum Fahrzeug 1 oder zur Route 2 durch die Routeninformation charakterisiert ist. Die Verknüpfung eines stationären Objekts 11 mit einer fixen Position kann dabei als Gefährdungskriterium aufgefasst werden, auf dessen Grundlage stationäre und/oder nicht stationäre Objekte 11 in der Szenenrepräsentation entsprechend markiert (also zum Beispiel mit einem entsprechenden „Flag“ versehen) oder gar ganz aus der Szenenrepräsentation entfernt werden können. Anhand dieser Markierung lässt sich bei einer Bewertung der Fahrsicherheit - und in Folge auch bei der Erzeugung von ansprechenden Steuersignalen zur Steuerung des Fahrzeugs 1 - erkennen, ob und/oder welche der Objekte 11 berücksichtigt werden sollen oder unberücksichtigt bleiben können.
Dabei ist es denkbar, dass auch ausgewählte Typen von dynamischen Objekten 11d, 11g in der virtuellen Szenenrepräsentation ebenfalls als ungefährlich markiert oder aus der virtuellen Szenenrepräsentation entfernt werden. Beispielsweise kann davon ausgegangen werden, dass die Vögel 11d die Fahrsicherheit des Fahrzeugs 1 nicht beeinträchtigen können. Die Routeninformation kann daher entsprechende Typinformation enthalten, die spezifisch für einen Objekttyp ist. Diese Typinformation stellt somit eine generische Information dar, mit der eine Analyse der virtuellen Szenenrepräsentation auch im Hinblick auf dynamische Objekte 11d, 11g verbessert, insbesondere vereinfacht, werden kann.
Aber selbst potenziell gefährliche Objekte 11 wie Personen 11g können unter bestimmten Umständen aus einer Gefährdungsbetrachtung ausgeschlossen werden, wie im Zusammenhang mit 2 näher erläutert wird.
2 zeigt ein Beispiel einer Szeneninformation spezifisch für jeweils einen Bereich 12a, 12b einer Szene. Die Szene wird hierbei durch Objekte 11h, 11i im Umfeld 10 eines Fahrzeugs 1 auf einer Route 2 charakterisiert. Bei den Objekten handelt es sich vorliegend um zwei Zäune 11h und zwei Schranken 11i, die entlang eines die Route 2 bildenden Schienenstrangs positioniert sind und damit die Fahrsicherheit des Fahrzeugs 1 - welches vorliegend ein schienengebundenes Fahrzeug 1 ist - sicherstellen sollen.
Sowohl die Zäune 11h als auch die Schranken 11i sind stationäre Objekte, welche die Bewegungsfreiheit von dynamischen Objekten einschränken. Solche dynamischen Objekte, beispielsweise Fußgänger, Fahrradfahrer oder sogar Autos, die sich in einem der Bereiche 12a, 12b befinden, können entsprechend nicht in den Fahrweg des Fahrzeugs 1 gelangen. Die Bereiche 12a, 12b lassen sich daher auch als Sicherheitsbereiche 13 oder Schutzzonen bezeichnen. Die stationären Objekte 11h, 11i, durch welche die Bereiche 12a, 12b bzw. Sicherheitsbereiche 13 definiert sind, können entsprechend auch als Barrieren bezeichnet werden.
Eine Routeninformation, mit welcher ein virtuelles Abbild der in 2 gezeigten Szene angepasst werden kann, enthält vorzugsweise Information bezüglich solcher Barrieren bzw. Bereiche 12a, 12b. Zumindest jedoch ist es zweckmäßig, wenn eine solche Information zur Einschränkung der Bewegungsfreiheit von anderen, insbesondere dynamischen, Objekten aus der Routeninformation abgeleitet werden kann. Beispielsweise kann die Routeninformation eine Wechselwirkungsinformation enthalten, welche die Auswirkungen eines (stationären) Objekts wie beispielsweise der Zäune 11h und/oder der Schranken 11i, d. h. insbesondere einer Barriere, auf andere Objekte charakterisiert. Entsprechend können dynamische Objekte bei der Beurteilung der Fahrsicherheit des Fahrzeugs 1 auf Grundlage einer virtuellen Szenenrepräsentation außer Betracht bleiben, wenn sie sich in einem der Bereiche 12a, 12b bzw. Sicherheitsbereiche 13 befinden.
Dabei ist es auch denkbar, dass Objekte aus der (realen) Szene zusätzliche, die Routeninformation ergänzende Objektinformation bereitstellen, mit der die virtuelle Szenenrepräsentation noch differenzierter ermittelbar oder anpassbar ist. Im vorliegenden Beispiel könnten die Schranken 11i beispielsweise mithilfe einer Kommunikationseinrichtung 14a eine Objektinformation bereitstellen, die den Öffnungszustand charakterisiert. Das Fahrzeug 1 kann diese Objektinformation mit einer entsprechenden Kommunikationseinrichtung 14b empfangen. Abhängig von dieser Objektinformation kann dann entschieden werden, ob ein dynamisches Objekt in den den Schranken 11i zugeordneten Bereichen 12b gegenwärtig an der Bewegung in den Fahrtweg, d. h. auf die Route 2, gehindert wird oder nicht.
3 zeigt ein Beispiel eines Systems 50 zur Überwachung eines Fahrzeugumfelds 10 bei der Fahrt eines Fahrzeugs, insbesondere eine Schienenfahrzeugs, auf einer Route. Das System 50 weist eine Sensorvorrichtung 51, eine Datenbank 52 sowie eine Datenverarbeitungsvorrichtung 53 auf.
Die Sensorvorrichtung 51 ist dabei zum Erfassen einer Szene aus dem Umfeld 10 des Fahrzeugs eingerichtet. Dabei kann die Sensorvorrichtung 51 beispielsweise Objekte 11 aus dem Fahrzeugumfeld 10 erfassen. Die Sensorvorrichtung 51 erzeugt zweckmäßigerweise entsprechende Sensordaten, die zum Beispiel von der Datenverarbeitungsvorrichtung 53 verarbeitet werden können. Die Sensorvorrichtung 51 weist zweckmäßigerweise eine optische Sensoreinrichtung, etwa eine oder mehrere Kameras, eine Radareinrichtung, eine Lidareinrichtung und/oder dergleichen auf.
Die Datenverarbeitungsvorrichtung 53 ist dazu eingerichtet, auf Grundlage der Sensordaten eine virtuelle Szenenrepräsentation der sensorisch erfassten Szene zu ermitteln. Zweckmäßigerweise ist die Datenverarbeitungsvorrichtung 53 dazu eingerichtet, die Objekte 11 im Umfeld 10 des Fahrzeugs auf Grundlage der Sensordaten als solche zu erkennen. Vorzugsweise kann die Datenverarbeitungsvorrichtung 53 die erkannten Objekte 11 dabei auch charakterisieren, also beispielsweise Eigenschaften wie Größe, Form, Textur, Farbe, Position relativ zu anderen Objekten und/oder zum Fahrzeug, Temperatur und/oder dergleichen der erkannten Objekte 11 aus den Sensordaten ableiten. Anders gesagt ist die Datenverarbeitungsvorrichtung 53 in bevorzugter Weise dazu eingerichtet, für jedes der Objekte 11 in der erfassten Szene einen sogenannten virtuellen Merkmalsvektor mit einer Vielzahl von Einträgen zu ermitteln, der das jeweilige Objekt 11 in der Szenenrepräsentation detailliert charakterisiert.
Die Datenbank 52 enthält eine qualitätsgesicherte Routeninformation. Eine solche Routeninformation charakterisiert vorzugsweise die Route, auf der das Fahrzeug fährt. Die Routeninformation kann beispielsweise Information über stationäre Objekte enthalten, die im Umfeld des Fahrzeugs auftauchen bzw. von der Sensorvorrichtung 51 erfasst werden, während sich das Fahrzeug entlang der Route bewegt. Zweckmäßigerweise enthält die Datenbank 52 zu jedem Objekt 11 einen detaillierten Merkmalsvektor, anhand dem das jeweilige Objekt 11 zum Beispiel eindeutig identifizierbar und/oder eine Gefährdung der Fahrt des Fahrzeugs bewertbar ist.
Alternativ oder zusätzlich kann die Routeninformation auch Information über dynamische Objekte enthalten, die gegebenenfalls im Umfeld des Fahrzeugs auftauchen könnten, also etwa generische Information zu anderen Verkehrsteilnehmern, Lebewesen und/oder dergleichen.
Die Datenverarbeitungsvorrichtung 53 ist vorzugsweise dazu eingerichtet, auf Grundlage der Routeninformation die virtuelle Szenenrepräsentation anzupassen, zum Beispiel zu vereinfachen und/oder zu ergänzen. Beispielsweise kann die Datenverarbeitungsvorrichtung 53 auf Grundlage der Routeninformation im Umfeld 10 erkannte Objekte 11 in der virtuellen Szenenrepräsentation als bedeutsam für die Fahrsicherheit hervorheben oder als unbedeutend markieren.
Dabei ist es auch denkbar, dass die Datenverarbeitungsvorrichtung 53 zusätzliche Objektinformation von Objekten 11 aus der realen Szene empfängt, welche die Routeninformation ergänzen. Eine solche Objektinformation kann beispielsweise einen Information über einen Zustand des Objekts 11 enthalten, etwa den Öffnungszustand einer Schranke, die Beschleunigung eines anderen Verkehrsteilnehmers und/oder dergleichen. Mit dieser zusätzlichen Objektinformation kann die Datenverarbeitungsvorrichtung 53 eine besonders zuverlässige und detaillierte Anpassung der virtuellen Szenenrepräsentation vornehmen.
Das System 50 kann in dem Fahrzeug, dessen Umfeld 10 überwacht werden soll, verbaut sein. Alternativ ist es aber auch möglich, dass zumindest ein Teil des Systems 50 außerhalb des Fahrzeugs angeordnet ist. Insbesondere kann das System 50 verteilt zwischen dem Fahrzeug und einer Landseite konfiguriert sein. Beispielsweise kann es sich bei der Datenbank 52 um eine zentrale Datenbank handeln, bei der die Routeninformation auf einem Server gespeichert und beispielsweise über eine drahtlose Kommunikationsverbindung abrufbar ist. Ebenso ist es auch denkbar, dass es sich bei der Datenverarbeitungsvorrichtung 53 um eine zentrale oder zumindest externe Datenverarbeitungsvorrichtung handelt, mit der das Fahrzeug über eine drahtlose Kommunikationsverbindung verbindbar ist.
4 zeigt ein Beispiel für eine Nutzung von in einer Datenbank 52 gespeicherten, qualitätsgesicherten Routeninformation. Hierbei wird ein Objekt 11e im Fahrzeugumfeld 10 mithilfe einer Sensorvorrichtung 51 eines Fahrzeugs 1 auf einer Route 2 erfasst. Aus den dabei erzeugten Sensordaten können mithilfe eines Algorithmus zur Objekterkennung, insbesondere einer künstlichen Intelligenz, Merkmale des Objekts 11e - im vorliegenden Fall rein beispielhaft eine Signalanlage - abgeleitet werden. Gegebenenfalls kann auch Hintergrundwissen über das Fahrzeugumfeld 10 in die Ableitung einfließen. Einige Merkmale können zum Beispiel durch Bildverarbeitung wie Kantendetektion, mathematische Morphologie, Fourier-, Hough- und/oder Gabor-Transformation, Wavelet-Transformation und/oder dergleichen ermittelt werden. Alternativ oder zusätzlich können Merkmale von neuronalen Netzwerken extrahiert oder durch digitale Texterkennung (OCR) erkannt werden. Es lassen sich auch 2,5D- oder 3D-Formen des Objekts 11e, gegebenenfalls auch von Substrukturen und/oder aus einer Bewegungsanalyse gewonnene Information über Gelenke des Objekts 11e, Materialtypen, Größe/Ausdehnung und/oder geschätztes Gewicht zur Merkmalsbestimmung analysieren. Es ist auch denkbar, gegebenenfalls normierte Histogramme solcher Größen, zum Beispiel Unterstrukturen der Form des Objekts, als Merkmal zu ermitteln. Die Merkmale, z. B. Größe V`1, Form V`2, Farbe V`3, Position V`4 relativ zur Route 2 und/oder dergleichen, bilden zusammen einen Merkmalsvektor V`. Der Merkmalsvektor V` charakterisiert somit das erfasste Objekt 11e.
Im vorliegenden Beispiel enthält die Routeninformation ebenfalls einen Merkmalsvektor V. Der Merkmalsvektor V gibt an, dass sich das Objekt 11e an einer bestimmten Stelle der Route 2 befindet und durch Merkmale V1, V2, V3, V4, ... charakterisiert ist. Durch einen Vergleich W der Merkmalsvektoren V` und V kann so beispielsweise nachgewiesen werden, dass (genau) das Objekt 11e an der erwarteten Stelle erkannt wurde. Insbesondere kann die gesicherte Qualität der Routeninformation auf das Ergebnis der Objekterkennung übertragen bzw. mit dem Ergebnis der Objekterkennung assoziiert werden. Die durch das Erkennen des Objekts 11e erhaltene Information kann mit der im Sicherheitsnachweis bestimmten Qualität in einer weiteren Verarbeitung verwendet werden.
Es kann ferner aufwandsgünstig der Nachweis geführt werden, dass Hardware und Software funktionieren. Es lässt sich insbesondere das Vorliegen von Fehlern zumindest für einen vorgegebenen Zeitraum ausschließen, die zu einem Fehlverhalten des Systems führen könnten. Ist ein mit einem tolerierten Risiko assoziiertes Fehlerbudget vorgesehen, kann dadurch gegebenenfalls auch eine Fehlerhäufung in einem anderen Teil des Systems ausgeglichen werden.
Dabei kann beim Vergleich W insbesondere geprüft werden, ob ein Objekttyp T oder Subtypen T1, ..., Tn des Objekts 11e oder eine Instanz I des Objekts 11e miteinander oder zumindest mit einem vorgegebenen Grad übereinstimmen. Der Objekttyp T und die Subtypen T1, ..., Tn und die Instanz I ergeben sich dabei vorzugsweise aus Gruppen von Merkmalen der Merkmalsvektoren V, V`, wie durch die Klammern angedeutet ist.
Ein Algorithmus zum Durchführen des Vergleiches W sollte dabei entsprechend der Anforderungen der beabsichtigen Sicherheitsanforderungen ausgelegt sein und etwa auf mathematischen und statistischen Theorien wie Wahrscheinlichkeitstheorie, insbesondere bedingten Wahrscheinlichkeiten, beruhen. Beim Vergleich W kann auch Hintergrundwissen über das Fahrzeugumfeld 10 mit einfließen, zum Beispiel zur Wahrscheinlichkeitsverteilung der Merkmalswerte in der erfassten Szene, über die Abhängigkeit oder Unabhängigkeit der Merkmale, zur Wahrscheinlichkeit, dass Merkmale nicht ermittelbar sind aufgrund der gegenwärtigen Fahrzeugposition, einer Abdeckung etwa durch ein anderes Objekt, des Wetters oder anderer Umwelteinflüsse, technischer Ausfälle in der Datenverarbeitung, und/oder dergleichen.
Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

Claims

Verfahren zur Überwachung eines Fahrzeugumfelds (10) bei der Fahrt eines Fahrzeugs (1), insbesondere Schienenfahrzeugs, auf einer Route (2), mit den Schritten: - sensorisches Erfassen einer Szene im Fahrzeugumfeld (10) und Erzeugen entsprechender Sensordaten; und - Erzeugen einer virtuellen Szenenrepräsentation der erfassten Szene auf Grundlage der Sensordaten und in einer Datenbank (52) gespeicherter, qualitätsgesicherter Routeninformation.
Verfahren nach Anspruch 1, wobei die Routeninformation in Abhängigkeit von wenigstens einem Fahrtparameter bereitgestellt wird.
Verfahren nach einem der Ansprüche 1 oder 2, wobei die ermittelte virtuelle Szenenrepräsentation einer Bewertung der Fahrsicherheit zugrunde gelegt wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei für in der erfassten Szene identifizierte Objekte (11, 11a-11i) anhand der Routeninformation geprüft wird, ob ein vorgegebenes Gefährdungskriterium erfüllt ist, und die Objekte (11, 11a-11i) in Abhängigkeit eines Ergebnisses der Prüfung bei der Ermittlung der virtuellen Szenenrepräsentation berücksichtigt werden.
Verfahren nach einem der vorangehenden Ansprüche, wobei die Routeninformation eine Typinformation spezifisch für einen Objekttyp enthält und alle Objekte (11, 11a-11i) eines Objekttyps bei der Ermittlung der virtuellen Szenenrepräsentation gemäß der Typeninformation berücksichtigt werden.
Verfahren nach einem der vorangehenden Ansprüche, wobei die Routeninformation eine Szeneninformation spezifisch für einen Bereich (12a, 12b) in der erfassten Szene enthält und die Anpassung der virtuellen Szenenrepräsentation auf Grundlage der Szeneninformation vorgenommen wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei die Routeninformation eine Wechselwirkungsinformation zur Wechselwirkung zwischen wenigstens zwei Objekten (11, 11a-11i) in der erfassten Szene enthält und die Anpassung der virtuellen Szenenrepräsentation unter Berücksichtigung der Wechselwirkungsinformation vorgenommen wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei anhand der Routeninformation ein Sicherheitsbereich (13) in der erfassten Szene ermittelt wird, in dem die Gefährdung der Fahrt durch ein Objekt (11, 11a-11i) aus der Szene zumindest vermindert ist.
Verfahren nach Anspruch 8, wobei die Auswirkung des Sicherheitsbereichs (13) auf eine Trajektorie eines Objekts (11, 11a-11i) aus der Szene ermittelt und bei der Anpassung der virtuellen Szenenrepräsentation berücksichtigt wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei die Routeninformation während der Fahrt des Fahrzeugs (1) auf der Fahrtroute (2) validiert wird.
Verfahren nach Anspruch 10, wobei die Routeninformation anhand eines Vergleichs der zeitlichen Entwicklung der erfassten Szene mit einer Prädiktion auf Grundlage der Routeninformation validiert wird.
Verfahren nach einem der vorangehenden Ansprüche, aufweisend: - Empfangen von zusätzlicher Objektinformation spezifisch für ein Objekt (11, 11a-11i) aus der erfassten Szene; und - Ermitteln der virtuellen Szenenrepräsentation auf Grundlage der zusätzlichen Objektinformation.
Verfahren nach einem der vorangehenden Ansprüche, wobei die Routeninformation eine Beleuchtungsinformation enthält und bei der Anpassung der virtuellen Szenenrepräsentation beleuchtungsbedingte Effekte berücksichtigt werden.
System (50) zur Überwachung eines Fahrzeugumfelds (10) bei der Fahrt eines Fahrzeugs (1), insbesondere Schienenfahrzeugs, auf einer Route (2), mit - einer Sensorvorrichtung (51), die zum Erfassen einer Szene und Erzeugen entsprechender Sensordaten eingerichtet ist, - einer Datenbank (52), in der eine qualitätsgesicherte Routeninformation gespeichert ist, und - einer Datenverarbeitungsvorrichtung (53), die zum Erzeugen einer virtuellen Szenenrepräsentation auf Grundlage der Sensordaten und der Routeninformation eingerichtet ist.
Fahrzeug (1), insbesondere Schienenfahrzeug, mit einem System (50) gemäß Anspruch 14.