DE102021200822A1 - Verfahren und Vorrichtung zur Sensordatenverarbeitung - Google Patents

Verfahren und Vorrichtung zur Sensordatenverarbeitung Download PDF

Info

Publication number
DE102021200822A1
DE102021200822A1 DE102021200822.4A DE102021200822A DE102021200822A1 DE 102021200822 A1 DE102021200822 A1 DE 102021200822A1 DE 102021200822 A DE102021200822 A DE 102021200822A DE 102021200822 A1 DE102021200822 A1 DE 102021200822A1
Authority
DE
Germany
Prior art keywords
data
scene
vehicle
objects
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102021200822.4A
Other languages
English (en)
Inventor
Thomas Waschulzik
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Priority to DE102021200822.4A priority Critical patent/DE102021200822A1/de
Priority to US18/263,560 priority patent/US20240118104A1/en
Priority to EP21847937.6A priority patent/EP4268126A1/de
Priority to PCT/EP2021/085888 priority patent/WO2022161694A1/de
Publication of DE102021200822A1 publication Critical patent/DE102021200822A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3837Data obtained from a single source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) und eine Vorrichtung (10) zur Sensordatenverarbeitung in einem Fahrzeug (20) sowie ein Fahrzeug (20). Dabei wird eine Szene aus der Umgebung (2) des Fahrzeugs (20) sensorisch erfasst (S2) und entsprechende Sensordaten erzeugt. Objekte (3a, 3b, 3c, 3d) in der Szene werden auf Grundlage einer Datenverarbeitung der Sensordaten erkannt (S3) und entsprechende Objektdaten, welche die erkannten Objekte (3a, 3b, 3c, 3d) charakterisieren, erzeugt.Um die Verlässlichkeit der sensorischen Szenenerkennung, der Datenverarbeitung der Sensordaten, der Objekterkennung und/oder der Datenbank (13) zuverlässig beurteilen zu können, wird vorgeschlagen, die erzeugten Objektdaten mit in einer Datenbank (13) gespeicherten und qualitätsgesicherten Szenendaten, welche Objekte (3a, 3b, 3c, 3d) in der Szene charakterisieren, zu vergleichen (S4).

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Sensordatenverarbeitung in einem Fahrzeug sowie ein Fahrzeug.
  • Die Sensordatenverarbeitung ist zum Beispiel im Zusammenhang mit Fahrerassistenzsystemen oder sogar autonom fahrenden Fahrzeugen bekannt. Mithilfe einer Sensoreinrichtung kann die Umgebung eines zumindest teilautonom fahrenden Fahrzeugs erfasst, die entsprechenden Sensordaten analysiert und so Objekte erkannt werden. Die Steuerung des Fahrzeugs lässt sich so zumindest teilweise anhand der erkannten Objekte durchführen.
  • Die Funktionalität von Systemen zur autonomen oder zumindest teilautonomen Steuerung von Fahrzeugen kann dabei erhöht werden, wenn zusätzlich auf eine Karte zurückgegriffen wird, die Informationen zur vom Fahrzeug befahrenen Route enthält.
  • Digitalisierte Karten, die in Form von Datenbanken vorliegen können, werden zum Beispiel zur Routenplanung und/oder Überwachung des Reisefortschritts in Navigationsgeräten eingesetzt. Dabei ist es auch bekannt, neben der Information zum Verlauf von Straßen oder Wegen zusätzliche Information zur Umgebung der Straßen in diesen Datenbanken zu speichern, beispielsweise zu sogenannten „Points of Interest“ wie Tankstellen, Bahnhöfen, Sehenswürdigkeiten und/oder dergleichen.
  • Bei sogenannten HD-Karten enthalten die entsprechenden Datenbanken ein besonders hohes Maß an solcher Zusatzinformation. Diese Zusatzinformation kann dabei insbesondere sogenannte Landmarken charakterisieren. Die Landmarken beschreiben mit extrem hoher räumlicher Auflösung zum Beispiel Verkehrszeichen, Ampeln, Straßenlampen, Bauwerke und/oder andere markante Objekte in der Umgebung von Straßen oder Wegen. Diese Karten können aufgrund ihres hohen Detailgrads daher sogar zur sogenannten landmarkenbasierten Navigation eingesetzt werden. Dabei werden die beim Erfassen der Fahrzeugumgebung erzeugten Sensordaten mit den Daten aus der entsprechenden Datenbank abgeglichen. Durch gefundene Übereinstimmungen kann die Position des Fahrzeugs äußerst präzise bestimmt werden. Dies lässt sich ausnutzen, um ein zumindest teilautonom fahrendes Fahrzeug „auf Spur“ zu halten.
  • Alternativ oder zusätzlich lassen sich einer solchen Karte aber auch fahrtechnisch relevante Informationen wie erlaubte Höchstgeschwindigkeit, Vorfahrtsregelungen, Straßenzustand und/oder dergleichen entnehmen. Im Zusammenspiel mit der in den Sensordaten enthaltenen Informationen über die Umgebung des Fahrzeugs, zum Beispiel im Hinblick auf weitere Verkehrsteilnehmer, kann das Fahrzeug dann zumindest teilautonom navigieren.
  • Es ist eine Aufgabe der vorliegenden Erfindung, eine Beurteilung der Verlässlichkeit der Objekterkennung zu ermöglichen.
  • Diese Aufgabe wird gelöst durch ein Verfahren und eine Vorrichtung zur Sensordatenverarbeitung in einem Fahrzeug sowie einem Fahrzeug gemäß den unabhängigen Ansprüchen.
  • Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche und der folgenden Beschreibung.
  • Beim erfindungsgemäßen Verfahren zur Sensordatenverarbeitung in einem Fahrzeug, insbesondere in einem Schienenfahrzeug, wird eine Szene aus der Umgebung des Fahrzeugs sensorisch erfasst und entsprechende Sensordaten erzeugt. Auf Grundlage einer Datenverarbeitung der Sensordaten werden Objekte in der Szene erkannt und entsprechende Objektdaten, welche die erkannten Objekte charakterisieren, erzeugt. Die erzeugten Objektdaten werden mit in einer Datenbank gespeicherten und qualitätsgesicherten Szenendaten, welche Objekte in der Szene charakterisieren, verglichen. In Abhängigkeit eines Ergebnisses des Vergleichs wird eine Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank beurteilt.
  • Unter einer Szene im Sinne der Erfindung lässt sich eine Fahrsituation des Fahrzeugs verstehen. Anders gesagt kann eine Szene eine „Momentaufnahme“ der Umgebung des Fahrzeugs zu einem Zeitpunkt darstellen. Somit ist eine Szene zweckmäßigerweise durch Objekte aus der Umgebung des Fahrzeugs und deren Anordnung relativ zueinander und/oder zum Fahrzeug an einem Zeitpunkt definiert.
  • Unter einer Datenverarbeitung von Sensordaten im Sinne der Erfindung lässt sich eine, insbesondere algorithmische, Analyse der Sensordaten verstehen. Insbesondere können mit den Sensordaten mathematische Operationen und/oder eine Mustererkennung ausgeführt werden. Eine Datenverarbeitung von Sensordaten wird vorzugsweise von einer künstlichen Intelligenz, beispielsweise von einem trainierten neuronalen Netz und/oder dergleichen, ausgeführt. Eine Datenverarbeitung von Sensordaten kann insbesondere eine Verarbeitung der Daten mithilfe wenigstens eines Algorithmus zur digitalen Bildverarbeitung umfassen.
  • Unter qualitätsgesicherten Szenendaten im Sinne der Erfindung lassen sich insbesondere Daten verstehen, denen ein besonders hohes Maß an Zuverlässigkeit beigemessen wird. Beispielsweise kann der in solchen Daten enthaltenen Information in besonderem Maße vertraut werden. Qualitätsgesicherte Szenendaten können beispielsweise einen vorgegebenen Sicherheitsstandard, insbesondere eine von mehreren Sicherheitsstufen wie etwa ein SIL (Safety Integrity Level), erfüllen.
  • Die Szenendaten können zum Beispiel Eigenschaften, im Folgenden auch Merkmale genannt, der Objekte charakterisieren. Die Qualitätssicherung der Szenendaten umfasst zweckmäßigerweise unter anderem, dass zumindest eine Kombination der Eigenschaften bzw. Merkmale spezifisch für jedes durch die Szenendaten charakterisierte Objekt ist. Insbesondere kann für qualitätsgesicherte Szenendaten vorgesehen sein, dass die eindeutige Beschreibung eines Objekts durch zumindest ein Merkmal, insbesondere eine Kombination von Merkmalen, hinsichtlich der Spezifität gegenüber anderen Objekten gesichert ist.
  • Ein Aspekt der Erfindung basiert auf dem Ansatz, die Fahrt eines Fahrzeugs, insbesondere eines Schienenfahrzeugs wie etwa eines Zugs oder zumindest eines Triebwagens bzw. einer Lok, zum Beispiel entlang einer vorgegebenen Route anhand einer Datenbank zu überwachen. Die Datenbank enthält dabei Szenendaten, welche Objekte vorzugsweise in verschiedenen Szenen entlang der Route charakterisieren. Beim Überwachen der Fahrt werden in bevorzugter Weise Objekte in einer Szene aus der Umgebung des Fahrzeugs auf der Grundlage von beim sensorischen Erfassen der Umgebung des Fahrzeugs erzeugten Sensordaten identifiziert. Zweckmäßigerweise werden Objektdaten, die beim Erkennen der Objekte mithilfe einer insbesondere algorithmischen Datenverarbeitung erzeugt werden und welche die erkannten Objekte charakterisieren, mit zumindest einem Teil der Szenendaten verglichen. Dadurch, dass über den Vergleich die auf den Sensordaten basierenden Objektdaten mit den Szenendaten in Beziehung gesetzt werden, kann die Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten, also des Erkennungsalgorithmus an sich, und/oder der Objekterkennung bzw. -identifikation beurteilt werden. Alternativ oder zusätzlich ist es so auch denkbar, die Zuverlässigkeit der Datenbank zu beurteilen.
  • Bei der Beurteilung der sensorischen Szenenerfassung wird vorzugsweise die Zuverlässigkeit der Sensorik beurteilt, d. h. zum Beispiel ob eine Sensoreinrichtung korrekt arbeitet.
  • Bei der Beurteilung der Datenverarbeitung der Sensordaten wird vorzugsweise die Zuverlässigkeit des Verfahrens beurteilt, nach dem die Sensordaten verarbeitet werden. Zum Beispiel kann die Zuverlässigkeit eines entsprechenden Algorithmus bzw. einer künstlichen Intelligenz beurteilt werden.
  • Bei der Beurteilung der Objekterkennung wird vorzugsweise die Zuverlässigkeit des Ergebnisses der Datenverarbeitung beurteilt, d. h. zum Beispiel ob einem Objekt die richtigen Eigenschaften zugewiesen wurden.
  • Bei der Beurteilung der Datenbank wird vorzugsweise die Zuverlässigkeit der Szenendaten beurteilt, d. h. zum Beispiel ob die Szenendaten die Wirklichkeit korrekt abbilden.
  • Bei der Beurteilung der Zuverlässigkeit wird der sensorischen Szenenerfassung und/oder der Datenverarbeitung und/oder der Objekterkennung und/oder der Datenbank vorzugsweise ein Zuverlässigkeitsmaß zugeordnet. Beispielsweise kann in Abhängigkeit eines Ergebnisses des Vergleichs der Szenendaten mit den Objektdaten der sensorischen Szenenerfassung und/oder der Datenverarbeitung und/oder der Objekterkennung ein Maß für die Zuverlässigkeit der Szenendaten zugeordnet werden. Anders gesagt lässt sich das Vertrauen in die Datenbank so auf die Sensorik des Fahrzeugs, die zur Datenverarbeitung im Fahrzeug eingesetzten Algorithmen und/oder die auf der sensorischen Erfassung basierende „virtuelle“ Szene übertragen.
  • Unter einem Maß für die Zuverlässigkeit im Sinne der Erfindung lässt sich insbesondere ein Sicherheitsstandard verstehen. Ein solches Zuverlässigkeitsmaß kann beispielsweise mit einer von mehreren Sicherheitsstufen, etwa eines SIL (Safety Integrity Level), korrespondieren. Das Maß für die Zuverlässigkeit der Szenendaten ist zweckmäßigerweise von einer Qualitätssicherung der Szenendaten abhängig, insbesondere durch die Qualitätssicherung definiert.
  • So kann es ausreichen, eine Qualitätssicherung der Szenendaten, insbesondere der Spezifität, mit der die Szenendaten Objekte und/oder deren Eigenschaften charakterisieren, vorzunehmen, um den Betrieb der Objekterkennung abzusichern. Das mit der Qualitätssicherung assoziierbare Maß für die Zuverlässigkeit der Szenendaten lässt sich auf die Szenenerkennung, die Datenverarbeitung und/oder die Objekterkennung übertragen. Auf eine dedizierte Qualitätssicherung der Szenenerkennung, der Datenverarbeitung und/oder der Objekterkennung, die im Falle von dabei eingesetzten Algorithmen äußerst aufwändig sein kann, kann dagegen verzichtet werden.
  • Stimmen die Objektdaten mit den Szenendaten im Wesentlichen überein, kann beispielsweise von einer robusten Objekterkennung bzw. Objektidentifikation ausgegangen werden. Stimmen die Objektdaten dagegen nicht oder nicht ausreichend mit den Szenendaten überein, kann dagegen von einer fehler- oder mangelhaften Objekterkennung ausgegangen werden. Da sich dies direkt auf die Zuverlässigkeit zum Beispiel der Steuerung eines zumindest teilweise automatisiert, insbesondere fahrerlos, betriebenen Fahrzeugs auswirkt, erlaubt der Vergleich somit auch eine Beurteilung der Fahrsicherheit eines solchen Fahrzeugs. Insbesondere kann in Abhängigkeit eines Ergebnisses des Vergleichs ein Maß für die Zuverlässigkeit der Szenendaten, insbesondere der in ihr enthaltenen Szenendaten, mit der Objekterkennung assoziiert werden, also zum Beispiel mit dem Erfassen der Umgebung und/oder dem Erkennen der Objekte in der Szene.
  • Beim (teil-)automatischen bzw. fahrerlosen Fahren ist es üblich, dass hohe, gegebenenfalls gesetzlich vorgegebene, Sicherheitsanforderungen erfüllt werden müssen. Insbesondere muss eine auf den Sensordaten basierende Objekterkennung mit besonders hoher Zuverlässigkeit erfolgen. Für die Zulassung automatischer Steuerungssysteme kann es auch notwendig sein, einen Nachweis dieser Zuverlässigkeit zu erbringen. Dies wird durch den Vergleich der Objektdaten mit den Szenendaten möglich. Insbesondere kann dadurch auch im Regelbetrieb, insbesondere in Echtzeit, geprüft werden, ob die Szenenerfassung, die Datenverarbeitung und/oder die Objekterkennung zuverlässig arbeitet.
  • Vorzugsweise wird die Sicherheit der korrekten Szenenerfassung, Datenverarbeitung und/oder Objekterkennung durch die Übereinstimmung von einer Vielzahl von spezifischen Merkmalen der sensorisch erfassten und in der Datenbank erfassten Objekte bestimmt. Stimmen die spezifischen Merkmale zumindest zu einem, vorzugsweise vorgegebenen, Grad überein, kann auf die korrekte Funktion des Gesamtsystems geschlossen werden.
  • Durch die korrekte Erkennung eines Objektes an einer in der Datenbank hinterlegten Position kann auch die Ortsbestimmung des Fahrzeuges, die Kalibrierung von zur Erfassung eingerichteten Sensoren, die Funktion der Sensoren und der Sensorfusion, die einwandfreie Funktion der Hardware und Software zur Informationsverarbeitung und Kommunikation nachgewiesen werden. Die Information über die Zuverlässigkeit der einzelnen Komponenten, insbesondere in Form des Ergebnisses des Vergleichs, kann beispielsweise an ein Health-Managementsystem der Objekterkennung gemeldet werden, welches bei erkannten Fehlern oder Einschränkungen Leistungsparameter reduziert. Bei sich verschlechterten Sichtbedingungen durch Regen, Nebel, Rauch oder Schnee, bei einer Verschmutzung oder nicht mehr gegebener Kalibrierung einer Teilmenge der Sensoren kann beispielsweise eine Reduktion der zulässigen Geschwindigkeit des Fahrzeuges angeordnet werden.
  • Dabei ist es vorteilhaft, wenn der zugrunde gelegten Datenbank bzw. den darin enthaltenen Szenendaten ein besonders großes Vertrauen entgegengebracht werden kann. Vorzugsweise wird daher eine Datenbank herangezogen, deren Autorenschaft als zuverlässig eingestuft ist und/oder die entsprechend zertifiziert ist. Zweckmäßigerweise wird dem Verfahren eine Datenbank zugrunde gelegt, die zumindest teilweise von einem menschlichen Bediener erstellt oder wenigstens geprüft worden ist. Zweckmäßigerweise entspricht die Datenbank bzw. die darin enthaltenen Daten einem vorgegebenen Sicherheitsstandard, etwa der DIN Norm EN 61508.
  • Durch das Vergleichen der Objektdaten mit den Szenendaten ist es auch möglich, bei der Automatisierung von Fahrzeugfunktionen einen „unsicheren“, d. h. gegebenenfalls nicht zertifizierten oder auf seine Zuverlässigkeit unter allen Betriebsbedingungen geprüften, Algorithmus zur Objekterkennung bzw. -identifikation von Objekten einzusetzen. So lange zumindest ein Teil der Objektdaten mit den Szenendaten zumindest im Wesentlichen übereinstimmt, also zum Beispiel beim sensorischen Erfassen der Umgebung ermittelte Positionen, Strukturen und/oder Formen von Objekten mit einer Beschreibung der Umgebung gemäß den Szenendaten korrespondieren, kann das Maß für die Zuverlässigkeit der Szenendaten mit der Objekterkennung assoziiert und die Objektdaten entsprechend zum Beispiel zur Steuerung des Fahrzeugs eingesetzt werden. Denn bei der korrekten Erkennung eines Objektes an der erwarteten Position, insbesondere bei der Erkennung mit einer hohen Spezifität, kann davon ausgegangen werden, dass die Wahrscheinlichkeit groß ist, auch andere Objekte in der Szene korrekt erkannt zu haben. Dies begründet sich damit, dass die Wahrscheinlichkeit eines Auftretens von Fehlern, die nur einen Teil des von einer Sensoreinrichtung erfassten Ausschnitts aus der Umgebung des Fahrzeugs betreffen, gegenüber einem Auftreten eines Fehlers, der die gesamte Erfassung der Umwelt betrifft, höchst gering ist. Wenn in kurzer Abfolge viele Objekte korrekt in unterschiedlichen Abschnitten eines Erfassungsbereichs der Sensoreinrichtung erfasst werden, sinkt die Wahrscheinlichkeit für Fehler weiter, da sporadische Ausfälle beispielsweise bei Kamerasensoren sehr selten sind und auch Verschmutzungen der Optik oder Einschränkungen der Scan-Funktion eines Scanners mit hoher Wahrscheinlichkeit ausgeschlossen werden können.
  • Es können dann insbesondere auch Objektdaten, die keine Entsprechung in der Datenbank haben, zur Steuerung des Fahrzeugs eingesetzt werden. Es lässt sich nämlich davon ausgehen, dass solche „zusätzlichen“ Objektdaten Objekte in der Szene charakterisieren, die nicht in der Datenbank erfasst sind. Dabei kann das Vertrauen, das bei der Erkennung von in der Datenbank erfassten Objekten aufgebaut wurde, zumindest teilweise auf die Erkennung dieser „zusätzlichen“, unbekannten Objekte übertragen werden. Bei solchen Objekten kann es sich beispielsweise um nicht-stationäre Objekte wie beispielsweise Personen auf einem Bahnsteig, Tiere im Gleisbett und/oder dergleichen handeln, deren Auftreten entlang der Route nicht vorhersehbar ist.
  • In einer bevorzugten Ausführungsform bildet die Datenbank die Karte einer Route, auf der das Fahrzeug fährt, und die Szenendaten enthalten Kartendaten aus einem Abschnitt der Karte. Mithilfe einer solchen Karte können die bei der Fahrt des Fahrzeugs zu erwartenden Szenen besonders zuverlässig und präzise ermittelt und die entsprechenden Szenendaten dem Vergleich zugrunde gelegt werden.
  • In einer weiteren bevorzugten Ausführungsform wird beim Beurteilen der Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank ein Maß für die Zuverlässigkeit ermittelt, welches durch den Umfang der Szenendaten bestimmt ist. Anders gesagt hängt das Zuverlässigkeitsmaß bevorzugt von der Informationsmenge, die in den Szenendaten enthalten ist, ab. Die Szenendaten können beispielsweise sogenannte Merkmalsvektoren für jedes Objekt aus der Szene aufweisen, wobei die Merkmalsvektoren als Einträge vorzugsweise spezifische Merkmale der erfassten Objekte aufweisen. Die Länge der Vektoren, d. h. die Anzahl der durch sie beschriebenen Merkmale, korrespondiert dann zweckmäßigerweise mit dem Zuverlässigkeitsmaß. Ein großer Umfang der Szenendaten erlaubt das Validieren von anhand der Sensordaten erkannten Objekten aus der Szene mit hoher Zuverlässigkeit.
  • Insbesondere kann durch eine Kombination von Merkmalen ein auf Grundlage der Sensordaten erkanntes Objekt mit hoher Sicherheit in der Datenbank identifiziert, d. h. mit einem in der Datenbank erfassten Objekt assoziiert werden. Dadurch kann der Nachweis des Vorliegens des Objekts in den Sensordaten geführt werden.
  • Zweckmäßigerweise sind die mit den Szenendaten korrespondierenden Merkmalsvektoren überbestimmt. D. h., dass bereits eine Untermenge von in den Merkmalsvektoren enthaltenen spezifischen Merkmalen ausreicht, um das Objekt eindeutig zu erkennen. Dadurch kann die Robustheit beim Vergleichen mit den Objektdaten bzw. den mit den Objektdaten korrespondierenden Merkmalsvektoren erhöht werden.
  • In einer weiteren bevorzugten Ausführungsform wird beim Vergleichen der Objektdaten mit den Szenendaten ein Übereinstimmungsmaß für die Übereinstimmung der Objektdaten mit den Szenendaten ermittelt. Das Übereinstimmungsmaß kann auch als ein Konfidenzmaß aufgefasst werden, welches die Zuverlässigkeit des Erkennens der Objekte in der Umgebung des Fahrzeugs, insbesondere die Stärke von Abweichungen zwischen den Objektdaten und den Szenendaten, charakterisiert. Anders gesagt lässt sich mit dem Übereinstimmungsmaß eine Spezifität angeben, mit der ein Objekt auf Grundlage der Sensordaten erkannt wird. Anhand des Übereinstimmungsmaßes lässt sich die Zuverlässigkeit der Objekterkennung besonders einfach beurteilen. Insbesondere kann anhand des Übereinstimmungsmaßes die Information über die Zuverlässigkeit der Objekterkennung besonders effizient weiterverarbeitet oder für die Steuerung des Fahrzeugs genutzt werden.
  • Das Übereinstimmungsmaß kann beispielsweise einen großen Wert annehmen, wenn durch die Objektdaten nicht nur Objekte charakterisiert sind, die auch durch die Szenendaten charakterisiert sind, sondern auch, wenn die Charakterisierung durch die jeweiligen Daten im Wesentlichen übereinstimmt. Die Szenendaten können etwa nicht nur Information über die Position eines Objekts enthalten, sondern auch über weitere qualitätsgesicherte Merkmale, deren Nachvollziehbarkeit und Spezifität einem Gutachter nachgewiesen wird. Die Szenendaten können beispielsweise auch Information über die Form, Struktur, Ausdehnung, Textur, Farbe und/oder dergleichen eines Objekts enthalten. Je größer der Anteil dieser Information ist, der mit entsprechender Information aus den Objektdaten übereinstimmt, desto größer kann das ermittelte Übereinstimmungsmaß sein. Entsprechend kann das ermittelte Übereinstimmungsmaß einen kleinen Wert annehmen, wenn zwar die in den Objektdaten enthaltene Information und Form über eine Position eines erfassten Objekts mit der entsprechenden Information aus den Szenendaten im Wesentlichen übereinstimmt, die Information über die Ausdehnung und Textur jedoch nicht.
  • Zweckmäßigerweise wird geprüft, ob das Übereinstimmungsmaß einen vorgegebenen Übereinstimmungsschwellenwert erreicht oder überschreitet. Der Übereinstimmungsschwellenwert kann als Indikator dienen, ob eine als ausreichend bzw. sicher vorgegebene Anzahl an Eigenschaften eines erkannten Objekts mit der in den Szenendaten enthaltenen Information übereinstimmt. Ist dies der Fall, kann von einer sicheren Erkennung der Objekte ausgegangen werden. Daraus lässt sich zum Beispiel auf die Sicherheit der Positionsbestimmung des Fahrzeugs, die zuverlässige und exakte Funktion der Sensorik zur Erfassung und Ermittlung der Objektpositionen und gegebenenfalls der korrekten Kalibrierung mehrerer Sensoren zueinander schließen. Ist dies nicht der Fall, kann davon ausgegangen werden, dass das Objekt nicht korrekt erkannt wurde.
  • Der Übereinstimmungsschwellenwert hängt dabei in bevorzugter Weise von den Sicherheitsanforderungen ab oder kann abhängig davon gewählt werden. Wird der Übereinstimmungsschwellenwert groß gewählt und von dem Übereinstimmungsmaß erreicht oder überschritten, kann grundsätzlich eine hohe Sicherheitsstufe mit der Objekterkennung assoziiert werden. Wird der Übereinstimmungsschwellenwert kleiner gewählt und von dem Übereinstimmungsmaß erreicht oder überschritten, kann dagegen lediglich eine geringe Sicherheitsstufe mit der Objekterkennung assoziiert werden.
  • Es kann insbesondere vorgesehen sein, dass das Fahrzeug auf Grundlage des Übereinstimmungsmaßes gesteuert wird. Zweckmäßigerweise erfolgt die Steuerung in Abhängigkeit eines Ergebnisses der Prüfung, ob das Übereinstimmungsmaß den vorgegebenen Übereinstimmungsschwellenwert erreicht oder überschreitet. Ist dies der Fall, kann von einer fehlerfreien Objekterkennung ausgegangen und die dabei ermittelten Objektdaten der Steuerung des Fahrzeugs zugrunde gelegt werden. Unterschreitet das Übereinstimmungsmaß den Übereinstimmungsschwellenwert dagegen, kann von einer fehlerhaften bzw. unkorrekten Objekterkennung ausgegangen werden. In diesem Fall sollten die Objektdaten der Steuerung des Fahrzeugs nicht zugrunde gelegt werden. Vielmehr kann es notwendig sein, das Fahrzeug in einen sicheren Zustand zu überführen, zumindest wenn kein redundantes System zur Steuerung des Fahrzeugs zur Verfügung steht oder dieses ebenfalls gestört ist. In Abhängigkeit des Übereinstimmungsmaßes kann das Fahrzeug so beispielsweise gestoppt werden, weil die Objektdaten als nicht mehr zuverlässig eingestuft werden. Alternativ oder zusätzlich können ebenso die Sensordaten zusammen mit zumindest einem Teil der Szenendaten, zum Beispiel der Information, welche Objekte mit welchen Eigenschaften eigentlich hätten erkannt werden sollen, in eine Trainingsdatenbank zum Nachtraining der Objekterkennung gespeichert werden.
  • Alternativ oder zusätzlich kann vorgesehen sein, dass das, insbesondere ausgegebene, Übereinstimmungsmaß protokolliert wird. Beispielsweise kann das Übereinstimmungsmaß, insbesondere ein zeitlicher Verlauf des Übereinstimmungsmaßes, gespeichert werden. Dadurch lässt sich ein Nachweis für die Zuverlässigkeit der Szenenerfassung und/oder Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank führen. Das protokollierte Übereinstimmungsmaß kann beispielsweise einer Behörde oder einem Gutachter vorgelegt werden, um eine Zulassung eines Steuerungssystems für das Fahrzeug, welches zumindest teilweise auf die Objektdaten gestützt ist, zu erlangen.
  • Der Nachweis der Zuverlässigkeit kann über das Übereinstimmungsmaß wesentlich effizienter geführt werden als durch eine konventionelle, direkte Analyse zum Beispiel des der Objekterkennung zugrunde liegenden Algorithmus bzw. dessen Quellcodes. Eine solche Quellcodeanalyse erfordert üblicherweise einen erheblichen Aufwand. Daneben hat die Ermittlung des Übereinstimmungsmaßes auch den Vorteil, dass es einen Zuverlässigkeitsnachweis im Wesentlichen in Echtzeit und damit sogar während des Regelbetriebs des Fahrzeugs bzw. des entsprechenden Steuerungssystems erbringen kann.
  • Alternativ oder zusätzlich kann das Übereinstimmungsmaß auch als Grundlage dienen, das Vertrauen in die Datenbank und die darin enthaltenen Szenendaten zu erhöhen oder zumindest zu erhalten. Bei einem hohen Übereinstimmungsmaß kann nämlich nicht nur davon ausgegangen werden, dass die Objekterkennung zuverlässig funktioniert, sondern auch, dass die Datenbank korrekt ist. Wird das Übereinstimmungsmaß protokolliert, kann bei einer späteren, erneuten Verwendung der Datenbank zum Überwachen der Fahrt desselben oder eines anderen Fahrzeugs das protokollierte Übereinstimmungsmaß herangezogen werden, um die Zuverlässigkeit der Datenbank zu belegen. Insbesondere kann das protokollierte Übereinstimmungsmaß als Zertifikat der Datenbank aufgefasst werden.
  • In einer weiteren bevorzugten Ausführungsform werden die erzeugten Objektdaten oder die Szenendaten, insbesondere zusätzlich, mit von zumindest einem Objekt aus der Umgebung des Fahrzeugs bereitgestellten Dynamikdaten verglichen. Vorzugsweise wird, in Abhängigkeit eines Ergebnisses des Vergleichs der bereitgestellten Dynamikdaten mit den Objektdaten bzw. den Szenendaten, eine Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank beurteilt. Beispielsweise kann in Abhängigkeit des Ergebnisses des Vergleichs ein Maß für die Zuverlässigkeit der Dynamikdaten mit der Szenenerfassung und/oder der Datenverarbeitung und/oder der Objekterkennung und/oder der Datenbank assoziiert werden. Die Dynamikdaten können von dem wenigstens einen Objekt drahtlos an das Fahrzeug übertragen werden. Es ist beispielsweise denkbar, dass ein dem Fahrzeug entgegenkommender Zug, im Gleisbett arbeitendes Personal zur Instandhaltung, ein Werkzeug zur Instandhaltung wie Hemmschuhe und/oder dergleichen Dynamikdaten an das Fahrzeug überträgt, mit denen die erzeugten Objektdaten dann verglichen werden können. Alternativ oder zusätzlich ist es aber auch denkbar, dass die Dynamikdaten, insbesondere in Echtzeit, an die Datenbank übermittelt und in die Datenbank aufgenommen werden. Durch die Berücksichtigung der Dynamikdaten lassen sich auch Szenen mit dynamischen Objekten zur Qualitätssicherung der Objekterkennung heranziehen.
  • In einer weiteren bevorzugten Ausführungsform kann in Abhängigkeit eines Ergebnisses des Vergleichs der erzeugten Objektdaten oder der Szenendaten mit den bereitgestellten Dynamikdaten eine Zuverlässigkeit der Dynamikdaten beurteilt werden. Insbesondere kann ein mit der Zuverlässigkeit der Szenenerkennung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank assoziiertes Zuverlässigkeitsmaß mit den Dynamikdaten assoziiert werden. Vorzugsweise wird das Maß für die Zuverlässigkeit der Szenendaten, welches in einer möglichen Ausführungsform auf Grundlage des Vergleichs der Objektdaten mit den Szenendaten mit der Szenenerkennung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung assoziiert wird bzw. wurde, auch mit den Dynamikdaten assoziiert. Wird beispielsweise ein Objekt an einer korrekten - d. h. durch die Szenendaten validierten - Position erkannt, können dadurch auch die Dynamikdaten qualitätsgesichert werden, wenn sie mit den Objektdaten und/oder den Szenendaten übereinstimmen. Das Fahrzeug und das Objekt können dadurch eine sogenannte Zuverlässigkeitsgemeinschaft (community of dependability) bilden.
  • Eine derartige Qualitätssicherung der Dynamikdaten kann auch für das Objekt selbst und/oder an weitere Fahrzeuge oder sonstige Verkehrsteilnehmer bereitgestellt werden. Dadurch können die Fahrzeuge bzw. Verkehrsteilnehmer zum Beispiel ihre Sensoren unabhängig von anderen Fahrzeugen bzw. Verkehrsteilnehmern validieren lassen. Dies erlaubt eine Erhöhung der Zuverlässigkeit des Gesamtsystems, d. h. des Systems aus Fahrzeugen und Objekten, die solche Dynamikdaten bereitstellen bzw. der Zuverlässigkeitsgemeinschaft angehören. Darüber hinaus lassen sich Fehler, zum Beispiel in der Sensorik zum Erfassen der Szene oder der Objekterkennung, schneller und zuverlässiger erkennen bzw. diagnostizieren.
  • In einer weiteren bevorzugten Ausführungsform wird eine Position des Fahrzeugs auf einer Route ermittelt und die Szene aus der Umgebung des Fahrzeugs an der ermittelten Position erfasst. Anhand der ermittelten Position können die relevanten Szenendaten aus der Datenbank besonders effizient identifiziert und für den Vergleich bereitgestellt werden. Entsprechend werden die erzeugten Objektdaten mit in der Datenbank gespeicherten Szenendaten, welche Objekte in der Umgebung der ermittelten Position des Fahrzeugs charakterisieren, verglichen.
  • Im Unterschied zu konventionellen Navigationsverfahren, etwa der landmarkenbasierten Navigation, wird hierbei mithilfe der Datenbank nicht lediglich die Position des Fahrzeugs ermittelt und/oder aus der Datenbank gelesene Information direkt zur Steuerung des Fahrzeugs genutzt. Vielmehr kann die Position des Fahrzeugs einem Vergleich der Objektdaten mit den Routendaten zugrunde gelegt werden. Dabei kann die Position anhand konventioneller bzw. aus dem Stand der Technik bekannter Verfahren wie etwa anhand von GPS-Signalen ermittelt werden.
  • Zweckmäßigerweise werden die Szenendaten auf Grundlage der ermittelten Position gefiltert. Vorzugsweise werden gefilterte Szenendaten für den Vergleich mit den Objektdaten bereitgestellt. Dadurch lässt sich sicherstellen, dass die Objektdaten nur mit denjenigen Szenendaten verglichen werden, die Objekte in der Umgebung des Fahrzeugs an der ermittelten Position charakterisieren. Anders gesagt kann so ausgeschlossen werden, dass die Objektdaten mit Szenendaten verglichen werden, die Objekte charakterisieren, die sich in einem anderen Abschnitt der Route befinden.
  • Wenn anhand des Vergleichs ein erkanntes Objekt mit einem in der Datenbank erfassten Objekt identifiziert werden kann, die erkannte Position des Objekts jedoch leicht von der in der Datenbank gespeicherten Position abweicht, kann je nach der Vertrauenswürdigkeit der aus den anderen Quellen stammenden Information entweder (i) die ermittelte aktuelle Position des Fahrzeuges korrigiert werden, (ii) falls die Abweichung nur für ein erkanntes Objekt festgestellt wird, die gespeicherte Positionsinformation in der Datenbank angepasst werden oder (iii) eine Kalibrierung oder Ausrichtung einer Sensoreinrichtung, zum Beispiel einer Kamera, in Relation zum Fahrzeug angepasst werden. Welche Korrektur bzw. Anpassung (i), (ii) oder (iii) vorgenommen wird, wird vorzugsweise auf der Basis von Fehlermodellen ermittelt.
  • In einer weiteren bevorzugten Ausführungsform werden auf Grundlage eines Ergebnisses des Vergleichs Gefährdungsobjekte in der Umgebung des Fahrzeugs ermittelt. Unter einem Gefährdungsobjekt ist hierbei insbesondere ein Objekt zu verstehen, das die Fahrt des Fahrzeugs (negativ) beeinträchtigen kann. Ein Gefährdungsobjekt kann also insbesondere gefährlich für das Fahrzeug und/oder durch das Fahrzeug gefährdet sein.
  • Die derart ausgewählten Gefährdungsobjekte werden vorzugsweise einer Gefährdungsbewertung zugrunde gelegt. Unter einer Gefährdungsbewertung ist hierbei insbesondere eine Analyse und Beurteilung der Szene im Hinblick auf eine Gefährdung des Fahrzeugs und/oder eines Objekts zu verstehen.
  • Zweckmäßigerweise werden die Gefährdungsobjekte aus Objekten, die durch die Objektdaten charakterisiert sind, ausgewählt. Vorzugsweise werden dabei Objekte ausgewählt, welche auf Grundlage der Sensordaten erkannt, aber nicht durch Szenendaten charakterisiert sind. Mit anderen Worten wird eine Klassifikation bezüglich der Gefährdung des Fahrzeugs und/oder der Objekte vorzugsweise auf nicht in der Datenbank erfasste Objekte beschränkt. Dadurch lässt sich die Zahl der Objekte, die der Gefährdungsbewertung zugrunde gelegt werden, signifikant verringern. Insbesondere kann so sichergestellt werden, dass bei einer Analyse der Szene nur Objekte berücksichtigt werden, denen tatsächlich ein Gefahrenpotential zugeordnet sein könnte. Entsprechend wird eine effizientere Gefährdungsbewertung möglich.
  • Typischerweise sind in der Datenbank Landmarken und damit stationäre Objekte wie etwa der Fahrweg, Signalanlagen, Bauwerke, und/oder dergleichen erfasst. Solche Objekte werden auch als vorbekannte Objekte bezeichnet und stellen in der Regel keine Gefährdung für die Fahrt des Fahrzeugs dar. Für eine Gefährdungsbewertung müssen Sie daher auch nicht berücksichtigt werden. Bewegliche Objekte wie zum Beispiel Personen auf einem Bahnsteig oder Tiere im Gleisbett sind dagegen üblicherweise nicht in der Datenbank aufgenommen. Indem beim Vergleichen der Objektdaten mit den Szenendaten gerade diese beweglichen und a priori unbekannten Objekte identifiziert und ausgewählt werden, reduziert sich die Anzahl der auf eine mögliche Gefährdung hin zu überprüfenden Objekte signifikant.
  • Alternativ oder zusätzlich können die der Gefährdungsbewertung zugrunde zu legenden Gefährdungsobjekte auch auf Grundlage der Objektdaten, insbesondere auf Grundlage einer Entfernung zum Fahrzeug, ausgewählt werden. Dadurch kann die Anzahl der für die Gefährdungsbewertung zu berücksichtigenden Objekte weiter reduziert werden.
  • Vorzugsweise werden nur solche Objekte der Gefährdungsbewertung zugrunde gelegt, die sich in einer vorgegebenen Entfernung, insbesondere in einem vorgegebenen Entfernungsbereich, zum Fahrzeug befinden. Beispielsweise können anhand des Vergleichs der Objektdaten mit den Szenendaten zunächst alle beweglichen Objekte in der Umgebung des Fahrzeugs ausgewählt und diese Auswahl dann auf diejenigen der beweglichen Objekte reduziert werden, die sich in der vorgegebenen Entfernung zum Fahrzeug befinden. So können nicht in der Datenbank erfasste Objekte, die jedoch zu weit vom Fahrzeug entfernt sind, um eine Gefährdung darzustellen, von der Gefährdungsbewertung ausgeschlossen werden. Dadurch kann die Gefährdungsbewertung noch effizienter erfolgen.
  • In einer weiteren bevorzugten Ausführungsform wird beim Vergleichen eine Überschussliste aller durch die Objektdaten charakterisierten Objekte, die nicht durch Szenendaten charakterisiert sind, ermittelt. Mit anderen Worten lässt sich anhand des Vergleichs eine Liste von Objekten in der Umgebung des Fahrzeugs erstellen, die nicht in der Datenbank erfasst sind. Bei diesen Objekten kann es sich beispielsweise um bewegliche Objekte wie Personen auf einem Bahngleis, Tiere im Gleisbett und/oder dergleichen handeln. Die Überschussliste wird dann vorzugsweise zumindest als Teil des Ergebnisses ausgegeben. Die Überschussliste erlaubt es, eine Analyse der Fahrsituation an der ermittelten Position des Fahrzeugs auf relevante Objekte zu reduzieren. Beispielsweise können anhand der Überschussliste die der Gefährdungsbewertung zugrunde zu legenden Objekte ausgewählt werden.
  • Es kann insbesondere vorgesehen sein, dass das Fahrzeug auf Grundlage der Überschussliste gesteuert wird. Ein Steuerungssystem des Fahrzeugs kann beispielsweise darauf ausgelegt sein, bei der Steuerung des Fahrzeugs lediglich die in der Überschussliste enthaltenen Objekte zu berücksichtigen. Dem liegt der Gedanke zugrunde, dass auf in der Datenbank erfasste und damit vorbekannte Objekte nicht überraschend reagiert werden muss. Dadurch kann eine besonders effiziente Steuerung des Fahrzeugs erreicht werden.
  • In einer weiteren bevorzugten Ausführungsform werden auf Grundlage der Szenendaten weitere, insbesondere zusätzliche, Objektdaten eines erkannten Objekts ermittelt. Vorzugsweise werden dabei insbesondere für nicht durch die Szenendaten charakterisierten Objekte weitere Objektdaten ermittelt. Alternativ oder zusätzlich können die Objektdaten auf Grundlage der Szenendaten auch ergänzt werden. Dadurch kann die Zuverlässigkeit bei der Erkennung von Objekten auf Grundlage der Sensordaten, insbesondere bei der Erzeugung der entsprechenden Objektdaten, weiter erhöht werden.
  • Beispielsweise kann die Position von auf Grundlage der Sensordaten erkannten Objekten, die nicht in der Datenbank erfasst sind, auf Grundlage einer Relativposition zu einem erkannten Objekt, das in der Datenbank erfasst ist, präziser ermittelt werden. Wird etwa auf Grundlage der Sensordaten eine Person in der Nähe einer Signalanlage erkannt, und ist die Signalanlage in der Datenbank erfasst, kann die Entfernung des Fahrzeugs zur Person aus der durch die entsprechenden Szenendaten charakterisierten Entfernung zwischen der Signalanlage und dem Fahrzeug abgeleitet werden.
  • Die Objektdaten neu erkannter Objekte, die nicht in der Datenbank erfasst sind, werden in bevorzugter Weise - jedenfalls wenn sie stationär sind - als vorläufige Szenendaten in der Datenbank gespeichert. Diese Objekte können alternativ oder zusätzlich in eine Kandidatenliste eingetragen werden. Wenn diese Objekte bei mehreren Fahrten an der gleichen Position vorgefunden werden, können sie in eine Kontrollliste übernommen und/oder die vorläufigen Szenendaten dann einer Qualitätskontrolle unterzogen und gegebenenfalls dauerhaft zur Datenbank hinzugefügt werden.
  • In einer weiteren bevorzugten Ausführungsform erfüllt die Datenbank wenigstens die DIN Norm EN 61508, insbesondere in der Fassung aus dem Jahre 2010. Vorzugsweise weist die Datenbank wenigstens eine Sicherheitsanforderungsstufe (kurz SIL für „Safety Integrity Level“) von 1 auf. Diese Sicherheitsanforderungsstufe gilt dann zum Beispiel für die Funktion der Fehleroffenbarung für Sensorsysteme zur Hinderniserkennung und zur Vereinfachung von Szenen für Hinderniserkennungssysteme und der Positionsüberprüfung von Fahrzeugen. Durch die Sicherheitsanforderungsstufe 1 kann davon ausgegangen werden, dass bei ständiger Verwendung der Datenbank und entsprechender Qualitätssicherung höchstens 1 Fehler in rund 11 Jahren auftritt. Entsprechend kann dem Ergebnis des Vergleichs der Objektdaten mit den Szenendaten ein besonders großes Vertrauen entgegengebracht werden. Insbesondere kann dann davon ausgegangen werden, dass bei festgestellter Übereinstimmung zumindest eines Teils der Objektdaten mit den Szenendaten die Objekterkennung mit einer ebensolch hohen Wahrscheinlichkeit fehlerfrei ist.
  • In einer weiteren bevorzugten Ausführungsform wird beim Vergleichen der Objektdaten mit den Szenendaten geprüft, ob eine Übereinstimmung von Objekteigenschaften vorliegt. Zweckmäßigerweise wird hierzu wenigstens ein mit den Objektdaten korrespondierender Merkmalsvektor mit einem mit den Szenendaten korrespondierenden Merkmalsvektor verglichen. So kann beispielsweise geprüft werden, ob eine Position der erkannten Objekte relativ zum Fahrzeug, eine Struktur, insbesondere eine Topologie, der erkannten Objekte und/oder eine Form der erkannten Objekte mit entsprechenden Eigenschaften von in der Datenbank erfassten Objekten übereinstimmt. Vorzugsweise wird geprüft, ob und gegebenenfalls wie groß die Abweichungen zwischen den Objekteigenschaften sind. Insbesondere kann anhand der Objekteigenschaften bzw. deren Abweichungen das Übereinstimmungsmaß ermittelt werden.
  • Weitere Eigenschaften, die überprüft werden können, sind beispielsweise eine Ausdehnung, Formenänderung (bei der Vegetation etwa durch Wachstum, Jahreszeitenwechsel, Rückschnitt, Ernte und/oder dergleichen), Farbe, Temperatur, Relativtemperatur zur Umgebung, Reflexivität und/oder dergleichen. Auch diese Eigenschaften können in der Datenbank als Teil der Szenendaten in Form eines Merkmalsvektors vorliegen. Der Merkmalsvektor weist vorzugsweise einen Mindestumfang, d. h. eine Mindestanzahl an Einträgen, auf, sodass eine zufällige Übereinstimmung der Merkmale von in der Datenbank erfassten Objekten mit den von durch die Objektdaten charakterisierten Eigenschaften so unwahrscheinlich ist, dass dieser Fall mit ausreichender Sicherheit ausgeschlossen werden kann.
  • In einer weiteren bevorzugten Ausführungsform wird ein Zeitpunkt des sensorischen Erfassens der Umgebung des Fahrzeugs ermittelt und dem Vergleichen der Objektdaten mit den Szenendaten zugrunde gelegt. Dadurch ist es möglich, dynamische Ereignisse bzw. Vorgänge beim Vergleichen mit einzubeziehen. Das Vertrauen in die Objekterkennung kann so noch einmal erhöht werden.
  • Beispielsweise kann dadurch der Tag-Nacht-Wechsel und/oder Jahreszeitenwechsel mit einbezogen werden. Bei Dunkelheit lassen sich unter Umständen bestimmte Objekte oder zumindest Teile davon nicht mehr erkennen. Dafür ist es denkbar, dass spezifische Lichtquellen, etwa Positionslichter, Signallichter und/oder dergleichen, zur Erkennung herangezogen werden. Ebenso können die durch den Jahreszeitenwechsel bedingten Änderungen der Vegetation, etwa in Form abgeernteter Felder oder blattloser Bäume, berücksichtigt werden.
  • Beispielsweise lässt sich so berücksichtigen, dass sich ein Objekt nur zu einem vorgegebenen Zeitpunkt oder zumindest innerhalb eines vorgegebenen Zeitraums in der Umgebung des Fahrzeugs an der ermittelten Position befindet. Ein solches Objekt kann etwa ein Zug sein, der dem Fahrzeug fahrplanmäßig an der ermittelten Position entgegenkommt. Passiert das Fahrzeug dieselbe Position zu einem anderen Zeitpunkt, wird es dem (fahrplanmäßig verkehrenden) Zug dagegen nicht (an dieser Position) begegnen.
  • Zweckmäßigerweise werden die Szenendaten auf Grundlage des ermittelten Zeitpunkts gefiltert. So können Szenendaten vom Vergleich ausgeschlossen werden, für die aufgrund des ermittelten Zeitpunkts a priori keine Entsprechung in den Objektdaten gefunden werden kann.
  • In einer weiteren bevorzugten Ausführungsform wird in Abhängigkeit des Ergebnisses des Vergleichs zumindest ein Teil der Szenendaten in eine, insbesondere erneute, Erkennung von weiteren Objekten aus der Szene auf Grundlage der Sensordaten mit einbezogen. Werden auf Grundlage der Sensordaten bestimmte Objekte nicht gefunden, welche aber durch Szenendaten charakterisiert sind, muss nicht zwangsweise von einer mangelnden Zuverlässigkeit der Objekterkennung ausgegangen werden. Wenn beispielsweise das Übereinstimmungsmaß für Objekte, die sowohl von den Szenendaten als auch den Objektdaten charakterisiert sind, einen hohen Wert annimmt, kann an der Position von durch die Szenendaten, aber nicht durch die Objektdaten charakterisierten Objekten in den Sensordaten nach genau diesen Objekten gesucht werden, um die Szene zu vervollständigen und die Interpretation der Fahrsituation so weiter zu vereinfachen. Eine solche erneute „Suche“ nach weiteren Objekten in den Sensordaten kann zum Beispiel sinnvoll sein, wenn ein Objekt durch ein anderes, bewegliches Objekt zumindest teilweise verdeckt wird.
  • Die erfindungsgemäße Vorrichtung zur Sensordatenverarbeitung in einem Fahrzeug, insbesondere in einem Schienenfahrzeug, weist eine Sensoreinrichtung auf, die zum Erfassen einer Szene aus der Umgebung des Fahrzeugs und zum Erzeugen entsprechender Sensordaten eingerichtet ist. Zudem weist die Vorrichtung eine Datenverarbeitungseinrichtung auf, die dazu eingerichtet ist, Objekte in der Szene auf Grundlage einer Datenverarbeitung der Sensordaten zu erkennen und entsprechende Objektdaten, welche die erkannten Objekte charakterisieren, zu erzeugen.
  • Erfindungsgemäß ist die Datenverarbeitungseinrichtung zudem dazu eingerichtet, die erzeugten Objektdaten mit in einer Datenbank gespeicherten und qualitätsgesicherten Szenendaten, welche die Objekte in der Szene charakterisieren, zu vergleichen und in Abhängigkeit eines Ergebnisses des Vergleichs eine Zuverlässigkeit der Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank zu beurteilen.
  • Mithilfe der derart ausgebildeten Datenverarbeitungseinrichtung kann die Szenenerfassung, die Datenverarbeitung, die Objekterkennung bzw. -identifikation und/oder die Datenbank effizient überprüft und bezüglich der Zuverlässigkeit beurteilt werden.
  • Die Datenverarbeitungseinrichtung kann hard- und/oder softwaretechnisch ausgebildet sein. Sie kann zum Beispiel ein oder mehrere Programme oder Programmmodule aufweisen. Alternativ oder zusätzlich kann sie eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungseinheit aufweisen, etwa eine Mikroprozessoreinheit (CPU). Die CPU kann insbesondere dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten. Die Datenverarbeitungseinrichtung kann insbesondere dazu eingerichtet sein, zumindest einen Teil des erfindungsgemäßen Verfahrens auszuführen.
  • In einer bevorzugten Ausführungsform weist die Vorrichtung eine Speichereinrichtung auf, in der die Datenbank abgelegt ist. Die Speichereinrichtung kann ein oder mehrere, insbesondere verschiedene, Speichermedien aufweisen. Die Speichereinrichtung kann insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen.
  • Das erfindungsgemäße Fahrzeug, insbesondere ein Schienenfahrzeug, weist eine erfindungsgemäße Vorrichtung auf.
  • Mithilfe der Vorrichtung kann die Fahrt des Fahrzeugs besonders zuverlässig und effizient überwacht werden. Insbesondere kann eine, bevorzugt der Steuerung des Fahrzeugs zugrunde liegende, Szenenerfassung, Datenverarbeitung und/oder Objekterkennung bzw. -identifikation überwacht und im Hinblick auf ihre Zuverlässigkeit beurteilt werden.
  • Die bisher gegebene Beschreibung vorteilhafter Ausgestaltungen der Erfindung enthält zahlreiche Merkmale, die in den einzelnen Unteransprüchen teilweise zu mehreren zusammengefasst wiedergegeben sind. Diese Merkmale können jedoch zweckmäßigerweise auch einzeln betrachtet und zu sinnvollen weiteren Kombinationen zusammengefasst werden. Insbesondere sind diese Merkmale jeweils einzeln und in beliebiger geeigneter Kombination mit dem erfindungsgemäßen Verfahren und der erfindungsgemäßen Vorrichtung sowie dem Fahrzeug kombinierbar. So sind Verfahrensmerkmale auch als Eigenschaft der entsprechenden Vorrichtungseinheit gegenständlich formuliert zu sehen und umgekehrt.
  • Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Die Ausführungsbeispiele dienen der Erläuterung der Erfindung und beschränken die Erfindung nicht auf die darin angegebene Kombination von Merkmalen, auch nicht in Bezug auf funktionale Merkmale. Außerdem können dazu geeignete Merkmale eines jeden Ausführungsbeispiels auch explizit isoliert betrachtet, aus einem Ausführungsbeispiel entfernt, in ein anderes Ausführungsbeispiel zu dessen Ergänzung eingebracht und mit einem beliebigen der Ansprüche kombiniert werden.
  • Es zeigen:
    • 1 ein Beispiel einer Fahrsituation aus Sicht eines Fahrzeugs auf einer Route;
    • 2 ein Beispiel einer Vorrichtung zur Sensordatenverarbeitung in einem Fahrzeug; und
    • 3 ein Beispiel eines Verfahrens zur Sensordatenverarbeitung in einem Fahrzeug auf einer Route.
  • 1 zeigt ein Beispiel einer Fahrsituation aus Sicht eines Fahrzeugs 20 auf einer Route 1. Im vorliegenden Fall handelt es sich bei dem Fahrzeug (20) um ein Schienenfahrzeug (auch: „spurgebundenes Fahrzeug“), etwa einen Zug, sodass die Route 1 durch den Verlauf von Schienen 1a vorgegeben ist.
  • Die Fahrsituation ist vorzugsweise durch Objekte 3a, 3b, 3c, 3d in der Umgebung 2 des Fahrzeugs 20 charakterisiert. Insbesondere kann die Fahrsituation durch die Anordnung der Objekte 3a, 3b, 3c, 3d relativ zum Fahrzeug 20 charakterisiert sein. Daher wird die Fahrsituation gelegentlich auch als Szene bezeichnet.
  • Als Objekte sind in 1 rein beispielhaft eine Böschung 3a am Gleisbett, eine Signalanlage 3b zur Regelung des Schienenverkehrs auf der Route 1, ein Bauwerk 3c - hier eine Brücke über das Gleisbett - und Personen 3d gezeigt.
  • Im Verlauf der Fahrt des Fahrzeugs 20 entlang der Route 1 werden sich eine Vielzahl solcher Fahrsituationen ergeben, die sich jeweils durch die Anordnung der Objekte 3a-3d, die Zahl der Objekte 3a-3d, den Typ der Objekte 3a-3d etc. voneinander unterscheiden. Zur Steuerung des Fahrzeugs 20 ist es daher in der Regel notwendig, die Umgebung 2 des Fahrzeugs 20 zu jedem Zeitpunkt während der Fahrt zu überwachen, um gegebenenfalls auf drohende Gefährdungen des Fahrzeugs 20 durch Objekte 3a-3d und/oder auf Gefährdungen von Objekten 3a-3d, insbesondere Personen 3d, durch das Fahrzeug 20 reagieren und diese abwenden zu können.
  • Zu diesem Zweck sind Fahrzeuge, insbesondere mithilfe eines entsprechenden Steuerungssystems autonom oder zumindest teilautonom fahrende Fahrzeuge, vorzugsweise mit einer Sensoreinrichtung 11 ausgestattet, die zum Erfassen der Umgebung 2 eingerichtet ist und beispielsweise einen oder mehrere Kamerasensoren, Radarsensoren, Lidarsensoren und/oder dergleichen aufweisen kann. Dabei erzeugte Sensordaten können ausgewertet, zum Beispiel mithilfe von Algorithmen zur Erkennung der Objekte 3a, 3b, 3c, 3d, und die Fahrsituation bzw. Szene auf diese Weise analysiert werden.
  • Grundsätzlich lassen sich die Objekte 3a-3d in zwei Gruppen unterteilen: vorbekannte Objekte 3a-3c und unbekannte Objekte 3d. Bei vorbekannten Objekten 3a-3c kann es sich beispielsweise um stationäre Objekte handeln, die bei jeder Fahrt des Fahrzeugs 20 entlang der vorgegebenen Route 1, insbesondere an immer derselben Position, auftreten. Bei unbekannten Objekten 3d kann es sich um dynamische Objekte handeln, die sich zufällig beim Befahren der Route 1 in der Umgebung 2 befinden.
  • Auf der Route 1 kann das Auftauchen der vorbekannten Objekte 3a-3c in der Umgebung 2 entlang der Route 1 leicht vorhergesagt werden. Es ist insbesondere möglich, eine Datenbank bereitzustellen, in der zum Beispiel alle stationären Objekte 3a-3c erfasst sind. Eine solche Datenbank kann Szenendaten enthalten, welche die stationären Objekte 3a-3c charakterisiert. Die Szenendaten enthalten beispielsweise die Information, in welchem Routenabschnitt auf der Route 1 sich welches der vorbekannten Objekte 3a-3c in welcher Anordnung relativ zum Fahrzeug 20 befindet.
  • Vorbekannte Objekte 3a-3c spielen bei einer Analyse der Fahrsituation, zum Beispiel bei einer Gefährdungsbewertung, jedoch a priori eine geringere Rolle als unbekannte Objekte 3d. Stationäre Objekte 3a-3c können beispielsweise nicht unmittelbar auf die Fahrt des Fahrzeugs 20 entlang der Route 1 Einfluss nehmen. Der Analyse unbekannter Objekte 3d muss dagegen oftmals mehr Aufmerksamkeit gewidmet werden, da diese im Extremfall auch in der Fahrbahn des Fahrzeugs 20, also zum Beispiel im Gleisbett, auftreten können.
  • Dynamische Objekte 3d können allerdings oftmals nicht in der Datenbank erfasst sein bzw. werden, da ihr Auftreten in der Umgebung 2 entlang der Route 1 bzw. ihre Anordnung relativ zum Fahrzeug 20 nicht vorhersagbar ist. Ausnahmen hiervon sind möglich, insbesondere im Hinblick auf dynamische Objekte, die im Zusammenhang mit einem regelmäßig auftretenden Ereignis stehen und/oder dazu eingerichtet sind, sie charakterisierende Dynamikdaten bereitzustellen. Beispielsweise könnte in der Datenbank ein fahrplanmäßig verkehrender Zug erfasst sein, der dem Fahrzeug 20 auf der Route 1 in einem vorgegebenen Routenabschnitt entgegenkommt. Es ist insbesondere denkbar, dass dieser Zug Dynamikdaten, welche zum Beispiel Information zur aktuellen Position, zur Bewegungsrichtung und/oder zum Typ des Zugs enthalten, über eine Funk- oder eine andere Kommunikationsverbindung an das Fahrzeug 20 übermittelt. Gegebenenfalls können auf Grundlage dieser Information dann weitere Daten etwa zu spezifischen Merkmalen des Zugs aus der Datenbank ausgelesen werden. Alternativ kann diese Information ebenfalls direkt vom Zug an das Fahrzeug 20 übermittelt werden.
  • Ein anderes Beispiel ist ein fahrplanmäßig verkehrendes Flugzeug, das an bestimmten Tagen zu einer bestimmten Uhrzeit von einem vorgegebenen Routenabschnitt aus vom Fahrzeug 20 aus am Himmel sichtbar ist.
  • Die Übermittlung der Dynamikdaten ist vorzugsweise über ein Sicherheitsprotokoll gesichert. Alternativ oder zusätzlich können die Dynamikdaten selbst qualitätsgesichert sein.
  • Um die Analyse der Fahrsituation zu erleichtern, insbesondere die Anzahl der einer Gefährdungsbewertung zugrunde zu legenden Objekte 3a-3d in der Umgebung 2 des Fahrzeugs 20 zu reduzieren, ist es vorteilhaft, auf die in der Datenbank enthaltene Information zurückzugreifen und beim Erkennen von Objekten 3a-3d auf Grundlage der Sensordaten erzeugte Objektdaten mit in der Datenbank gespeicherten Szenendaten zu vergleichen. Dadurch können vorbekannte Objekte 3a-3c aus der Szene entfernt werden, was die Analyse der Szene deutlich vereinfacht und/oder beschleunigt.
  • Vorzugsweise wird aus den Sensordaten insbesondere der weitere Fahrweg, also zum Beispiel der Verlauf des Gleisbetts 3a, ermittelt. Dies ist vorteilhaft, weil der Fahrweg besonders gut charakterisierbar und somit sensorisch verhältnismäßig leicht bzw. zuverlässig zu erfassen ist. Ist der Fahrweg durch den Vergleich mit den Szenendaten validiert, kann beispielsweise die Position von in der Umgebung 2 des Fahrzeugs 20 erkannten Objekten 3b, 3c, 3d relativ zum Fahrweg und dadurch besonders zuverlässig ermittelt werden. Auch für Objekte 3c, 3d in größeren Entfernungen kann dadurch etwa zuverlässig beurteilt werden, ob sie sich auf oder neben dem Fahrweg, also etwa dem Gleisbett 3a, befinden.
  • Das Zurückgreifen auf die in der Datenbank gespeicherten Szenendaten bei der Szenenanalyse hat noch einen weiteren Vorteil: der Vergleich der Objektdaten mit den Szenendaten kann Hinweise über die Zuverlässigkeit der Szenenerfassung, der Datenverarbeitung der Sensordaten, der Objekterkennung und/oder sogar der Datenbank selbst liefern. Sind in der Datenbank Objekte erfasst, die bei der Verarbeitung der Sensordaten nicht erkannt werden, kann dies ein Hinweis auf eine fehlerhafte oder zumindest mangelhafte Objekterkennung sein. Entsprechend sollte die Steuerung des Fahrzeugs 20 nicht mehr auf die bei der Objekterkennung erzeugten Objektdaten gestützt werden, da diese als unzuverlässig anzusehen sind. Vielmehr sollte das Fahrzeug 20 in einen sicheren Zustand überführt, also zum Beispiel gestoppt, werden. Gegebenenfalls kann dies aber auch ein Hinweis auf eine veraltete Datenbank sein. Die Datenbank kann, zum Beispiel nachdem das Fehlen der Objekte von anderen Fahrzeugen überprüft wurde, dann entsprechend aktualisiert werden.
  • 2 zeigt ein Beispiel einer Vorrichtung 10 zur Sensordatenverarbeitung in einem Fahrzeug, insbesondere in einem Schienenfahrzeug. Mithilfe einer solchen Vorrichtung 10 kann beispielsweise die Fahrt auf der Route aus 1 überwacht werden. Die Vorrichtung 10 weist zu diesem Zweck eine Sensoreinrichtung 11 auf, die zum Erfassen einer Szene aus der Umgebung des Fahrzeugs und zum Erzeugen entsprechender Sensordaten eingerichtet ist, sowie eine Datenverarbeitungseinrichtung 12. Die Datenverarbeitungseinrichtung 12 ist dazu eingerichtet, die Sensordaten zu verarbeiten, sodass Objekte in der Szene auf Grundlage der Sensordaten erkannt und entsprechende Objektdaten, welche die erkannten Objekte charakterisieren, erzeugt werden.
  • Die Sensoreinrichtung 11 weist zweckmäßigerweise einen oder mehrere Sensoren, insbesondere optischer Bauart, auf. Die Sensoreinrichtung 11 kann beispielsweise eine Kamera aufweisen, die dazu eingerichtet ist, beim Erfassen der Umgebung des Fahrzeugs Sensordaten in Form eines Bilds der Umgebung zu erzeugen. Ebenso kann die Sensoreinrichtung 11 ein oder mehrere Lidarsensoren, Radarsensoren und/oder bildgebende Vorrichtungen für den infrarot- und/oder ultravioletten Spektralbereich aufweisen.
  • Zum Erkennen von Objekten in einem solchen Bild weist die Datenverarbeitungseinrichtung 12 vorzugsweise einen Algorithmus zur Objekterkennung auf oder kann einen solchen auf die Sensordaten anwenden. Mit einem solchen Algorithmus lassen sich die erkannten Objekte klassifizieren und Eigenschaften der Objekte wie etwa deren Position relativ zum Fahrzeug, Größe, Struktur bzw. Topologie und/oder dergleichen ermitteln. Die Objektdaten enthalten zweckmäßigerweise diese Information.
  • Die Datenverarbeitungseinrichtung 12 hat Zugriff auf eine Datenbank 13, in welcher Szenendaten gespeichert sind. Die Szenendaten charakterisieren insbesondere vorbekannte, zum Beispiel stationäre, Objekte in der Szene. Die Datenbank 13 kann, muss aber nicht, Teil der Vorrichtung 10 sein. Die Datenbank 13 kann beispielsweise auch von einem Server vorgehalten werden, mit dem die im Fahrzeug verbaute Datenverarbeitungseinrichtung 12 kommunizieren kann.
  • Die Vorrichtung 10 weist im vorliegenden Beispiel zudem eine Positionsermittlungseinrichtung 14 auf, die dazu eingerichtet ist, die (gegenwärtige) Position des Fahrzeugs auf der Route zu ermitteln. Die Positionsermittlungseinrichtung 14 kann beispielsweise als GPS-Empfänger oder dergleichen ausgebildet sein, um anhand von empfangenen Signalen die Position des Fahrzeugs festzustellen. Alternativ oder zusätzlich können auch Odometriedaten des Fahrzeugs verwendet werden.
  • Die Datenverarbeitungseinrichtung 12 ist vorzugsweise dazu eingerichtet, die von der Positionsermittlungseinrichtung 14 ermittelte Position mit den beim Erkennen der Objekte erzeugten Objektdaten zu verknüpfen. Die Objektdaten können dadurch einer Position des Fahrzeugs auf der Route eindeutig zugeordnet werden. In diesem Fall können die Objektdaten daher auch als positionsspezifische oder ortsaufgelöste Objektdaten bezeichnet werden.
  • Es ist weiter bevorzugt, wenn die Datenverarbeitungseinrichtung 12 dazu eingerichtet ist, die ermittelte Position des Fahrzeugs auf der Route dem Vergleich der Objektdaten mit den Szenendaten zugrunde zu legen. Anders gesagt ist die Datenverarbeitungseinrichtung 12 in bevorzugter Weise dazu eingerichtet, die Objektdaten mit den Szenendaten im Hinblick auf die ermittelte Position des Fahrzeugs zu vergleichen. Die Datenverarbeitungseinrichtung 12 kann insbesondere dazu eingerichtet sein, die Objektdaten mit denjenigen Szenendaten zu vergleichen, welche Objekte in der Umgebung der ermittelten Position des Fahrzeugs charakterisieren. Zweckmäßigerweise ist hierzu in der Datenbank 13 eine Zuordnung der Szenendaten zu möglichen Positionen des Fahrzeugs entlang der Route vorgesehen.
  • Die Datenverarbeitungseinrichtung 12 kann beispielsweise dazu eingerichtet sein, die Szenendaten bezüglich der ermittelten Position zu filtern. Die Datenverarbeitungseinrichtung 12 ist zweckmäßigerweise dazu eingerichtet, der Datenbank 13 gerade diejenigen Szenendaten zu entnehmen, die der ermittelten Position zugeordnet sind. Alternativ kann die Datenverarbeitungseinrichtung 12 dazu eingerichtet sein, aus den der Datenbank 13 entnommenen Szenendaten diejenigen herauszugreifen, die der ermittelten Position zugeordnet sind.
  • Durch den Vergleich der beim Erkennen der Objekte erzeugten Objektdaten mit den Szenendaten kann entsprechend die tatsächliche Fahrsituation, wie sie durch die Sensordaten abgebildet ist, mit einer hypothetischen Fahrsituation, wie sie erwartet wird, verglichen werden.
  • Die Datenverarbeitungseinrichtung 12 ist dazu eingerichtet, anhand eines Ergebnisses des Vergleichs eine Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank zu beurteilen. Insbesondere kann die Datenverarbeitungseinrichtung 12 dazu eingerichtet sein, ein Maß für die Zuverlässigkeit der Szenendaten 13 mit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung zu assoziieren. Zweckmäßigerweise weist die Vorrichtung 10 eine Schnittstelle 15 auf, mit deren Hilfe das Ergebnis des Vergleichs bereitgestellt werden kann.
  • Das Ergebnis kann insbesondere eine Überschussliste aller erkannten Objekte enthalten, die auf Grundlage der Sensordaten erkannt wurden, in der Datenbank 13 jedoch nicht erfasst oder zumindest der ermittelten Position nicht zugeordnet sind. Das Ergebnis kann insbesondere gefilterte Objektdaten enthalten. Das Ergebnis enthält dann zweckmäßigerweise nur denjenigen Teil der Objektdaten, für den die Datenverarbeitungseinrichtung 12 keine Übereinstimmung mit den Szenendaten ermitteln konnte.
  • Die Datenverarbeitungseinrichtung 12 kann diese Überschussliste bzw. die gefilterten Objektdaten über die Schnittstelle 15 beispielsweise einem Steuerungssystem bereitstellen. Das Steuerungssystem kann eine Analyse der Fahrsituation, insbesondere eine Gefährdungsbewertung, anhand der Überschussliste bzw. der gefilterten Objektdaten ausführen. Auf Grundlage der Analyse lässt sich das Fahrzeug vom Steuerungssystem steuern.
  • Es ist jedoch auch denkbar, dass bereits die Datenverarbeitungseinrichtung 12 zur Analyse der Fahrsituation, gegebenenfalls auch zur Steuerung des Fahrzeugs, auf Grundlage eines Ergebnisses des Vergleichs eingerichtet ist.
  • 3 zeigt ein Beispiel eines Verfahrens 100 zur Sensordatenverarbeitung in einem Fahrzeug, insbesondere in einem Schienenfahrzeug.
  • In einem Verfahrensschritt S1 wird eine Position des Fahrzeugs auf der Route ermittelt. Zu diesem Zweck kann eine Positionsermittlungseinrichtung vorgesehen sein, die beispielsweise ein GPS-Signal und/oder dergleichen empfängt und daraus die (gegenwärtige) Position des Fahrzeugs ermittelt. Die ermittelte Position kann dabei insbesondere einem Routenabschnitt zugeordnet sein oder werden.
  • In einem weiteren Verfahrensschritt S2 wird eine Szene aus der Umgebung des Fahrzeugs sensorisch, zum Beispiel mithilfe einer Sensoreinrichtung, erfasst. Dabei werden entsprechende Sensordaten erzeugt. Die in Verfahrensschritt S1 ermittelte Position ist oder wird den erzeugten Sensordaten vorzugsweise zugeordnet, beispielsweise indem die Position zeitgleich mit der Erzeugung der Sensordaten ermittelt wird.
  • In einem weiteren Verfahrensschritt S3 werden Objekte in der Szene auf Grundlage einer Datenverarbeitung der Sensordaten erkannt und entsprechende Objektdaten, welche die erkannten Objekte charakterisieren, erzeugt. Handelt es sich bei den Sensordaten beispielsweise um Bilddaten, die von einer Kamera der Sensoreinrichtung erzeugt wurden, können die Sensordaten mithilfe eines Algorithmus zur Objekterkennung ausgewertet werden. Die dabei anfallende Information zur Klasse des erkannten Objekts und seinen physikalischen Eigenschaften wie Position relativ zum Fahrzeug, Größe, Struktur bzw. Topologie und/oder dergleichen wird zweckmäßigerweise zumindest als Teil der Objektdaten, zum Beispiel in Form eines Merkmalsvektors, bereitgestellt.
  • In einem weiteren Verfahrensschritt S4 werden die Objektdaten mit in einer Datenbank gespeicherten Szenendaten, welche Objekte in der Szene charakterisieren, verglichen. Zweckmäßigerweise werden dazu Szenendaten in Bezug auf die ermittelte Position des Fahrzeugs gefiltert. Insbesondere kann vorgesehen sein, dass aus der Datenbank lediglich Szenendaten ausgelesen bzw. geladen - und dem Vergleich zugrunde gelegt - werden, die der ermittelten Position zuordenbar sind.
  • Im Rahmen des Verfahrensschritts S4 kann auf Grundlage des Vergleichs insbesondere ein Übereinstimmungsmaß ermittelt werden, welches den Grad der Übereinstimmung der Objektdaten mit den - gegebenenfalls gefilterten - Szenendaten angibt. Das Übereinstimmungsmaß kann beispielsweise einen hohen Wert annehmen, wenn zumindest ein Teil der Objektdaten zumindest im Wesentlichen mit den Szenendaten übereinstimmt. Das Übereinstimmungsmaß kann insbesondere einen hohen Wert annehmen, wenn alle durch die Szenendaten charakterisierten, in der Umgebung der ermittelten Position des Fahrzeugs vorbekannten Objekte auch in Verfahrensschritt S3 erkannt wurden. Bevorzugt nimmt das Übereinstimmungsmaß einen hohen Wert an, wenn auch die durch die Objektdaten abgebildeten Eigenschaften der erkannten Objekte mit den durch die Szenendaten abgebildeten Eigenschaften der vorbekannten Objekte zumindest in hohem Maße übereinstimmen. Es kann zum Beispiel vorgesehen sein, dass das Übereinstimmungsmaß einen hohen Wert annimmt, wenn bestimmte, ausgesuchte Merkmale in Objektdaten und Szenendaten übereinstimmen. Die ausgesuchten Merkmale werden vorzugsweise derart gewählt, dass sie mit einer hohen Wahrscheinlichkeit jedenfalls in Kombination nur bei jeweils einem Typ oder einer Instanz eines Objekts auftreten. In diesem Fall kann das Übereinstimmungsmaß eine Spezifität der Objekterkennung angeben.
  • Andersherum kann das Übereinstimmungsmaß einen geringeren Wert annehmen, wenn ein großer Teil der Objektdaten zumindest nicht im Wesentlichen mit den Szenendaten übereinstimmt. Dies kann zum Beispiel der Fall sein, wenn durch die Szenendaten in der Umgebung der ermittelten Position des Fahrzeugs Objekte charakterisiert sind, die in Verfahrensschritt S3 nicht erkannt wurden und/oder deren Eigenschaften nicht übereinstimmen.
  • Auf Grundlage des Übereinstimmungsmaßes kann in Folge eine Beurteilung der Zuverlässigkeit der Szenenerfassung aus Verfahrensschritt S2, der Datenverarbeitung der Sensordaten und/oder der Objekterkennung aus Verfahrensschritt S3 vorgenommen werden. Beispielsweise kann geprüft werden, ob das Übereinstimmungsmaß einen vorgegebenen Übereinstimmungsschwellenwert erreicht oder überschreitet. In Abhängigkeit eines Ergebnisses dieser Prüfung kann in einem weiteren Verfahrensschritt S5 eine Zuverlässigkeit der sensorischen Szenenerfassung aus Verfahrensschritt S2, der Datenverarbeitung der Sensordaten und/oder der Objekterkennung aus Verfahrensschritt S3 beurteilt werden. Alternativ oder zusätzlich kann auch eine Zuverlässigkeit der Datenbank beurteilt werden.
  • Beispielsweise kann, wenn das Übereinstimmungsmaß den vorgegebenen Übereinstimmungsschwellenwert überschreitet, ein Maß für die Zuverlässigkeit der Szenendaten mit der Szenenerfassung in Verfahrensschritt S2 und/oder mit der Datenverarbeitung und/oder mit der Objekterkennung in Verfahrensschritt S3 assoziiert werden. Anders gesagt kann der Sensordatenverarbeitung ein bestimmter Sicherheitsstandard zugewiesen werden, ohne dass dafür eine detaillierte Analyse der Sensordatenverarbeitung erfolgen muss.
  • Zusätzlich können die Objektdaten im Verfahrensschritt S5 an ein Steuerungssystem ausgegeben werden, von dem sie einer Steuerung des Fahrzeugs zugrunde gelegt werden. Insbesondere kann ein Teil der Objektdaten, welcher nicht durch Szenendaten charakterisierten, d. h. unbekannten, etwa nichtstationären bzw. dynamischen Objekten zuordenbar ist, in Form einer Überschussliste als Ergebnis des Vergleichs aus Verfahrensschritt S4 ausgegeben werden. Die Fahrsituation kann auf Grundlage der Überschussliste dann effizienter analysiert werden als auf Grundlage der ursprünglichen Objektdaten, die alle in der Umgebung des Fahrzeugs erkannten Objekte charakterisieren - also auch vorbekannte und für die Steuerung des Fahrzeugs nicht maßgebliche Objekte.
  • Unterschreitet das Übereinstimmungsmaß dagegen den vorgegebenen Übereinstimmungsschwellenwert, kann in einem weiteren Verfahrensschritt S6 - aufgrund des damit verbundenen mangelnden Vertrauens in die Objekterkennung aus Verfahrensschritt S3 - geprüft werden, ob ein redundantes System zur Steuerung des Fahrzeugs, zumindest zur Objekterkennung, betriebsfähig ist bzw. fehlerfrei arbeitet. Ist dies der Fall, kann die Steuerung des Fahrzeugs an das redundante System übertragen werden. Andernfalls sollte das Fahrzeug in einen sicheren Zustand überführt werden.
  • Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

Claims (15)

  1. Verfahren (100) zur Sensordatenverarbeitung in einem Fahrzeug (20), wobei - eine Szene aus der Umgebung (2) des Fahrzeugs (20) sensorisch erfasst (S2) und entsprechende Sensordaten erzeugt werden, - Objekte (3a, 3b, 3c, 3d) in der Szene auf Grundlage einer Datenverarbeitung der Sensordaten erkannt (S3) und entsprechende Objektdaten, welche die erkannten Objekte (3a, 3b, 3c, 3d) charakterisieren, erzeugt werden, - die erzeugten Objektdaten mit in einer Datenbank (13) gespeicherten und qualitätsgesicherten Szenendaten, welche Objekte (3a-3d) in der Szene charakterisieren, verglichen (S4) werden und - in Abhängigkeit eines Ergebnisses des Vergleichs eine Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank (13) beurteilt (S5) wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Datenbank (13) die Karte einer Route (1) bildet, auf der das Fahrzeug (20) fährt, und die Szenendaten Kartendaten aus einem Abschnitt der Karte enthalten.
  3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass beim Beurteilen der Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank (13) ein Maß für die Zuverlässigkeit ermittelt wird, welches durch den Umfang der Szenendaten bestimmt ist.
  4. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass beim Vergleichen ein Übereinstimmungsmaß für die Übereinstimmung der Objektdaten mit den Szenendaten ermittelt wird.
  5. Verfahren (100) nach Anspruch 4, dadurch gekennzeichnet, dass geprüft wird, ob das Übereinstimmungsmaß einen vorgegebenen Übereinstimmungsschwellenwert erreicht oder überschreitet, und das Fahrzeug (20) auf Grundlage eines Ergebnisses der Prüfung gesteuert wird.
  6. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die erzeugten Objektdaten oder die Szenendaten zusätzlich mit von zumindest einem Objekt (3d) aus der Umgebung (2) des Fahrzeugs (20) bereitgestellten Dynamikdaten verglichen und - die Zuverlässigkeit der sensorischen Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank (13) in Abhängigkeit eines Ergebnisses des Vergleichs der bereitgestellten Dynamikdaten mit den Objektdaten bzw. den Szenendaten beurteilt wird oder - in Abhängigkeit eines Ergebnisses des Vergleichs der bereitgestellten Dynamikdaten mit den Objektdaten oder den Szenendaten eine Zuverlässigkeit der Dynamikdaten beurteilt wird.
  7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass - eine Position des Fahrzeugs (20) auf einer Route (1) ermittelt (S1) wird; - die Szene aus der Umgebung (2) des Fahrzeugs (20) an der ermittelten Position erfasst wird; - die erzeugten Objektdaten mit in der Datenbank (13) gespeicherten Szenendaten, welche Objekte (3a, 3b, 3c, 3d) in der Umgebung (2) der ermittelten Position des Fahrzeugs (20) charakterisieren, verglichen werden.
  8. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass auf Grundlage eines Ergebnisses des Vergleichs Gefährdungsobjekte in der Umgebung (2) des Fahrzeugs (20) ermittelt und einer Gefährdungsbewertung zugrunde gelegt werden.
  9. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass beim Vergleichen eine Überschussliste aller durch die Objektdaten charakterisierten Objekte (3a, 3b, 3c, 3d), die nicht durch Szenendaten charakterisiert sind, ermittelt wird.
  10. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass auf Grundlage von Szenendaten weitere Objektdaten eines erkannten Objekts (3a, 3b, 3c, 3d) ermittelt oder Objektdaten ergänzt werden.
  11. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass beim Vergleichen der Objektdaten mit den Szenendaten geprüft wird, ob eine Übereinstimmung von Objekteigenschaften vorliegt.
  12. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Zeitpunkt des sensorischen Erfassens der Umgebung (2) des Fahrzeugs ermittelt und dem Vergleichen der Objektdaten mit den Szenendaten zugrunde gelegt wird.
  13. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit des Ergebnisses des Vergleichs zumindest ein Teil der Szenendaten in eine Erkennung von weiteren Objekten (3a, 3b, 3c, 3d) aus der Szene auf Grundlage der Sensordaten mit einbezogen wird.
  14. Vorrichtung (10) zur Sensordatenverarbeitung in einem Fahrzeug (20), mit - einer Sensoreinrichtung (11), die zum Erfassen einer Szene aus der Umgebung (2) des Fahrzeugs (20) und zum Erzeugen entsprechender Sensordaten eingerichtet ist und - einer Datenverarbeitungseinrichtung (12), die dazu eingerichtet ist, Objekte (3a, 3b, 3c, 3d) in der Szene auf Grundlage einer Datenverarbeitung der Sensordaten zu erkennen und entsprechende Objektdaten, welche die erkannten Objekte (3a, 3b, 3c, 3d) charakterisieren, zu erzeugen, die erzeugten Objektdaten mit in einer Datenbank (13) gespeicherten und qualitätsgesicherten Szenendaten, welche Objekte (3a, 3b, 3c, 3d) in der Szene charakterisieren, zu vergleichen und in Abhängigkeit eines Ergebnisses des Vergleichs eine Zuverlässigkeit der Szenenerfassung und/oder der Datenverarbeitung der Sensordaten und/oder der Objekterkennung und/oder der Datenbank (13) zu beurteilen.
  15. Fahrzeug (20) mit einer Vorrichtung (10) nach Anspruch 14.
DE102021200822.4A 2021-01-29 2021-01-29 Verfahren und Vorrichtung zur Sensordatenverarbeitung Withdrawn DE102021200822A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102021200822.4A DE102021200822A1 (de) 2021-01-29 2021-01-29 Verfahren und Vorrichtung zur Sensordatenverarbeitung
US18/263,560 US20240118104A1 (en) 2021-01-29 2021-12-15 Method and device for processing sensor data
EP21847937.6A EP4268126A1 (de) 2021-01-29 2021-12-15 Verfahren und vorrichtung zur sensordatenverarbeitung
PCT/EP2021/085888 WO2022161694A1 (de) 2021-01-29 2021-12-15 Verfahren und vorrichtung zur sensordatenverarbeitung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021200822.4A DE102021200822A1 (de) 2021-01-29 2021-01-29 Verfahren und Vorrichtung zur Sensordatenverarbeitung

Publications (1)

Publication Number Publication Date
DE102021200822A1 true DE102021200822A1 (de) 2022-08-04

Family

ID=80001345

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021200822.4A Withdrawn DE102021200822A1 (de) 2021-01-29 2021-01-29 Verfahren und Vorrichtung zur Sensordatenverarbeitung

Country Status (4)

Country Link
US (1) US20240118104A1 (de)
EP (1) EP4268126A1 (de)
DE (1) DE102021200822A1 (de)
WO (1) WO2022161694A1 (de)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
DE102013213106A1 (de) 2013-09-18 2015-03-19 Continental Teves Ag & Co. Ohg Verfahren und System zur Bewertung einer Zuverlässigkeit eines sensorikbasierten Fahrzeugsystems
DE102014220687A1 (de) 2014-10-13 2016-04-14 Continental Automotive Gmbh Kommunikationsvorrichtung für ein Fahrzeug und Verfahren zum Kommunizieren
EP3477616A1 (de) 2017-10-27 2019-05-01 Sigra Technologies GmbH Verfahren zur steuerung eines fahrzeugs mithilfe eines maschinenlernsystems
DE102017223632A1 (de) 2017-12-21 2019-06-27 Continental Automotive Gmbh System zur Berechnung einer Fehlerwahrscheinlichkeit von Fahrzeugsensordaten
DE102019209357B3 (de) 2019-06-27 2020-10-29 Audi Ag Verfahren zum Ermitteln zumindest eines aktuellen Vertrauenswerts eines Datensatzes eines Kraftfahrzeugs sowie ein Rechensystem hierzu
DE102020202163A1 (de) 2020-02-20 2021-08-26 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Detektierung von Objekten und/oder Strukturen im Umfeld eines Fahrzeugs

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2542115B (en) * 2015-09-03 2017-11-15 Rail Vision Europe Ltd Rail track asset survey system
EP3722182A1 (de) * 2019-04-12 2020-10-14 Thales Management & Services Deutschland GmbH Verfahren zum sicheren und autonomen bestimmen einer positionsinformation eines zuges auf einem gleis

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
DE102013213106A1 (de) 2013-09-18 2015-03-19 Continental Teves Ag & Co. Ohg Verfahren und System zur Bewertung einer Zuverlässigkeit eines sensorikbasierten Fahrzeugsystems
DE102014220687A1 (de) 2014-10-13 2016-04-14 Continental Automotive Gmbh Kommunikationsvorrichtung für ein Fahrzeug und Verfahren zum Kommunizieren
EP3477616A1 (de) 2017-10-27 2019-05-01 Sigra Technologies GmbH Verfahren zur steuerung eines fahrzeugs mithilfe eines maschinenlernsystems
DE102017223632A1 (de) 2017-12-21 2019-06-27 Continental Automotive Gmbh System zur Berechnung einer Fehlerwahrscheinlichkeit von Fahrzeugsensordaten
DE102019209357B3 (de) 2019-06-27 2020-10-29 Audi Ag Verfahren zum Ermitteln zumindest eines aktuellen Vertrauenswerts eines Datensatzes eines Kraftfahrzeugs sowie ein Rechensystem hierzu
DE102020202163A1 (de) 2020-02-20 2021-08-26 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Detektierung von Objekten und/oder Strukturen im Umfeld eines Fahrzeugs

Also Published As

Publication number Publication date
EP4268126A1 (de) 2023-11-01
US20240118104A1 (en) 2024-04-11
WO2022161694A1 (de) 2022-08-04

Similar Documents

Publication Publication Date Title
EP3155603B1 (de) Verfahren zur ermittlung von positionsdaten zur nutzung beim betrieb eines fahrzeugsystems eines kraftfahrzeugs und positionsdatenermittlungs- und -verteilungssystem
DE102016219455B4 (de) Verfahren und aktive Infrastruktur zur Überprüfung einer Umfelderfassung eines Kraftfahrzeugs
DE102015225238B4 (de) Verfahren und System zur automatischen Steuerung eines Folgefahrzeugs mit einem Scout-Fahrzeug
EP3814720B1 (de) Lokalisierungssystem und verfahren zum betreiben desselben
EP3824247A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
DE102011081614A1 (de) Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
DE102020118629B4 (de) Computerimplementiertes Verfahren zum Bestimmen der Validität einer geschätzten Position eines Fahrzeugs
DE102016220581A1 (de) Verfahren und vorrichtung zur bestimmung eines umfeldmodells
DE102016212774B4 (de) Verfahren und Vorrichtung zur Erzeugung einer Umfeldkarte sowie zur Lokalisierung eines Fahrzeugs
DE102020108508B3 (de) Verfahren zur Bewertung von Streckenabschnitten
DE102021202778A1 (de) Verfahren und System zum Bearbeiten einer digitalen Sicherheitskarte für den Straßenverkehr
DE102021200822A1 (de) Verfahren und Vorrichtung zur Sensordatenverarbeitung
DE102021124736A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Positions-Hypothese
WO2022122250A1 (de) Infrastrukturgestützte trajektorienermittlung für autonome fahrzeuge
EP3625106B1 (de) Sensoriell gesteuertes anpassen von fusionsgewichten an wetterbedingungen in einer odometrieeinheit eines schienenfahrzeugs
DE102020118628A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Position eines Fahrzeugs
DE102010033372A1 (de) Verfahren und System zum Ermitteln der Position eines Schienenfahrzeugs
WO2020160801A1 (de) Verfahren, vorrichtung, computerprogramm und computerprogrammprodukt zum betreiben eines fahrzeuges
EP3671125B1 (de) Positionsbestimmungssystem und verfahren zum betreiben eines positionsbestimmungssystems für eine mobile einheit
DE102020206239B4 (de) Verfahren und System zum Bestimmen einer Eigenposition eines Kraftfahrzeugs sowie ein mit einem solchen System ausgerüstetes Kraftfahrzeug
DE102021207417A1 (de) Überwachungsverfahren und -system
DE102020131997A1 (de) Positionierung bezüglich Landmarken
DE102021200408A1 (de) Sicherheitskritische bordseitige Überwachung der Umgebung eines Schienenfahrzeugs
EP4113392A1 (de) Verfahren zum prüfen der zuverlässigkeit einer ki-basierten objekt-detektion
DE102021201512A1 (de) Verfahren zur Modellierung der Umgebung eines automatisierten Fahrzeugs

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee