DE102022107845A1

DE102022107845A1 - Verfahren, System und Computerprogrammprodukt zur Auswahl von konkreten Szenarien

Info

Publication number: DE102022107845A1
Application number: DE102022107845.0A
Authority: DE
Inventors: Moritz Markofsky
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2022-04-01
Filing date: 2022-04-01
Publication date: 2023-10-05

Abstract

Die Erfindung betrifft ein Verfahren zur Auswahl von konkreten Szenarien, insbesondere zum Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen, wobei ein Szenario ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt und durch eine Auswahl von Parametern und zugehörigen Parameterwerten definiert ist, und wobei bei einem konkreten Szenario die Parameter und zugehörigen Parameterwerte festgelegt sind, umfassend:- Ermitteln (S10) von Daten (240) mittels Sensoren (220) von Eigenschaften und Merkmalen eines Kraftfahrzeugs (10) und von Objekten und Ereignissen in der Umgebung des Kraftfahrzeugs (10) beim Befahren einer Fahrstrecke;- Bearbeiten (S20) der Daten (240) zur Klassifikation eines realen Szenarios zur Kennzeichnung der Fahrsituation;- Extrahieren (S30) von Parametern und Parameterwerten für die ermittelte Menge von realen Szenarien;- Analysieren (S40) der ermittelten Menge von realen Szenarien hinsichtlich des Auftretens von Clustern von Szenario-Typen mit ähnlichen Parametern und Parameterwerten und/oder selten auftretenden Szenario-Typen wie Corner-Cases;- Klassifizieren (S50) einer relevanten Menge von realen Szenarien;- Berechnen (S60) von konkreten Szenarien mittels der klassifizierten realen Szenarien;- Ausgeben (S70) der berechneten konkreten Szenarien für Test- und Trainingszwecke.

Description

Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt für die Auswahl von konkreten Szenarien, insbesondere für das Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen.
Der Trend zu Kraftfahrzeugen, aber auch bei Luftfahrzeugen oder Wasserfahrzeugen erfordert umfangreiche Absicherungsstrategien, da die Verantwortung über die Fahrzeugführung nicht mehr uneingeschränkt beim Fahrer liegt, sondern aktive Funktionen von Rechnereinheiten im Fahrzeug übernommen werden. Daher muss sichergestellt werden, dass autonom sich bewegende Objekte eine sehr geringere Fehlerrate beim Fahrverhalten aufweisen. Die Erkennung und Klassifizierung von Objekten und die Interpretation von Verkehrsszenarien im Umfeld eines Fahrzeugs sind wichtige Voraussetzungen für eine sichere Funktionsfähigkeit von Fahrerassistenzsystemen und automatisierten Fahrfunktionen. Hierfür ist das gezielte Testen und Trainieren der Fahrerassistenzsysteme und automatisierten Fahrfunktionen sowohl mit Extrem- und Ausnahmesituationen (engl. Corner-Cases) als auch mit alltäglichen Situationen erforderlich. Derartige Extremsituationen ergeben sich durch eine besondere Kombination von verschiedenen Faktoren. Beispiele hierfür sind infrastrukturelle Besonderheiten wie beispielsweise der Straßentyp, die Randbebauung an einer Straße, die Qualität der Markierungen aber auch Umgebungsbedingungen wie beispielsweise Witterungsbedingungen, die Tages- und die Jahreszeit. Des Weiteren spielen das Verhalten der anderen Verkehrsteilnehmer, die geographische Topographie und die Wetterverhältnisse eine große Rolle.
Verkehrstechnische Ausnahmesituationen sind jedoch in der realen Welt schwierig zu finden, da einige Ereignisse und Situationen nur selten auftreten. Darüber hinaus ist eine Auswertung von verfügbaren Verkehrsdaten, beispielsweise Daten von zur Datensammlung eingesetzten Testfahrzeugen, nicht immer einfach, da die relevanten Daten oftmals nicht ausreichend klassifiziert und daher schwierig auffindbar sind.
Für das Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen werden daher zunehmend simulierte Verkehrsszenarien verwendet. Dabei werden jedoch auch simulierte Szenarien erstellt, die für die Praxis keine oder nur eine geringe Relevanz haben. Allerdings ist es häufig schwierig, die relevanten simulierten Szenarien auszuwählen.
Die DE 10 2015 213 594 A1 offenbart ein Verfahren zum Erfassen einer Verkehrssituation eines oder mehrerer Fahrzeuge in einer Umgebung eines Egofahrzeugs, wobei verkehrsrelevante Daten von einem oder mehreren Fahrzeugen in der Umgebung des Egofahrzeugs durch eine Sensorik des Egofahrzeugs erfasst werden und ein verkehrsrelevanter Parameter zur Charakterisierung der Verkehrssituation bestimmt wird.
Die US 11137763 B1 offenbart ein automatisiertes Fahrsystems, das mit Hilfe automatisch generierter Simulationsszenarien simuliert und validiert wird. Eine große Anzahl von Simulationsszenarien kann erzeugt werden, indem eine Vielzahl von aufgezeichneten Szenarien mit einem oder mehreren Objekten, wie beispielsweise anderen Fahrzeugen, Fußgängern oder Radfahrern, ergänzt wird. Die Objekte können automatisch durch einen Abgleich zwischen ähnlichen aufgezeichneten Szenarien ermittelt werden.
Die US 10627521 B1 offenbart ein Verfahren zum Steuern eines Fahrzeugsensors, wobei die Steuerung durch maschinelles Lernen und unter Verwendung von simulierten Szenarien trainiert wird und ein Trainingssatz unter anderem reale Daten enthält.
Die DE 10 2018 205 804 A1 offenbart eine Testeinrichtung zum Testen, Absichern und Entwickeln einer Funktion eines Fahrerassistenzsystems oder eines autonomen Fahrzeugs, wobei für jedes Szenario virtuelle, simulierte oder reale, durch Testfahrten ermittelte Sensor-Ausgabedaten verwendet werden, und wobei die Sensor-Ausgabedaten einer Datenbank entnommen werden können.
Die WO 2021/037760 A1 offenbart ein Verfahren zum Testen einer Steuervorrichtung eines autonomen Kraftfahrzeugs, wobei aus den Sensorsignalen von einer Vielzahl von Sensoren einer Fahrzeugflotte Fahrszenarien ermittelt werden und die ermittelten Fahrszenarien bei einer Simulation genutzt werden.
Die WO 2020/060480 A1 offenbart ein Verfahren zur Prüfung einer Steuervorrichtung eines autonomen Kraftfahrzeugs mithilfe einer Szenarien-Datenbank, wobei in der Szenarien-Datenbank Sensordatenströme und/oder Szenarien, welche von realen Fahrern aufgezeichnet oder von Fahrsimulationssystemen erzeugt wurden, gespeichert sind.
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, Möglichkeiten zur verbesserten Auswahl von konkreten Szenarien anzugeben, die eine große Bandbreite von sicherheitskritischen und realen Verkehrsszenarien genau und wirklichkeitstreu wiedergeben und insbesondere für das Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen eingesetzt werden können.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 9, und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
Durch die vorliegende Erfindung wird eine Auswahl von konkreten Verkehrsszenarien durch die Analyse von realen Szenarien ermöglicht, so dass für das Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen nur solche konkreten Szenarien verwendet werden, die auch eine hohe Relevanz für die Abschätzung der Sicherheit und Funktionsfähigkeit der Fahrassistenzsystemen und automatisierten Fahrfunktionen bieten.
Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zur Auswahl von konkreten Szenarien, insbesondere zum Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen, bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar und ist durch eine Auswahl von Parametern und zugehörigen Parameterwerten definiert, wobei bei einem konkreten Szenario Parameter und zugehörigen Parameterwerte festgelegt sind. Das Verfahren umfasst die Verfahrensschritte:

- Ermitteln von Daten mittels Sensoren von Eigenschaften und Merkmalen eines Kraftfahrzeugs und von Objekten und Ereignissen in der Umgebung des Kraftfahrzeugs beim Befahren einer Fahrstrecke jeweils während eines definierten Zeitfensters und/oder eines definierten Fahrstreckenabschnitts;
- Bearbeiten der Daten mittels einer Softwareapplikation zur Klassifikation eines realen Szenarios zur Kennzeichnung der Fahrsituation in dem jeweiligen Zeitfenster und/oder dem jeweiligen Fahrstreckenabschnitt;
- Extrahieren von Parametern und Parameterwerten für die ermittelte Menge von realen Szenarien;
- Analysieren der ermittelten Menge von realen Szenarien mittels einer Softwareapplikation hinsichtlich des Auftretens von Clustern von Szenario-Typen mit ähnlichen Parametern und Parameterwerten und/oder selten auftretenden Szenario-Typen wie Corner-Cases;
- Klassifizieren einer relevanten Menge von realen Szenarien;
- Berechnen von konkreten Szenarien mittels der klassifizierten realen Szenarien;
- Ausgeben der berechneten konkreten Szenarien für Test- und Trainingszwecke.

In einer Weiterentwicklung ist vorgesehen, dass ein Parameter ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, eine Geschwindigkeit, einen Beschleunigungswert, einen Bremswert, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, eine Richtung, einen Winkel, einen Radius, einen Ort, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit darstellt.
In einer vorteilhaftem Ausführungsform ist vorgesehen, dass die Sensoren als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet sind.
in einer weiteren Ausführungsform ist vorgesehen, dass die Softwareapplikation und/oder die Softwareapplikation und/oder die Softwareapplikation Algorithmen der künstlichen Intelligenz verwendet/verwenden.
Insbesondere verwenden die Algorithmen der künstlichen Intelligenz zumindest ein neuronales Netzwerk, wobei das neuronale Netzwerk als tiefes neuronales Netzwerk, als gefaltetes neuronales Netzwerk (Convolutional Neural Network (CNN)) und/oder als rückgekoppeltes Netzwerk (engl. Recurrent Neural Network (RNN)) ausgebildet ist.
Vorteilhafterweise verwendet die Softwareapplikation zumindest einen Cluster-Algorithmus, der insbesondere als k-means-Algorithmus ausgebildet ist.
in einer Weiterentwicklung ist vorgesehen, dass die extrahierten realen Parameter und Parameterwerte und/oder die berechneten konkreten Szenarien mittels einer Metrik wie insbesondere durch Key-Performance-Indizes bewertet und gelabelt werden.
Vorteilhafterweise bezieht sich ein Key-Performance-Index auf eine Häufigkeit des Vorkommens eines bestimmten Szenario-Typs und/oder auf einen einem Szenario-Typ zugeordneten Sicherheitsfaktor.
Gemäß einem zweiten Aspekt stellt die Erfindung ein System zur Auswahl von konkreten Szenarien, insbesondere zum Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen, bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar und ist durch eine Auswahl von Parametern und zugehörigen Parameterwerten definiert, wobei bei einem konkreten Szenario die Parameter und zugehörigen Parameterwerte festgelegt sind. Das System umfasst ein Sensormodul mit Sensoren, ein Szenario-Identifikationsmodul, ein Extraktionsmodul, ein Analysemodul und ein Ausgabemodul. Die Sensoren sind ausgebildet, Daten von Eigenschaften und Merkmalen eines Kraftfahrzeugs und von Objekten und Ereignissen in der Umgebung des Kraftfahrzeugs beim Befahren einer Fahrstrecke jeweils während eines definierten Zeitfensters und/oder eines definierten Fahrstreckenabschnitts zu ermitteln. Das Szenario-Identifikationsmodul ist ausgebildet, die Daten mittels einer Softwareapplikation zur Klassifikation eines realen Szenarios zur Kennzeichnung der Fahrsituation in dem jeweiligen Zeitfenster und/oder dem jeweiligen Fahrstreckenabschnitt zu bearbeiten. Das Extraktionsmodul ist ausgebildet, Parameter und Parameterwerte für die ermittelte Menge von realen Szenarien mittels einer Softwareapplikation zu extrahieren. Das Analysemodul ist ausgebildet, die ermittelte Menge von realen Szenarien mittels einer Softwareapplikation hinsichtlich des Auftretens von Clustern von Szenario-Typen mit ähnlichen Parametern und Parameterwerten und/oder selten auftretenden Szenario-Typen wie Corner-Cases zu analysieren, eine relevante Menge von realen Szenarien zu klassifizieren und konkrete Szenarien mittels der klassifizierten realen Szenarien zu berechnen. Das Ausgabemodul ist ausgebildet ist, die berechneten konkreten Szenarien für Test- und Trainingszwecke auszugeben.
In einer Weiterbildung ist vorgesehen, dass ein Parameter ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, eine Geschwindigkeit, einen Beschleunigungswert, einen Bremswert, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, eine Richtung, einen Winkel, einen Radius, einen Ort, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit darstellt.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Sensoren als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet sind.
In einer weiteren Ausführungsform ist vorgesehen, dass die Softwareapplikation zumindest einen Cluster-Algorithmus verwendet, der insbesondere als k-means-Algorithmus ausgebildet ist.
Insbesondere werden die extrahierten realen Parameter und Parameterwerte und/oder die berechneten konkreten Szenarien mittels einer Metrik wie insbesondere durch Key-Performance-Indizes bewertet und gelabelt.
Vorteilhafterweise bezieht sich ein Key-Performance-Index sich auf eine Häufigkeit des Vorkommens eines bestimmten Szenario-Typs und/oder auf einen einem Szenario-Typ zugeordneten Sicherheitsfaktor.
Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der derart konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
Dabei zeigt:

1 ein Blockdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
2 eine schematische Darstellung einer Clusteranalyse in einem Vektorraum;
3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
4 ein Blockdiagramm eines Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden in der nachfolgenden Beschreibung in Verbindung mit den Ansprüchen erläutert.
Für das Testen, Trainieren und Absichern von einem automatisierten Fahrerassistenzsystem (engl. Advanced Driver Assistance System, ADAS) und/oder einer automatisierten Fahrfunktionen werden zunehmend simulierte Verkehrsszenarien, die durch Programmierung erstellt werden, verwendet. Als Szenario wird im Rahmen der Erfindung ein Verkehrsgeschehen in einer zeitlichen Sequenz bezeichnet. Ein Beispiel für ein Szenario ist das Befahren einer Autobahnbrücke, das Abbiegen auf einer Abbiegespur, das Durchfahren eines Tunnels, das Einbiegen in einen Kreisverkehr oder das Halten vor einem Fußgängerübergang. Darüber hinaus können spezifische Sichtverhältnisse beispielsweise aufgrund der Dämmerung oder einer hohen Sonnenlichteinstrahlung sowie Umweltbedingungen wie das Wetter und die Jahreszeit, das Verkehrsaufkommen sowie bestimmte geographische topographische Verhältnisse ein Szenario beeinflussen. Beispielsweise kann ein Überholvorgang als ein Szenario beschrieben werden, bei dem ein erstes Fahrzeug sich zunächst hinter einem anderen Fahrzeug befindet, dann einen Spurwechsel auf die andere Fahrbahn durchführt und die Geschwindigkeit erhöht, um das andere Fahrzeug zu überholen. Zudem spielen die Jahreszeit und die Wetterverhältnisse eine Rolle, da bei Starkregen und Glätte die Straßenverhältnisse anders sind als an einem sonnigen Sommertag.
Als ein parametrisiertes Szenario wird im Rahmen der Erfindung ein Szenario bezeichnet, das insbesondere in einem maschinenlesbaren Code geschrieben ist. Das parametrisierte Szenario kann auch als logisches Szenario bezeichnet werden. Ein parametrisiertes Szenario SZp wird durch verschiedene Parameter P₁, P₂, ..., P_n aus einer Menge von möglichen Parametern P_i und zugehörigen Parameterwerten PV₁, PV₂, ..., PV_n aus einer Menge von möglichen Parameterwerten PV_i definiert, wobei Parameterwerte PV_i den Wertebereich eines Parameters P_i festlegen. Die Parameter P_i umfassen beispielsweise ein bewegliches Objekt wie ein Kraftfahrzeug, einen Fußgänger oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, eine Geschwindigkeit, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, eine Beschleunigung, eine Richtung, einen Winkel, einen Radius, einen Ort, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung, eine Jahreszeit. Als Parameter P_i werden somit im Rahmen der Erfindung Eigenschaften und Merkmale eines Szenarios bezeichnet.
Im Rahmen der vorliegenden Erfindung wird zwischen einem parametrisierten Szenario SZp und einem konkreten Szenario SZc unterschieden. Als ein parametrisiertes Szenario SZp wird im Rahmen dieser Erfindung ein Szenario definiert, bei dem sowohl die Parameter P_i als auch die zugehörigen Parameterwerte PV_i nicht alle festgelegt sind.Als ein konkretes Szenario SZc wird ein Szenario SZ bezeichnet, bei dem die Parameter Pc_i und die zugehörigen Parameterwerte PVc_i bzw. Wertebereiche der Parameterwerte PVc_i festgelegt sind. Bei beiden Szenarien, dem parametrisierten Szenario SZp als auch dem konkreten Szenario SZc, als auch handelt es sich jeweils um Szenarien, die insbesondere in einem maschinenlesbaren Code geschrieben sind.
Durch die Kombination von verschiedenen festgelegten Parametern Pc_i und den zugehörigen festgelegten Parameterwerten PVc_i kann somit eine Menge an konkreten Szenarien SZc_i erstellt werden, die beispielsweise für das Testen und Trainieren zumindest eines Fahrassistenzsystems und/oder zumindest einer automatisierten Fahrfunktion verwendet werden können. Das Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen kann wiederum mittels Simulationstechniken erfolgen.
Allerdings entsteht bereits bei der Variation von wenigen konkreten Parametern Pc_i und zugehörigen Parameterwerten PVc_i eine große Anzahl an konkreten Szenarien SZc_i, die aber für die Praxis nur bedingt geeignet sind, da die entstandene große Datenmenge nur schwierig zu handhaben und die Relevanz der einzelnen konkreten Szenarien SZc_i, insbesondere zum Testen und Trainieren von Fahrassistenzsystemen, sehr unterschiedlich ist. Daher ist es erforderlich, durch eine geeignete Auswahl von konkreten Parametern Pc_k und den zugehörigen Parameterwerten PVc_k diejenigen konkreten Szenarien SZc_k festzulegen, die eine möglichst hohe Anzahl von für einen Testplan relevante Testfälle abdecken. Mit SZc_i mit dem Index „i“ werden somit im Folgenden alle möglichen konkreten Szenarien bezeichnet, während mit SZc_k mit dem Index „k“ die ausgewählten konkreten Szenarien bezeichnet werden, die für Test- und Trainingsaufgaben relevant sind. Diese Anzahl von relevanten Verkehrssituationen wird auch als „Operational Design Domain“ bezeichnet. Fahrassistenzsysteme und automatisierte Fahrfunktionen müssen in der Lage sein, diese bestimmte Anzahl von Verkehrssituationen zu beherrschen.
Um diese relevanten Verkehrssituationen mit relevanten konkreten Szenarien SZc_i abbilden zu können, sieht die Erfindung eine Auswahl an relevanten Parameter Pc_k und der zugehörigen relevanten Parameterwerte PVc_k auf der Basis von realen Daten vor, um auf diese Weise eine Eingrenzung der theoretisch nahezu unbegrenzten Anzahl an konkreten Szenarien SZc_i vornehmen zu können.
Hierfür stellt die Erfindung ein System 100 zur Auswahl von konkreten Szenarien SZc_k bereit, die insbesondere für das Testen und das Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen eingesetzt werden können. Das erfindungsgemäße System 100 umfasst ein Sensormodul 200, ein Szenario-Identifikationsmodul 300, ein Extraktionsmodul 400, ein Analysemodul 500 und ein Ausgabemodul 700.
Das Sensormodul 200, das Szenario-Identifikationsmodul 300, das Extraktionsmodul 400, das Analysemodul 500 und das Ausgabemodul 700 können jeweils mit einem Prozessor und/oder einer Speichereinheit versehen sein.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Prozessoreinheit und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Der Prozessor ist speziell dazu eingerichtet, die Programmbefehle derart auszuführen, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder zu realisieren.
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, des Systems, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Insbesondere kann der Prozessor hochparallele Recheneinheiten und leistungsfähige Grafikmodule enthalten.
Unter einer „Speichereinheit“ oder einem „Speichermodul“ kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
Das Sensormodul 200 umfasst Sensoren 220, die Daten 240 in Form von Messdaten von Eigenschaften und Merkmalen eines Kraftfahrzeugs 10 und von Objekten und Ereignissen in der Umgebung des Kraftfahrzeugs 10 beim Befahren einer Fahrstrecke jeweils während eines definierten Zeitfensters Δt_i und/oder eines definierten Fahrstreckenabschnitts Δx_i aufnehmen. Bei den Objekten in der Verkehrsumgebung des Kraftfahrzeugs 10 handelt es sich insbesondere um andere Verkehrsteilnehmer wie Kraftfahrzeuge, Fußgänger, Radfahrer und bei den Ereignissen beispielsweise um einen Beschleunigungsvorgang, einen Spurwechsel, oder ein Umschalten einer Ampel. Die Sensoren 220 können insbesondere als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Niederschlagssensoren und/oder Temperatursensoren, etc. vorgesehen sein.
Des Weiteren kann das Sensormodul 200 mit zumindest einer Datenbank 270 verbunden sein. In der Datenbank 270 sind insbesondere historische Daten 240 in Form von Bildern, Graphiken, Zeitreihen, Kenngrößen, etc. gespeichert. So können beispielsweise Zielgrößen und Zielwerte in der Datenbank 270 abgelegt sein, die einen Sicherheitsstandard definieren.
Darüber hinaus können zusätzliche Datenquellen beziehungsweise Datenbanken verwendet werden. Hierzu zählen insbesondere Datenbanken, die Daten 240 über das Straßennetz mit Straßenspezifikationen wie beispielsweise Fahrspuren und Brücken, die Straßeninfrastruktur wie beispielsweise den Straßenbelag, die Randbebauung, die Straßenführung, etc. beinhalten und von Behörden zur Verfügung gestellt werden. Aber auch die bundesweite Datenbank zur Erfassung aller Unfälle mit schweren Verletzungen, die vom Statistischen Bundesamt zur Verfügung gestellt wird, kann eine Datenquelle darstellen. Ähnliche Datensätze gibt es auch in vielen anderen Ländern.
Zudem sind Daten 240 über Verkehrszahlen wie das reale stündliche Verkehrsaufkommen an einem bestimmten Verkehrsschauplatz für bestimmte Szenarien-Typen, wie beispielsweise ein Stau, von Interesse. Eine weitere Datenquelle bilden Luftbildaufnahmen beispielsweise von Google Maps. Für Straßenbilder kann aber auch Mapillary verwendet werden. Mapillary sammelt benutzergenerierte Straßenbilder mit Geo-Tags, die von Dashcams und Smartphones aufgezeichnet wurden. Diese Bilder stehen unter einer Open-Source-Lizenz zur Verfügung.
Da auch die Wetterverhältnisse einen Szenario-Typ definieren können, sind Wetterdaten eine weitere Datenquelle. Dabei umfassen Wetterdaten historische Wettermessungen und zukünftige Wettervorhersagen.
Die Berechnung und Speicherung der geografischen Koordinaten der erfassten Objekte erfolgt vorzugsweise im EPSG 25832-Koordinatensystem (Universal Transverse Mercator (UTM) Zone 32N). Dieses System wird auch von Behörden in Deutschland eingesetzt. Die laterale und die longitudinale Position werden in Metern dargestellt. Darüber hinaus können globale Referenzsysteme wie das „World Geodetic System 1984 (WGS 84)“ verwendet werden, das auch in GPS-Empfängern (Global Positioning System) Verwendung findet. So kann beispielsweise der gesamte Karteninhalt von Deutschland importiert werden.
Unter „Datenbank“ ist sowohl ein Speicheralgorithmus als auch die Hardware in Form einer Speichereinheit zu verstehen. Insbesondere kann die Datenbank 270 als Cloud-Computing-Infrastruktur 800 ausgebildet sein.
Unter Daten 240 sind im Zusammenhang mit der Erfindung sowohl Rohdaten als auch bereits aufbereitete Daten aus den Messergebnissen der Sensoren 220 und/oder in der Datenbank 270 und/oder der Cloud-Computing-Infrastruktur 800 sowie weiteren Datenquellen gespeicherte Daten zu verstehen.
Die von den Sensoren 220 in Echtzeit aufgenommenen Daten werden mittels Kommunikationsverbindungen wie beispielsweise ein CAN-Bus-System (Controller Area Network) an das Sensormodul 200 weitergeleitet. Es können aber auch drahtlose Verbindungen vorgesehen sein. Eine drahtlose Kommunikationsverbindung ist insbesondere als Mobilfunkverbindung und/oder einer Nahfeldkommunikationsverbindung wie Bluetooth^®, Ethernet, NFC (near field communication) oder Wi-Fi® ausgebildet.
Das Sensormodul 200 kann in einem Computer, einem Tablet, einem Smartphone, etc. integriert sein und weist eine Benutzerschnittstelle 220 zur Eingabe von weiteren Daten wie Spracheingaben, Texteingaben und/oder Bildern von einem Benutzer auf. Die Benutzerschnittstelle 220 umfasst für die Eingabe der Daten eine Tastatur, ein Mikrofon und/oder eine Kamera. Insbesondere umfasst die Benutzerschnittstelle 220 einen Touchscreen, der insbesondere als resistives, kapazitives oder induktives System ausgebildet ist. Es können aber auch andere Technologien eingesetzt werden.
Das Sensormodul 200 übermittelt die insbesondere von den Sensoren 220 aufgenommenen Daten 240 insbesondere in Form von maschinenlesbaren Datenformaten mittels Kommunikationsverbindungen wie beispielsweise ein CAN-Bus-System (Controller Area Network) an das Szenario-Identifikationsmodul 300.
Es können aber auch drahtlose Verbindungen vorgesehen sein. Mittels einer Softwareapplikation 350 ermittelt das Szenario-Identifikationsmodul 300 aus den aufgenommenen Daten 240 für einen bestimmten geographischen Ort ein jeweils passendes reales Szenario SZr_i. Die Softwareapplikation 350 verwendet insbesondere Algorithmen der künstlichen Intelligenz zur Klassifizierung der realen Szenarien SZr_i. Bei den Algorithmen der künstlichen Intelligenz kann es sich insbesondere um Encoder und Decoder mit neuronalen Netzen handeln.
Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Neuronale Netzwerke lassen sich durch unbeaufsichtigtes oder überwachtes Lernen trainieren.
Durch die Anordnung und die Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie vorwärtsgerichtete Netzwerke (engl. feedforward neural network (RNN)) ohne Rückkopplung, rückgekoppelte Netzwerke (engl. recurrent neural network) mit Rückkopplung oder gefaltete neuronale Netze (engl. convolutional neural networks (CNN)). Ein gefaltetes neuronales Netzwerk besitzt mehrere Faltungsschichten und ist für maschinelles Lernen und Anwendungen im Bereich der Mustererkennung und Bilderkennung sehr gut geeignet. Da ein großer Teil der von den Sensoren 220 aufgenommenen Daten 240 als Bilder vorliegen, werden daher im Rahmen der Erfindung insbesondere gefaltete neuronale Netzwerke (CNN) verwendet.
Die Funktionsweise eines Convolutional Neural Networks ist zu einem gewissen Teil biologischen Vorgängen nachempfunden und der Aufbau ist vergleichbar der Sehrinde des Gehirns. Das Training eines Convolutional Neural Networks findet gewöhnlich überwacht statt. Herkömmliche neuronale Netzwerke bestehen aus voll- oder teilvermaschten Neuronen in mehreren Ebenen. Diese Strukturen stoßen jedoch bei der Verarbeitung von Bildern an ihre Grenzen, da eine der Pixelanzahl entsprechende Zahl an Eingängen vorhanden sein müsste. Das Convolutional Neural Network setzt sich aus verschiedenen Schichten zusammen und ist vom Grundprinzip ein zum Teil lokal vermaschtes neuronales Feedforward-Netzwerk. Die einzelnen Schichten des CNN sind die Convolutional-Schicht, die Pooling-Schicht und die vollständig vermaschte Schicht. Die Pooling-Schicht folgt der Convolutional-Schicht und kann in dieser Kombination mehrfach hintereinander vorhanden sein. Da die Pooling-Schicht und die Convolutional-Schicht lokal vermaschte Teilnetze sind, bleibt die Anzahl an Verbindungen in diesen Schichten selbst bei großen Eingabemengen begrenzt und in einem beherrschbaren Rahmen. Den Abschluss bildet eine vollständig vermaschte Schicht. Die Convolutional-Schicht ist die eigentliche Faltungsebene und in der Lage, in den Eingabedaten einzelne Merkmale zu erkennen und zu extrahieren. Bei der Bildverarbeitung können dies Merkmale wie Linien, Kanten oder bestimmte Formen sein. Die Verarbeitung der Eingabedaten erfolgt in Form von Tensoren wie einer Matrix oder Vektoren. Die Pooling-Schicht, auch Subsampling-Schicht genannt, verdichtet und reduziert die Auflösung der erkannten Merkmale durch passende Filterfunktionen. Insbesondere wird hierfür eine Maxpool-Funktion angewendet, die für einen (üblicherweise) nicht überlappenden Teilbereich der Daten den maximalen Wert jeweils berechnet. Neben dem Maximal-Pooling kann aber auch ein Mittelwert-Pooling verwendet werden. Das Pooling verwirft überflüssige Informationen und reduziert die Datenmenge. Die Leistungsfähigkeit beim maschinellen Lernen wird dadurch nicht verringert. Durch das reduzierte Datenaufkommen erhöht sich die Berechnungsgeschwindigkeit.
Das von dem Szenario-Identifikationsmodul 300 aus den Daten 240 abgeleitete reale Szenario SZr_i wird nun an das Extraktionsmodul 400 weitergeleitet. Das reale Szenario SZr_i kann durch Parameter Pr_i und die zugehörigen Parameterwerte PVr_i parametrisiert werden. Das Extraktionsmodul 400 umfasst eine Softwareapplikation 450, die diese Parameter Pr_i, die das reale Szenario SZr_i kennzeichnen, extrahiert. Beispielsweise kann ein Spurwechselmanöver eines anderen Verkehrsteilnehmers durch die Parameter Pr_i longitudinale und laterale Geschwindigkeit des anderen Verkehrsteilnehmers während des Spurwechsels sowie die Richtung des Spurwechsels und die Geschwindigkeit des Ego-Kraftfahrzeugs 10 parametrisiert werden. Die zugehörigen Parameterwerte PVr_i geben dann die tatsächliche Geschwindigkeit des anderen Verkehrsteilnehmers, die Fahrgeschwindigkeit des Ego-Kraftfahrzeugs 10 und die tatsächliche Richtung des Spurwechsels an. Ein anderes Beispiel ist ein Beschleunigungsvorgang oder Bremsvorgang aufgrund eines Umschaltvorgangs einer Ampel oder das Abbiegen in eine andere Straße.
Während einer Fahrstrecke, beispielsweise auf einer Teststrecke des Ego-Kraftfahrzeugs 10, werden eine Vielzahl von Szenarien-Typen durchfahren, die jeweils mittels der Sensoren 220 vermessen werden und denen jeweils ein reales Szenario SZr_i mit Parametern Pr_i und den zugehörigen Parameterwerten PVr_i zugeordnet wird. Diese Vielzahl an vermessenen realen Szenarien SZr_i mit Parametern Pr_i und den zugehörigen Parameterwerten PVr_i werden in einer Datenbank, die insbesondere als Cloud-Computing-Infrastruktur 800 ausgebildet ist, gespeichert oder direkt an das Analysemodul 500 weitergegeben. Dabei ist insbesondere vorgesehen, dass das Analysemodul 500 als Recheneinheit innerhalb der Cloud-Computing-Infrastruktur 800 ausgebildet ist.
Das Analysemodul 500 weist eine Softwareapplikation 550 auf, die Cluster-Algorithmen umfasst. Insbesondere wird als Cluster-Algorithmus ein k-means-Algorithmus verwendet. Wie in der 2 dargestellt, wird hierbei das Datenformat eines realen Szenarios SZr_i mit Parametern Pr_i und den zugehörigen Parameterwerten PVr_i in einen mehrdimensionalen Vektor überführt. Die Vielzahl der vermessenen realen Szenarien SZr_i spannen somit einen mehrdimensionalen Vektorraum auf. Über eine Abstandsmessung kann eine Clusteranalyse erfolgen, bei der nach einer Gruppierung von ähnlichen Vektoren gesucht wird, die einen Cluster bilden. In der 2 sind beispielhaft zwei Cluster CL₁ und CL₂ dargestellt. Des Weiteren kann gezielt nach vermessenen realen Szenarien SZr_i gesucht werden, die einen Corner-Case darstellen. Wie in der 2 dargestellt, kann beispielsweise ein Abstand d zwischen einem einzelnen vermessenen realen Szenario SZr_i zu anderen real vermessenen Szenario SZr_j bestimmt werden. Ein Corner-Case liegt vor, wenn der Abstand d eines vermessenen realen Szenarios SZr_i zu anderen vermessenen realen Szenarien SZr_i einen gewissen Wert überschreitet. In der 2 sind diese Corner-Cases mit CA₁, CA₂ und CA₃ bezeichnet.
Die auf diese Weise ermittelten Cluster CL₁, CL₂, ..., CL_n und Corner-Cases CA₁, CA₂, ..., CA_n stellen eine Auswahl der vermessenen realen Szenarien SZr_k dar, die für Simulationsanwendungen, insbesondere für das Testen und das Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen, relevant sind und sinnvoll eingesetzt werden können. Darüber hinaus sind weitere Anwendungen wie die Erprobung eines Prüfgeländes möglich.
Von dem Ausgabemodul 700 wird mittels einer Softwareapplikation 750 aus dieser Menge von relevanten realen Szenarien SZr_k nun eine Menge von konkreten Szenarien SZc_k abgeleitet. Hierbei kann beispielsweise für ein identifiziertes Cluster CL_j, das eine Mehrzahl von realen Szenarien SZr_j umfasst, ein konkretes Szenario SZc_j bestimmt werden, welches das identifizierte Cluster CL_j repräsentiert. Für einen identifizierten Corner-Case CA_j kann ebenfalls ein konkretes Szenario SZc_j bestimmt werden. Auf diese Weise wird eine Menge von konkreten Szenarien SZc_k erstellt, die als Ausgabedaten 770 für Test- und Trainingszwecke von automatisierten Fahrfunktionen von dem Ausgabemodul 700 ausgegeben werden. Zudem können die ermittelten konkreten Parameter Pc_k und zugehörigen Parameterwertebereiche PVc_k für das jeweilige konkrete Szenario SZc_k ausgegeben werden. Das Ausgabemodul 700 kann ebenfalls in einem Hardwaregerät wie einem Computer, einem Tablet, einem Smartphone, etc. integriert sein, wobei insbesondere das Hardwaregerät für das Sensormodul 200 und das Ausgabemodul 700 identisch sein können. Des Weiteren kann vorgesehen sein, dass die Ausgabedaten 770 direkt an eine Trainingssoftware weitergeleitet wird, wobei die Trainingssoftware insbesondere dazu ausgebildet ist, Fahrassistenzsysteme und automatisierte Fahrfunktionen zu testen und zu trainieren.
Zudem kann vorgesehen sein, für eine Simulation von automatisierten Fahrassistenzsystemen und Fahrfunktionen die Ausgabedaten 770 weiter zu verarbeiten. So können die ermittelten konkreten Szenarien SZc_k mittels einer Metrik wie beispielsweise durch Key-Performance-Indizes bewertet werden. Die Key-Performance-Indizes können sich beispielsweise auf die Häufigkeit des Vorkommens eines bestimmten Szenario-Typs oder auf einen dem Szenario-Typ zugeordneten Sicherheitsfaktor beziehen und beispielsweise einen Wert zwischen 1 und 100 aufweisen. Aufgrund des einem konkreten Szenario SZc_k zugeordneten Key-Performance-Index kann dann beispielsweise eine Variation von einzelnen Parametern Pc_k und/oder Parameterwerten PVc_k dieses Szenarios SZc_k durchgeführt werden, um hierdurch eine spezifische Funktion eines automatisierten Fahrassistenzsystems zu optimieren. Auch kann aufgrund der Key-Performance-Indizes eine weitere Selektion der ermittelten Szenarien SZc_k vorgenommen werden, da diese nochmals selektierten konkreten Szenarien SZc_k eine besondere Relevanz für die Simulation einer automatisierten Fahrfunktionen aufweisen.
Insbesondere kann vorgesehen sein, dass die von dem Extraktionsmodul 400 ermittelten Parameter Pr_k und/oder Parameterwerte PVr_k für ein reales Szenario SZr_k ebenfalls mit Key-Performance-Indizes bewertet werden, um auf diese Weise kritische von nichtkritischen Szenarien unterscheiden zu können. Kritische Parameter Pr_k können sich beispielsweise auf das Bremsverhalten oder Beschleunigungsverhalten in einer kritischen Kollisionssituation beziehen. So kann vorgesehen sein, dass nur die mit einem hohen Key-Performance-Index gelabelten Parameter Pr_k dem Analysemodul 400 zugeführt werden. Auf diese Weise wird eine Datenreduktion vorgenommen, so dass die Effizienz der Auswahl relevanter konkreter Szenarien SZc_k gesteigert werden kann. Zudem können nur sehr selten auftretende Corner-Cases, die jedoch mit einem hohen Sicherheitsrisiko verbunden sind, bevorzugt ausgewählt werden, um sie zum Testen und Trainieren von automatisierten Fahrfunktionen zu verwenden und damit deren Sicherheit zu erhöhen.
Insbesondere das Szenario-Identifikationsmodul 300, das Extraktionsmodul 400 und das Analysemodul 500 können als selbstständige Rechnereinheiten oder als cloudbasierte Lösung ausgebildet sein. Dies ist insbesondere dann sinnvoll, wenn ein schnelles Berechnungsergebnis angestrebt wird, um Fahrassistenzsysteme und automatisierte Fahrfunktionen schnell testen und trainieren zu können. Um eine Durchführung der Rechenoperationen in Echtzeit zu ermöglichen, ist daher die Verwendung der Cloud-Computing-Infrastruktur 800 vorteilhaft. Hierdurch kann eine schnelle Berechnung gewährleistet werden, da cloudbasierte Lösungen den Vorteil von hohen und damit schnellen Rechenleistungen bieten. Für die Kommunikation des Sensormoduls 200 bzw. der Sensoren 220 mit der Cloud-Computing-Infrastruktur 800 kann eine 5G-Mobilfunkverbindung oder auch 6G-Mobilfunkverbindung verwendet werden, da auf diese Weise eine Datenübermittlung in Echtzeit erfolgen kann. Diese Geschwindigkeit bei der Datenübermittlung ist sinnvoll, wenn cloudbasierte Lösungen für die Verarbeitung der Daten verwendet werden.
5G ist der Mobilfunkstandard der fünften Generation und zeichnet sich im Vergleich zum 4G-Mobilfunkstandard durch höhere Datenraten bis zu 10 Gbit/sec, der Nutzung höherer Frequenzbereiche wie beispielsweise 2100, 2600 oder 3600 Megahertz, eine erhöhte Frequenzkapazität und damit einen erhöhten Datendurchsatz und eine Echtzeitdatenübertragung aus, da bis zu eine Million Geräte pro Quadratkilometer gleichzeitig ansprechbar sind. Die Latenzzeiten betragen wenige Millisekunden bis unter 1 ms, so dass Echtzeitübertragungen von Daten und von Berechnungsergebnissen möglich sind. Um die Verbindung zu der Cloud-Computing-Infrastruktur 800 mittels einer Mobilfunkverbindung zu schützen, können zudem kryptographische Verschlüsselungsverfahren vorgesehen sein.
In 3 sind die Verfahrensschritte zur Auswahl von konkreten Szenarien SZc₁, SZc₂, ..., SZc_n, insbesondere zum Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen, dargestellt.
In einem Schritt S10 werden Daten 240 mittels Sensoren 220 von Eigenschaften und Merkmalen eines Kraftfahrzeugs 10 und von Objekten und Ereignissen in der Umgebung des Kraftfahrzeugs 10 beim Befahren einer Fahrstrecke jeweils während eines definierten Zeitfensters Δt_i und/oder eines definierten Fahrstreckenabschnitts Δx_i ermittelt.
In einem Schritt S20 werden die Daten 240 mittels einer Softwareapplikation 350 zur Klassifikation eines realen Szenarios SZr_i zur Kennzeichnung der Fahrsituation in dem jeweiligen Zeitfenster Δt_i und/oder dem jeweiligen Fahrstreckenabschnitt Δx_i bearbeitet.
In einem Schritt S30 werden Extrahieren (S30) von Parametern Pr_i und Parameterwerten PVr_i für die ermittelte Menge von realen Szenarien SZr_i extrahiert.
In einem Schritt S40 wird die ermittelte Menge von realen Szenarien SZr_i mittels einer Softwareapplikation 550 hinsichtlich des Auftretens von Clustern von Szenario-Typen mit ähnlichen Parametern Pr_i und Parameterwerten PVr_i und/oder selten auftretenden Szenario-Typen wie Corner-Cases analysiert.
In einem Schritt S50 wird eine relevante Menge von realen Szenarien SZr_k klassifiziert.
in einem Schritt S60 werden konkrete Szenarien SZc_k mittels der klassifizierten realen Szenarien SZr_k berechnet.
In einem Schritt ist 70 werden die berechneten konkreten Szenarien SZc_k für Test- und Trainingszwecke ausgegeben.
4 stellt schematisch ein Computerprogrammprodukt 900 dar, das einen ausführbaren Programmcode 950 umfasst, der konfiguriert ist, das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen.
Mit dem Verfahren und dem System 100 gemäß der vorliegenden Erfindung wird eine Menge von relevanten konkreten Szenarien erstellt, die zum Testen und Trainieren von automatisierten Fahrassistenzsystemen und automatisierten Fahrfunktionen verwendet werden können. Durch eine Clusteranalyse können insbesondere sicherheitskritische Szenarien aufgefunden werden, die für die Absicherung von automatisierten Fahrassistenzsystemen eine hohe Bedeutung haben. Das Testen und Trainieren von automatisierten Fahrfunktionen kann somit gezielt und effizient durchgeführt werden. Hierdurch können Ressourcen eingespart werden, da sowohl das Abfahren von Teststrecken mit spezifischen Corner-Cases als auch die Simulation von automatisierten Fahrassistenzsystemen mit nicht-relevanten konkreten Szenarien reduziert werden kann.
Bezugszeichen

100: System
200: Sensormodul
220: Sensoren
240: Daten
250: Benutzerschnittstelle
270: Datenbank
300: Szenario-Identifikationsmodul
350: Softwareapplikation
400: Extraktionsmodul
450: Softwareapplikation
500: Analysemodul
550: Softwareapplikation
700: Ausgabemodul
750: Softwareapplikation
770: Ausgabedaten
800: Cloud-Computing-Infrastruktur
900: Computerprogrammprodukt
950: Programmcode

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015213594 A1 [0005]
US 11137763 B1 [0006]
US 10627521 B1 [0007]
DE 102018205804 A1 [0008]
WO 2021/037760 A1 [0009]
WO 2020/060480 A1 [0010]

Claims

Verfahren zur Auswahl von konkreten Szenarien (SZc₁, SZc₂, ..., SZc_n), insbesondere zum Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen, wobei ein Szenario (SZ_i) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt und durch eine Auswahl von Parametern (P₁, P₂, ..., P_n) und zugehörigen Parameterwerten (PV₁,PV₂, ..., PV_n) definiert ist, und wobei bei einem konkreten Szenario (SZc_i) die Parameter (Pc_i, Pc₂, ..., P_cn) und zugehörigen Parameterwerte (PVc₁, PV_c2, ...,PVc_n) festgelegt sind, umfassend: - Ermitteln (S10) von Daten (240) mittels Sensoren (220) von Eigenschaften und Merkmalen eines Kraftfahrzeugs (10) und von Objekten und Ereignissen in der Umgebung des Kraftfahrzeugs (10) beim Befahren einer Fahrstrecke jeweils während eines definierten Zeitfensters (Δt_i) und/oder eines definierten Fahrstreckenabschnitts (Δx_i); - Bearbeiten (S20) der Daten (240) mittels einer Softwareapplikation (350) zur Klassifikation eines realen Szenarios (SZr_i) zur Kennzeichnung der Fahrsituation in dem jeweiligen Zeitfenster (Δt_i) und/oder dem jeweiligen Fahrstreckenabschnitt (Δx_i); - Extrahieren (S30) von Parametern (Pr_i) und Parameterwerten (PVr_i) für die ermittelte Menge von realen Szenarien (SZr_i); - Analysieren (S40) der ermittelten Menge von realen Szenarien (SZr_i) mittels einer Softwareapplikation (550) hinsichtlich des Auftretens von Clustern von Szenario-Typen mit ähnlichen Parametern (Pr_i) und Parameterwerten (PVr_i) und/oder selten auftretenden Szenario-Typen wie Corner-Cases; - Klassifizieren (S50) einer relevanten Menge von realen Szenarien (SZr_k); - Berechnen (S60) von konkreten Szenarien (SZc_k) mittels der klassifizierten realen Szenarien (SZr_k); - Ausgeben (S70) der berechneten konkreten Szenarien (SZc_k) für Test- und Trainingszwecke.
Verfahren nach Anspruch 1, wobei ein Parameter (P_i) ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, eine Geschwindigkeit, einen Beschleunigungswert, einen Bremswert, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, eine Richtung, einen Winkel, einen Radius, einen Ort, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit darstellt.
Verfahren nach Anspruch 1 bis 2, wobei die Sensoren (220) als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet sind.
Verfahren nach einem der Ansprüche 1 bis 3, wobei die Softwareapplikation (350) und/oder die Softwareapplikation (450) und/oder die Softwareapplikation (550) 240) Algorithmen der künstlichen Intelligenz verwendet/verwenden.
Verfahren nach Anspruch 4, wobei die Algorithmen der künstlichen Intelligenz zumindest ein neuronales Netzwerk verwenden, und wobei das neuronale Netzwerk als tiefes neuronales Netzwerk, als gefaltetes neuronales Netzwerk (Convolutional Neural Network (CNN)) und/oder als rückgekoppeltes Netzwerk (engl. Recurrent Neural Network (RNN)) ausgebildet ist.
Verfahren nach einem der Ansprüche 1 bis 3, wobei die Softwareapplikation (550) zumindest einen Cluster-Algorithmus verwendet, der insbesondere als k-means-Algorithmus ausgebildet ist.
Verfahren nach einem der Ansprüche 1 bis 6, wobei die extrahierten realen Parameter (Pr_i) und Parameterwerte (PVr_i) und/oder die berechneten konkreten Szenarien (SZc_k) mittels einer Metrik wie insbesondere durch Key-Performance-Indizes bewertet und gelabelt werden.
Verfahren nach Anspruch 7, wobei ein Key-Performance-Index sich auf eine Häufigkeit des Vorkommens eines bestimmten Szenario-Typs und/oder auf einen einem Szenario-Typ zugeordneten Sicherheitsfaktor bezieht.
System (100) zur Auswahl von konkreten Szenarien (SZc₁, SZc₂, ..., SZc_n), insbesondere zum Testen und Trainieren von Fahrassistenzsystemen und automatisierten Fahrfunktionen, wobei ein Szenario (SZ_i) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt und durch eine Auswahl von Parametern (P₁, P₂, ..., P_n) und zugehörigen Parameterwerten (PV₁,PV₂, ...,PV_n) definiert ist, und wobei bei einem konkreten Szenario (SZc_i) die Parameter (Pc₁, Pc₂, ..., P_cn) und zugehörigen Parameterwerte (PVc₁, PV_c2, ..., PVc_n) festgelegt sind, umfassend ein Sensormodul (200) mit Sensoren (220), ein Szenario-Identifikationsmodul (300), ein Extraktionsmodul (400), ein Analysemodul (500) und ein Ausgabemodul (700); wobei die Sensoren (220) ausgebildet sind, Daten (240) von Eigenschaften und Merkmalen eines Kraftfahrzeugs (10) und von Objekten und Ereignissen in der Umgebung des Kraftfahrzeugs (10) beim Befahren einer Fahrstrecke jeweils während eines definierten Zeitfensters (Δt_i) und/oder eines definierten Fahrstreckenabschnitts (Δx_i) zu ermitteln; wobei das Szenario-Identifikationsmodul (300) ausgebildet ist, die Daten (240) mittels einer Softwareapplikation (350) zur Klassifikation eines realen Szenarios (SZr_i) zur Kennzeichnung der Fahrsituation in dem jeweiligen Zeitfenster (Δt_i) und/oder dem jeweiligen Fahrstreckenabschnitt (Δx_i) zu bearbeiten; wobei das Extraktionsmodul (400) ausgebildet ist, Parameter (Pr_i) und Parameterwerte (PVr_i) für die ermittelte Menge von realen Szenarien (SZr_i) mittels einer Softwareapplikation (450) zu extrahieren; wobei das Analysemodul (500) ausgebildet ist, die ermittelte Menge von realen Szenarien (SZr_i) mittels einer Softwareapplikation (550) hinsichtlich des Auftretens von Clustern von Szenario-Typen mit ähnlichen Parametern (Pr_i) und Parameterwerten (PVr_i) und/oder selten auftretenden Szenario-Typen wie Corner-Cases zu analysieren, eine relevante Menge von realen Szenarien (SZr_k) zu klassifizieren und konkrete Szenarien (SZc_k) mittels der klassifizierten realen Szenarien (SZr_k) zu berechnen; und wobei das Ausgabemodul ausgebildet ist, die berechneten konkreten Szenarien (SZc_k) für Test- und Trainingszwecke auszugeben.
System (100) nach Anspruch 9, wobei ein Parameter (P_i) ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, eine Geschwindigkeit, einen Beschleunigungswert, einen Bremswert, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, eine Richtung, einen Winkel, einen Radius, einen Ort, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit darstellt.
System (100) nach Anspruch 9 oder 10, wobei die Sensoren (220) als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet sind.
System (100) nach einem der Ansprüche 9 bis 11, wobei die Softwareapplikation (550) zumindest einen Cluster-Algorithmus verwendet, der insbesondere als k-means-Algorithmus ausgebildet ist.
System (100) nach einem der Ansprüche 9 bis 12, wobei die extrahierten realen Parameter (Pr_i) und Parameterwerte (PVr_i) und/oder die berechneten konkreten Szenarien (SZc_k) mittels einer Metrik wie insbesondere durch Key-Performance-Indizes bewertet und gelabelt werden.
System (100) nach Anspruch 13, wobei ein Key-Performance-Index sich auf eine Häufigkeit des Vorkommens eines bestimmten Szenario-Typs und/oder auf einen einem Szenario-Typ zugeordneten Sicherheitsfaktor bezieht.
Computerprogrammprodukt (900), umfassend einen ausführbaren Programmcode (950), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 1 bis 8 ausführt.