DE102021125001A1 - Statistical system validation of driving support systems - Google Patents

Statistical system validation of driving support systems Download PDF

Info

Publication number
DE102021125001A1
DE102021125001A1 DE102021125001.3A DE102021125001A DE102021125001A1 DE 102021125001 A1 DE102021125001 A1 DE 102021125001A1 DE 102021125001 A DE102021125001 A DE 102021125001A DE 102021125001 A1 DE102021125001 A1 DE 102021125001A1
Authority
DE
Germany
Prior art keywords
metadata
logging data
data stream
kpi
performance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021125001.3A
Other languages
German (de)
Inventor
Tomas Kletecka
Marek Pavelka
Marian Jonis
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102021125001.3A priority Critical patent/DE102021125001A1/en
Publication of DE102021125001A1 publication Critical patent/DE102021125001A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3013—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is an embedded system, i.e. a combination of hardware and software dedicated to perform a certain function in mobile devices, printers, automotive or aircraft systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Durchführung einer Systemvalidierung eines zu testenden Systems (10), das ein Fahrunterstützungssystem (12) eines Fahrzeugs (10) umfasst, das mit mehreren Sensoren (14) ausgestattet ist, mit den folgenden Schritten zum Bereitstellen mindestens eines Protokollierungsdatenstroms (22) von dem zu testenden System (10) einschließlich Sensordaten von den mehreren Sensoren (14), Zuordnen von Metadaten (26) zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom (22), Verarbeiten jedes bereitgestellten Protokollierungsdatenstroms (22), um Leistungsinformationen (36) einer Systemausgabe des zu testenden Systems (10) im Vergleich zu einer Systemausgabe des Referenzsystems als Grundlage für die Berechnung von KPIs, die eine Leistung des zu testenden Systems (10) angeben, zu bestimmen, Filtern der ermittelten Leistungsinformationen (36) für mindestens einen KPI auf der Grundlage einer Metadatenspezifikation des jeweiligen KPIs, und Berechnen des mindestens einen KPI über die gefilterten Leistungsinformationen (36) für die Metadatenspezifikation des jeweiligen KPIs. Die vorliegende Erfindung betrifft ebenfalls ein Validierungssystem zur Durchführung einer Systemvalidierung eines zu testenden Systems (10), das ein Fahrunterstützungssystem (12) eines Fahrzeugs (10) umfasst, das mit mehreren Sensoren (14) ausgestattet ist, wobei das Validierungssystem ausgeführt ist, das obige Verfahren durchzuführen.The present invention relates to a method for performing a system validation of a system (10) to be tested, which comprises a driving support system (12) of a vehicle (10) equipped with a plurality of sensors (14), with the following steps for providing at least one logging data stream (22) from the system under test (10) including sensor data from the plurality of sensors (14), associating metadata (26) with the provided at least one logging data stream (22), processing each provided logging data stream (22) to generate performance information (36) to determine a system output of the system to be tested (10) in comparison to a system output of the reference system as a basis for the calculation of KPIs that indicate a performance of the system to be tested (10), filtering the determined performance information (36) for at least one KPI based on a metadata specification of the respective KPI, and calculating the at least one KPI via the filtered performance information (36) for the metadata specification of the respective KPI. The present invention also relates to a validation system for performing a system validation of a system (10) to be tested, comprising a driving support system (12) of a vehicle (10) equipped with a plurality of sensors (14), the validation system being carried out as described above to carry out procedures.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Durchführung einer Systemvalidierung eines zu testenden Systems, das ein Fahrunterstützungssystem eines Fahrzeugs umfasst, das mit mehreren Sensoren ausgestattet ist.The present invention relates to a method for performing a system validation of a system to be tested, which includes a driving support system of a vehicle that is equipped with a number of sensors.

Die vorliegende Erfindung betrifft auch ein Validierungssystem zur Durchführung einer Systemvalidierung eines zu testenden Systems, das ein Fahrunterstützungssystem eines Fahrzeugs umfasst, das mit mehreren Sensoren ausgestattet ist, wobei das Validierungssystem ausgeführt ist, das obige Verfahren durchzuführen.The present invention also relates to a validation system for performing a system validation of a system to be tested, which includes a driving assistance system of a vehicle that is equipped with a number of sensors, the validation system being designed to perform the above method.

Einer der Hauptgründe für die Einführung von Fahrunterstützungssystemen und selbstfahrenden Fahrzeugen ist die Erhöhung der Sicherheit auf den Straßen. Der Vorteil eines computerunterstützten oder autonom fahrenden Systems besteht darin, dass es die vorgesehene Aufgabe genau nach seinem vorgegebenen Verhalten ausführt. Der zunehmende Automatisierungsgrad der in der modernen Automobilindustrie eingesetzten Systeme erhöht jedoch die Anforderungen an die Systemvalidierung drastisch. Die internationale Norm für funktionale Sicherheit ISO 26262 definiert den Entwicklungs- und Validierungsprozess. Sie schreibt insbesondere vor, dass für alle möglichen Gefahrensituationen ein ordnungsgemäß validiertes Sicherheitsziel (safety goal, SG) vorhanden sein muss. Das SG muss auf allen Detailebenen der Anforderungen validiert werden, wobei die detailliertere Ebene in Bezug auf die höhere Abstraktionsebene als vollständig nachgewiesen werden muss. Der Nachweis der Abdeckung aller möglichen gefährlichen Ereignisse ist bei hochentwickelten Fahrerassistenzsystemen (Advanced Driver Assistance Systems, ADAS) eine Herausforderung und bei Systemen für autonomes Fahren (Autonomous Driving, AD) aufgrund der Komplexität der Umgebung und der Komplexität der beteiligten Algorithmen noch schwieriger. Die Schwierigkeit, die Anforderungen auf hoher Ebene und die Anforderungen auf niedriger Ebene (auf der Ebene des Algorithmus) zu überbrücken, wird manchmal als semantische Lücke bezeichnet. Die Reduzierung der Möglichkeit des Auftretens unbekannter Gefahrensituationen wird durch den Einsatz redundanter Sensorsysteme und durch statistische Validierung gehandhabt. Dieser Ansatz wird durch die Richtlinie ISO 21448 für die Sicherheit der beabsichtigten Funktionalität (Safety of the Intended Functionality, SOTIF), die die ISO 26262 ergänzt, behandelt und formalisiert. Die statistische Validierung erfordert Bodenwahrheit (ground truth) mit einem großen Bestand an Aufzeichnungen von Fahrten auf realen Straßen, die häufig den größten Teil der Kosten für die AD-Validierung ausmachen. Die statistische Validierung muss von jedem Lieferanten, der zu dem System beiträgt, durchgeführt werden. Typische validierte Teilsystemkategorien sind z. B.

  • - Sensoren, die Eingaben für das autonome Fahren liefern,
  • - Multi-Sensor-Fusionssysteme, die Karten zur Umgebungswahrnehmung bereitstellen,
  • - Einstiegs-Endnutzerfunktionen, z. B. automatisches Notbremsen (Automatic Emergency Brake, AEB), adaptive Geschwindigkeitsregelung (Adaptive Cruise Control, ACC) usw., und/oder
  • - Premium-Endnutzerfunktionen, z. B. Stau-Pilot, Autobahn-Pilot, usw.
One of the main reasons behind the introduction of driver assistance systems and self-driving vehicles is to increase safety on the roads. The advantage of a computer-assisted or autonomously driving system is that it carries out the intended task exactly according to its predetermined behavior. However, the increasing degree of automation of the systems used in the modern automotive industry drastically increases the requirements for system validation. The international standard for functional safety ISO 26262 defines the development and validation process. In particular, it stipulates that a properly validated safety goal (SG) must be in place for all potential hazardous situations. The SG must be validated at all levels of detail of the requirements, with the more detailed level having to be demonstrated as complete in relation to the higher level of abstraction. Demonstrating coverage of all possible dangerous events is challenging for advanced driver assistance systems (ADAS) and even more difficult for autonomous driving (AD) systems due to the complexity of the environment and the complexity of the algorithms involved. The difficulty of bridging the high-level requirements and the low-level requirements (at the algorithm level) is sometimes referred to as the semantic gap. Reducing the possibility of unknown hazardous situations occurring is managed through the use of redundant sensor systems and through statistical validation. This approach is addressed and formalized by the ISO 21448 Safety of the Intended Functionality (SOTIF) guideline, which complements ISO 26262. Statistical validation requires ground truth, with a large inventory of records from driving on real roads, which often accounts for most of the cost of AD validation. Statistical validation must be performed by each supplier contributing to the system. Typical validated subsystem categories are e.g. B.
  • - sensors that provide inputs for autonomous driving,
  • - Multi-sensor fusion systems that provide environmental perception maps,
  • - Entry level end user features e.g. automatic emergency braking (AEB), adaptive cruise control (ACC), etc., and/or
  • - Premium end-user features, e.g. B. traffic jam pilot, highway pilot, etc.

Die Validierung von ADAS und AD stellt eine nicht triviale Aufgabe dar, da die Validierungskosten leicht die Kosten für die Entwicklung selbst erreichen können, und bei vollständigem AD können die Kosten sogar noch höher sein, wenn sie nicht richtig gehandhabt werden. Der Hauptfaktor, der die Kosten in die Höhe treibt, ist die Menge der für die Validierung des Systems erforderlichen Daten. Da die erforderliche Datenmenge sehr groß ist, muss die Validierungsmethodik verschiedene Simulations- und Aufbereitungsansätze nutzen, um Tests im Fahrzeug mit z. B. Hardware in the Loop (HiL), Model in the Loop (MiL), Processor in the Loop (PiL) oder Software in the Loop (SiL) zu kombinieren. Die statistische Validierung allgemeiner Fahrunterstützungssysteme wie ADAS und in AD eingesetzter Systeme ist daher sehr datenintensiv, wobei die Menge der gesammelten Protokollierungsdaten, die für die Validierung eines solchen Systems aufgenommen werden, typischerweise in einer Größenordnung von mehreren Petabytes an Daten liegt. Validierungsdaten umfassen sowohl Systemdaten des zu testenden Systems als auch Referenzdaten, gegen die das zu testende System validiert wird.ADAS and AD validation is a non-trivial task as the cost of validation can easily reach the cost of the development itself, and with full AD the cost can be even higher if not managed properly. The main factor driving up costs is the amount of data required to validate the system. Since the amount of data required is very large, the validation methodology must use various simulation and processing approaches to carry out tests in the vehicle with e.g. B. Hardware in the Loop (HiL), Model in the Loop (MiL), Processor in the Loop (PiL) or Software in the Loop (SiL). The statistical validation of general driving support systems such as ADAS and systems deployed in AD is therefore very data intensive, with the amount of collected logging data ingested for the validation of such a system typically being in the order of several petabytes of data. Validation data includes both system data of the system to be tested and reference data against which the system to be tested is validated.

Der Validierungsprozess für moderne ADAS/AD-Systeme muss verschiedene Anforderungen erfüllen. Der Prozess selbst besteht aus mehreren Aufgaben, wie z. B. der Datenerfassung, der Wiederaufbereitung und verschiedenen Datenextraktionstechniken, die das Verständnis des Inhalts, die automatische Kennzeichnung sowie mögliche Transformationen und Konvertierungen ermöglichen, die für die Kompatibilität interner Schnittstellen, die Berichterstattung usw. erforderlich sind.The validation process for modern ADAS/AD systems must meet various requirements. The process itself consists of several tasks, such as B. data acquisition, reprocessing and various data extraction techniques that allow understanding of the content, automatic labeling and possible transformations and conversions required for internal interface compatibility, reporting, etc.

Daher sind Verbesserungen insbesondere bei der Handhabung und Verarbeitung von Daten erforderlich, um die Kosten zu senken, das Risiko von (menschlichen) Fehlern zu verringern, die Skalierbarkeit zu erhöhen und eine Modularität zu erreichen, die eine schnelle Anpassung an die Projektanforderungen ermöglicht.Therefore, improvements are needed, especially in data handling and processing, in order to reduce costs, reduce the risk of (human) errors, increase scalability and achieve a modularity that allows rapid adaptation to project requirements.

Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur Durchführung einer Systemvalidierung eines zu testenden Systems, das ein Fahrunterstützungssystem eines mit mehreren Sensoren ausgestatteten Fahrzeugs umfasst, sowie ein entsprechendes Validierungssystem zur Durchführung eines solchen Verfahrens bereitzustellen, die einen effizienten und zuverlässigen Validierungsprozess ermöglichen.It is an object of the present invention to provide a method for performing a system validation of a system to be tested, which includes a driving assistance system of a vehicle equipped with a number of sensors, and a corresponding validation system for performing such a method, which enable an efficient and reliable validation process.

Dieser Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen angegeben.This object is solved by the independent claims. Advantageous embodiments are specified in the dependent claims.

Insbesondere stellt die vorliegende Erfindung ein Verfahren zur Durchführung einer Systemvalidierung eines zu testenden Systems zur Verfügung, das ein Fahrunterstützungssystem eines Fahrzeugs umfasst, das mit mehreren Sensoren ausgestattet ist, mit den Schritten zum Bereitstellen mindestens eines Protokollierungsdatenstroms von dem zu testenden System einschließlich Sensordaten von den mehreren Sensoren, Zuordnen von Metadaten zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom, Verarbeiten jedes bereitgestellten Protokollierungsdatenstroms, um Leistungsinformationen einer Systemausgabe des zu testenden Systems im Vergleich zu einem Systemausgabe des Referenzsystems als Grundlage für die Berechnung von KPls, die eine Leistung des zu testenden Systems angeben, zu bestimmen, Filtern der ermittelten Leistungsinformationen für mindestens einen KPI auf der Grundlage einer Metadatenspezifikation des jeweiligen KPIs, und Berechnen des mindestens einen KPI über die gefilterten Leistungsinformationen für die Metadatenspezifikation des jeweiligen KPIs.In particular, the present invention provides a method for performing system validation of a system under test comprising a driving support system of a vehicle equipped with a plurality of sensors, comprising the steps of providing at least one logging data stream from the system under test including sensor data from the plurality Sensors, mapping metadata to the provided at least one logging data stream, processing each provided logging data stream to performance information of a system output of the system under test compared to a system output of the reference system as a basis for the calculation of KPIs that indicate a performance of the system under test determine, filtering the determined performance information for at least one KPI based on a metadata specification of the respective KPI, and calculating the at least one KPI over the filtered Performance information for the metadata specification of the respective KPI.

Die vorliegende Erfindung stellt auch ein Validierungssystem zur Durchführung einer Systemvalidierung eines zu testenden Systems bereit, das ein Fahrunterstützungssystem eines Fahrzeugs umfasst, das mit mehreren Sensoren ausgestattet ist, wobei das Validierungssystem ausgeführt ist, das obige Verfahren durchzuführen.The present invention also provides a validation system for performing a system validation of a system to be tested, which includes a driving support system of a vehicle that is equipped with a number of sensors, the validation system being designed to perform the above method.

Die Grundidee der Erfindung besteht darin, eine modifizierte Verarbeitungskette anzuwenden, die sich an den Metadaten der bereitgestellten Protokollierungsdatenströme orientiert. Jeder Protokollierungsdatenstrom wird einmal verarbeitet, um die Leistungsinformationen zu ermitteln, die als Grundlage für die Berechnung relevanter Leistungskennzahlen (Key Performance Indicators, KPIs) für die Durchführung der Validierung dienen. Da die Leistungsinformationen mit den Metadaten verknüpft sind, wird die Berechnung der KPIs erleichtert. Die Berechnung verschiedener KPIs erfordert lediglich die Identifizierung relevanter Teile der Leistungsinformationen für die Berechnung des jeweiligen KPIs. Dieser Ansatz ist sehr effizient, da die Ermittlung der Leistungsinformationen ein wesentlicher Verarbeitungsschritt ist, der die meisten Ressourcen bei der Berechnung der KPIs beansprucht. Anstatt zuerst die Daten zu identifizieren, die für die Berechnung der jeweiligen KPIs verarbeitet werden sollen, geht der obige Vorschlag den umgekehrten Weg, bei dem eine Gesamtverarbeitung der Protokollierungsdatenströme vor der Identifizierung der relevanten Teile der Protokollierungsdaten erfolgt. Durch die Überwindung dieser Verarbeitung aus dem Stand der Technik ist es daher nicht erforderlich, die Validierung des Systems für bestimmte Teilmengen von Daten separat durchzuführen. Die gesamten Protokollierungsdaten einschließlich mehrerer Protokollierungsdatenströme können nur einmal für den gesamten Datensatz verarbeitet werden. Schließlich werden nur die relevanten Verarbeitungsergebnisse gefiltert, um die KPIs zu berechnen.The basic idea of the invention is to use a modified processing chain that is based on the metadata of the logging data streams provided. Each logging stream is processed once to determine the performance information that is used as a basis for calculating relevant key performance indicators (KPIs) for performing the validation. Since the performance information is linked to the metadata, the calculation of the KPIs is made easier. Calculating different KPIs only requires identifying relevant pieces of performance information for calculating that particular KPI. This approach is very efficient because determining the performance information is an essential processing step that consumes the most resources when calculating the KPIs. Instead of first identifying the data to be processed for the calculation of the respective KPIs, the above proposal goes the opposite way, doing overall processing of the logging data streams before identifying the relevant parts of the logging data. Therefore, by overcoming this prior art processing, it is not necessary to separately perform the validation of the system for specific subsets of data. All logging data including multiple logging streams can only be processed once for the entire dataset. Finally, only the relevant processing results are filtered to calculate the KPIs.

Das zu testende System (SUT) kann in diesem Fall ein Fahrzeug mit einem Fahrunterstützungssystem sein, z.B. als Advanced Driver Assistance System (ADAS), ein Fahrunterstützungssystem oder ein Subsystem eines solchen ADAS und/oder ein System für Autonomes Fahren (AD).In this case, the system under test (SUT) can be a vehicle with a driving support system, e.g. as an Advanced Driver Assistance System (ADAS), a driving support system or a subsystem of such an ADAS and/or a system for autonomous driving (AD).

Das Bereitstellen mindestens eines Protokollierungsdatenstroms von dem zu testenden System, der Sensordaten von den mehreren Sensoren enthält, umfasst das Einlesen eines mit dem SUT aufgezeichneten Protokollierungsdatenstroms in ein System, d.h. ein Validierungssystem. Das Validierungssystem basiert - aufgrund der enormen Menge an Protokollierungsdaten, die in den Systemvalidierungsprozess involviert sind, und der Gesamtverarbeitungskapazitäten, die für die Verarbeitung dieser Menge an Protokollierungsdaten erforderlich sind - auf einer verteilten Serverarchitektur, die typischerweise von aktuellen Cloud-Diensten angeboten wird.Providing at least one logging data stream from the system under test containing sensor data from the plurality of sensors includes reading a logging data stream recorded with the SUT into a system, i.e. a validation system. The validation system is based - due to the enormous amount of logging data involved in the system validation process and the overall processing capacities required to process this amount of logging data - on a distributed server architecture typically offered by current cloud services.

Ein Protokollierungsdatenstrom kann sich z. B. auf eine einzelne Validierungstestfahrt des zu testenden Systems beziehen. Daher sind in der Regel mehrere Protokollierungsdatenströme erforderlich, um genügend Protokollierungsdaten für die Systemvalidierung bereitzustellen. Jeder Protokollierungsdatenstrom umfasst Sensordaten des Fahrzeugs oder eines bestimmten Fahrunterstützungssystems, welches das zu testende System ist. Diese Sensoren umfassen z. B. Umgebungssensoren wie optische Kameras, LiDAR-basierte Umgebungssensoren, Ultraschallsensoren, Radarsensoren, Infrarotsensoren oder -kameras und so weiter. Die Sensoren können ferner jede Art von Sensor des Fahrzeugs umfassen, z. B. zur Überwachung des Motors, des Fahrers, der Insassen des Fahrzeugs, zur Steuerung automatischer Türen und vieles mehr. Jeder Protokollierungsdatenstrom kann ferner Systemdaten umfassen, z. B. Daten, die über einen internen Datenbus übertragen werden, interne Betriebszustände oder andere. Die Systemdaten können ferner System-Debuggingdaten umfassen, die lediglich zum Zweck der Fehlersuche im Verhalten des zu testenden Systems erzeugt werden. Darüber hinaus kann der Protokollierungsdatenstrom auch Validierungsdaten enthalten, z. B. Sensordaten von Referenzsensoren, die zum Zweck der Systemvalidierung zusätzlich am Fahrzeug angebracht sind, um Referenzdaten für die Validierung bereitzustellen. Die Referenzdaten können zusammen mit den Sensordaten in einem einzigen Protokollierungsdatenstrom bereitgestellt werden. Die Referenzdaten können jedoch auch in einem separaten Referenzprotokollierungsdatenstrom bereitgestellt werden, der mit dem jeweiligen Protokollierungsdatenstrom synchronisiert ist oder zumindest Synchronisierungsinformationen in Bezug auf den Protokollierungsdatenstrom enthält. Der Protokollierungsdatenstrom kann z. B. Annotationsinformationen enthalten, die entweder auf einer automatischen Annotation oder auf einer menschlichen Annotation basieren. Die Referenzdaten können auch als Bodenwahrheit (ground truth) bezeichnet werden.A logging data stream can e.g. B. refer to a single validation test drive of the system under test. Therefore, multiple logging streams are typically required to provide enough logging data for system validation. Each logging data stream includes sensor data from the vehicle or a particular driving support system, which is the system under test. These sensors include e.g. B. Environmental sensors such as optical cameras, LiDAR-based environmental sensors, ultrasonic sensors, radar sensors, infrared sensors or cameras, and so on. The sensors can also include any type of sensor of the vehicle, e.g. B. to monitor the engine, the driver, the occupants of the vehicle, to control automatic doors and much more. Everyone logging data stream may also include system data, e.g. B. data that is transmitted via an internal data bus, internal operating conditions or others. The system data can also include system debugging data that is generated solely for the purpose of troubleshooting the behavior of the system under test. In addition, the logging data stream can also contain validation data, e.g. B. Sensor data from reference sensors that are additionally attached to the vehicle for the purpose of system validation in order to provide reference data for the validation. The reference data can be provided along with the sensor data in a single logging data stream. However, the reference data can also be provided in a separate reference logging data stream, which is synchronized with the respective logging data stream or at least contains synchronization information in relation to the logging data stream. The logging data stream can e.g. B. contain annotation information based on either automatic annotation or human annotation. The reference data can also be referred to as ground truth.

Die Zuordnung der Metadaten zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom betrifft die Zuordnung von Metadaten wie Wetterbedingungen, Straßentyp, Geschwindigkeitsbereich usw., die für eine Bewertung der Qualität des SUT erforderlich sind, zu dem mindestens einen Protokollierungsdatenstrom. Die Metadaten bilden die Grundlage für die spätere Filterung der Protokollierungsdaten aus dem mindestens einen Protokollierungsdatenstrom zur Berechnung der KPIs. Die Metadaten können aus verschiedenen Quellen extrahiert werden, einschließlich externer Datenbanken wie einer Wetterdatenbank oder eines menschlichen Beobachters des SUT, gespeichert und mit den Protokollierungsdaten verknüpft werden. Die Metadaten sind vorzugsweise unabhängig von dem zu testenden System.The association of the metadata with the provided at least one logging data stream relates to the association of metadata such as weather conditions, road type, speed range, etc., which are required for an assessment of the quality of the SUT, with the at least one logging data stream. The metadata form the basis for the subsequent filtering of the logging data from the at least one logging data stream for calculating the KPIs. The metadata can be extracted from various sources including external databases such as a weather database or a human observer of the SUT, stored and linked to the logging data. The metadata is preferably independent of the system to be tested.

Die Verarbeitung jedes bereitgestellten Protokollierungsdatenstroms zum Bestimmen von Leistungsinformationen einer Systemleistung des zu testenden Systems im Vergleich zu einer Systemleistung des Referenzsystems betrifft eine Verarbeitung, die die Leistungsinformationen als Grundlage für die anschließende Berechnung verschiedener KPIs bereitstellt. Die Verarbeitung liefert die Leistungsinformationen, die z.B. Erkennungsergebnisse von Objekten umfassen, die von der Systemausgabe des zu testenden Systems im Vergleich zur Bodenwahrheit (ground truth) geliefert werden.The processing of each logging data stream provided to determine performance information of a system performance of the system under test compared to a system performance of the reference system relates to processing that provides the performance information as a basis for the subsequent calculation of various KPIs. The processing provides the performance information including, for example, detection results of objects provided by the system output of the system under test compared to ground truth.

Das Filtern der ermittelten Leistungsinformationen für mindestens einen KPI auf der Grundlage einer Metadatenspezifikation des jeweiligen KPI betrifft eine Identifizierung der Leistungsinformationen entsprechend den Erfordernissen für die Berechnung der jeweiligen KPIs. In der Regel werden bestimmte Kombinationen von Metadaten verwendet, um bestimmte Daten für die Berechnung eines KPI zu ermitteln. So kann sich die Filterung beispielsweise auf die Identifizierung von Leistungsinformationen in Bezug auf Metadaten beziehen, die einen Fahrzustand beim Fahren in einer städtischen Umgebung mit Regen auf einer Straße mit mehreren Fahrspuren für jede Fahrtrichtung angeben. Auf diese Weise können passende Leistungsinformationen leicht identifiziert und gefiltert werden, so dass auf der Grundlage dieser Filterung einer oder mehrere KPIs berechnet werden können.The filtering of the determined performance information for at least one KPI on the basis of a metadata specification of the respective KPI concerns an identification of the performance information according to the requirements for the calculation of the respective KPIs. Typically, specific combinations of metadata are used to determine specific data for calculating a KPI. For example, the filtering may relate to identifying performance information related to metadata indicating a driving condition when driving in an urban environment with rain on a multi-lane road for each direction of travel. In this way, pertinent performance information can be easily identified and filtered so that one or more KPIs can be calculated based on this filtering.

Die Berechnung des mindestens einen KPIs über die gefilterten Leistungsinformationen für die Metadatenspezifikation des jeweiligen KPIs erfolgt für jeden KPI unabhängig, so dass verschiedene KPIs natürlich auf verschiedenen Teilen der Leistungsinformationen, die sich auf verschiedene Teile der Protokollierungsdaten auf der Grundlage verschiedener Kombinationen von Metadaten beziehen, basieren können. Allerdings können verschiedene KPIs zumindest teilweise auf der Grundlage derselben Teile der Leistungsinformationen berechnet werden, die auf der jeweiligen Filterung gemäß den Metadaten basieren. Die Berechnung der KPIs kann sich beispielsweise auf die Bestimmung einer Rate korrekt identifizierter Drittfahrzeuge, einer Rate falscher Identifikationen von Motorrädern oder anderer beziehen.The calculation of the at least one KPI via the filtered performance information for the metadata specification of the respective KPI is done independently for each KPI, so different KPIs are naturally based on different parts of the performance information related to different parts of the logging data based on different combinations of metadata can. However, different KPIs may be calculated based at least in part on the same pieces of performance information based on each filtering according to the metadata. For example, the calculation of the KPIs may relate to determining a rate of correctly identified third-party vehicles, a rate of misidentified motorcycles, or others.

Jeder Protokollierungsdatenstrom wird vorzugsweise in Protokollierungsdatensplits aufgeteilt, die zusammen den Protokollierungsdatenstrom bilden, so dass alle Protokollierungsdaten berücksichtigt werden und keine Protokollierungsdaten verloren gehen. Der Transfer der Protokollierungsdaten z. B. zwischen einem Datenspeicher und verschiedenen Verarbeitungsvorrichtungen kann erfolgen, ohne dass ganze Protokollierungsdatenströme übertragen werden müssen. Wenn der Protokollierungsdatenstrom in Datensplits aufgeteilt wird, können die Protokollierungsdatensplits einzeln verarbeitet werden, um die Leistungsinformationen zu ermitteln.Each logging data stream is preferably divided into logging data splits which together form the logging data stream so that all logging data is taken into account and no logging data is lost. The transfer of the logging data e.g. B. between a data store and different processing devices can be done without having to transfer entire logging data streams. If the logging stream is divided into data splits, the logging data splits can be processed individually to determine the performance information.

Gemäß einer modifizierten Ausführungsform umfasst das Verfahren einen zusätzlichen Schritt des Zuordnens logisch getrennter Metadatenblöcke zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom mit Sätzen von Metadatenattributen, die auf jeden der Metadatenblöcke anwendbar sind. Die logisch getrennten Metadatenblöcke decken den Protokollierungsdatenstrom und damit auch die ermittelten Leistungsinformationen ab. So können alle Informationen berücksichtigt werden und es geht keine Information verloren. Darüber hinaus ist es bevorzugt, dass es keine Überschneidungen zwischen aufeinander folgenden Metadatenblöcken gibt. Somit besteht nicht die Gefahr, dass die Validierungsergebnisse durch die doppelte Berücksichtigung von Teilen der Leistungsinformationen verfälscht werden. Die Metadaten werden jedem Metadatenblock vollständig zugeordnet. Logisch getrennte Metadatenblöcke erleichtern die Filterung der ermittelten Leistungsinformationen, da die von den einzelnen Metadatenblöcken abgedeckten Leistungsinformationen auf der Grundlage ihrer Metadaten ausgewählt werden können. Die Zuordnung der Metadaten zu den Metadatenblöcken ermöglicht eine effiziente Verarbeitung der Protokollierungsdaten und insbesondere der Leistungsinformationen auf der Grundlage der jeweiligen Metadaten.According to a modified embodiment, the method comprises an additional step of associating logically separated metadata blocks with the provided at least one logging data stream with sets of metadata attributes applicable to each of the metadata blocks. The logically separated metadata blocks cover the logging data stream and thus also the determined performance information. In this way, all information can be taken into account and no information is lost. About it moreover, it is preferred that there are no overlaps between consecutive metadata blocks. Thus, there is no risk that the validation results will be falsified by the double consideration of parts of the performance information. The metadata is fully assigned to each metadata block. Logically separated metadata blocks facilitate filtering of the discovered performance information, since the performance information covered by each metadata block can be selected based on its metadata. Mapping the metadata to the metadata blocks enables efficient processing of the logging data and in particular the performance information based on the respective metadata.

Gemäß einer modifizierten Ausführungsform umfasst das Verfahren einen zusätzlichen Schritt der Identifizierung eines Änderungszeitpunkts in einem Metadatenattribut des bereitgestellten mindestens einen Protokollierungsdatenstroms, und der Schritt des Zuordnens von logisch getrennten Metadatenblöcken zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom umfasst das Starten eines neuen Metadatenblocks zum Änderungszeitpunkt in dem Metadatenattribut des bereitgestellten Protokollierungsdatenstroms. Die Änderung des Metadatenattributs weist auf einen anderen Zustand hin, der insbesondere für die Bestimmung eines oder mehrerer der für den Systemvalidierungsprozess definierten KPIs relevant sein kann. Das Starten eines neuen Metadatenblocks zum Zeitpunkt der Änderung des Metadatenattributs ist ein einfaches Mittel, um sicherzustellen, dass jeder Metadatenblock die gleichen Metadatenattribute hat. Dies erleichtert die Filterung der Leistungsinformationen auf der Grundlage der Metadaten. Bei den Metadaten kann es sich beispielsweise um eine allgemeine Niederschlagsbedingung handeln, die z. B. zwischen den Attributen Niederschlag und kein Niederschlag wechseln kann, um eine detaillierte Niederschlagsbedingung, die z. B. zwischen den Attributen leichter Regen, starker Regen, Schnee, Hagel wechseln kann, um eine Fahrbahnbedingung, die zwischen Stadt und Autobahn wechseln kann, um eine Fahrspurbedingung, die die Anzahl der derzeit verfügbaren Fahrspuren angeben kann, z. B. eine natürliche Zahl zwischen 1 und einer maximalen Anzahl von Fahrspuren, z. B. 10 oder 12, um nur einige Beispiele zu nennen. Da sich die Attribute verschiedener Arten von Metadaten zeitlich unabhängig und darüber hinaus asynchron ändern können, ermöglichen die individuellen Metadaten eine einfache Bereitstellung von Metadatenblöcken mit einem einzigen Satz von Metadatenattributen. Da jeder Metadatenblock über einen einzigen Satz von Metadatenattributen verfügt, kann die Filterung der Leistungsinformationen durch Auswahl der jeweiligen Metadatenblöcke einfach durchgeführt werden.According to a modified embodiment, the method comprises an additional step of identifying a change time in a metadata attribute of the at least one logging data stream provided, and the step of associating logically separate metadata blocks with the at least one logging data stream provided comprises starting a new metadata block at the time of change in the metadata attribute of the provided logging stream. The change in the metadata attribute indicates a different condition, which may be particularly relevant for determining one or more of the KPIs defined for the system validation process. Starting a new metadata chunk at the time the metadata attribute changes is an easy way to ensure that each metadata chunk has the same metadata attributes. This makes it easier to filter the performance information based on the metadata. The metadata can be, for example, a general precipitation condition, e.g. B. between the attributes precipitation and no precipitation can switch to a detailed precipitation condition, the z. B. can switch between the attributes of light rain, heavy rain, snow, hail, a road condition that can switch between city and highway, a lane condition that can indicate the number of lanes currently available, e.g. B. a natural number between 1 and a maximum number of lanes, z. B. 10 or 12, to name just a few examples. Since the attributes of different types of metadata can change independently of time and, moreover, asynchronously, the individual metadata allows for easy provisioning of metadata blocks with a single set of metadata attributes. Since each metadata block has a single set of metadata attributes, filtering the performance information can be easily performed by selecting the respective metadata blocks.

Gemäß einer modifizierten Ausführungsform umfasst das Verfahren einen zusätzlichen Schritt des Identifizierens eines Änderungszeitpunkts in mindestens einem Aggregationsregelattribut einer Aggregationsregel zur Berechnung des mindestens einen KPIs, und der Schritt des Zuordnens von logisch getrennten Metadatenblöcken zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom umfasst das Starten eines neuen Metadatenblocks zum Änderungszeitpunkt des mindestens einen Aggregationsregelattributs der Aggregationsregel zur Berechnung des mindestens einen KPIs. Solche Aggregationsregeln können auf der Grundlage der Spezifikation der bei der Validierung verwendeten KPIs vordefiniert werden und können durch komplexe logische Ausdrücke definiert werden, die aus Bedingungen bestehen, die möglicherweise nicht in den Metadaten selbst ausgewertet werden können. Daher kann eine Verarbeitung der Protokollierungsdaten erforderlich sein, um die Attribute der Aggregationsregeln anzuwenden. Die Aggregationsregeln können einfach zwischen Attributen wie „wahr“ oder „falsch“ wechseln. Alternativ dazu können die Aggregationsregeln zwischen mehreren Attributen umschalten. Beispiele für Aggregationsregelattribute sind z. B. eine kombinierte Bedingung, die angibt, ob das zu testende System aktiv ist, ob mehrere Fahrspuren von einem Referenzsystem erkannt werden und ob Leitplanken in der Szene nicht vorhanden sind. Eine Beziehung zwischen Metadaten und Aggregationsregeln kann weiterhin für die Aggregation von Metadaten für zwei Hauptzwecke verwendet werden. Der erste Zweck ist die direkte Nutzung der aggregierten Metadateninformationen - z. B. die Gesamtfahrstrecke, während die durch die Aggregationsregeln definierten Bedingungen erfüllt sind. Der zweite Zweck ist die Berechnung von relativen Validierungsergebnissen, z. B. die Anzahl der Falsch-Positiv-Ereignisse pro 100 km gefahrene Strecke, wobei nur Strecken berücksichtigt werden, die unter den durch die Aggregationsregel festgelegten Bedingungen gefahren wurden.According to a modified embodiment, the method comprises an additional step of identifying a change time in at least one aggregation rule attribute of an aggregation rule for calculating the at least one KPI, and the step of assigning logically separate metadata blocks to the provided at least one logging data stream comprises starting a new metadata block at the change time the at least one aggregation rule attribute of the aggregation rule for calculating the at least one KPI. Such aggregation rules can be predefined based on the specification of the KPIs used in validation and can be defined by complex logical expressions consisting of conditions that may not be able to be evaluated in the metadata itself. Therefore, processing of the logging data may be required to apply the attributes of the aggregation rules. The aggregation rules can easily switch between attributes like true or false. Alternatively, the aggregation rules can toggle between multiple attributes. Examples of aggregation rule attributes are e.g. B. a combined condition indicating whether the system under test is active, whether multiple lanes are recognized by a reference system and whether crash barriers are absent in the scene. A relationship between metadata and aggregation rules can further be used for aggregating metadata for two main purposes. The first purpose is the direct use of the aggregated metadata information - e.g. B. the total driving distance while the conditions defined by the aggregation rules are met. The second purpose is to calculate relative validation results, e.g. B. The number of false positives per 100 km of distance driven, considering only distances driven under the conditions specified by the aggregation rule.

Gemäß einer modifizierten Ausführungsform umfasst der Schritt des Zuordnens logisch getrennter Metadatenblöcke zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom das Starten eines neuen Metadatenblocks nach einer vordefinierten Metadatenblockdauer. Die Dauer der Metadatenblöcke kann so gewählt werden, dass die Größe der Metadatenblöcke begrenzt wird. Beispielsweise kann die vordefinierte Dauer des Metadatenblocks im Bereich von mehreren Sekunden, z. B. fünf Sekunden, liegen. Eine solche Dauer der Metadatenblöcke stellt die Metadatenblöcke mit einer angemessenen Zeitskala im Vergleich zu Änderungen in den Metadaten bereit. Ein Vorteil der vordefinierten Dauer von Metadatenblöcken ist die effiziente Handhabung von sich häufig ändernden Metadaten. Anstatt neue Metadatenblöcke bei häufigen oder sogar kontinuierlichen Änderungen von Metadatenattributen zu beginnen, wie z.B. eine „Position“, die auf der GPS-Position des SUT basiert. Die Metadaten „Position“ können daher vom Start neuer Metadatenblöcke bei Änderungen ausgeschlossen werden. Vorzugsweise wird in diesem Fall eine einzelne Position einem ganzen Metadatenblock zugeordnet. Durch die automatische Begrenzung der Dauer der Metadatenchunks entspricht der gesamte Metadatenblock einer einigermaßen ähnlichen Position und nachfolgende Metadatenchunks werden zumindest bei einer Bewegung des SUT eine einigermaßen andere Position haben.According to a modified embodiment, the step of associating logically separate metadata blocks with the provided at least one logging data stream comprises starting a new metadata block after a predefined metadata block duration. The duration of the metadata blocks can be chosen in such a way that the size of the metadata blocks is limited. For example, the predefined duration of the metadata block can be in the range of several seconds, e.g. B. five seconds are. Such duration of the metadata chunks provides the metadata chunks with a reasonable timescale compared to changes in the metadata. An advantage of the predefined duration of metadata blocks is the efficient handling of frequently changing metadata. Instead of new metadata blocks at häufi gene or even continuous changes of metadata attributes, such as a "position" based on the GPS position of the SUT. The "position" metadata can therefore be excluded from the start of new metadata blocks when changes are made. In this case, a single position is preferably assigned to an entire metadata block. By automatically limiting the duration of the metadata chunks, the whole metadata chunk will correspond to a somewhat similar position and subsequent metadata chunks will have a somewhat different position, at least when the SUT is moved.

Vorzugsweise werden mindestens zwei der oben genannten Ansätze zum Starten eines neuen Metadatenblocks kombiniert. So kann ein neuer Metadatenblock nach einer vordefinierten Dauer des Metadatenblocks gestartet werden. Wenn jedoch eine Änderung des Metadatenattributs des bereitgestellten Protokollierungsdatenstroms erkannt wird, kann ein neuer Metadatenblock vor Erreichen der festgelegten Metadatenblockdauer gestartet werden.Preferably, at least two of the above approaches are combined to start a new metadata block. A new metadata block can thus be started after a predefined duration of the metadata block. However, if a change in the metadata attribute of the provided logging stream is detected, a new metadata chunk may be started before the specified metadata chunk duration is reached.

Gemäß einer modifizierten Ausführungsform umfasst das Verfahren einen zusätzlichen Schritt der Bestimmung von Block-Metadaten für die Metadatenblöcke und der Zuordnung der Block-Metadaten zu den jeweiligen Metadatenblöcken. Die Block-Metadaten betreffen Metadaten, die für den gesamten Metadatenblock definiert sind. Die Block-Metadaten können z.B. eine vom SUT über den gesamten Metadatenblock zurückgelegte Strecke, eine maximale/minimale/durchschnittliche Geschwindigkeit des SUT im gesamten Metadatenblock oder andere Daten umfassen, die nicht direkt aus dem Protokollierungsdatenstrom verfügbar sind, aber aus dem Protokollierungsdatenstrom abgeleitet werden können und den jeweiligen Metadatenblock definieren. Da diese Block-Metadaten bereits den Metadatenblöcken zugeordnet sind, kann die Berechnung der KPIs weiter vereinfacht werden. Beispielsweise können die Block-Metadaten die Berechnung von KPIs auf der Grundlage von Raten, d. h. einer Anzahl von Ereignissen pro Strecke oder pro Zeit, ermöglichen oder erleichtern. Darüber hinaus können die Block-Metadaten verwendet werden, um den Bedarf an erforderlichen Protokollierungsdaten zu ermitteln. Beispielsweise kann die für einen Metadatenblock zurückgelegte Strecke zur Bestimmung der Gesamtstrecke für einen Satz von Metadatenblöcken verwendet werden, der Metadatenblöcke mit einer bestimmten Kombination von Metadaten umfasst.According to a modified embodiment, the method includes an additional step of determining block metadata for the metadata blocks and assigning the block metadata to the respective metadata blocks. The block metadata refers to metadata defined for the entire metadata block. The block metadata can include, for example, a distance traveled by the SUT over the entire metadata block, a maximum/minimum/average speed of the SUT over the entire metadata block, or other data that is not directly available from the logging data stream but can be derived from the logging data stream and define the respective metadata block. Since this block metadata is already associated with the metadata blocks, the calculation of the KPIs can be further simplified. For example, the block metadata can enable the calculation of KPIs based on rates, i.e. H. a number of events per distance or per time, enable or facilitate. Additionally, the block metadata can be used to determine the need for logging data required. For example, the distance traveled for a metadata chunk can be used to determine the total distance for a set of metadata chunks that includes metadata chunks with a particular combination of metadata.

Gemäß einer modifizierten Ausführungsform umfasst der Schritt des Zuordnens von Metadaten zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom das Hinzufügen von Verarbeitungsmetadaten der Verarbeitung des bereitgestellten mindestens einen Protokollierungsdatenstroms. Die Verarbeitungsmetadaten betreffen Metadaten, die aus dem Verarbeitungsschritt zur Verarbeitung des bereitgestellten Protokollierungsdatenstroms gewonnen werden, um die Leistungsinformationen als Grundlage für die Berechnung mehrerer KPIs zu ermitteln. Die Verarbeitungsmetadaten können sich auf Metadaten beziehen, die auf der Grundlage eines Referenzsensorsystems ermittelt werden, die für die anschließende Berechnung der KPIs verwendet werden.According to a modified embodiment, the step of associating metadata with the provided at least one logging data stream comprises adding processing metadata of the processing of the provided at least one logging data stream. The processing metadata refers to metadata obtained from the processing step for processing the logging data stream provided to determine the performance information as a basis for the calculation of several KPIs. The processing metadata may refer to metadata determined based on a reference sensor system used for the subsequent calculation of the KPIs.

Gemäß einer modifizierten Ausführungsform umfasst das Verfahren die folgenden zusätzlichen Schritte zum Überwachen der Verarbeitung des mindestens einen Protokollierungsdatenstroms zur Ermittlung weiterer Leistungsinformationen, Filtern der ermittelten weiteren Leistungsinformationen für mindestens einen KPI auf Basis einer Metadatenspezifikation des jeweiligen KPIs, und Aktualisieren der Berechnung des mindestens einen KPIs auf der Grundlage der gefilterten weiteren Leistungsinformationen für die Metadatenspezifikation des jeweiligen KPIs bei Verfügbarkeit der gefilterten weiteren Leistungsinformationen. Die Überwachung zusätzlich bereitgestellter Protokollierungsdatenströme und/oder die Verfügbarkeit weiterer Leistungsinformationen eines bereits bereitgestellten Protokollierungsdatenstroms, der weiterverarbeitet wurde, kann zur Verfügbarkeit relevanter Informationen für die Berechnung eines oder mehrerer KPIs führen. Insbesondere wenn ein Protokollierungsdatenstrom in einzelne Protokollierungsdatensplits aufgeteilt wird und die Protokollierungsdatensplits einzeln zur Ermittlung der Leistungsinformationen verarbeitet werden, werden die Leistungsinformationen schrittweise verfügbar. Die Überwachung der Verarbeitung der Protokollierungsdatenströme ermöglicht somit eine einfache Aktualisierung der Berechnung der jeweiligen KPIs. So können die KPIs bereits von Anfang an berechnet werden, um einen ersten Hinweis auf einen Validierungsstatus zu geben. Im Falle von Problemen können sofort Gegenmaßnahmen ergriffen werden. Darüber hinaus können Aktualisierungen der Berechnung der KPIs just in time zur Verfügung gestellt werden. Somit können kontinuierliche Aktualisierungen bereitgestellt werden. Da die Leistungsinformationen die Grundlage für die KPIs sind, kann die Aktualisierung der Berechnung des jeweiligen KPIs einfach und ohne großen Aufwand auf Basis der Filterung der ermittelten weiteren Leistungsinformationen gemäß der Metadatenspezifikation des jeweiligen KPIs erfolgen.According to a modified embodiment, the method comprises the following additional steps for monitoring the processing of the at least one logging data stream to determine further performance information, filtering the determined further performance information for at least one KPI based on a metadata specification of the respective KPI, and updating the calculation of the at least one KPI on the basis of the filtered further performance information for the metadata specification of the respective KPI if the filtered further performance information is available. The monitoring of additionally provided logging streams and/or the availability of further performance information of an already provided logging stream that has been further processed can lead to the availability of relevant information for the calculation of one or more KPIs. In particular, when a logging data stream is divided into individual logging data splits and the logging data splits are processed individually to determine the performance information, the performance information becomes available incrementally. Monitoring the processing of the logging data streams thus allows easy updating of the calculation of the respective KPIs. In this way, the KPIs can be calculated right from the start to give an initial indication of a validation status. In the event of problems, countermeasures can be taken immediately. In addition, updates to the calculation of the KPIs can be made available just in time. Thus, continuous updates can be provided. Since the performance information is the basis for the KPIs, the calculation of the respective KPI can be updated easily and without great effort based on the filtering of the additional performance information determined according to the metadata specification of the respective KPI.

Gemäß einer modifizierten Ausführungsform basieren die Schritte des Berechnens des mindestens einen KPIs und/oder des Bestimmens einer Abdeckung des mindestens einen KPIs auf einer aktuellen Verarbeitung des mindestens einen Protokollierungsdatenstroms. Die Berechnung der Abdeckung kann auf der Grundlage der Metadaten einfach durchgeführt werden, insbesondere wenn logisch getrennte Metadatenblöcke bereitgestellt werden. Im letzteren Fall kann z.B. auf einfache Weise eine gefahrene Strecke auf Basis von Fahrstrecken für jeden Metadatenblock ermittelt werden, so dass ein KPI, der eine bestimmte Fahrstrecke abdeckt, ausgewertet werden kann.According to a modified embodiment, the steps of calculating the at least one KPI and/or determining a coverage of the at least one KPI are based on a current processing of the at least one logging data stream. The calculation of the Abde Verification can easily be performed on the basis of the metadata, especially when logically separated blocks of metadata are provided. In the latter case, for example, a route driven can be determined in a simple manner on the basis of routes for each metadata block, so that a KPI covering a specific route can be evaluated.

Die oben in Bezug auf das erfindungsgemäße Verfahren beschriebenen Merkmale und Vorteile gelten gleichermaßen für das erfindungsgemäße Fahrunterstützungssystem und umgekehrt.The features and advantages described above in relation to the method according to the invention apply equally to the driving support system according to the invention and vice versa.

Diese und weitere Aspekte der Erfindung ergeben sich aus den nachfolgend beschriebenen Ausführungsformen und werden durch diese verdeutlicht. Einzelne Merkmale, die in den Ausführungsformen offenbart sind, können allein oder in Kombination einen Aspekt der vorliegenden Erfindung darstellen. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden.These and other aspects of the invention result from the embodiments described below and are clarified by them. Individual features disclosed in the embodiments may represent an aspect of the present invention alone or in combination. Features of the various embodiments may be carried over from one embodiment to another embodiment.

In der Zeichnung:

  • 1 zeigt eine schematische Ansicht eines Ego-Fahrzeugs als zu testendes System mit einem Fahrunterstützungssystem zur Validierung gemäß einer ersten, bevorzugten Ausführungsform,
  • 2 zeigt eine schematische Ansicht von Protokollierungsdatenströmen und logisch getrennten Metadatenblöcken auf der Grundlage von sich ändernden Metadatenattributen und einer maximalen Dauer von Metadatenblöcken gemäß einer ersten, bevorzugten Ausführungsform,
  • 3 zeigt eine schematische Ansicht eines Datenflusses bei der Durchführung der Systemvalidierung des zu testenden Systems gemäß der ersten Ausführungsform, die eine Filterung und Aggregation auf der Grundlage von Metadatenblöcken zur Berechnung von KPIs anzeigt,
  • 4 zeigt eine schematische Ansicht eines Datenflusses bei der Durchführung der Systemvalidierung des zu testenden Systems gemäß der ersten Ausführungsform einschließlich der Verarbeitung der Bodenwahrheit (ground truth),
  • 5 zeigt eine schematische Ansicht eines Validierungsdatenbeispiels gemäß der ersten Ausführungsform, und
  • 6 zeigt ein Flussdiagramm eines Verfahrens zur Durchführung der Systemvalidierung des in 1 dargestellten zu testenden Systems.
In the drawing:
  • 1 shows a schematic view of an ego vehicle as the system to be tested with a driving support system for validation according to a first preferred embodiment,
  • 2 shows a schematic view of logging data streams and logically separated metadata blocks based on changing metadata attributes and a maximum duration of metadata blocks according to a first preferred embodiment,
  • 3 shows a schematic view of a data flow when performing the system validation of the system under test according to the first embodiment, showing filtering and aggregation based on metadata blocks for calculating KPIs,
  • 4 shows a schematic view of a data flow when performing the system validation of the system under test according to the first embodiment including the processing of the ground truth (ground truth),
  • 5 12 shows a schematic view of a validation data example according to the first embodiment, and
  • 6 shows a flow chart of a method for performing the system validation of the in 1 system to be tested shown.

1 zeigt ein Ego-Fahrzeug 10 gemäß einer ersten, bevorzugten Ausführungsform. Das Ego-Fahrzeug 10 kann jede Art von Fahrzeug sein, z. B. ein Pkw oder ein Lkw, das von einem menschlichen Fahrer oder autonom gefahren werden kann. Das Ego-Fahrzeug 10 ist ein zu testendes System, das validiert werden soll, wie weiter unten erläutert wird. 1 12 shows an ego vehicle 10 according to a first preferred embodiment. The ego vehicle 10 can be any type of vehicle, e.g. B. a car or a truck that can be driven by a human driver or autonomously. The ego vehicle 10 is a system under test to be validated, as explained below.

Das Ego-Fahrzeug 10 umfasst ein Fahrunterstützungssystem 12. Wie in 1 im Detail zu sehen ist, umfasst das Fahrunterstützungssystem 12 in dieser Ausführungsform einen Umgebungssensor 14 und eine Verarbeitungseinheit 16, die über eine Datenverbindung 18 verbunden sind. Der Umgebungssensor 14 ist in dieser Ausführungsform als LiDAR-basierter Umgebungssensor vorgesehen, der einzelne Messpunkte mit einer Position von Objekten und/oder Strukturen in einer Umgebung 20 des Ego-Fahrzeugs 10 bereitstellt.The ego vehicle 10 includes a driving support system 12. As in FIG 1 As can be seen in detail, the driving support system 12 in this embodiment comprises an environment sensor 14 and a processing unit 16 which are connected via a data connection 18 . In this embodiment, the environment sensor 14 is provided as a LiDAR-based environment sensor that provides individual measurement points with a position of objects and/or structures in an environment 20 of the ego vehicle 10 .

Der Umgebungssensor 14 erkennt die Umgebung 20 des Ego-Fahrzeugs 10. Die Umgebung 20 des Ego-Fahrzeugs 10 ist ein Bereich um das Ego-Fahrzeug 10. Der Umgebungssensor 14 erzeugt Sensorinformationen, die über die Datenverbindung 18 an die Verarbeitungseinheit 16 übertragen werden. Bei den Sensorinformationen kann es sich um Rohdaten oder vorverarbeitete Daten handeln.Surroundings sensor 14 detects surroundings 20 of ego vehicle 10. Surroundings 20 of ego vehicle 10 is an area around ego vehicle 10. Surroundings sensor 14 generates sensor information that is transmitted to processing unit 16 via data connection 18. The sensor information can be raw data or pre-processed data.

Die Verarbeitungseinheit 16 kann jede Art von Verarbeitungseinheit 16 sein, die für den Einsatz im Ego-Fahrzeug 10 geeignet ist. Solche Verarbeitungseinheiten 16 sind im Automobilbereich typischerweise als ECU (electronic control unit, elektronische Steuereinheit) bekannt. Die Verarbeitungseinheit 16 kann zur Durchführung mehrerer Aufgaben oder Anwendungen gemeinsam genutzt werden. Die Verarbeitungseinheit 16 verarbeitet die von dem Umgebungssensor 14 bereitgestellten Sensorinformationen.The processing unit 16 can be any type of processing unit 16 suitable for use in the ego vehicle 10 . Such processing units 16 are typically known in the automotive field as an ECU (electronic control unit). Processing unit 16 may be shared to perform multiple tasks or applications. The processing unit 16 processes the sensor information provided by the environment sensor 14 .

Die Datenverbindung 18 kann eine dedizierte Verbindung zur Übertragung der Sensorinformationen vom Umgebungssensor 14 zur Verarbeitungseinheit 16 oder ein Datenbus sein. Darüber hinaus kann die Datenverbindung 18 eine gemeinsam genutzte Datenverbindung 18 sein, die von verschiedenen Arten von Geräten des Ego-Fahrzeugs 10 genutzt wird, z. B. ein Mehrzweck-Datenbus. Die Datenverbindung 18 kann z.B. als CAN-Bus, LIN-Bus, oder andere implementiert sein.The data connection 18 can be a dedicated connection for transmitting the sensor information from the environmental sensor 14 to the processing unit 16 or a data bus. Additionally, the data connection 18 may be a shared data connection 18 used by different types of devices of the ego vehicle 10, e.g. B. a general purpose data bus. The data connection 18 can be implemented, for example, as a CAN bus, LIN bus, or others.

Das Ego-Fahrzeug 10 ist mit weiteren Sensoren ausgestattet, die nicht einzeln dargestellt sind. Wenn jedoch von dem Umgebungssensor 14 und den Sensordaten die Rede ist, sind alle Sensoren und Sensordaten aller Sensoren eingeschlossen.Ego vehicle 10 is equipped with additional sensors that are not shown individually. However, when speaking of the environmental sensor 14 and sensor data, all sensors and sensor data of all sensors are included.

Nachfolgend wird ein Verfahren zur Durchführung der Systemvalidierung des zu testenden Systems 10 beschrieben. Ein Flussdiagramm des Verfahrens ist in 6 dargestellt. Es wird zusätzlich auf die 2 bis 5 Bezug genommen.A method for performing the system validation of the system 10 to be tested is described below. A flowchart of the procedure is in 6 shown. It will additionally on the 2 until 5 referenced.

Das Verfahren beginnt mit Schritt S100, der sich auf das Bereitstellen mindestens eines Protokollierungsdatenstroms 22 von dem zu testenden System 10 bezieht, der Sensordaten von den mehreren Sensoren 14 enthält.The method begins with step S100 which relates to providing at least one logging data stream 22 from the system under test 10 containing sensor data from the plurality of sensors 14 .

Das zu testende System 10 wird verwendet, um den mindestens einen Protokollierungsdatenstrom 22 zu erzeugen, der die Sensordaten von den mehreren Sensoren 14 enthält. Ein einzelner Protokollierungsdatenstrom 22 kann sich z. B. auf eine einzelne Validierungs-Testfahrt des zu testenden Systems 10 beziehen. Somit werden in der Regel mehrere Protokollierungsdatenströme 22 für die Systemvalidierung bereitgestellt. Jeder Protokollierungsdatenstrom 22 umfasst die Sensordaten der Sensoren 14 und zusätzlich Sensordaten beliebiger Sensoren 14 des Fahrzeugs, z. B. zur Überwachung des Motors, des Fahrers, der Passagiere des Ego-Fahrzeugs 10, zur Steuerung automatischer Türen und vieles mehr. Jeder Protokollierungsdatenstrom 22 umfasst ferner Systemdaten, z.B. Daten, die über die Datenverbindung 18, einen internen Datenbus, übertragen werden. Jeder Protokollierungsdatenstrom 22 umfasst ferner interne Betriebszustände der Verarbeitungseinheit 16 sowie Debuggingdaten des Systems der Verarbeitungseinheit 16. Weiterhin umfasst jeder Protokollierungsdatenstrom 22 Validierungsdaten wie Sensordaten von Referenzsensoren, die zum Zweck der Systemvalidierung zusätzlich am Ego-Fahrzeug 10 angebracht sind, um Referenzdaten bereitzustellen. Ein solcher Protokollierungsdatenstrom 22 ist in 2 schematisch dargestellt. In einer anderen Ausführungsform werden die Referenzdaten in einem separaten, synchronisierten Datenstrom bereitgestellt. Die Referenzprotokollierungsdaten können z. B. Annotationsinformationen umfassen, die entweder auf einer automatischen Annotation oder auf einer menschlichen Annotation beruhen. Die Referenzdaten können auch auf die Bodenwahrheit (ground truth) bezeichnet werden.The system under test 10 is used to generate the at least one logging data stream 22 containing the sensor data from the plurality of sensors 14 . A single logging stream 22 may e.g. B. refer to a single validation test drive of the system 10 to be tested. Thus, as a rule, several logging data streams 22 are provided for the system validation. Each logging data stream 22 includes the sensor data from the sensors 14 and additional sensor data from any sensors 14 of the vehicle, e.g. B. to monitor the engine, the driver, the passengers of the ego vehicle 10, to control automatic doors and much more. Each logging data stream 22 also includes system data, such as data transmitted over data link 18, an internal data bus. Each logging data stream 22 also includes internal operating states of the processing unit 16 and debugging data of the system of the processing unit 16. Each logging data stream 22 also includes validation data such as sensor data from reference sensors that are also attached to the ego vehicle 10 for the purpose of system validation in order to provide reference data. Such a logging data stream 22 is in 2 shown schematically. In another embodiment, the reference data is provided in a separate, synchronized data stream. The reference logging data can e.g. B. include annotation information based either on an automatic annotation or on a human annotation. The reference data can also be referred to as ground truth.

Die Bereitstellung mindestens eines Protokollierungsdatenstroms 22 umfasst das Einspeisen der mit dem zu testenden System 10 aufgezeichneten Protokollierungsdatenströme 22 in ein Validierungssystem, das in den Figuren nicht dargestellt ist. Das Validierungssystem basiert auf einer verteilten Serverarchitektur, wie sie typischerweise von aktuellen Cloud-Diensten angeboten wird. Des Weiteren wird der Protokollierungsdatenstrom 22 in Protokollierungsdatensplits aufgeteilt, die zusammen den Protokollierungsdatenstrom 22 bilden, und anschließend verarbeitet.The provision of at least one logging data stream 22 includes feeding the logging data streams 22 recorded with the system 10 to be tested into a validation system, which is not shown in the figures. The validation system is based on a distributed server architecture as typically offered by current cloud services. Furthermore, the logging data stream 22 is divided into logging data splits, which together form the logging data stream 22, and then processed.

Schritt S110 betrifft die Zuordnung von Metadaten 26 zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom 22. Die Zuordnung ist in 2 schematisch dargestellt, wobei dem gesamten Protokollierungsdatenstrom 22 verschiedene Metadaten 26 mit den einzelnen Metadatenattributen 28 zugeordnet werden.Step S110 relates to the assignment of metadata 26 to the provided at least one logging data stream 22. The assignment is in 2 shown schematically, with the entire logging data stream 22 different metadata 26 with the individual metadata attributes 28 are assigned.

So werden dem mindestens einen Protokollierungsdatenstrom 22 Metadaten 26 wie Wetterbedingungen, Straßentyp, Geschwindigkeitsbereich usw. zugeordnet, die für eine Qualitätsbewertung des zu testenden Systems 10 benötigt werden. Die Metadaten 26 können aus verschiedenen Quellen extrahiert werden, darunter externe Datenbanken, z.B. eine Wetterdatenbank, oder ein menschlicher Bediener oder Beobachter des zu testenden Systems 10.Metadata 26 such as weather conditions, road type, speed range, etc., which are required for a quality assessment of the system 10 to be tested, are thus assigned to the at least one logging data stream 22 . The metadata 26 can be extracted from various sources, including external databases, e.g. a weather database, or a human operator or observer of the system under test 10.

Schritt S120 betrifft das Bestimmen des Beginns eines neuen logisch getrennten Metadatenblocks 24. Schritt S120 umfasst drei parallele und individuelle Wege zum Bestimmen des Beginns eines neuen logisch getrennten Metadatenblocks 24.Step S120 relates to determining the beginning of a new logically separated metadata block 24. Step S120 comprises three parallel and individual ways of determining the beginning of a new logically separated metadata block 24.

Der erste Weg betrifft die Identifizierung eines Änderungszeitpunkts in den Metadaten 26 des bereitgestellten Protokollierungsdatenstroms 22. Zwei Arten von Metadaten 26 mit unterschiedlichen Attributen 28 sind oben in 2 dargestellt. Im unteren Teil von 2 ist der Beginn des neuen Metadatenblocks 24 aufgrund einer Änderung der Metadaten 26 durch Pfeile 30 gekennzeichnet. Bei den Metadaten 26 kann es sich beispielsweise um eine allgemeine Niederschlagsbedingung handeln, die z. B. zwischen den Attributen „Niederschlag“ und „kein Niederschlag“ wechseln kann, um eine detaillierte Niederschlagsbedingung, die z. B. zwischen ihren Attributen „leichter Regen“, „starker Regen“, „Schnee“, „Hagel“ wechseln kann, um eine Fahrartbedingung, die z.B. zwischen „innerorts“ oder „Autobahn“ wechseln kann, eine Fahrspurbedingung, die eine Anzahl der gegenwärtig verfügbaren Fahrspuren angeben kann, z. B. eine natürliche Zahl zwischen 1 und einer maximalen Anzahl von Fahrspuren, z. B. 10 oder 12, um nur einige Beispiele zu nennen.The first way concerns the identification of a change time in the metadata 26 of the logging data stream 22 provided. Two types of metadata 26 with different attributes 28 are described above in 2 shown. In the lower part of 2 the beginning of the new metadata block 24 due to a change in the metadata 26 is identified by arrows 30 . The metadata 26 can be, for example, a general precipitation condition that z. B. can switch between the attributes "precipitation" and "no precipitation" to display a detailed precipitation condition, e.g. B. can switch between their attributes “light rain”, “heavy rain”, “snow”, “hail”, a driving type condition that can switch between “urban” or “motorway”, for example, a lane condition that has a number of currently available lanes, e.g. B. a natural number between 1 and a maximum number of lanes, z. B. 10 or 12, to name just a few examples.

Die zweite Möglichkeit betrifft die Identifizierung eines Änderungszeitpunkts in mindestens einem Aggregationsregel-Attribut einer Aggregationsregel zur Berechnung mindestens eines KPIs. Solche Aggregationsregeln werden typischerweise auf der Grundlage der Spezifikation der in der Validierung verwendeten KPIs vordefiniert und können durch komplexe logische Ausdrücke definiert werden, die aus Bedingungen bestehen. In einigen Fällen kann eine Verarbeitung der Protokollierungsdaten erforderlich sein, um die Attribute der Aggregationsregeln anzuwenden. Die Aggregationsregeln können einfach zwischen Attributen wie „wahr“ oder „falsch“ wechseln. Alternativ können die Aggregationsregeln auch zwischen komplexeren Attributen wechseln. Beispiele für Aggregationsregelattribute sind z. B. eine kombinierte Bedingung, die angibt, ob das zu testende System 10 aktiv ist, ob mehrere Fahrspuren von einem Referenzsystem erkannt werden und ob Leitplanken in einer Szene nicht vorhanden sind. Der Zeitpunkt der Änderung mindestens eines Aggregationsregelattributs kann mit einigen der durch Pfeile 30 angezeigten Zeitpunkte identisch sein.The second possibility concerns the identification of a change time in at least one aggregation rule attribute of an aggregation rule for the calculation of at least one KPI. Such aggregation rules are typically predefined based on the specification of the KPIs used in the validation and can be defined by complex logical expressions consisting of conditions. In some cases, processing of the logging data may be required to apply the attributes of the aggregation rules. The aggregations rules can easily switch between attributes like true or false. Alternatively, the aggregation rules can also switch between more complex attributes. Examples of aggregation rule attributes are e.g. B. a composite condition indicating whether the system under test 10 is active, whether multiple lanes are recognized by a reference system and whether crash barriers are absent in a scene. The time at least one aggregation rule attribute was changed may be the same as some of the times indicated by arrows 30 .

Die dritte Möglichkeit betrifft die Identifizierung eines Endzeitpunkts eines Metadatenblocks 24 auf der Grundlage einer vordefinierten Dauer des Metadatenblocks. In der Mitte von 2 ist der Beginn des neuen logisch getrennten Metadatenblocks 24 aufgrund des Endes einer vordefinierten Dauer des Metadatenblocks durch Pfeile 34 gekennzeichnet. Die vordefinierte Dauer des Metadatenblocks wird beispielhaft mit fünf Sekunden angegeben.The third possibility concerns the identification of an end time of a metadata block 24 on the basis of a predefined duration of the metadata block. In the middle of 2 the beginning of the new logically separated metadata block 24 is indicated by arrows 34 due to the end of a predefined duration of the metadata block. The predefined duration of the metadata block is specified as five seconds as an example.

Schritt S130 betrifft das Zuordnen der logisch getrennten Metadatenblöcke 24 zu dem bereitgestellten Protokollierungsdatenstrom 22 mit Sätzen von Metadatenattributen 28, die auf jeden der Metadatenblöcke 24 anwendbar sind, wie in 2 dargestellt ist. Je nachdem, auf welche der drei oben genannten Arten der Beginn eines neuen logisch getrennten Metadatenblocks 24 bestimmt wird, kann dies zu unterschiedlich großen Metadatenblöcken 24 führen.Step S130 relates to associating the logically separated metadata blocks 24 with the provided logging data stream 22 with sets of metadata attributes 28 applicable to each of the metadata blocks 24, as in FIG 2 is shown. Depending on which of the three ways mentioned above the start of a new logically separate metadata block 24 is determined, this can lead to metadata blocks 24 of different sizes.

Wenn der Zeitpunkt des Beginns eines logisch getrennten Metadatenblocks 24 durch die vordefinierte Dauer des Metadatenblocks angegeben wird, wird jedes Mal ein neuer logisch getrennter Metadatenblock 24 begonnen, wenn die vordefinierte Dauer des Metadatenblocks erreicht ist. Dies führt zu gleich großen Metadatenblöcken 24.If the start time of a logically separated metadata block 24 is indicated by the predefined duration of the metadata block, a new logically separated metadata block 24 is started each time the predefined duration of the metadata block is reached. This leads to equally sized metadata blocks 24.

Beim Start eines neuen logisch getrennten Metadatenblocks 24 zum Zeitpunkt der Änderung mindestens eines Metadatenattributs 28 oder mindestens eines Attributs einer Aggregationsregel können die Metadatenblöcke 24 eine unterschiedliche Dauer haben.At the start of a new logically separate metadata block 24 at the time at least one metadata attribute 28 or at least one attribute of an aggregation rule is changed, the metadata blocks 24 can have different durations.

Aufgrund der Kombination der beschriebenen Möglichkeiten, einen neuen logisch getrennten Metadatenblock 24 zu beginnen, gelten für jeden der getrennten Metadatenblöcke 24 dieselben Metadatenattribute 28.Due to the combination of the described options for starting a new logically separate metadata block 24, the same metadata attributes 28 apply to each of the separate metadata blocks 24.

Einige Metadaten 26 können vom Start eines neuen logisch getrennten Metadatenblocks 24 ausgeschlossen werden, wenn sich ihr Attribut ändert, z. B. eine „Position“, die auf einer GPS-Position des zu testenden Systems 10 basiert. Da sich die Position häufig ändert, wenn sich das zu testende System 10 bewegt, wird jedem Metadatenblock 24 nur eine einzige Position zugewiesen, und/oder es wird eine Startposition und/oder eine Endposition zugewiesen.Some metadata 26 may be excluded from the start of a new logically separate metadata block 24 if its attribute changes, e.g. B. a "position" based on a GPS position of the system under test 10. Since the position often changes as the system under test 10 moves, each metadata block 24 is assigned only a single position, and/or is assigned a starting position and/or an ending position.

Die Metadatenblöcke 24 decken den gesamten Protokollierungsdatenstrom 22 ab, so dass alle Protokollierungsdaten berücksichtigt werden und keine Protokollierungsdaten verloren gehen. Weiterhin ist es bevorzugt, dass es keine Überschneidungen von Metadatenblöcken 24 oder Lücken zwischen aufeinanderfolgenden Metadatenblöcken 24 verglichen mit dem Protokollierungsdatenstrom 22 gibt.The metadata blocks 24 cover the entire logging data stream 22 so that all logging data is taken into account and no logging data is lost. Furthermore, it is preferred that there are no overlaps of metadata blocks 24 or gaps between consecutive metadata blocks 24 compared to the logging data stream 22 .

Schritt S140 betrifft das Bestimmen von Block-Metadaten für die Metadatenblöcke 24 und die Zuordnung der Block-Metadaten zu den jeweiligen Metadatenblöcken 24. Die Block-Metadaten betreffen Metadaten 26, die für ganze Metadatenblöcke 24 definiert sind. Die Block-Metadaten können beispielsweise eine vom zu testenden System 10 während der Dauer eines Metadatenblocks 24 zurückgelegte Strecke, eine maximale/minimale/durchschnittliche Geschwindigkeit des zu testenden Systems 10 während des gesamten Metadatenblocks 24 oder andere Daten umfassen, die aus dem Protokollierungsdatenstrom 22 abgeleitet werden und den jeweiligen Metadatenblock 24 definieren.Step S140 relates to determining block metadata for the metadata blocks 24 and associating the block metadata with the respective metadata blocks 24. The block metadata relates to metadata 26 which is defined for entire metadata blocks 24. The block metadata may include, for example, a distance traveled by the system under test 10 during the duration of a metadata block 24, a maximum/minimum/average speed of the system under test 10 throughout the metadata block 24, or other data derived from the logging data stream 22 and define the respective metadata block 24.

Darüber hinaus können die Metadatenblöcke verwendet werden, um den Bedarf an erforderlichen Aufzeichnungsdaten zu ermitteln. Beispielsweise kann die für einen Metadatenblock 24 zurückgelegte Strecke dazu verwendet werden, die Gesamtstrecke für einen Satz von Metadatenblöcken 24 zu bestimmen, der Metadatenblöcke 24 mit einer bestimmten Kombination von Metadaten 26 umfasst.In addition, the metadata blocks can be used to determine the need for required recording data. For example, the distance traveled for a metadata block 24 can be used to determine the total distance for a set of metadata blocks 24 that includes metadata blocks 24 with a particular combination of metadata 26 .

Schritt S150 betrifft das Verarbeiten jedes bereitgestellten Protokollierungsdatenstroms 22 zur Ermittlung von Leistungsinformationen 36 in Bezug auf mehrere KPIs für die Leistung des zu testenden Systems 10. Die Verarbeitung liefert Leistungsinformationen 36, die z.B. Erkennungsergebnisse von Objekten umfassen, die von der Systemausgabe des zu testenden Systems bereitgestellt werden, im Vergleich zur Bodenwahrheit (ground truth). Solche Leistungsinformationen 36 sind in 3 beispielhaft dargestellt und als Validierungsergebnisse bezeichnet.Step S150 relates to processing each logging data stream 22 provided to determine performance information 36 relating to a plurality of KPIs for the performance of the system under test 10. The processing provides performance information 36 comprising, for example, detection results of objects provided by the system output of the system under test become, compared to ground truth. Such performance information 36 is in 3 shown as an example and referred to as validation results.

In 3 ist ein entsprechender Datenfluss dargestellt. Die bereitgestellten Protokollierungsdaten, die die Protokollierungsdatenströme 22 umfassen, werden als aufgezeichnete Daten bezeichnet. Die Metadatenextraktion wird durchgeführt, um die gesamten Metadaten 26 zu erhalten, die dann verwendet werden, um die logisch getrennten Metadatenblöcke 24 bereitzustellen, die in 3 auch als Intervallmetadaten bezeichnet werden. Der Protokollierungsdatenstrom 22 wird verarbeitet, um die Leistungsinformationen 36 zu ermitteln. Jeder Protokollierungsdatenstrom 22 wird verarbeitet, indem seine Protokollierungs-Datensplits einzeln verarbeitet werden, um die Leistungsinformationen 36 zu ermitteln. Die Reihenfolge der Verarbeitung der Protokollierungs-Datensplits ist daher im Wesentlichen beliebig. Die Leistungsinformationen 36 werden den Metadatenblöcken 24 zugeordnet. Die Verarbeitung liefert die Leistungsinformationen 36 in Bezug auf mehrere KPIs für eine Leistung des zu testenden Systems 10, um anschließend verschiedene KPIs zu berechnen.In 3 a corresponding data flow is shown. The logging data provided, comprising the logging data streams 22, is referred to as recorded data. Metadata extraction is performed to obtain the entire metadata 26, which is then used to separate the logically separated metadata to provide ten blocks 24, which in 3 also referred to as interval metadata. The logging stream 22 is processed to determine the performance information 36 . Each logging data stream 22 is processed by individually processing its logging data splits to determine performance information 36 . The order in which the logging data splits are processed is therefore essentially arbitrary. The performance information 36 is associated with the metadata blocks 24 . The processing provides the performance information 36 related to multiple KPIs for performance of the system under test 10 to subsequently calculate various KPIs.

Abhängig von den Metadatenattributen 28 der Metadatenblöcke 24. Des Weiteren zeigt 3 verschiedene Aggregationsregeln mit aggregierten Metadatenattributen, nach denen verschiedene Sätze von Metadatenblöcken 24 gefiltert werden, um die jeweiligen KPIs zu berechnen.Depending on the metadata attributes 28 of the metadata blocks 24. Furthermore, shows 3 different aggregation rules with aggregated metadata attributes, according to which different sets of metadata blocks 24 are filtered in order to calculate the respective KPIs.

Schritt S160 betrifft das Filtern der ermittelten Leistungsinformationen 36 für mindestens einen KPI auf der Grundlage einer Metadatenspezifikation des jeweiligen KPIs. Somit werden die Leistungsinformationen 36 entsprechend den Anforderungen für die Berechnung der jeweiligen KPIs identifiziert. In dieser Ausführungsform werden, wie in 3 dargestellt, die jeweiligen Metadatenblöcke 24 in Abhängigkeit von den Metadatenattributen 28 der Metadatenblöcke 24 ausgewählt, wie in den Aggregationsregeln angegeben ist. Dementsprechend können passende Leistungsinformationen 36 identifiziert und gefiltert werden.Step S160 relates to filtering the determined performance information 36 for at least one KPI based on a metadata specification of the respective KPI. The performance information 36 is thus identified according to the requirements for the calculation of the respective KPIs. In this embodiment, as in 3 shown, the respective metadata blocks 24 are selected depending on the metadata attributes 28 of the metadata blocks 24, as specified in the aggregation rules. Accordingly, pertinent performance information 36 can be identified and filtered.

Schritt S170 betrifft das Berechnen der KPIs über die gefilterten Leistungsinformationen 36 für die Metadatenspezifikation des jeweiligen KPIs. Die Berechnung wird für jeden KPI unabhängig auf der Grundlage der Leistungsinformationen 36 der gefilterten Metadatenblöcke 24 durchgeführt, d.h. der Metadatenblöcke 24 gemäß der Metadatenspezifikation des jeweiligen KPIs. Jeder KPI basiert also auf einem individuellen Satz von Metadatenblöcken 24 und den jeweiligen Verarbeitungsdaten 36.Step S170 relates to calculating the KPIs via the filtered performance information 36 for the metadata specification of the respective KPI. The calculation is performed for each KPI independently based on the performance information 36 of the filtered metadata blocks 24, i.e. the metadata blocks 24 according to the metadata specification of the respective KPI. Each KPI is therefore based on an individual set of metadata blocks 24 and the respective processing data 36.

In 4 ist ein Datenfluss zur Berechnung der KPIs dargestellt. Die bereitgestellten Protokollierungsdaten, die die Protokollierungsdatenströme 22 umfassen, werden als aufgezeichnete Daten bezeichnet. In Übereinstimmung mit 3 wird eine Metadatenextraktion durchgeführt, um die gesamten Metadaten 26 für jeden Metadatenblock 24 zu erhalten, die wiederum als Intervalle bezeichnet werden. Die Metadatenblöcke 24 mit den jeweiligen Metadaten 26 werden zusammen mit den Verarbeitungsdaten 36 verarbeitet, um die KPIs zu berechnen.In 4 a data flow for the calculation of the KPIs is shown. The logging data provided, comprising the logging data streams 22, is referred to as recorded data. In accordance with 3 metadata extraction is performed to obtain the total metadata 26 for each metadata block 24, which in turn are referred to as intervals. The metadata blocks 24 with the respective metadata 26 are processed together with the processing data 36 in order to calculate the KPIs.

Die Validierung erfordert eine Referenz, anhand derer das zu testende System 10 validiert wird. Daher wird, wie in 4 zu sehen ist, aus den aufgezeichneten Protokollierungsdaten auf der Grundlage von Referenzsensoren die Bodenwahrheit (ground truth) extrahiert. Die Bodenwahrheit wird als Referenz für die Validierung des zu testenden Systems 10 verwendet, die durch die in den jeweiligen Datenprotokollierungsdatenströmen 22 enthaltenen Sensordaten repräsentiert wird. Die Validierung basiert auf verschiedenen KPIs, die auf der Grundlage der Informationen der Datenprotokollierungsblöcke 24 berechnet werden, die anhand der Metadatenattribute 28 gefiltert wurden.The validation requires a reference against which the system 10 to be tested is validated. Therefore, as in 4 is seen extracting ground truth from recorded logging data based on reference sensors. The ground truth is used as a reference for the validation of the system under test 10, which is represented by the sensor data contained in the respective data logging data streams 22. The validation is based on various KPIs that are calculated based on the data logging blocks 24 information that has been filtered based on the metadata attributes 28 .

Im Einzelnen kann die Berechnung der KPIs z. B. auf einer Rate korrekt identifizierter Drittfahrzeuge, einer Rate falscher Identifizierungen von Motorrädern oder anderen basieren, wie nachstehend mit Bezug auf 5 erläutert wird.In detail, the calculation of the KPIs e.g. B. be based on a rate of correctly identified third party vehicles, a rate of misidentification of motorcycles or others, as below with reference to 5 is explained.

5 zeigt ein Beispiel für eine Berechnung bestimmter KPI-Ergebnisse. 5 zeigt vier aufeinander folgende Metadatenblöcke 24. Eine Aggregationsregel aggregiert drei der Metadatenblöcke 24 auf der Grundlage ihrer Metadatenattribute 28, die für einen KPI für Falsch-Negative relevant sind. Diese Metadatenblöcke 24 sind die Metadatenblöcke 24 mit den IDs IMD002, IMD003 und IMD004. Die jeweilige Aggregationsregel steht im Zusammenhang mit der Definition des Falsch-Negativ-KPIs - z. B. wenn das zu testende System 10 nicht initialisiert ist, werden keine KPIs berechnet. Zwei der Metadatenblöcke 24 enthalten ein falsch-negatives Ergebnis, wie aus den Verarbeitungsinformationen 36 hervorgeht. 5 shows an example of a calculation of certain KPI results. 5 Figure 12 shows four consecutive metadata blocks 24. An aggregation rule aggregates three of the metadata blocks 24 based on their metadata attributes 28 relevant to a false negative KPI. These metadata blocks 24 are the metadata blocks 24 with the IDs IMD002, IMD003 and IMD004. The respective aggregation rule is related to the definition of the false negative KPI - e.g. B. if the system under test 10 is not initialized, no KPIs are calculated. Two of the metadata blocks 24 contain a false-negative result, as can be seen from the processing information 36 .

Auf dieser Grundlage kann der KPI auf folgende Weise berechnet werden. Die Anzahl der falsch positiven Ergebnisse wird für alle aggregierten Metadatenblöcke 24 ermittelt, d. h. für drei Metadatenblöcke 24, die in diesem Fall eine Gesamtzeit von 15 Sekunden abdecken und die beiden falsch negativen Ergebnisse einschließen. Es ergibt sich eine Falsch-Negativ-Rate (FNR) von FNR = 2/15 = 0,13 falsch-negative Ergebnisse pro Sekunde. Darüber hinaus kann auf der Grundlage der Metadatenattribute 28, die den Metadatenblöcken 24 zugeordnet sind, eine FNR in der Stadt als FNR_Stadt = 1/10 = 0,1 pro Sekunde berechnet werden, da das Metadatenattribut Straßenart = Stadt zwei der Metadatenblöcke 24 zugeordnet ist, die gefiltert und zur Berechnung des jeweiligen KPIs verwendet werden. In der Summe über die beiden gefilterten Metadatenblöcke 24 für „Stadt“ wird ein Falsch-Negativ identifiziert. Darüber hinaus können mögliche Kombinationen von Metadatenattributen 28 zur Berechnung von KPIs für bestimmte Bedingungen verwendet werden.Based on this, the KPI can be calculated in the following way. The number of false positives is determined for all aggregated metadata blocks 24, i. H. for three metadata blocks 24 covering in this case a total time of 15 seconds and enclosing the two false negatives. The resulting false negative rate (FNR) is FNR = 2/15 = 0.13 false negatives per second. In addition, based on the metadata attributes 28 associated with the metadata blocks 24, an FNR in the city can be calculated as FNR_City = 1/10 = 0.1 per second because the metadata attribute road type = city is associated with two of the metadata blocks 24, which are filtered and used to calculate the respective KPI. A false negative is identified in the sum of the two filtered metadata blocks 24 for “city”. In addition, possible combinations of metadata attributes 28 can be used to calculate KPIs for certain conditions.

Da die Leistungsinformationen 36 für alle Metadatenblöcke 24 bereits verfügbar sind und die Metadatenattribute 28 eine Beziehung zwischen den KPIs und den Metadaten 26 gemäß den Metadatenblöcken 24 angeben, kann die Aggregation von Informationen zur Bestimmung bestimmter KPIs einfach und effizient durchgeführt werden.Because the performance information 36 is already available for all metadata blocks 24 and the metadata attributes 28 indicate a relationship between the KPIs and the metadata 26 according to the metadata blocks 24, the aggregation of information to determine particular KPIs can be performed easily and efficiently.

Schritt S180 betrifft das Überwachen der Verarbeitung des mindestens einen Protokollierungsdatenstroms 22 zur Ermittlung weiterer Leistungsinformationen 36. Der Schritt wird fortlaufend durchgeführt, um zu erkennen, wann zusätzliche verarbeitete Protokollierungsdaten verfügbar sind. Dies betrifft zusätzliche Protokollierungsdatenströme 22, die zur Validierung des zu testenden Systems 10 bereitgestellt werden, z. B. bei Verfügbarkeit. Dies betrifft auch die Überwachung, wann die Verarbeitung eines bereits bereitgestellten Protokollierungsdatenstroms 22 zur Bereitstellung der entsprechenden Leistungsinformationen 36 abgeschlossen ist. Im Allgemeinen bieten die Metadatenblöcke 24 eine Granularität der gesamten KPI-Berechnung, so dass, je mehr Leistungsinformationen 36 verfügbar und mit den Metadatenblöcken 24 verknüpft sind, desto mehr KPIs berechnet werden können oder die KPIs mit einer höheren Zuverlässigkeit auf der Grundlage einer größeren Menge zugrunde liegender Protokollierungsdaten berechnet werden können.Step S180 relates to monitoring the processing of the at least one logging data stream 22 to determine further performance information 36. The step is performed continuously to detect when additional processed logging data is available. This applies to additional logging data streams 22 that are provided to validate the system under test 10, e.g. B. upon availability. This also relates to the monitoring of when the processing of a logging data stream 22 that has already been provided has been completed in order to provide the corresponding performance information 36 . In general, the metadata blocks 24 provide granularity to the overall KPI calculation such that the more performance information 36 is available and associated with the metadata blocks 24, the more KPIs can be calculated or the KPIs can be calculated with greater confidence based on a larger set lying logging data can be calculated.

Schritt S190 betrifft das Filtern der ermittelten weiteren Leistungsinformationen 36 für mindestens einen KPI auf der Grundlage einer Metadatenspezifikation des jeweiligen KPIs. Schritt S190 wird in Übereinstimmung mit Schritt S160 wie oben beschrieben durchgeführt.Step S190 relates to the filtering of the determined additional performance information 36 for at least one KPI on the basis of a metadata specification of the respective KPI. Step S190 is performed in accordance with step S160 as described above.

Schritt S200 betrifft das Aktualisieren der Berechnung des mindestens einen KPIs auf der Grundlage gefilterter weiterer Leistungsinformationen 36 für die Metadatenspezifikation der jeweiligen KPI bei Verfügbarkeit der gefilterten weiteren Leistungsinformationen 36.Step S200 relates to updating the calculation of the at least one KPI on the basis of filtered further performance information 36 for the metadata specification of the respective KPI when the filtered further performance information 36 is available.

Somit wird der mindestens eine KPI bei Verfügbarkeit weiterer verarbeiteter Protokollierungsdatenströme 22 mit der Metadatenspezifikation des jeweiligen KPIs aktualisiert. Somit kann die Neuberechnung für jeden KPI gestartet werden, wenn Schritt S180 anzeigt, dass zusätzliche Leistungsinformationen 36 zur Berechnung des jeweiligen KPIs verfügbar sind. Die Aktualisierung kann für jeden KPI einzeln durchgeführt werden.The at least one KPI is thus updated with the metadata specification of the respective KPI if further processed logging data streams 22 are available. Thus, the recalculation for each KPI can be started when step S180 indicates that additional performance information 36 is available for calculation of the respective KPI. The update can be carried out individually for each KPI.

Das Aktualisieren der Berechnung der KPIs umfasst die Bestimmung eines Abdeckungsgrads des jeweiligen KPIs auf der Grundlage einer aktuellen Verarbeitung der Protokollierungsdatenströme 22.Updating the calculation of the KPIs includes determining a degree of coverage of the respective KPI based on current processing of the logging streams 22.

BezugszeichenlisteReference List

1010
Ego-Fahrzeug, zu testendes SystemEgo vehicle, system to be tested
1212
Fahrunterstützungssystemdriving support system
1414
Umgebungssensor, SensorEnvironment sensor, sensor
1616
Verarbeitungseinheitprocessing unit
1818
Datenverbindung, interner DatenbusData connection, internal data bus
2020
UmgebungVicinity
2222
Protokollierungsdatenstromlogging stream
2424
Metadatenblockmetadata block
2626
Metadatenmetadata
2828
Metadaten-Attributmetadata attribute
3030
PfeilArrow
3434
PfeilArrow
3636
Leistungsinformationenperformance information

Claims (10)

Verfahren zur Durchführung einer Systemvalidierung eines zu testenden Systems (10), das ein Fahrunterstützungssystem (12) eines Fahrzeugs (10) umfasst, das mit mehreren Sensoren (14) ausgestattet ist, mit den folgenden Schritten Bereitstellen mindestens eines Protokollierungsdatenstroms (22) von dem zu testenden System (10) einschließlich Sensordaten von den mehreren Sensoren (14), Zuordnen von Metadaten (26) zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom (22), Verarbeiten jedes bereitgestellten Protokollierungsdatenstroms (22), um Leistungsinformationen (36) einer Systemausgabe des zu testenden Systems (10) im Vergleich zu einer Systemausgabe des Referenzsystems als Grundlage für die Berechnung von KPIs, die eine Leistung des zu testenden Systems (10) angeben, zu bestimmen, Filtern der ermittelten Leistungsinformationen (36) für mindestens einen KPI auf der Grundlage einer Metadatenspezifikation des jeweiligen KPIs, und Berechnen des mindestens einen KPI über die gefilterten Leistungsinformationen (36) für die Metadatenspezifikation des jeweiligen KPls.Method for performing a system validation of a system (10) to be tested, comprising a driving support system (12) of a vehicle (10) equipped with a plurality of sensors (14), with the following steps providing at least one logging data stream (22) from the system under test (10) including sensor data from the plurality of sensors (14), Assigning metadata (26) to the provided at least one logging data stream (22), Process each logging data stream (22) provided to provide performance information (36) of a system output of the system under test (10) compared to a system output of the reference system as a basis for calculating KPIs indicative of a performance of the system under test (10). determine, filtering the determined performance information (36) for at least one KPI on the basis of a metadata specification of the respective KPI, and Calculating the at least one KPI via the filtered performance information (36) for the metadata specification of the respective KPI. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt des Zuordnens logisch getrennter Metadatenblöcke (24) zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom (22) mit Sätzen von Metadatenattributen (28), die auf jeden der Metadatenblöcke (24) anwendbar sind, umfasst.procedure after claim 1 , characterized in that the method comprises an additional step of associating logically separate metadata blocks (24) with the provided at least one logging data stream (22) with sets of metadata attributes (28) applicable to each of the metadata blocks (24). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt der Identifizierung eines Änderungszeitpunkts in einem Metadatenattribut (28) des bereitgestellten mindestens einen Protokollierungsdatenstroms (22) umfasst, und der Schritt des Zuordnens von logisch getrennten Metadatenblöcken (24) zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom (22) das Starten eines neuen Metadatenblocks (24) zum Änderungszeitpunkt in dem Metadatenattribut (28) des bereitgestellten Protokollierungsdatenstroms (22) umfasst.procedure after claim 2 , characterized in that the method comprises an additional step of identifying a change time in a metadata attribute (28) of the provided at least one logging data stream (22), and the step of assigning logically separate metadata blocks (24) to the provided at least one logging data stream (22) starting a new one Includes metadata blocks (24) at the time of change in the metadata attribute (28) of the provided logging data stream (22). Verfahren nach einem der vorangehenden Ansprüche 2 oder 3, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt des Identifizierens eines Änderungszeitpunkts in mindestens einem Aggregationsregelattribut einer Aggregationsregel zur Berechnung des mindestens einen KPIs umfasst, und der Schritt des Zuordnens von logisch getrennten Metadatenblöcken (24) zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom (22) das Starten eines neuen Metadatenblocks (24) zum Änderungszeitpunkt des mindestens einen Aggregationsregelattributs der Aggregationsregel zur Berechnung des mindestens einen KPIs umfasst.Method according to any of the foregoing claims 2 or 3 , characterized in that the method comprises an additional step of identifying a change time in at least one aggregation rule attribute of an aggregation rule for calculating the at least one KPI, and the step of assigning logically separate metadata blocks (24) to the at least one logging data stream (22) provided Starting a new metadata block (24) at the time the at least one aggregation rule attribute of the aggregation rule is changed to calculate the at least one KPI. Verfahren nach einem der vorangehenden Ansprüche 2 bis 4, dadurch gekennzeichnet, dass der Schritt des Zuordnens logisch getrennter Metadatenblöcke (24) zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom (22) das Starten eines neuen Metadatenblocks (24) nach einer vordefinierten Metadatenblockdauer umfasst.Method according to any of the foregoing claims 2 until 4 , characterized in that the step of allocating logically separate metadata blocks (24) to the provided at least one logging data stream (22) comprises starting a new metadata block (24) after a predefined metadata block duration. Verfahren nach einem der vorangehenden Ansprüche 2 bis 5, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt der Bestimmung von Block-Metadaten für die Metadatenblöcke (24) und der Zuordnung der Block-Metadaten zu den jeweiligen Metadatenblöcken (24) umfasst.Method according to any of the foregoing claims 2 until 5 , characterized in that the method comprises an additional step of determining block metadata for the metadata blocks (24) and assigning the block metadata to the respective metadata blocks (24). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Zuordnens von Metadaten zu dem bereitgestellten mindestens einen Protokollierungsdatenstrom (22) das Hinzufügen von Verarbeitungsmetadaten der Verarbeitung des bereitgestellten mindestens einen Protokollierungsdatenstroms (22) umfasst.Method according to one of the preceding claims, characterized in that the step of assigning metadata to the provided at least one logging data stream (22) comprises adding processing metadata of the processing of the provided at least one logging data stream (22). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren die folgenden zusätzlichen Schritte umfasst zum Überwachen der Verarbeitung des mindestens einen Protokollierungsdatenstroms (22) zur Ermittlung weiterer Leistungsinformationen (36), Filtern der ermittelten weiteren Leistungsinformationen (36) für mindestens einen KPI auf Basis einer Metadatenspezifikation des jeweiligen KPIs, und Aktualisieren der Berechnung des mindestens einen KPIs auf der Grundlage der gefilterten weiteren Leistungsinformationen (36) für die Metadatenspezifikation des jeweiligen KPIs bei Verfügbarkeit der gefilterten weiteren Leistungsinformationen (36).Method according to one of the preceding claims, characterized in that the method comprises the following additional steps for monitoring the processing of the at least one logging data stream (22) to determine further performance information (36), filtering the determined further performance information (36) for at least one KPI Based on a metadata specification of the respective KPI, and updating the calculation of the at least one KPI based on the filtered further performance information (36) for the metadata specification of the respective KPI when the filtered further performance information (36) is available. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schritte des Berechnens des mindestens einen KPIs und/oder des Bestimmens einer Abdeckung des mindestens einen KPIs auf einer aktuellen Verarbeitung des mindestens einen Protokollierungsdatenstroms (22) basieren.Method according to one of the preceding claims, characterized in that the steps of calculating the at least one KPI and/or determining a coverage of the at least one KPI are based on current processing of the at least one logging data stream (22). Validierungssystem zur Durchführung einer Systemvalidierung eines zu testenden Systems (10), das ein Fahrunterstützungssystem (12) eines Fahrzeugs (10) umfasst, das mit mehreren Sensoren (14) ausgestattet ist, wobei das Validierungssystem ausgeführt ist, das Verfahren nach einem der obigen Ansprüche 1 bis 9 durchzuführen.Validation system for performing a system validation of a system (10) to be tested, which comprises a driving support system (12) of a vehicle (10) equipped with a plurality of sensors (14), the validation system being implemented using the method according to one of the above Claims 1 until 9 to perform.
DE102021125001.3A 2021-09-28 2021-09-28 Statistical system validation of driving support systems Pending DE102021125001A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021125001.3A DE102021125001A1 (en) 2021-09-28 2021-09-28 Statistical system validation of driving support systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021125001.3A DE102021125001A1 (en) 2021-09-28 2021-09-28 Statistical system validation of driving support systems

Publications (1)

Publication Number Publication Date
DE102021125001A1 true DE102021125001A1 (en) 2023-03-30

Family

ID=85476927

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021125001.3A Pending DE102021125001A1 (en) 2021-09-28 2021-09-28 Statistical system validation of driving support systems

Country Status (1)

Country Link
DE (1) DE102021125001A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019114378A1 (en) 2018-08-22 2020-02-27 GM Global Technology Operations LLC METHOD AND SYSTEM FOR PREDICTING THE SYSTEM STATUS
US20200394534A1 (en) 2019-06-14 2020-12-17 Sap Se Multi task oriented recommendation system for benchmark improvement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019114378A1 (en) 2018-08-22 2020-02-27 GM Global Technology Operations LLC METHOD AND SYSTEM FOR PREDICTING THE SYSTEM STATUS
US20200394534A1 (en) 2019-06-14 2020-12-17 Sap Se Multi task oriented recommendation system for benchmark improvement

Similar Documents

Publication Publication Date Title
EP3365741B1 (en) Method for fully automatic guidance of a vehicle system and corresponding motor vehicle
EP2149132B1 (en) Method and a device for identifying traffic-relevant information
DE102017217297B4 (en) System for generating and / or updating a digital model of a digital map
DE112018003474T5 (en) System and method for detecting bullying of autonomous vehicles while driving
DE102016220913A1 (en) Method and device for generating test cases for autonomous vehicles
DE102016210534A1 (en) Method for classifying an environment of a vehicle
DE102016119502A1 (en) Categorization of vehicles in the vicinity of a motor vehicle
DE102016003969A1 (en) Method for acquiring environmental data by means of several motor vehicles
DE102020108531A1 (en) Procedure for identifying potential danger spots
WO2020048669A1 (en) Method for determining a lane change indication of a vehicle, computer-readable storage medium, and vehicle
DE102020117340A1 (en) A method for capturing the surroundings with at least two independent imaging sensors for capturing the surroundings, a device for carrying out the method, a vehicle and a correspondingly designed computer program
EP3968213A1 (en) Method for determining a track-bound railway track in a track system and device for carrying out this method
DE102020206128A1 (en) Method for controlling a fleet-based condition monitoring of a road section of a road network as well as associated system and motor vehicle and associated server device
DE102020113611A1 (en) Method and safety system for securing an automated vehicle function and motor vehicle
DE102019001092A1 (en) Method for operating a driver assistance system, as well as electronic computing device, computer program product and data carrier
DE102021125001A1 (en) Statistical system validation of driving support systems
EP3688737A1 (en) Method and device
DE102014204933A1 (en) Method and device for generating a segmentation layer
DE102021201978A1 (en) COLLECTING SENSOR DATA FROM VEHICLES
DE102020215885A1 (en) PROCEDURE AND SYSTEM FOR DETECTING AND MITIGATION OF INTERFERENCE
DE102021000792A1 (en) Method for operating a vehicle
DE102016009199B4 (en) Method for operating a data acquisition unit for recording at least one control event of a control device of a motor vehicle as well as a data acquisition unit and a data processing unit
DE102018125880A1 (en) System, method and computer-readable memory for (online) monitoring the operation of at least one vehicle
DE102021131868A1 (en) Reliability check of an object classification
DE102020210510A1 (en) Method and device for generating a data index based on raw data from a driver assistance system of a motor vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified