DE102021125498A1

DE102021125498A1 - System validation with improved handling of logging data

Info

Publication number: DE102021125498A1
Application number: DE102021125498.1A
Authority: DE
Inventors: Tomas Kletecka; Marian Jonis; Andrej Varchola; Petr Krejci; Marek Pavelka; Ondrej Kaspar
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2021-10-01
Filing date: 2021-10-01
Publication date: 2023-04-06

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Durchführen einer Systemvalidierung eines zu testenden Systems (10), das ein Fahrunterstützungssystem (12) eines Fahrzeugs (10) umfasst, das mit mehreren Sensoren (14, 16, 18) ausgestattet ist, wobei die Systemvalidierung auf Protokollierungsdaten basiert, die Sensorinformationen von den mehreren Sensoren (14, 16, 18) enthalten. Die vorliegende Erfindung betrifft auch ein Datenverwaltungssystem (28) zum Verwalten von Protokollierungsdaten, die für die Systemvalidierung eines zu testenden Systems (10) verwendet werden, insbesondere mit einem Fahrunterstützungssystem (12) eines Fahrzeugs (10), das mit mehreren Sensoren (14, 16, 18) ausgestattet ist, wobei das Datenverwaltungssystem (28) ausgeführt ist, das obige Verfahren durchzuführen.The present invention relates to a method for performing a system validation of a system (10) to be tested, which comprises a driving support system (12) of a vehicle (10) equipped with a plurality of sensors (14, 16, 18), the system validation being based on logging data based, containing sensor information from the plurality of sensors (14, 16, 18). The present invention also relates to a data management system (28) for managing logging data that is used for system validation of a system (10) to be tested, in particular with a driving support system (12) of a vehicle (10) that is equipped with a plurality of sensors (14, 16 , 18), the data management system (28) being designed to carry out the above method.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Durchführen einer Systemvalidierung eines zu testenden Systems, das ein Fahrunterstützungssystem eines Fahrzeugs umfasst, das mit mehreren Sensoren ausgestattet ist, wobei die Systemvalidierung auf Protokollierungsdaten basiert, die Sensorinformationen von den mehreren Sensoren enthalten.The present invention relates to a method for performing system validation of a system under test comprising a driving support system of a vehicle equipped with a plurality of sensors, the system validation being based on logging data containing sensor information from the plurality of sensors.

Die vorliegende Erfindung betrifft auch ein Datenverwaltungssystem zum Verwalten von Protokollierungsdaten, die für die Systemvalidierung eines zu testenden Systems verwendet werden, insbesondere mit einem Fahrunterstützungssystem eines Fahrzeugs, das mit mehreren Sensoren ausgestattet ist, wobei das Datenverwaltungssystem ausgeführt ist, das obige Verfahren durchzuführen.The present invention also relates to a data management system for managing logging data used for the system validation of a system under test, in particular with a driving support system of a vehicle equipped with a number of sensors, the data management system being designed to carry out the above method.

Die Systemvalidierung erfordert eine gewisse Variation der Protokollierungsdaten, wie sie durch ein statistisches Modell und/oder Interessengruppen definiert ist. Die Entwicklung und Leistungsbewertung eines mobilen zu testenden Systems, d.h. eines Fahrunterstützungssystems oder eines autonom fahrenden Fahrzeugs, beruht auf der Erzeugung von Datensätzen, die die vom zu testenden System im Betrieb gesammelten Protokollierungsdaten umfassen.System validation requires some variation in logging data as defined by a statistical model and/or stakeholders. The development and performance evaluation of a mobile system under test, i.e. a driving support system or an autonomously driving vehicle, relies on the generation of data sets comprising the logging data collected by the system under test during operation.

Die Protokollierungsdaten können durch Metadaten kategorisiert werden, wie z.B. Ort, Wetter, Straßentyp, Verkehrsbedingungen, Fahrsituationen und andere. Die Metadaten können für verschiedene Zwecke verwendet werden, z. B. zur Bewertung eines Kampagnenstatus, zur Suche nach Umgebungsbedingungen, zur Suche nach Bedingungen von Verkehrsszenarien und zur Bewertung der Systemleistung. Solche Metadaten werden in der Regel zusätzlich zu den Protokollierungsdaten bereitgestellt.The logging data can be categorized by metadata such as location, weather, road type, traffic conditions, driving situations, and others. The metadata can be used for various purposes, e.g. B. to evaluate a campaign status, to search for environmental conditions, to search for conditions of traffic scenarios and to evaluate system performance. Such metadata is typically provided in addition to the logging data.

Die Datenprotokollierung erfolgt in einer Datenprotokollierungskampagne nach definierten Testszenarien, die verschiedene Kombinationen von Metadaten umfassen. Eines der Ziele der Systemvalidierung ist es, sicherzustellen, dass alle erforderlichen Kombinationen von Protokollierungsdaten in ausreichendem Maße gesammelt werden, z. B. deckt das Fahrzeug, das bei Regen auf der Autobahn überholt wird, drei verschiedene Bedingungen gleichzeitig ab, nämlich das Überholmanöver, das Fahren auf der Autobahn und das Fahren bei Regen.Data logging is done in a data logging campaign according to defined test scenarios that include different combinations of metadata. One of the goals of system validation is to ensure that all required combinations of logging data are collected to a sufficient extent, e.g. B. the vehicle being overtaken on the highway in the rain covers three different conditions at the same time, namely the overtaking manoeuvre, driving on the highway and driving in the rain.

Die Datenprotokollierungskampagne umfasst in der Regel mehrere einzelne Protokollierungsfahrten, z. B. Touren mit dem zu testenden System. Die Datenprotokollierung betrifft die Generierung von Protokollierungsdaten, die z.B. Sensordaten und/oder Ausgabedaten des mobilen zu testenden Systems und interne Daten, wie sie während des Betriebs erzeugt werden, und/oder Referenzdaten, die z.B. von Referenzsensoren am zu testenden System bereitgestellt werden. Dazu können auch Debuggingdaten gehören, die lediglich zur Systemvalidierung erzeugt werden. Die Sensordaten werden insbesondere von Umgebungssensoren bereitgestellt, die Sensorinformationen in Bezug auf eine Umgebung des zu testenden Systems liefern. Verschiedene Arten von Umgebungssensoren können allein oder in beliebiger Kombination und in beliebiger Anzahl und Anordnung am zu testenden System eingesetzt werden, darunter insbesondere optische Kameras, LiDAR-basierte Umgebungssensoren, Radarsensoren, Ultraschallsensoren, um nur einige der derzeit gängigsten Arten von Umgebungssensoren zu nennen. Darüber hinaus können zusätzliche Sensorinformationen aus dem zu testenden System einbezogen werden, z.B. Odometriedaten, insbesondere wenn es sich um autonom fahrende Fahrzeuge handelt. Die Ausgabedaten können jede Art von Ausgabe umfassen, die von dem zu testenden System erzeugt wird, einschließlich Ausgaben über eine Benutzerschnittstelle des zu testenden Systems und/oder eine vom zu testenden System ausgelöste Operation, z. B. das Entriegeln von Türen, das automatische Einschalten von Lichtern oder andere.The data logging campaign typically includes multiple individual logging trips, e.g. B. Tours with the system to be tested. Data logging relates to the generation of logging data, e.g. sensor data and/or output data of the mobile system under test and internal data as generated during operation, and/or reference data provided e.g. by reference sensors on the system under test. This can also include debugging data that is only generated for system validation. In particular, the sensor data are provided by environment sensors, which provide sensor information relating to an environment of the system under test. Various types of environmental sensors can be used alone or in any combination and in any number and arrangement on the system under test, including in particular optical cameras, LiDAR-based environmental sensors, radar sensors, ultrasonic sensors, to name just a few of the currently most common types of environmental sensors. In addition, additional sensor information from the system under test can be included, e.g. odometry data, especially when it comes to autonomous vehicles. The output data may include any type of output generated by the system under test, including outputs via a user interface of the system under test and/or an operation initiated by the system under test, e.g. B. unlocking doors, turning on lights automatically or others.

Die Protokollierungsdaten des zu testenden Systems können mit einer speziellen Protokollierungsausrüstung gesammelt werden, die mit dem zu testenden System verbunden ist, insbesondere über einen Protokollierungs- oder Debugging-Anschluss.The logging data of the system under test can be collected with special logging equipment connected to the system under test, in particular via a logging or debugging port.

Die gesammelten Protokollierungsdaten können mit Annotationen versehen werden, um Informationen über den tatsächlichen Zustand des Systems zu erhalten. Die Annotation kann manuell durchgeführt werden, wobei ein menschlicher Annotierer alle Aufgaben übernimmt. Alternativ kann sie auch automatisch erfolgen, wobei einige typischerweise komplexe Algorithmen zum Einsatz kommen. Darüber hinaus sind auch Kombinationen aus menschlichen und automatischen Annotationen bekannt. Die Annotation und Verarbeitung der Protokollierungsdaten erfordert in der Regel mehrere Datentransfers und Offline-Datenverarbeitungsschritte, oft auch an verschiedenen entfernten Standorten. Solche Annotationsdaten werden zusätzlich zu den Protokollierungsdaten bereitgestellt.The collected logging data can be annotated to provide information about the actual state of the system. Annotation can be done manually, with a human annotator doing all the work. Alternatively, it can be done automatically, using some typically complex algorithms. In addition, combinations of human and automatic annotations are also known. Annotation and processing of logging data typically requires multiple data transfers and offline data processing steps, often at different remote locations. Such annotation data is provided in addition to the logging data.

Insgesamt kann die Datenprotokollierung je nach dem zu testenden System und der Anzahl und Art der Sensoren des zu testenden Systems mehrere Gigabit an Daten pro Sekunde liefern.Overall, data logging can provide several gigabits of data per second depending on the system under test and the number and type of sensors in the system under test.

Der Validierungsprozess erfordert auch die Überwachung des Status der Datenverarbeitung auf der Ebene der einzelnen Verarbeitungskomponenten. Da die Menge der verarbeiteten Daten z.B. bei der Validierung von ADAS-Systemen typischerweise sehr groß ist, ist eine Parallelisierung der Berechnungen unumgänglich. Die Verteilung der Berechnungsaufgaben auf mehrere Verarbeitungseinheiten erfordert eine Datenverwaltungsstruktur, die eine automatisierte Verteilung der Datenverarbeitung auf mehrere Berechnungseinheiten ermöglicht. ADAS betrifft „fortgeschrittene Fahrerassistenzsysteme“ („advanced driver assistance systems“), die mehrere Funktionalitäten zur Unterstützung eines menschlichen Fahrers eines Fahrzeugs kombinieren können.The validation process also requires monitoring the status of data processing the level of the individual processing components. Since the amount of data processed is typically very large, for example in the validation of ADAS systems, it is essential to run the calculations in parallel. The distribution of the calculation tasks over several processing units requires a data management structure that enables an automated distribution of the data processing over several calculation units. ADAS refers to "advanced driver assistance systems" that can combine multiple functionalities to assist a human driver of a vehicle.

In diesem Zusammenhang beschreibt das Dokument US 2020 0202376 A1 ein System zur Durchführung von Operationen, das von einem Zwischengerät Daten empfängt, die von einem Endpunktknoten stammen. Die Daten können mit Metadaten verknüpft sein, die von der Zwischenvorrichtung mit den Daten verknüpft wurden. Die Operationen können auch das Extrahieren eines oder mehrerer Elemente aus den Metadaten umfassen. Die Vorgänge können die Validierung einer Aktivität des Zwischengeräts auf der Grundlage des einen Elements oder der mehreren Elemente, die aus den Metadaten extrahiert wurden, umfassen.In this regard, the document describes U.S. 2020 0202376 A1 a system for performing operations that receives data originating from an endpoint node from an intermediate device. The data may be associated with metadata associated with the data by the intermediary device. The operations may also include extracting one or more items from the metadata. The operations may include validating an activity of the intermediate device based on the one or more items extracted from the metadata.

Das Dokument US 2020 0364953 A1 betrifft die Verwaltung von Daten autonomer Fahrzeuge. Dies umfasst a.) das Sammeln der Daten des autonomen Fahrzeugs von dem autonomen Fahrzeug, wobei die Daten des autonomen Fahrzeugs eine Größe von mindestens 1 Terabyte haben; b.) das Verarbeiten der Daten des autonomen Fahrzeugs, um Metadaten zu erzeugen, die den Daten des autonomen Fahrzeugs entsprechen, wobei die Daten des autonomen Fahrzeugs in einer Datenbank gespeichert sind; c.) Verwenden mindestens eines Teils der Metadaten, um eine Teilmenge der autonomen Fahrzeugdaten aus der Datenbank abzurufen, wobei die Teilmenge der autonomen Fahrzeugdaten eine geringere Größe als die autonomen Fahrzeugdaten hat; und d.) Speichern oder Übertragen der Teilmenge der autonomen Fahrzeugdaten. Eine ähnliche Lehre ist dem Dokument KR 2021 0072824 A zu entnehmen.The document U.S. 2020 0364953 A1 relates to the management of data from autonomous vehicles. This includes a.) collecting the autonomous vehicle data from the autonomous vehicle, the autonomous vehicle data having a size of at least 1 terabyte; b.) processing the autonomous vehicle data to generate metadata corresponding to the autonomous vehicle data, the autonomous vehicle data being stored in a database; c.) using at least a portion of the metadata to retrieve a subset of the autonomous vehicle data from the database, the subset of the autonomous vehicle data having a smaller size than the autonomous vehicle data; and d.) storing or transmitting the subset of autonomous vehicle data. A similar teaching is the document KR 2021 0072824 A refer to.

Es ist ein Gegenstand der vorliegenden Erfindung, ein Verfahren zur Durchführung einer Systemvalidierung eines zu testenden Systems und ein Datenverwaltungssystem, das zur Durchführung des obigen Verfahrens ausgeführt ist, bereitzustellen, die es ermöglichen, reproduzierbare Validierungsergebnisse auf der Grundlage der bereitgestellten Protokollierungsdaten bei konsistenter Handhabung der Protokollierungsdaten zu erzeugen.It is an object of the present invention to provide a method for performing a system validation of a system to be tested and a data management system designed to perform the above method, which allow reproducible validation results based on the logging data provided with consistent handling of the logging data to create.

Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen angegeben.This object is solved by the independent claims. Advantageous embodiments are specified in the dependent claims.

Insbesondere stellt die vorliegende Erfindung ein Verfahren bereit zum Durchführen einer Systemvalidierung eines zu testenden Systems, das ein Fahrunterstützungssystem eines Fahrzeugs umfasst, das mit mehreren Sensoren ausgestattet ist, wobei die Systemvalidierung auf Protokollierungsdaten basiert, die Sensorinformationen von den mehreren Sensoren enthalten, umfassend die Schritte Empfangen mindestens eines Protokollierungsdatenstroms von dem zu testenden System, der Sensordaten von den mehreren Sensoren enthält, Definieren einer Master-Pipeline für den mindestens einen Protokollierungsdatenstrom mit einem initialen Master-Pipeline-Versionsbezeichner, Definieren mindestens einer Essenz-Pipeline, die den mindestens einen Protokollierungsdatenstrom enthält, Hinzufügen mindestens eines Knotens mit Verarbeitungsdaten, die auf der Verarbeitung des mindestens einen Protokollierungsdatenstroms basieren, und/oder mit Zusatzdaten, die sich auf den mindestens einen Protokolldatenstrom beziehen, zu der Master-Pipeline als initiale Version des mindestens einen Knotens mit einem initialen Knotenversionsbezeichner und dem initialen Master-Pipeline-Versionsbezeichner, Hinzufügen des mindestens einen Knotens mit dem initialen Knotenversionsbezeichner und dem anfänglichen Master-Pipeline-Versionsbezeichner zu der Essenz-Pipeline, die den jeweiligen mindestens einen Protokollierungsdatenstrom enthält, wobei das Verfahren die zusätzlichen Schritte umfasst zum Bereitstellen mindestens eines aktualisierten Knotens mit aktualisierten Verarbeitungsdaten und/oder mit Zusatzdaten mit einem inkrementierten Knotenversionsbezeichner, Erzeugen einer inkrementierten Version der Master-Pipeline mit einem inkrementierten Master-Pipeline-Versionsbezeichner, wobei die inkrementierte Version der Master-Pipeline den mindestens einen aktualisierten Knoten mit den aktualisierten Verarbeitungsdaten und/oder den Zusatzdaten zusammen mit einer Kopie der verbleibenden Knoten der Verarbeitungsdaten und/oder der Zusatzdaten einer vorherigen Version der Master-Pipeline, die nicht aktualisiert wurden, enthält, Zuordnen des inkrementierten Master-Pipeline-Versionsbezeichners zu jedem Knoten der inkrementierten Version der Master-Pipeline, und Hinzufügen des mindestens einen aktualisierten Knotens mit den aktualisierten Verarbeitungsdaten und/oder den Zusatzdaten mit dem inkrementierten Knotenversionsbezeichner zu der jeweiligen Essenz-Pipeline.In particular, the present invention provides a method for performing system validation of a system under test comprising a driving support system of a vehicle equipped with a plurality of sensors, the system validation being based on logging data containing sensor information from the plurality of sensors, comprising the steps of receiving at least one logging data stream from the system under test that contains sensor data from the multiple sensors, defining a master pipeline for the at least one logging data stream with an initial master pipeline version identifier, defining at least one essence pipeline that contains the at least one logging data stream, Adding at least one node with processing data based on the processing of the at least one logging data stream and/or with additional data relating to the at least one logging data stream to the master pipeline as an initial version of the at least one node with an initial node version identifier and the initial master pipeline version identifier, adding the at least one node with the initial node version identifier and the initial master pipeline version identifier to the essence pipeline containing the respective at least one logging stream, the method comprising the additional steps of providing at least one updated node with updated processing data and/or with additional data with an incremented node version identifier, generating an incremented version of the master pipeline with an incremented master pipeline version identifier, wherein the incremented version of the master pipeline contains the at least one updated node with the updated processing data and/or or the ancillary data along with a copy of the remaining nodes of the processing data and/or the ancillary data of a previous version of the master pipeline that were not updated, associating the incremented master pipeline version identifier with each node of the incremented version of the master pipeline , and adding the at least one updated node with the updated processing data and/or the additional data with the incremented node version identifier to the respective essence pipeline.

Die vorliegende Erfindung stellt auch ein Datenverwaltungssystem bereit zum Verwalten von Protokollierungsdaten, die für die Systemvalidierung eines zu testenden Systems verwendet werden, insbesondere mit einem Fahrunterstützungssystem eines Fahrzeugs, das mit mehreren Sensoren ausgestattet ist, wobei das Datenverwaltungssystem ausgeführt ist, das obige Verfahren durchzuführen.The present invention also provides a data management system for managing logging data used for system validation of a system under test in particular with a driving support system of a vehicle equipped with a number of sensors, the data management system being designed to carry out the above method.

Die grundlegende Idee der Erfindung besteht darin, die Master-Pipeline und die Essenz-Pipeline zu nutzen, um relevante Daten eindeutig zu identifizieren. Dies schließt ein, dass die relevanten Daten auch dann identifiziert werden können, wenn unterschiedliche Versionen existieren, die für die Systemvalidierung benötigt werden. Jede Version bildet eine Grundlage für Validierungsergebnisse, so dass der gesamte Validierungsprozess auf Basis der Master-Pipeline überwacht und sogar nachverfolgt werden kann. Die Essenz-Pipeline dient als eine Art Container für die Aufnahme der Daten, die sich auf die Essenz beziehen, d.h. die Protokollierungsdaten, die als jeweiliger Protokollierungsdatenstrom bereitgestellt werden, und die Daten, die sich auf diese Protokollierungsdaten beziehen oder auf diesen Protokollierungsdaten basieren. Daher werden alle Daten, die mit diesem Protokollierungsdatenstrom zusammenhängen, in der jeweiligen Essenz-Pipeline kombiniert. Auf Basis der Master-Pipeline kann jedoch nach Bedarf einfach und schnell auf die Daten zugegriffen werden, z. B. zur Verarbeitung des jeweiligen Protokollierungsdatenstroms und insbesondere zur Berechnung von KPls.The basic idea of the invention is to use the master pipeline and the essence pipeline to uniquely identify relevant data. This includes that the relevant data can be identified even if different versions exist that are required for system validation. Each version forms a basis for validation results, so that the entire validation process can be monitored and even tracked based on the master pipeline. The essence pipeline serves as a kind of container for holding the data related to the essence, i.e. the logging data provided as a respective logging stream and the data related to or based on this logging data. Therefore, all data related to this logging stream is combined in the respective Essence pipeline. Based on the master pipeline, however, the data can be accessed easily and quickly as required, e.g. B. to process the respective logging data stream and in particular to calculate KPIs.

So kann z.B. eine Weiterverarbeitung über SiL (Software in the Loop), HiL (Hardware in the Loop) oder andere sowie die Generierung eines KPI-Reports für verschiedene Versionen der Daten durchgeführt werden. Basierend auf der Master-Pipeline kann klar definiert werden, welche Versionen von welchem Knoten für eine bestimmte Verarbeitung verwendet werden sollen.For example, further processing via SiL (Software in the Loop), HiL (Hardware in the Loop) or others as well as the generation of a KPI report for different versions of the data can be carried out. Based on the master pipeline, it can be clearly defined which versions of which node should be used for a specific processing.

Jeder Protokollierungsdatenstrom betrifft einen Strom von Protokollierungsdaten, die von dem zu testenden System gesammelt wurden. Jeder Protokollierungsdatenstrom umfasst typischerweise mehrere einzelne Ströme, z. B. einzelne Ströme für jeden der Sensoren, insbesondere einen Strom von einer Kamera, von einem LiDAR, von einem GPS-Empfänger oder anderen, sowie Referenzdaten, die mit Referenzsensoren gesammelt wurden, Debuggingdaten von dem zu testenden System usw. Diese einzelnen, parallelen Ströme bilden den Protokollierungsdatenstrom. Jeder der einzelnen Ströme kann jedoch innerhalb des Protokollierungsdatenstroms unterbrochen werden, z. B. im Falle einer Fehlfunktion des jeweiligen Sensors.Each logging data stream relates to a stream of logging data collected from the system under test. Each logging stream typically includes multiple individual streams, e.g. B. Individual streams for each of the sensors, in particular a stream from a camera, from a LiDAR, from a GPS receiver or other, as well as reference data collected with reference sensors, debugging data from the system under test, etc. These individual, parallel streams form the logging data stream. However, each of the individual streams can be interrupted within the logging data stream, e.g. B. in the event of a malfunction of the respective sensor.

Die Master-Pipeline definiert eine Gruppe von Knoten, die Wurzeln der Verarbeitung darstellen, d. h. eine Gruppe von Knoten, die zusammen eine bestimmte Datenversion definieren. Jede Wurzel entspricht einem Knoten der jeweiligen Essenz-Pipeline und definiert sowohl eine Knotenversion als auch eine Version der Master-Pipeline. Die Master-Pipeline umfasst alle Knoten, die logisch gekoppelt sind. Sobald sich die Version der Master-Pipeline aufgrund einer Aktualisierung eines oder mehrerer Knoten ändert, wird der Master-Pipeline-Versionsbezeichner aller Knoten geändert. Wenn eine aktualisierte Version eines Knotens bereitgestellt wird, wird die Version der Master-Pipeline inkrementiert, und die verbleibenden Knoten werden kopiert, und die inkrementierte Version Master-Pipeline wird diesen Knoten zugewiesen, so dass ein konsistenter Datensatz bereitgestellt wird. Die Master-Pipeline bildet zusammen mit der mindestens einen Essenz-Pipeline die logische Grundlage für alle Datenoperationen, die während des Systemvalidierungsprozesses durchgeführt werden.The master pipeline defines a set of nodes that represent processing roots; H. a group of nodes that together define a specific version of data. Each root corresponds to a node of the respective essence pipeline and defines both a node version and a version of the master pipeline. The master pipeline includes all nodes that are logically coupled. As soon as the version of the master pipeline changes due to an update of one or more nodes, the master pipeline version identifier of all nodes is changed. When an updated version of a node is deployed, the version of the master pipeline is incremented and the remaining nodes are copied and the incremented version master pipeline is assigned to those nodes so that a consistent set of data is deployed. The master pipeline, together with the at least one essence pipeline, forms the logical basis for all data operations performed during the system validation process.

Jeder Knoten ist ein atomarer Bestandteil der Master-Pipeline und der Essenz-Pipeline. Er repräsentiert einen bestimmten Teil der Daten, der Teil des Protokollierungsdatenstroms sein kann, Verarbeitungsdaten, die auf der Verarbeitung des mindestens einen Protokollierungsdatenstroms basieren, und/oder Zusatzdaten, die sich auf den mindestens einen Protokollierungsdatenstrom beziehen. Die Verarbeitungsdaten können durch Verarbeitung des gesamten Inhalts des Protokollierungsdatenstroms oder nur eines oder mehrerer der einzelnen Ströme, die Teil des Protokollierungsdatenstroms sind, wie oben beschrieben, gewonnen werden. In ähnlicher Weise können sich auch die Zusatzdaten auf den gesamten Inhalt des Protokollierungsdatenstroms oder nur auf einen oder mehrere der einzelnen Ströme beziehen, die Teil des Protokollierungsdatenstroms sind. Der Protokollierungsdatenstrom bildet auch einen Knoten der Essenz-Pipeline. Die Knoten der Master-Pipeline können auch als Wurzelknoten bezeichnet werden.Each node is an atomic part of the master pipeline and the essence pipeline. It represents a specific piece of data that may be part of the logging data stream, processing data that is based on the processing of the at least one logging data stream, and/or additional data that relates to the at least one logging data stream. The processing data may be obtained by processing the entire content of the logging data stream or just one or more of the individual streams that are part of the logging data stream, as described above. Similarly, the additional data can also relate to the entire content of the logging data stream or only to one or more of the individual streams that are part of the logging data stream. The logging stream also forms a node of the essence pipeline. The nodes of the master pipeline can also be referred to as root nodes.

In der Regel besteht jede Essenz-Pipeline aus einem einzigen Protokollierungsdatenstrom. In einigen Fällen kann eine Essenz-Pipeline jedoch mehr als einen Protokollierungsdatenstrom umfassen, insbesondere wenn die Protokollierungsdatenströme miteinander verbunden sind, z.B. wenn die Protokollierungsdatenströme während einer einzigen Protokollierungsfahrt gesammelt wurden.Typically, each essence pipeline consists of a single logging stream. In some cases, however, an essence pipeline may include more than one logging stream, particularly when the logging streams are connected, e.g. when the logging streams were collected during a single logging trip.

Jeder Knoten enthält seine Knotenversionsnummer. Eine Aktualisierung der Daten des jeweiligen Knotens führt zu einer Inkrementierung der Knotenversionsnummer, so dass alle Knoten eindeutig identifiziert und angesprochen werden können.Each node contains its node version number. Updating the data of the respective node leads to an increment of the node version number, so that all nodes can be uniquely identified and addressed.

Das Datenverwaltungssystem wird typischerweise als Cloud-Service für die Durchführung der Datenverwaltung bereitgestellt. Dementsprechend kann das Datenverwaltungssystem mit einer an einem einzigen Standort bereitgestellten Hardware oder als verteilte Hardware bereitgestellt werden. Das Datenverwaltungssystem umfasst einen Datenspeicher zur Speicherung des mindestens einen Protokollierungsdatenstroms sowie der Verarbeitungsdaten und/oder der Zusatzdaten. Weiterhin kann das Datenmanagementsystem Verarbeitungsmittel zur Verarbeitung des mindestens einen Protokollierungsdatenstroms umfassen, um die Verarbeitungsdaten zu erzeugen und bereitzustellen. Außerdem können die Zusatzdaten, die sich auf den mindestens einen Protokollierungsdatenstrom beziehen, ebenfalls mit Hilfe des Datenverwaltungssystems erzeugt und/oder hinzugefügt werden. The data management system is typically provided as a cloud service for performing data management. Accordingly, the data management system can be provided with hardware at a single location ware or distributed hardware. The data management system includes a data memory for storing the at least one logging data stream and the processing data and/or the additional data. Furthermore, the data management system can include processing means for processing the at least one logging data stream in order to generate and provide the processing data. In addition, the additional data relating to the at least one logging data stream can also be generated and/or added using the data management system.

Der Protokollierungsdatenstrom kann von dem zu testenden System über eine Datenverbindung oder durch Übertragung von einem Massenspeicher, der an einen Ort des Datenmanagementsystems versandt wurde, erhalten werden.The logging data stream may be obtained from the system under test via a data link or by transmission from a mass storage device shipped to a data management system location.

Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Hinzufügen mindestens eines Knotens mit Verarbeitungsdaten, die auf der Verarbeitung des mindestens einen Protokollierungsdatenstroms basieren, und/oder zusätzlichen Daten, die sich auf den mindestens einen Protokollierungsdatenstrom beziehen, zu der Master-Pipeline als initiale Version des mindestens einen Knotens mit einem initialen Knotenversionsbezeichner das Aufteilen des empfangenen mindestens einen Protokollierungsdatenstroms in mehrere Datensplits und das Hinzufügen eines Knotens für jeden der Datensplits zu der Master-Pipeline, wobei jeder Knoten der Datensplits eine Split-Kennung zur Identifizierung des Datensplits in dem jeweiligen Protokollierungsdatenstrom enthält. Die Datensplits bilden eine Grundlage für die parallele Weiterverarbeitung des mindestens einen Protokollierungsdatenstroms. Jeder der Datensplits enthält eine begrenzte Datenmenge. Der mindestens eine Protokollierungsdatenstrom ist vorzugsweise in lückenlose und überlappungsfreie Datensplits aufgeteilt, so dass die Datensplits zu dem jeweiligen Protokollierungsdatenstrom zusammengefügt werden können. Die Split-Kennung ermöglicht eine Identifizierung jedes der Datensplits. Vorzugsweise wird die Split-Kennung von einem Datensplit zu einem nachfolgenden Datensplit auf der Grundlage von Positionen im jeweiligen Protokollierungsdatenstrom inkrementiert. Die Datensplits sind vorzugsweise durch eine Zeitdauer definiert. Somit deckt jeder Datensplit ein bestimmtes Zeitintervall des jeweiligen Protokollierungsdatenstroms ab. Vorzugsweise wird eine regelmäßige Aufteilung mit einer festen Dauer der Datensplits durchgeführt. In einer alternativen Ausführungsform können verschiedene Regeln für die Erzeugung der Datensplits angewandt werden, z. B. auf der Grundlage einer Datengröße der Datensplits, spezifischer Zähler, die auf den jeweiligen Protokollierungsdatenstrom angewandt werden, oder der Erfüllung einer logischen Bedingung für ein bestimmtes Ereignis im Protokollierungsdatenstrom. Auf der Grundlage der Datensplits kann jede an der Systemvalidierung beteiligte Aufgabe für jeden der Datensplits separat durchgeführt werden, wodurch die Skalierbarkeit der weiteren Datenverarbeitung während des Systemvalidierungsprozesses gewährleistet wird.According to a modified embodiment of the invention, adding at least one node with processing data based on the processing of the at least one logging data stream and/or additional data relating to the at least one logging data stream to the master pipeline as an initial version of the at least a node with an initial node version identifier, splitting the received at least one logging data stream into a plurality of data splits and adding a node for each of the data splits to the master pipeline, each node of the data splits containing a split identifier for identifying the data split in the respective logging data stream. The data splits form a basis for the parallel further processing of the at least one logging data stream. Each of the data splits contains a limited amount of data. The at least one logging data stream is preferably divided into gapless and non-overlapping data splits, so that the data splits can be combined to form the respective logging data stream. The split identifier allows each of the data splits to be identified. Preferably, the split identifier is incremented from one data split to a subsequent data split based on positions in the respective logging data stream. The data splits are preferably defined by a period of time. Thus, each data split covers a specific time interval of the respective logging data stream. A regular division with a fixed duration of the data splits is preferably carried out. In an alternative embodiment, different rules for generating the data splits can be applied, e.g. based on a data size of the data splits, specific counters applied to the particular logging stream, or the satisfaction of a logical condition for a particular event in the logging stream. Based on the data splits, each task involved in the system validation can be performed separately for each of the data splits, ensuring the scalability of further data processing during the system validation process.

Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Hinzufügen mindestens eines Knotens mit Verarbeitungsdaten, die auf der Verarbeitung des mindestens einen Protokollierungsdatenstroms basieren, das Hinzufügen mindestens eines Knotens mit Split-Verarbeitungsdaten, die auf der Verarbeitung eines Knotens mit einem jeweiligen Datensplit basieren, zur Master-Pipeline, wobei jeder Knoten der Split-Verarbeitungsdaten den Split-Bezeichner des Knotens des verarbeiteten Datensplits enthält. Somit ermöglicht die Verarbeitung auf der Grundlage der Datensplits die Erzeugung von Verarbeitungsdaten in einer ähnlichen Splitstruktur wie die Datensplits des zumindest einen Protokollierungsdatenstroms. Dadurch können auch die gesplitteten Verarbeitungsdaten je nach Bedarf einfach gehandhabt und weiterverarbeitet werden. Anhand der Split-Kennung können auch die gesplitteten Verarbeitungsdaten leicht identifiziert werden, z. B. für die weitere Verarbeitung, und enthalten eine begrenzte Datenmenge. Insbesondere können auch die Split-Verarbeitungsdaten parallel weiterverarbeitet werden.According to a modified embodiment of the invention adding at least one node with processing data based on the processing of the at least one logging data stream comprises adding at least one node with split processing data based on the processing of a node with a respective data split to the master Pipeline where each split processing data node contains the split identifier of the processed data split node. Thus, processing based on the data splits enables processing data to be generated in a similar split structure as the data splits of the at least one logging data stream. As a result, the split processing data can also be easily handled and further processed as required. The split identifier can also be used to easily identify the split processing data, e.g. B. for further processing, and contain a limited amount of data. In particular, the split processing data can also be further processed in parallel.

Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Hinzufügen mindestens eines Knotens mit zusätzlichen Daten, die sich auf den mindestens einen Protokollierungsdatenstrom beziehen, das Hinzufügen mindestens eines Knotens mit Split-Zusatzdaten, die sich auf einen Knoten mit einem Datensplit des mindestens einen Protokollierungsdatenstroms beziehen, zu der Master-Pipeline, wobei jeder Knoten der aufgeteilten Zusatzdaten die Split-Kennung des Knotens des jeweiligen Datensplits enthält. Somit kann auch jede Art von Zusatzdaten zur Master-Pipeline hinzugefügt und in einer ähnlichen Split-Struktur wie die Datensplits des mindestens einen Protokollierungsdatenstroms behandelt werden. Somit können auch die gesplitteten Zusatzdaten einfach gehandhabt und nach Bedarf weiterverarbeitet werden. Anhand der Split-Kennung können auch die gesplitteten Zusatzdaten leicht identifiziert werden, z. B. für die weitere Verarbeitung, und sie enthalten eine begrenzte Datenmenge. Insbesondere können auch die gesplitteten Zusatzdaten parallel weiterverarbeitet werden. Die Zusatzdaten können beispielsweise Metadaten oder Annotationsdaten umfassen.According to a modified embodiment of the invention, adding at least one node with additional data related to the at least one logging data stream includes adding at least one node with split additional data related to a node with a data split of the at least one logging data stream of the master pipeline, with each node of the split ancillary data containing the split identifier of the node of the respective data split. Any type of additional data can thus also be added to the master pipeline and treated in a split structure similar to the data splits of the at least one logging data stream. This means that the split additional data can also be easily handled and further processed as required. The split identifier can also be used to easily identify the split additional data, e.g. B. for further processing and they contain a limited amount of data. In particular, the split additional data can also be further processed in parallel. The additional data can include metadata or annotation data, for example.

Gemäß einer abgewandelten Ausführungsform der Erfindung umfasst das Hinzufügen mindestens eines Knotens mit Verarbeitungsdaten, die auf der Verarbeitung des mindestens einen Protokollierungsdatenstroms basieren, und/oder Zusatzdaten, die sich auf den mindestens einen Protokollierungsdatenstrom beziehen, zu der Master-Pipeline als initiale Version des mindestens einen Knotens mit einem anfänglichen Knotenversionsbezeichner mindestens einen der folgenden Schritte zum Hinzufügen mindestens eines Knotens mit umgewandelten Daten als eine Umwandlung mindestens eines Teils des mindestens einen Protokollierungsdatenstroms, Hinzufügen mindestens eines Knotens mit Metadaten, die sich auf den mindestens einen Protokollierungsdatenstrom beziehen, Hinzufügen mindestens eines Knotens mit Annotationsinformationen, die sich auf den mindestens einen Protokollierungsdatenstrom beziehen, und Hinzufügen mindestens eines Knotens mit einem KPI-Ergebnis, das auf der Grundlage des bereitgestellten mindestens einen Protokollierungsdatenstroms gemäß einer KPI-Berechnungsregel berechnet wurde. Dementsprechend können mehrere Arten von Verarbeitungsdaten oder Zusatzdaten zur Master-Pipeline hinzugefügt werden. Die KPI-Ergebnisse hängen von der Verarbeitung der empfangenen Protokollierungsdaten ab, z. B. zusammen mit Annotationsdaten und Metadaten.According to a modified embodiment of the invention, the addition includes at least at least one node with processing data based on the processing of the at least one logging data stream and/or additional data relating to the at least one logging data stream to the master pipeline as an initial version of the at least one node with an initial node version identifier of at least one of the following Steps of adding at least one node with transformed data as a transformation of at least a part of the at least one logging stream, adding at least one node with metadata related to the at least one logging stream, adding at least one node with annotation information related to the at least one logging stream obtain, and adding at least one node with a KPI score calculated based on the provided at least one logging stream according to a KPI calculation rule. Accordingly, multiple types of processing data or ancillary data can be added to the master pipeline. The KPI results depend on the processing of the received logging data, e.g. B. together with annotation data and metadata.

Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Hinzufügen mindestens eines Knotens mit Verarbeitungsdaten, die auf der Verarbeitung des mindestens einen Protokollierungsdatenstroms basieren, und/oder Zusatzdaten, die sich auf den mindestens einen Protokollierungsdatenstrom beziehen, das Hinzufügen mindestens einer Pipeline mit mehreren Knoten. Somit kann die gesamte Pipeline aus der Sicht der Master-Pipeline als ein einziger Knoten behandelt werden, was die Handhabung der Daten erleichtert. Außerdem bietet die Pipeline eine hohe Flexibilität. Die Pipeline ist eine Gruppe von Knoten, die zusammengehören. Jeder Knoten kann eine beliebige Art von Knoten sein, wie oben beschrieben. Die oben für die Master-Pipeline erläuterten Grundsätze gelten für jede Pipeline. Jede Pipeline kann vollständig als ein Knoten behandelt werden, und die Pipeline verarbeitet ihre Knoten entsprechend inkrementell. Daher umfasst die Pipeline als Ganzes eine Pipeline-Version, wobei alle Knoten der Pipeline individuelle Knotenversionen haben können. Die Version der Pipeline wird auf der Grundlage einer Aggregation der Versionen aller enthaltenen Knoten definiert.According to a modified embodiment of the invention, adding at least one node with processing data based on the processing of the at least one logging stream and/or ancillary data related to the at least one logging stream comprises adding at least one pipeline with multiple nodes. Thus, from the point of view of the master pipeline, the entire pipeline can be treated as a single node, which makes data handling easier. The pipeline also offers a high degree of flexibility. The pipeline is a group of nodes that belong together. Each node can be any type of node as described above. The principles explained above for the master pipeline apply to any pipeline. Each pipeline can be treated entirely as a node, and the pipeline incrementally processes its nodes accordingly. Therefore, the pipeline as a whole comprises a pipeline version, where all nodes of the pipeline can have individual node versions. The version of the pipeline is defined based on an aggregation of the versions of all contained nodes.

Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt des Zuordnens eines Zustands zu jedem Knoten, wobei den Knoten der Master-Pipeline mit dem höchsten Inkrement ein aktiver Zustand zugeordnet wird und den Knoten der Master-Pipeline, die nicht das höchste Inkrement aufweisen, ein geschlossener Zustand zugeordnet wird. Zusätzlich kann den Knoten im Falle eines Fehlers, z. B. während des Einlesens von Protokolldaten oder während der Verarbeitung von Daten, ein Fehlerzustand zugeordnet werden. Der aktive Zustand zeigt sofort an, dass sich der Knoten auf eine aktuelle Version der Daten bezieht. Wenn sich die Version eines oder mehrerer Knoten der Master-Pipeline ändert, wird die Version der Master-Pipeline inkrementiert, und der Zustand aller zuvor aktiven Knoten der vorherigen Master-Pipeline wird auf geschlossen geändert. Auf eine ältere Version der Master-Pipeline und die entsprechenden Knoten kann jedoch anhand der jeweiligen Versionsnummer zugegriffen werden. Die Änderung des Zustands von aktiv zu geschlossen kann beinhalten, dass der jeweilige Knoten an einem anderen Ort gespeichert wird und dass aktive Knoten an einem Ort gespeichert werden, auf den leicht und schnell zugegriffen werden kann.According to a modified embodiment of the invention, the method comprises an additional step of assigning a state to each node, wherein the master pipeline nodes with the highest increment are assigned an active state and the master pipeline nodes not having the highest increment are assigned an active state , a closed state is assigned. In addition, in the event of an error, e.g. B. while reading log data or while processing data, an error condition can be assigned. The active state immediately indicates that the node refers to a current version of the data. When the version of one or more nodes of the master pipeline changes, the version of the master pipeline is incremented and the state of all previously active nodes of the previous master pipeline is changed to closed. However, an older version of the master pipeline and its corresponding nodes can be accessed by its version number. Changing the state from active to closed may involve storing the respective node in a different location and storing active nodes in a location that can be easily and quickly accessed.

Gemäß einer abgewandelten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt des Zuordnens einer Markierung zu mindestens einer Version der Master-Pipeline, wobei die Markierung zu allen Knoten der jeweiligen Version der Master-Pipeline hinzugefügt wird. Die Markierungen sind Schnellzugriffe zu bestimmten Pipeline-Versionen. Daher wird allen Knoten, die dieselbe Master-Pipeline-Version haben, dieselbe Markierung zugewiesen. Die Markierung wird z. B. verwendet, um eine menschliche Interaktion mit dem System zu erleichtern. Die Markierungen können z.B. verwendet werden, um wichtige Versionen der Master-Pipeline zu kennzeichnen, z.B. mit bemerkenswerten Validierungsergebnissen, Versionen der Master-Pipeline mit Verarbeitungsfehlern oder die noch nicht endgültig verarbeitet wurden, oder andere.According to a modified embodiment of the invention, the method comprises an additional step of associating a marker with at least one version of the master pipeline, the marker being added to all nodes of the respective version of the master pipeline. The markers are shortcuts to specific pipeline versions. Therefore, all nodes that have the same master pipeline version are assigned the same marker. The mark is z. B. used to facilitate human interaction with the system. For example, the markers can be used to mark important versions of the master pipeline, e.g. with notable validation results, versions of the master pipeline with processing errors or that have not yet been finally processed, or others.

Die oben in Bezug auf das erfindungsgemäße Verfahren beschriebenen Merkmale und Vorteile gelten gleichermaßen für das erfindungsgemäße Datenmanagementsystem und umgekehrt.The features and advantages described above in relation to the method according to the invention apply equally to the data management system according to the invention and vice versa.

Die Verfahrensschritte werden lediglich beispielhaft in der oben angegebenen Reihenfolge erörtert, ohne dass dies für die Durchführung des erfindungsgemäßen Verfahrens von Bedeutung ist. Offensichtlich können die Verfahrensschritte in jeder geeigneten Reihenfolge durchgeführt werden.The method steps are only discussed as examples in the order given above, without this being of importance for the implementation of the method according to the invention. Obviously, the process steps can be performed in any suitable order.

Diese und andere Aspekte der Erfindung werden aus den nachfolgend beschriebenen Ausführungsbeispielen ersichtlich und erläutert. Einzelne Merkmale, die in den Ausführungsformen offenbart sind, können allein oder in Kombination einen Aspekt der vorliegenden Erfindung darstellen. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform in eine andere Ausführungsform überführt werden.These and other aspects of the invention will be apparent and explained in the exemplary embodiments described below. Individual features disclosed in the embodiments may represent an aspect of the present invention alone or in combination. Features of the various embodiments may be carried over from one embodiment to another embodiment.

In der Zeichnung:

1 zeigt eine schematische Ansicht eines Ego-Fahrzeugs als zu testendes System mit einem zu validierenden Fahrunterstützungssystem und einer Datenprotokollierungsvorrichtung innerhalb des Ego-Fahrzeugs gemäß einer ersten, bevorzugten Ausführungsform,
2 zeigt eine schematische Ansicht eines Datenverwaltungssystems gemäß der ersten Ausführungsform,
3 zeigt eine schematische Ansicht einer initialen Essenz-Pipeline, die einen Protokollierungsdatenstrom zusammen mit mehreren Datenknoten von Verarbeitungsdaten und Zusatzdaten mit initialen Knotenversionsbezeichnern umfasst,
4 zeigt eine schematische Ansicht einer anfänglichen Master-Pipeline mit einem anfänglichen Master-Pipeline-Versionsbezeichner, die initiale Knoten von Verarbeitungsdaten und Zusatzdaten mit den anfänglichen Knotenversionsbezeichnern umfasst,
5 zeigt ein Flussdiagramm der Aktualisierung einer Master-Pipeline beim Hinzufügen eines Knotens mit Annotationsdaten, wobei der hinzugefügte Knoten außerdem zu der Essenz-Pipeline in dem Datenverwaltungssystem hinzugefügt wird,
6 zeigt eine schematische Ansicht der Essenz-Pipeline mit aktualisierten Knoten der Verarbeitungsdaten und/oder der Zusatzdaten,
7 zeigt eine schematische Ansicht einer aktualisierten Master-Pipeline mit einem inkrementierten Master-Pipeline-Versionsbezeichner, der die aktualisierten Knoten der Verarbeitungsdaten und/oder der Zusatzdaten zusammen mit den Knoten der Verarbeitungsdaten und/oder der Zusatzdaten einer vorherigen Version der Master-Pipeline, die nicht aktualisiert wurde, umfasst,
8 zeigt ein Flussdiagramm des Aktualisierens eines KPI-Ergebnisknotens auf der Grundlage eines aktualisierten Knotens von Annotationsdaten, des Aktualisierens der Master-Pipeline und des Hinzufügens des Knotens zu der Essenz-Pipeline in dem Datenverwaltungssystem aus 2, und
9 zeigt ein Flussdiagramm eines Verfahrens zur Durchführung einer Systemvalidierung eines zu testenden Systems in Übereinstimmung mit der ersten Ausführungsform.

In the drawing:

1 shows a schematic view of an ego vehicle as a system to be tested with a driving support system to be validated and a data logging device within the ego vehicle according to a first preferred embodiment,
2 shows a schematic view of a data management system according to the first embodiment,
3 shows a schematic view of an initial essence pipeline comprising a logging data stream along with multiple data nodes of processing data and ancillary data with initial node version identifiers,
4 shows a schematic view of an initial master pipeline with an initial master pipeline version identifier comprising initial nodes of processing data and ancillary data with the initial node version identifiers,
5 shows a flowchart of updating a master pipeline when adding a node with annotation data, the added node is also added to the essence pipeline in the data management system,
6 shows a schematic view of the essence pipeline with updated nodes of the processing data and/or the additional data,
7 shows a schematic view of an updated master pipeline with an incremented master pipeline version identifier that identifies the updated processing data and/or ancillary data nodes together with the processing data and/or ancillary data nodes of a previous version of the master pipeline that is not has been updated, includes
8th Figure 12 shows a flowchart of updating a KPI result node based on an updated node of annotation data, updating the master pipeline, and adding the node to the essence pipeline in the data management system 2 , and
9 FIG. 12 shows a flowchart of a method for performing system validation of a system under test in accordance with the first embodiment.

1 zeigt ein mobiles zu testendes System 10, d. h. ein Fahrzeug mit einem Fahrunterstützungssystem 12, das eine bestimmte Form der Fahrunterstützung bereitstellt. In dieser Ausführungsform betrifft das zu testende System 10 das gesamte Fahrzeug. Bei dem zu testenden System 10 kann es sich um eine beliebige Art von Fahrzeug handeln, z. B. um einen Pkw oder einen Lkw, der von einem menschlichen Fahrer oder autonom gefahren werden kann. 1 FIG. 1 shows a mobile system 10 under test, ie a vehicle with a driving support system 12 that provides a certain form of driving support. In this embodiment, the system under test 10 affects the entire vehicle. The system under test 10 can be any type of vehicle, e.g. B. a car or a truck that can be driven by a human driver or autonomously.

Das Fahrunterstützungssystem 12 umfasst in dieser Ausführungsform eine Reihe von Umgebungssensoren 14, 16, 18 zur Überwachung einer Umgebung 20 des mobilen zu testenden Systems 10. Die Umgebungssensoren 14, 16, 18 umfassen einen LiDAR-basierten Umgebungssensor 14, eine optische Kamera 16 und mehrere Ultraschallsensoren 18. Die Umgebungssensoren 14, 16, 18 erfassen die Umgebung 20 des zu testenden Systems 10. Die Umgebungssensoren 14, 16, 18 erzeugen Sensorinformationen, die aus Rohdaten oder vorverarbeiteten Daten bestehen können.In this embodiment, the driving support system 12 includes a number of environment sensors 14, 16, 18 for monitoring an environment 20 of the mobile system under test 10. The environment sensors 14, 16, 18 include a LiDAR-based environment sensor 14, an optical camera 16 and a plurality of ultrasonic sensors 18. The environment sensors 14, 16, 18 capture the environment 20 of the system under test 10. The environment sensors 14, 16, 18 generate sensor information, which can consist of raw data or pre-processed data.

Das zu testendes System 10 ist mit weiteren Sensoren ausgestattet, die in 2 nicht einzeln dargestellt sind. Wenn jedoch von den Umgebungssensoren 14, 16, 18 und den Sensordaten die Rede ist, sind alle Umgebungssensoren 14, 16, 18 und die Sensordaten aller Umgebungssensoren 14, 16, 18 umfasst.The system under test 10 is equipped with additional sensors that are 2 are not shown individually. However, when the area sensors 14, 16, 18 and the sensor data are discussed, all area sensors 14, 16, 18 and the sensor data of all area sensors 14, 16, 18 are included.

Das zu testende System 10 der ersten Ausführungsform umfasst ferner eine Verarbeitungseinheit 22 und eine Datenverbindung 24, welche die Umgebungssensoren 14, 16, 18 und die Verarbeitungseinheit 22 miteinander verbindet. Bei der Verarbeitungseinheit 22 kann es sich um jede Art von Verarbeitungseinheit 22 handeln, die für den Einsatz im zu testenden System 10 geeignet ist. Solche Verarbeitungseinheiten 22 sind typischerweise als ECU (elektronisches Steuergerät, electronic control unit) im Automobilbereich bekannt. Die Verarbeitungseinheit 22 kann zur gemeinsamen Durchführung mehrerer Aufgaben oder Anwendungen genutzt werden. Die Verarbeitungseinheit 22 verarbeitet die von den Umgebungssensoren 14, 16, 18 bereitgestellten Sensorinformationen.The system under test 10 of the first embodiment further comprises a processing unit 22 and a data connection 24 which connects the environmental sensors 14, 16, 18 and the processing unit 22 to one another. The processing unit 22 can be any type of processing unit 22 suitable for use in the system 10 under test. Such processing units 22 are typically known as ECUs (electronic control units) in the automotive field. The processing unit 22 can be used to perform multiple tasks or applications together. The processing unit 22 processes the sensor information provided by the environmental sensors 14, 16, 18.

Die Datenverbindung 24 kann eine dedizierte Verbindung zwischen den Umgebungssensoren 14, 16, 18 und der Verarbeitungseinheit 22 oder ein Datenbus sein. Darüber hinaus kann die Datenverbindung 24 eine gemeinsam genutzte Datenverbindung 24 sein, die von verschiedenen Arten von Geräten des zu testenden Systems 10 genutzt wird, z. B. ein Mehrzweck-Datenbus. Die Datenverbindung 24 kann z. B. als CAN-Bus, LIN-Bus oder andere implementiert sein.The data connection 24 can be a dedicated connection between the environmental sensors 14, 16, 18 and the processing unit 22 or a data bus. Additionally, the data link 24 may be a shared data link 24 used by different types of devices of the system under test 10, e.g. B. a general purpose data bus. The data connection 24 can e.g. B. be implemented as a CAN bus, LIN bus or others.

Obwohl in 2 eine einzige Datenverbindung 24 dargestellt ist, können mehrere Verbindungen oder Datenbusse parallel zum Anschluss der Umgebungssensoren 14, 16, 18 an die Verarbeitungseinheit 22 vorgesehen sein, die zusammen als Datenverbindung 24 betrachtet werden. Über die Datenverbindung 24 werden die Sensorinformationen der Umgebungssensoren 14, 16, 18 an die Verarbeitungseinheit 22 übertragen. Ebenso können, obwohl in 2 eine einzelne Verarbeitungseinheit 22 dargestellt ist, mehrere Verarbeitungseinheiten 22 parallel zur Verarbeitung der Sensorinformationen der Umgebungssensoren 14, 16, 18 in beliebiger Weise vorgesehen sein.Although in 2 a single data connection 24 is shown, multiple connections or data buses can be connected in parallel to connect the environmental sensors 14, 16, 18 to the processing processing unit 22 may be provided, which are considered together as a data connection 24. The sensor information from the environmental sensors 14 , 16 , 18 is transmitted to the processing unit 22 via the data connection 24 . Likewise, although in 2 a single processing unit 22 is shown, multiple processing units 22 can be provided in parallel for processing the sensor information from the environmental sensors 14, 16, 18 in any way.

Jede Implementierung des zu testenden Systems 10 ist mit einer Datenprotokollierungsvorrichtung 26 ausgestattet, die auch in 1 zu sehen ist. Die Datenprotokollierungsvorrichtung 26 ist über ein Kabel mit einer entsprechenden Schnittstelle des zu testenden Systems 10, insbesondere der Verarbeitungseinheit 22, verbunden, so dass die Datenprotokollierungsvorrichtung 26 über die Verarbeitungseinheit 22 Protokollierungsdaten von dem zu testenden System 10 empfangen kann.Each implementation of the system under test 10 is equipped with a data logging device 26, which is also shown in 1 you can see. The data logging device 26 is connected via a cable to a corresponding interface of the system 10 under test, in particular the processing unit 22 , so that the data logging device 26 can receive logging data from the system 10 under test via the processing unit 22 .

Die vorliegende Erfindung sieht ferner ein Datenverwaltungssystem 28 zur Verwaltung von Protokollierungsdaten vor, das zur Systemvalidierung des zu testenden Systems 10 verwendet wird. Das Datenverwaltungssystem 28 wird als Cloud-Dienst zur Durchführung der Datenverwaltung bereitgestellt. Das Datenverwaltungssystem 28 umfasst einen Datenspeicher 30 und Verarbeitungsmittel 32 zur Datenverarbeitung. Das Datenverwaltungssystem 28 ist ausgeführt, das Verfahren zur Durchführung der Systemvalidierung wie unten beschrieben durchzuführen.The present invention further provides a data management system 28 for managing logging data used for system validation of the system 10 under test. The data management system 28 is provided as a cloud service for performing data management. The data management system 28 includes a data memory 30 and processing means 32 for data processing. The data management system 28 is designed to carry out the method for performing the system validation as described below.

Nachfolgend wird ein Verfahren zur Durchführung der Systemvalidierung beschrieben, das in 9 dargestellt ist. Das Verfahren wird für das zu testende System aus 1 unter Verwendung des Datenverwaltungssystems 28 aus 2 durchgeführt. Das Verfahren wird mit zusätzlichem Bezug auf die 3 bis 8 beschrieben.A procedure for performing the system validation is described below, which is 9 is shown. The procedure is made for the system under test 1 using the data management system 28 2 carried out. The method is with additional reference to the 3 until 8th described.

Das Verfahren beginnt mit Schritt S100, der sich auf das Empfangen mindestens eines Protokollierungsdatenstroms 34 von dem zu testenden System 10 bezieht, der Sensordaten von den mehreren Sensoren 14, 16, 18 enthält. Der mindestens eine Protokollierungsdatenstrom 34 wird mit der Datenprotokollierungsvorrichtung 26 gesammelt.The method begins with step S100, which relates to receiving at least one logging data stream 34 from the system under test 10 containing sensor data from the plurality of sensors 14,16,18. The at least one logging data stream 34 is collected with the data logging device 26 .

Ein einzelner Datenprotokollierungsdatenstrom 34 umfasst mehrere einzelne, parallele Ströme, z.B. einzelne Ströme für jeden der Sensoren 14, 16, 18, insbesondere einen Strom von dem LiDAR-basierten Umgebungssensor 14, einen Strom von der optischen Kamera 16 und einen Strom von den Ultraschallsensoren 18. Allerdings kann jeder der Ultraschallsensoren 18 einen eigenen Datenstrom liefern. Weitere Ströme können von einem GPS-Empfänger bereitgestellt werden, ein Referenz-Strom mit Referenzdaten, die mit Referenzsensoren gesammelt wurden, ein Strom mit Debuggingdaten aus dem zu testenden System 10 usw. sein. Diese einzelnen Ströme bilden parallel den Protokollierungsdatenstrom 34. Jeder der einzelnen Ströme kann jedoch innerhalb des Protokollierungsdatenstroms 34 unterbrochen werden, z. B. im Falle einer Fehlfunktion des jeweiligen Sensors 14, 16, 18.A single data logging data stream 34 comprises multiple individual, parallel streams, e.g. individual streams for each of the sensors 14, 16, 18, in particular a stream from the LiDAR-based environmental sensor 14, a stream from the optical camera 16 and a stream from the ultrasonic sensors 18. However, each of the ultrasonic sensors 18 can supply its own data stream. Other streams can be provided by a GPS receiver, a reference stream with reference data collected with reference sensors, a stream with debugging data from the system under test 10, and so on. These individual streams form the logging data stream 34 in parallel. However, each of the individual streams can be interrupted within the logging data stream 34, e.g. B. in the event of a malfunction of the respective sensor 14, 16, 18.

Der mindestens eine Protokollierungsdatenstrom 34 wird von dem zu testenden System 10 über eine Datenverbindung oder durch Transfer von einem Massenspeicher, der an einen Ort des Datenmanagementsystems 28 versandt wurde, empfangen.The at least one logging data stream 34 is received by the system under test 10 via a data connection or by transfer from a mass storage device that has been sent to a location of the data management system 28 .

Schritt S110 betrifft das Definieren einer Master-Pipeline 36 für den mindestens einen Protokollierungsdatenstrom 34 mit einem initialen Master-Pipeline-Versionsbezeichner. Eine solche Master-Pipeline 36 ist beispielhaft in 4 dargestellt. Der Versionsbezeichner der Master-Pipeline wird einfach als „Version“ bezeichnet und hat die Master-Pipeline-Version „1“ als initialen Master-Pipeline-Versionsbezeichner. Die Master-Pipeline in 4 ist mit fünf Knoten 38 dargestellt, die in der in 4 dargestellten Ausführungsform als Wurzelknoten 38 bezeichnet werden.Step S110 relates to defining a master pipeline 36 for the at least one logging stream 34 with an initial master pipeline version identifier. Such a master pipeline 36 is shown as an example in 4 shown. The master pipeline version identifier is referred to simply as "version" and has the master pipeline version "1" as the initial master pipeline version identifier. The master pipeline in 4 is shown with five nodes 38, which are shown in FIG 4 illustrated embodiment are referred to as root nodes 38.

Die Master-Pipeline 36 definiert eine Gruppe von Knoten 38, die Wurzeln der Verarbeitung darstellen, d. h. eine Gruppe von Knoten 38, die zusammen eine bestimmte Datenversion definieren. Die Master-Pipeline 36 umfasst alle Knoten 38, die logisch gekoppelt sind.The master pipeline 36 defines a set of nodes 38 that represent roots of processing, i. H. a group of nodes 38 which together define a particular version of data. The master pipeline 36 includes all nodes 38 that are logically coupled.

Die Master-Pipeline 36 wird im Datenspeicher 30 des Datenverwaltungssystems 28 gespeichert.The master pipeline 36 is stored in the data store 30 of the data management system 28 .

Schritt S120 betrifft das Definieren mindestens einer Essenz-Pipeline 40, die den mindestens einen Protokollierungsdatenstrom 34 enthält. Die Essenz-Pipeline 40 wird in dem Datenspeicher 30 des Datenverwaltungssystems 28 gespeichert.Step S120 relates to defining at least one essence pipeline 40 containing the at least one logging stream 34 . The essence pipeline 40 is stored in the data store 30 of the data management system 28 .

Eine solche Essenz-Pipeline 40 ist beispielhaft in 3 dargestellt. Die in 3 gezeigte Essenz-Pipeline 40 umfasst einen Knoten 38 mit dem Protokollierungsdatenstrom 34 und weitere Knoten 38, wie im Folgenden erläutert wird. Jeder Knoten 38 der Essenz-Pipeline 40 entspricht einem entsprechenden Knoten 38 der jeweiligen Master-Pipeline 36.Such an essence pipeline 40 is exemplified in 3 shown. In the 3 The essence pipeline 40 shown comprises a node 38 with the logging data stream 34 and further nodes 38, as will be explained below. Each node 38 of the essence pipeline 40 corresponds to a corresponding node 38 of the respective master pipeline 36.

Schritt S130 betrifft das Hinzufügen mindestens eines Knotens 38 mit Verarbeitungsdaten, die auf der Verarbeitung des mindestens einen Protokollierungsdatenstroms 34 beruhen, und/oder Zusatzdaten, die sich auf den mindestens einen Protokollierungsdatenstrom 34 beziehen, zur Master-Pipeline 36 als initiale Version des mindestens einen Knotens 38 mit einem initialen Knotenversionsbezeichner und dem initialen Master-Pipeline-Versionsbezeichner.Step S130 relates to adding at least one node 38 with processing data based on the processing of the at least one protocol logging data stream 34, and/or additional data relating to the at least one logging data stream 34, to the master pipeline 36 as an initial version of the at least one node 38 with an initial node version identifier and the initial master pipeline version identifier.

Jeder Knoten 38 ist ein atomarer Teil der Master-Pipeline 36 und der Essenz-Pipeline 40. Er repräsentiert einen bestimmten Teil der Daten, der Teil des Protokollierungsdatenstroms 34, der Verarbeitungsdaten, die auf der Verarbeitung des mindestens einen Protokollierungsdatenstroms 34 basieren, und/oder der Zusatzdaten, die sich auf den mindestens einen Protokollierungsdatenstrom 34 beziehen, sein können. Der Protokollierungsdatenstrom 34 bildet auch einen Knoten 38 der Essenzpipeline 40.Each node 38 is an atomic part of the master pipeline 36 and the essence pipeline 40. It represents a particular part of the data, the part of the logging data stream 34, the processing data based on the processing of the at least one logging data stream 34, and/or the additional data relating to the at least one logging data stream 34 can be. The logging data stream 34 also forms a node 38 of the essence pipeline 40.

Jeder Knoten 38 umfasst seine Knotenversionsnummer und die Master-Pipeline-Version der jeweiligen Master-Pipeline 36. Die Knotenversionsnummer und die Master-Pipeline-Version sind auf initiale Werte, z.B. „1“, gesetzt. Eine Aktualisierung der Daten des jeweiligen Knotens 38 führt zu einer Inkrementierung der Knotenversionsnummer, so dass alle Knoten 38 eindeutig identifiziert werden können und darauf zugegriffen werden kann, wie weiter unten noch näher erläutert wird.Each node 38 includes its node version number and the master pipeline version of the respective master pipeline 36. The node version number and master pipeline version are set to initial values, e.g., "1". Updating the data of the respective node 38 leads to an increment of the node version number, so that all nodes 38 can be uniquely identified and accessed, as will be explained in more detail below.

Das Hinzufügen mindestens eines Knotens 38 mit Verarbeitungsdaten, die auf der Verarbeitung des mindestens einen Protokollierungsdatenstroms 34 beruhen, und/oder Zusatzdaten, die sich auf den mindestens einen Protokollierungsdatenstrom 34 beziehen, zur Master-Pipeline 36 als initiale Version des mindestens einen Knotens 38 mit einem anfänglichen Knotenversionsbezeichner umfasst ferner mindestens eine der folgenden Möglichkeiten: Hinzufügen mindestens eines Knotens 38 mit umgewandelten Daten als eine Umwandlung mindestens eines Teils des mindestens einen Protokollierungsdatenstroms 34, Hinzufügen mindestens eines Knotens 38 mit Metadaten, die sich auf den mindestens einen Protokollierungsdatenstrom 34 beziehen, Hinzufügen mindestens eines Knotens 38 mit Annotationsinformationen, die sich auf den mindestens einen Protokollierungsdatenstrom 34 beziehen, und Hinzufügen mindestens eines Knotens 38 mit einem KPI-Ergebnis, das auf der Grundlage des bereitgestellten mindestens einen Protokollierungsdatenstroms 34 gemäß einer KPI-Berechnungsregel berechnet wurde.The addition of at least one node 38 with processing data based on the processing of the at least one logging data stream 34 and/or additional data relating to the at least one logging data stream 34 to the master pipeline 36 as an initial version of the at least one node 38 with a initial node version identifier further includes at least one of the following: adding at least one node 38 with transformed data as a transformation of at least a portion of the at least one logging stream 34, adding at least one node 38 with metadata related to the at least one logging stream 34, adding at least one a node 38 with annotation information related to the at least one logging stream 34, and adding at least one node 38 with a KPI score calculated based on the provided at least one logging stream 34 according to a KPI calculation rule.

Das Hinzufügen mindestens eines Knotens 38 mit Verarbeitungsdaten, die auf der Verarbeitung des mindestens einen Protokollierungsdatenstroms 34 basieren, und/oder der Zusatzdaten, die sich auf den mindestens einen Protokollierungsdatenstrom 34 beziehen, zu der Master-Pipeline 36 als initiale Version des mindestens einen Knotens 38 mit einem initialen Knotenversionsbezeichner umfasst das Aufteilen des empfangenen mindestens einen Protokollierungsdatenstroms 34 in mehrere Datensplits und das Hinzufügen eines Knotens 38 für jeden der Datensplits zu der Master-Pipeline 36, wobei jeder Knoten 38 der Datensplits einen Split-Bezeichner zum Identifizieren des Datensplits in dem jeweiligen Protokollierungsdatenstrom 34 enthält. Der jeweilige Protokollierungsdatenstrom 34 ist in kontinuierliche Datensplits ohne Lücken oder Überlappungen aufgeteilt. Die Datensplits sind in dieser Ausführungsform durch eine Zeitdauer definiert, so dass jeder Datensplit ein bestimmtes Zeitintervall des jeweiligen Protokollierungsdatenstroms 34 abdeckt, wobei ein regelmäßiges Splitting mit einer festen Dauer der Datensplits durchgeführt wird.The addition of at least one node 38 with processing data based on the processing of the at least one logging data stream 34 and/or the additional data relating to the at least one logging data stream 34 to the master pipeline 36 as an initial version of the at least one node 38 with an initial node version identifier comprises splitting the received at least one logging data stream 34 into a plurality of data splits and adding a node 38 for each of the data splits to the master pipeline 36, each node 38 of the data splits including a split identifier to identify the data split in the respective Logging stream 34 contains. Each logging data stream 34 is divided into continuous data splits with no gaps or overlaps. In this embodiment, the data splits are defined by a time duration, so that each data split covers a specific time interval of the respective logging data stream 34, with regular splitting being carried out with a fixed duration of the data splits.

Dementsprechend umfasst das Hinzufügen mindestens eines Knotens 38 mit Verarbeitungsdaten, die auf der Verarbeitung des mindestens einen Protokollierungsdatenstroms 34 basieren, das Hinzufügen mindestens eines Knotens 38 mit Split-Verarbeitungsdaten, die auf der Verarbeitung eines Knotens 38 mit einem jeweiligen Datensplit basieren, zur Master-Pipeline 36. Jeder Knoten 38 der Split-Verarbeitungsdaten enthält die Split-Kennung des Knotens 38 des verarbeiteten Datensplits.Accordingly, adding at least one node 38 having processing data based on processing the at least one logging data stream 34 includes adding at least one node 38 having split processing data based on processing a node 38 having a respective data split to the master pipeline 36. Each node 38 of the split processing data contains the split identifier of the node 38 of the data split being processed.

Ferner umfasst das Hinzufügen mindestens eines Knotens 38 mit Zusatzdaten, die sich auf den mindestens einen Protokollierungsdatenstrom 34 beziehen, das Hinzufügen mindestens eines Knotens 38 mit Split-Zusatzdaten, die sich auf einen Knoten 38 mit einem Datensplit des mindestens einen Protokollierungsdatenstroms 34 beziehen, zur Master-Pipeline 36, wobei jeder Knoten 38 der Split-Zusatzdaten die Split-Kennung des Knotens 38 des jeweiligen Datensplits enthält.Furthermore, adding at least one node 38 with additional data relating to the at least one logging data stream 34 includes adding at least one node 38 with split additional data relating to a node 38 with a data split of the at least one logging data stream 34 to the master - Pipeline 36, wherein each node 38 of the split additional data contains the split identifier of the node 38 of the respective data split.

Schritt S140 betrifft das Hinzufügen des mindestens einen Knotens 38 mit dem initialen Knotenversionsbezeichner und dem initialen Master-Pipeline-Versionsbezeichner zu der Essenz-Pipeline 40, die den jeweiligen mindestens einen Protokollierungsdatenstrom 34 enthält. Der/die hinzugefügte(n) Knoten 38 wird/werden in dem Datenspeicher 30 gespeichert.Step S140 relates to adding the at least one node 38 with the initial node version identifier and the initial master pipeline version identifier to the essence pipeline 40 containing the respective at least one logging stream 34 . The added node(s) 38 is/are stored in the data store 30 .

Schritt S150 betrifft das Bereitstellen mindestens eines aktualisierten Knotens 38 mit aktualisierten Verarbeitungsdaten und/oder Zusatzdaten mit einem inkrementierten Knotenversionsbezeichner. Somit wird zumindest ein Teil der Daten aktualisiert und dem Datenverwaltungssystem 28 zur Verfügung gestellt.Step S150 relates to providing at least one updated node 38 with updated processing data and/or ancillary data with an incremented node version identifier. At least part of the data is thus updated and made available to the data management system 28 .

5 zeigt beispielhaft aktualisierte Daten durch die „Anforderung zum Einlesen einer neuen Version von Annotationsdaten“. Bei den aktualisierten Daten handelt es sich demnach um Annotationsdaten, die dem Datenverwaltungssystem von außen hinzugefügt werden müssen. 5 shows example data updated by the "Request to read in a new version of annotation data". The updated data are therefore annotations data that needs to be added to the data management system from the outside.

In ähnlicher Weise zeigt 8 einen „Anforderung zum Berechnen von KPIs“. In diesem Fall betreffen die aktualisierten Daten KPI-Werte, die direkt von den Verarbeitungsmitteln 32 des Datenverwaltungssystems 28 berechnet werden. Die aktualisierten Daten werden also intern erzeugt.Similarly shows 8th a “Requirement to Calculate KPIs”. In this case, the updated data concern KPI values calculated directly by the processing means 32 of the data management system 28. The updated data is therefore generated internally.

Schritt S160 betrifft das Erzeugen einer inkrementierten Version der Master-Pipeline 36 mit einem inkrementierten Master-Pipeline-Versionsbezeichner, wobei die inkrementierte Version der Master-Pipeline 36 den mindestens einen aktualisierten Knoten 38 mit den aktualisierten Verarbeitungsdaten und/oder den Zusatzdaten zusammen mit einer Kopie der verbleibenden Knoten 38 der Verarbeitungsdaten und/oder Zusatzdaten einer vorherigen Version der Master-Pipeline 36, die nicht aktualisiert wurden, enthält. Dies ist auch in den 5 und 8 dargestellt.Step S160 relates to generating an incremented version of the master pipeline 36 with an incremented master pipeline version identifier, the incremented version of the master pipeline 36 containing the at least one updated node 38 with the updated processing data and/or the ancillary data along with a copy of the remaining nodes 38 containing the processing data and/or ancillary data from a previous version of the master pipeline 36 that has not been updated. This is also in the 5 and 8th shown.

Schritt S170 betrifft die Zuordnung des inkrementierten Master-Pipeline-Versionsbezeichners zu jedem Knoten 38 der inkrementierten Version der Master-Pipeline 36.Step S170 relates to the assignment of the incremented master pipeline version identifier to each node 38 of the incremented version of the master pipeline 36.

Wie in 7 zu sehen ist, wird der Master-Pipeline-Versionsbezeichners aller Knoten 38 geändert, sobald die Master-Pipeline-Version aufgrund einer Aktualisierung eines oder mehrerer Knoten 38 geändert wird.As in 7 As can be seen, whenever the master pipeline version is changed due to an update of one or more nodes 38, the master pipeline version identifier of all nodes 38 is changed.

Schritt S180 betrifft das Hinzufügen des mindestens einen aktualisierten Knotens 38 mit den aktualisierten Verarbeitungsdaten und/oder den Zusatzdaten mit dem inkrementierten Knotenversionsbezeichner zu der jeweiligen Essenz-Pipeline 40.Step S180 relates to adding the at least one updated node 38 with the updated processing data and/or the additional data with the incremented node version identifier to the respective essence pipeline 40.

Die Beispiele der 5 und 8 unterscheiden sich lediglich dadurch, dass gemäß dem in 5 gezeigten Beispiel die aktualisierten Daten extern bereitgestellt und in das Datenverwaltungssystem 28 aufgenommen werden, während gemäß 8 die aktualisierten Daten intern im Datenverwaltungssystem 28 erzeugt werden.The examples of 5 and 8th differ only in that according to in 5 shown example, the updated data are provided externally and included in the data management system 28, while according to 8th the updated data is generated internally in the data management system 28.

Schritt S190, der optional ist, betrifft das Zuordnen eines Zustands zu jedem Knoten 38, wobei den Knoten 38 der Master-Pipeline 36 mit dem höchsten Inkrement ein aktiver Zustand zugeordnet wird und den Knoten 38 der Master-Pipeline 36 ohne das höchste Inkrement ein geschlossener Zustand zugeordnet wird. Folglich wird jedem Knoten 38 der aktualisierten Master-Pipeline 36 ein aktiver Zustand zugeordnet. Darüber hinaus kann den Knoten 38 im Falle eines Fehlers, z. B. beim Einlesen von Protokollierungsdaten oder bei der Verarbeitung von Daten, ein Fehlerzustand zugeordnet werden.Step S190, which is optional, relates to assigning a state to each node 38, wherein the nodes 38 of the master pipeline 36 with the highest increment are assigned an active state and the nodes 38 of the master pipeline 36 without the highest increment are assigned a closed one state is assigned. Consequently, each node 38 of the updated master pipeline 36 is assigned an active state. In addition, in the event of a failure, e.g. B. when reading logging data or processing data, an error state can be assigned.

BezugszeichenlisteReference List

1010: Fahrzeug, zu testendes SystemVehicle, system under test
1212: Fahrunterstützungssystemdriving support system
1414: LiDAR-basierter Umgebungssensor, UmgebungssensorLiDAR-based environment sensor, environment sensor
1616: optische Kamera, Umgebungssensoroptical camera, environment sensor
1818: Ultraschallsensor, UmgebungssensorUltrasonic sensor, environmental sensor
2020: UmgebungVicinity
2222: Verarbeitungseinheitprocessing unit
2424: DatenverbindungData Connection
2626: Datenprotokollierungsvorrichtungdata logging device
2828: Datenverwaltungssystemdata management system
3030: Datenspeicherungdata storage
3232: Verarbeitungsmittelprocessing means
3434: Protokollierungsdatenstromlogging stream
3636: Master-Pipelinemaster pipeline
3838: Knotennode
4040: Essenz-Pipelineessence pipeline

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

US 20200202376 A1 [0011]
US 20200364953 A1 [0012]
KR 20210072824 A [0012]

Claims

Method for performing a system validation of a system (10) to be tested, comprising a driving support system (12) of a vehicle (10) equipped with a plurality of sensors (14, 16, 18), the system validation being based on logging data containing sensor information from the plurality of sensors (14, 16, 18), comprising the steps of receiving at least one logging data stream (34) from the system under test (10) containing sensor data from the plurality of sensors (14, 16, 18), defining a master pipeline (36) for the at least one logging data stream (34) with an initial master pipeline version identifier, defining at least one essence pipeline (40) containing the at least one logging data stream (34), Adding at least one node (38) with processing data based on the processing of the at least one logging data stream (34) and/or with additional data relating to the at least one logging data stream (34) to the master pipeline (36) as initial version of the at least one node (38) with an initial node version identifier and the initial master pipeline version identifier, Adding the at least one node (38) with the initial node version identifier and the initial master pipeline version identifier to the essence pipeline (40) containing the respective at least one logging data stream (34), the method comprising the additional steps of Providing at least one updated node (38) with updated processing data and/or with additional data with an incremented node version identifier, Generating an incremented version of the master pipeline (36) with an incremented master pipeline version identifier, the incremented version of the master pipeline (36) including the at least one updated node with the updated processing data and/or the ancillary data together with a copy of the contains remaining nodes (38) of the processing data and/or the ancillary data of a previous version of the master pipeline (36) that have not been updated, assigning the incremented master pipeline version identifier to each node (38) of the incremented version of the master pipeline (36), and Adding the at least one updated node (38) with the updated processing data and/or the additional data with the incremented node version identifier to the respective essence pipeline (40).

procedure after claim 1 , characterized in that adding at least one node (38) with processing data based on the processing of the at least one logging data stream (34) and/or additional data relating to the at least one logging data stream (34) to the master - Pipeline (36) as an initial version of the at least one node (38) with an initial node version identifier, dividing the received at least one logging data stream (34) into a plurality of data splits and adding a node (38) for each of the data splits to the master Pipeline (36), wherein each node (38) of data splits includes a split identifier for identifying the data split in the respective logging data stream (34).

procedure after claim 2 , characterized in that adding at least one node (38) with processing data based on the processing of the at least one logging data stream (34), adding at least one node (38) with split processing data based on the processing of a node (38 ) with a respective data split, to the master pipeline, each node (38) of the split processing data containing the split identifier of the node (38) of the data split being processed.

Procedure according to one of claims 2 or 3 , characterized in that adding at least one node (38) with additional data relating to the at least one logging data stream (34), adding at least one node (38) with split additional data relating to a node (38) relating to the master pipeline (36) with a data split of the at least one logging data stream (34), each node (38) of the split additional data containing the split identifier of the node (38) of the respective data split.

Method according to one of the preceding claims, characterized in that the addition of at least one node (38) with processing data based on the processing of the at least one logging data stream (34) and/or additional data relating to the at least one logging data stream (34) relate, to the master pipeline (36) as an initial version of the at least one node (38) with an initial node version identifier comprises at least one of the following steps: adding at least one node (38) with transformed data as a transformation of at least part of the at least one logging stream (34), adding at least one node (38). metadata related to the at least one logging stream (34), adding at least one node (38) having annotation information related to the at least one logging stream, and adding at least one node (38) having a KPI score based on the Based on the provided at least one logging data stream (34) was calculated according to a KPI calculation rule.

Method according to one of the preceding claims, characterized in that the addition of at least one node (38) with processing data based on the processing of the at least one logging data stream (34) and/or additional data relating to the at least one logging data stream (34) comprises adding at least one multi-node (38) pipeline.

A method according to any one of the preceding claims, characterized in that the method comprises an additional step of assigning a state to each node (38), the nodes (38) of the master pipeline (36) with the highest increment being assigned an active state and assigning a closed state to the nodes (38) of the master pipeline (36) that do not have the highest increment.

Method according to one of the preceding claims, characterized in that the method comprises an additional step of assigning a marker to at least one version of the master pipeline (36), the marker being associated with all nodes (38) of the respective version of the master pipeline ( 36) is added.

Data management system (28) for managing logging data used for system validation of a system (10) to be tested, in particular with a driving support system (12) of a vehicle (10) equipped with a plurality of sensors (14, 16, 18), wherein the data management system (28) implements the method of any preceding Claims 1 until 8th to perform.