DE102021125000A1

DE102021125000A1 - Verbesserte Datenprotokollierung zur Systemvalidierung eines mobilen, zu testenden Systems

Info

Publication number: DE102021125000A1
Application number: DE102021125000.5A
Authority: DE
Inventors: Marek Pavelka; Petr Krejci
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2021-09-28
Filing date: 2021-09-28
Publication date: 2023-03-30

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Durchführung einer verbesserten Datenprotokollierung zur Systemvalidierung eines mobilen, zu testenden Systems (32), insbesondere eines Fahrzeugs (32), mit mehreren Sensoren (36, 38, 40), insbesondere mit Umgebungssensoren (36, 38, 40) zur Überwachung einer Umgebung (42) des zu testenden Systems (32), umfassend die Schritte Definieren von Kampagnendaten zur Durchführung einer Datenprotokollierungskampagne unter Verwendung mehrerer Implementierungen des mobilen, zu testenden Systems (32) in einer Validierungsdatenbank (12) eines Hauptstandorts (14), Zuordnen und Übertragen von Teilen der Kampagnendaten zu jeder Implementierung des zu testenden Systems (32) zur Durchführung mehrerer Protokollierungsfahrten, Sammeln von Metadaten mit den jeweiligen Implementierungen des zu testenden Systems (32), Übertragen und Hinzufügen der Metadaten von den jeweiligen Implementierungen des zu testenden Systems (32) an die Validierungsdatenbank (12) am Hauptstandort (14), Aktualisieren der Kampagnendaten in der Validierungsdatenbank (12) auf der Grundlage der zur Validierungsdatenbank (12) hinzugefügten Metadaten, und Zuordnen und Übertragen zumindest von Teilen der aktualisierten Kampagnendaten an mindestens eine Implementierung des zu testenden Systems (32). Die vorliegende Erfindung betrifft ebenfalls ein Validierungssystem (10) zum Durchzuführen des obigen Verfahrens.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Durchführung einer verbesserten Datenprotokollierung zur Systemvalidierung eines mobilen, zu testenden Systems, insbesondere eines Fahrzeugs, mit mehreren Sensoren, insbesondere mit Umgebungssensoren zur Überwachung einer Umgebung des zu testenden Systems.
Die vorliegende Erfindung betrifft auch ein Validierungssystem zur Durchführung einer verbesserten Datenprotokollierung eines mobilen, zu testenden Systems, insbesondere eines Fahrzeugs, mit mehreren Sensoren, insbesondere mit Umgebungssensoren zur Überwachung einer Umgebung des zu testenden Systems, umfassend eine Validierungsdatenbank, die an einem Hauptstandort bereitgestellt ist, mehrere Datenprotokollierungsvorrichtungen für jede Implementierung des zu testenden Systems, wobei jede der mehreren Datenprotokollierungsvorrichtungen Kommunikationsmittel zum Kommunizieren mit dem Hauptstandort umfasst und der Hauptstandort Kommunikationsmittel zum Kommunizieren mit jeder der mehreren Datenprotokollierungsvorrichtungen umfasst, und das Validierungssystem ausgeführt ist, um das obige Verfahren durchzuführen.
Die Systemvalidierung erfordert eine gewisse Variation der Protokollierungsdaten, wie sie durch ein statistisches Modell und/oder Interessengruppen definiert ist. Insbesondere die Entwicklung und Leistungsbewertung eines mobilen, zu testenden Systems, d. h. eines Fahrunterstützungssystems oder eines autonom fahrenden Fahrzeugs, beruht auf der Erzeugung von Datensätzen, welche die von dem zu testenden System im Betrieb gesammelten Protokolldaten umfassen.
Die Protokollierungsdaten können durch Metadaten, die z. B. einen Standort, Wetter, einen Straßentyp, Verkehrsbedingungen, eine Fahrsituationen und andere beinhalten, kategorisiert werden. Einige der Metadaten können statisch sein, wie z. B. die Position eines Sensors, einige der Metadaten können sich langsam ändern, wie z. B. das Wetter oder der Straßentyp, und einige Metadaten können sehr dynamisch sein, wie z. B. Positionsinformationen, Verkehrszeichen und andere. Die Metadaten können für verschiedene Zwecke verwendet werden, z. B. für eine Bewertung des Kampagnenstatus, die Suche nach bestimmten Umgebungsbedingungen, die Suche nach bestimmten Verkehrsszenariobedingungen und die Bewertung der Systemleistung.
Es müssen Testszenarien mit verschiedenen Kombinationen von Metadaten abgedeckt werden, und es ist eines der Ziele der Kampagnenplanung, sicherzustellen, dass alle erforderlichen Kombinationen von Protokollierungsdaten in ausreichender Menge gesammelt werden, z. B. deckt das Fahrzeug, das bei Regen auf der Autobahn überholt wird, drei verschiedene Bedingungen gleichzeitig ab, d. h. das Überholmanöver, die Fahrt auf der Autobahn und die Fahrt bei Regen. Die Planung einer Datenprotokollierungskampagne, die alle erforderlichen Fahrszenarien abdeckt, ist eine logistische Aufgabe, die darauf abzielt, die für die Durchführung der Datenprotokollierungsfahrt erforderlichen Fahrten des Fahrzeugs so effizient wie möglich durchzuführen. Sie hängt stark von der Verfügbarkeit von Aufzeichnungen von Protokollierungsdaten ab.
Die Datenprotokollierung wird in einer Datenprotokollierungskampagne entsprechend den definierten Testszenarien durchgeführt. Die Datenprotokollierung umfasst typischerweise mehrere einzelne Protokollierungsfahrten, z.B. Touren mit dem zu testenden System. Ziele solcher Datenprotokollierungskampagnen umfassen die Datensammlung von Protokolldaten, die Überwachung des zu testenden Systems und die Leistungsbewertung des zu testenden Systems. Die Datenprotokollierung betrifft die Erzeugung von Protokollierungsdaten, die z.B. Sensordaten und/oder Ausgabedaten des mobilen, zu testenden Systems und interne Daten, wie sie während des Betriebs erzeugt werden, und/oder Referenzdaten, die z.B. von am zu testenden System vorhandenen Referenzsensoren bereitgestellt werden, umfassen. Dazu können auch Debuggingdaten gehören, die lediglich zum Zweck der Datenprotokollierung erzeugt werden. Die Sensordaten werden insbesondere von Umgebungssensoren bereitgestellt, die Sensorinformationen in Bezug auf eine Umgebung des zu testenden Systems liefern. Dabei können verschiedene Arten von Umgebungssensoren allein oder in beliebiger Kombination und in beliebiger Anzahl und Anordnung am Fahrzeug eingesetzt werden, insbesondere optische Kameras, LiDAR-basierte Umgebungssensoren, Radarsensoren, Ultraschallsensoren, um nur einige der derzeit gängigsten Arten von Umgebungssensoren zu nennen. Darüber hinaus können zusätzliche Sensorinformationen des zu testenden Systems einbezogen werden, z.B. Odometriedaten, insbesondere wenn es sich um autonom fahrende Fahrzeuge handelt. Die Ausgabedaten können jede Art von Ausgabe umfassen, die von dem zu testenden System erzeugt wird, einschließlich Ausgaben über eine Benutzerschnittstelle des zu testenden Systems und/oder eine vom zu testenden System ausgelöste Operation, z. B. das Entriegeln von Türen, das automatische Einschalten von Lichtern oder anderes. Die internen Daten sowie die Debuggingdaten sind in der Regel nicht sichtbar und werden intern vom zu testenden System verwendet und/oder um die Überprüfung des Verhaltens des zu testenden Systems zu ermöglichen.
Die Protokollierungsdaten des zu testenden Systems können mit Hilfe des zu prüfenden Systems in Kombination mit einem speziellen Protokollierungsgerät gesammelt werden, das mit dem zu prüfenden System verbunden ist, insbesondere über einen Protokollierungs- oder Debugginganschluss. Im Allgemeinen ist es jedoch möglich, die erforderliche Funktionalität zum Sammeln der Protokolldaten in das zu testende System zu integrieren. Wenn diese Funktionalität jedoch nicht genutzt wird, z. B. in den an Kunden ausgelieferten Fahrzeugen, kann dies eine Änderung des Systems bedeuten, die zu einem veränderten Systemverhalten führen kann.
Während einer Protokollierungsfahrt bewegt sich das zu testende System (autonom) oder wird (von einem menschlichen Fahrer) entsprechend den definierten Testszenarien bewegt, um die am besten geeigneten Sensordaten für das jeweilige Testszenario zu sammeln. Dies schließt ein, dass sich das zu testende System je nach Verkehrsbedingungen oder auch anderen Anforderungen nicht bewegen kann.
Die gesammelten Protokollierungsdaten können mit Annotationen versehen werden, um eine Bodenwahrheit (ground truth) zu erhalten. Bei der Annotation handelt es sich um einen Prozess der Generierung von Kontextinformationen zu den gesammelten Protokollierungsdaten, die statisch sein können, sich langsam ändern können oder die sich hochdynamisch ändern können, wie z.B. Objekte in der Umgebung des Fahrzeugs, einschließlich anderer Verkehrsteilnehmer, Verkehrsschilder oder andere. Die Annotation kann manuell durchgeführt werden, wobei ein menschlicher Annotator alle Aufgaben übernimmt. Sie kann aber auch automatisch durchgeführt werden, wobei in der Regel komplexe Algorithmen zum Einsatz kommen. Darüber hinaus sind auch Kombinationen aus menschlichen und automatischen Annotationen bekannt. Die Annotation und Verarbeitung der Protokollierungsdaten erfordern in der Regel mehrere Datentransfers und Offline-Datenverarbeitungsschritte, oft auch an verschiedenen entfernten Standorten. In diesem Zusammenhang ist anzumerken, dass sich die Datentransfers häufig auf den Transfer eines physischen Speichermediums mit den Protokollierungsdaten, z. B. einer Festplatte oder anderer Massenspeichergeräte, bezieht durch die Anforderungen an die Datenprotokollierung an entfernten Standorten und die bei der Datenprotokollierung gesammelten Datenmengen. Die Datenprotokollierung kann je nach den Sensoren des zu testenden Systems mehrere Gigabit Daten pro Sekunde liefern. Diese Datentransfer führt zu einer Verzögerung zwischen dem Sammeln der Protokollierungsdaten und möglichen Verbesserungen oder einer Überprüfung der Systemleistung des jeweiligen zu testenden Systems. Eine weitere Verzögerung kann entstehen, wenn sich herausstellt, dass die gesammelten Protokollierungsdaten nicht für den gewünschten Zweck gemäß dem/den definierten Testszenario(s) geeignet sind, so dass die Datenprotokollierung wiederholt werden muss, d. h. eine weitere Protokollierungsfahrt mit dem zu testenden System erforderlich ist. Da sich das zu testende System oft noch in der Entwicklungsphase befindet, besteht bereits eine erhöhte Wahrscheinlichkeit von Fehlfunktionen des Systems auf verschiedene Weisen. Bestimmte Fehlfunktionen sind bei einer elementaren Datenqualitätsprüfung einfach zu erkennen, z. B. wenn keine Protokollierungsdaten gesammelt werden. Andere Fehlfunktionen sind schwieriger zu erkennen, z. B. falsch ausgerichtete Sensoren oder andere, die erst nach der Verarbeitung der Aufzeichnungsdaten entdeckt werden können. Typischerweise haben die mit dem gestörten System gesammelten Protokollierungsdaten keinen oder nur einen geringen Wert, und es muss eine Maßnahme ergriffen werden, um die Systemfunktionalität wiederherzustellen. Aber selbst wenn das zu testende System einwandfrei funktioniert, kann sich herausstellen, dass die gesammelten Protokollierungsdaten aus irgendeinem Grund eines oder mehrere der Testszenarien nicht abdecken. Im schlimmsten Fall muss die Datenprotokollierung für eines oder mehrere der Testszenarien wiederholt werden.
Solche Verzögerungen sind höchst unerwünscht, da sie zusätzliche Kosten verursachen können. Verspätete Rückmeldungen an die Systementwicklung können die Einführung des zu testenden Systems verzögern. Außerdem werden Datenprotokollierungskampagnen oft im Voraus geplant und strikt durchgeführt. Außerdem erfordert die Systemvalidierung oft, dass bestimmte Testszenarien durch die Datenprotokollierung abgedeckt werden. Einige der Probleme können überwunden werden, indem mehrere Implementierungen des zu testenden Systems für die Systemvalidierung parallel eingesetzt werden. Allerdings gibt es immer noch erhebliche Verzögerungen zwischen dem Zeitpunkt der Datenprotokollierungsfahrten und einer möglichen Bestätigung in Bezug auf eine erforderliche Abdeckung der Protokollierungsdaten mit den definierten Testszenarien.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur Durchführung einer verbesserten Datenprotokollierung von Protokollierungsdaten für ein mobiles, zu testendes System bereitzustellen, das zumindest einige der oben genannten Probleme überwindet und eine effiziente Datenprotokollierung mit einer verbesserten Kampagnenplanung für die Durchführung von Datenprotokollierungsfahrten ermöglicht.
Dieser Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen angegeben.
Insbesondere stellt die vorliegende Erfindung ein Verfahren zur Durchführung einer verbesserten Datenprotokollierung zur Systemvalidierung eines mobilen, zu testenden Systems, insbesondere eines Fahrzeugs, mit mehreren Sensoren, insbesondere mit Umgebungssensoren zur Überwachung einer Umgebung des zu testenden Systems, bereit, umfassend die Schritte Definieren von Kampagnendaten zur Durchführung einer Datenprotokollierungskampagne unter Verwendung mehrerer Implementierungen des mobilen, zu testenden Systems in einer Validierungsdatenbank eines Hauptstandorts, Zuordnen und Übertragen von Teilen der Kampagnendaten zu jeder Implementierung des zu testenden Systems zur Durchführung mehrerer Protokollierungsfahrten, Sammeln von Metadaten mit den jeweiligen Implementierungen des zu testenden Systems, Übertragen und Hinzufügen der Metadaten von den jeweiligen Implementierungen des zu testenden Systems an die Validierungsdatenbank am Hauptstandort, Aktualisieren der Kampagnendaten in der Validierungsdatenbank auf der Grundlage der zur Validierungsdatenbank hinzugefügten Metadaten, und Zuordnen und Übertragen zumindest von Teilen der aktualisierten Kampagnendaten an mindestens eine Implementierung des zu testenden Systems.
Die vorliegende Erfindung stellt auch ein Validierungssystem zur Durchführung einer verbesserten Datenprotokollierung eines mobilen, zu testenden Systems, insbesondere eines Fahrzeugs, mit mehreren Sensoren, insbesondere mit Umgebungssensoren zur Überwachung einer Umgebung des zu testenden Systems, bereit, umfassend eine Validierungsdatenbank, die an einem Hauptstandort bereitgestellt ist, mehrere Datenprotokollierungsvorrichtungen für jede Implementierung des zu testenden Systems, wobei jede der mehreren Datenprotokollierungsvorrichtungen Kommunikationsmittel zum Kommunizieren mit dem Hauptstandort umfasst und der Hauptstandort Kommunikationsmittel zum Kommunizieren mit jeder der mehreren Datenprotokollierungsvorrichtungen umfasst, und das Validierungssystem ausgeführt ist, um das obige Verfahren durchzuführen.
Die grundlegende Idee der Erfindung besteht darin, die Systemvalidierung eines mobilen, zu testenden Systems zu verbessern und zu beschleunigen, indem Metadaten ausgewertet werden, die mit den verschiedenen Implementierungen gesammelt wurden. Da die Systemvalidierung auf „echten“ Daten basiert, sind Tests unter Laborbedingungen mit kontrollierten Bedingungen im Allgemeinen nicht möglich. Anhand der Metadaten können die Bedingungen bewertet werden, und die Datenprotokollierung kann so geplant werden, dass nicht nur so viele Protokollierungsdaten wie möglich erfasst werden, sondern auch die wertvollsten Protokollierungsdaten entsprechend der festgelegten Datenprotokollierungskampagne gesammelt werden. Dies ist vor allem dann von Vorteil, wenn mehrere Implementierungen des zu testenden Systems für die Systemvalidierung verwendet werden. Bei mehreren Implementierungen des zu testenden Systems sind die Fahrbedingungen typischerweise unterschiedlich, was zu unterschiedlichen Metadaten führt. Dies ist insbesondere dann der Fall, wenn die Implementierungen des zu testenden Systems an verschiedenen Orten betrieben werden, so dass beispielsweise die Wetterbedingungen, die Straßentypen, die Verkehrsdichte und die Tageslichtverhältnisse unterschiedlich sind, um nur einige Beispiele zu nennen. Mit den von den Implementierungen des zu testenden Systems gesammelten Metadaten, die dann übertragen und der Validierungsdatenbank hinzugefügt werden, kann die Datenprotokollierungskampagne modifiziert und an die verschiedenen Möglichkeiten der Erfassung von Protokollierungsdaten auf der Grundlage der Metadaten angepasst werden, was die Erfassung der am besten geeigneten Protokollierungsdaten ermöglicht, einschließlich der Verfügbarkeit der verschiedenen Implementierungen des zu testenden Systems.
Es ist nicht immer möglich, eine Protokollierungsfahrt zum Sammeln von Protokollierungsdaten mit jeder Implementierung des zu testenden Systems gemäß der aktuellen Protokollierungskampagne zu planen, um Fahrten gemäß den gewünschten Fahrbedingungen, wie sie in den Metadaten angegeben sind, abzudecken. Wenn z. B. eine bestimmte Kilometerleistung bei einer bestimmten Wetterbedingung erforderlich ist, ist es möglich, dass die Wetterbedingung für eine bestimmte Implementierung des zu testenden Systems, die Protokollierungsdaten, die die bestimmte Wetterbedingung erfüllen, sammeln soll, nicht erfüllt ist. Außerdem kann es vorkommen, dass diese bestimmte Wetterbedingung zu Beginn einer Datenprotokollierungsfahrt erfüllt ist, aber aufgrund einer Änderung der Wetterbedingungen nicht während der gesamten Datenprotokollierungsfahrt erfüllt wird. Ist die bestimmte Wetterbedingung jedoch bei einer anderen Implementierung des zu testenden Systems gegeben, können die Kampagnendaten aktualisiert werden, indem z. B. die Datenprotokollierungsfahrten zwischen den beiden Implementierungen umgeschaltet werden, die aktuelle Datenprotokollierungsfahrt für die jeweilige Implementierung des zu testenden Systems neu geplant wird, wobei eine Änderung der Wetterbedingungen erwartet wird, oder sogar eine weitere Datenprotokollierungsfahrt an dem Ort einer anderen Implementierung des zu testenden Systems geplant wird. Es gibt mehrere Möglichkeiten, die Datenprotokollierungskampagne zu verbessern, indem die Kampagnendaten auf der Grundlage der zur Validierungsdatenbank hinzugefügten Metadaten aktualisiert werden und zumindest Teile der aktualisierten Kampagnendaten einer oder mehreren der Implementierungen des zu testenden Systems zugeordnet und übertragen werden.
Die Systemvalidierung betrifft eine Überprüfung der Leistung des zu testenden Systems, die häufig mit einem Referenzsystem verglichen wird. Die Systemvalidierung basiert typischerweise auf KPls, die ein korrektes Verhalten des zu testenden Systems und eine Art und Weise, dies zu verifizieren, definieren, z.B. eine geforderte Kilometerleistung zum Nachweis des korrekten Verhaltens des zu testenden Systems. Der Systemvalidierungsprozess moderner ADAS/AD-Systeme muss mehrere Anforderungen abdecken. Der Prozess selbst besteht aus mehreren Aufgaben, wie z. B. der Datenerfassung, der Wiederaufbereitung und verschiedenen Datenextraktionstechniken, die ein Verständnis des Inhalts ermöglichen, der automatischen Kennzeichnung sowie möglichen Transformationen und Konvertierungen, die für die Kompatibilität interner Schnittstellen, die Berichterstattung usw. erforderlich sind.
Bei dem mobilen, zu testenden System handelt es sich insbesondere um ein Fahrzeug oder ein Fahrunterstützungssystem für dieses Fahrzeug, das eine bestimmte Form der Fahrunterstützung bietet. Das zu testende System (SUT) kann ein Fahrzeug mit einem Fahrunterstützungssystem sein, z. B. als Advanced Driver Assistance System (ADAS), ein Fahrunterstützungssystem oder ein Teilsystem eines solchen ADAS und/oder ein System für autonomes Fahren (AD). Das zu testende System umfasst mehrere Sensoren, zu denen auch Umgebungssensoren zur Überwachung der Umgebung des zu testenden Systems gehören können, die Sensorinformationen als Grundlage für ein Verhalten des zu testenden Systems liefern.
Jede Implementierung des zu testenden Systems ist mit einer Datenprotokollierungsvorrichtung ausgestattet. Bei der Datenprotokollierungsvorrichtung kann es sich um eine beliebige Datenverarbeitungsvorrichtung handeln, die typischerweise per Kabel mit einer entsprechenden Schnittstelle des zu testenden Systems verbunden ist. Die Datenprotokollierung erfolgt über die Datenprotokollierungsvorrichtung der jeweiligen Implementierung des zu prüfenden Systems, die die Protokollierungsdaten z. B. direkt von den Sensoren oder von einem oder mehreren ECU(s) (elctronic control unit, elektronische Steuergeräte) des zu testenden Systems erhält. Die Datenprotokollierungsvorrichtung kann die Protokollierungsdaten von der Protokollierungs- und/oder Debugging-Schnittstelle des zu testenden Systems erhalten. Die Metadaten können direkt von der Datenprotokollierungsvorrichtung gesammelt werden, wenn Metadaten von einem menschlichen Bediener, der die Datenprotokollierungsvorrichtung benutzt, hinzugefügt werden, über Sensoren, die mit der Datenprotokollierungsvorrichtung verbunden sind, oder von dem zu testenden System, z. B. Regeninformationen von einem Regensensor des zu testenden Systems.
Die mehreren Implementierungen des zu testenden Systems betreffen z.B. mehrere identische Fahrzeuge als zu testendes System. Es können jedoch geringfügige Änderungen zwischen den verschiedenen Implementierungen bestehen, was für die Systemvalidierung überwacht wird. Die Protokollierungsfahrten umfassen in der Regel eine einzelne Fahrt des zu testenden Systems. Die Kampagnendaten definieren gemeinsam die Datenprotokollierungskampagne und enthalten Spezifikationen der erforderlichen Protokollierungsdaten. Die Kampagnendaten definieren die Datenprotokollierungsfahrten zum Sammeln der erforderlichen Protokollierungsdaten.
Die Kampagnendaten werden den verschiedenen Implementierungen des zu testenden Systems zur Durchführung von Protokollierungsfahrten zugeordnet und an diese übertragen. Die Übermittlung der Kampagnendaten an die verschiedenen Implementierungen des zu testenden Systems betrifft im Einzelnen die Übermittlung der Kampagnendaten an die Datenprotokollierungsvorrichtung der jeweiligen Implementierung des zu testenden Systems. Da die Datenprotokollierungsvorrichtung jedoch zusammen mit dem zu testenden System betrieben wird, um die Datenprotokollierung durchzuführen, wird sie normalerweise als Teil des zu testenden Systems betrachtet. Nach der Systemvalidierung wird das Fahrzeug jedoch ohne die Datenprotokollierungsvorrichtung an den Kunden ausgeliefert. Die Kampagnendaten können für bestimmte Zeitintervalle, z. B. täglich, oder für die gesamte Datenprotokollierungskampagne zugewiesen und übertragen werden.
Die Datenprotokollierung betrifft z.B. Sensordaten und/oder Ausgabedaten des mobilen, zu testenden Systems sowie interne Daten, die während des Betriebs erzeugt werden und/oder Referenzdaten, die z.B. von Referenzsensoren am zu testenden System bereitgestellt werden. Es können verschiedene Arten von Umgebungssensoren allein oder in beliebiger Kombination und in beliebiger Anzahl und Anordnung am Fahrzeug eingesetzt werden, insbesondere optische Kameras, LiDAR-basierte Umgebungssensoren, Radarsensoren, Ultraschallsensoren, um nur einige der derzeit gängigsten Arten von Umgebungssensoren zu nennen. Darüber hinaus können zusätzliche Sensorinformationen des zu testenden Systems einbezogen werden, z.B. Odometriedaten, insbesondere wenn es sich um autonom fahrende Fahrzeuge handelt.
Die Validierungsdatenbank befindet sich am Hauptstandort, der ein beliebiger Standort für die Verarbeitung der Protokollierungsdaten und die Durchführung der Systemvalidierung sein kann. Der Hauptstandort kann sich auf einen Cloud-Dienst beziehen.
Das Sammeln der Metadaten mit den jeweiligen Implementierungen des zu testenden Systems kann das Sammeln von Sensorinformationen von Sensoren, die an dem zu prüfenden System vorhanden sind, z. B. ein Regensensor, ein Temperatursensor oder andere, das Sammeln von Informationen von externen Datenbanken, z. B. einer externen Wetterdatenbank, die Wetterinformationen auf der Grundlage einer aktuellen Position des zu testenden Systems bereitstellt, und das Sammeln von Informationen von einem menschlichen Testbediener zur Durchführung einer Datenprotokollierungsfahrt mit dem zu testenden System umfassen. Bei den Metadaten handelt es sich um Daten, die im Wesentlichen unabhängig von dem Fahrzeug sind, wie z. B. Wetterbedingungen, ein Straßenzustand, Verkehrsflussinformationen oder andere. Einige Metadaten können jedoch z. B. Fahrzeugparameter wie ein Nummernschild, eine Fahrzeugidentifikationsnummer (VIN), einen Radstand oder andere umfassen. In einigen Fällen kann das Sammeln der Metadaten teilweise am Hauptstandort erfolgen, z. B. wenn Wetterinformationen von einem Wetterserver auf der Grundlage eines Standorts der jeweiligen Implementierung des zu testenden Systems abgerufen werden. Bei der Position kann es sich um eine detaillierte Position handeln, die von der jeweiligen Implementierung des zu testenden Systems gesammelt, übertragen und der Validierungsdatenbank hinzugefügt wird. In einigen Fällen kann es ausreichend sein, die Position auf der Grundlage eines vordefinierten Einsatzgebiets der jeweiligen Implementierung des zu testenden Systems zu definieren. Die Kampagnendaten zur Durchführung einer Datenprotokollierungskampagne können eine Definition von Metadaten oder von Kombinationen von Metadaten umfassen, die von den gesammelten Protokollierungsdaten abgedeckt werden sollen.
Eine Kommunikation zwischen den Implementierungen des zu testenden Systems und dem Hauptstandort wird über die Datenprotokollierungsvorrichtungen hergestellt, die Kommunikationsmittel zur Kommunikation mit dem Hauptstandort umfassen. Auch der Hauptstandort umfasst Kommunikationsmittel für die Kommunikation mit den mehreren Datenprotokollierungsvorrichtungen. Die Kommunikationsmittel ermöglichen die Datenübertragung und können für den Hauptstandort und die Datenprotokollierungsvorrichtungen unterschiedlich sein. So werden die Metadaten von der jeweiligen Datenprotokollierungsvorrichtung über ihre Kommunikationsmittel und die Kommunikationsmittel des Hauptstandorts übertragen, um der Validierungsdatenbank hinzugefügt zu werden. In ähnlicher Weise können die zugeordneten Kampagnendaten sowie die aktualisierten Kampagnendaten von der Validierungsdatenbank an jede Implementierung des zu testenden Systems übermittelt werden.
Gemäß einer abgewandelten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt zum Sammeln von Protokollierungsdaten mit den jeweiligen Implementierungen des zu testenden Systems gemäß den laufenden Protokollierungsfahrten. Es wird also die Datenprotokollierung für eine aktuelle Protokollierungsfahrt gestartet. Dabei ist zu beachten, dass eine Datenprotokollierungsfahrt gestartet werden kann, sobald das zu testende System eingeschaltet ist. Um sich jedoch auf die Protokollierungsdaten zu konzentrieren, die für die Systemvalidierung des zu testenden Systems erforderlich ist, und um zu vermeiden, dass Protokollierungsdaten gesammelt werden, die veraltet sind, kann der Start der Datenprotokollierung unabhängig vom Beginn des Betriebs des zu testenden Systems, d. h. vom Einschalten des zu testenden Systems, erfolgen. Das Sammeln der Metadaten sowie das Übertragen und Hinzufügen der Metadaten zur Validierungsdatenbank kann unabhängig vom Sammeln der Protokollierungsdaten erfolgen. Wenn die Protokollierungsdaten gesammelt werden, können die von der jeweiligen Implementierung des zu testenden Systems gesammelten Metadaten sofort auf die Protokollierungsdaten angewendet werden. Dementsprechend können die Protokollierungsdaten und die Metadaten gemeinsam mit der jeweiligen Implementierung des zu testenden Systems gesammelt werden. Vorzugsweise wird die Erfassung der Protokollierungsdaten in Abhängigkeit von den aktuellen Metadaten gestartet, die mit der jeweiligen Implementierung des zu testenden Systems gesammelt wurden.
Gemäß einer abgewandelten Ausführungsform der Erfindung umfasst das Verfahren zusätzliche Schritte zum Hinzufügen der Protokollierungsdaten, die mit den jeweiligen Implementierungen des zu testenden Systems gesammelt wurden, zur Validierungsdatenbank am Hauptstandort, und zum Zuordnen der gesammelten Protokollierungsdaten zu den jeweiligen Metadaten, die der Validierungsdatenbank bereits hinzugefügt wurden. Aufgrund der großen Mengen an Protokollierungsdaten, die bei der Datenprotokollierung gesammelt werden, werden die Protokollierungsdaten in der Regel unabhängig von den Metadaten übertragen und der Validierungsdatenbank hinzugefügt. Somit können die Protokollierungsdaten über eine Hochgeschwindigkeits-Netzwerkverbindung, typischerweise eine Kabelbasierte Netzwerkverbindung, an die Validierungsdatenbank übertragen werden, wenn das zu testende System eine aktuelle Datenprotokollierungsfahrt abgeschlossen hat. Die Menge der Protokollierungsdaten ist jedoch häufig zu groß für die Übertragung über solche Netzwerkverbindungen, so dass die Datenprotokollierung auf einem Massenspeicher wie einer Festplatte gespeichert und zum Hauptstandort transportiert wird. In jedem Fall können die Protokollierungsdaten einfach mit den entsprechenden Metadaten, die bereits übermittelt und der Validierungsdatenbank hinzugefügt wurden, kombiniert werden. Mit anderen Worten werden Protokollierungsdaten und Metadaten im Validierungsserver für die weitere Verarbeitung und Systemvalidierung aufeinander abgestimmt.
Gemäß einer modifizierten Ausführungsform der Erfindung werden die Schritte des Übertragens und Hinzufügens der mit den verschiedenen Implementierungen des zu testenden Systems gesammelten Metadaten zur Validierungsdatenbank am Hauptstandort, des Aktualisierens der Kampagnendaten in der Validierungsdatenbank auf der Grundlage der zur Validierungsdatenbank hinzugefügten Metadaten und des Zuordnens und Übertragens zumindest von Teilen der aktualisierten Kampagnendaten zu mindestens einer Implementierung des zu testenden Systems als eine kontinuierliche Abfolge von Schritten durchgeführt. So kann die Kampagnenaktualisierung online auf Basis der aktuellen Metadaten erfolgen, um eine bestmögliche Planung der Datenprotokollierung zu erhalten. Dazu gehört auch, dass die aktualisierten Kampagnendaten während einer Datenprotokollierungsfahrt und während des Sammelns von Protokollierungsdaten an eine Implementierung des zu testenden Systems übertragen werden können. Folglich kann eine laufende Datenprotokollierungsfahrt abgebrochen, geändert werden und/oder die Datenprotokollierung kann gestartet oder gestoppt werden. Dies gilt für jede Implementierung des zu testenden Systems.
Gemäß einer abgewandelten Ausführungsform der Erfindung umfasst der Schritt des Aktualisierens der Kampagnendaten in der Validierungsdatenbank auf der Grundlage der zu der Validierungsdatenbank hinzugefügten Metadaten das Identifizieren aktueller Metadaten mindestens einer Implementierung des zu testenden Systems, wie sie an dem Hauptstandort übertragen und zu der Validierungsdatenbank hinzugefügt wurden, in der Validierungsdatenbank und das Aktualisieren der Kampagnendaten in mindestens einer Implementierung des zu testenden Systems für eine aktuelle Datenprotokollierungsfahrt auf der Grundlage der aktuellen Metadaten in der Validierungsdatenbank. Insbesondere können Metadaten bereits ab dem Einschalten der jeweiligen Implementierung des zu testenden Systems oder sogar ab dem Einschalten der jeweiligen Datenprotokollierungsvorrichtung bereitgestellt werden. Damit können Metadaten wie Position, CPU-Auslastung, RAM-Auslastung, Temperatur, verfügbarer Speicherplatz und Protokollierungsstatus bereits gesammelt, an den Hauptstandort übermittelt und dem Validierungsserver hinzugefügt werden. Dies ermöglicht eine Aktualisierung der Kampagnendaten zu jedem Zeitpunkt während einer Protokollierungsfahrt, vor dem Start einer Protokollierungsfahrt oder vor dem Start der Datenprotokollierung oder während der Datenprotokollierung. Dementsprechend kann die Aktualisierung der Kampagnendaten just in time erfolgen, um immer die am besten geeigneten Protokollierungsdaten zu sammeln. Wenn beispielsweise an einem bestimmten Ort eine bestimmte Wetterbedingung herrscht und für diese Wetterbedingung Datenprotokollierung erforderlich ist, können weitere Implementierungen des zu testenden Systems aktiviert werden, um eine Datenprotokollierungsfahrt zu starten. Umgekehrt kann eine Datenprotokollierungsfahrt abgebrochen werden, wenn die aktuellen Wetterbedingungen nicht den Anforderungen für das Sammeln weiterer Protokollierungsdaten entsprechen. In einem anderen Fall, wenn eine Implementierung des zu testenden Systems Wetterbedingungen meldet, die für die Bereitstellung weiterer geeigneter Protokollierungsdaten erforderlich sind, können andere Implementierungen des zu testenden Systems an einen aktuellen Standort dieser Implementierung gesendet werden, in der Erwartung, dass die anderen Implementierungen des zu testenden Systems die gleichen Wetterbedingungen vorfinden.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Verfahren zusätzliche Schritte zum Sammeln von Systemdaten und/oder Debuggingdaten und/oder eines Qualitätsprüfungsergebnisses der jeweiligen Implementierung des zu testenden Systems, und zum Übertragen und Hinzufügen der Systemdaten und/oder der Debuggingdaten und/oder des Qualitätsprüfungsergebnisses von den jeweiligen Implementierungen des zu testenden Systems an die Validierungsdatenbank am Hauptstandort, und der Schritt des Aktualisierens der Kampagnendaten in der Validierungsdatenbank auf der Grundlage der zur Validierungsdatenbank hinzugefügten Metadaten wird unter zusätzlicher Berücksichtigung der Systemdaten und/oder der Debuggingdaten und/oder des Qualitätsprüfungsergebnisses durchgeführt. Die Debuggingdaten werden typischerweise zur Systemvalidierung oder zur Identifizierung interner Fehler erzeugt. Die Systemdaten können jede Art von Ausgabe umfassen, die von dem zu testenden System erzeugt wird, einschließlich Ausgaben über eine Benutzerschnittstelle des zu testenden Systems und/oder eine vom zu testenden System initiierte Operation, z. B. das Entriegeln von Türen, das automatische Einschalten der Beleuchtung oder andere. Die gesammelten Systemdaten und/oder Debuggingdaten können direkt mit den gesammelten Protokollierungsdaten der jeweiligen Implementierung des zu testenden Systems verbunden gebracht werden.
Das Ergebnis der Qualitätsprüfung betrifft eine Bewertung der Qualität der gesammelten Protokollierungsdaten, die zumindest eine einfache Verarbeitung und/oder Bewertung der Protokollierungsdaten beinhaltet.
Gemäß einer modifizierten Ausführungsform der Erfindung umfassen die Kommunikationsmittel ein Mobiltelefon, einen mobilen Router, ein WLAN -Modul und/oder ein Bluetooth-Modul zum Aufbau der Kommunikationsverbindung als drahtlose Kommunikationsverbindung, insbesondere über das Internet. Dies ermöglicht den Aufbau der Kommunikationsverbindung an einem im Wesentlichen beliebigen Ort. Insbesondere Mobilfunknetze wie 5G, LTE, UMTS ermöglichen eine hohe Datenübertragungsgeschwindigkeit und typischerweise eine hohe Abdeckung. Andere Kommunikationstechnologien mit geringer Reichweite erfordern einen lokalen Verbindungspunkt. Dementsprechend können die Metadaten und die aktualisierten Kampagnendaten sofort bei Verfügbarkeit übertragen werden. Jedes der Kommunikationsmittel stellt vorzugsweise eine Datenverbindung her, vorzugsweise über das Internet.
Gemäß einer modifizierten Ausführungsform der Erfindung umfassen die Kommunikationsmittel einen Netzwerkadapter zum Aufbau der Kommunikationsverbindung als kabelbasierte Netzwerkkommunikationsverbindung, insbesondere über das Internet. Kabelbasierte Kommunikationsverbindungen sind typischerweise leistungsfähig und ermöglichen eine hohe Datenübertragungsgeschwindigkeit. Allerdings muss eine kabelgebundene Verbindung hergestellt werden, was z.B. leicht möglich ist, wenn das zu testende System eine Datenprotokollierungsfahrt abgeschlossen hat. Dementsprechend können bei Bedarf größere Mengen an Metadaten und aktualisierten Kampagnendaten übertragen werden. In einigen Fällen kann zumindest ein Teil der Protokollierungsdaten über die kabelbasierte Netzkommunikationsverbindung an den Validierungsserver übertragen werden. Jedes der Kommunikationsmittel stellt vorzugsweise eine Datenverbindung her, vorzugsweise über das Internet.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst jede der mehreren Datenprotokollierungsvorrichtungen einen Datenbankserver zur Verbindung mit der am Hauptstandort vorgesehenen Validierungsdatenbank, und der Hauptstandort umfasst mindestens einen Datenbank-Client zur Verbindung mit den Datenbankservern der Datenprotokollierungsvorrichtungen. Der Datenbankserver stellt eine Client-Server-Verbindung von der jeweiligen Datenprotokollierungsvorrichtung zu dem Datenbank-Client am Hauptstandort her. Auf diese Weise können die Metadaten auf einfache Weise der Validierungsdatenbank hinzugefügt werden.
Gemäß einer modifizierten Ausführungsform der Erfindung umfassen jede der mehreren Datenprotokollierungsvorrichtungen und der Hauptstandort Verbindungsmittel zur Herstellung einer sicheren Verbindung, insbesondere über das Internet. Für den Aufbau der sicheren Verbindung können verschiedene Mittel auf der Basis von Authentifizierung und/oder Verschlüsselung verwendet werden. Die Verbindungsmittel können Mittel zum Aufbau einer HTTPS-Verbindung oder einer VPN-Verbindung umfassen. In einer Ausführungsform umfassen die Verbindungsmittel einen an der Datenprotokollierungsvorrichtung bereitgestellten SSH-Server und einen entsprechenden am Hauptstandort bereitgestellten SSH-Client. In dieser Ausführungsform ist eine Tunnelverbindung, insbesondere ein SSH-Tunnel, zwischen dem SSH-Server und dem jeweiligen SSH-Client vorgesehen. Die Tunnelverbindung ermöglicht eine sichere Datenübertragung zwischen dem jeweiligen Datenbankserver und dem Datenbank-Client.
Gemäß einer modifizierten Ausführungsform der Erfindung sind die Kommunikationsmittel ausgeführt, eine Punkt-zu-Punkt-Verbindung zwischen der am Hauptstandort bereitgestellten Validierungsdatenbank und der jeweiligen Datenprotokollierungsvorrichtung herzustellen. Die Punkt-zu-Punkt-Verbindung stellt typischerweise eine direkte Kommunikationsleitung bereit. Die Punkt-zu-Punkt-Verbindung ist eine Verbindung, die dedizierte Verbindungsressourcen verwendet, was eine Datenübertragung mit garantierten Kommunikationsparametern ermöglicht.
Die oben in Bezug auf das erfindungsgemäße Verfahren beschriebenen Merkmale und Vorteile gelten gleichermaßen für das erfindungsgemäße Validierungssystem und umgekehrt.
Diese und weitere Aspekte der Erfindung sind aus den nachfolgend beschriebenen Ausführungsformen ersichtlich und werden durch diese verdeutlicht. Einzelne Merkmale, die in den Ausführungsformen offenbart sind, können allein oder in Kombination einen Aspekt der vorliegenden Erfindung darstellen. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform in eine andere Ausführungsform überführt werden.
In der Zeichnung:

1 zeigt eine schematische Ansicht eines Validierungssystems mit einem Validierungsserver an einem Hauptstandort und einer Datenprotokollierungsvorrichtung, die über eine drahtlose Datenverbindung verbunden sind, gemäß einer ersten, bevorzugten Ausführungsform,
2 zeigt eine schematische Ansicht eines Ego-Fahrzeugs als zu testendes System mit einem zu validierenden Fahrunterstützungssystem und einer Datenprotokollierungsvorrichtung, die innerhalb des Ego-Fahrzeugs vorgesehen ist, gemäß der ersten Ausführungsform,
3 zeigt eine schematische Ansicht einer Implementierung der Datenprotokollierungsvorrichtung aus 1 mit mehreren Protokollierungseinheiten, wobei die Datenprotokollierungsvorrichtung mit dem Validierungsserver am Hauptstandort verbunden ist,
4 zeigt eine schematische Darstellung von Implementierungen des Validierungssystems, und
5 zeigt ein Ablaufdiagramm eines Verfahrens zur Durchführung einer verbesserten Datenprotokollierung für die Systemvalidierung des in 2 gezeigten mobilen, zu testenden Systems, wie es mit dem Validierungssystem aus 1 durchgeführt wird.

Figure 1 zeigt ein Validierungssystem 10 gemäß einer ersten, bevorzugten Ausführungsform. Das Validierungssystem 10 umfasst eine Validierungsdatenbank 12, die an einem Hauptstandort 14 bereitgestellt ist, und mehrere Datenprotokollierungsvorrichtungen 16, von denen eine in 1 dargestellt ist. Der Hauptstandort 14 kann einen Cloud-Dienst betreffen.
Der Hauptstandort 14 umfasst einen Netzwerkadapter 18 als Kommunikationsmittel, der mit der Validierungsdatenbank 12 verbunden ist. Jede der Datenprotokollierungsvorrichtungen 16 umfasst einen mobilen Router 20 als Kommunikationsmittel. Die Datenprotokollierungsvorrichtung 16 umfasst eine Datenverarbeitungsvorrichtung 24, bei der es sich um einen Aufzeichnungs-PC handelt. Die Datenverarbeitungsvorrichtung 24 ist mit dem mobilen Router 20 verbunden.
Der Hauptstandort 14 und jede der Datenprotokollierungsvorrichtungen 16 stehen über den Netzwerkadapter 18 und das Mobilfunkmodem 20 über das Internet in Kommunikationsverbindung 22. Insbesondere stellt der Mobilfunkrouter 20 über ein Mobilfunknetz wie 5G, LTE oder UMTS eine Hochgeschwindigkeitsdatenübertragung zum Internet her. Der Netzwerkadapter 18 ist ebenfalls mit dem Internet verbunden, so dass die Kommunikationsverbindung 22 hergestellt werden kann.
Zusätzlich zu den oben beschriebenen Hardwarekomponenten umfasst die Datenprotokollierungsvorrichtung 16 einen Datenbankserver 26 zur Verbindung mit der am Hauptstandort 14 bereitgestellten Validierungsdatenbank 12. Der Hauptstandort 14 verfügt über einen entsprechenden Datenbank-Client 28 zur Verbindung mit dem Datenbankserver 26 der Datenprotokollierungsvorrichtung 16. Der Datenbankserver 26 stellt eine Client-Server-Verbindung von der Datenprotokollierungsvorrichtung 16 zum Datenbank-Client 28 am Hauptstandort 14 her. In dieser Ausführungsform wird beispielhaft eine beats-Implementierung als Datenbankserver 26 verwendet, eine logstash-Implementierung läuft auf dem Datenbank-Client 28 und eine elastic-Implementierung zusammen mit einer kibana-Implementierung wird für die Validierungsdatenbank 12 verwendet. Details sind in 4 zu sehen. Wie in den 3 und 4 zu sehen ist, wird zwischen dem Datenbankserver 26 der Datenprotokollierungsvorrichtung 16 und dem Datenbank-Client 28 des Hauptstandorts 14 ein SSH-Tunnel 30 aufgebaut, der als Basis für die Client-Server-Verbindung von der Datenprotokollierungsvorrichtung 16 zum Datenbankclient 28 am Hauptstandort 14 dient. Es ist also ein SSH-Server 31 an der Datenprotokollierungsvorrichtung 16 und ein entsprechender SSH-Client 33 am Hauptstandort 14 vorgesehen. Der SSH-Server 31 und der SSH-Client 33 werden als Verbindungsmittel zum Aufbau des SSH-Tunnels 30 als sichere Basisverbindung zwischen der Datenprotokollierungsvorrichtung 16 und dem Hauptstandort 14 betrachtet.
Das Validierungssystem 10 ist für die Systemvalidierung eines zu testendes Systems 32, das in dieser Ausführungsform ein Fahrzeug ist, ausgeführt. Das Validierungssystem 10 wird zur Durchführung einer verbesserten Datenprotokollierung des mobilen, zu testenden Systems 32 eingesetzt, das in 2 beispielhaft dargestellt ist.
In dieser Ausführungsform werden mehrere Implementierungen des mobilen, zu testenden Systems 32 verwendet. Es werden also mehrere der zu testenden Systeme 32 parallel verwendet. Wenn jedoch in der nachfolgenden Beschreibung ein einzelnes zu prüfendes System 32 gezeigt und erwähnt wird, werden alle Implementierungen des zu prüfenden Systems 32 berücksichtigt. Die verschiedenen Ausführungen des zu prüfenden Systems 32 betreffen mehrere identische Fahrzeuge. Es können jedoch geringfügige Änderungen zwischen den verschiedenen Implementierungen bestehen, was bei der Systemvalidierung überwacht wird.
Das in 2 gezeigte zu testende System 32 ist ein Fahrzeug mit einem Fahrunterstützungssystem 34, das eine besondere Form der Fahrunterstützung bereitstellt. In dieser Ausführungsform betrifft das zu testende System 32 das gesamte Fahrzeug. Das zu testende System 32 kann jede Art von Fahrzeug sein, z. B. ein Pkw oder ein Lkw, das von einem menschlichen Fahrer oder autonom gefahren werden kann.
Das Fahrunterstützungssystem 34 umfasst in dieser Ausführungsform eine Reihe von Umgebungssensoren 36, 38, 40 zur Überwachung einer Umgebung 42 des mobilen, zu testenden Systems 32. Die Umgebungssensoren 36, 38, 40 umfassen einen LiDARbasierten Umgebungssensor 36, eine optische Kamera 38 und mehrere Ultraschallsensoren 40. Die Umgebungssensoren 36, 38, 40 erkennen die Umgebung 40 des Ego-Fahrzeugs 32. Die Umgebung 40 des Ego-Fahrzeugs 32 ein Bereich um das Ego-Fahrzeug 32 herum. Die Umgebungssensoren 36, 38, 40 erzeugen Sensorinformationen, die aus Rohdaten oder vorverarbeiteten Daten bestehen können.
Das Ego-Fahrzeug 32 ist mit weiteren Sensoren ausgestattet, die in 2 nicht einzeln dargestellt sind. Wenn jedoch von den Umgebungssensoren 36, 38, 40 und den Sensordaten die Rede ist, sind alle Umgebungssensoren 36, 38, 40 und die Sensordaten aller Umgebungssensoren 36, 38, 40 eingeschlossen.
Das zu testende System 32 der ersten Ausführungsform umfasst ferner eine Verarbeitungseinheit 44 und eine Datenverbindung 46, welche die Umgebungssensoren 36, 38, 40 und die Verarbeitungseinheit 44 miteinander verbindet. Bei der Verarbeitungseinheit 44 kann es sich um jede Art von Verarbeitungseinheit 44 handeln, die für den Einsatz in dem zu testenden System 32 geeignet ist. Solche Verarbeitungseinheiten 44 sind typischerweise als ECU (electronic control unit, elektronisches Steuergerät) im Automobilbereich bekannt. Die Verarbeitungseinheit 44 kann zur Durchführung mehrerer Aufgaben oder Anwendungen gemeinsam genutzt werden. Die Verarbeitungseinheit 44 verarbeitet die von den Umgebungssensoren 36, 38, 40 bereitgestellten Sensorinformationen.
Die Datenverbindung 46 kann eine dedizierte Verbindung zwischen den Umgebungssensoren 36, 38, 40 und der Verarbeitungseinheit 44 oder ein Datenbus sein. Darüber hinaus kann die Datenverbindung 46 eine gemeinsam genutzte Datenverbindung 46 sein, die von verschiedenen Arten von Geräten des zu testenden Systems 32 genutzt wird, z.B. ein Mehrzweck-Datenbus. Die Datenverbindung 46 kann z. B. als CAN-Bus, LIN-Bus oder andere implementiert sein.
Obwohl in 2 eine einzige Datenverbindung 46 dargestellt ist, können mehrere Verbindungen oder Datenbusse, die zusammen als Datenverbindung 46 betrachtet werden, parallel vorgesehen sein zum Anschluss der Umgebungssensoren 36, 38, 40 an die Verarbeitungseinheit 44. Über die Datenverbindung 46 werden die Sensorinformationen von den Umgebungssensoren 36, 38, 40 an die Verarbeitungseinheit 44 übertragen. Obwohl in 2 eine einzige Verarbeitungseinheit 44 dargestellt ist, können ebenso mehrere Verarbeitungseinheiten 44 parallel vorgesehen sein, um die Sensorinformationen der Umgebungssensoren 36, 38, 40 in beliebiger Weise zu verarbeiten.
Jede Ausführung des zu testenden Systems 32 ist mit einer Datenprotokollierungsvorrichtung 16 ausgestattet, wie in 2 dargestellt ist. Die Datenprotokollierungsvorrichtung 16 ist über Kabel mit einer entsprechenden Schnittstelle des zu testenden Systems 32 verbunden, so dass die Datenprotokollierungsvorrichtung 16 über die Verarbeitungseinheit 44 Protokollierungsdaten 48 von dem zu testenden System 32 empfangen kann.
Nachfolgend wird ein Verfahren zur verbesserten Datenprotokollierung für die Systemvalidierung des mobilen, zu testenden Systems 32 beschrieben. Die Systemvalidierung betrifft eine Überprüfung der Leistung des zu testenden Systems 32, die häufig mit einem Referenzsystem verglichen wird. Die Systemvalidierung basiert typischerweise auf KPls, die ein korrektes Verhalten des zu testenden Systems 32 und eine Art der Verifizierung dieses Verhaltens definieren, z.B. eine erforderliche Kilometerleistung, um das korrekte Verhalten des zu testenden Systems 32 zu beweisen. Ein Ablaufdiagramm des Verfahrens ist in 5 dargestellt. Es wird zusätzlich auf die 3 und 4 verwiesen.
Das Verfahren beginnt mit Schritt S100, der die Definition von Kampagnendaten zur Durchführung einer Datenprotokollierungskampagne unter Verwendung mehrerer Implementierungen des mobilen, zu testenden Systems 32 in einer Validierungsdatenbank 12 eines Hauptstandorts 14 betrifft. Die Kampagnendaten definieren zusammen die Datenprotokollierungskampagne und umfassen Spezifikationen der erforderlichen Protokollierungsdaten 48.
Schritt S110 betrifft die Zuweisung und Übermittlung von Teilen der Kampagnendaten an jede Implementierung des zu testenden Systems 32 zur Durchführung mehrerer Protokollierungsfahrten. Die Protokollierungsfahrten umfassen typischerweise eine einzelne Fahrt einer bestimmten Implementierung des zu testenden Systems 32. Die Kampagnendaten definieren die Datenprotokollierungsfahrten zum Sammeln der erforderlichen Protokollierungsdaten 48. Die Kampagnendaten werden den verschiedenen Implementierungen des zu testenden Systems 32 zur Durchführung der Protokollierungsfahrten zugewiesen und übertragen. Die Kampagnendaten können für bestimmte Zeitintervalle, z. B. täglich, oder für die gesamte Datenprotokollierung zugewiesen und übertragen werden. Die Übermittlung der Kampagnendaten an die verschiedenen Implementierungen des zu testenden Systems 32 betrifft im Einzelnen die Übermittlung der Kampagnendaten an die Datenprotokollierungsvorrichtung 16 der jeweiligen Implementierung des zu testenden Systems 32. Da die Datenprotokollierungsvorrichtung 16 jedoch zusammen mit dem zu testenden System 32 betrieben wird, um die Datenprotokollierung durchzuführen, wird sie üblicherweise als Teil des zu testenden Systems 32 betrachtet.
Schritt S120 betrifft das Sammeln von Metadaten mit den jeweiligen Implementierungen des zu testenden Systems 32. Dies umfasst das Sammeln von Sensorinformationen von Sensoren, die an dem zu testenden System 32 bereitgestellt sind, z. B. einem Regensensor, einem Temperatursensor oder anderen, das Sammeln von Informationen aus externen Datenbanken, z. B. einer externen Wetterdatenbank, die Wetterinformationen auf der Grundlage einer aktuellen Position des zu testenden Systems 32 bereitstellt, und das Sammeln von Informationen von einem menschlichen Bediener für das Durchführen der Datenprotokollierungsfahrt mit dem zu testenden System 32.
Bei den Metadaten handelt es sich um Daten, die im Wesentlichen unabhängig von dem zu testenden System 32 sind, wie z. B. Wetterbedingungen, ein Straßenzustand, Verkehrsflussinformationen oder andere. Einige Metadaten können jedoch z. B. Fahrzeugparameter wie ein Nummernschild, eine Fahrzeugidentifikationsnummer (VIN), einen Radstand oder andere umfassen. Die Kampagnendaten zur Durchführung der Datenprotokollierungskampagne umfassen eine Definition von Metadaten oder von Kombinationen von Metadaten, die von den gesammelten Datenprotokollierungsdaten 48 abgedeckt werden sollen. Die Metadaten können direkt von der Datenprotokollierungsvorrichtung 16 gesammelt werden, wenn Metadaten von einem menschlichen Benutzer, der die Datenprotokollierungsvorrichtung 16 verwendet, hinzugefügt werden, über Sensoren, die mit der Datenprotokollierungsvorrichtung 16 verbunden sind, oder von dem zu testenden System 32, z. B. Regeninformationen von einem Regensensor des zu testenden Systems 32.
Parallel zur Erfassung der Metadaten sammelt die Datenprotokollierungsvorrichtung 16 Systemdaten und/oder Debuggingdaten und/oder Qualitätsprüfungsergebnisse des zu testenden Systems 32. Die Debuggingdaten werden zur Systemvalidierung oder zur Identifizierung interner Fehler erzeugt. Die Systemdaten umfassen von dem zu testenden System 32 erzeugte Ausgaben, einschließlich Ausgaben über eine Benutzerschnittstelle des zu testenden Systems 32 und/oder einen vom zu testenden System 32 initiierten Vorgang, z. B. das Entriegeln von Türen, das automatische Einschalten von Lichtern oder anderes. Die gesammelten Systemdaten und/oder Debuggingdaten können direkt mit den gesammelten Protokollierungsdaten 48 der jeweiligen Implementierung des zu testenden Systems 32 verbunden werden, wenn die Protokollierungsdaten 48 gesammelt werden. Die Qualitätsprüfung betrifft eine Bewertung der Qualität der gesammelten Protokollierungsdaten 48, die zumindest eine einfache Verarbeitung und/oder Auswertung der Protokollierungsdaten 48 umfasst.
Schritt S130 betrifft das Übertragen und Hinzufügen der Metadaten aus den jeweiligen Implementierungen des zu testenden Systems 32 in die Validierungsdatenbank 12 am Hauptstandort 14. Dementsprechend werden die Metadaten sofort, wenn sie verfügbar sind, an die Validierungsdatenbank 12 übertragen. Dementsprechend wird die Kommunikationsverbindung 22 mit Hilfe der Kommunikationsmittel 18, 20, wie oben beschrieben, hergestellt, oder die Kommunikationsverbindung 22 wurde zuvor hergestellt und wird aufrechterhalten, so dass die Informationen über die bereits bestehende Kommunikationsverbindung 22 übertragen werden.
Das Hinzufügen der Metadaten sowie der Systemdaten und/oder Debuggingdaten und/oder Qualitätsprüfungsergebnisse des zu testenden Systems 32 zu der Validierungsdatenbank 12 betrifft einen Aufnahme-Schritt, der die bereitgestellten Informationen gemäß einer vordefinierten Spezifikation zur Validierungsdatenbank 12 hinzufügt, um die Informationen zu organisieren.
Schritt S130 umfasst das Übertragen und Hinzufügen der Systemdaten und/oder Debuggingdaten und/oder Qualitätsprüfungsergebnisse des zu testenden Systems 32 an die Validierungsdatenbank 12 am Hauptstandort 14.
Schritt S140 betrifft die Aktualisierung der Kampagnendaten in der Validierungsdatenbank 12 auf der Grundlage der zur Validierungsdatenbank 12 hinzugefügten Metadaten. Dieser Schritt wird unter zusätzlicher Berücksichtigung der Systemdaten und/oder der Debuggingdaten und/oder der Ergebnisse der Qualitätsprüfung durchgeführt.
Auf der Grundlage der verfügbaren Metadaten werden die Kampagnendaten für die Durchführung einer Datenprotokollierungskampagne bei Bedarf aktualisiert, so dass individuelle Protokollierungskampagnen mit den verschiedenen Implementierungen des zu testenden Systems 32 auf möglichst effiziente Weise durchgeführt werden können.
Schritt S150 betrifft das Zuordnen und Übertragen zumindest von Teilen der aktualisierten Kampagnendaten an mindestens eine Implementierung des zu testenden Systems 32. Die aktualisierten Kampagnendaten werden sofort übertragen, wenn sie verfügbar sind. Auch in diesem Fall wird die Kommunikationsverbindung 22 mit Hilfe der Kommunikationsmittel 18, 20, wie oben beschrieben, hergestellt, oder die Kommunikationsverbindung 22 wurde zuvor hergestellt und wird aufrechterhalten, so dass die Informationen über die bereits bestehende Kommunikationsverbindung 22 übertragen werden.
Die Schritte des Übertragens und Hinzufügens der mit den verschiedenen Implementierungen des zu testenden Systems gesammelten Metadaten zur Validierungsdatenbank 12 am Hauptstandort 14 (S130), des Aktualisierens der Kampagnendaten in der Validierungsdatenbank 12 auf der Grundlage der zur Validierungsdatenbank 12 hinzugefügten Metadaten (S140) und des Zuordnens und Übertragens zumindest von Teilen der aktualisierten Kampagnendaten zu mindestens einer Implementierung des zu testenden Systems 32 (S150) werden als kontinuierliche Abfolge von Schritten durchgeführt.
Schritt S160 betrifft das Sammeln von Protokollierungsdaten 48 mit den jeweiligen Implementierungen des zu testenden Systems 32 gemäß den aktuellen Protokollierungsfahrten. Es wird also die Datenprotokollierung für eine aktuelle Protokollierungsfahrt gestartet.
Dabei ist zu beachten, dass eine Datenprotokollierungsfahrt gestartet werden kann, sobald das zu testende System 32 eingeschaltet wird. Um sich jedoch auf die für die Systemvalidierung des zu testenden Systems 32 erforderlichen Protokollierungsdaten 48 zu konzentrieren und das Sammeln von veralteten Protokollierungsdaten 48 zu vermeiden, ist der Beginn der Datenprotokollierung unabhängig vom Beginn des Betriebs des zu testenden Systems 32, d.h. vom Einschalten des zu testenden Systems 32. Das Sammeln der Metadaten sowie das Übertragen und Hinzufügen der Metadaten zur Validierungsdatenbank 12 ist unabhängig vom Sammeln der Protokollierungsdaten 48. Wenn die Protokolldaten 48 gesammelt werden, werden die von der jeweiligen Implementierung des zu testenden Systems 32 gesammelten Metadaten sofort auf die Protokolldaten 48 angewendet. Vorzugsweise wird die Erfassung der Protokolldaten 48 in Abhängigkeit von den aktuellen Metadaten, die mit der jeweiligen Implementierung des zu testenden Systems 32 gesammelt wurden, gestartet. Die aktuellen Metadaten werden von der Datenprotokollierungsvorrichtung 16 überwacht.
Die Datenprotokollierung betrifft z.B. die Erfassung von Sensordaten und/oder Ausgabedaten des mobilen, zu testenden Systems 32 sowie von internen Daten, die während des Betriebs erzeugt werden, und/oder von Referenzdaten, die z.B. von am zu testenden System 32 vorhandenen Referenzsensoren bereitgestellt werden. Dazu gehört das Sammeln von Sensorinformationen von den Umgebungssensoren 36, 38, 40. Darüber hinaus können weitere Sensorinformationen des zu testenden Systems 32 einbezogen werden, z.B. Odometriedaten.
Wie in 3 zu erkennen ist, sind in der Datenverarbeitungsvorrichtung 24 verschiedene Protokollierungseinheiten 50 vorgesehen, die eine Datenprotokollierung für verschiedene Teile des zu testenden Systems 32 durchführen. Jede Protokollierungseinheit 50 erzeugt somit ein Geräteprotokoll 52, die zusammen die Protokollierungsdaten 48 bilden. Die Datenprotokollierung erfolgt über die Datenprotokollierungsvorrichtung 16 der jeweiligen Implementierung des zu testenden Systems 32, die die Protokollierungsdaten 48 von dem zu testenden System 32 empfängt.
Nach dem Start der Datenprotokollierung umfasst das Aktualisieren der Kampagnendaten in der Validierungsdatenbank 12 auf der Grundlage der zur Validierungsdatenbank 12 hinzugefügten Metadaten das Identifizieren der aktuellen Metadaten mindestens einer Implementierung des zu testenden Systems 32 in der Validierungsdatenbank 12, wie sie an den Hauptstandort 14 übermittelt und zur Validierungsdatenbank 12 hinzugefügt wurden, und das Aktualisieren der Kampagnendaten für eine aktuelle Datenprotokollierungsfahrt in mindestens einer Implementierung des zu testenden Systems 32 auf der Grundlage der aktuellen Metadaten in der Validierungsdatenbank 12. Metadaten, die bereits beispielsweise von dem Zeitpunkt des Einschaltens der jeweiligen Implementierung des zu testenden Systems 32 oder auch des Einschaltens der jeweiligen Datenprotokollierungsvorrichtung 16 bereitgestellt wurden, werden in der Validierungsdatenbank 12 zur Aktualisierung der Kampagnendaten ausgewertet. Dementsprechend erfolgt die Aktualisierung der Kampagnendaten just in time, um immer die am besten geeigneten Protokollierungsdaten 48 zu sammeln. Dies beinhaltet, dass eine Datenprotokollierungsfahrt abgebrochen werden kann, wenn die aktuellen Metadaten nicht den Anforderungen für das Sammeln weiterer Protokollierungsdaten 48 entsprechen, sowie das Senden von Implementierungen des zu testenden Systems 32 an einen Ort, an dem aktuelle Metadaten gemeldet wurden, die einer Spezifikation für eine aktuelle Datenprotokollierungsfahrt entsprechen.
Schritt S170 betrifft das Hinzufügen der mit den jeweiligen Implementierungen des zu testenden Systems 32 gesammelten Protokollierungsdaten 48 zur Validierungsdatenbank 12 am Hauptstandort 14.
Die Protokollierungsdaten 48 werden unabhängig von den Metadaten in die Validierungsdatenbank 12 transferiert und hinzugefügt, da bei der Datenprotokollierung große Mengen an Protokollierungsdaten gesammelt werden. Die Protokollierungsdaten 48 werden z. B. über eine Hochgeschwindigkeits-Netzwerkverbindung, typischerweise eine leitungsgebundene Netzwerkverbindung, an die Validierungsdatenbank 12 übertragen, wenn das zu testende System 32 eine aktuelle Datenprotokollierungsfahrt abgeschlossen hat, oder die Protokollierungsdaten 48 werden auf einem Massenspeichergerät, wie z. B. einem Festplattenlaufwerk, gespeichert und an den Hauptstandort 14 versandt.
Schritt S180 betrifft das Zuordnen der gesammelten Protokollierungsdaten 48 zu den entsprechenden Metadaten, die bereits der Validierungsdatenbank 12 hinzugefügt wurden. Somit werden die der Validierungsdatenbank 12 hinzugefügten Protokollierungsdaten 48 mit den entsprechenden Metadaten, die bereits in Schritt S130 übertragen und der Validierungsdatenbank 12 hinzugefügt wurden, kombiniert. Mit anderen Worten werden die Protokollierungsdaten 48 und die Metadaten im Validierungsserver 12 für die weitere Verarbeitung und die Systemvalidierung miteinander abgeglichen.
Bezugszeichenliste

10: Validierungssystem
12: Validierungsdatenbank
14: Hauptstandort
16: Datenprotokollierungsvorrichtung
18: Netzwerkadapter, Kommunikationsmittel
20: mobiler Router, Kommunikationsmittel
22: Kommunikationsverbindung
24: Datenverarbeitungsvorrichtung
26: SSH-Server, Datenbankserver
28: Datenbank-Client
30: SSH-Tunnel
31: SSH-Server, Verbindungsmittel
32: zu testendes System, Fahrzeug
33: SSH-Client, Verbindungsmittel
34: Fahrunterstützungssystem
36: LiDAR-basierter Umgebungssensor, Sensor
38: Ultraschallsensor für die Umgebung, Sensor
40: optische Kamera, Sensor
42: Umgebung
44: Verarbeitungseinheit
46: Datenverbindung, interner Datenbus
48: Protokollierungsdaten
50: Protokollierungseinheit
52: Geräteprotokoll

Claims

Verfahren zur Durchführung einer verbesserten Datenprotokollierung zur Systemvalidierung eines mobilen, zu testenden Systems (32), insbesondere eines Fahrzeugs (32), mit mehreren Sensoren (36, 38, 40), insbesondere mit Umgebungssensoren (36, 38, 40) zur Überwachung einer Umgebung (42) des zu testenden Systems (32), umfassend die Schritte Definieren von Kampagnendaten zur Durchführung einer Datenprotokollierungskampagne unter Verwendung mehrerer Implementierungen des mobilen, zu testenden Systems (32) in einer Validierungsdatenbank (12) eines Hauptstandorts (14), Zuordnen und Übertragen von Teilen der Kampagnendaten zu jeder Implementierung des zu testenden Systems (32) zur Durchführung mehrerer Protokollierungsfahrten, Sammeln von Metadaten mit den jeweiligen Implementierungen des zu testenden Systems (32), Übertragen und Hinzufügen der Metadaten von den jeweiligen Implementierungen des zu testenden Systems (32) an die Validierungsdatenbank (12) am Hauptstandort (14), Aktualisieren der Kampagnendaten in der Validierungsdatenbank (12) auf der Grundlage der zur Validierungsdatenbank (12) hinzugefügten Metadaten, und Zuordnen und Übertragen zumindest von Teilen der aktualisierten Kampagnendaten an mindestens eine Implementierung des zu testenden Systems (32).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt umfasst zum Sammeln von Protokollierungsdaten (48) mit den jeweiligen Implementierungen des zu testenden Systems (32) gemäß den laufenden Protokollierungsfahrten.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Verfahren die folgenden zusätzlichen Schritte umfasst Hinzufügen der Protokollierungsdaten (48), die mit den jeweiligen Implementierungen des zu testenden Systems (32) gesammelt wurden, zur Validierungsdatenbank (12) am Hauptstandort (14), und Zuordnen der gesammelten Protokollierungsdaten (48) zu den jeweiligen Metadaten, die der Validierungsdatenbank (12) bereits hinzugefügt wurden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schritte des Übertragens und Hinzufügens der mit den verschiedenen Implementierungen des zu testenden Systems (32) gesammelten Metadaten zur Validierungsdatenbank (12) am Hauptstandort (14), des Aktualisierens der Kampagnendaten in der Validierungsdatenbank (12) auf der Grundlage der zur Validierungsdatenbank (12) hinzugefügten Metadaten und des Zuordnens und Übertragens zumindest von Teilen der aktualisierten Kampagnendaten zu mindestens einer Implementierung des zu testenden Systems (32) als eine kontinuierliche Abfolge von Schritten durchgeführt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Aktualisierens der Kampagnendaten in der Validierungsdatenbank (12) auf der Grundlage der zu der Validierungsdatenbank (12) hinzugefügten Metadaten das Identifizieren aktueller Metadaten mindestens einer Implementierung des zu testenden Systems (32), wie sie an dem Hauptstandort (14) übertragen und zu der Validierungsdatenbank (12) hinzugefügt wurden, in der Validierungsdatenbank (12) und das Aktualisieren der Kampagnendaten in mindestens einer Implementierung des zu testenden Systems (32) für eine aktuelle Datenprotokollierungsfahrt auf der Grundlage der aktuellen Metadaten in der Validierungsdatenbank (12) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren die folgenden zusätzlichen Schritte umfasst Sammeln von Systemdaten und/oder Debuggingdaten und/oder eines Qualitätsprüfungsergebnisses der jeweiligen Implementierung des zu testenden Systems (32), und Übertragen und Hinzufügen der Systemdaten und/oder der Debuggingdaten und/oder des Qualitätsprüfungsergebnisses von den jeweiligen Implementierungen des zu testenden Systems (32) an die Validierungsdatenbank (12) am Hauptstandort (14), und der Schritt des Aktualisierens der Kampagnendaten in der Validierungsdatenbank (12) auf der Grundlage der zur Validierungsdatenbank (12) hinzugefügten Metadaten unter zusätzlicher Berücksichtigung der Systemdaten und/oder der Debuggingdaten und/oder des Qualitätsprüfungsergebnisses durchgeführt wird.
Validierungssystem (10) zur Durchführung einer verbesserten Datenprotokollierung eines mobilen, zu testenden Systems (32), insbesondere eines Fahrzeugs (32), mit mehreren Sensoren (36, 38, 40), insbesondere mit Umgebungssensoren (36, 38, 40) zur Überwachung einer Umgebung (42) des zu testenden Systems (32), umfassend eine Validierungsdatenbank (12), die an einem Hauptstandort (14) bereitgestellt ist, mehrere Datenprotokollierungsvorrichtungen (16) für jede Implementierung des zu testenden Systems (32), wobei jede der mehreren Datenprotokollierungsvorrichtungen (16) Kommunikationsmittel (18, 20) zum Kommunizieren mit dem Hauptstandort (14) umfasst und der Hauptstandort (14) Kommunikationsmittel (18, 20) zum Kommunizieren mit jeder der mehreren Datenprotokollierungsvorrichtungen (16) umfasst, und das Validierungssystem (10) ausgeführt ist, das Verfahren nach einem der obigen Ansprüche 1 bis 6 durchzuführen.
Validierungssystem (10) nach Anspruch 7, dadurch gekennzeichnet, dass die Kommunikationsmittel (18, 20) ein Mobiltelefon, einen mobilen Router (20), ein WLAN-Modul und/oder ein Bluetooth-Modul zum Aufbau der Kommunikationsverbindung als drahtlose Kommunikationsverbindung (22), insbesondere über das Internet, umfassen.
Validierungssystem (10) nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass die Kommunikationsmittel (18, 20) einen Netzwerkadapter (18) zum Aufbau der Kommunikationsverbindung (22) als kabelbasierte Netzwerkkommunikationsverbindung, insbesondere über das Internet, umfassen.
Validierungssystem (10) nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass jede der mehreren Datenprotokollierungsvorrichtungen (16) einen Datenbankserver (26) zur Verbindung mit der am Hauptstandort (14) vorgesehenen Validierungsdatenbank (12) umfasst, und der Hauptstandort (14) mindestens einen Datenbank-Client (28) zur Verbindung mit den Datenbankservern (26) der Datenprotokollierungsvorrichtungen (16) umfasst.
Validierungssystem (10) nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass jede der mehreren Datenprotokollierungsvorrichtungen (16) und der Hauptstandort (14) Verbindungsmittel (31, 33) zur Herstellung einer sicheren Verbindung, insbesondere über das Internet, umfassen.
Validierungssystem (10) nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass die Kommunikationsmittel (18, 20) ausgeführt sind, eine Punkt-zu-Punkt-Verbindung zwischen der am Hauptstandort (14) bereitgestellten Validierungsdatenbank (12) und der jeweiligen Datenprotokollierungsvorrichtung (16) herzustellen.