DE102021108131A1

DE102021108131A1 - Verbesserte Datenprotokollierung zur Systemvalidierung in Fahrunterstützungssystemen

Info

Publication number: DE102021108131A1
Application number: DE102021108131.9A
Authority: DE
Inventors: Petr Krejci; Pavel Jiroutek; Edgar Martinez-Granada; Vsevolod Vovkushevsky
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2021-03-31
Filing date: 2021-03-31
Publication date: 2022-10-06

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Durchführung einer verbesserten Datenprotokollierung von Protokollierungsdaten für ein mobiles, zu testendes System, insbesondere ein Fahrzeug, mit mehreren Sensoren, insbesondere einschließlich Umgebungssensoren zur Überwachung einer Umgebung des Fahrzeugs, umfassend die Schritte Bereitstellen von Kampagnendaten zur Durchführung einer Datenprotokollierungskampagne für das zu testende System, Sammeln von Protokollierungsdaten mit dem zu testenden System gemäß den Kampagnendaten, Durchführen einer teilweisen Leistungsbewertung des zu testenden Systems basierend auf den gesammelten Protokollierungsdaten, Übertragen eines Ergebnisses der teilweisen Leistungsbewertung von dem zu testenden System an einen Hauptstandort, Aktualisieren der Kampagnendaten basierend auf dem Ergebnis der teilweisen Leistungsbewertung am Hauptstandort, und Übertragen der aktualisierten Kampagnendaten vom Hauptstandort an das zu testende System.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Durchführung einer Datenprotokollierung von Protokollierungsdaten für ein mobiles, zu testendes System, insbesondere ein Fahrzeug, mit mehreren Sensoren, insbesondere einschließlich Umgebungssensoren zur Überwachung einer Umgebung des Fahrzeugs.
Die Datenprotokollierung von Protokollierungsdaten eines Fahrzeugs ist ein notwendiger Bestandteil eines Systemvalidierungsprozesses für Fahrunterstützungssysteme und insbesondere für autonom fahrende Fahrzeuge. Die entsprechenden Fahrunterstützungssysteme bzw. autonom fahrenden Fahrzeuge werden im Weiteren als zu testendes System bezeichnet.
Die Datenprotokollierung wird in einer Datenprotokollierungskampagne gemäß einem oder mehreren definierten Testszenarien durchgeführt. Die Datenprotokollierungskampagne umfasst typischerweise mehrere einzelne Protokollierungsfahrten, z.B. Touren mit dem zu testenden System. Ziele einer solchen Datenprotokollierung umfassen die Sammlung von Datensätzen, die Überwachung des zu testenden Systems und die Leistungsbewertung des zu testenden Systems. Die Datenprotokollierung betrifft also die Erzeugung von Datensätzen mit Protokollierungsdaten, die z.B. Sensordaten und/oder Ausgabedaten des mobilen, zu testenden Systems und interne Daten, wie sie im Betrieb anfallen, umfassen. Dies kann auch Debugging-Daten umfassen, die lediglich zum Zweck der Datenprotokollierung erzeugt werden. Die Sensordaten werden von Sensoren des zu testenden Systems gesammelt. Die Sensordaten werden über das zu testende System oder über ein spezielles Protokollierungsgerät gesammelt, das mit dem zu testenden System verbunden ist, insbesondere über einen Protokollierungs- oder Debugging-Anschluss. Das zu testende System wird häufig entsprechend den definierten Testszenarien bewegt oder bewegt sich, um für das jeweilige Testszenario am besten geeignete Sensordaten zu sammeln. Die Sensordaten werden insbesondere von Umgebungssensoren geliefert, die Sensorinformationen in Bezug auf eine Umgebung des zu testenden Systems liefern. Dabei können verschiedene Arten von Umgebungssensoren allein oder in beliebiger Kombination und in beliebiger Anzahl und Anordnung am Fahrzeug eingesetzt werden, insbesondere optische Kameras, LiDAR-basierte Umgebungssensoren, Radarsensoren, Ultraschallsensoren, um nur einige der derzeit gängigsten Arten von Umgebungssensoren zu nennen. Darüber hinaus können zusätzliche Sensorinformationen des Fahrzeugs einbezogen werden, z.B. Odometriedaten, insbesondere wenn es sich um autonom fahrende Fahrzeuge handelt. Die Ausgabedaten können jede Art von Ausgabe umfassen, die von dem zu testenden System erzeugt wird, einschließlich Ausgaben über eine Benutzerschnittstelle des zu testenden Systems und/oder eine von dem zu testenden System initiierte Operation, z.B. das Entriegeln von Türen, das automatische Einschalten von Lichtern oder anderes. Die internen Daten sowie die Debugging-Daten sind typischerweise nicht sichtbar und werden intern vom zu testenden System verwendet und/oder um eine Verifizierung eines Verhaltens des zu testenden Systems zu ermöglichen.
Daher wird die Datenprotokollierung typischerweise durchgeführt, um Protokollierungsdaten zu sammeln, die verschiedene Fahrbedingungen, Umgebungsbedingungen oder andere Bedingungen abdecken. Zum Beispiel erfordert die Systemvalidierung eine gewisse Variation der Protokollierungsdaten, wie sie durch ein statistisches Modell und/oder durch Interessengruppen definiert ist. Dies kann durch Ort, Wetter, Straßentyp, Verkehrsbedingungen, Fahrsituationen und andere definiert werden. Verschiedene Kombinationen von Kriterien müssen erfüllt werden, und es ist eines der Ziele der Kampagnenplanung, sicherzustellen, dass alle erforderlichen Kombinationen von Protokollierungsdaten in ausreichender Menge erfasst werden, z.B. deckt das überholt werden des Fahrzeugs beim Fahren auf der Autobahn bei Regen drei verschiedene Bedingungen gleichzeitig ab, nämlich das Überholmanöver, das Fahren auf der Autobahn und das Fahren bei Regen. Die Planung der Kampagne ist eine logistische Aufgabe, die darauf abzielt, das erforderliche Fahren des Fahrzeugs auf möglichst effiziente Weise zu erfüllen. Sie hängt stark von der Verfügbarkeit von Traces mit Protokollierungsdaten ab.
Insbesondere die Entwicklung und Leistungsbewertung eines zu testenden Systems, d.h. eines Fahrunterstützungssystems oder eines autonom fahrenden Fahrzeugs, beruht auf der Generierung von Datensätzen, die die Protokollierungsdaten umfassen, wie sie vom zu testenden System während der Datenprotokollierung gesammelt werden, und zusätzlich auf einer Annotation der Protokollierungsdaten. Die Annotation wird insbesondere für Sensordaten durchgeführt, wie sie z.B. von den Umgebungssensoren des zu testenden Systems bereitgestellt werden. Bei der Annotation werden Metadaten zu den gesammelten Protokollierungsdaten erzeugt. Einige der Metadaten können statisch sein, wie z.B. eine Sensorposition, einige der Metadaten können sich langsam ändern, wie z.B. das Wetter oder der Straßentyp, und einige Metadaten können hochdynamisch sein, wie z.B. Objekte in der Umgebung des Fahrzeugs, einschließlich anderer Verkehrsteilnehmer, Verkehrsschilder oder andere. Die Annotation kann manuell durchgeführt werden, wobei ein menschlicher Annotator alle Aufgaben übernimmt. Alternativ kann sie auch automatisch erfolgen, wobei einige typischerweise komplexe Algorithmen verwendet werden. Darüber hinaus sind auch Kombinationen aus menschlichen und automatischen Annotationen bekannt. Die Metadaten können spezifisch für einen Teil der Protokollierungsdaten sein, z.B. ein Objekt, das von einem der Sensoren erkannt wurde, oder sie können allgemein sein, z.B. die Wetterbedingungen zu einem bestimmten Zeitpunkt beschreiben, was für alle Protokollierungsdaten gilt.
Diese Metadaten können für verschiedene Zwecke verwendet werden, z.B. für die Erfassung der Auswertung des Kampagnenstatus, die Suche nach bestimmten Umgebungsbedingungen, die Suche nach bestimmten Bedingungen des Verkehrsszenarios und für die Bewertung der Systemleistung. Die gesammelten und mit Annotationen versehenen Protokollierungsdaten können darüber hinaus für das Training oder für die Leistungsbewertung eines zu testenden Systems, d. h. eines Fahrunterstützungssystems oder eines autonom fahrenden Fahrzeugs, verwendet werden. Daher ist auch die Annotation eine Voraussetzung für die Planung einer Kampagne zur Durchführung der Datenprotokollierung.
Die Annotation der Protokollierungsdaten erfordert typischerweise mehrere Datentransfers und Offline-Datenverarbeitungsschritte, oft auch an verschiedenen entfernten Orten. In diesem Zusammenhang ist anzumerken, dass sich der Datentransfer aufgrund der für die Datenprotokollierung verwendeten Orte und der bei der Datenprotokollierung gesammelten Datenmengen häufig auf die Übertragung eines physischen Speichermediums mit den Protokollierungsdaten bezieht, z.B. eine Festplatte oder andere Massenspeichergeräte. Die Datenprotokollierung kann abhängig von den Sensoren des Fahrzeugs mehrere Gigabits an Daten pro Sekunde liefern. Dadurch entsteht eine Verzögerung zwischen dem Sammeln der Protokollierungsdaten und möglichen Verbesserungen oder Verifizierungen einer Systemleistung der jeweiligen zu testenden Systeme. Eine weitere Verzögerung kann auftreten, wenn sich herausstellt, dass die gesammelten Protokollierungsdaten nicht für den gewünschten Zweck gemäß dem/den Testszenario(s) geeignet sind, so dass die Datenerfassung wiederholt werden muss, was eine weitere Protokollierungsfahrt mit dem zu testenden System erfordert. Da sich das zu testende System oft noch in der Entwicklungsphase befindet, besteht bereits eine erhöhte Wahrscheinlichkeit für verschiedenartige Fehlfunktionen des Systems. Bestimmte Fehlfunktionen sind bei einer elementaren Datenqualitätsprüfung einfach zu erkennen, z.B. wenn keine Protokollierungsdaten gesammelt werden. Andere Fehlfunktionen sind schwieriger zu erkennen, z.B. falsch ausgerichtete Sensoren oder andere, die erst nach der Verarbeitung der Protokollierungsdaten erkannt werden können. Typischerweise haben Protokollierungsdaten, die mit dem System mit einer Störung gesammelt wurden, keinen oder nur einen geringen Wert und es muss eine Maßnahme ergriffen werden, um die Systemfunktionalität wiederherzustellen. Aber auch wenn das zu testende System korrekt funktioniert, kann es sich herausstellen, dass die gesammelten Protokollierungsdaten aus irgendeinem Grund eines oder mehrere der Testszenarien nicht abdecken. Im schlimmsten Fall muss die Datenprotokollierung für eines oder mehrere der Testszenarien wiederholt werden.
Ein Ablauf einer typischen Kampagne, wie sie nach dem Stand der Technik durchgeführt wird, ist in dargestellt. Gemäß der Kampagne wird eine Datenprotokollierung durchgeführt, um Protokollierungsdaten zu sammeln, gefolgt von einer elementaren Qualitätsprüfung. Die Datenprotokollierung und die elementare Qualitätsprüfung werden im Fahrzeug durchgeführt. Anschließend werden die gesammelten Protokollierungsdaten an einen Hauptstandort versandt, d. h. eine Festplatte mit den gesammelten Protokollierungsdaten wird per Paketdienst an den Hauptstandort geschickt. Dort wird eine vollständige Qualitätsprüfung durchgeführt, bevor die Festplatte mit den Protokollierungsdaten, ebenfalls per Paketdienst, an einen Unterstützungsstandort weitergeschickt wird. Nach der Annotation der Protokollierungsdaten am Unterstützungsstandort werden die Protokollierungsdaten mit den hinzugefügten Annotationen an den Hauptstandort zurückgeschickt, ebenfalls per Paketdienst. Am Hauptstandort wird eine Leistungsbewertung und -analyse auf Basis der Protokollierungsdaten mit den Annotationen durchgeführt. Darauf aufbauend erfolgt eine weitere Überwachung und Planung der Datenerfassungskampagne, die dann wieder im Fahrzeug durchgeführt wird. Somit werden die Kampagnendaten dem Fahrzeug zur Verfügung gestellt.
Solche Verzögerungen sind höchst unerwünscht, da sie zusätzliche Kosten verursachen können. Eine verspätete Rückmeldung an die Systementwicklung kann den Rollout des zu testenden Systems verzögern. Darüber hinaus werden Datenprotokollierungskampagnen oft im Voraus geplant und in starrer Weise ausgeführt. Darüber hinaus erfordert die Systemvalidierung oft, dass bestimmte spezifische Testszenarien durch die Datenprotokollierung abgedeckt werden. Insgesamt ist es aufgrund der Verzögerungen bei der Analyse der Protokollierungsdaten derzeit nicht möglich, schnelles Feedback zur Anpassung einer Kampagne zu geben.
Gemäß dem Dokument US 2017 / 0232974 A1 umfasst ein Fahrassistenzsystem eine Onboard-Vorrichtung, die an einem Fahrzeug angebracht ist und ein automatisches Fahren auf der Grundlage von Erfassungsinformationen durchführt, die von einem Sensor des Fahrzeugs erfasst werden, sowie eine Zentrale, die mit der Onboard-Vorrichtung kommuniziert. Die Onboard-Vorrichtung umfasst einen Erfassungsinformations-Erfassungsteil, der die Erfassungsinformationen erfasst. Entweder das Onboard-Gerät oder das Zentrum enthält einen Bewertungsabschnitt, der eine Erfassungsleistung des Sensors basierend auf den Erfassungsinformationen bewertet. Das Zentrum enthält einen Bereichsspezifikationsabschnitt, der einen Abnahmebereich spezifiziert, in dem die Erkennungsleistung des Sensors abnimmt, wobei der Abnahmebereich durch die Erkennungsleistung basierend auf den Erkennungsinformationen spezifiziert wird und der Abnahmebereich durch eine Position spezifiziert wird, an der die Erkennungsinformationen erkannt wurden. Das Bordgerät stoppt das automatische Fahren, wenn sich das Fahrzeug in dem Abnahmebereich befindet.
Das Dokument US 2017 / 0263120 A1 betrifft die Überwachung der Fahrzeugsicherheit, insbesondere die Überwachung eines Zustands eines Bedieners eines Fahrzeugs. Es wird ein System zur Alarmierung des Bedieners und/oder eines entfernten Servers/Benutzers bereitgestellt, wenn die Fahrzeit des Bedieners einen vorbestimmten maximalen Schwellenwert verletzt. Es kann ein System enthalten sein, das das Fahrverhalten eines Bedieners mit einem personalisierten Fahrmodell vergleicht und auf der Grundlage dieses Vergleichs ein Kennzeichen erzeugt. Dieser Vergleich kann helfen zu erkennen, wenn der Fahrer Anzeichen von Müdigkeit oder anderen Arten von Beeinträchtigungen zeigt. Geografische Informationen können zur Verbesserung von Verkehrssicherheitssystemen verwendet werden.
Weiterhin betrifft das Dokument US 2017 / 0309092 A1 ein Verfahren zur Bestimmung von Fahreigenschaften eines Fahrzeugs. Um ein verbessertes Verfahren bereitzustellen, um aus einer Fahrcharakteristik des Fahrzeugs eine langfristige mechanische Beanspruchung eines Fahrzeugs zu bestimmen, wird vorgeschlagen, dass während des Betriebs des Fahrzeugs eine Beschleunigung des Fahrzeugs durch einen Beschleunigungssensor im Fahrzeug erfasst und durch ein Fahrzeuganalysesystem im Fahrzeug ausgewertet wird, wobei ein Fahrparameter, der während eines Beschleunigungsereignisses auftritt, bei dem die Fahrzeugbeschleunigung über einem vorbestimmten Schwellenwert liegt, zur Bestimmung eines Fahrcharakteristikwertes des Fahrzeugs verwendet wird.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur Durchführung einer verbesserten Datenprotokollierung von Protokollierungsdaten für ein mobiles, zu testendes System bereitzustellen, das zumindest einen Teil der oben genannten Probleme überwindet und das eine effiziente Datenprotokollierung mit einer Rückkopplungsschleife mit kurzen Verzögerungen ermöglicht.
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen angegeben.
Insbesondere stellt die vorliegende Erfindung ein Verfahren zur Durchführung einer verbesserten Datenprotokollierung von Protokollierungsdaten für ein mobiles, zu testendes System, insbesondere ein Fahrzeug, mit mehreren Sensoren, insbesondere einschließlich Umgebungssensoren zur Überwachung einer Umgebung des Fahrzeugs, bereit, mit den Schritten Bereitstellen von Kampagnendaten zur Durchführung einer Datenprotokollierungskampagne für das zu testende System, Sammeln von Protokollierungsdaten mit dem zu testenden System gemäß den Kampagnendaten, Durchführen einer teilweisen Leistungsbewertung des zu testenden Systems basierend auf den gesammelten Protokollierungsdaten, Übertragen eines Ergebnisses der teilweisen Leistungsbewertung von dem zu testenden System an einen Hauptstandort, Aktualisieren der Kampagnendaten basierend auf dem Ergebnis der teilweisen Leistungsbewertung am Hauptstandort, und Übertragen der aktualisierten Kampagnendaten vom Hauptstandort an das zu testende System.
Die Grundidee der Erfindung ist es, eine teilweise Leistungsbewertung bereits zum Zeitpunkt der Datenprotokollierungskampagne durchzuführen, also in engem zeitlichen Zusammenhang mit der Datenprotokollierung oder sogar mit einzelnen Protokollierungsfahrten der Datenprotokollierungskampagne. Das bedeutet, dass die teilweise Leistungsbewertung zum Zeitpunkt der Datenprotokollierung oder zumindest vor Beendigung der Datenprotokollierung, also vor dem Versand der gesammelten Protokollierungsdaten per Paketdienst an den Hauptstandort, erfolgt. Allerdings sind die Ressourcen, z.B. in Bezug auf Rechenleistung und elektrische Leistung im Testsystem, im Vergleich zu den Offline-Möglichkeiten am Hauptstandort begrenzt, so dass die Leistungsbewertung des Testsystems nur teilweise durchgeführt werden kann. Obwohl die teilweise Leistungsbewertung im Vergleich zur vollständigen Leistungsbewertung nur eingeschränkt durchgeführt werden kann, kann dies von großem Wert sein, da die teilweise Leistungsbewertung sofort verfügbar ist, insbesondere früher als eine vollständige Leistungsbewertung, die am Hauptstandort durchgeführt wird, nachdem die gesammelten Protokollierungsdaten per Paketdienst empfangen wurden.
In diesem Zusammenhang ist zu beachten, dass die teilweise Leistungsbewertung unter Verwendung von Ressourcen des zu testenden Systems oder lokaler, am zu testenden System verfügbarer Ressourcen durchgeführt werden kann. In einigen Fällen kann dies auch die Übertragung eines Teils der gesammelten Protokollierungsdaten an einen Verarbeitungsort beinhalten. Darüber hinaus kann die teilweise Leistungsbewertung direkt „on the fly“ durchgeführt werden, d.h. zum Zeitpunkt des Sammelns der Protokollierungsdaten, oder mit einer gewissen Verzögerung, wobei die Verzögerung unbeabsichtigt sein kann, z.B. aufgrund einer Verzögerung im System, oder beabsichtigt, z.B. um auf „zukünftige“ Protokollierungsdaten aus Sicht der verzögerten Protokollierungsdaten zu warten. Die teilweise Leistungsbewertung kann auch „on the fly“ gestartet werden und mit einer Verzögerung aufgrund der Verarbeitungsgeschwindigkeit enden.
In jedem Fall steht das Ergebnis der teilweisen Leistungsbewertung nahezu sofort zur Verfügung und kann zur Aktualisierung der aktuellen Datenprotokollierungskampagne verwendet werden, indem die aktualisierten Kampagnendaten vom Hauptstandort an das zu testende System geliefert werden.
Die aktualisierten Kampagnendaten können bestimmte Informationen in Bezug auf fehlende Protokollierungsdaten oder bestimmte Anweisungen enthalten, wie weitere Protokollierungsdaten gesammelt werden sollen, z.B. um bestimmte Verkehrsbedingungen zu suchen, bestimmte Orte anzufahren, den Fahrstil zu ändern, das Fahrzeug unter bestimmten Umgebungsbedingungen wie Temperaturen, Regen, Schnee, Wind oder anderen zu betreiben, usw. Die aktualisierten Kampagnendaten können sogar darin bestehen, das System abzuschalten und zu einer Basis zurückzukehren, z.B. wenn die teilweise Leistungsbewertung eher schlecht ist und keine Verbesserung durch eine andere Durchführung der Kampagne verspricht.
Das Ergebnis der teilweisen Leistungsbewertung ermöglicht sowohl eine Online-Systemleistungsbewertung als auch eine erweiterte Diagnose. Dies hat mehrere Vorteile, wie z.B. eine Optimierung der Datenerfassungskampagne durch die Reduzierung der Zeit, die für die Aufzeichnung irrelevanter Daten aufgewendet wird, eine Optimierung der Datenerfassungskampagne durch die rechtzeitige Identifizierung komplexer Fehlermodi des zu testenden Systems und die Möglichkeit, sofort geeignete Gegenmaßnahmen zu ergreifen, ein schnelles Feedback über die aktuelle Systemleistung, um den Entwicklungs- und Validierungszyklus zu verkürzen, oder andere. Darüber hinaus können die Kosten für die manuelle Annotation gesenkt werden, da nur nützliche Protokollierungsdaten zur weiteren Analyse, z.B. zur vollständigen Leistungsbewertung, versandt werden.
Das mobile, zu testende System betrifft ein System, das insbesondere nicht mit einer schnellen Datenanbindung an ein Rechenzentrum angeschlossen oder mit hoher Rechenleistung ausgestattet ist, was z.B. beim Testen von Fahrzeugen oder Fahrzeugkomponenten wie Fahrunterstützungssystemen häufig der Fall ist. Solche Tests werden aus verschiedenen Gründen häufig in dünn besiedelten Gebieten durchgeführt. In jedem Fall sind verfügbare Kommunikationsverbindungen, insbesondere Mobilfunkverbindungen, typischerweise nicht leistungsfähig genug, um gesammelte Protokollierungsdaten in Echtzeit an den Hauptstandort zu übertragen, da bei der Datenprotokollierung riesige Mengen an Protokollierungsdaten anfallen, z.B. 10 Gigabit pro Sekunde.
Die Datenprotokollierung betrifft die Erzeugung von Datensätzen, die Protokollierungsdaten umfassen, einschließlich z.B. Sensordaten und/oder Ausgangsdaten des mobilen, zu testenden Systems und interne Daten, wie sie während des Betriebs entstehen. Dies kann auch Debugging-Daten umfassen, die lediglich zum Zweck der Datenprotokollierung und der anschließenden Verifizierung des zu testenden Systems erzeugt werden. Die Protokollierungsdaten werden mit dem zu testenden System oder mit einem speziellen Protokollierungsgerät gesammelt, das mit dem zu testenden System verbunden ist, insbesondere über einen Protokollierungs- oder Debugging-Port. Das zu testende System wird häufig entsprechend den definierten Testszenarien bewegt oder bewegt sich, um die für das jeweilige Testszenario am besten geeigneten Sensordaten zu sammeln. Die Sensordaten werden insbesondere von Umgebungssensoren geliefert, die Sensorinformationen in Bezug auf eine Umgebung des zu testenden Systems liefern. Es können verschiedene Arten von Umgebungssensoren allein oder in beliebiger Kombination und in beliebiger Anzahl und Anordnung am zu testenden System eingesetzt werden. Dazu gehören insbesondere optische Kameras, LiDAR-basierte Umgebungssensoren, Radarsensoren, Ultraschallsensoren, um nur einige der derzeit gängigsten Arten von Umgebungssensoren zu nennen. Darüber hinaus können zusätzliche Sensorinformationen des Fahrzeugs einbezogen werden, z.B. Odometriedaten, insbesondere wenn es sich um autonom fahrende Fahrzeuge handelt. Die Sensoren können jede Art von Sensor umfassen, der das zu testende System überwacht, einschließlich z.B. Sensoren zur Überwachung von z.B. Motortemperatur, Öldruck, Wassertemperatur, Reifendruck, Kabinentemperatur, Batterieladung, um nur einige zu nennen. Darüber hinaus können die Sensordaten Eingaben von der Nutzung einer Benutzeroberfläche, insbesondere eines Touchscreens, der Nutzung von Hilfssystemen durch die Fahrgäste, z.B. der Klimaanlage, GPS-Positionsinformationen, wie sie von einem eingebauten GPS-Empfänger empfangen werden, oder andere umfassen, so dass in diesem Fall auch Ul-Elemente als Sensoren im Rahmen der vorliegenden Erfindung betrachtet werden. Die Ausgabedaten können jede Art von Ausgabe umfassen, die vom zu testenden System erzeugt wird, einschließlich Ausgaben über eine Benutzeroberfläche des zu testenden Systems und/oder eine vom zu testenden System initiierte Operation, z.B. das Entriegeln von Türen, das automatische Einschalten von Lichtern oder andere. Die internen Daten sowie die Debugging-Daten sind typischerweise nicht sichtbar und werden intern vom zu testenden System verwendet und/oder um eine Verifizierung eines Verhaltens des zu testenden Systems zu ermöglichen. Im Allgemeinen hängen die Sensoren von der Art des zu testenden Systems ab.
Die Kampagnendaten für die Durchführung einer Datenprotokollierungskampagne spezifizieren typischerweise eine Art von Protokollierungsdaten, die z.B. für die Systemverifizierung erforderlich sind, oder sie spezifizieren eine Art und Weise, wie diese erforderlichen Protokollierungsdaten gesammelt werden können. Im ersten Fall können die Kampagnendaten z.B. angeben, dass Protokollierungsdaten für das zu testende System erforderlich sind, das sich zu einem bestimmten Zeitpunkt an einem bestimmten Ort befindet und sich während eines bestimmten Zeitraums und bei bestimmten Umgebungsbedingungen auf eine bestimmte Weise verhält. Im zweiten Fall können die Kampagnendaten z.B. bestimmte Routen vorgeben, die zu bestimmten Zeiten und an bestimmten Tagen zu befahren sind. In einigen Fällen können die Kampagnendaten nur das Einschalten des Fahrzeugs und die Bedienung der Benutzerschnittstelle durch einen Benutzer spezifizieren. Im Allgemeinen erfordert die Systemvalidierung eine gewisse Variation der Protokollierungsdaten, wie sie von statistischen Modellen und/oder Interessengruppen definiert wird. Dies kann durch Standort, Umgebungsbedingungen wie Temperatur, Umgebungsbedingungen wie Straßentyp, Verkehrsbedingungen und/oder Fahrsituationen, unterschiedliche Benutzerbedienung und andere definiert werden. Verschiedene Kombinationen dieser Bedingungen müssen erfüllt sein, und es ist eines der Ziele einer Datenprotokollierungskampagne, sicherzustellen, dass alle erforderlichen Kombinationen von Bedingungen in ausreichender Menge erfasst werden, z.B. das Fahrzeug wird bei Regen auf einer Autobahn überholt und ein Benutzer aktiviert das Multimediasystem des Fahrzeugs. Die Planung einer Kampagne ist also eine logistische Aufgabe, die darauf abzielt, die benötigten Protokollierungsdaten möglichst effizient bereitzustellen. Sie hängt stark von der Kenntnis bereits vorhandener, in Bezug auf die Systemleistung nützlicher Ergebnisse ab.
Die Kampagnendaten können dem zu testenden System auf unterschiedliche Weise zur Verfügung gestellt werden, entweder über eine Kommunikationsverbindung oder z.B. als eine Art Initialisierung mit Hilfe eines Massenspeichers, z.B. eines Massenspeichers, der am Hauptstandort mit den Kampagnendaten vorbereitet wird.
Das Sammeln von Protokollierungsdaten mit dem zu testenden System umfasst das Speichern aller Protokollierungsdaten, die während des Betriebs des zu testenden Systems erzeugt werden, typischerweise auf einer beliebigen Art von Massenspeichergerät. Dies kann es erforderlich machen, das zu testende System mit zusätzlichen Schnittstellen im Vergleich zu einem endgültigen System auszustatten, um auf die Protokollierungsdaten zuzugreifen. Der Betrieb des zu testenden Systems erfolgt gemäß den Kampagnendaten.
Die teilweise Leistungsbewertung des zu testenden Systems kann auf unterschiedliche Weise durchgeführt werden. Sie basiert auf den gesammelten Protokollierungsdaten und liefert z.B. einen groben Hinweis auf die Leistung des zu testenden Systems, d. h. einen Hinweis darauf, ob sich das zu testende System entsprechend seiner Spezifikation verhält oder nicht. Die teilweise Leistungsbewertung kann jedoch auch Erkenntnisse darüber beinhalten, welcher Teil der benötigten Protokollierungsdaten bereits während der aktuellen Datenprotokollierung erfolgreich gesammelt wurde, als Grundlage für eine detaillierte Bewertung, die anschließend, z.B. am Hauptstandort, durchgeführt werden kann.
Die Übertragung eines Ergebnisses der teilweisen Leistungsbewertung vom zu testenden System zum Hauptstandort betrifft jede Art von Datenübertragung, die vorzugsweise unmittelbar nach Abschluss der teilweisen Leistungsbewertung oder bereits während der Durchführung der teilweisen Leistungsbewertung durchgeführt wird. In jedem Fall steht das Ergebnis der teilweisen Leistungsbewertung nahezu unmittelbar am Hauptstandort zur Verfügung und kann zur Aktualisierung der laufenden Datenprotokollierung genutzt werden, indem die aktualisierten Kampagnendaten vom Hauptstandort an das zu testende System übermittelt werden. Dies kann beinhalten, dass das Ergebnis der teilweisen Leistungsbewertung in separaten Teilen übertragen wird.
Die Aktualisierung der Kampagnendaten auf Basis des Ergebnisses der teilweisen Leistungsbewertung am Hauptstandort kann einen Vergleich des Ergebnisses der teilweisen Leistungsbewertung mit einer gewünschten Leistung des zu testenden Systems umfassen. Alternativ oder zusätzlich kann dies einen Vergleich der verfügbaren Protokollierungsdaten mit den Protokollierungsdaten umfassen, die für eine vollständige Leistungsverifizierung des zu testenden Systems erforderlich sind. Auf dieser Basis können die Kampagnendaten aktualisiert werden, d.h. die vorliegende Kampagne kann modifiziert, erweitert oder auch beendet werden.
Die Übertragung der aktualisierten Kampagnendaten vom Hauptstandort zum zu testenden System kann die Übertragung eines vollständigen Satzes von Kampagnendaten vom Hauptstandort zum zu testenden System umfassen. Da dies die Übertragung einer großen Datenmenge erfordern kann, ist es bevorzugt, dass nur Modifikationen der Kampagnendaten an das zu testende System übertragen werden.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt des automatischen Extrahierens von Metadaten der gesammelten Protokollierungsdaten in dem zu testenden System vor dem Schritt der Erzeugens der teilweisen Annotationen der gesammelten Protokollierungsdaten. Einige der Metadaten können statisch sein, wie z.B. eine Sensorposition eines Umgebungssensors. Einige der Metadaten können sich langsam ändern, wie das Wetter oder der Straßentyp. Einige Metadaten können sehr dynamisch sein, wie z.B. Objekte in der Umgebung des Fahrzeugs, einschließlich z.B. einer Anzahl von Fahrzeugen um das Ego-Fahrzeug, verschiedene Objekte in der Nähe des Ego-Fahrzeugs, z.B. Autos, LKWs, Verkehrsschilder oder andere. Die Annotation kann manuell durchgeführt werden, wobei ein menschlicher Annotator alle Aufgaben übernimmt. Alternativ kann sie auch automatisch erfolgen, wobei einige typischerweise komplexe Algorithmen verwendet werden. Darüber hinaus sind auch Kombinationen aus menschlichen und automatischen Annotationen bekannt. Die Metadaten können spezifisch für einen Teil der Protokollierungsdaten sein, z.B. für ein Objekt, das von einem der Umgebungssensoren erkannt wurde, oder sie können allgemein sein, z.B. die Wetterbedingungen zu einem bestimmten Zeitpunkt beschreiben, was für alle Protokollierungsdaten gilt. Die Metadaten können sich auf Informationen beziehen, die eine bestimmte Szene in ihrer Gesamtheit definieren. Die Verfügbarkeit von Metadaten kann eine Voraussetzung für die Kampagnenplanung sein und wird auch sehr oft für die Leistungsbewertung benötigt.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt des automatischen Erzeugens einer teilweisen Annotation der gesammelten Datenprotokollierungsdaten in dem zu testenden System, und das Durchführen einer teilweisen Leistungsbewertung des zu testenden Systems umfasst das Durchführen der teilweisen Leistungsbewertung unter zusätzlicher Berücksichtigung der teilweisen Annotation der gesammelten Protokollierungsdaten. Verschiedene Arten von Annotationen sind bekannt und können z.B. in Abhängigkeit von einem bestimmten Anwendungsfall für die Verwendung der Protokollierungsdaten hinzugefügt werden. Die Annotationen beziehen sich im Allgemeinen auf die Beschriftung der Protokollierungsdaten. Im Falle von Sensordaten der Umgebungssensoren können sich die Annotationen auf die Kennzeichnung von Teilen der Sensordaten beziehen, z.B. als zu einem bestimmten Inhalt gehörend, z.B. Fremdfahrzeuge, Verkehrsschilder, Bordsteine, Fahrbahnmarkierungen, Straßenbegrenzungen, um nur einige zu nennen. Daher sind die Annotationen typischerweise dynamisch. Die Verfügbarkeit von Annotationen kann eine Voraussetzung für die Kampagnenplanung sein und wird auch sehr oft für die Leistungsbewertung benötigt. Die verfügbaren Annotationen der gesammelten Protokollierungsdaten dienen als Grundlage oder Referenz, die für die Bewertung der Systemleistung selbst verwendet wird. Die teilweise Annotation wird in diesem Fall automatisch durchgeführt. In anderen Ausführungsformen kann die teilweise Annotation durch einen menschlichen Annotator und/oder mit Unterstützung eines menschlichen Annotators durchgeführt werden.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt des Durchführens von Datenkonvertierungen der gesammelten Protokollierungsdaten in dem zu testenden System vor dem Schritt des Durchführens einer teilweisen Leistungsbewertung des zu testenden Systems. Der Schritt der Durchführung von Datenkonvertierungen der gesammelten Protokollierungsdaten kann eine Datenkonvertierung der gesamten Protokollierungsdaten umfassen. Typischerweise ist es lediglich erforderlich, eine Datenkonvertierung eines Teils der Protokollierungsdaten durchzuführen, z.B. um die Verarbeitung des gesamten Satzes von Protokollierungsdaten auf die gleiche Weise und/oder unter Verwendung der gleichen Algorithmen zu ermöglichen. Gegebenenfalls wird der Schritt der Durchführung von Datenkonvertierungen der gesammelten Protokollierungsdaten im zu testenden System vorzugsweise vor dem Schritt der Erzeugung der teilweisen Annotationen der gesammelten Protokollierungsdaten durchgeführt.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Verfahren einen zusätzlichen Schritt des Durchführens einer elementaren Qualitätsprüfung der gesammelten Protokollierungsdaten in dem zu testenden System nach dem Schritt des Sammelns von Protokollierungsdaten mit dem zu testenden System, vorzugsweise im Anschluss an den Schritt des Sammelns von Protokollierungsdaten mit dem zu testenden System. Das zu testende System befindet sich oft in einem Entwicklungsstadium, in manchen Fällen sogar in einem frühen Entwicklungsstadium, so dass Fehlfunktionen auf verschiedene Weise auftreten können. Bestimmte Fehlfunktionen oder Ausfälle sind trivial zu erkennen, z.B. wenn keine Protokollierungsdaten gesammelt werden, während andere schwieriger zu erkennen sind, z.B. ein schlecht ausgerichteter Umgebungssensor, schlecht konfigurierte oder kalibrierte Sensoren oder andere. Typischerweise haben Protokollierungsdaten, die gesammelt werden, wenn das zu testende System Fehlfunktionen oder Ausfälle aufweist, keinen/wenig Wert für die spätere Leistungsbewertung, so dass im Falle von Fehlfunktionen oder Ausfällen Maßnahmen ergriffen werden müssen, um die Funktionalität des zu testenden Systems wiederherzustellen.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Verfahren die folgenden zusätzlichen Schritte zum Bereitstellen der gesammelten Protokollierungsdaten von dem zu testenden Systems an den Hauptstandort und zum Durchführen einer vollständigen Leistungsbewertung des zu testenden Systems auf der Grundlage der gesammelten Protokollierungsdaten am Hauptstandort, und der Schritt des Aktualisierens der Kampagnendaten basierend auf dem Ergebnis der teilweisen Leistungsbewertung am Hauptstandort wird unter Berücksichtigung der vollständigen Leistungsbewertung durchgeführt. Die volle Leistungsauswertung ermöglicht eine Aktualisierung der Kampagnendaten mit hoher Genauigkeit. Dies erfordert jedoch typischerweise eine vollständige Verarbeitung der gesammelten Protokollierungsdaten, die zeitaufwändig ist und nur am Hauptstandort durchgeführt werden kann. Die Verifizierung oder Validierung des zu testenden Systems kann jedoch nur auf der Grundlage einer detaillierten, vollständigen Leistungsauswertung in geeigneter Weise durchgeführt werden.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt des Durchführens einer vollständigen Leistungsbewertung des zu testenden Systems auf der Grundlage der gesammelten Protokollierungsdaten an einem Hauptstandort das Bereitstellen einer vollständigen Annotation der gesammelten Protokollierungsdaten. Die vollständige Annotation der Protokollierungsdaten bietet eine geeignete Grundlage für die Leistungsbewertung des zu testenden Systems und für die Aktualisierung der Datenprotokollierungskampagne auf der Grundlage der aktualisierten Kampagnendaten.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt des Bereitstellens einer vollständigen Annotation der gesammelten Datenprotokollierungsdaten das Bereitstellen der teilweisen Annotation der gesammelten Datenprotokollierungsdaten von dem zu testenden System an den Hauptstandort und das Erzeugen einer Delta-Annotation der gesammelten Datenprotokollierungsdaten am Hauptstandort, wobei die vollständige Annotation aus der teilweisen Annotation und der Delta-Annotation besteht. Dadurch kann eine weitere Verbesserung erreicht werden, da die Annotation der Protokollierungsdaten beschleunigt werden kann. Die teilweisen Annotationen, die im zu testenden System vorhanden sind, werden mit den am Hauptstandort erzeugten Annotationen kombiniert. Zumindest bei der automatischen Annotation von Protokollierungsdaten sollen die im Testsystem hinzugefügten Annotationen jedoch identisch sein, so dass bereits vorhandene Annotationen, d.h. die Teil-Annotationen, bei der Annotation der Protokollierungsdaten am Hauptstandort weiter verwendet werden. Die teilweisen Annotationen können zusammen mit den gesammelten Protokollierungsdaten vom zu testenden System zum Hauptstandort gesendet werden, d.h. in einem Versandprozess oder über die Kommunikationsverbindung, insbesondere eine drahtlose Kommunikationsverbindung. Die Verwendung der Kommunikationsverbindung ist insbesondere geeignet, um nur eine begrenzte Menge an Annotationsdaten zu übertragen.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt des Aktualisierens der Kampagnendaten basierend auf dem Ergebnis der teilweisen Leistungsbewertung am Hauptstandort das Ermitteln von für das zu testende System definierten KPls und das Aktualisieren der Kampagnendaten basierend auf den KPls. Die KPIs beziehen sich auf Key Performance Indicators, die typischerweise die Leistung des zu testenden Systems in mathematischen Begriffen definieren, die einfach gemessen oder ausgewertet werden können. Je nach dem zu testenden System können verschiedene Arten von KPls definiert werden. Daher bieten die KPIs ein einfaches Mittel zur Bestimmung der Systemleistung. Darüber hinaus stellen die KPls typischerweise ein Maß für die Bestimmung der Systemleistung dar, so dass es möglich ist, z.B. eine Menge weiterer erforderlicher Protokollierungsdaten für die Durchführung der Verifizierung und/oder des Trainings des zu testenden Systems zu bestimmen.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt des Übertragens eines Ergebnisses der teilweisen Leistungsbewertung von dem zu testenden System an einen Hauptstandort das Übertragen des Ergebnisses der teilweisen Leistungsbewertung von dem zu testenden System an einen Hauptstandort über eine Kommunikationsverbindung, insbesondere eine drahtlose Kommunikationsverbindung. Die Übertragung des Ergebnisses der teilweisen Leistungsbewertung vom zu testenden System zu einem Hauptstandort über die Kommunikationsverbindung ermöglicht eine verzögerungsfreie Aktualisierung der Kampagnendaten am Hauptstandort. Je nach Bandbreite der Kommunikationsverbindung kann das Ergebnis der teilweisen Leistungsbewertung in kurzer Zeit übertragen werden, so dass es sofort zur Aktualisierung der Kampagnendaten zur Verfügung steht. Die Kommunikationsverbindung kann eine beliebige Art von Netzwerkverbindung sein. Darüber hinaus sind verschiedene drahtlose Kommunikationsverbindungen bekannt, darunter 5G, LTE, UMTS, WLAN, Bluetooth und andere.
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt des Übertragens der aktualisierten Kampagnendaten vom Hauptstandort an das zu testende System das Übertragen der aktualisierten Kampagnendaten vom Hauptstandort zu dem zu testenden System über eine Kommunikationsverbindung, insbesondere eine drahtlose Kommunikationsverbindung. Die Übertragung über die Kommunikationsverbindung ermöglicht eine verzögerungsfreie Aktualisierung der Kampagnendaten am zu testenden System. Je nach Bandbreite der Kommunikationsverbindung können die aktualisierten Kampagnendaten in kurzer Zeit übertragen werden, so dass sie sofort für die weitere Datenprotokollierung zur Verfügung stehen. Die Kommunikationsverbindung kann eine beliebige Art von Netzwerkverbindung sein. Darüber hinaus sind verschiedene drahtlose Kommunikationsverbindungen bekannt, darunter 5G, LTE, UMTS, WLAN, Bluetooth und andere.
Diese und weitere Aspekte der Erfindung werden anhand der nachfolgend beschriebenen Ausführungsformen ersichtlich und erläutert. Einzelne in den Ausführungsformen offenbarte Merkmale können allein oder in Kombination einen Aspekt der vorliegenden Erfindung darstellen.
In den Zeichnungen:

1 zeigt ein Flussdiagramm eines Verfahrens zur Durchführung einer Datenprotokollierung von Protokollierungsdaten für ein mobiles, zu testendes System, insbesondere ein Fahrzeug, mit mehreren Sensoren, insbesondere Umgebungssensoren zur Überwachung einer Umgebung des Fahrzeugs gemäß dem Stand der Technik,
2 zeigt ein Ablaufdiagramm eines Verfahrens zur Durchführung einer verbesserten Datenprotokollierung von Protokollierungsdaten für ein mobiles, zu testendes System, insbesondere ein Fahrzeug, mit mehreren Sensoren, insbesondere Umgebungssensoren zur Überwachung einer Umgebung des Fahrzeugs, gemäß einer ersten, bevorzugten Ausführungsform der Erfindung, und
3 zeigt ein weiteres Flussdiagramm eines Ablaufs des Verfahrens der ersten Ausführungsform.

2 zeigt ein Flussdiagramm eines verbesserten Verfahrens zur Durchführung einer verbesserten Datenprotokollierung von Protokollierungsdaten für ein mobiles, zu testendes System mit mehreren Sensoren. Das Flussdiagramm von 3 zeigt einen Durchlauf des in 2 dargestellten Verfahrens und betrifft daher dasselbe Verfahren. 2 zeigt zusätzlich die Datenübertragung zwischen einem Hauptstandort und dem zu testenden System, entweder durch den Versand eines Massenspeichers, der die Daten enthält, oder über eine Kommunikationsverbindung.
Das mobile, zu testende System betrifft in dieser Ausführungsform ein Fahrzeug, das nicht mit einer schnellen Datenverbindung an ein Rechenzentrum angeschlossen oder mit hoher Rechenleistung ausgestattet ist.
Die Protokollierungsdaten sind abhängig von der Art des zu testenden Systems, d. h. des Fahrzeugs. Die Datenprotokollierung betrifft die Erzeugung von Datensätzen mit Protokollierungsdaten, die z.B. Sensordaten und/oder Ausgangsdaten des mobilen, zu testenden Systems und interne Daten, wie sie während des Betriebs anfallen, umfassen. Dies kann auch Debugging-Daten umfassen, die lediglich zum Zweck der Datenprotokollierung und der anschließenden Verifizierung des zu testenden Systems erzeugt werden. Die Protokollierungsdaten werden mit dem zu testenden System oder mit einem speziellen Protokollierungsgerät gesammelt, das mit dem zu testenden System verbunden ist, insbesondere über einen Protokollierungs- oder Debugging-Port. Das zu testende System wird häufig entsprechend den definierten Testszenarien bewegt oder bewegt sich, um die für das jeweilige Testszenario nützlichsten Protokollierungsdaten zu sammeln.
Die Sensordaten werden insbesondere von Umgebungssensoren bereitgestellt, die Sensorinformationen in Bezug auf eine Umgebung des zu testenden Systems liefern. Es können verschiedene Arten von Umgebungssensoren allein oder in beliebiger Kombination und in beliebiger Anzahl und Anordnung am zu testenden System eingesetzt werden, insbesondere optische Kameras, LiDAR-basierte Umgebungssensoren, Radarsensoren, Ultraschallsensoren, um nur einige der derzeit gängigsten Arten von Umgebungssensoren zu nennen. Darüber hinaus können zusätzliche Sensorinformationen des Fahrzeugs einbezogen werden, z.B. Odometriedaten, insbesondere wenn es sich um autonom fahrende Fahrzeuge handelt. Die Sensoren können weiterhin jede Art von Sensor umfassen, der das zu testende System überwacht, einschließlich z.B. Sensoren zur Überwachung von z.B. Motortemperatur, Öldruck, Wassertemperatur, Reifendruck, Kabinentemperatur, Batterieladung, Spannungsniveau des elektrischen Systems, um nur einige wenige zu nennen. Darüber hinaus können die Sensordaten Eingaben durch die Nutzung einer Benutzeroberfläche, insbesondere eines Touchscreens, die Nutzung von Hilfssystemen durch die Fahrgäste, z.B. der Klimaanlage, GPS-Positionsinformationen, wie sie von einem eingebauten GPS-Empfänger empfangen werden, oder andere umfassen, so dass in diesem Fall auch Ul-Elemente als Sensoren im Rahmen der vorliegenden Erfindung betrachtet werden. Daher kann das zu testende System in dieser Ausführungsform mehrere Sensoren wie oben beschrieben umfassen. Die verschiedenen Arten von Sensoren können in einer beliebigen Kombination von verschiedenen Arten und Anzahlen von Sensoren an verschiedenen Stellen des zu testenden Systems vorgesehen sein. Die Ausgabedaten können jede Art von Ausgabe umfassen, die vom zu testenden System erzeugt wird, einschließlich Ausgaben über eine Benutzeroberfläche des zu testenden Systems und/oder eine vom zu testenden System initiierte Operation, z.B. das Entriegeln von Türen, das automatische Einschalten von Lichtern oder anderes. Die internen Daten sowie die Debugging-Daten sind typischerweise nicht sichtbar und werden intern vom zu testenden System verwendet und/oder um eine Verifizierung eines Verhaltens des zu testenden Systems zu ermöglichen. Im Allgemeinen hängen die Sensoren von der Art des zu testenden Systems ab.
Das Verfahren beginnt mit Schritt S100, der sich auf das Bereitstellen von Kampagnendaten zur Durchführung einer Datenprotokollierung zu dem Fahrzeug bezieht.
Die Kampagnendaten zur Durchführung einer Datenprotokollierungskampagne spezifizieren eine Art von Protokollierungsdaten, die z.B. für die Systemverifizierung erforderlich sind, oder sie spezifizieren eine Art und Weise, wie diese erforderlichen Protokollierungsdaten gesammelt werden können. Im ersten Fall können die Kampagnendaten z.B. angeben, dass Protokollierungsdaten für das zu testende System erforderlich sind, das sich zu einem bestimmten Zeitpunkt an einem bestimmten Ort befindet und sich während eines bestimmten Zeitraums und bei bestimmten Umgebungsbedingungen auf eine bestimmte Weise verhält. Im zweiten Fall können die Kampagnendaten z.B. bestimmte Routen vorgeben, die zu bestimmten Zeiten und an bestimmten Tagen zu befahren sind. Die Systemvalidierung erfordert z.B. eine bestimmte Variation der Protokollierungsdaten, wie sie durch statistische Modelle und/oder Interessengruppen definiert ist. Dies kann durch Standort, Umgebungsbedingungen wie Temperatur, Umgebungsbedingungen wie Straßentyp, Verkehrsbedingungen und/oder Fahrsituationen und andere definiert werden. Verschiedene Kombinationen dieser Bedingungen sind spezifiziert und sollen auf Basis der Kampagnendaten erreicht werden. Es ist ein Ziel einer Datenprotokollierungskampagne, sicherzustellen, dass alle geforderten Kombinationen von Bedingungen in ausreichender Menge erfasst werden, z.B. das Überholt werden des Fahrzeugs auf einer Autobahn bei Regen.
Die Bereitstellung der Kampagnendaten an das zu testende System kann entweder über eine drahtlose Kommunikationsverbindung erfolgen oder z.B. als eine Art Initialisierung mit Hilfe eines Massenspeichers, z.B. eines Massenspeichers, der am Hauptstandort mit den Kampagnendaten vorbereitet und an das zu testende System versandt wird. Bei der Bereitstellung der Kampagnendaten an das zu testende System über die drahtlose Kommunikationsverbindung können die Kampagnendaten direkt über eine drahtlose Kommunikationseinrichtung des Fahrzeugs an das zu testende System übertragen werden. Alternativ werden die Kampagnendaten über die drahtlose Kommunikationsverbindung an ein Rechengerät übertragen. Die Kampagnendaten können dann über eine lokale Datenverbindung vom Rechengerät zum zu testenden System übertragen werden.
Schritt S110 betrifft das Sammeln von Protokollierungsdaten mit dem zu testenden System gemäß den Kampagnendaten.
Das Sammeln von Protokollierungsdaten mit dem zu testenden System umfasst das Speichern aller Protokollierungsdaten, die während des Betriebs des zu testenden Systems erzeugt werden, typischerweise auf einem beliebigen Massenspeichergerät. Der Betrieb des zu testenden Systems während des Sammelns der Protokollierungsdaten wird entsprechend den Kampagnendaten durchgeführt.
Schritt S120 betrifft die Durchführung einer elementaren Qualitätsprüfung der gesammelten Protokollierungsdaten in dem zu testenden System.
Die elementare Qualitätsprüfung der gesammelten Protokollierungsdaten wird durchgeführt, um z.B. typische Fehlfunktionen des zu testenden Systems und/oder seiner Sensoren zu erkennen, z.B. wenn keine Protokollierungsdaten gesammelt werden oder die Protokollierungsdaten offensichtlich nicht wie erwartet sind.
Schritt S130 betrifft das automatische Extrahieren von Metadaten der gesammelten Protokollierungsdaten im zu testenden System.
Die Metadaten betreffen im Allgemeinen Informationen, die vorzugsweise eine bestimmte Szene in ihrer Gesamtheit definieren. Die Metadaten können statische Metadaten umfassen, zumindest in Bezug auf die Dauer einer bestimmten Protokollierungsfahrt zum Sammeln der Protokollierungsdaten, z.B. Sensorpositionen der Sensoren, die zum Sammeln der Protokollierungsdaten verwendet werden, sich langsam ändernde Metadaten, z.B. Umgebungsbedingungen wie Regen oder ein Straßentyp, oder sich dynamisch ändernde Metadaten, z.B. eine Anzahl von Drittfahrzeugen um das Ego-Fahrzeug, verschiedene Objekte in der Nähe des Ego-Fahrzeugs, z.B. Autos, Lastwagen, Verkehrsschilder oder andere.
Schritt S140 betrifft die Durchführung von Datenkonvertierungen der gesammelten Protokollierungsdaten in dem zu testenden System.
Die Durchführung von Datenkonvertierungen der gesammelten Protokollierungsdaten kann die Datenkonvertierung der gesamten Protokollierungsdaten umfassen. Typischerweise wird lediglich eine Datenkonvertierung eines Teils der Protokollierungsdaten durchgeführt, z.B. um eine spätere Verarbeitung des gesamten Satzes von Protokollierungsdaten auf die gleiche Weise und/oder mit den gleichen Algorithmen zu ermöglichen.
Schritt S150 betrifft das automatische Erzeugen einer teilweisen Annotation der gesammelten Protokollierungsdaten in dem zu testenden System.
Verschiedene Arten von Annotationen sind bekannt und können z.B. abhängig von einem bestimmten Anwendungsfall für die Verwendung der Protokollierungsdaten hinzugefügt werden. Die Annotationen betreffen im Allgemeinen die Kennzeichnung von Teilen der Protokollierungsdaten, z.B. als zu einem bestimmten Inhalt gehörend, z.B. Fremdfahrzeuge, Verkehrszeichen, Bordsteine, Fahrbahnmarkierungen, Straßenbegrenzungen, um nur einige zu nennen.
Schritt S160 betrifft das Durchführen einer teilweisen Leistungsbewertung des zu testenden Systems basierend auf den gesammelten Protokollierungsdaten.
Die teilweise Leistungsbewertung des zu testenden Systems basiert auf den gesammelten Protokollierungsdaten und den verfügbaren partiellen Annotationen des gesammelten Sensors.
Die teilweise Leistungsbewertung liefert z.B. einen groben Hinweis auf die Leistung des zu testenden Systems, d. h. einen Hinweis darauf, ob sich das zu testende System entsprechend seiner Spezifikation verhält oder nicht. Die teilweise Leistungsbewertung beinhaltet das Wissen darüber, welcher Teil der benötigten Protokollierungsdaten bereits während der aktuellen Datenprotokollierung erfolgreich gesammelt wurde.
Die teilweise Leistungsbewertung erfolgt sowohl mit Ressourcen des Fahrzeugs als auch mit lokal am zu testenden System verfügbaren Ressourcen. Weiterhin wird die teilweise Leistungsbewertung direkt on the fly, d.h. zum Zeitpunkt des Sammelns der Protokollierungsdaten, oder mit einer gewissen Verzögerung durchgeführt, wobei die Verzögerung ungewollt, z.B. durch eine Verzögerung im System, oder gewollt sein kann, z.B. um auf „zukünftige“ Protokollierungsdaten aus Sicht der verzögerten Protokollierungsdaten zu warten. Die teilweise Leistungsbewertung kann „on the fly“ gestartet werden, d.h. sobald Protokollierungsdaten vorhanden sind, und endet mit einer Verzögerung aufgrund der Verarbeitungsgeschwindigkeit.
Schritt S170 betrifft das Übertragen eines Ergebnisses der teilweisen Leistungsbewertung von dem zu testenden System an einen Hauptstandort.
Dies umfasst das Übertragen des Ergebnisses der teilweisen Leistungsbewertung vom Fahrzeug an den Hauptstandort unter Verwendung einer drahtlosen Kommunikationsverbindung. Die drahtlose Kommunikationsverbindung kann eine beliebige Art von Netzwerkverbindung sein. Außerdem sind verschiedene drahtlose Kommunikationsverbindungen bekannt, darunter 5G, LTE, UMTS, WLAN, Bluetooth und andere.
Das Ergebnis der teilweisen Leistungsbewertung kann über ein drahtloses Kommunikationsgerät des Fahrzeugs direkt vom Fahrzeug zum Hauptstandort bereitgestellt werden. Alternativ wird das Ergebnis der teilweisen Leistungsbewertung über eine lokale Datenverbindung vom Fahrzeug an ein Rechengerät übertragen. Das Ergebnis der teilweisen Leistungsbewertung kann dann vom Fahrzeug über die drahtlose Kommunikationsverbindung an den Hauptstandort übertragen werden.
Die Übertragung des Ergebnisses der teilweisen Leistungsbewertung von dem zu testenden System zum Hauptstandort erfolgt vorzugsweise unmittelbar nach Abschluss der teilweisen Leistungsbewertung oder bereits während der Durchführung der teilweisen Leistungsbewertung. Dies kann beinhalten, dass das Ergebnis der teilweisen Leistungsbewertung in separaten Teilen übertragen wird.
Der Hauptstandort ist eine beliebige physische oder logische Einheit zur Durchführung der angegebenen Schritte. Er kann verschiedene physische Standorte umfassen.
Schritt S180 betrifft die Aktualisierung der Kampagnendaten basierend auf dem Ergebnis der teilweisen Leistungsbewertung am Hauptstandort.
Die Aktualisierung der Kampagnendaten auf der Grundlage des Ergebnisses der teilweisen Leistungsbewertung am Hauptstandort umfasst einen Vergleich des Ergebnisses der teilweisen Leistungsbewertung mit einer gewünschten Leistung des zu testenden Systems. Alternativ oder zusätzlich umfasst dies einen Vergleich der verfügbaren Protokollierungsdaten mit den Protokollierungsdaten, die für eine vollständige Leistungsverifizierung des zu testenden Systems erforderlich sind. Darauf aufbauend werden die Kampagnendaten aktualisiert, d.h. die vorliegende Kampagne wird modifiziert, erweitert oder sogar beendet. Die teilweise Leistungsbewertung am Hauptstandort umfasst die Ermittlung der für das zu testende System definierten KPls und die Aktualisierung der Kampagnendaten auf Basis der KPIs. Die KPIs beziehen sich auf Key Performance Indicators, die typischerweise die Leistung des zu testenden Systems in mathematischer Form definieren, die einfach gemessen oder ausgewertet werden kann. Je nach dem zu testenden System können verschiedene Arten von KPls definiert werden. Die KPIs stellen ein Maß für die Bestimmung der Systemleistung dar, so dass z.B. eine Menge weiterer erforderlicher Protokollierungsdaten für die Durchführung der Verifizierung bestimmt werden kann.
Die aktualisierten Kampagnendaten können bestimmte Informationen in Bezug auf fehlende Protokollierungsdaten oder bestimmte Anweisungen enthalten, wie weitere Protokollierungsdaten gesammelt werden sollen, z.B. um bestimmte Verkehrsbedingungen zu suchen, bestimmte Orte anzufahren, den Fahrstil zu ändern usw. Die aktualisierten Kampagnendaten können sogar darin bestehen, das Fahrzeug abzuschalten und das Verfahren zu stoppen, z.B. wenn die teilweise Leistungsbewertung eher schlecht ist und keine Verbesserung durch die Durchführung der Aktualisierung der Kampagnendaten verspricht, d.h. durch eine andere Durchführung der Kampagne.
Schritt S190 betrifft das Übertragen der aktualisierten Kampagnendaten vom Hauptstandort an das zu testende System.
Die Übertragung der aktualisierten Kampagnendaten vom Hauptstandort an das zu testende System kann die Übertragung eines vollständigen Satzes von Kampagnendaten vom Hauptstandort an das zu testende System umfassen. Da dies die Übertragung einer großen Datenmenge erfordert, werden vorzugsweise nur Modifikationen der Kampagnendaten an das zu testende System übertragen.
Die Übertragung der aktualisierten Kampagnendaten vom Hauptstandort an das zu testende System umfasst die Übertragung der aktualisierten Kampagnendaten vom Hauptstandort an das zu testende System über die drahtlose Kommunikationsverbindung. Bei der drahtlosen Kommunikationsverbindung kann es sich um eine beliebige Art von Netzwerkverbindung handeln. Außerdem sind verschiedene drahtlose Kommunikationsverbindungen bekannt, darunter 5G, LTE, UMTS, WLAN, Bluetooth und andere.
Die aktualisierten Kampagnendaten können direkt vom Hauptstandort über das drahtlose Kommunikationsgerät des Fahrzeugs an das Fahrzeug übermittelt werden. Alternativ werden die aktualisierten Kampagnendaten vom Hauptstandort über die drahtlose Kommunikationsverbindung an ein Rechengerät übertragen. Die aktualisierten Kampagnendaten können dann vom Rechengerät über die lokale Datenverbindung an das Fahrzeug übertragen werden.
Das Verfahren kann zu Schritt S110 zurückkehren, so dass alle nachfolgenden Schritte erneut durchgeführt werden, insbesondere bis die Kampagne beendet ist.
Schritt S200 betrifft die Bereitstellung der gesammelten Protokollierungsdaten des zu testenden Systems an den Hauptstandort.
Der Schritt S200 wird vorzugsweise nach Beendigung der Kampagne durchgeführt. Aufgrund der großen Menge der gesammelten Protokollierungsdaten können die Protokollierungsdaten jedoch auch in mehreren Einzellieferungen an den Hauptstandort bereitgestellt werden. Auch andere der nachfolgenden Schritte können bereits auf Basis einer teilweisen Verfügbarkeit der gesammelten Protokollierungsdaten am Hauptstandort durchgeführt werden.
Schritt S210 betrifft die Durchführung einer vollständigen Leistungsbewertung des zu testenden Systems auf der Grundlage der gesammelten Protokollierungsdaten am Hauptstandort.
Die vollständige Leistungsbewertung wird in Übereinstimmung mit den Angaben zur teilweisen Leistungsbewertung durchgeführt. Daher basiert auch die vollständige Leistungsbewertung auf KPIs. Allerdings können bei der vollständigen Leistungsbewertung zusätzliche oder andere KPls als bei der teilweisen Leistungsbewertung verwendet werden.
Die vollständige Leistungsbewertung des zu testenden Systems auf der Grundlage der gesammelten Protokollierungsdaten an einem Hauptstandort umfasst die Bereitstellung einer vollständigen Annotation der gesammelten Protokollierungsdaten. Die Grundsätze, die oben in Bezug auf die teilweise Annotation der gesammelten Protokollierungsdaten besprochen wurden, gelten auch für die vollständige Annotation. Daher kann die vollständige Annotation sowohl die automatische Annotation der Protokollierungsdaten als auch die Annotation durch einen menschlichen Annotator umfassen.
Um die redundante Verarbeitung der gesammelten Protokollierungsdaten zu reduzieren, umfasst die Bereitstellung einer vollständigen Annotation der gesammelten Protokollierungsdaten die Bereitstellung der teilweisen Annotation der gesammelten Protokollierungsdaten von dem zu testenden System an den Hauptstandort und die Erzeugung einer Delta-Annotation der gesammelten Protokollierungsdaten am Hauptstandort, wobei die vollständige Annotation aus der teilweisen Annotation und der Delta-Annotation besteht. Somit werden die teilweisen Annotationen, die im zu testenden System vorhanden sind, mit den am Hauptstandort erzeugten Annotationen kombiniert. Die teilweisen Annotationen können zusammen mit den gesammelten Protokollierungsdaten vom zu testenden System zum Hauptstandort gesendet werden, z.B. in einem Versandprozess oder über die drahtlose Kommunikationsverbindung.
Schritt S220 betrifft die weitere Aktualisierung der Kampagnendaten basierend auf dem Ergebnis der Leistungsbewertung, d.h. der teilweisen Leistungsbewertung und der vollständigen Leistungsbewertung.
Die vollständige Leistungsbewertung ermöglicht die Aktualisierung der Kampagnendaten mit hoher Präzision auf der Grundlage aller am Hauptstandort verfügbaren Protokollierungsdaten. Ist die Leistungsauswertung abgeschlossen, wird die Kampagne beendet. Andernfalls können weitere Iterationen durchgeführt werden, die zurück zu Schritt S110 führen, wenn die aktualisierten Kampagnendaten an das Fahrzeug übertragen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2017/0232974 A1 [0010]
US 2017/0263120 A1 [0011]
US 2017/0309092 A1 [0012]

Claims

Verfahren zur Durchführung einer verbesserten Datenprotokollierung von Protokollierungsdaten für ein mobiles, zu testendes System, insbesondere ein Fahrzeug, mit mehreren Sensoren, insbesondere einschließlich Umgebungssensoren zur Überwachung einer Umgebung des Fahrzeugs, umfassend die Schritte Bereitstellen von Kampagnendaten zur Durchführung einer Datenprotokollierungskampagne für das zu testende System, Sammeln von Protokollierungsdaten mit dem zu testenden System gemäß den Kampagnendaten, Durchführen einer teilweisen Leistungsbewertung des zu testenden Systems basierend auf den gesammelten Protokollierungsdaten, Übertragen eines Ergebnisses der teilweisen Leistungsbewertung von dem zu testenden System an einen Hauptstandort, Aktualisieren der Kampagnendaten basierend auf dem Ergebnis der teilweisen Leistungsbewertung am Hauptstandort, und Übertragen der aktualisierten Kampagnendaten vom Hauptstandort an das zu testende System.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt des automatischen Extrahierens von Metadaten der gesammelten Protokollierungsdaten in dem zu testenden System vor dem Schritt der Erzeugung der teilweisen Annotationen der gesammelten Protokollierungsdaten umfasst.
Verfahren nach einem der vorhergehenden Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt des automatischen Erzeugens einer teilweisen Annotation der gesammelten Protokollierungsdaten in dem zu testenden System umfasst, und das Durchführen einer teilweisen Leistungsbewertung des zu testenden Systems das Durchführen der teilweisen Leistungsbewertung unter zusätzlicher Berücksichtigung der teilweisen Annotation der gesammelten Protokollierungsdaten umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt des Durchführens von Datenkonvertierungen der gesammelten Protokollierungsdaten in dem zu testenden System vor dem Schritt der Durchführung einer teilweisen Leistungsbewertung des zu testenden Systems umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt des Durchführens einer elementaren Qualitätsprüfung der gesammelten Protokollierungsdaten in dem zu testenden System nach dem Schritt des Sammelns von Protokollierungsdaten mit dem zu testenden System, vorzugsweise im Anschluss an den Schritt des Sammelns von Protokollierungsdaten mit dem zu testenden System, umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren die folgenden zusätzlichen Schritte umfasst Bereitstellen der gesammelten Protokollierungsdaten von dem zu testenden System an den Hauptstandort, und das Durchführen einer vollständigen Leistungsbewertung des zu testenden Systems auf der Grundlage der gesammelten Protokollierungsdaten am Hauptstandort, und der Schritt des Aktualisierens der Kampagnendaten basierend auf dem Ergebnis der teilweisen Leistungsbewertung am Hauptstandort unter Berücksichtigung der vollständigen Leistungsbewertung durchgeführt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Schritt des Durchführens einer vollständigen Leistungsbewertung des zu testenden Systems auf der Grundlage den gesammelten Protokollierungsdaten an einem Hauptstandort das Bereitstellen einer vollständigen Annotation der gesammelten Protokollierungsdaten umfasst.
Verfahren nach Anspruch 7 in Kombination mit Anspruch 3, dadurch gekennzeichnet, dass der Schritt des Bereitstellens einer vollständigen Annotation der gesammelten Protokollierungsdaten das Bereitstellen der teilweisen Annotation der gesammelten Protokollierungsdaten von dem zu testenden System an den Hauptstandort und das Erzeugen einer Delta-Annotation der gesammelten Protokollierungsdaten an dem Hauptstandort umfasst, wobei die vollständige Annotation aus der teilweisen Annotation und der Delta-Annotation besteht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Aktualisierens der Kampagnendaten basierend auf dem Ergebnis der teilweisen Leistungsbewertung am Hauptstandort das Ermitteln von für das zu testende System definierten KPls und das Aktualisieren der Kampagnendaten auf der Grundlage der KPIs umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Übertragens eines Ergebnisses der teilweisen Leistungsbewertung von dem zu testenden System an einen Hauptstandort das Übertragen des Ergebnisses der teilweisen Leistungsbewertung von dem zu testenden System an einen Hauptstandort unter Verwendung einer Kommunikationsverbindung, insbesondere einer drahtlosen Kommunikationsverbindung, umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Übertragens der aktualisierten Kampagnendaten von dem Hauptstandort zu dem zu testenden System das Übertragen der aktualisierten Kampagnendaten von dem Hauptstandort zu dem zu testenden System unter Verwendung einer Kommunikationsverbindung, insbesondere einer drahtlosen Kommunikationsverbindung, umfasst.