-
Die Erfindung betrifft ein Verfahren zum Betrieb von Fahrzeugkomponenten, insbesondere ein Verfahren zum Ermitteln von für den Betrieb und das Instandhalten von Fahrzeugkomponenten relevanten Sensorsignalen. Die Erfindung betrifft ferner eine zum Durchführen des Verfahrens eingerichtete Steuereinheit, insbesondere eine Steuereinheit eines Fahrzeugs oder Servers.
-
Moderne Fahrzeuge verfügen über eine Vielzahl von Fahrzeugkomponenten, die von Steuergeräten elektronisch gesteuert oder geregelt und überwacht werden. Die Regelung und Überwachung der Komponenten dient dabei unter anderem der Detektion unsicherer Betriebszustände der Fahrzeugkomponenten sowie deren Vermeidung. In der Regel setzt das Überwachen der Fahrzeugkomponenten eine Definition eines unsicheren Betriebszustands voraus. Häufig geschieht dies mittels der Definition von Parametergrenzwerten, wobei insbesondere solche Parameter gewählt werden, die mittels Messtechnik detektierbar sind.
-
In der Regel wird in modernen Fahrzeugen eine Vielzahl von Parametern mit einer Vielzahl von Sensoren erfasst. Gegebenenfalls erfolgen redundante Messungen desselben Parameters. Eine Herausforderung bei der Definition unsicherer Betriebszustände oder von Betriebszuständen allgemein besteht somit darin, die zum Charakterisieren eines Betriebszustandes relevanten Parameter zu ermitteln. Häufig geschieht dies anhand komplexer Fahrzeugmodelle, die anhand einer Vielzahl von Fahrzeuginformationen erstellt werden. Häufig ist jedoch sowohl das Erstellen solcher Fahrzeugmodelle als auch deren Betrieb zeitaufwendig.
-
Darüber hinaus besteht die Möglichkeit einer statistischen Auswertung der Vielzahl von in einem Fahrzeug anfallenden Sensorwerten. Beispielsweise können Zeitreihen von Sensorwerten analysiert werden, um ungewöhnliche Sensorwerte auch ohne Vorgabe fester Grenzwerte identifizieren zu können. Die Zahl der in modernen Fahrzeugen verbauten Sensoren sowie die Zahl der möglichen Zusammenhänge zwischen deren Sensorwerten und Betriebszuständen der Fahrzeuge sind jedoch sehr hoch. Somit bündelt eine derartige statistische Auswertung in der Regel eine große Menge von Rechenleistung, was sowohl im Betrieb als auch in der Entwicklung der Fahrzeuge nachteilig ist. Darüber hinaus besteht bei den von den vielen Sensoren erzeugten großen Datenmengen die Gefahr, dass relevante Indikatoren für einen Betriebszustand in der Menge der Daten leicht übersehen werden.
-
GUIDOTTI et al. „A Survey of Methods for Explaining Black Box Models“, betrifft die Entscheidungsfindung von sogenannten Black-Box-Modellen, wie beispielsweise Modellen des maschinellen Lernens und beschreibt die Notwendigkeit zu verstehen, anhand welcher Parameter autonome Entscheidungsalgorithmen eine Auswahl treffen, wobei beispielsweise eine Class Activation Mapping, CAM, als hierfür nutzbare Technik beschrieben wird.
-
In der
WO 2018/088949 A1 wird ein Verfahren zum Ermitteln eines Zustands einer Fahrzeugkomponente durch Korrelation von zu dem Fahrzeug gesammelten Diagnosedaten beschrieben, wobei die Korrelation der Diagnosedaten durch einen Algorithmus des maschinellen Lernens erfolgen soll und beispielsweise mittels eines trainierten neuronalen Netzes ein Statusindikator für die Fahrzeugkomponente bestimmt werden soll.
-
S.G. TEN ZELDAM „Automated Failure Diagnosis in Aviation Maintenance Using eXplainable Artificial Intelligence“ offenbart ein Model zur automatischen Fehlererkennung anhand von Wartungsdaten und unter einer Verwendung eines Algorithmus des maschinellen Lernens (ML), wobei letzterer nach Training die physikalischen Zusammenhänge des betrachteten Systems implementiert. Ferner offenbart diese Druckschrift den Einsatz zusätzlicher Algorithmen, welche die Entscheidungsfindung des ML-Algorithmus verständlich machen sollen, beispielsweise anhand einer visuellen Repräsentation oder anhand eines sogenannten x-Faktors.
-
Zusätzlich können sich die Eigenschaften von Fahrzeugkomponenten auch während des Betriebs des Fahrzeugs, beispielsweise alterungsbedingt, ändern. Ebenso können sich die Einsatzbedingungen des Fahrzeugs und somit auch die der Fahrzeugkomponenten ändern. Somit besteht beim Überwachen von Fahrzeugkomponenten anhand vordefinierter Grenzwerte oder anhand von vordefinierten fehlerhaften Betriebszuständen die Gefahr von Fehldiagnosen.
-
Der Erfindung liegt daher die Aufgabe zugrunde, den Stand der Technik zu bereichern und ein alternatives Verfahren zum Betrieb und/oder zum Instandhalten von Fahrzeugkomponenten zur Verfügung zu stellen, das es ermöglicht, die zum Charakterisieren von Betriebszuständen einer Fahrzeugkomponente relevanten Sensorsignale zu ermitteln und diese für deren Betrieb, insbesondere für deren Überwachung beziehungsweise Instandhaltung, zu verwenden.
-
Die erfindungsgemäße Aufgabe wird gelöst durch den Gegenstand des Hauptanspruchs. Bevorzugte Weiterbildungen sind Gegenstand der auf diesen rückbezogenen Unteransprüche.
-
Ein erster Aspekt der Erfindung bezieht sich auf ein Verfahren zum Betrieb einer Fahrzeugkomponente, wobei das Verfahren zumindest die folgenden Schritte aufweist. Im erfindungsgemäßen Verfahren werden zunächst Zeitreihen einer Mehrzahl von Sensorsignalen ermittelt. Die Sensorsignale sind dabei von einer Mehrzahl von Sensoren des Fahrzeugs erfasst, insbesondere von verschiedenen Sensoren des Fahrzeugs. Eine Vorauswahl der Mehrzahl von Sensoren erfolgt dabei bevorzugt durch einen Nutzer. In Abhängigkeit davon, ob das erfindungsgemäße Verfahren fahrzeugintern oder fahrzeugextern durchgeführt wird, umfasst das Ermitteln der Zeitreihen der Sensorwerte sowohl das Erfassen der Zeitreihen durch die Sensoren unter der Kontrolle einer Steuereinheit des Fahrzeugs, als auch das Empfangen der Zeitreihen durch ein Kommunikationsmodul eines Servers von dem Fahrzeug und unter der Kontrolle einer Steuereinheit des Servers. Im Rahmen der vorliegenden Offenbarung wird mit Zeitreihe eines Sensorsignals ebenfalls ein diskretes aber auch ein kontinuierliches Signal eines Sensors innerhalb eines vorbestimmten Zeitfensters bezeichnet. Die erfassten Sensorsignale sind bevorzugt von bereits in einem Fahrzeug vorhandenen Sensoren erfasst. Somit müssen vorteilhaft keine zusätzlichen Sensoren in dem Fahrzeug verbaut werden.
-
Im erfindungsgemäßen Verfahren erfolgt ferner ein Zerlegen von jeder der erfassten Zeitreihen in Signalausschnitte. Mit anderen Worten wird jedes der Sensorsignale in eine Menge zeitäquidistanter Zeitabschnitte unterteilt, wobei bevorzugt Anfangs- und Endzeitpunkt für Signalausschnitte verschiedener Sensorsignale identisch sind. Ferner weist jeder der Signalausschnitte eine bestimmte, insbesondere vorbestimmte Anzahl diskreter Signalwerte auf. Die Anzahl der diskreten Signalwerte ist dabei für Signalausschnitte verschiedener Sensorsignale identisch. Bevorzugt weist das erfindungsgemäße Verfahren weitere Zwischenschritte zwischen dem Ermitteln der Zeitreihen der Sensorsignale und dem Erstellen der Signalausschnitte für jedes der Sensorsignale auf. Besonders bevorzugt werden die Zeitreihen durch Rauschkorrektur und/oder durch Verwerfen nicht quantifizierbarer Zeitabschnitte bereinigt; alternativ oder zusätzlich werden Ausreißer der Zeitreihen gelöscht.
-
Im erfindungsgemäßen Verfahren wird ferner eine Mehrzahl zumindest zweidimensionaler Merkmalsvektoren erstellt, wobei jeder Merkmalsvektor einen Signalausschnitt jeder Zeitreihe aufweist. Mit anderen Worten weist jeder zweidimensionale Merkmalsvektor eine erste Dimension vom Rang der Anzahl ermittelter Sensorsignale und eine zweite Dimension vom Rang der Anzahl der diskreten Signalwerte auf. Bei den diskreten Signalwerten handelt es sich bevorzugt um statistisch aus dem Signalausschnitt der jeweiligen Zeitreihe abgeleitete diskrete Werte, beispielsweise um für Unterabschnitte des Signalausschnitts gebildete Mittelwerte, Quantile und/oder Standardabweichungen. Die Merkmalsvektoren sind besonders vorteilhaft zur Eingabe in einen Algorithmus zum maschinellen Lernen geeignet. Die Anzahl der Merkmalsvektoren ist bevorzugt identisch zu der Anzahl der Signalausschnitte, in die die erfassten Sensorsignale unterteilt worden sind. Ferner wird im erfindungsgemäßen Verfahren jedem der Merkmalsvektoren zumindest ein Trainingswert einer Zustandsgröße einer Fahrzeugkomponente zugeordnet. Die Zustandsgröße der Fahrzeugkomponente beschreibt dabei einen Zustand der Fahrzeugkomponente und kann besonders bevorzugt durch eine reelwertige Funktion dargestellt werden. Die Zustandsgröße ist bevorzugt durch einen kontinuierlichen (analytischen) Ausdruck oder durch diskrete Werte dargestellt, wobei Werte zumindest jeweils für den einem Merkmalsvektor zugeordneten Zeitabschnitt vorhanden sind. Dieser Zeitabschnitt ist durch die oben definierten Anfangs- und Endzeitpunkte bestimmt.
-
Im erfindungsgemäßen Verfahren erfolgt ferner ein Ermitteln von Gewichtungsfaktoren eines Algorithmus zum maschinellen Lernen basierend auf den Merkmalsvektoren als Eingangsdaten und den zumindest einem zugeordneten Trainingswert einer Zustandsgröße der Fahrzeugkomponente als Trainingsdaten. Mit anderen Worten werden dem Algorithmus zum maschinellen Lernen die Merkmalsvektoren als Eingabe und die Trainingswerte einer Zustandsgröße als zu lernende Ausgabe zugeführt. Bei dem Algorithmus zum maschinellen Lernen handelt es sich bevorzugt um dem Fachmann bekannte Algorithmen, wie beispielsweise durch die Softwarepakete CNTK, Deeplearning4j, Keras, Mallet, mlpack, Neural Lab und dergleichen erstellbare beziehungsweise benutzbare Algorithmen zum maschinellen Lernen. Für den Fachmann stellt das Anlernen von Algorithmen des maschinellen Lernens mittels gegebener Trainingsdaten heutzutage eine einfache Programmieraufgabe dar, auf die hier nicht näher eingegangen wird. Bevorzugt ermittelt der Algorithmus des maschinellen Lernens, insbesondere sofern dieser ein neuronales Netz ist, anhand der eingegebenen Merkmalsvektoren solange zumindest eine simulierte Zustandsgröße, bis eine Abweichung zwischen der simulierten Zustandsgröße und den vorgegebenen Trainingswerten der Zustandsgröße einen vorbestimmten Grenzwert unterschreitet (Backpropagation). Sofern diese Bedingung erfüllt ist, werden die Gewichtungsfaktoren des Algorithmus des maschinellen Lernens, beispielsweise die Gradienten zwischen inneren Schichten des Modells, ausgegeben.
-
Im erfindungsgemäßen Verfahren wird ferner ein Class Activation Mapping, CAM, Verfahren oder ein Local Interpretable Model-Agnostic Explanations - LIME-Verfahren auf die durch den Algorithmus des maschinellen Lernens ermittelten Gewichtungsfaktoren angewendet. Neben den durch den maschine learning Algorithmus ermittelten Gewichtungsfaktoren werden ferner Werte der Zustandsgröße als Eingangswerte des CAM-Verfahrens genutzt. Das Anwenden eines CAM- oder LIME-Verfahrens auf die vorbezeichneten Eingaben ermöglicht im erfindungsgemäßen Verfahren das Ermitteln zumindest eines Werts für die Relevanz jedes der Sensorsignale für die Zustandsgröße. Mit anderen Worten ermöglicht das Anwenden des CAM- oder LIME-Verfahrens das Ermitteln, welche der Sensorsignale sich im Rahmen des Algorithmus des maschinellen Lernens besonders stark auf die Werte der Zustandsgröße auswirken. Der Algorithmus des maschinellen Lernens ermittelt dabei insbesondere anhand der Gewichtungsfaktoren, beispielsweise den Gradienten zwischen einzelnen Elementen aufeinanderfolgender Lagen des Algorithmus zum maschinellen Lernen, welche der Sensorsignale sich besonders stark auf die simulierte Zustandsgröße, beispielsweise eine letzte Lage des Algorithmus zum maschinellen Lernen, auswirken. Die Funktionsweise und Implementierung von CAM- und LIME-Verfahren sind dem Fachmann prinzipiell aus dem Stand der Technik bekannt.
-
CAM-Verfahren sind beispielsweise in der Veröffentlichung von
B. Zhou et al. „Learning Deep Features for Discriminative Localization", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 2921-2929, arXiv:1512.04150, 2015 beschrieben. LIME-Verfahren sind beispielsweise in der Veröffentlichung von
Ribeiro et al., ,,„Why Should / Trust You?": Explaining the Predictions of Any Classifier"; arXiv: 1602.04938 beschrieben. In diesem Schritt des erfindungsgemäßen Verfahrens werden mittels des CAM- oder LIME-Verfahren mithin für jedes Sensorsignal Relevanzwerte dieses Sensorsignals für die jeweilige Zustandsgröße bestimmt. Streng genommen geben die Relevanzwerte nur die Relevanz des Sensorsignals im Rahmen des eingesetzten Algorithmus des maschinellen Lernens an. Unter der Annahme, dass der Algorithmus des maschinellen Lernens, zumindest nach erfolgtem Training, beispielsweise mit Backpropagation und Grenzwertkontrolle, ein valides statistisches Modell der Verbindung zwischen Sensorsignalen und Zustandsgröße erstellt hat, sind die Relevanzwerte auch für eine tatsächliche Relevanz des Signals indikativ.
-
Im erfindungsgemäßen Verfahren erfolgt ferner das Ermitteln zumindest eines für die ausgewählte Zustandsgröße relevanten Sensorsignals anhand der ermittelten Relevanzwerte. Mit anderen Worten ist es ein Ergebnis des erfindungsgemäßen Verfahrens, dass von den zum Erstellen der Merkmalsvektoren genutzten Sensorsignalen zumindest ein Sensorsignal ausgewählt wird, das als für die Zustandsgröße relevant ermittelt wurde. Das erfindungsgemäße Verfahren ermöglicht es somit, aus einer Mehrzahl von Sensorsignalen diejenigen auszuwählen, die für eine bestimmte Zustandsgröße einer Fahrzeugkomponente von besonderer Bedeutung sind. Dies ermöglicht vorteilhaft eine wirksame Regelung; Steuerung und/oder Überwachung der Fahrzeugkomponente hinsichtlich der Zustandsgröße mit reduzierter Datenbasis und somit mit vermindertem rechentechnischen Aufwand beziehungsweise verbesserter Vorhersagegenauigkeit. Eine funktionelle Verbindung zwischen den Sensorsignalen und der Zustandsgröße wird dabei allein durch den Algorithmus des maschinellen Lernens, also einer Art mathematischer Black Box, dargestellt. Darüber hinaus ist eine Modellierung des Systems aus Sensoren und Fahrzeugkomponente nicht notwendig.
-
Ebenfalls bevorzugt handelt es sich bei dem Ergebnis des erfindungsgemäßen Verfahrens um die Kombination einer Zustandsgröße und der für diese als relevant ermittelten Sensorsignale. Diese Kombination von Daten ist vorteilhaft dafür geeignet, ein Bauteil zu charakterisieren. Beispielsweise kann so in einem Testbetrieb eines Fahrzeugs zumindest ein Bauteil des Fahrzeugs durch zumindest eine Zustandsgröße und die zugehörigen relevanten Sensorsignale charakterisiert werden. Ein solcher Datensatz, umfassend die Zustandsgröße sowie die relevanten Sensorsignale, kann dann nach dem Testbetrieb exportiert und für den Betrieb einer Vielzahl gleichartiger Fahrzeuge, aufweisend das zumindest eine Bauelement, genutzt werden. Besonders bevorzugt wird ein solcher Datensatz nach dem Testbetrieb auf einem Netzwerkserver, beispielsweise eines Fahrzeugherstellers oder dessen Servicepartners, abgelegt und von einer Vielzahl von Fahrzeugen over the air, OTA abgerufen.
-
Das erfindungsgemäße Verfahren umfasst ferner den Schritt des Regelns und/oder Überwachens der Fahrzeugkomponente allein anhand des zumindest einen als relevant ermittelten Sensorsignals. Bevorzugt erfolgt eine Steuerung der Fahrzeugkomponente allein anhand des zumindest einen als relevant ermittelten Sensorsignals. Diese Schritte werden bevorzugt ebenfalls mittels eines Algorithmus zum maschinellen Lernen durchgeführt, wobei bevorzugt Merkmalsvektoren verwendet werden, welche nur die relevanten Sensorsignale enthalten. Ebenso bevorzugt erfolgt ein Steuern oder Regeln ohne Einsatz maschinellen Lernens (KI).
-
In einer besonders bevorzugten Durchführungsform des erfindungsgemäßen Verfahrens handelt es sich bei dem Algorithmus zum maschinellen Lernen um ein Convolutional Neural Network, CNN. Solche CNN sind dem Fachmann bekannt, beispielsweise aus den Veröffentlichungen von Rawat et al., „Deep Convolutional Neural Networks for Image Classification: A Comprehensive Review", Neural Computation, Volume 29, Issue 9, September 2017, p.2352-2449, von Egmont-Petersen et al., „Image processing with neural networks-a review", Pattern Recognition, Volume 35, Issue 10, October 2002, Pages 2279-2301 oder Sharma et al. „An Analysis Of Convolutional Neural Networks For Image Classification", Procedia Computer Science, Volume 132, 2018, Pages 377-384. Der Einsatz eines solchen CNN hat den Vorteil, dass die Anzahl der Gewichtungsfaktoren im Vergleich zu neuronalen Netzwerken mit voll verbundenen inneren Schichten deutlich reduziert ist. Somit ist der rechentechnische Aufwand für das Erzeugen und Weiterverarbeiten der Gewichtungsfaktoren im erfindungsgemäßen Verfahren vorteilhaft reduziert. Ebenfalls besonders bevorzugt handelt es sich bei den Gewichtungsfaktoren um die Gradienten des CNN.
-
Ferner bevorzugt handelt es sich bei dem CAM-Verfahren um ein Gradient-weighted Class Activation Mapping, Grad-CAM-Verfahren. Grad-CAM-Verfahren sind dem Fachmann ebenfalls aus dem Stand der Technik bekannt, beispielsweise aus den Veröffentlichungen von
Ramprasaath et al., „Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization", arXiv:1610.02391 oder
Ramprasaath et al, „Grad-CAM: Why did you say that?", arXiv:1611.07450 oder Albert Jimenez et al., „Class-Weighted Convolutional Features for Visual Instance Search", arXiv:1707.02581.
-
Alternativ können jedoch auch andere Varianten eines Algorithmus zum maschinellen Lernen verwendet werden. Ebenso bevorzugt umfasst der Algorithmus des maschinellen Lernens einen sogenannten „Decision Tree“, eine „Support Vector Machine“, ein „Bayessches Netz“ oder einen „Evolutionären Algorithmus“.
-
Ferner bevorzugt handelt es sich bei den im erfindungsgemäßen Verfahren für das CAM- oder LIME-Verfahren verwendeten Werten der Zustandsgröße um die Trainingswerte der Zustandsgröße, mithin um die dem Algorithmus des maschinellen Lernens als Eingabe zugeführten Werte. Alternativ bevorzugt handelt es sich bei den im erfindungsgemäßen Verfahren für das CAM- oder LIME-Verfahren verwendeten Werten der Zustandsgröße um eine der letzten Schicht des Algorithmus zum maschinellen Lernen, beispielsweise um den sogenannten fully connected layer eines CNN. Die Invarianz des erfindungsgemäßen Verfahrens gegenüber dem Austausch der die Zustandsgröße beschreibenden Werte im CAM- oder LIME-Verfahren erklärt sich durch die hochgradige Ähnlichkeit der Trainingswerte der Zustandsgröße und der letzten Schicht des verwendeten Algorithmus des maschinellen Lernens nach dem Abschluss des Trainings des Algorithmus.
-
Im erfindungsgemäßen Verfahren erfolgt ferner bevorzugt das Zuordnen zumindest eines Wertes einer Zustandsgröße der Fahrzeugkomponente zu jedem Merkmalsvektor. Der zumindest eine Wert der Zustandsgröße ist dabei bevorzugt eine kontinuierliche Folge von Werten, die eine Entwicklung der Zustandsgröße im Zeitfenster des Signalausschnitts analytisch beschreibt. Ebenso bevorzugt wird jedem Merkmalsvektor eine Mehrzahl diskreter Werte der Zustandsgröße zugeordnet, wobei die Anzahl der diskreten Werte der Zustandsgröße bevorzugt der Anzahl der diskreten Signalwerte im jeweiligen Signalausschnitt entspricht. Ebenfalls bevorzugt handelt es sich bei der Zustandsgröße um einen, besonders bevorzugt numerischen, Wert, der einen Betriebszustand, einen Alterungszustand, eine Fehlfunktion und/oder einen Verschleißzustand der Fahrzeugkomponente charakterisiert.
-
In einer ebenfalls bevorzugten Durchführungsform des erfindungsgemäßen Verfahrens sind die Trainingswerte der Zustandsgröße durch Messungen an der Fahrzeugkomponente oder durch Modellierung ermittelt. Beispielsweise wird eine Fahrzeugkomponente während eines Testbetriebs oder während eines laufenden Betriebs regelmäßig vermessen und wird eine Zustandsgröße, beispielsweise ein Alterungszustand, anhand einer Mehrzahl von Messwerten als numerischer Wert bestimmt. Die genaue Berechnungsvorschrift der Zustandsgröße ist dabei für das erfindungsgemäße Verfahren nicht entscheidend. Für das Funktionieren des Verfahrens ist jedoch notwendig, dass eine tatsächliche Korrelation zwischen den Sensorsignalen und der definierten (reelwertigen) Zustandsgröße der Fahrzeugkomponente existiert. Bei der Zustandsgröße handelt es sich beispielsweise um einen Versottungsgrad eines AGR-Kühlers.
-
Ebenfalls bevorzugt sind die Trainingswerte der Zustandsgröße durch mathematische Modellierung ermittelt. Beispielsweise kann aufgrund von Erfahrungswerten bekannt sein, dass ein Alterungszustand einer Fahrzeugkomponente einer linearen Steigung folgt, eine sprunghafte Steigung aufweist oder parabolisch verläuft. In solch einem Fall kann eine entsprechende reelwertige Funktion als Trainingswert der Zustandsgröße verwendet werden. Werden mathematisch modellierte Trainingswerte der Zustandsgröße verwendet, wird der trainierte Algorithmus zum maschinellen Lernen anhand der Merkmalsvektoren als Input eine Ausgabe (letzte Schicht, fully connected layer) generieren, der nahezu identisch zu den mathematisch modellierten Trainingsdaten ist.
-
Ferner bevorzugt erfolgt im erfindungsgemäßen Verfahren das Ermitteln eines Relevanzwerts für jeden diskreten Signalwert jedes Sensorsignals mit Bezug zu der Zustandsgröße. Mit anderen Worten wird ein Relevanzwert für jedes einzelne Element der im erfindungsgemäßen Verfahren erstellten Merkmalsvektoren ermittelt. Ferner bevorzugt erfolgt eine lokale Wichtung jedes Signalwerts anhand des zugehörigen Relevanzwerts. Ferner bevorzugt erfolgt eine globale Wichtung anhand der lokalen Wichtungen der Signalwerte jedes Signalausschnitts, beispielsweise als Mittel, Median oder dergleichen der lokalen Wichtungen. Somit kann vorteilhaft die Relevanz einzelner Signalausschnitte der Sensorsignale für die Zustandsgröße ermittelt werden. In einer ebenfalls bevorzugten Durchführungsform des erfindungsgemäßen Verfahrens wird eine visuelle Repräsentation der Relevanzwerte der Sensorsignale, mithin also auch eine visuelle Repräsentation der lokalen und/oder der globalen Wichtungen erstellt. Derartige Repräsentationen sind dem Fachmann, beispielsweise im Zusammenhang mit CAM-Verfahren, als „Heatmaps“ bekannt.
-
Ein weiterer Aspekt der vorliegenden Erfindung betrifft eine Steuereinheit eines Fahrzeugs oder eines Servers, wobei die Steuereinheit zum Durchführen eines erfindungsgemäßen Verfahrens wie vorstehend beschrieben eingerichtet ist. Die Steuereinheit ist insbesondere dazu eingerichtet, Zeitreihen von mittels einer Mehrzahl von Sensoren eines Fahrzeugs erfasster Sensorsignale zu ermitteln und jede erfasste Zeitreihe in Signalausschnitte mit einer vorbestimmten Anzahl diskreter Signalwerte zu zerlegen. Die Steuereinheit ist ferner dazu ausgebildet, eine Mehrzahl zumindest zweidimensionaler Merkmalsvektoren zu erstellen, wobei jeder Merkmalsvektor einen Signalausschnitt jeder Zeitreihe aufweist. Die Steuereinheit ist ferner dazu ausgebildet, Gewichtungsfaktoren eines Algorithmus zum maschinellen Lernen basierend auf den Merkmalsvektoren als Eingangsdaten und zumindest einem zugeordneten Trainingswert einer Zustandsgröße der Fahrzeugkomponente zu ermitteln. Die Steuereinheit ist dazu ausgebildet, durch Anwenden eines Class Activation Mapping, CAM, oder Local Interpretable Model-Agnostic Explanations, LIME-Verfahren auf die ermittelten Gewichtungsfaktoren und auf Werte der Zustandsgröße einen Wert der Relevanz der Sensorsignale für die Zustandsgröße zu ermitteln und ferner zumindest ein für die Zustandsgröße relevantes Sensorsignal anhand der ermittelten Relevanzwerte zu ermitteln. Bevorzugte Ausführungsformen der Steuereinheit sind zum Durchführen der bevorzugten Durchführungsformen des erfindungsgemäßen Verfahrens ausgebildet. Bei dem Server handelt es sich vorzugsweise um einen Server eines Fahrzeugherstellers oder eines Servicepartners und beim Fahrzeug um einen Personenkraftwagen mit Verbrennungs- und/oder Elektromotor.
-
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer, wie beispielsweise eine Steuereinheit eines Fahrzeugs oder Servers, diesen veranlassen, die Schritte des erfindungsgemäßen Verfahrens durchzuführen, insbesondere die Schritte: Ermitteln von Zeitreihen von mittels einer Mehrzahl von Sensoren eines Fahrzeugs erfasster Sensorsignale und Zerlegen jeder erfassten Zeitreihe in Signalausschnitte mit einer vorbestimmten Anzahl diskreter Signalwerte; Erstellen einer Mehrzahl zumindest zweidimensionaler Merkmalsvektoren, wobei jeder Merkmalsvektor einen Signalausschnitt jeder Zeitreihe aufweist; Ermitteln von Gewichtungsfaktoren eines Algorithmus zum maschinellen Lernen basierend auf den Merkmalsvektoren als Eingangsdaten und zumindest einem Trainingswert einer Zustandsgröße der Fahrzeugkomponente; Ermitteln eines Werts der Relevanz der Sensorsignale für die Zustandsgröße durch Anwenden eines Class Activation Mapping, CAM, oder Local Interpretable Model-Agnostic Explanations, LIME-Verfahren auf die ermittelten Gewichtungsfaktoren und Werte der Zustandsgröße; und Ermitteln zumindest eines für die Zustandsgröße relevanten Sensorsignals anhand der ermittelten Relevanzwerte.
-
Die Verfahrensschritte des erfindungsgemäßen Verfahrens können durch elektrische oder elektronische Bauteile oder Komponenten (Hardware) implementiert sein oder durch beim Ausführen eines geeigneten Programms (Software) verwirklicht werden. Ebenfalls bevorzugt wird das erfindungsgemäße Verfahren durch eine Kombination von Hardware, Firmware und/oder Software verwirklicht, beziehungsweise implementiert. Beispielsweise sind einzelne Komponenten zum Durchführen einzelner Verfahrensschritte als separat integrierter Schaltkreis ausgebildet oder auf einem gemeinsamen integrierten Schaltkreis angeordnet. Einzelne zum Durchführen einzelner Verfahrensschritte eingerichtete Komponenten sind ferner bevorzugt auf einem (flexiblen) gedruckten Schaltungsträger (FPCB/PCB), einem Tape Carrier Package (TCP) oder einem anderen Substrat angeordnet.
-
Die einzelnen Verfahrensschritte des erfindungsgemäßen Verfahrens sind ferner bevorzugt als ein oder mehrere Prozesse ausgebildet, die auf einem oder mehreren Prozessoren in einem oder mehreren elektronischen Rechengeräten laufen und beim Ausführen von einem oder mehreren Computerprogrammen erzeugt werden. Die Rechengeräte sind dabei bevorzugt dazu ausgebildet, mit anderen Komponenten, beispielsweise einem Kommunikationsmodul, und gegebenenfalls einem oder mehreren Sensoren zusammenzuarbeiten, um die hierin beschriebenen Funktionalitäten zu verwirklichen. Die Anweisungen der Computerprogramme sind dabei bevorzugt in einem Speicher abgelegt, wie beispielsweise einem RAM-Element oder einem nicht-flüchtigen Arbeitsspeicher, wie beispielsweise einem EEPROM. Die Computerprogramme können jedoch auch in einem nicht-flüchtigen Speichermedium, wie beispielsweise einer CD-ROM, einem Flash-Speicher oder dergleichen abgelegt sein.
-
Dem Fachmann ist ferner ersichtlich, dass die Funktionalitäten von mehreren Computern (Datenverarbeitungsgeräten) kombiniert oder in einem einzigen Gerät kombiniert sein können oder dass die Funktionalität von einem bestimmten Datenverarbeitungsgerät auf einer Vielzahl von Geräten verteilt vorliegen kann, um die Schritte des erfindungsgemäßen Verfahrens auszuführen, ohne von dem erfindungsgemäßen Verfahren abzuweichen.
-
Die verschiedenen in dieser Anmeldung genannten Ausführungsformen der Erfindung sind, sofern im Einzelfall nicht anders ausgeführt, mit Vorteil miteinander kombinierbar.
-
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Systems aus einem Netzwerkserver und einem erfindungsgemäßen Fahrzeug gemäß einer Ausführungsform;
- 2 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens; und
- 3 eine Darstellung der Datenvorbereitung im erfindungsgemäßen Verfahren.
-
1 zeigt eine schematische Darstellung eines Systems 100 aus einer Mehrzahl erfindungsgemäßer gleichartiger Fahrzeuge 10, 64, die jeweils mit einem erfindungsgemäßen Server 70 kommunizieren. Das Bezugszeichen 10 bezeichnet in 1 ein Blockdiagramm eines beispielhaften Fahrzeugs 10, insbesondere eines zweispurigen Fahrzeugs mit Verbrennungs-, Elektro- oder Hybridmotor. Das Fahrzeug 10 umfasst eine Vielzahl erster Sensoren, insbesondere einen ersten Sensor 11, einen zweiten Sensor 12 und einen dritten Sensor 13. Das Fahrzeug 10 weist ferner eine Mehrzahl zweiter Sensoren, insbesondere einen vierten Sensor 51, einen fünften Sensor 52, und einen sechsten Sensor 53 auf.
-
Das Fahrzeug 10 weist ferner ein erstes Kommunikationsmodul 20 mit einem Speicher 21 und einem oder mehreren Transpondern beziehungsweise Sendeempfängern 22 auf. Bei den Transpondern 22 handelt es sich um einen Funk-, WLAN-, GPS- oder Bluetooth-Sendeempfänger oder dergleichen. Der Transponder 22 kommuniziert mit dem internen Speicher 21 des ersten Kommunikationsmoduls 20, beispielsweise über einen geeigneten Datenbus. Das erste Kommunikationsmodul 20 kommuniziert auch mit der ersten Steuereinheit 40. Darüber hinaus ist das erste Kommunikationsmodul 20 dafür eingerichtet, mit einem mobilen Netzwerkserver 70, insbesondere einem Backendserver eines Fahrzeugherstellers oder dessen Servicepartner zu kommunizieren. Das erste Kommunikationsmodul 20 ist ferner dafür eingerichtet, mit einem Fahrzeug 64 zu kommunizieren, das ebenso ausgebildet ist, wie das Fahrzeug 10. Das Kommunikationsmodul 20 ist ferner dafür eingerichtet, mit einem mobilen Endgerät 63, und mit einer elektrischen Ladestation 62 zu kommunizieren. Die Kommunikation erfolgt dabei insbesondere über eine Drahtlosschnittstelle, beispielsweise über WLAN, ein Mobilfunknetz (4G oder 5G), Fahrzeug-zu-Fahrzeug Kommunikation und dergleichen.
-
Das Fahrzeug 10 weist ferner eine erste Steuereinheit 40 auf, welche zum Durchführen des erfindungsgemäßen Verfahrens eingerichtet ist. Dabei führt die Steuereinheit 40 die Schritte selbst durch, steuert die anderen Komponenten des Fahrzeugs 10 entsprechend an oder kommuniziert mit dem Netzwerkserver 70. Hierzu verfügt die erste Steuereinheit 40 über einen internen Speicher 41 und eine CPU 42, welche miteinander kommunizieren, beispielsweise über einen geeigneten Datenbus. Darüber hinaus steht die erste Steuereinheit 40 in Kommunikationsverbindung mit zumindest den ersten Sensoren 11, 12, 13, den zweiten Sensoren 51, 52, 53, dem ersten Kommunikationsmodul 20, beispielsweise über eine oder mehrere jeweilige CAN-, SPI-Verbindungen, oder andere geeignete Datenverbindungen.
-
Der Netzwerkserver 70 weist eine zweite Steuereinheit 80 auf, welche ebenfalls zum Durchführen des erfindungsgemäßen Verfahrens eingerichtet ist. Hierzu verfügt die zweite Steuereinheit 80 über einen internen Speicher 81 und eine CPU 82, welche miteinander kommunizieren, beispielsweise über einen geeigneten Datenbus. Der Netzwerkserver 70 weist ferner ein zweites Kommunikationsmodul 90 auf. Das zweite Kommunikationsmodul 90 weist einen Speicher 92 und einen oder mehrere Transponder beziehungsweise Sendeempfänger 91 auf. Bei den Transpondern 91 handelt es sich um einen Funk-, WLAN-, GPS- oder Bluetooth-Sendeempfänger oder dergleichen. Der Transponder 91 kommuniziert mit dem internen Speicher 92 des zweiten Kommunikationsmoduls 90, beispielsweise über einen geeigneten Datenbus. Bevorzugt ist das zweite Kommunikationsmodul 90 dazu eingerichtet, über ein 4G/5G-Mobilfunknetz zu kommunizieren. Der Netzwerkserver 70 ist insbesondere dazu ausgebildet, mittels des zweiten Kommunikationsmoduls 90 Zeitreihen von durch Sensoren des Fahrzeugs erfassten Sensordaten zu empfangen und im erfindungsgemäßen Verfahren zu verarbeiten, insbesondere um deren Relevanz für eine Zustandsgröße einer Fahrzeugkomponente 30 zu ermitteln. Die Ladestation 62 und das mobile Endgerät 63 weisen jeweils ein drittes beziehungsweise viertes Kommunikationsmodul und eine dritte beziehungsweise vierte Steuereinheit auf und stehen in Kommunikationsverbindung mit dem Netzwerkserver 70 und dem Fahrzeug 10. Die Ladestation 62 weist Mittel zum Laden des Energiespeichers 37 des elektrischen Fahrzeugs 10 auf. Die Ladestation 62 ist bevorzugt mit einer Energiequelle oder einem Energiespeicher, bevorzugt mit einem Stromnetz, verbunden.
-
Prinzipiell sind die ersten Sensoren 11, 12, 13 zum Erfassen von Umgebungsdaten des Fahrzeugs 10 eingerichtet und umfassen beispielsweise einen Temperatursensor zum Erfassen einer Außentemperatur, einen Luftfeuchtigkeitssensor zum Erfassen eines Luftdrucks und eine Kamera zum Erfassen eines Bildes einer das Fahrzeug 10 unmittelbar umgebenden Umwelt, Abstandssensoren, wie beispielsweise Ultraschallsensoren oder LIDAR, zum Erfassen von Abständen zu das Fahrzeug 10 umgebenden Objekten. Die ersten Sensoren 11, 12, 13 übertragen die von ihnen erfassten Umgebungssignale an eine erste Steuereinheit 40.
-
Bei den zweiten Sensoren 51, 52 ,53 handelt es sich um Sensoren zum Ermitteln von das Fahrzeug 10 betreffenden Zustandsdaten. Bei den zweiten Sensoren 51, 52, 53 handelt es sich bevorzugt um bestimmten Fahrzeugkomponenten zugeordnete Sensoren, wie beispielsweise Drucksensoren, Spannungssensoren, Sensoren zum Messen einer Eintauchtiefe eines Stoßdämpfers, oder dergleichen. Die zweiten Sensoren 51, 52, 53 übermitteln die von ihnen erfassten Zustandssignale ebenfalls an die erste Steuereinheit 40 des Fahrzeugs 10.
-
Jeder der ersten Sensoren 11, 12, 13 und zweiten Sensoren 51, 52, 53 erfasst Sensorsignale, die mit dem Zustand einer Fahrzeugkomponente 30 korreliert sind. Dies ist in 1 durch die Pfeile zwischen der Fahrzeugkomponente 30 und den Sensoren dargestellt. Die Korrelation kann dabei darin bestehen, dass einer der Sensoren einen spezifisch die Fahrzeugkomponente 30 betreffenden Messwert erfasst. Die Korrelation kann jedoch auch allein darin bestehen, dass der Zustand der Fahrzeugkomponente 30 von der Außentemperatur des Fahrzeugs 30 abhängt und einer der ersten Sensoren 11, 12, 13 die Außentemperatur des Fahrzeugs 30 erfasst. Im Rahmen der weiteren Erläuterungen wird für jedes Sensorsignal der dargestellten ersten Sensoren 11, 12, 13 und zweiten Sensoren 51, 52, 53 eine Korrelation mit dem Zustand der Fahrzeugkomponente 30 angenommen. Die Korrelation kann dabei stark und das entsprechende Sensorsignal somit für den Zustand der Fahrzeugkomponente 30 relevant sein. Die Korrelation kann jedoch auch gering und das Sensorsignal weniger relevant oder sogar irrelevant für deren Zustand sein. Mittels des erfindungsgemäßen Verfahrens soll zumindest ein Signal der Sensoren ermittelt werden, das für den Zustand der Fahrzeugkomponente 30 beziehungsweise für eine diesen Zustand beschreibende Zustandsgröße Z relevant ist.
-
2 zeigt ein schematisches Ablaufdiagramm eines im erfindungsgemäßen System 100 durchgeführten erfindungsgemäßen Verfahrens. Dabei erfolgt in einem ersten Schritt des erfindungsgemäßen Verfahrens eine Datenvorbereitung beziehungsweise ein Daten Pre-Processing PP. Die mittels dieser Datenvorbereitung ermittelten Daten sind in 3 dargestellt. Insbesondere umfassen die Daten mehrere Zeitreihen 1 von Sensorsignalen, insbesondere drei Zeitreihen 1 der Sensorsignale A, B, n. Im erfindungsgemäßen Verfahren werden diese Zeitreihen 1 zunächst durch Rauschkorrektur und durch Verwerfen nicht quantifizierbarer Signalanteile (nan - not a number) bereinigt. Dies ist im oberen gestrichenen Kasten der 3 dargestellt. Die so bereinigten Zeitreihen 1 werden dann in zeitäquidistante Signalausschnitte 3 zerlegt. Dabei beeinflusst der zu ermittelnde Zustand einer Fahrzeugkomponente 30 die Länge der zu bildenden Signalausschnitte 3. Beispielsweise sind bei einer bestimmten Zustandsänderung, beispielsweise Alterung, die über Monate oder Jahre andauert, längere Signalausschnitte 3 zu bilden, als bei Zustandsänderungen, die sich innerhalb kürzerer Zeitabschnitte vollziehen, wie beispielsweise der Verbrauch des Tankinhalts.
-
Wie in 3 dargestellt, wird jede Zeitreihe 1 der Sensorsignale A, B, n in eine gleiche Anzahl 1, 2, ..., m gleichlanger Signalausschnitte 3 unterteilt. Ferner wird eine einen Zustand der Fahrzeugkomponente 30 beschreibende Zustandsgröße Z ermittelt und gleichermaßen in eine Anzahl 1, 2, ..., m gleichlanger Signalausschnitte 3 unterteilt. Die Zustandsgröße Z ist dabei entweder durch Messungen, beispielsweise in einem Teststand oder bei regelmäßigen Werkstattbesuchen, oder durch mathematische Modellierung, beispielsweise als eine einem bestimmten Verlauf folgende Alterung, bestimmt. Wie in dem unteren gestrichenen Kasten der 3 weiter dargestellt, wird eine Mehrzahl von Merkmalsvektoren 2 gebildet. Dabei enthält jeder Merkmalsvektor für einen Signalausschnitt 3 für jedes der drei Sensorsignale A, B, n eine gleiche Anzahl diskreter Signalwerte A1, A2,..., A5, A6, B1, B2,..., B5, B6, n1, n2,..., n5, n6. Ferner ist jedem der Merkmalsvektoren 2 zumindest ein Wert Z1, Z2, Z3 der Zustandsgröße zugeordnet. Die zugeordneten Werte Z1, Z2, Z3 der Zustandsgröße Z können dabei ebenfalls eine gleiche Anzahl diskreter Werte aufweisen oder auch als kontinuierliches Signal vorliegen.
-
Die so erstellten Merkmalsvektoren 2 und zugehörigen Werte Z1, Z2, Z3 der Zustandsgröße werden in einem nächsten Schritt des in 2 dargestellten Verfahrens einem Algorithmus für maschinelles Lernen 9, insbesondere einem neuronalen Netzwerk, und bevorzugt einem CNN, als Eingaben zugeführt. Der Algorithmus 9 (im Folgenden als CNN bezeichnet) ermittelt nun durch iteratives maschinelles Lernen einer Mehrzahl von Gewichtungsfaktoren 8, welche innerhalb der Struktur des CNN 9 die Merkmalsvektoren 2 auf die Trainingswerte Z1, Z2, Z3 der Zustandsgröße Z abbilden. Derartige Gewichtungsfaktoren oder Gradienten gehören, unter anderem, zu den Outputs eines CNN 9. Optional erfolgt mittels des Algorithmus ferner eine Vorhersage eines Zustandswerts Z*, insbesondere der Einzelwerte Z1*, Z2*, Z3* als durch das CNN 9 erzeugtes Abbild der Merkmalsvektoren 2 unter Verwendung der Gradienten 8. Die Vorhersage des Zustandswerts Z* kann jedoch auch allein für die Backpropagation beim Lernen beziehungsweise Trainieren des CNN 9 genutzt werden, um die Gradienten 8 zu ermitteln.
-
In einem nächsten Schritt des erfindungsgemäßem Verfahrens werden die ausgegebenen Gradienten 8 und zumindest einer der Trainingswerte Z1, Z2, Z3 oder der vorhergesagten Zustandswerte Z1*, Z2*, Z3 als Eingabe einem Classification Action Mapping, CAM-Verfahren insbesondere einem Grad-CAM-Verfahren zugeführt, wie in 2 durch den mit CAM bezeichneten Kasten veranschaulicht. Mittels dieses CAM-Verfahrens werden numerische Werte für die Relevanzen der einzelnen Signalwerte A1, A2,..., A5, A6, B1, B2,..., B5, B6, n1, n2,..., n5, n6 auf die Vorhersage der Einzelwerte Z1*, Z2*, Z3* im Rahmen des CNN 9 ermittelt.
-
Diese Relevanzwerte haben dieselbe Struktur wie die Merkmalvektoren 2 und sind in 2 als PA1, PA2,..., PA5, PA6, PB1, PB2,..., PB5, PB6, und Pn1, Pn2,..., Pn5, Pn6 bezeichnet. Diese Werte bezeichnen lokale Wichtungen jedes einzelnen Sensorwerts der 3 für das Zustandssignal Z1 in Rahmen des Algorithmus zum maschinellen Lernen 9. Durch Mittelung dieser Einzelwichtungen über den Signalausschnitt 3, bevorzugt über alle Signalausschnitte 3, können daraus die globalen Wichtungen PA, PB, Pn für die Sensorsignale A, B, n ermittelt werden. Diese globalen Wichtungen PA, PB, Pn haben numerische Werte und anhand der Ordnung dieser Werte kann die Ordnung der Relevanz der Sensorsignale für Zustandswert Z (relative Relevanz) oder, beispielsweise im Vergleich mit einem vordefinierten Grenzwert, eine Auswahl zumindest eines relevanten Sensorsignals (absolute Relevanz) erfolgen. Bevorzugt wird allein oder vorrangig dieses Sensorsignal, beispielsweise A, zum Regeln oder Überwachen der Fahrzeugkomponente 30 genutzt, da es besonders stark mit dessen Zustand korreliert.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 11
- erster Sensor
- 12
- zweiter Sensor
- 13
- dritter Sensor
- 20
- Kommunikationsmodul
- 21
- Speicher
- 22
- Transponder
- 30
- Fahrzeugkomponente
- 40
- Steuereinheit
- 41
- Speicher
- 42
- CPU
- 51
- vierter Sensor
- 52
- fünfter Sensor
- 53
- sechster Sensor
- 61
- Satellit
- 62
- Ladestation
- 63
- mobiles Endgerät (Smartphone)
- 70
- Netzwerkserver
- 80
- Steuereinheit
- 81
- Speicher
- 82
- CPU
- 90
- Kommunikationsmodul
- 91
- Transponder
- 92
- Speicher
- 100
- System
