-
Technisches Gebiet
-
Die Erfindung betrifft Abgasnachbehandlungssysteme für Kraftfahrzeuge und insbesondere Verfahren zur Manipulationserkennung von Abgasnachbehandlungssystemen.
-
Technischer Hintergrund
-
Heutige SCR-Abgasnachbehandlungssysteme (SCR: Selective Catalytic Reduction) zur Denoxierung (Stickoxidreduktion durch Harnstoffeindüsung ins Abgas) verfügen über eine gesetzlich vorgeschriebene Überwachung der für einen fehlerfreien Betrieb relevanten Systemparameter (On-Board-Diagnose). Im Rahmen dieser On-Board-Diagnose wird durch das Steuergerät und dessen Software unter anderem eine Plausibilisierung der relevanten Systemparameter auf die Einhaltung von physikalisch sinnvollen Grenzwerten durchgeführt. So wird beispielsweise vermieden, dass ein unplausibler Abgastemperaturwert in die Berechnung der SCR-Betriebsstrategie eingeht.
-
Für systeminhärente Parameter, deren Werte sich aus der Kombination verschiedener Stellgrößen der SCR-Regelung ergeben, wird darüber hinaus geprüft, ob sich nach einem Systemeingriff die erwartete Systemreaktion einstellt. So ist beispielsweise bei einer Erhöhung der Harnstoffdosiermenge unter definierten Bedingungen eine Senkung der Stickoxidemissionen, gemessen durch den Stickoxidsensor, zu erwarten. Falls die erwartete Reaktion nicht eintritt, können weitere Diagnosefunktionen zur Defekterkennung auf Komponentenebene starten.
-
Technische Einrichtungen in Kraftfahrzeugen können in unerlaubter Weise manipuliert werden, um einen für den Fahrer vorteilhaften Betrieb zu erreichen. So kann eine Abgasnachbehandlungseinrichtung zur Leistungssteigerung des Motorsystems oder zur Reduzierung eines Materialverbrauchs, insbesondere von Harnstoff, manipuliert werden. Dies wird durch den Einsatz professionell hergestellter und bzgl. ihrer Vorgehensweise komplex agierender SCR-Emulatoren erreicht. Diese Emulatoren sind in der Lage, Sensor-/ Sollwerte, wie z.B. die Sensorgröße eines Systemdrucks in einem Fahrzeug, so zu verändern, dass das SCR System nur eingeschränkt oder überhaupt nicht mehr aktiv ist. Dadurch lassen sich im Fahrzeugbetrieb der Wartungsaufwand reduzieren und Kosten für die Betankung von Harnstoff einsparen unter Inkaufnahme einer erhöhten Stickoxidemission. Die herkömmlichen Diagnosefunktionen werden mit den emulierten Sensorsignalen getäuscht, was eine Erkennung der Manipulation erschwert.
-
In der Regel sind Verfahren zur Erkennung einer Manipulation regelbasiert. Regelbasierte Manipulationsüberwachungsverfahren haben den Nachteil, dass nur bekannte Manipulationsstrategien erkannt bzw. bekannte Manipulationen abgefangen werden können. Somit ist eine solche Verteidigungsstrategie blind für neuartige Manipulationen. Zudem ist es aufwendig, ein komplexes technisches System mit seinen Abhängigkeiten in einem Regelsystem zu erfassen und entsprechende Regeln für das Erkennen einer Manipulation zu erstellen.
-
Beispielsweise sind für eine Abgasnachbehandlungseinrichtung aufgrund deren dynamischen Verhaltens die Betriebszustände vielfältig und können ggfs. insbesondere bei selten auftretenden Systemzuständen nicht zweifelsfrei dem Vorliegen einer Manipulation zugeordnet werden.
-
Offenbarung der Erfindung
-
Erfindungsgemäß sind ein computerimplementiertes Verfahren zur Manipulationserkennung einer technischen Einrichtung gemäß Anspruch 1 sowie eine Vorrichtung und ein Abgasnachbehandlungssystem gemäß den nebengeordneten Ansprüchen vorgesehen.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein computerimplementiertes Verfahren zur Manipulationserkennung einer technischen Einrichtung, insbesondere einer technischen Einrichtung in einem Kraftfahrzeug, insbesondere einer Abgasnachbehandlungseinrichtung, vorgesehen, mit folgenden Schritten:
- - Bereitstellen von zeitlichen Verläufen von Betriebsgrößen mit einer oder mehreren Systemgrößen und/oder mit mindestens einer Stellgröße für einen Eingriff in die technische Einrichtung, die jeweils Zeitreihen von Werten der Betriebsgrößen für aufeinanderfolgende Zeitschritte entsprechen;
- - Verwenden eines datenbasierten Manipulationserkennungsmodells in jedem aktuellen Zeitschritt, um abhängig von Eingangsgrößen, die zumindest einen Teil der Betriebsgrößen umfassen, eine oder mehrere Ausgangsgrößen zu ermitteln, die zumindest einem Teil der Betriebsgrößen entsprechen, wobei das Manipulationserkennungsmodell einen Autoencoder mit einem ersten rekurrenten neuronalen Netzwerk, ein Prädiktionsmodell mit einem zweiten rekurrenten neuronalen Netzwerk und ein Auswertemodell umfasst, wobei Ausgänge des Autoencoders und des Prädiktionsmodells miteinander kombiniert werden und anschließend einem Auswertemodell zugeführt werden, um die Ausgangsgrößen zu ermitteln, wobei das Manipulationserkennungsmodell trainiert ist, um abhängig von aktuellen Werten von dem zumindest einem Teil der Betriebsgrößen aktuelle Werte der Ausgangsgrößen zu modellieren;
- - Erkennen einer Anomalie abhängig von einem Modellierungsfehler für jede der Ausgangsgrößen;
- - Erkennen einer Manipulation abhängig von den erkannten Anomalien.
-
Regelbasierte Manipulationserkennungssysteme haben den Nachteil, dass nur bekannte Manipulationsstrategien erkannt werden können und damit neuartige Manipulationstechniken nicht aufgedeckt werden können. Zudem sind Manipulationserkennungsverfahren lückenhaft, da komplexe technische Systeme wie Abgasnachbehandlungssysteme nicht vollständig regelbasiert erfasst werden können.
-
Die obige Vorgehensweise zur Erkennung einer Manipulation eines Abgasnachbehandlungssystems ermöglicht mithilfe eines datenbasierten Manipulationserkennungsmodells, das Normalverhalten der technischen Einrichtung zu erlernen und Abweichungen des Normalverhaltens als Manipulationsversuch zu erkennen. Dazu werden Verfahren aus dem Bereich des unüberwachten Lernens (Unsupervised Learning) verwendet, auf Basis von aufgezeichneten Betriebsdaten aus einer oder mehreren technischen Einrichtungen zu erlernen, wie die technische Einrichtung im Normalzustand arbeitet. Die Machine-Learning-Verfahren haben dabei die Fähigkeit, selbstständig Abhängigkeiten und Eigenschaften der betrachteten Eingangssignale zu erkennen, die für die zugrunde liegende Aufgabe wichtig sind, ohne dass - abgesehen von der Wahl der verwendeten Betriebsgrößen - hierfür Domänenwissen verwendet werden muss. Da ein Normalverhalten der technischen Einrichtung erlernt wird, können auch neue und bislang unbekannte Manipulationsversuche durch ein solches System erkannt werden.
-
Das Manipulationserkennungsverfahren gemäß der Erfindung geht aus von Verläufen von Betriebsgrößen, die im Betrieb der technischen Einrichtung aufgezeichnet werden. Das Manipulationserkennungsmodell wird in aufeinanderfolgenden Zeitschritten mit den jeweils aktuellen Werten der Eingangsgrößen verwendet, die zumindest einen Teil der Betriebsgrößen umfassen. Die Betriebsgrößen können eine oder mehrere Sensorgrößen und/oder eine oder mehrere Stellgrößen umfassen, mit denen die technischen Einrichtungen, insbesondere die Abgasnachbehandlungseinrichtung und der vorgeschaltete Verbrennungsmotor, betrieben werden. Es wird zumindest ein Teil der Verläufe der Betriebsgrößen als Eingangsgrößen in einem Autoencoder mithilfe eines ersten rekurrenten neuronalen Netzes vorverarbeitet und anschließend z.B. über ein oder mehrere lineare Schichten (Fully Connected Layer) weiterverarbeitet. Das rekurrente neuronale Netz kann beispielsweise als ein LSTM (Long short-term memory) oder GRU (Gated recurrent unit) oder Varianten davon ausgebildet sein, um die zeitlichen Dynamiken der betreffenden Betriebsgrößenverläufe lernen bzw. berücksichtigen zu können.
-
Ein Autoencoder im Sinne dieser Beschreibung bezeichnet die Architektur eines neuronalen Netzes in Form eines Autoencoders. Hierin soll im Unterschied zu dem herkömmlichen Verständnis auch neuronale Netzwerke umfasst sein, bei denen die Eingangsdaten zu den Ausgangsdaten des Autoencoders unterschiedlich sind bzw. bei denen der Autoencoder nicht ausschließlich zur Rekonstruktion der Eingangsdaten ausgebildet bzw. trainiert ist.
-
Weiterhin kann der Autoencoder als Variational Autoencoder ausgebildet sein und einen latenten Merkmalsraum aufweisen, der mit zwei linearen Merkmalsraumschichten zur Abbildung eines Mittelwertvektors und eines Standardabweichungsvektors ausgebildet ist, wobei der Variational Autoencoder mithilfe eines Regularisierungsterms trainiert ist, der die Ausbildung der Merkmalsraumschichten zur Abbildung des Mittelwertvektors und eines Standardabweichungsvektors während des Trainings bewirkt.
-
Variational Autoencoder werden meist als generative Modelle benutzt. Hierzu wird im Training durch ein Regularisierungssystem eine Verteilung im latenten Raum erzwungen (meist eine multivariante Normalverteilung). Hierdurch wird begünstigt, dass im latenten Raum eine Kontinuität vorliegt. Beispielsweise kann durch das Regularisierungssystem eine Normalverteilung realisiert werden. Der latente Merkmalsraum wird dabei über zwei lineare Schichten (Fully connected layers), von denen eine den Mittelwertvektor und die andere die Standardabweichung repräsentiert, realisiert. Der Variational Autoencoder hat den Vorteil, dass eine erzwungene Kontinuität im latenten Raum zu erwarten ist, so dass „ähnliche“ Eingangspunkte im latenten Raum „nahe“ beieinander liegen. Hierdurch soll erreicht werden, dass der Variational Autoencoder besser auf ungesehene Daten generalisiert.
-
Zudem wird ein Prädiktionsmodell verwendet, das ausgehend von den Betriebsgrößenverläufen zumindest eines Teils der bereitgestellten Betriebsgrößen eine zeitliche Entwicklung bzw. einen zeitlichen Verlauf der Betriebsgrößen prädiziert. Das Prädiktionsmodell umfasst ein zweites rekurrentes Netz, das ausgangsseitig zudem mit einer oder mehreren linearen Schichten (Fully Connected Layer) gekoppelt sein kann. Dabei werden die Betriebsgrößenverläufe nur bis zu einem Zeitschritt vor dem aktuellen Zeitschritt als Eingangsgrößen verwendet, d.h. während der Autoencoder die Eingangsgrößen zu dem aktuellen Zeitschritt erhält, erhält das Prädiktionsmodell die Werte der Eingangsgrößen zu einem vorangehenden Zeitschritt.
-
Insbesondere können in jedem aktuellen Zeitschritt dem Autoencoder die aktuellen Werte von ersten der Eingangsgrößen und dem Prädiktionsmodell die Werte von zweiten der Eingangsgrößen zu dem vorangegangenen Zeitschritt zugeführt werden.
-
Das Prädiktionsmodell kann gemeinsam mit den übrigen Komponenten des Manipulationserkennungsmodells trainiert werden, so dass dieses lernt, was zum Ausgang des Autoencoders kombiniert werden muss, um eine gewünschte Ausgangsgröße zu erhalten. Die Ausgangsgrößen werden vom Ausgang des Autoencoders und dem, was das Prädiktionsmodell aus dem Zeitschritt t-1 für „wichtig erachtet“, bestimmt. Es kann entsprechend vorgesehen sein, dass in jedem aktuellen Zeitschritt dem Autoencoder die aktuellen Werte der Eingangsgrößen und dem Prädiktionsmodell die Werte der Eingangsgrößen zu dem vorangegangenen Zeitschritt zugeführt werden.
-
Die auf das zweite rekurrente Netz folgende eine oder mehrere seriell verbundene lineare Schichten entsprechen Fully-Connected-Schicht(en), deren Ausgänge mit dem Ausgang des Variational Autoencoders kombiniert werden.
-
Insbesondere können die Ausgänge des Variational Autoencoders und des Prädiktionsmodells addiert werden, und das Ergebnis mit einem neuronalen Netz mit einer oder mehreren Schichten zu verarbeiten, um eine Zeitreihe der Betriebsgrößen zu modellieren. Eine weitere Methode ist, die Ausgänge durch Konkatenieren „aneinanderzuhängen“.
-
Das Training des Manipulationserkennungsmodells wird insgesamt durchgeführt. Dabei gehen die Ausgangsgrößen des Manipulationserkennungsmodells, insbesondere zusammen mit den Vergleichsgrößen, die zumindest teilweise den Eingangsgrößen entsprechen oder von diesen abgeleitet werden, oder die entsprechend einem Regressionsansatz modelliert werden, und zusammen mit den Mittelwerten und Standardabweichungen in die Fehlerfunktion ein, wobei ein Teil des Fehlers z.B. per Mean Squared Error berechnet wird und ein weiterer Teil durch die Kulback-Leibler-Regularisierung bestimmt wird.
-
Weiterhin kann der Autoencoder vortrainiert werden, insbesondere unter Nutzung einer Fehlerfunktion, wie Mean-Squared-Error, und im Falle eines Variational Autoencoders, mit einem Kulback-Leibler Regularisierungsterm. Das weitere Training des gesamten Manipulationserkennungsmodells kann anschließend mit oder ohne Fixieren der Netzwerkparameter des Autoencoders erfolgen.
-
Sowohl das optionale Vorab-Training des Autoencoders als auch das gesamte Training des Manipulationserkennungsmodells kann über mehrere Epochen erfolgen. Jeweils kann die Anzahl der Epochen entweder fest vorgegeben oder durch ein Abbruchkriterium bestimmt sein. In jeder Epoche werden alle Trainingsdaten, die Betriebsgrößendaten eines Normalverhaltens der Abgasnachbehandlungseinrichtung angeben, einmal von dem Autoencoder verarbeitet. Vorzugsweise werden die Betriebsgrößen in Zeitintervalle aufgeteilt, die beispielsweise zwischen 500 und 3.000 Zeitschritten beinhalten. Für jede der Trainingsepochen können die Zeitintervalle neu und zufällig generiert werden.
-
Wird der Autoencoder vorab trainiert, geht der Ausgang des Autoencoders zusammen mit den berechneten Matrizen für den Mittelwert und die Standardabweichung der Zwischenschicht des Variational Autoencoders und den tatsächlichen Werten in die Fehlerfunktion F ein. Die Fehlerfunktion bestimmt den Modellierungsfehler, den Mean Square Error, den Root Mean Square Error oder alternativ den Huber-Loss oder weitere Funktionen, die eine numerische Abweichung zwischen den tatsächlichen Werten der Betriebsgrößen zum Zeitschritt t und den ausgegebenen Ausgangsgrößen des Manipulationserkennungsmodells angeben.
-
Um die Verteilungseigenschaft des latenten Raums des Variational Autoencoders zu erzwingen, wird eine Kulback-Leibler-Regularisierung zur Modellierung berücksichtigt, in die der Mittelwert in die Standardabweichung eingeht, wie für das Training eines Variational Autoencoders bekannt. Der Fehlerwert wird nun in einem Backpropagation-Prozess verwendet, um die Gewichte des Netzes gemäß einer Optimierungsstrategie anzupassen. Dafür kann ein für neuronale Netze übliches Gradientenabstiegsverfahren, wie SGD, ADAM, ADAMW, RMSProp oder AdaGrad verwendet werden.
-
Gemäß einer Ausführungsform können die ersten und zweiten Eingangsgrößen jeweils einen Teil der Betriebsgrößen umfassen, der identisch, teilweise identisch oder verschieden ist, wobei die Ausgangsgrößen einen Teil der Betriebsgrößen umfassen, der zu den ersten und/oder zweiten Eingangsgrößen identisch, teilweise identisch oder verschieden ist, wobei der Modellierungsfehler abhängig von den modellierten aktuellen Werten der Ausgangsgrößen und den aktuellen Werten der den Ausgangsgrößen entsprechenden Betriebsgrößen bestimmt wird.
-
Mit anderen Worten, die Ausgangsgrößen können in einem Regressionsansatz Größen umfassen, die nicht Teil der Eingangsgrößen sind, sondern weitere nicht als Eingangsgrößen verwendete Betriebsgrößen umfassen.
-
Insbesondere kann der Variational Autoencoder einen latenten Merkmalsraum aufweisen, der mit zwei linearen Merkmalsraumschichten zur Abbildung eines Mittelwertvektors und eines Standardabweichungsvektors ausgebildet ist, wobei der Modellierungsfehler weiterhin abhängig von den modellierten aktuellen Werten des Mittelwertvektors und des Standardabweichungsvektors bestimmt wird.
-
Weiterhin kann der Modellierungsfehler mithilfe einer vorgegebenen Fehlerfunktion ermittelt werden, die insbesondere auf einem Mean squared error (mittlere quadratische Abweichung), einer Huber-Loss-Funktion oder einem Root-Mean-Squared Error zwischen den jeweils aktuellen Werten des zweiten Teils der Betriebsgrößen und der Ausgangsgrößen basiert.
-
Es kann vorgesehen sein, dass für mehrere Zeitintervalle eines Auswertungsintervalls zu jeweils einer Anzahl von aufeinanderfolgenden Zeitschritten jeder der Ausgangsgrößen jeweils ein Gesamtfehler aus mehreren Modellierungsfehlern, insbesondere durch Aufsummieren der Modellierungsfehler, bestimmt wird, wobei abhängig von einem Überschreiten eines vorgegebenen Evaluierungs-Perzentils für die jeweilige Ausgangsgröße durch den Gesamtfehler eine Anomalie für das betreffende Zeitintervall erkannt wird.
-
Bei der Nutzung des Manipulationserkennungsmodells werden für ein Intervall mit einer Anzahl von Zeitschritten die Betriebsgrößen dem Variational Autoencoder und dem Prädiktionsmodell zugeführt, um eine entsprechende resultierende Ausgangsgröße zu erhalten. Dieser wird mithilfe einer Fehlerfunktion ein Anomalie-Score für jeden Zeitschritt zugeordnet. Insbesondere kann die Fehlerfunktion einen Modellierungsfehler bestimmen und diesen für jede Ausgangsgröße über die Anzahl der Zeitschritte des Zeitintervalls zu einem Gesamtfehler für die jeweilige Ausgangsgröße summiert werden. Der daraus resultierende Gesamtfehler für jede der Ausgangsgrößen resultiert in einer Fehlermatrix für jeden Zeitblock und jede Betriebsgröße, aus der ein Perzentilwert berechnet wird. Beispielsweise kann für jede Betriebsgröße ein Perzentil im Bereich von 99,9 % bis 99,99 % berechnet werden. Das Perzentil wird gespeichert und in der Evaluierungsphase ausgewertet, um eine Manipulation zu erkennen. Insbesondere kann eine Manipulation erkannt werden, wenn zumindest für eine Ausgangsgröße der Perzentilwert einen vorgegebenen Evaluierungs-Perzentilwert überschreitet.
-
Insbesondere kann eine Manipulation der technischen Einrichtung erkannt werden, wenn der Anteil der Anomalien in den Zeitintervallen des Auswertungsintervalls einen vorgegebenen Anteilsschwellenwert übersteigt.
-
Der Evaluierungs-Perzentilwert kann für jede Betriebsgröße bestimmt werden, indem aus einem Verlauf von Betriebsgrößen eines vorgegebenen Validierungsdatensatzes für einen ordnungsgemäßen Betrieb der technischen Einrichtung für mehrere Zeitintervalle eines Auswertungsintervalls zu jeweils einer Anzahl von aufeinanderfolgenden Zeitschritten jeweils ein Gesamtfehler aus mehreren Modellierungsfehlern für die jeweiligen mehrere Zeitschritte, insbesondere durch Aufsummieren der Modellierungsfehler, bestimmt wird, wobei eine Fehlermatrix aus den Ausgangsgrößen und den zugeordneten Gesamtfehlern erstellt wird, wobei für jede Ausgangsgröße ein Perzentilwert als der Evaluierungs-Perzentilwert bestimmt wird, insbesondere ein 99,9 %-Perzentil.
-
Gemäß einer Ausführungsform kann die technische Einrichtung eine Abgasnachbehandlungseinrichtung umfassen, wobei der Eingangsvektor als die Stellgröße eine Stellgröße für ein Harnstoffeindüssystem umfasst.
-
Weiterhin kann vorgesehen sein, dass eine erkannte Manipulation signalisiert wird oder die technische Einrichtung abhängig von der erkannten Manipulation betrieben wird.
-
Gemäß einem weiteren Aspekt ist ein Verfahren zum Trainieren eines datenbasierten Manipulationserkennungsmodells abhängig von Verläufen von Betriebsgrößen einer technischen Einrichtung vorgesehen, wobei die Betriebsgrößen eine oder mehrere Systemgrößen und/oder mindestens eine Stellgröße für einen Eingriff in die technische Einrichtung umfassen und jeweils Zeitreihen von Werten der Betriebsgrößen für aufeinanderfolgende Zeitschritte entsprechen, wobei das Manipulationserkennungsmodell einen Autoencoder mit einem ersten rekurrenten neuronalen Netzwerk, ein Prädiktionsmodell mit einem zweiten rekurrenten neuronalen Netzwerk und ein Auswertemodell umfasst, wobei Ausgänge des Autoencoders und des Prädiktionsmodells miteinander kombiniert werden und anschließend einem Auswertemodell zugeführt werden, um die Ausgangsgrößen zu ermitteln, wobei das Manipulationserkennungsmodell trainiert wird, um abhängig von aktuellen Werten von dem zumindest einem Teil der Betriebsgrößen aktuelle Werte von Ausgangsgrößen zu modellieren, die einer oder mehreren der Betriebsgrößen entsprechend.
-
Gemäß einem weiteren Aspekt ist eine Vorrichtung zur Manipulationserkennung einer technischen Einrichtung, insbesondere einer technischen Einrichtung in einem Kraftfahrzeug, insbesondere einer Abgasnachbehandlungseinrichtung, vorgesehen, wobei die Vorrichtung ausgebildet ist zum:
- - Bereitstellen von zeitlichen Verläufen von Betriebsgrößen mit einer oder mehreren Systemgrößen und/oder mit mindestens einer Stellgröße für einen Eingriff in die technische Einrichtung, die jeweils Zeitreihen von Werten der Betriebsgrößen für aufeinanderfolgende Zeitschritte entsprechen;
- - Verwenden eines datenbasierten Manipulationserkennungsmodells in jedem aktuellen Zeitschritt, um abhängig von Eingangsgrößen, die zumindest einen Teil der Betriebsgrößen umfassen, eine oder mehrere Ausgangsgrößen zu ermitteln, die zumindest einem Teil der Betriebsgrößen entsprechen, wobei das Manipulationserkennungsmodell einen Variational Autoencoder mit einem ersten rekurrenten neuronalen Netzwerk, ein Prädiktionsmodell mit einem zweiten rekurrenten neuronalen Netzwerk und ein Auswertemodell umfasst, wobei Ausgänge des Variational Autoencoders und des Prädiktionsmodells miteinander kombiniert und anschließend einem Auswertemodell zugeführt werden, um die Ausgangsgrößen zu ermitteln, wobei das Manipulationserkennungsmodell trainiert ist, um abhängig von aktuellen Werten von zumindest einem Teil der Betriebsgrößen aktuelle Werte der Ausgangsgrößen zu modellieren;
- - Erkennen einer Anomalie abhängig von einem Modellierungsfehler für jede der Ausgangsgrößen; und
- - Erkennen einer Manipulation abhängig von den erkannten Anomalien.
-
Figurenliste
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
- 1 eine schematische Darstellung einer Abgasnachbehandlungseinrichtung als Beispiel für ein technisches System;
- 2 eine schematische Darstellung einer Netzwerkstruktur eines auf Auswertung von Zeitreihen von Eingangsvektoren basierenden Manipulationserkennungsmodells zur Verwendung bei einer Manipulationserkennung;
- 3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Manipulationserkennung der Abgasnachbehandlungseinrichtung der 1.
-
Beschreibung von Ausführungsformen
-
1 zeigt eine schematische Darstellung eines Abgasnachbehandlungssystems 2 für ein Motorsystem 1 mit einem Verbrennungsmotor 3. Die Abgasnachbehandlungseinrichtung 2 ist zur Abgasnachbehandlung von Verbrennungsabgasen des Verbrennungsmotors 3 ausgelegt. Der Verbrennungsmotor 3 kann als Dieselmotor ausgebildet sein.
-
Die Abgasnachbehandlungseinrichtung 2 weist einen Partikelfilter 21 und einen SCR-Katalysator 22 auf. Stromaufwärts des Partikelfilters 21, stromabwärts des Partikelfilters 21 und stromabwärts des SCR-Katalysators 22 wird die Abgastemperatur mit einem jeweiligen Temperatursensor 23, 24, 25 und stromaufwärts und stromabwärts des SCR-Katalysators 22 der NOx-Gehalt mit einem jeweiligen NOx-Sensor 26, 27 gemessen und in einer Steuereinheit 4 verarbeitet. Die Sensorsignale werden als Systemgrößen G der Steuereinheit bereitgestellt.
-
Es sind ein Harnstoffreservoir 51, eine Harnstoffpumpe 52 und ein steuerbares Eindüssystem 53 für den Harnstoff vorgesehen. Das Eindüssystem 53 ermöglicht es, gesteuert durch die Steuereinheit 4 mithilfe einer Stellgröße S Harnstoff in vorbestimmter Menge in das Verbrennungsabgas stromaufwärts des SCR-Katalysators 22 zuzuführen.
-
Die Steuereinheit 4 steuert nach bekannten Verfahren die Zufuhr von Harnstoff stromaufwärts des SCR-Katalysators 22 durch Vorgabe einer Stellgröße für das Eindüssystem 53, um eine bestmögliche Katalysation des Verbrennungsabgases zu erreichen, so dass der Stickoxidgehalt möglichst reduziert wird.
-
Herkömmliche Manipulationsvorrichtungen manipulieren Sensorsignale und/oder Stellsignale, um den Verbrauch von Harnstoff zu reduzieren oder vollständig zu stoppen.
-
Zwar können derartige Manipulationen durch regelbasiertes Überwachen von Betriebszuständen der Abgasnachbehandlungseinrichtung erkannt werden, jedoch können nicht alle entsprechenden unerlaubten Betriebszustände auf diese Weise überprüft werden. Daher wird ein Manipulationserkennungsverfahren basierend auf einem Manipulationserkennungsmodell vorgeschlagen. Dies kann in der Steuereinheit 4 ausgeführt werden. Das Verfahren kann in der Steuereinheit 4 als Software und/oder Hardware implementiert sein.
-
2 zeigt eine schematische Darstellung eines Manipulationserkennungsmodells 10, das Verläufe von Eingangsgrößen E verarbeiten kann, um eine oder mehrere Ausgangsgrößen A zu erzeugen. Die Eingangsgrößen können Betriebsgrößen B umfassen, die Systemgrößen G und/oder Stellgrößen S aufweisen. Die Eingangsgrößen werden Zeitschritt für Zeitschritt ausgewertet, um den aktuellen Wert einer oder mehrerer der Betriebsgrößen B zu rekonstruieren und als entsprechende Ausgangsgrößen bereitzustellen. Die Ausgangsgrößen können in einem Regressionsansatz Betriebsgrößen umfassen, die nicht Teil der Eingangsgrößen sind.
-
Dazu kann das Manipulationserkennungsmodell einen Autoencoder umfassen, dem eine oder mehrere erste Eingangsgrößen zugeführt wird und der im gezeigten Ausführungsbeispiel als Variational Autoencoder 20 ausgebildet ist. Der Variational Autoencoder 20 weist eingangsseitig ein erstes rekurrentes neuronales Netz 201 auf. Das erste rekurrente neuronale Netz 201 kann beispielsweise als LSTM oder GRU oder Varianten davon ausgebildet sein. Das erste rekurrente neuronale Netz 201 dient dazu, die zeitlichen Dynamiken der Verläufe der ersten Eingangsgrößen E' zu lernen.
-
Der Ausgang des ersten rekurrenten neuronalen Netzes 201 wird auf eine oder mehrere serielle erste Fully-Connected-Schichten 202 (lineare Schichten, d. h. Neuronenschichten ohne nichtlineare Aktivierungsfunktionen) ausgegeben. Die eine oder die mehreren erste Fully-Connected-Schichten 202 bilden ausgangsseitig einen latenten Merkmalsraum 203 des Variational Autoencoders.
-
Der latente Merkmalsraum stellt die Verteilung von Merkmalen der Verläufe der ersten Eingangsgrößen E' dar, indem der Variational Autoencoder 2 als generatives Modell ausgebildet wird. Dazu wird mithilfe eines Regularisierungsterms die entsprechende Verteilung im latenten Merkmalsraum 203 erzwungen. Der Regularisierungsterm ist so vorgegeben, dass die Verteilung der Merkmale der ersten Eingangsgrößen im latenten Merkmalsraum 203 einer multivariaten Normalverteilung entspricht. Dazu kann der latente Merkmalsraum 203 als zwei lineare Merkmalsraumschichten, d. h. Neuronenschichten ohne nichtlineare Aktivierungsfunktionen, ausgebildet sein, sodass eine der Merkmalsraumschichten 203a den Mittelwertvektor µ und die andere Merkmalsraumschicht 203b die Standardabweichung σ repräsentiert. Man verwendet den Variational Autoencoder, um bei der Auslegung des Manipulationserkennungsmodells eine höhere Generalisierbarkeit der nicht durch Trainingsdaten abgebildeten Eingangsgrößenverläufe zu erreichen.
-
Der Mittelwertvektor µ und die Standardabweichung σ, die in den Merkmalsraumschichten 203a, 203b repräsentiert sind, werden mithilfe einer oder mehreren Sampling-Schichten 204 weiterverarbeitet, sodass die durch den Autoencoder gelernten latenten Merkmale gesampelt und diese bereitgestellt werden.
-
In einem Prädiktionsmodell 30 werden eine oder mehrere zweite Eingangsgrößen E", die allen oder einem Teil der Betriebsgrößen B basierend auf einem vorangegangenen Zeitschritt t-1 verarbeitet. Diese Verarbeitung wird nachfolgend mit dem Ausgang des Autoencoders kombiniert, so dass das gesamte Manipulationserkennungsmodell auf die Information aus beiden vorangegangenen Komponenten Zugriff hat. Die zweiten Eingangsgrößen können zu den ersten Eingangsgrößen identisch sein oder einer Teilmenge dieser entsprechen oder von den ersten Eingangsgrößen verschieden sein. D.h. dem Autoencoder werden in einem Zeitschritt t die aktuellen Werte der ersten Eingangsgrößen und dem Prädiktionsmodell 30 die Werte der zweiten Eingangsgrößen E" zu einem vorangehenden Zeitschritt t-1 zugeführt.
-
Insbesondere ist es hierdurch möglich, eingangsseitig Betriebsgrößen zu verwenden, die zwar aufgrund ihrer Abhängigkeiten zu anderen Signalen wichtig für deren Modellierung sind, für die eigentliche Anomalieerkennung aber nicht relevant sind und damit nur als Teil der ersten bzw. zweiten Eingangsgrößen auftreten. Zum anderen ist es möglich, Ausgangsgrößen A zu modellieren, die nicht Teil der eingangsseitig verwendeten Eingangsgrößen E', E" sind. Hierdurch ist es möglich, Ausgangsgrößen A per Regressionsansatz zu modellieren und diese mit den tatsächlichen Betriebsgrößen B, die zuvor nicht eingangsseitig verwendet worden sind, zu vergleichen.
-
Das Prädiktionsmodell 30 ist gemeinsam mit dem Autoencoder trainiert und dadurch in der Lage, einen Ausgang bereitzustellen, der den Ausgang des Autoencoders ausgleicht / ergänzt. Hierzu kann das Prädiktionsmodell 30 im Gegensatz zum Autoencoder 20 auf die Werte der zweiten Eingangsgrößen zum vorangehenden Zeitschritt t-1 zugreifen. Das Prädiktionsmodell 30 verarbeitet dazu die Verläufe der zweiten Eingangsgrößen E" bis zu einem vorangegangenen Zeitschritt t-1 zunächst mit einem zweiten rekurrenten Netz. Dazu wird der Ausgang des zweiten rekurrenten neuronalen Netzes 301 mit einer oder mehreren zweiten Fully-Connected-Schichten 302 gekoppelt.
-
Der Ausgang der einen oder der mehreren Fully-Connected-Schichten 302 des Prädiktionsmodells 30 wird mit dem Ausgang der Sampling-Schichten 204 (Betriebsgrößenvektor BV) des Variational Autoencoders 20 kombiniert. Insbesondere können die Ausgänge des Variational Autoencoders 20 und des Prädiktionsmodells 30 hierfür in einem Summationsblock addiert oder konkateniert werden, um einen Ergebnisvektor V zu erhalten.
-
Der Ergebnisvektor V kann wiederum in einem Auswertemodell 40, das eine oder mehrere dritte Fully-Connected-Schichten 401 aufweist, prozessiert werden, um als Endausgabe eine Rekonstruktion einer oder mehrerer der Betriebsgrößen B als Ausgangsgrößen A zu erzeugen. Die ersten Eingangsgrößen E' für den Variational Autoencoder 20 entsprechen den aktuellen (Zeitschritt t) Werten der ersten Eingangsgrößen, während eingangsseitig des Prädiktionsmodells 30 die um einen Zeitschritt verzögerten Werte der zweiten Eingangsgrößen E" angelegt werden.
-
Das Ziel des Manipulationserkennungsmodells ist es, über einen längeren Zeitraum, beispielsweise eine normale Fahrt eines Fahrzeugs, zu entscheiden, ob in diesem eine Manipulationseinrichtung eingesetzt wurde. Die Betriebsgrößen B werden daher in einem vorgegebenen Zeitraster wie beispielsweise 100 ms, 500 ms oder 1 s aufgezeichnet. Es kann zudem ausreichend sein, das Manipulationserkennungsmodell nur während eines bestimmten Prozentsatzes einer Fahrt auszuwerten, um einen Manipulationsversuch zu erkennen. Die Betriebsgrößen B werden vor der Anwendung in dem Manipulationserkennungsmodell signalweise normiert oder standardisiert, insbesondere unter Verwendung der identischen Methodik, wie beim Training des Manipulationserkennungsmodells. Die Vorverarbeitung der Betriebsgrößen B sollte in robuster Weise normalisiert werden und kann weitere Schritte beinhalten, die Daten zu bereinigen, wie z. B. Umgang mit fehlenden Werten und das Extrahieren von relevanten Zeitintervallen, eine Glättung der Daten oder anderweitige Transformationen.
-
Beispielsweise kann durch das Manipulationserkennungsmodell ein Modell für einen NOx-Sensor erzeugt werden, dessen Sensorsignal manipuliert werden kann. Da ein genaues Regressionsmodell für den NOx-Sensor erstellt werden kann, können einfache Manipulationsansätze wie z. B. das Wiedereinspielen von realistischen NOx-Sensorwerten zuverlässig erkannt werden, da das Manipulationserkennungsmodell 10 das Ein- und Ausgangsverhalten von anderen Betriebsgrößen erlernt hat und durch ein einfaches Replay-Modell nicht getäuscht werden kann. Die Zusammenstellung der eingangsseitigen Betriebsgrößen B und der ausgangsseitigen Ausgangsgrößen sowie die Auswahl der ersten Eingangsgrößen E' und zweiten Eingangsgrößen E" wird mithilfe von Domainwissen erstellt.
-
Für eine oder mehrere der Betriebsgrößen, von denen bekannt ist, dass diese manipuliert werden können, kann es sinnvoll sein, einen Regressionsansatz zu wählen, bei dem eine Ausgangsgröße A generiert wird, die nicht zuvor als Eingangsgröße E', E" bzw. als erste E' und/oder zweite Eingangsgrößen E" eingangsseitig verwendet worden ist.
-
Das Training des Manipulationserkennungsmodells kann über mehrere Epochen erfolgen. Die Anzahl der Epochen kann entweder fest vorgegeben oder durch ein Abbruchkriterium definiert sein. In jeder Epoche werden alle Trainingsdaten vom neuronalen Netz einmal verarbeitet. Die Trainingsdaten werden in Batches aufgeteilt, die jeweils Zeitreihen von Betriebsgrößen aufweisen, die zwischen 100 und 5.000, vorzugsweise zwischen 500 und 3.000, Werte umfassen. Vor jeder Epoche können die Batches neu und zufällig generiert werden.
-
Der Autoencoder 20 und/oder das Prädiktionsmodell 30 können vortrainiert werden, d.h. trainiert werden, bevor das gesamte Training des Manipulationserkennungsmodells erfolgt. Das Training des Variational Autoencoders 20 erfolgt basierend auf Verläufen der ersten Eingangsgrößen E' und wird mithilfe einer Fehlerfunktion F ausgeführt, die den Ausgang des Variational Autoencoders zusammen mit den berechneten Matrizen der Mittelwerte und Standardabweichungen und die tatsächlichen Werte der Ausgangsgrößen berücksichtigt. Die Fehlerfunktion umfasst den Modellierungsfehler (Abweichung zwischen den Ausgangsgrößen und den ermittelten tatsächlichen entsprechenden Betriebsgrößen) als einen Mean-squared-Error (MSE) oder den Root Mean Squared Error (RMSE) oder ggfs. den Huber-Loss, oder andere Abweichungsfunktionen, die eine numerische Abweichung zwischen den tatsächlichen Werten zum aktuellen Zeitschritt t und den Ausgangsgrößen des Manipulationserkennungsmodells berechnen. Um die Verteilungseigenschaften des latenten Merkmalraums zu erzwingen, wird gewichtet eine Kullback-Leibler-Regularisierung zum Modellierungsfehler addiert, die in den Mittelwertvektor und den Standardabweichungsvektor eingeht, wie aus dem Stand der Technik bekannt.
-
Der so ermittelte Fehlerwert wird mittels Backpropagation auf die Werte der Eingangsgrößen bzw. Betriebsgrößen gemäß den Trainingsdaten zurückpropagiert, wodurch die Gewichte des Netzes gemäß einer Optimierstrategie angepasst werden können. Hierzu können für neuronale Netze übliche Gradientenabstiegsverfahren, wie SGD, ADAM, ADAMW, RMSprop oder AdaGrad verwendet werden.
-
In 3 ist eine Anwendung des Manipulationserkennungsmodells 10 zum Signalisieren einer Manipulation eines Abgasnachbehandlungssystems näher beschrieben.
-
Für eine Auswertung des Manipulationserkennungsmodells 10 werden in Schritt S1 für jeden Zeitschritt die aktuellen Werte der ersten Eingangsgrößen E (Teil der Betriebsgrößen B) ’dem Variational Autoencoder 20 bereitgestellt.
-
In Schritt S2 werden die vorangegangenen Werte der zweiten Eingangsgrößen (gleicher oder anderer Teil der Betriebsgrößen) als um einen Zeitschritt verzögerte Eingangsgrößen dem Prädiktionsmodell 30 bereitgestellt.
-
In Schritt S3 werden durch Anwenden des Manipulationserkennungsmodells 10 in jedem Zeitschritt die aktuellen Werte der Ausgangsgrößen bestimmt. Die Ausgangsgrößen A entsprechen dem oder einem Teil der Betriebsgrößen B.
-
In Schritt S4 wird für den aktuellen Zeitschritt für alle Ausgangsgrößen jeweils ein Modellierungsfehler als Abweichung zwischen dem modellierten Wert der Ausgangsgröße und dem tatsächlichen Wert der der Ausgangsgröße entsprechenden Betriebsgröße bestimmt und zwischengespeichert. Die zugrunde liegende Fehlerfunktion berücksichtigt die Ausgangsgrößen, die den Ausgangsgrößen entsprechenden Betriebsgrößen, den Mittelwertvektor und den Standardabweichungsvektor des Variational Autoencoders 20. Die Fehlerfunktion kann beispielsweise dem Mean Squared Error zwischen den Rekonstruktionsgrößen und den Betriebsgrößen verwendet werden (oder auch ein RMSE oder ein Huber-Loss).
-
In Schritt S5 wird überprüft, ob Modellierungsfehler für die vorgegebene Anzahl T von Zeitschritten in dem betrachteten Zeitblock des Auswertungsintervalls bestimmt worden sind. Ist dies der Fall (Alternative: Ja), wird das Verfahren mit Schritt S6 fortgesetzt, anderenfalls wird zu Schritt S1 für den nächsten Zeitschritt zurückgesprungen.
-
In Schritt S6 werden die Modellierungsfehler der verschiedenen Zeitschritte des zuvor betrachteten Zeitintervalls jeweils für jede der Ausgangsgrößen addiert, um jeweilige Gesamtfehler zu erhalten. So kann anhand von Verläufen von Betriebsgrößen des Abgasnachbehandlungssystems für jede Ausgangsgröße A ein Modellierungsfehler ermittelt und dieser über eine Anzahl T von Zeitschritten aufsummiert werden, um einen Gesamtfehler zu erhalten.
-
In Schritt S7 wird für jede Ausgangsgröße überprüft, ob der entsprechende Gesamtfehlerwert einen Evaluierungs-Perzentilwert der betreffenden Ausgangsgröße überschreitet. Ist dies der Fall (Alternative: Ja) wird in Schritt S8 das entsprechende Signal für das betrachtete Zeitintervall der betreffenden Ausgangsgröße als auffällig markiert. Das betrachtete Zeitintervall kann insgesamt als auffällig bzw. als Anomalie markiert werden, wenn in dem Zeitintervall der Gesamtfehler für mindestens eine der Ausgangsgrößen als auffällig festgestellt wurde.
-
Der Evaluierungs-Perzentilwert kann für jede Ausgangsgröße separat vorgegeben werden. Der Evaluierungs-Perzentilwert kann sich vor der eigentlichen Auswertephase auf Basis von Validierungsdaten aus einem Validierungsdatensatz ergeben, der Verläufe von Betriebsgrößen für ein nicht-manipuliertes, ordnungsgemäß arbeitendes Abgasnachbehandlungssystem angibt. Für jede Ausgangsgröße kann so ein Evaluierungs-Perzentilwert ermittelt werden, der sich durch eine Fehlermatrix ergibt. Hierzu werden signalweise für eine Anzahl von Zeitschritten die Fehler zu jeweils einem Gesamtfehlerwert addiert. Dies wird wiederholt durchgeführt, wobei aus den resultierenden Gesamtfehlerwerten ein Perzentilwert, z.B. ein 99,9 % Perzentil bestimmt wird. Dieser Wert kann kalibriert werden (je nachdem ob Vermeidung von False Positives oder eine möglichst hohe Erkennungsrate vorrangig ist). Damit wird pro Ausgangsgröße ein fester Evaluierungs-Perzentilwert ermittelt, gegen den dann in der Auswertungsphase verglichen wird.
-
In Schritt S9 wird überprüft, ob weitere Zeitintervalle in dem Auswertungsintervall untersucht werden müssen. Ist dies nicht der Fall (Alternative: Nein), wird das Verfahren mit Schritt S10 fortgesetzt, anderenfalls (Alternative: Ja) wird zu Schritt S1 für das nächste Zeitintervall zurückgesprungen.
-
Es kann während des Verfahrens in einem Counter gespeichert werden, wie viele Zeitintervalle insgesamt betrachtet wurden, und in einem weiteren Counter, wie viele als auffällig markiert wurden.
-
In Schritt S10 werden die erkannten Anomalien für aufeinanderfolgende Auswertungsintervalle beispielsweise einer Fahrt summiert und diese Summe wird durch die Zahl der gesamten Auswertungsintervalle während der Fahrt dividiert. Dieser Quotient gibt an, welcher Anteil der Fahrt als anomal erkannt wurde.
-
In Schritt S11 wird überprüft, ob der Quotient einen vorgegebenen Anteilsschwellenwert überschreitet. Überschreitet der Quotient den vorgegebenen Anteilsschwellenwert (Alternative: Ja), kann in Schritt S12 auf einen Manipulationsversuch geschlossen und dieses entsprechend in Schritt S13 signalisiert werden. Anderenfalls (Alternative: Nein) wird das Verfahren mit Schritt S1 fortgesetzt.
