-
Die Erfindung betrifft ein Verfahren und System zur Erzeugung von sicherheitskritischen Ausgabewerten einer Entität wie beispielsweise ein Kraftfahrzeug.
-
Der Trend zu Automatisierungssystemen bei Kraftfahrzeugen, mobilen Geräten und Maschinen in allen Bereichen der industriellen Produktion und in anderen Bereichen wie Bankwesen, Einzelhandel, Gastgewerbe und medizinischen Gesundheitssystemen nimmt stetig zu. Die Datenaufbereitung und Datenanalyse (Data Mining, Deep Learning, Künstliche Intelligenz) stellt dabei einen zentralen Aspekt dar.
-
So zielt beispielsweise eine automatisierte Sicherheitsüberwachung bei einer technischen Einheit wie einem Kraftfahrzeug darauf ab, die Beschaffenheit von einzelnen Komponenten bis hin zur gesamten Einheit zu beurteilen, um Schäden zu vermeiden, Instandhaltungen zu planen und damit Kosten zu senken. Dazu kann es sinnvoll sein, Kennzahlen und Kennwerte für Messwerte zu definieren, die eingehalten werden müssen und deren Über- oder Unterschreiten mit einem Fehleralarm verbunden sein können. Bei den Messwerten kann es sich um optische oder akustische Daten handeln, wie beispielsweise um schädliche Frequenzen im Betriebszustand einer Komponente bzw. eines Antriebsstrangs oder um optische Daten im Rahmen einer Gesichtserkennung oder um eine automatische Abstandsüberwachung bei einem Kraftfahrzeug oder die Berechnung von erlaubten Bewegungsbahnen. Für die erhaltenen Messdaten werden Berechnungsalgorithmen definiert und konfiguriert, um daraus beispielsweise Informationen über Erreger- und/oder Schadfrequenzen oder Informationen über eine Person oder eine Umgebung zu erhalten. Diese Schlüsselfaktoren wie Key Performance Indices können dann überwacht werden, um bei auftretenden Veränderungen mögliche entstehende Schäden an der technischen Einheit und den einzelnen Komponenten frühzeitig zu erkennen. Diese verschiedenen Schritte in einer Analysekette und/oder Berechnungskette erfordern allerdings ein sehr hohes Maß an Experten-Know-how und sind zudem in mathematischer Hinsicht komplex und zeitintensiv. Wird nach erfolgreicher Inbetriebnahme einer solchen Sicherheitsüberwachung ein Alarm gemeldet, ist es erforderlich, einen Experten zu Rate zu ziehen, um den detektierten Fehler an einer Komponente und/oder Anlage zu identifizieren, da bisher eine automatisierte Fehlererkennung häufig keine annehmbaren Resultate liefert.
-
In der
DE 101 13 538 B4 wird eine Regelvorrichtung beschrieben. Die Regelvorrichtung umfasst einen Regler, der eine Eingangsgröße erhält und aus dieser eine Stellgröße bestimmt, welche einem Stellglied einer Regelstrecke zugeführt wird. Ein neuronaler Korrekturgeber ist vorgesehen, der eine Prozessgröße aus der Regelstrecke, einen Teil der Regler-Eingangsgrößen und einen Teil der vom Regler bestimmten Stellgrößen erhält und aus diesen Eingangsgrößen ein Korrektursignal erzeugt. Des Weiteren wird eine Adaption des Korrekturgebers mit einem Online-Lernalgorithmus in Echtzeit vorgenommen.
-
In der
DE 10 2019 105850 A1 wird ein Verfahren zur Erzeugung eines reduzierten neuronalen Netzes für ein Steuergerät eines Fahrzeugs und/oder einer Fahrzeugkomponente beschrieben. Ein erstes Datenfeld eines ersten neuronalen Netzes wird eingelesen. Das erste Datenfeld weist Einträge auf, die in ihrer Gesamtheit teilweise eine interne Logik des ersten neuronalen Netzes repräsentieren. Das reduzierte neuronale Netz wird mithilfe des ersten Datenfeldes erzeugt, wobei das reduzierte neuronale Netz ein reduziertes Datenfeld mit Einträgen aufweist, die in ihrer Gesamtheit zumindest teilweise eine interne Logik des reduzierten neuronalen Netzes repräsentieren, wobei das reduzierte Datenfeld weniger von Null verschiedene Einträge als das erste Datenfeld enthält.
-
Die
DE 10 2019 105848 A1 betrifft ein Verfahren zur Erzeugung eines reduzierten neuronalen Netzes für ein Steuergerät eines Fahrzeugs. Zunächst wird das reduzierte neuronale Netz initialisiert. Dann werden jeweilige erste korrespondierende Ausgangsdatensätzen mithilfe eines ersten neuronalen Netzes und in Abhängigkeit eines jeweiligen Eingangsdatensatzes berechnet, wobei eine Gesamtheit der jeweiligen Eingangsdatensätze eine erste Menge der Eingangsdatensätze bildet. Nun werden jeweilige Abweichungen der ersten Ausgangsdatensätze von jeweiligen Vergleichsdatensätzen bestimmt, wobei der jeweilige erste Ausgangsdatensatz mit dem jeweiligen Vergleichsdatensatz korrespondiert. Schließlich wird das reduzierte neuronale Netz adaptiert.
-
In der
EP 1449743 B1 wird ein rekurrentes neuronales Netzwerk beschrieben. Das neuronale Netzwerk wird durch Verbinden mehrerer Knoten gebildet und bestimmt einen Parameter, der einen Bewegungszustand eines Fahrzeugs basierend auf vorbestimmten Eingabeinformationen anzeigt.
-
In der
US 2018 0300629 A1 wird ein Verfahren zum Trainieren eines neuronalen Netzwerks beschrieben. Das neuronale Netzwerk umfasst mindestens eine Schicht, die mehrere Eingangsknoten, mehrere Ausgangsknoten und mehrere Verbindungen aufweist, wobei jeder der mehreren Eingangsknoten mit jedem der mehreren Ausgangsknoten verbunden ist. Das Verfahren umfasst das pseudozufällige Auswählen einer Teilmenge der Vielzahl von Verbindungen, wobei jeder Verbindung ein Gewichtungsparameter zugeordnet wird
-
Eine Aufgabe der vorliegenden Erfindung besteht daher darin, ein Verfahren und ein System zur Erzeugung von ein oder mehreren sicherheitskritischen Ausgabewerten einer Entität zu schaffen, das sich durch eine hohe Zuverlässigkeit auszeichnet und dabei weniger komplex und zeitintensiv ist.
-
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, und hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 7 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
-
Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zur Erzeugung von ein oder mehreren sicherheitskritischen Ausgabewerten y einer Entität, wobei zumindest ein Parameter s der Entität, der zumindest einen Zustand und/oder zumindest ein Merkmal der Entität beschreibt, bestimmt wird; zumindest ein begrenzter Wertebereich C(s) für den Parameter s festgelegt wird; zumindest ein Messwert x für den bestimmten Parameter s durch zumindest einen Sensor ermittelt wird; der Messwert x von dem Sensor an zumindest einen Prozessor und/oder zumindest eine Speichereinheit gesendet wird; und zumindest ein Ausgabewert y aus dem Messwert x von dem Prozessor mit einer Softwareapplikation berechnet wird, wobei die Softwareapplikation ein neuronales Netz mit dynamischen Einschränkungen umfasst, das den Ausgabewert y innerhalb des festgelegten Wertebereichs C(s) für den bestimmten Parameter s ausgibt.
-
Vorteilhafterweise wird für das neuronale Netz mit dynamischen Einschränkungen eine bekannte Architektur von neuronalen Netzen verwendet und durch eine Funktion ϕ modifiziert, so dass der Ausgabewert y des neuronalen Netzes innerhalb des festgelegten Wertebereiches C(s) liegt.
-
In einer weiteren Ausführungsform ist vorgesehen, dem neuronalen Netz eine aus dem Parameter s gebildete Repräsentation g(s) als weiteren Eingabewert zu übergeben, so dass ein Ausgabewert y des neuronalen Netzes auch von dem bestimmten Parameter s abhängig ist.
-
In einer vorteilhaften Weiterentwicklung des erfindungsgemäßen Verfahrens ist vorgesehen, dass bei einem mehrdimensionalen neuronalen Netz für die Einschränkung des Wertebereichs ein beliebiges N-dimensionales konvexes Polytop mit M
-
Eckpunkten {v
i}
i=1,...,M verwendet wird und die Parameter s als die Koordinaten der M N-dimensionalen Eckpunkte des Polytops mit
spezifiziert werden, die Berechnungswerte z in einer finalen Schicht des neuronalen Netzwerks werden als z = (z
1, ..., z
M) definiert, die Funktion ϕ wird definiert als
bzw.
und auf die Berechnungswerte z = (z
1,...,z
M) und den Parameter
angewendet, wobei mit σ eine M-dimensionale Softmax-Funktion (normalisierte Exponentialfunktion) bezeichnet wird, womit sich für den Wertebereich C(s) der Ausgabewerte y die folgende Formel ergibt:
-
Vorteilhafterweise wird eine Datenbank verwendet, in der Daten hinsichtlich der Eigenschaften, der Parameter, graphische Bilder, und Zielgrößen der technischen Einheit sowie deren Verknüpfung gespeichert sind.
-
Dabei transformiert die Softmax-Funktion σ den M-dimensionalen Vektor z mit reellen Komponenten in einen M-dimensionalen Vektor σ(z) mit ebenfalls reellen Komponenten in den Wertebereich (0, 1), wobei die Komponenten des Vektors σ(z) insgesamt zu 1 aufsummiert werden.
-
In einer Ausführungsform ist vorgesehen, dass die Sensoren physikalische und/oder chemische und/oder biologische Messgrößen erfassen.
-
Gemäß einem zweiten Aspekt betrifft die Erfindung ein System zur Erzeugung von ein oder mehreren sicherheitskritischen Ausgabewerten y einer Entität, wobei das System ausgebildet ist, Parameter s der Entität, die einen Zustand und/oder zumindest ein Merkmal der Entität beschrieben, zu bestimmen und einen begrenzten Wertebereich C(s) für den Parameter s festzulegen; wobei Sensoren vorgesehen sind, um zumindest einen Messwert x für den bestimmten Parameter s zu ermitteln und den Messwert x an einen Prozessor und/oder eine Speichereinheit zu senden; und wobei der Prozessor ausgebildet ist, mittels einer Softwareapplikation einen Ausgabewert y zu berechnen, wobei die Softwareapplikation ein neuronalen Netz mit dynamischen Einschränkungen enthält, das den Ausgabewert y innerhalb eines festgelegten Wertebereiches C(s) für den bestimmten Parameter s ausgibt.
-
In einer weiteren Ausgestaltung verwendet das neuronale Netz mit dynamischen Einschränkungen eine bekannte Architektur von neuronalen Netzen und modifiziert diese durch eine Funktion ϕ, so dass der Ausgabewert y des neuronalen Netzes innerhalb des festgelegten Wertebereiches C(s) liegt.
-
Vorteilhafterweise verwendet das neuronale Netz eine aus dem Parameter s gebildete Repräsentation g(s) als weiteren Eingabewert, so dass ein Berechnungswert z des neuronalen Netzes auch von dem bestimmten Parameter s abhängig ist.
-
In einer vorteilhaften Weiterentwicklung ist vorgesehen, dass bei einem mehrdimensionalen neuronalen Netz für die Einschränkung des Wertebereichs C(s) ein beliebiges N-dimensionales konvexes Polytop C(s) mit M Eckpunkten {v
i}
i=1,...,M verwendet wird und die Parameter s als die Koordinaten der M N-dimensionalen Eckpunkte des Polytops mit
spezifiziert werden, die Berechnungswerte z in einer finalen Schicht des neuronalen Netzwerks werden als z = (z
1, ..., z
M) definiert, die Funktion ϕ wird definiert als
bzw.
und auf die Berechnungswerte z = (z
1...,z
M) und den Parameter
angewendet, wobei mit σ eine M-dimensionale Softmax-Funktion bezeichnet wird, womit sich für den Wertebereich C(s) der Ausgabewerte y die folgende Formel ergibt:
-
Vorteilhafterweise erfassen die Sensoren physikalische und/oder chemische und/oder biologische Messgrößen.
-
Gemäß einem dritten Aspekt betrifft die Erfindung ein neuronales Netz zur Berechnung von Ausgabewerten y aus Eingabewerten und/oder Messwerten x. Das neuronale Netz ist ausgebildet, eine dynamische Einschränkung der Ausgabewerte y auf einen festgelegten Wertebereich C(s) vorzunehmen, wobei eine bekannte Architektur von neuronalen Netzen verwendet und durch eine Funktion ϕ modifiziert wird, so dass der Ausgabewert y des neuronalen Netzes innerhalb des festgelegten Wertebereiches C(s) liegt.
-
In einer vorteilhaften Weiterentwicklung ist vorgesehen, dass dem neuronalen Netz eine aus dem Parameter s gebildete Repräsentation g(s) als weiteren Eingabewert übergeben wird, so dass ein Berechnungswert z des neuronalen Netzes auch von dem Parameter s abhängig ist.
-
In einer weiteren Ausführungsform ist vorgesehen, dass bei einem mehrdimensionalen neuronalen Netz für die Einschränkung des Wertebereichs C(s) ein beliebiges N-dimensionales konvexes Polytop mit M Eckpunkten {v
i}
i=1,...,M verwendet wird und die Parameter s als die Koordinaten der M N-dimensionalen Eckpunkte des Polytops mit
spezifiziert werden, die Berechnungswerte z in einer finalen Schicht des neuronalen Netzwerks als z = (z
1, ..., z
M) definiert werden, die Funktion ϕ wird definiert als
bzw.
und auf die Berechnungswerte z = (z
1,...,z
M) und den Parameter
angewendet, wobei mit σ eine M-dimensionale Softmax-Funktion bezeichnet wird, womit sich für den Wertebereich C(s) der Ausgabewerte y die folgende Formel ergibt:
-
Gemäß einem vierten Aspekt betrifft die Erfindung ein Computerprogrammprodukt, umfassend einen ausführbaren Programmcode, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt und/oder dem dritten Aspekt ausführt.
-
Nachfolgend wird die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert.
-
Dabei zeigt:
- 1 eine schematische Darstellung eines erfindungsgemäßen Systems zur Erzeugung von sicherheitskritischen Ausgabewerten einer Entität;
- 2 eine schematische Darstellung eines neuronalen Netzes gemäß der Erfindung;
- 3 eine schematische Darstellung einer Bildbearbeitung mit einem neuronalen Netz gemäß der Erfindung;
- 4 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
- 5 ein Computerprogrammprodukt gemäß einer Ausführungsform der des vierten Aspekts der Erfindung.
-
Zusätzliche Merkmale, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.
-
1 zeigt ein System 100 zur Erzeugung von sicherheitskritischen Ausgabewerten einer Entität 10. Bei der Entität 10 kann es sich beispielsweise um ein Kraftfahrzeug handeln, das aus verschiedenen Komponenten besteht. Es kann sich aber auch beispielsweise um eine komplexe Industrieanlage oder um eine Entität wie eine Kamera oder um wissenschaftliche Instrumente handeln. Die Entität 10 ist mit Sensoren 20 versehen, die akustische, optische, chemische und/oder sonstige Messwerte x als Daten aufnehmen. Bei den Sensoren 20 kann es sich beispielsweise um Drucksensoren, Piezosensoren, Drehzahlsensoren, Temperatursensoren und/oder bildaufnehmende Sensoren wie Kameras handeln. Die Sensoren 20 geben die Messwerte x an einen Prozessor 30 weiter, der die Daten mittels einer Softwareapplikation mit einem Algorithmus bearbeitet. Erfindungsgemäß weist der Algorithmus ein neuronales Netz auf. Es ist aber auch denkbar, dass die Daten zunächst in einer Speichereinheit 40 oder einem Softwaremodul 45 gespeichert werden und erst zu einem späteren Zeitpunkt von dem Prozessor 30 verarbeitet werden.
-
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Komponente, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert.
-
Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form von Arbeitsspeicher (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
-
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist der Prozessor speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit der Prozessor Funktionen ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder realisieren.
-
Unter „Messwerten“ sind im Zusammenhang mit der Erfindung sowohl die Rohdaten als auch bereits aufbereitete Daten aus den Messergebnissen der Sensoren 20 zu verstehen.
-
Es kann des Weiteren vorgesehen sein, dass der Prozessor 30 auf eine Datenbank 50 zugreift, in der Eigenschaften 52 und Parameter 54 der gesamten Entität 10 und ihrer Komponenten abgelegt sind. Zu den Parametern 54 können beispielsweise Drehzahlfrequenzen und Schadfrequenzen bei einem Motor gehören oder auch das Drehmoment des Motors bei einer bestimmten Geschwindigkeit. Es sind somit Wechselbeziehungen zwischen verschiedenen Parametern 54 einer Entität 10 darstellbar. Bei komplexen Entitäten 10, wie beispielsweise einem Motor, können somit die einzelnen Komponenten mit ihren möglichen Erregerfrequenzen erfasst werden.
-
Des Weiteren können aus der Datenbank 50 graphische Bilder 56 beispielsweise von der Umgebung der Entität 10 heruntergeladen werden. Es ist aber auch denkbar, dass in der Datenbank 50 Konstruktionspläne Entität 10, wie beispielsweise von einem Lager eines Getriebes oder des Motors abgelegt sind. Des Weiteren können Zielgrößen und Zielwerte 58 in der Datenbank 50 abgelegt sein, die einen Sicherheitsstandard definieren.
-
Für jede Entität 10 sind somit Informationen bzw. Daten hinsichtlich ihrer Eigenschaften 52, ihrer Parameter 54, graphische Bilder 56 und Zielgrößen 58 und wie diese Eigenschaften 52 und Parameter 54 miteinander verknüpft sind, in der Datenbank 50 gespeichert.
-
Des Weiteren kann eine Benutzerschnittstelle 70, die als Display ausgebildet sein kann, zur Ausgabe der Berechnungsergebnisse und/oder einer Alarmmeldung vorgesehen sein.
-
Gemäß der vorliegenden Erfindung verwendet der Prozessor 30 für die Verarbeitung der Messdaten eine modifizierte Architektur eines künstlichen neuronalen Netzes (NN) mit der Eigenschaft, den Ausgabebewerte-Bereich bei jedem Vorwärtsrechenschritt bezogen auf einen Eingabewert gezielt einschränken zu können. Bei den Eingabewerten handelt es sich vorzugsweise um die Daten der Messwerte x der Sensoren 20. In einer möglichen Anwendung kann vorgesehen sein, dass nur dann, wenn die Berechnung der Eingabewerte durch den Prozessor 30 ergibt, dass das Berechnungsergebnis für die Eingabewerte innerhalb des zuvor festgelegten Ausgabewertebereiches liegt, davon ausgegangen werden, dass zuvor definierte Sicherheitskriterien erfüllt sind. Ist eine Einschränkung auf den zuvor definierten Ausgabewertebereich nicht möglich, dann wird beispielsweise eine Alarmmeldung ausgegeben.
-
Ein bekanntes neuronales Netzwerk (NN) mit einer maximalen Ausgabemenge D wird gemäß der vorliegenden Erfindung in der Weise auf einen bestimmten Ausgabewertebereich C(s) eingeschränkt, dass zusätzliche Parameter s zu einem Datenpunkt, der als Messwert x ausgebildet sein kann, in das neuronale Netz (NN) eingebracht werden. Diese Parameter s können somit als zusätzliche Eingabewerte betrachtet werden. Diese Parameter s werden als eine Teilmenge C(s) der maximalen Ausgabemenge D des neuronalen Netzes definiert. Als θ werden beliebige weitere Parameter bezeichnet, die vorzugsweise die lernbaren Parameter des neuronalen Netzes darstellen. Die Ausgabewerte y werden definiert als:
wobei
-
Durch diese erfindungsgemäße Festlegung der Architektur des neuronalen Netzes wird festgelegt, dass die Zielwerte y=fe(x,s) des neuronalen Netzes ausschließlich in der Ausgabemenge C(s) liegen. Neuronale Netze mit dieser Architektur werden im Rahmen der vorliegenden Erfindung als neuronale Netze mit dynamischen Einschränkungen bezeichnet. Die bekannte Architektur von neuronalen Netzen wird verwendet und durch die Funktion ϕ derart modifiziert, dass der Ausgabewert y innerhalb eines definierten Ausgabewertebereiches C(s) liegt. Da es sich bei der vorliegenden Erfindung um eine Weiterentwicklung der bekannten Architektur von neuronalen Netzwerken handelt, können Trainingsalgorithmen bekannter neuronaler Netze angewendet werden. Dies gilt insbesondere für auf Gradienten basierende Optimierungsverfahren und Klassifizierungsverfahren, die für die erfindungsgemäßen neuronalen Netze mit dynamischen Einschränkungen verwendet werden können. Die Verwendung von bekannten Trainingsalgorithmen für das erfindungsgemäße neuronale Netz hat den Vorteil, dass zusätzliche Sicherheitseigenschaften hinzugefügt werden können.
-
Die vorliegende Erfindung schafft ein neuronales Netz mit dynamischen Einschränkungen indem neuronale Netze mit einer bekannten Architektur in spezifischer Weise modifiziert werden. Das erfindungsgemäße neuronale Netz bildet jeden Ausgabewert y innerhalb eines definierten Wertebereiches C(s), der für einen spezifischen Parameter s festgelegt wurde, ab. Unvorhergesehene Ausgabewerte, wie sie üblicherweise bei bekannten neuronalen Netzen auftreten, können daher vermieden werden. Das erfindungsgemäße neuronale Netz hingegen liefert innerhalb des Wertebereichs C(s) liegende Ausgabewerte und ist daher von seiner Struktur her deterministisch angelegt. Die Festlegung oder Bestimmung des Wertebereiches C(s) kann wiederum aufgrund spezieller Berechnungsmethoden oder Algorithmen erfolgen. So kann der Wertebereich C(s) beispielsweise im Bereich des autonomen Fahrens einen Lösungsraum darstellen, in dem eine bestimmte Bewegung eines Fahrzeugs entlang einer Trajektorie ohne die Möglichkeit einer Kollision mit anderen Fahrzeugen stattfinden kann.
-
Zudem kann durch die geänderte Architektur des erfindungsgemäßen neuronalen Netzes der Berechnungsaufwand reduziert werden. Es können zudem sehr tiefe neuronale Netze verwendet werden, die sich durch eine hohe Genauigkeit der Berechnungsergebnisse auszeichnen. Dies ist vor allem bei sicherheitskritischen Anwendungen, die sich durch geringe Fehlertoleranzen auszeichnen, bedeutsam. Zudem können erfindungsgemäß unterschiedliche Kategorien von Einschränkungen festgelegt werden, die sich auf den jeweiligen Anwendungsfall beziehen.
-
In 2 wird die erfindungsgemäße Modellierung eines neuronalen Netzes mit dynamischen Einschränkungen dargestellt. Ein neuronales Netz hθ mit einer bekannten Architektur bestehend aus verschiedenen Schichten wird mit einer erweiternden Funktion ϕ kombiniert, um die Einschränkung auf den Ausgabewertebereich C(s) zu steuern. Die Funktion ϕ bildet den Berechnungswert z des neuronalen Netzes auf den von dem Parameter s abhängigen Wertebereich C(s) ab. Sie enthält selbst keine lernbaren Parameter θ.
-
In einer Weiterentwicklung der Erfindung kann der Berechnungswert z des neuronalen Netzes auch von dem Parameter s selbst abhängig sein, wenn dem neuronalen Netz aus dem Parameter s gebildete Repräsentationen g(s) als weitere Eingabewerte übergeben werden. Die Funktion ϕ(z,s) wird dann auf den Berechnungswert z = hθ(x,g(s)) des neuronalen Netzes angewendet und bildet den Ausgabewert y des neuronalen Netzes auf den Wertebereich C(s) ab, wobei der Parameter s zur Spezifizierung der Einschränkung der maximalen Wertemenge D auf die entsprechende Teilmenge bestehend auf dem Ausgabebereich C(s) dient. Wenn die Funktion ϕ zudem differenzierbar in z ist, so können auf dieses erfindungsgemäße neuronale Netzwerk Gradienten basierende Optimierungsverfahren angewendet werden.
-
Es gilt somit:
-
Da neuronale Netze üblicherweise mehrdimensional ausgebildet sind, wird die erfindungsgemäße Modellierung eines neuronalen Netzes mit dynamischen Einschränkungen im Folgenden bezogen auf die Einschränkung des Ausgabewertebereichs auf ein beliebiges N-dimensionales konvexes Polytop C(s) mit M Eckpunkten {v
i}
i=1,...,M beschrieben. Das Polytop C(s) wird durch die Koordinaten der M N-dimensionalen Eckpunkte
als einschränkende Parameter spezifiziert. Die Berechnungswerte z in der finalen Schicht des neuronalen Netzwerks werden als z = (z
1, ...,z
M) definiert. Die Funktion ϕ ist nun wie folgt definiert
bzw.
und wird auf die Berechnungswerte z = (z
1, ...,z
M) und den Parameter
angewendet, wobei mit σ eine M-dimensionale Softmax-Funktion bezeichnet wird. Dabei transformiert die Softmax-Funktion σ den M-dimensionalen Vektor z mit reellen Komponenten in einen M-dimensionalen Vektor σ(z) mit ebenfalls reellen Komponenten in den Wertebereich (0, 1), wobei die Komponenten des Vektors σ(z) insgesamt zu 1 aufsummiert werden.
-
Damit ergibt sich für den Wertebereich C(s) der Ausgabewerte (y) die folgende Formel:
-
Werden somit die Vektoren s des konvexen Polytops C(s) als Repräsentationen g(s) an das neuronale Netzwerk übergeben, so liegt das Ergebnis wiederum im betrachteten konvexen Polytop C(s).
-
Im Rahmen der Erfindung sind weitere Verallgemeinerungen möglich, verschiedene Anteile Zk einer mehrdimensionalen Ausgabe eines neuronalen Netzes auf k unterschiedliche konvexe Polytope Ck mit jeweils unterschiedlicher Dimension und Anzahl an Eckpunkten einzuschränken. Für die verschiedenen Berechnungswerte Z1, ..., Zk werden verschiedene Funktionen ϕ1, ..., ϕk zum Abbilden der Anteile Z1, ..., Zk auf die Ausgabewerte Y1, ..., Yk gewählt. Die konvexen Polytope Ck können durch das Zusammenfassen der Koordinaten der Eckpunkte aller Polytope dargestellt werden.
-
Prinzipiell ist es auch denkbar, die Ausgabewerte y eines neuronalen Netzes auf ein nicht-konvexes Polytop einzuschränken, indem das nicht-konvexe Polytop in konvexe Polytop aufgeteilt wird. In den konvexen Polytop-Komponenten kann dann das erfindungsgemäße Verfahren durchgeführt werden. Zusätzlich werden Softmax-Wahrscheinlichkeiten verwendet, um die Polytop-Komponente auszuwählen, die die Lösung für eine Aufgabe darstellt.
-
Durch ein solches mehrdimensionales neuronales Netzwerk mit dynamischen Einschränkungen ist es auch möglich, mehrere Entitäten und technische Einheiten miteinander zu verknüpfen. So können beispielsweise Vergleiche zwischen verschiedenen Fahrzeugen eines bestimmten Fahrzeugtyps vorgenommen werden. Die Daten von verschiedenen Fahrzeugen können beispielsweise während ihres Betriebs an eine Cloud weitergeleitet werden, um mittels des Algorithmus der vorliegenden Erfindung eine Datenanalyse bezogen auf Mittelwerte von technischen Daten zu ermitteln, wie beispielsweise das Verhalten des Getriebes nach einem definierten Kilometerstand.
-
Ein neuronales Netz mit dynamischen Einschränkungen eignet sich somit für verschiedene technischen Anwendungen. Der Algorithmus mit dem neuronalen Netz wird vorzugsweise auf einem Prozessor 30 mit einer Speichereinheit 40 ausgeführt wird. Er erhält Messwerte × oder bereits teilweise verarbeitete Messwerte von Sensoren 20 als Eingabewerte, die mittels des erfindungsgemäßen neuronalen Netzes zu Ausgabewerte y verarbeitet werden. Gemäß der vorliegenden Erfindung ist eine spezifische Architektur für das verwendete neuronale Netz vorgesehen, die ausschließt, dass ein Ausgabewert y des neuronalen Netzes außerhalb eines definierten Ausgabewertebereich C(s) liegt. Der Ausgabewertebereich C(s) des neuronalen Netzes kann sich für unterschiedliche Eingabedaten unterscheiden und wird durch den Parameter s spezifiziert.
-
Die Erfindung ist für eine Vielzahl von Anwendungen verwendbar, wie beispielsweise die Bewegungsplanung bei einem autonom fahrenden Fahrzeug. Bei den Eingabedaten kann es sich dabei um Messewerte x von Sensoren im Fahrzeug, wie beispielsweise eine Kamera, handeln oder LiDAR, Radar oder Ultraschall kann eingesetzt werden. Auch können bereits verarbeitete Messwerte wie Objektdaten verwendet werden. Die Ausgabewerte können beispielsweise eine Trajektorie, die die räumliche und zeitliche Bewegung einer Entität 10 wie ein Fahrzeug repräsentiert, darstellen, oder direkte Stellgrößen beispielsweise für die Regelung einer Lenkung im Fahrzeug beinhalten.
-
Bekannte neuronale Netz, die für die Berechnung der Bewegungsplanung eines Fahrzeugs verwendet werden, weisen den Nachteil auf, dass ihr Verhalten aufgrund ihres „Blackbox-Charakters“ nur schwierig vorhersagbar ist. Damit sind sie nur bedingt für Situationen einsetzbar, an die hohe Sicherheitsanforderungen gestellt werden. Insbesondere für Einsätze auf dem Gebiet des autonomen Fahrens ist auszuschließen, dass die Bewegungsplanung zu Kollisionen mit anderen Verkehrsteilnehmern führt. Das erfindungsgemäße neuronale Netz ermöglicht es hingegen, bestimmte Verhaltensmuster wie beispielsweise die Wahl einer zu einer Kollision führenden Trajektorie durch Einschränkung des Ausgabewertebereichs C(s) auszuschließen. Für die Bewegungsplanung werden mittels des erfindungsgemäßen Algorithmus nur Trajektorien zugelassen, die eine Kollision mit anderen vorhandenen und detektierten Fahrzeugen vermeiden. Da es sich bei der Bewegungsplanung eines Fahrzeugs um eine räumlich und zeitliche Positionsänderung des Fahrzeugs handelt, kann erfindungsgemäß der Ausgabewertebereich C(s) dynamisch in der Zeit geändert werden. Eine Bewegung des Fahrzeugs ist nur dann erlaubt, wenn die Trajektorie sich innerhalb eines zuvor definierten Raumbereiches zu einem Zeitpunkt t befindet.
-
Weitere Anwendungsbeispiele der vorliegenden Erfindung sind eine Regelung der x- und y-Koordinaten bei einem Fahrzeug, wie beispielsweise eine Querregelung bei einem Fahrspurhalteassistenten oder eine Längsregelung bei einem Abstandsregeltempomaten (Adaptive Cruise Control, ACC). Hierbei wird vorzugsweise basierend auf Messdaten, wie beispielsweise dem Abstand zu einem vorausfahrenden Fahrzeug, eine Sollbeschleunigung oder ein Soll-Lenkwinkel als Ausgabewert berechnet. Eine Regelung unter Verwendung des erfindungsgemäßen Algorithmus kann untere und obere Grenzwerte für die Ausgabewerte in Abhängigkeit von Messwerten als den Eingabewerten berechnen. Innerhalb dieser Grenzen kann vorteilhafterweise das Verhalten des neuronalen Netzes trainiert werden, bevor es bei einem Fahrzeug eingesetzt wird.
-
Im Bereich der Bildverarbeitung könnte die Einschränkung des Ausgabebereichs einen Untersuchungsbereich (Region-of-Interest) darstellen. So könnte auf einer medizinischen Bildaufnahme eine automatisierte Lokalisierung einer spezifischen Struktur, beispielsweise ein bestimmtes anatomisches Merkmal des Auges für eine Augenoperation, vorgenommen werden.
-
Im Bereich der automatischen Gesichtserkennung kann das erfindungsgemäße neuronale Netz eingesetzt werden, um Begrenzungsbereiche (Bounding Box) für Gesichter zu definieren. Soll nun für ein detektiertes Gesicht die Position von Merkmalen wie die Augen oder die Nasenspitze bestimmt werden, kann mittels der vorliegenden Erfindung der Ausgabewertbereich auf den Begrenzungsbereich (Bounding-Box) eingeschränkt werden. In 3 ist schematisch das Foto 150 einer Person dargestellt. Die Pixel des Fotos 150 bilden die Messwerte xi und werden gemäß der vorliegenden Erfindung auf den Bereich der Ausgabewerte yi eingeschränkt, der in diesem Beispiel als ein Dreieck 170 ausgebildet ist, das die Nasenspitze umgrenzt.
-
In einer Weiterentwicklung der Erfindung ist vorgesehen, die Erfindung für die Sicherheitsüberwachung einer Entität 10 zu verwenden. So können Parameter s definiert werden, die einen Normalbetrieb der Entität 10 definieren. Des Weiteren ermöglicht ein neuronales Netz mit dynamischen Einschränkungen den Einsatz bei wissensbasierten Lösungen und kann daher für Aufgaben im Bereich des Wissensmanagements und Forschungsprojekte wie beispielsweise in der Medikamentenentwicklung eingesetzt werden. Mit dem erfindungsgemäßen neuronalen Netz können erlaubte Ausgabewertebereiche von nicht erwünschten Bereichen einfach und klar unterschieden werden, wie beispielsweise unterschiedliche Patientengruppen hinsichtlich der Verträglichkeit eines Medikaments.
-
Das Verhalten des erfindungsgemäßen neuronalen Netzes wird daher nicht nur in bekannter Weise implizit mittels Daten antrainiert, sondern es ist eine explizite Modellierung durch die Bestimmung des Ausgabewertebereichs möglich. Der Ausgabewertebereich C(s) kann dabei als bereits vorhandenes Wissen über die Ausgabewerte y interpretiert werden, beispielsweise durch Expertenwissen oder bekannte mathematische Beziehungen.
-
Ein Verfahren zur Zustandsüberwachung einer technischen Einheit 10 gemäß der vorliegenden Erfindung umfasst daher die folgenden Schritte:
- In einem Schritt S10 werden Parameter s einer Entität 10, die einen Zustand und/oder ein Merkmal der Entität 10 beschreiben, bestimmt bzw. ermittelt. Hierbei kann es sich bei einem Motor beispielsweise um die Erreger- und/oder Schadfrequenzen handeln oder einen Raumbereich für eine Trajektorie bei einem autonom fahrenden Fahrzeug.
- In einem Schritt S20 wird ein begrenzter Wertebereich C(s) für den Parameter s festgelegt.
- In einem Schritt S30 wird zumindest ein Messwert × für den bestimmten Parameter s von zumindest einem Sensor 20 ermittelt.
- In einem Schritt S40 sendet der Sensor den Messwert × an den Prozessor 30 und/oder an eine Speichereinheit 40.
- In einem Schritt S50 berechnet der Prozessor 30 zumindest einen Ausgabewert aus dem Messwert × mittels einer Softwareapplikation, wobei die Softwareapplikation ein neuronales Netz (NN) mit dynamischen Einschränkungen umfasst, das den Ausgabewert y innerhalb des festgelegten Wertebereichs C(s) für den bestimmten Parameter ausgibt.
-
Gemäß der vorliegenden Erfindung kann eine Zustandsüberwachung einer Entität wie einer technischen Einheit bezüglich Komplexität und Zeitaufwand erheblich vereinfacht werden. Mittels des erfindungsgemäßen Algorithmus eines neuronalen Netzes mit dynamischen Einschränkungen kann eine zuverlässige Sicherheitsüberwachung für eine Entität erfolgen. Im Fehlerfall kann durch Auswertung aller verfügbaren Informationen aus erfassten und berechneten Daten sowie deren Korrelation untereinander eine automatische Beurteilung und Handlungsempfehlung abgeleitet werden.
-
Somit kann ein vollständiges Sicherheitsüberwachungsprojekt erstellt und der technische Zustand einer technischen Einheit 10, wie beispielsweise ein Antriebsstrang oder eine einzelne Komponente, überwacht und hinsichtlich ihres Betriebszustandes automatisch beurteilt werden. Damit kann eine Handlungsempfehlung ausgegeben werden, wie mit einer erkannten Fehlersituation umgegangen werden kann.
-
Bezugszeichenliste
-
- 10
- Entität
- 20
- Sensor
- 30
- Prozessor
- 40
- Speichereinheit
- 45
- Softwaremodul
- 50
- Datenbank
- 52
- Eigenschaften
- 54
- Parameter
- 56
- graphische Bilder
- 58
- Zielgrößen
- 70
- Benutzerschnittstelle
- 100
- System
- 150
- Foto
- 170
- Dreieck
- 200
- Computerprogrammprodukt
- 250
- Programmcode
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 10113538 B4 [0004]
- DE 102019105850 A1 [0005]
- DE 102019105848 A1 [0006]
- EP 1449743 B1 [0007]
- US 20180300629 A1 [0008]