-
Die vorliegende Erfindung betrifft ein Verfahren für eine Kalibrierung einer Maschine, bei dem mit einem KI-Agenten mittels einer Mensch-Maschine-Schnittstelle kooperiert wird. Ferner wird ein System beansprucht, welches eine Ausführung des Verfahrens erlaubt.
-
Ein auf einer Recheneinheit ablaufendes Computerprogramm, welches eigenständig auf einen Input reagierend einen Vorgang abarbeitet und dabei bspw. durch sogenanntes bestärkenders Lernen, vom Fachmann als RL, abgekürzt für Englisch „Reinforcement Learning“, bezeichnet, die Abarbeitung bspw. hinsichtlich einer Bewertungsfunktion optimiert, wird als intelligenter Agent oder KI-Agent bezeichnet, wobei KI abgekürzt für „Künstliche Intelligenz“ steht. Ein solcher KI-Agent ist in der Lage, fachmännische Aufgaben bspw. zur Motoreinstellung zu unterstützen. Dabei lernt der KI-Agent in einem Zusammenspiel mit seiner Umwelt hinzu, d. h. Richtlinien, Werte zu Einstellungen und Bewertungen eines durchgeführten Ablaufs sind Teil des Lernprozesses.
-
Ein besonders anspruchsvolles Problem stellt eine Kalibrierung einer Wärmekraftmaschine, bspw. ein Verbrennungsmotor, dar, wobei mehrere voneinander abhängige und sich beeinflussende Parameter einzustellen sind. Hierzu werden bis zu dreidimensionale, thermodynamische Prozesse beschreibende Kalibrierungskennfelder eingesetzt, die über nichtlineare algebraische Funktionen zusammenhängen. Anhand solcher Kalibrierungskennfelder kann man sich schrittweise im Parameterraum bewegen, um zu einer optimalen Maschineneinstellung zu gelangen. Die Kalibrierung der Wärmekraftmaschine beinhaltet damit meist eintönige, und erstmal vordergründig für eine computergestützte maschinelle Ausführung prädestiniert erscheinende Arbeitsabläufe. Allerdings sind diese Arbeitsabläufe sehr anspruchsvoll, da der Lösungsweg nur iterativ zu beschreiten ist und auch zu jedem Schritt eine jeweilige Zwischenlösung nicht trivial zu erhalten ist, da Fachkenntnis erforderlich ist, welches nicht in jedem Fall umfänglich technisch beschreibbar ist.
-
Bislang wird eine Hinführung zu einem abgeschlossenen Kalibrierungsziel, oder auch nur zu einer nächsthöheren Kalibrierungsstufe, technologisch nur allzu unzureichend unterstützt. Nach wie vor fehlt beim Kalibrieren eine bildhafte Darstellung des Kalibrierungsprozesses und der Abhängigkeiten in numerisch erzeugten Abbildungen der Kalibrierungskennfelder, die sich, wie voranstehend erwähnt, in bis zu drei Dimensionen entfalten und nichtlinear gekoppelt sind. Leider gelingt es bisher nicht, einen KI-Agent auf fachmännischer Expertise aufbauen zu lassen. Insbesondere abstrakte Fachkenntnisse sind mit gegenwärtigen Ansätzen nicht auf einen KI-Agenten abbildbar, machen aber gerade in den Arbeitsabläufen zur Kalibrierung den entscheidenden Unterschied aus.
-
Die Druckschrift
EP 2 661 388 B1 offenbart ein Verfahren, das den Kalibrierungsprozess eines Verbrennungsmotors erleichtern soll, indem numerische Kennfelder der Motorleistung berechnet und aufbereitet werden.
-
In der US-amerikanischen Druckschrift
US 2015/0169156 A1 wird vorgeschlagen, numerische Rückmeldungen in visuelle Signale umzusetzen, die mittels VR oder AR dargestellt werden. Einzelne Iterationen der Kalibrierung werden hierbei in einer Datenbank hinterlegt.
-
Die Druckschrift
US 2017/0185141 A1 betrifft ein System, welches numerische Kennfelder der Motorleistung berechnet und aufbereitet. Die Kennfelder werden mittels VR oder AR visualisiert.
-
Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren für eine Kalibrierung einer Maschine zur Verfügung zu stellen, welches einen KI-Agenten über einen Mensch-Maschine-Schnittstelle anlernt. Der KI-Agent soll bei der Maschinenkalibrierung kooperieren und sich dabei verbessern können. Ferner soll ein System beansprucht werden, welches eine Ausführung des Verfahrens erlaubt.
-
Zur Lösung der voranstehend genannten Aufgabe wird ein Verfahren für eine Kalibrierung einer Maschine mittels mindestens einen KI-Agenten vorgeschlagen, wobei der mindestens eine KI-Agent dazu konfiguriert ist, über eine Mensch-Maschine-Schnittstelle mittels einer VR-Brille und mindestens einem Bedienelement in Bezug auf ein Kalibrierungsziel mit einer außenstehenden Einheit, insbesondere einem Menschen bzw. Bediener zu interagieren. In iterativer Abfolge werden durch den mindestens einen KI-Agenten mindestens folgende Schritte durchlaufen:
- • Auswahl mindestens einer vorgegebenen Aktion gemäß mindestens einem Zustandswert;
- • Berechnung eines aus der mindestens einen ausgewählten Aktion resultierenden jeweiligen Kalibrierungskennfeldes;
- • Visualisierung der mindestens einen ausgewählten Aktion und des jeweiligen Kalibrierungskennfeldes als ein jeweiliger Vorschlag;
- • Empfangen einer Bewertung einer nach Betrachtung der Visualisierung mittels einer VR-Brille getroffenen Auswahl unter den jeweiligen Vorschlägen in Bezug auf das Kalibrierungsziel;
- • Protokollieren der jeweiligen Auswahl und deren Bewertung in einer Lerndatenbasis. Die Lerndatenbasis wird durch den mindestens einen KI-Agenten auf einer Speichereinheit abgespeichert.
-
Der mindestens eine KI-Agent wird mittels eines Algorithmus zum bestärkenden Lernen mit der Lerndatenbasis als Eingabe gemäß einer Optimierungskennzahl optimiert.
-
Das erfindungsgemäße Verfahren ermöglicht damit vorteilhaft eine Kombination aus interagierender bzw. kooperativer Begleitung eines Kalibrierungsprozesses durch den mindestens einen KI-Agenten mit einer interaktiven Visualisierung der für den Kalibrierungsprozess notwendigen Kalibrierungskennfelder durch die VR-Brille in Richtung auf das Kalibrierungsziel. Damit wird weiter vorteilhaft das Problem unzureichender Rückkopplung auf beabsichtigte Änderungen und Planungen eines nächsten Iterationsschrittes gelöst. Durch die vom mindestens einen KI-Agenten erlernten Richtlinien, auf deren Grundlage Abhängigkeiten und Ergebnisse zu Kalibrierungsschritten visualisiert werden, erscheint ein Abarbeiten der Arbeitsschritte einem das erfindungsgemäße Verfahren ausführenden Bediener als intuitiv vorgegeben. Das erfindungsgemäße Verfahren verbessert vorteilhaft das zuvor meist eintönige Durchlaufen des Kalibrierungsprozesses und führt menschliche und maschinelle Entscheidungsfindung zusammen.
-
Der mindestens eine KI-Agent wird optimiert, indem Richtlinien und/oder Werte zu Einstellungen durch Bewertungen eines durchgeführten Ablaufs als Teil des Lernprozesses angepasst werden. Hierzu werden vorgenommene Entscheidungen, bspw. die Auswahl eine Vorschlags und damit einhergehend ein Verwerfen anderer zur Auswahl gestellter Vorschläge protokolliert und dienen als Ausgangspunkt zur Anpassung der Richtlinien und/oder Einstellungswerte. Ein solcher Teil des Lernprozess wird bspw. in fortgeführter Ausführung nach einer Anzahl jeweiliger Durchläufe, bspw. nach einem Durchlauf oder nach zwei Durchläufen, voranstehender Abfolge von Schritten ausgeführt, da der mindestens eine KI-Agent am besten bei einer kontinuierlichen Bereitstellung neuer Daten lernt, so dass bereits gelernte Richtlinien stetig angepasst bzw. erweitert werden können.
-
Das zur Interaktion über die Mensch-Maschine-Schnittstelle dienende mindestens eine Bedienelement umfasst mindestens ein Mittel für eine Bedienung bzw. einer Steuerung aus folgender Liste: Berührungserkennung, Bewegungserkennung, haptische Techniken wie Vibration oder Kraftrückkopplung, vom Fachmann mit Englisch „force feedback“ bezeichnet. Ferner ist eine Sprachsteuerung denkbar.
-
Weitere vorteilhafte Anwendungen des erfindungsgemäßen Verfahrens sind denkbar. So kann es bspw. auf Einstellungen und Optimierungen eines Antriebsstrang und seiner Komponenten angewendet werden. Auch kann es generell zu einer Steuerung dynamischer Abläufe in einem System und Einstellung dessen Parameter eingesetzt werden. Sowohl bei einem Verbrennungsmotor als auch bei einem Elektromotor können mittels des erfindungsgemäßen Verfahrens die Steuerparameter eingestellt werden. Letztlich kann das erfindungsgemäße Verfahren bei allen Vorgängen, welche Einstellungen von Wärmekraftmaschinen oder anderer Maschinen unter Verwendung von Kennfeldern betreffen, vorteilhaft eingesetzt werden.
-
Das Zusammenspiel mit der Umwelt stellt das Verhalten eines Bedieners bzw. eines Kalibrierungsfachmanns dar. Davon ableitbare bzw. abgeleitete Richtlinien bzw. Strategien entsprechen dessen Verhalten. Ein von dem mindestens einen KI-Agenten auf Grundlage seines jeweiligen Lernstandes bereitgestelltes Ergebnis muss wiederum beurteilt werden, ob es sinnvoll bzw. verwendbar ist. Dies kann bspw. nach Erreichung des Kalibrierungsziels vom Bediener durchgeführt werden.
-
Der Kalibrierungsvorgang ist bspw. bei Traktionsmotoren, insbesondere bei Verbrennungskraftmaschinen, aber auch bei Elektromotoren, hochgradig kompliziert. Zugehörige Kalibrierungskennfelder sind oft dreidimensional und hängen über nichtlineare algebraische Funktion zusammen. Erlernte Richtlinien tragen zu einer Unterstützung des Kalibrierungsvorgangs bei und können ihn, nach ausreichender Abbildung der Vorgänge bzw. der Arbeitsschritte, am Ende ersetzen.
-
In einer Ausführungsform des erfindungsgemäßen Verfahrens wird mindestens eine vorgegebene Aktion des mindestens einen KI-Agenten für einen Kennfeld-Ausschnitt aus folgender Liste gewählt: Wertvergrößerung, Wertverkleinerung, Wertbelassung. Der mindestens eine KI-Agent erlernt bspw. als eine Richtlinie, dass wiederholt ein gleicher Kennfeldausschnitt für eine vergrößerte Darstellung ausgewählt wird und stellt bei einem folgenden Durchlauf der Schritte des erfindungsgemäßen Verfahrens diesen Kennfeldausschnitt bereits vergrößert dar. Für diesen vergrößerten oder bspw. farblich anders gekennzeichneten Ausschnitt schlägt der mindestens eine KI-Agent erfindungsgemäß für einzelne Parameter die Wertvergrößerung, Wertverkleinerung, oder Wertbelassung vor.
-
In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird der mindestens eine KI-Agent durch mindestens einen Zustandswert aus folgender Liste beschrieben: Ergebniskennfeld, welches einen Kalibrierungszustand beschreibt, Arbeitspunkt der Maschine, bspw. eine Motor, wobei für diesen interne Maschinenzustände bzw. Motorzustände abgeschätzt oder gemessen werden.
-
Ein Kriterium für die Optimierung ist die Optimierungskennzahl, technisch auch Gütefunktion oder Metrik bezeichnet. In einer noch weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird für den mindestens einen KI-Agenten die Optimierungskennzahl durch eine Differenz zwischen dem Ergebniskennfeld und einem Zielkennfeld oder durch einen Zuwachs dieser Differenz gebildet. Das Kalibrierungsziel kann bspw. ein ideales oder idealisiertes Maschinenkennfeld bzw. Motorkennfeld, bspw. für einen Leerlauf, sein. Für diesen beispielhaften Fall wird das Zielkennfeld durch das ideale Motorkennfeld gebildet. Die Differenz zwischen dem Ergebniskennfeld und einem Zielkennfeld wird bspw. durch eine Differenzsumme aller Werte des Ergebniskennfeldes und des Zielkennfeldes gebildet. Im Gegensatz zu einem jeweiligen Kalibrierungskennfeld, welches zu dem Kalibrierungsprozess notwendige, meist thermodynamische Größen beinhaltet, wird das Ergebniskennfeld und das Zielkennfeld durch diejenigen einen idealen Motorzustand beschreibenden Größen gebildet, bspw. ideale Leerlauf-Drehzahl, Motortemperatur, Leerlauf-Emissionswerte, Leistungsabgabe.
-
Die Optimierungskennzahl ändert sich, wenn bspw. eine Abweichung von einem aktuellen Kalibrierungsergebnis zu dem Kalibrierungsziel beobachtet wird. Dementsprechend wird eine optimale Optimierungskennzahl gemäß Maximierungs- oder Minimierungsziel der mathematischen Formulierung angestrebt. Ein Abbruchkriterium ist bspw. durch den Fall gegeben, das nach einem Durchlauf oder mehreren Durchläufen der Schritte des erfindungsgemäßen Verfahrens die Optimierungskennzahl zum vorausgegangenen Durchlauf sich nicht oder nur innerhalb kleiner Grenzen ändert.
-
In einer fortgesetzt weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird in der Visualisierung mittels zusätzlich angezeigter Informationen eine erweiterte Realität dargestellt. Bei der erweiterten Realität, abgekürzt AR für Englisch „augmented reality“, werden bspw. einzelne Datenwerte zu in der VR-Brille sichtbaren Strukturen eines Kennfeldes wiedergegeben.
-
In einer fortgesetzt noch weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird in einem zusätzlichen Schritt die Hilfestellung des mindestens einen KI-Agenten gesondert bewertet. Diese Bewertung geht zusätzlich in die Lerndatenbasis ein.
-
In einer noch weiter fortgesetzten Ausführungsform des erfindungsgemäßen Verfahrens wird die Lerndatenbasis um zusätzlich getroffene Auswahlen und deren jeweilige Bewertungen erweitert. Damit lassen sich Daten aus bereits abgeschlossenen Kalibrierungen, von denen der mindestens eine KI-Agent bislang keine Kenntnis hatte, vorteilhaft nutzen.
-
Ferner wird ein System zu eine Kalibrierung einer Maschine mittels mindestens einen KI-Agenten beansprucht, wobei das System eine Speichereinheit, ein Steuergerät, eine VR-Brille als Mensch-Maschine-Schnittstelle, mindestens einen KI-Agenten, einen Algorithmus zum bestärkenden Lernen und eine Lerndatenbasis umfasst. Die Speichereinheit ist dazu ausgelegt ist, die Lerndatenbasis und den mindestens einen KI-Agenten als Computerprogramm abzuspeichern. Das Steuergerät ist dazu konfiguriert, auf seiner Recheneinheit mindestens einen KI-Agenten ablaufen zu lassen. Der mindestens eine KI-Agent ist dazu konfiguriert, mittels einer VR-Brille als Mensch-Maschine-Schnittstelle in Bezug auf ein Kalibrierungsziel zu interagieren und in iterativer Abfolge mindestens folgende Schritte zu durchlaufen:
- • Auswahl mindestens einer vorgegebenen Aktion gemäß mindestens einem Zustandswert;
- • Berechnung eines aus der mindestens einen ausgewählten Aktion resultierenden jeweiligen Kalibrierungskennfeldes;
- • Visualisierung der mindestens einen ausgewählten Aktion und des jeweiligen Kalibrierungskennfeldes als ein jeweiliger Vorschlag;
- • Empfangen einer Bewertung einer nach Betrachtung der Visualisierung mittels einer VR-Brille getroffenen Auswahl unter den jeweiligen Vorschlägen in Bezug auf das Kalibrierungsziel;
- • Protokollieren der jeweiligen Auswahl und deren Bewertung in einer Lerndatenbasis;
-
Der Algorithmus zum bestärkenden Lernen ist dazu ausgelegt, den mindestens einen KI-Agenten mit der Lerndatenbasis als Eingabe gemäß einer Optimierungskennzahl zu optimieren.
-
Die Maschine ist bspw. eine Wärmekraftmaschine, oder ein Motor, bspw. ein Verbrennungsmotor oder ein Elektromotor.
-
Mindestens eine vorgegebene Aktion des mindestens einen KI-Agenten für einen Kennfeld-Ausschnitt ist aus folgender Liste gewählt: Wertvergrößerung, Wertverkleinerung, Wertbelassung. Der mindestens eine KI-Agent ist durch mindestens einen Zustandswert aus folgender Liste beschrieben: Kennzahl zu einem Kalibrierungsergebnis in Bezug auf ein Zielergebnis, Arbeitspunkt der Maschine oder des Motors, wobei hierzu interne Maschinenzustände bzw. Motorzustände abgeschätzt oder gemessen werden. Das Kalibrierungsziel kann bspw. ein ideales oder idealisiertes Maschinenkennfeld bzw. Motorkennfeld, bspw. für einen Leerlauf, sein. Eine Optimierungskennzahl ist durch einen Fortschrittszuwachs oder einen Fortschrittswert in Bezug auf eine Zielkennzahl oder in Bezug auf eine Belohnungskennzahl gebildet.
-
In einer Ausgestaltung des erfindungsgemäßen Systems ist die Lerndatenbasis dazu ausgelegt, durch zusätzlich getroffene Auswahlen und deren jeweilige Bewertungen erweitert zu werden.
-
Ferner wird ein Computerprogrammprodukt mit einem computerlesbaren Medium, auf dem ein auf einer Recheneinheit eines Steuergerätes zur Kalibrierung einer Maschine ausführbarer Programmcode gespeichert ist, beansprucht, wobei der Programmcode, bei Ausführung auf der Recheneinheit, die Recheneinheit dazu veranlasst, in fortgeführter Ausführung die folgenden Schritte auszuführen:
- • Auswahl mindestens einer vorgegebenen Aktion gemäß mindestens einem Zustandswert;
- • Berechnung eines aus der mindestens einen ausgewählten Aktion resultierenden jeweiligen Kalibrierungskennfeldes;
- • Visualisierung der mindestens einen ausgewählten Aktion und des jeweiligen Kalibrierungskennfeldes als ein jeweiliger Vorschlag;
- • Empfangen einer Bewertung einer nach Betrachtung der Visualisierung mittels einer VR-Brille getroffenen Auswahl unter den jeweiligen Vorschlägen in Bezug auf das Kalibrierungsziel;
- • Protokollieren der jeweiligen Auswahl und deren Bewertung in einer Lerndatenbasis
- • Optimierung mittels eines Algorithmus zum bestärkenden Lernen mit der Lerndatenbasis als Eingabe.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
-
Es versteht sich, dass die voranstehend genannten Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
- 1 zeigt ein Ablaufschema zu einem Kalibrierungsprozess in einer Ausführungsform des erfindungsgemäßen Verfahrens.
-
In 1 wird ein Ablaufschema 100 zu einem Kalibrierungsprozess in einer Ausführungsform des erfindungsgemäßen Verfahrens gezeigt. Eine Ergebnisfeldstartkurve 111 zu einem einen Anfang darstellenden Motorzustand und eine Zielkennfeldkurve 112 zu einem idealen oder idealisierten Motorzustand werden als Kennfeldkurven 104 dargestellt, d. h. auch gegenüber einem Bediener 101, ausgestattet mit VR-Brille und Bedienelementen, welche trivial als Fernbedienung zu verstehen sind, visualisiert. Beide Kurven 111 und 112 weisen eine gewisse Differenz auf, welche durch den Kalibrierungsprozess minimiert werden soll. Ein KI-Agent 102 beobachtet in einem Schritt 110 des erfindungsgemäßen Verfahrens einen Kalibrierungszustand, bspw. die Differenz zwischen der Ergebnisfeldstartkurve 111 und der Zielkennfeldkurve 112, wobei diese Differenz auch als ein beschreibendes Kriterium für einen Stand des KI-Agenten bzgl. eines bestärkenden Lernens, vom Fachmann in Englisch als „Reinforcement Learning“ bezeichnet, gewertet werden kann. Auf der Grundlage der Beobachtung, bspw. der Differenz unterbreitet der KI-Agent 110 in einem weiteren Verfahrensschritt 120 visualisierte Vorschläge 121 zur Auswahl verschiedener Kalibrierungseinstellungen und daraus resultierender Kalibrierungskennfelder 103. Je nach Auswahl würde eine Ergebniskennfeldkurve 123 resultieren. Dadurch wird dem Bediener 101 aufgezeigt, welche Ergebniskennfeldkurve 123 resultieren würde, wenn er sich für diese oder jene geänderte Kalibrierungseinstellung entscheidet. Gemäß den in der VR-Brille visualisierten Kalibrierungskennfeldern 103 und der daraus resultierenden Ergebniskennfeldkurve 123 trifft der Bediener 101 eine Auswahl 130. Dabei wird er vom KI-Agenten 102 auf Grundlage der bislang erlernten Expertise unterstützt, wobei der KI-Agent 102 diese Expertise durch Optimieren von Richtlinien und Anpassen von Werten zu Einstellungen auf Grundlage einer Lerndatenbasis 156 erlernt hat. Durch diese Auswahl 130 werden Einstellungsänderungen 140 vorgenommen, woraufhin sich geänderte Kalibrierungskennfelder 142 und eine geänderte, sich auf die Zielkennfeldkurve zubewegende Ergebniskennfeldkurve 144 ergeben. Die in den Verfahrensschritten 110, 120, 130 und 140 dargestellten Größen und darauf basierenden Entscheidungen werden als Lerndatenbasis 156 abgespeichert bzw. zu einer vorhandenen Lerndatenbasis 156 ergänzt. Zu einer weiteren Iteration der Verfahrensschritte 110, 120, 130 und 140 wird der KI-Agent durch einen Algorithmus zum bestärkenden Lernen auf Grundlage der Lerndatenbasis 156 angelernt bzw. optimiert.
-
Bezugszeichenliste
-
- 100
- Ablaufschema zu Kalibrierungsprozess
- 101
- Bediener mit VR-Brille und Fernbedienungen
- 102
- Künstliche-Intelligenz-(KI)-Agent
- 103
- Kalibrierungskennfelder
- 104
- Kennfeldkurven
- 110
- KI-Agent: Untersucht Kurvenunterschied
- 111
- Ergebniskennfeldstartkurve
- 112
- Zielkennfeldkurve
- 120
- KI-Agent: Zeigt Änderungsmöglichkeiten auf
- 121
- Vorschlag geänderte Kalibrierungskennfelder
- 123
- Vorschlag geänderte Ergebniskennfeldkurve
- 130
- Bediener trifft Auswahl
- 140
- Änderungen werden vorgenommen
- 142
- Resultierende geänderte Kalibrierungskennfelder
- 144
- Resultierende geänderte Ergebniskennfeldkurve
- 156
- Lerndatenbasis
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 2661388 B1 [0005]
- US 20150169156 A1 [0006]
- US 20170185141 A1 [0007]
