DE102021131742B4 - Computer-implemented method for calibrating an electric powertrain of a vehicle - Google Patents

Computer-implemented method for calibrating an electric powertrain of a vehicle Download PDF

Info

Publication number
DE102021131742B4
DE102021131742B4 DE102021131742.8A DE102021131742A DE102021131742B4 DE 102021131742 B4 DE102021131742 B4 DE 102021131742B4 DE 102021131742 A DE102021131742 A DE 102021131742A DE 102021131742 B4 DE102021131742 B4 DE 102021131742B4
Authority
DE
Germany
Prior art keywords
machine
electric drive
drive train
transformer
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102021131742.8A
Other languages
German (de)
Other versions
DE102021131742A1 (en
Inventor
Matteo Skull
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Priority to DE102021131742.8A priority Critical patent/DE102021131742B4/en
Publication of DE102021131742A1 publication Critical patent/DE102021131742A1/en
Application granted granted Critical
Publication of DE102021131742B4 publication Critical patent/DE102021131742B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Feedback Control In General (AREA)

Abstract

Computerimplementiertes Verfahren zur Kalibrierung eines elektrischen Antriebsstrangs (3) eines Fahrzeugs, umfassend die Schritte- Bereitstellen eines Transformers (1), der dazu ausgebildet ist, eine Eingabe (100a-100n) eines Nutzers, die zumindest eine Kalibrierungsaufgabe definiert, als Spracheingabe und/oder als Texteingabe zu empfangen und in eine codierte, maschinenlesbare Ausgabe (100a'-100n') zu wandeln,- Bereitstellen eines maschinellen Lernagenten (2), der so konfiguriert ist, dass er die codierte, maschinenlesbare Ausgabe (100a'-100n') des Transformers (1) als Eingangsparameter empfängt und eine Lernverstärkungsfunktion ausführt, bei der er mit dem elektrischen Antriebsstrang (3) interagiert und Aktionen ausführt, welche Kalibrierungsparameter und Zustände des elektrischen Antriebsstrangs (3) verändern,- Empfangen einer Eingabe (100a-100n) des Nutzers und Wandeln der Eingabe (100a-100n) in die codierte, maschinenlesbare Ausgabe (100a'-100n'),- Übertragen der codierten, maschinenlesbaren Ausgabe (100a'-100n') zum maschinellen Lernagenten (2) und- wiederholtes Ausführen der Lernverstärkungsfunktion des maschinellen Lernagenten (2), bis die Kalibrierungsaufgabe gelöst ist, wobei der maschinelle Lernagent (2) nach der Durchführung jeder Aktion in Abhängigkeit von den daraus resultierenden Zuständen des elektrischen Antriebsstrangs (3) eine positive, neutrale oder negative Belohnung erhält.Computer-implemented method for calibrating an electric drive train (3) of a vehicle, comprising the steps of - providing a transformer (1) which is designed to receive an input (100a-100n) from a user which defines at least one calibration task as a voice input and/or as a text input and to convert it into an encoded, machine-readable output (100a'-100n'), - providing a machine learning agent (2) which is configured to receive the encoded, machine-readable output (100a'-100n') of the transformer (1) as an input parameter and to execute a learning reinforcement function in which it interacts with the electric drive train (3) and executes actions which change calibration parameters and states of the electric drive train (3), - receiving an input (100a-100n) from the user and converting the input (100a-100n) into the encoded, machine-readable output (100a'-100n'),- transmitting the coded, machine-readable output (100a'-100n') to the machine learning agent (2) and- repeatedly executing the learning reinforcement function of the machine learning agent (2) until the calibration task is solved, wherein the machine learning agent (2) receives a positive, neutral or negative reward after performing each action depending on the resulting states of the electric drive train (3).

Description

Die vorliegende Erfindung bezieht sich auf ein computerimplementiertes Verfahren zur Kalibrierung eines elektrischen Antriebsstrangs eines Fahrzeugs.The present invention relates to a computer-implemented method for calibrating an electric powertrain of a vehicle.

Definition: Unter dem Begriff „Fahrzeug“ sollen im Rahmen der vorliegenden Anmeldung Landfahrzeuge, insbesondere Kraftfahrzeuge, Wasserfahrzeuge, insbesondere Boote, sowie Luftfahrzeuge verstanden werden.Definition: In the context of this application, the term “vehicle” is understood to mean land vehicles, in particular motor vehicles, watercraft, in particular boats, and aircraft.

Aus dem Stand der Technik sind bereits einige Ansätze zur Kalibrierung eines elektrischen Antriebsstrangs eines Fahrzeugs bekannt, die Methoden der künstlichen Intelligenz, insbesondere auch Methoden des verstärkenden Lernens, einsetzen. So beschreibt zum Beispiel die WO 2021/104753 A1 ein Verfahren zur Kalibrierung einer elektrischen Antriebsvorrichtung, wobei das Verfahren eine selbstlernende beziehungsweise selbstkalibrierende Regelung für die elektrische Antriebsvorrichtung bereitstellt. Ein Verfahren zur Kalibrierung eines Antriebsstrangs in Echtzeit, das ebenfalls Methoden der künstlichen Intelligenz einsetzt, ist aus der WO 2020/023746 A2 bekannt.Some approaches to calibrating an electric vehicle drive train are already known from the state of the art, using artificial intelligence methods, in particular reinforcement learning methods. For example, the WO 2021/104753 A1 a method for calibrating an electric drive device, wherein the method provides a self-learning or self-calibrating control for the electric drive device. A method for calibrating a drive train in real time, which also uses artificial intelligence methods, is known from WO 2020/023746 A2 known.

Die vorliegende Erfindung macht es sich zur Aufgabe, ein computerimplementiertes Verfahren zur Kalibrierung eines elektrischen Antriebsstrangs eines Fahrzeugs zur Verfügung zu stellen, welches die Kalibrierung des elektrischen Antriebsstrangs weiter vereinfachen und intuitiver gestalten kann.The present invention has for its object to provide a computer-implemented method for calibrating an electric drive train of a vehicle, which can further simplify the calibration of the electric drive train and make it more intuitive.

Die Lösung dieser Aufgabe liefert ein computerimplementiertes Verfahren zur Kalibrierung eines elektrischen Antriebsstrangseines Fahrzeugs mit den Merkmalen des Anspruchs 1. Die Unteransprüche betreffen vorteilhafte Weiterbildungen der Erfindung.The solution to this problem is provided by a computer-implemented method for calibrating an electric drive train of a vehicle with the features of claim 1. The subclaims relate to advantageous developments of the invention.

Ein erfindungsgemäßes computerimplementiertes Verfahren zur Kalibrierung eines elektrischen Antriebsstrangs eines Fahrzeugs umfasst die Schritte

  • - Bereitstellen eines Transformers, der dazu ausgebildet ist, eine Eingabe eines Nutzers, die zumindest eine Kalibrierungsaufgabe definiert, als Spracheingabe und/oder als Texteingabe zu empfangen und in eine codierte, maschinenlesbare Ausgabe zu wandeln,
  • - Bereitstellen eines maschinellen Lernagenten, der so konfiguriert ist, dass er die codierte, maschinenlesbare Ausgabe des Transformers als Eingangsparameter empfängt und eine Lernverstärkungsfunktion ausführt, bei der er mit dem elektrischen Antriebsstrang interagiert und Aktionen ausführt, welche Kalibrierungsparameter und Zustände des elektrischen Antriebsstrangs verändern,
  • - Empfangen einer Eingabe des Nutzers und Wandeln der Eingabe in die codierte, maschinenlesbare Ausgabe,
  • - Übertragen der codierten, maschinenlesbaren Ausgabe zum maschinellen Lernagenten und
  • - wiederholtes Ausführen der Lernverstärkungsfunktion des maschinellen Lernagenten, bis die Kalibrierungsaufgabe gelöst ist, wobei der maschinelle Lernagent nach der Durchführung jeder Aktion in Abhängigkeit von den daraus resultierenden Zuständen des elektrischen Antriebsstrangs eine positive, neutrale oder negative Belohnung erhält.
A computer-implemented method according to the invention for calibrating an electric drive train of a vehicle comprises the steps
  • - Providing a transformer which is designed to receive an input from a user which defines at least one calibration task as a voice input and/or as a text input and to convert it into an encoded, machine-readable output,
  • - Providing a machine learning agent configured to receive the encoded, machine-readable output of the transformer as an input parameter and to perform a learning reinforcement function in which it interacts with the electric powertrain and performs actions that change calibration parameters and states of the electric powertrain,
  • - Receiving an input from the user and converting the input into the encoded, machine-readable output,
  • - Transferring the encoded, machine-readable output to the machine learning agent and
  • - repeatedly executing the learning reinforcement function of the machine learning agent until the calibration task is solved, whereby the machine learning agent receives a positive, neutral or negative reward after performing each action depending on the resulting states of the electric powertrain.

Das erfindungsgemäße Verfahren ermöglicht es in vorteilhafter Weise, Nutzereingaben, die Kalibrierungsaufgaben definieren, mittels des Transformers automatisiert in die codierte, maschinenlesbare Ausgabe zu transformieren und dem maschinellen Lernagenten zur Verfügung zu stellen. Die Ausgaben des Transformers repräsentieren technische Ziele für den maschinellen Lernagenten, die bei der Kalibrierung des elektrischen Antriebsstrangs, der eine elektrische Maschine umfasst, erreicht werden sollen. Der Lernagent arbeitet nach dem Prinzip des bestärkenden Lernens (so genanntes „Reinforcement Learning“), um den elektrischen Antriebsstrang des Fahrzeugs in einem iterativen, sich wiederholenden Prozess zu kalibrieren. Der Nutzer interagiert dabei mittels des Transformers auf unmittelbare Weise direkt mit dem Lernagenten, ohne dass er diesen selbst programmieren oder konfigurieren muss. Dadurch können Kalibrierungsprozesse elektrischer Antriebsstränge in vorteilhafter Weise erheblich beschleunigt werden.The method according to the invention advantageously makes it possible to automatically transform user inputs that define calibration tasks into the coded, machine-readable output using the transformer and to make them available to the machine learning agent. The outputs of the transformer represent technical goals for the machine learning agent that are to be achieved when calibrating the electric drive train, which includes an electric machine. The learning agent works according to the principle of reinforcement learning to calibrate the vehicle's electric drive train in an iterative, repeating process. The user interacts directly with the learning agent using the transformer without having to program or configure it himself. This advantageously allows calibration processes for electric drive trains to be significantly accelerated.

Der Transformer ist so konfiguriert, dass er die Eingabe des Nutzers als Spracheingabe und/oder als Texteingabe empfängt und in die codierte, maschinenlesbare Ausgabe wandelt. Der Transformer ist so ausgebildet, dass er eine Kodierer-Schicht mit einer Mehrzahl von Kodierern sowie eine Dekodierer-Schicht mit einer Mehrzahl von Dekodierern umfasst. Sowohl in den Kodierern als auch in den Dekodierern sind so genannte Aufmerksamkeits-Module, die in der Fachwelt häufig auch als „Attention-Module“ bezeichnet werden, mit entsprechenden Aufmerksamkeitsalgorithmen implementiert. Die Eingaben des Nutzers werden dem Transformer als Spracheingaben in Form von Audiosignalen und/oder als Texteingaben, die vom Nutzer mittels einer geeignet ausgebildeten Eingabevorrichtung erstellt werden, zur Verfügung gestellt. Die Interaktion eines Nutzers mit dem Transformer kann somit sehr einfach und intuitiv erfolgen.The transformer is configured to receive the user's input as voice input and/or text input and convert it into the coded, machine-readable output. The transformer is designed to include an encoder layer with a plurality of encoders and a decoder layer with a plurality of decoders. Both the encoders and the decoders contain so-called attention modules, which are often referred to as "attention modules" in the specialist world. implemented with appropriate attention algorithms. The user's inputs are made available to the transformer as voice inputs in the form of audio signals and/or as text inputs created by the user using a suitably designed input device. The user's interaction with the transformer can thus be very simple and intuitive.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Verfahren einen Schritt des Trainierens des Transformers vor dessen Verwendung in einem Produktivbetrieb umfasst.In an advantageous embodiment, the method comprises a step of training the transformer before its use in productive operation.

In einer besonders vorteilhaften Ausführungsform wird vorgeschlagen, dass der Transformer durch halbüberwachtes Lernen trainiert wird. Dieses halbüberwachte Lernverfahren umfasst vorzugsweise ein unüberwachtes Vortraining und eine sich daran anschließende überwachte Feinabstimmung. Das Vortraining wird in der Regel mit einem größeren Trainingsdatensatz durchgeführt als die Feinabstimmung, da hierfür nur eine begrenzte Anzahl von Trainingsdaten zur Verfügung steht. Da das hier vorgestellte Verfahren einen entsprechend trainierten Transformer verwendet, ist es für einen Nutzer, insbesondere für einen Ingenieur oder Techniker, sehr einfach und intuitiv möglich, eine Spracheingabe und/oder Texteingabe in eine Kalibrierungsaufgabe, die mittels des Lernagenten durch verstärkendes Lernen gelöst werden soll, zu transformieren.In a particularly advantageous embodiment, it is proposed that the transformer is trained by semi-supervised learning. This semi-supervised learning method preferably comprises an unsupervised pre-training and a subsequent supervised fine-tuning. The pre-training is usually carried out with a larger training data set than the fine-tuning, since only a limited amount of training data is available for this. Since the method presented here uses a suitably trained transformer, it is very easy and intuitive for a user, in particular for an engineer or technician, to transform a voice input and/or text input into a calibration task that is to be solved by means of the learning agent through reinforcement learning.

In einer bevorzugten Ausführungsform kann vorgesehen sein, dass der Transformer so konfiguriert ist, dass die Ausgabe dem maschinellen Lernagenten angibt, welche Kalibrierungsparameter des elektrischen Antriebsstrangs der maschinelle Lernagent bei seinen Aktionen ändern kann, um die Kalibrierungsaufgabe zu lösen. Dadurch kann der maschinelle Lernprozess des Lernagenten zuverlässiger und damit auch effizienter gestaltet werden.In a preferred embodiment, the transformer can be configured such that the output indicates to the machine learning agent which calibration parameters of the electric drive train the machine learning agent can change in its actions in order to solve the calibration task. This makes it possible to make the machine learning process of the learning agent more reliable and thus also more efficient.

In einer Ausführungsform kann der Transformer so konfiguriert sein, dass er Belohnungsbedingungen festlegt, unter denen der maschinelle Lernagent Belohnungen für seine Aktionen erhält. Diese Belohnungsbedingungen hängen insbesondere davon ab, ob die Zustände des elektrischen Antriebsstrangs, die sich durch die Aktionen des maschinellen Lernagenten ergeben, als positiv, neutral oder negativ zu bewerten sind.In one embodiment, the transformer may be configured to specify reward conditions under which the machine learning agent receives rewards for its actions. In particular, these reward conditions depend on whether the states of the electric drive train resulting from the actions of the machine learning agent are to be evaluated as positive, neutral or negative.

Gemäß einem weiteren Aspekt betrifft die vorliegende Erfindung ein System zur Kalibrierung eines elektrischen Antriebsstrangs eines Fahrzeugs.According to another aspect, the present invention relates to a system for calibrating an electric powertrain of a vehicle.

Ein erfindungsgemäßes System umfasst gemäß Anspruch 6 eine digitale Verarbeitungseinheit und eine digitale Speichereinheit. In der digitalen Speichereinheit sind Instruktionen gespeichert, die durch die Verarbeitungseinheit auslesbar und ausführbar sind. Die Instruktionen sind dazu ausgebildet, die digitale Verarbeitungseinheit beim Auslesen der Instruktionen zur Durchführung eines Verfahrens nach einer Ausführungsform der Erfindung zu veranlassen.A system according to the invention comprises, according to claim 6, a digital processing unit and a digital storage unit. Instructions are stored in the digital storage unit, which can be read and executed by the processing unit. The instructions are designed to cause the digital processing unit to carry out a method according to an embodiment of the invention when reading out the instructions.

Weitere Merkmale und Vorteile der vorliegenden Erfindung werden deutlich anhand der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die beiliegenden Abbildungen. Dabei zeigen:

  • 1 eine schematisch stark vereinfachte Darstellung, die Einzelheiten eines computerimplementierten Verfahrens zur Kalibrierung eines elektrischen Antriebsstrangs eines Fahrzeugs veranschaulicht,
  • 2 eine schematische Ansicht, welche die grundlegende Funktionsweise eines Transformers veranschaulicht, der bei dem Verfahren verwendet wird.
Further features and advantages of the present invention will become clear from the following description of a preferred embodiment with reference to the accompanying drawings, in which:
  • 1 a schematically highly simplified representation illustrating details of a computer-implemented method for calibrating an electric drive train of a vehicle,
  • 2 a schematic view illustrating the basic operation of a transformer used in the method.

Unter Bezugnahme auf 1 verwendet das nachfolgend erläuterte computerimplementierte Verfahren zur Kalibrierung eines elektrischen Antriebsstrangs 3 eines Fahrzeugs, der eine elektrische Maschine umfasst, als zentrale Elemente zwei maschinelle Lernarchitekturen, die von einem Computersystem mit einer digitalen Verarbeitungseinheit ausgeführt werden. Bei einer dieser beiden maschinellen Lernarchitekturen handelt es sich um einen Transformer 1, der dazu ausgebildet ist, aus Eingaben 100a-100n, die er von einem Nutzer erhält, entsprechende Ausgaben 100a'-100n' in codierter, maschinenlesbarer Form zu erzeugen. Bei der anderen maschinellen Lernarchitektur handelt es sich um einen maschinellen Lernagenten 2, der dazu ausgebildet ist, die Ausgaben 100a'-100n' des Transformers 1 als Eingaben zu erhalten und in der weiter unten erläuterten Weise zu verarbeiten, um dadurch den elektrischen Antriebsstrang 3 durch Ausführung eines maschinellen Lernverfahrens zu kalibrieren.With reference to 1 The computer-implemented method explained below for calibrating an electric drive train 3 of a vehicle that includes an electric machine uses two machine learning architectures as central elements that are executed by a computer system with a digital processing unit. One of these two machine learning architectures is a transformer 1 that is designed to generate corresponding outputs 100a'-100n' in coded, machine-readable form from inputs 100a-100n that it receives from a user. The other machine learning architecture is a machine learning agent 2 that is designed to receive the outputs 100a'-100n' of the transformer 1 as inputs and to process them in the manner explained below in order to thereby calibrate the electric drive train 3 by executing a machine learning method.

Unter weiterer Bezugnahme auf 2 sollen nachfolgend Einzelheiten der Funktionsweise des Transformers 1 näher erläutert werden. Der Transformer 1 umfasst eine Kodierer-Schicht 10 mit einer Mehrzahl von Kodierern sowie eine Dekodierer-Schicht 11 mit einer Mehrzahl von Dekodierern. Sowohl in den Kodierern als auch in den Dekodierern sind so genannte Aufmerksamkeits-Module, die in der Fachwelt häufig auch als „Attention-Module“ bezeichnet werden, mit entsprechenden Aufmerksamkeitsalgorithmen implementiert.With further reference to 2 Details of the functionality of the transformer 1 will be explained in more detail below. The transformer 1 comprises an encoder layer 10 with a multi number of encoders and a decoder layer 11 with a plurality of decoders. In both the encoders and the decoders, so-called attention modules, which are often referred to as "attention modules" in the specialist world, are implemented with corresponding attention algorithms.

Der Transformer 1 wird vor dem späteren Produktivbetrieb darauf trainiert, aus den Eingaben 100a-100n des Nutzers, bei denen es sich vorliegend um technische Anforderungen handelt, die an den zu kalibrierenden elektrischen Antriebsstrang 3 gestellt werden (nachfolgend kurz: Kalibrierungsaufgaben), entsprechend codierte, maschinell lesbare Ausgaben 100a'-100n' zu erzeugen, die von dem maschinellen Lernagenten 2 von einer Ausgabeschnittstelle 5 des Transformers 1 empfangen und weiterverarbeitet werden können.Before subsequent productive operation, the transformer 1 is trained to generate appropriately coded, machine-readable outputs 100a'-100n' from the user's inputs 100a-100n, which in this case are technical requirements placed on the electric drive train 3 to be calibrated (hereinafter referred to as calibration tasks), which can be received and further processed by the machine learning agent 2 from an output interface 5 of the transformer 1.

Die Eingaben 100a-100n können dem Transformer 1 über eine Eingabeschnittstelle 4 zum Beispiel als Spracheingaben in Form von Audiosignalen und/oder als Texteingaben, die vom Nutzer mittels einer geeignet ausgebildeten Eingabevorrichtung erstellt werden, zur Verfügung gestellt werden.The inputs 100a-100n can be made available to the transformer 1 via an input interface 4, for example as voice inputs in the form of audio signals and/or as text inputs created by the user by means of a suitably designed input device.

Die Ausgaben 100a'-100n' des Transformers 1, welche von diesem automatisch erzeugt werden und in codierter, maschinenlesbarer Form die Eingaben des maschinellen Lernagenten 2 bilden, repräsentieren technische Ziele für den maschinellen Lernagenten 2, die bei der Kalibrierung des elektrischen Antriebsstrangs 3 erreicht werden sollen.The outputs 100a'-100n' of the transformer 1, which are automatically generated by the transformer 1 and form the inputs of the machine learning agent 2 in coded, machine-readable form, represent technical goals for the machine learning agent 2 to be achieved when calibrating the electric powertrain 3.

Während des Anlernprozesses durchläuft der Transformer 1 vorzugsweise ein halbüberwachtes Lernverfahren, welches ein unüberwachtes Vortraining und eine sich daran anschließende überwachte Feinabstimmung umfasst. Das Vortraining wird in der Regel mit einem größeren Trainingsdatensatz durchgeführt als die Feinabstimmung, da hierfür nur eine begrenzte Anzahl von Trainingsdaten zur Verfügung steht.During the training process, the Transformer 1 preferably goes through a semi-supervised learning process, which includes unsupervised pre-training and subsequent supervised fine-tuning. Pre-training is usually carried out with a larger training data set than fine-tuning, since only a limited amount of training data is available for this.

In der nachfolgenden Tabelle sind einige (ausdrücklich nicht als abschließend zu verstehende) Beispiele für mögliche Trainingsdaten - d. h. unterschiedliche Eingaben 100a-100n und die daraus resultierenden Ausgaben 100a'-100n' des Transformers 1 - angegeben: Eingabe: Ausgabe: „Minimiere die Abweichung des Drehmomentmodells.“ Md - Mdgemessen ≤ 5% „Stelle sicher, dass das Drehmoment nicht höher als 500 Nm ist.“ Mdmax ≤ 500 Nm „Minimiere den Verbrauch.“ Bsfc < 360 W kg/h „Maximiere den Ladezustand der Traktionsbatterie.“ SoC ≥ 75 % „Die Rotationsgeschwindigkeit beträgt 3000 Umdrehungen pro Minute.“ nmot = 3000 1/min The following table gives some (not exhaustive) examples of possible training data - ie different inputs 100a-100n and the resulting outputs 100a'-100n' of Transformer 1: Input: Output: “Minimize the deviation of the torque model.” Md - Md measured ≤ 5% “Make sure the torque is not higher than 500 Nm.” Mdmax ≤ 500 Nm “Minimize consumption.” Bsfc < 360 W kg/h “Maximize the traction battery charge level.” SoC ≥ 75% “The rotation speed is 3000 revolutions per minute.” nmot = 3000 rpm

Nach dem Abschluss des Trainings steht der Transformer 1 für den nachfolgenden Produktiveinsatz bereit.After completing the training, the Transformer 1 is ready for subsequent productive use.

Unter erneuter Bezugnahme auf 1 sollen nun weitere Einzelheiten des Verfahrens zur Kalibrierung des elektrischen Antriebsstrangs 3 näher erläutert werden. In einem ersten Schritt macht der Nutzer, insbesondere ein Ingenieur oder Techniker, eine Eingabe 100a-100n, die insbesondere eine Kalibrierungsaufgabe definiert, die später vom maschinellen Lernagenten 2 gelöst werden soll. Wie oben erläutert, kann es sich bei dieser Eingabe 100a-100n insbesondere um eine Spracheingabe in Form eines Audiosignals und/oder um eine Texteingabe handeln, die mittels einer Eingabevorrichtung vorgenommen wird. Unter dem Begriff „Texteingabe“ soll in diesem Zusammenhang zum Beispiel auch die Auswahl eines Symbols durch einen Nutzer mittels einer Eingabevorrichtung verstanden werden, wobei das Symbol eine entsprechende Texteingabe visuell repräsentiert. Beispielsweise kann durch eine Eingabe 100a-100n folgende Kalibrierungsaufgabe für den Lernagenten 2 gestellt werden:

  • „Kalibriere das Drehmoment des elektrischen Antriebsstrangs 3 mit einer Abweichung von maximal 5 %, wobei das maximale Drehmoment 800 Nm beträgt“.
Referring again to 1 Further details of the method for calibrating the electric drive train 3 will now be explained in more detail. In a first step, the user, in particular an engineer or technician, makes an input 100a-100n, which in particular defines a calibration task that is later to be solved by the machine learning agent 2. As explained above, this input 100a-100n can in particular be a voice input in the form of an audio signal and/or a text input that is made using an input device. In this context, the term "text input" is also to be understood as, for example, the selection of a symbol by a user using an input device, whereby the symbol visually represents a corresponding text input. For example, the following calibration task can be set for the learning agent 2 by an input 100a-100n:
  • “Calibrate the torque of the electric drivetrain 3 with a maximum deviation of 5%, with the maximum torque being 800 Nm.”

Diese Eingabe 100a-100n wird von dem in der oben erläuterten Weise trainierten Transformer 1 in einem zweiten Schritt verarbeitet, so dass eine Ausgabe 100a'-100n' in codierter, maschinenlesbarer Form erzeugt wird, die von dem maschinellen Lernagenten 2 empfangen und in einem maschinellen Lernprozess verarbeitet werden kann. Diese Ausgabe 100a'-100n' bildet entsprechende Eingangsparameter für den maschinellen Lernagenten 2, der so konfiguriert ist, dass er eine Lernverstärkungsfunktion ausführen kann.This input 100a-100n is processed by the transformer 1 trained in the manner explained above in a second step, so that an output 100a'-100n' is generated in coded, machine-readable form, which can be received by the machine learning agent 2 and processed in a machine learning process. This output 100a'-100n' forms corresponding input parameters for the machine learning agent 2, which is configured to be able to perform a learning reinforcement function.

Der maschinelle Lernagent 2 weist eine Lernverstärkungsfunktion auf und ist dazu ausgebildet, unterschiedliche Aktionen A auszuführen, die die Systemzustände S des elektrischen Antriebsstrangs 3 verändern können. Diese Aktionen A sind das Erhöhen, das Verringern sowie das Gleichlassen veränderbarer Kalibrierungsparameter des elektrischen Antriebsstrangs 3, die sich auf die Systemzustände S des elektrischen Antriebsstrangs 3auswirken.The machine learning agent 2 has a learning reinforcement function and is designed to carry out different actions A that can change the system states S of the electric drive train 3. These actions A are increasing, decreasing and keeping the same variable calibration parameters of the electric drive train 3, which affect the system states S of the electric drive train 3.

Der Transformer 1 kann zum Beispiel auch so konfiguriert sein, dass die Ausgabe 100a'-100n' nicht nur die Kalibrierungsaufgabe für den Lernagenten 2 bildet, sondern dem Lernagenten 2 auch angibt, welche Kalibrierungsparameter des elektrischen Antriebsstrangs 3 der maschinelle Lernagent 2 überhaupt erhöhen, verringern oder gleichlassen kann, um die Kalibrierungsaufgabe zu lösen.The transformer 1 can, for example, also be configured such that the output 100a'-100n' not only forms the calibration task for the learning agent 2, but also indicates to the learning agent 2 which calibration parameters of the electric drive train 3 the machine learning agent 2 can increase, decrease or leave the same in order to solve the calibration task.

Ferner kann der Transformer 1 vorzugsweise auch so konfiguriert sein, dass er Belohnungsbedingungen festlegt, unter denen der Lernagent 2 Belohnungen R für seine Aktionen A erhält. Diese Belohnungsbedingungen hängen insbesondere davon ab, ob die Zustände S des elektrischen Antriebsstrangs 3, die sich durch die Aktionen A des maschinellen Lernagenten ergeben, als positiv, neutral oder negativ zu bewerten sind.Furthermore, the transformer 1 can preferably also be configured to define reward conditions under which the learning agent 2 receives rewards R for its actions A. These reward conditions depend in particular on whether the states S of the electric drive train 3 resulting from the actions A of the machine learning agent are to be assessed as positive, neutral or negative.

Der maschinelle Lernagent 2 ist nun initialisiert und beginnt damit, den elektrischen Antriebsstrang 3 durch ein verstärkendes Lernverfahren zu kalibrieren, indem er die Lernverstärkungsfunktion wiederholt so lange ausführt, bis die ihm gestellte Kalibrierungsaufgabe gelöst ist. Die Aktionen A, die der maschinelle Lernagent 2 entsprechend seiner Strategie (der so genannten „Policy“) bei der Interaktion mit dem elektrischen Antriebsstrang 3 ausführt, indem er die Kalibrierungsparameter ändert, verändern die Zustände S („States“) des elektrischen Antriebsstrangs 3. Gemäß der dem maschinellen Lernagenten 2 vorliegend gestellten Kalibrierungsaufgabe handelt es sich bei den sich abhängig von den Aktionen A des Lernagenten 2 ändernden Zuständen S um das maximale Drehmoment des elektrischen Antriebsstrangs 3 und die Abweichung des maximalen Drehmoments.The machine learning agent 2 is now initialized and begins to calibrate the electric drive train 3 using a reinforcement learning process by repeatedly executing the learning reinforcement function until the calibration task assigned to it is solved. The actions A that the machine learning agent 2 carries out in accordance with its strategy (the so-called “policy”) when interacting with the electric drive train 3 by changing the calibration parameters change the states S of the electric drive train 3. According to the calibration task assigned to the machine learning agent 2, the states S that change depending on the actions A of the learning agent 2 are the maximum torque of the electric drive train 3 and the deviation of the maximum torque.

Die von dem maschinellen Lernagenten 2 während des verstärkenden Lernprozesses ausgeführten Aktionen A (d. h.: Änderungen der Kalibrierungsparameter als „Stellgrößen“ des Kalibrierungsprozesses) werden abhängig von den sich dadurch einstellenden Zuständen S des elektrischen Antriebsstrangs 3 als positiv, neutral oder negativ bewertet, so dass der Lernagent 2 entsprechend positive (zum Beispiel R = +1), neutrale (zum Beispiel R = 0) oder auch negative Belohnungen (zum Beispiel R = -1) erhält.The actions A performed by the machine learning agent 2 during the reinforcement learning process (i.e.: changes in the calibration parameters as “control variables” of the calibration process) are evaluated as positive, neutral or negative depending on the resulting states S of the electric drive train 3, so that the learning agent 2 receives correspondingly positive (for example R = +1), neutral (for example R = 0) or negative rewards (for example R = -1).

Der maschinelle Lernagent 2 ist dazu ausgebildet, seine Strategie („Policy“) selbständig derart zu ändern, dass seine zukünftig nach der Durchführung der Aktionen A zu erwartenden Belohnungen R maximiert werden. Der maschinelle Lernagent 2 interagiert bei der Durchführung des Verfahrens so lange mit dem elektrischen Antriebsstrang 3 und führt dabei die Lernverstärkungsfunktion aus, bis die Kalibrierungsaufgabe gelöst ist.The machine learning agent 2 is trained to independently change its strategy (“policy”) in such a way that the rewards R that it can expect in the future after carrying out the actions A are maximized. When carrying out the method, the machine learning agent 2 interacts with the electric drive train 3 and executes the learning reinforcement function until the calibration task is solved.

Bei dem hier vorgestellten Verfahren ist es in vorteilhafter Weise nicht mehr notwendig, dass der Nutzer den maschinellen Lernagenten 2 selbst kodiert beziehungsweise programmiert. Der bei dem Verfahren verwendete Transformer 1 bildet dabei eine sehr einfach und intuitiv verwendbare Mensch-Maschine-Schnittstelle zwischen dem maschinellen Lernagenten 2 und dem Nutzer und trägt somit dazu bei, den Kalibrierungsprozess des elektrischen Antriebsstrangs 3 erheblich zu vereinfachen.In the method presented here, it is advantageously no longer necessary for the user to code or program the machine learning agent 2 themselves. The transformer 1 used in the method forms a very simple and intuitive human-machine interface between the machine learning agent 2 and the user and thus helps to significantly simplify the calibration process of the electric drive train 3.

Claims (6)

Computerimplementiertes Verfahren zur Kalibrierung eines elektrischen Antriebsstrangs (3) eines Fahrzeugs, umfassend die Schritte - Bereitstellen eines Transformers (1), der dazu ausgebildet ist, eine Eingabe (100a-100n) eines Nutzers, die zumindest eine Kalibrierungsaufgabe definiert, als Spracheingabe und/oder als Texteingabe zu empfangen und in eine codierte, maschinenlesbare Ausgabe (100a'-100n') zu wandeln, - Bereitstellen eines maschinellen Lernagenten (2), der so konfiguriert ist, dass er die codierte, maschinenlesbare Ausgabe (100a'-100n') des Transformers (1) als Eingangsparameter empfängt und eine Lernverstärkungsfunktion ausführt, bei der er mit dem elektrischen Antriebsstrang (3) interagiert und Aktionen ausführt, welche Kalibrierungsparameter und Zustände des elektrischen Antriebsstrangs (3) verändern, - Empfangen einer Eingabe (100a-100n) des Nutzers und Wandeln der Eingabe (100a-100n) in die codierte, maschinenlesbare Ausgabe (100a'-100n'), - Übertragen der codierten, maschinenlesbaren Ausgabe (100a'-100n') zum maschinellen Lernagenten (2) und - wiederholtes Ausführen der Lernverstärkungsfunktion des maschinellen Lernagenten (2), bis die Kalibrierungsaufgabe gelöst ist, wobei der maschinelle Lernagent (2) nach der Durchführung jeder Aktion in Abhängigkeit von den daraus resultierenden Zuständen des elektrischen Antriebsstrangs (3) eine positive, neutrale oder negative Belohnung erhält.Computer-implemented method for calibrating an electric drive train (3) of a vehicle, comprising the steps of - providing a transformer (1) which is designed to receive an input (100a-100n) of a user, which defines at least one calibration task, as a voice input and/or as a text input and to convert it into an encoded, machine-readable output (100a'-100n'), - providing a machine learning agent (2) which is configured to receive the encoded, machine-readable output (100a'-100n') of the transformer (1) as an input parameter and to generate a learning reinforcement function in which it interacts with the electric drive train (3) and carries out actions which change calibration parameters and states of the electric drive train (3), - receiving an input (100a-100n) from the user and converting the input (100a-100n) into the coded, machine-readable output (100a'-100n'), - transmitting the coded, machine-readable output (100a'-100n') to the machine learning agent (2) and - repeatedly executing the learning reinforcement function of the machine learning agent (2) until the calibration task is solved, wherein the machine learning agent (2) receives a positive, neutral or negative reward after performing each action depending on the resulting states of the electric drive train (3). Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren einen Schritt des Trainierens des Transformers (1) vor dessen Verwendung in einem Produktivbetrieb umfasst.Computer-implemented method according to Claim 1 , characterized in that the method comprises a step of training the transformer (1) before its use in a productive operation. Computerimplementiertes Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Transformer (1) durch halbüberwachtes Lernen trainiert wird.Computer-implemented method according to Claim 2 , characterized in that the transformer (1) is trained by semi-supervised learning. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Transformer (1) so konfiguriert ist, dass die Ausgabe (100a'-100n') dem maschinellen Lernagenten (2) angibt, welche Kalibrierungsparameter des elektrischen Antriebsstrangs (3) der maschinelle Lernagent (2) bei seinen Aktionen ändern kann, um die Kalibrierungsaufgabe zu lösen.Computer-implemented method according to one of the Claims 1 until 3 , characterized in that the transformer (1) is configured such that the output (100a'-100n') indicates to the machine learning agent (2) which calibration parameters of the electric drive train (3) the machine learning agent (2) can change in its actions to solve the calibration task. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der Transformer (1) so konfiguriert ist, dass er Belohnungsbedingungen festlegt, unter denen der maschinelle Lernagent (2) Belohnungen für seine Aktionen erhält.Computer-implemented method according to one of the Claims 1 until 4 , characterized in that the transformer (1) is configured to specify reward conditions under which the machine learning agent (2) receives rewards for its actions. System zur Kalibrierung eines elektrischen Antriebsstrangs (3) eines Fahrzeugs, umfassend einen digitalen Datenspeicher und eine digitale Verarbeitungseinheit, wobei im digitalen Datenspeicher Instruktionen gespeichert sind, wobei die Verarbeitungseinheit dazu ausgebildet ist, die Instruktionen auszulesen und auszuführen, wobei die Verarbeitungseinheit dazu ausgebildet ist, ein Verfahren nach einem der vorherigen Ansprüche auszuführen, wenn sie die Instruktionen ausführt.System for calibrating an electric drive train (3) of a vehicle, comprising a digital data memory and a digital processing unit, wherein instructions are stored in the digital data memory, wherein the processing unit is designed to read out and execute the instructions, wherein the processing unit is designed to carry out a method according to one of the preceding claims when it executes the instructions.
DE102021131742.8A 2021-12-02 2021-12-02 Computer-implemented method for calibrating an electric powertrain of a vehicle Active DE102021131742B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021131742.8A DE102021131742B4 (en) 2021-12-02 2021-12-02 Computer-implemented method for calibrating an electric powertrain of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021131742.8A DE102021131742B4 (en) 2021-12-02 2021-12-02 Computer-implemented method for calibrating an electric powertrain of a vehicle

Publications (2)

Publication Number Publication Date
DE102021131742A1 DE102021131742A1 (en) 2023-06-07
DE102021131742B4 true DE102021131742B4 (en) 2024-04-18

Family

ID=86381973

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021131742.8A Active DE102021131742B4 (en) 2021-12-02 2021-12-02 Computer-implemented method for calibrating an electric powertrain of a vehicle

Country Status (1)

Country Link
DE (1) DE102021131742B4 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020023746A2 (en) 2018-07-25 2020-01-30 Continental Powertrain USA, LLC Driver behavior learning and driving coach strategy using artificial intelligence
WO2021104753A1 (en) 2019-11-29 2021-06-03 Robert Bosch Gmbh Method and device for calibrating the control of an electrical machine
DE102021105296A1 (en) 2020-03-10 2021-09-16 Ford Global Technologies, Llc FACE RECOGNITION SYSTEM FOR A VEHICLE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020023746A2 (en) 2018-07-25 2020-01-30 Continental Powertrain USA, LLC Driver behavior learning and driving coach strategy using artificial intelligence
WO2021104753A1 (en) 2019-11-29 2021-06-03 Robert Bosch Gmbh Method and device for calibrating the control of an electrical machine
DE102021105296A1 (en) 2020-03-10 2021-09-16 Ford Global Technologies, Llc FACE RECOGNITION SYSTEM FOR A VEHICLE

Also Published As

Publication number Publication date
DE102021131742A1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
AT512977B1 (en) Method for determining a model of an output of a technical system
EP3291029A1 (en) Method and system for controlling a technical system on the basis of a control model
DE102018112303A1 (en) Device for determining incorrect operation
DE102018218103A1 (en) ELECTRIC POWER STEERING DEVICE WITH INCREASED NUMBER OF SENSOR SIGNALS TO INCREASE SAFETY
WO2020187591A1 (en) Method and device for controlling a robot
DE102018209595A1 (en) Method for automatically determining a road condition
EP3782081B1 (en) Method for generating a test data set, method for testing, method for operating a system, device, control system, computer program product, computer readable medium, generation and use
DE102021131742B4 (en) Computer-implemented method for calibrating an electric powertrain of a vehicle
DE102019212912A1 (en) Compressing a deep neural network
DE102018220608A1 (en) Machine learning system, as well as a method, a computer program and a device for creating the machine learning system
DE102019214308B4 (en) Fast quantized training of trainable modules
DE4304676C1 (en) Process for operating a wastewater treatment plant and associated wastewater treatment plant
DE102021200789A1 (en) Computer-implemented method and device for manipulation detection for exhaust aftertreatment systems using artificial intelligence methods
DE102020210465A1 (en) Method and device for supporting maneuver planning for an at least partially automated vehicle or a robot
DE102022112606B3 (en) Computer-implemented method for calibrating a technical system
WO2020193481A1 (en) Method and device for training and producing an artificial neural network
DE102008026825B4 (en) Method for estimating a physical quantity having a change potential by an electronic computing unit
DE102018215556A1 (en) Method for setting a feedback torque on a steering handle of a motor vehicle, steering system and motor vehicle
DE102019209136A1 (en) Method for safeguarding a function monitoring of a control unit of a vehicle
WO2020169416A1 (en) Quantised training of trainable modules
DE102020114436A1 (en) System and method for the autonomous calibration of a control unit for the wheel control of a motor vehicle
DE102012214113A1 (en) Manufacturing equipment for manufacturing electronic semiconductor circuit for lithium ion battery of motor car, has equipment controller adjusting parameter and detecting characteristic parameter of intermediate product and end product
AT522520B1 (en) Method for a control of a protection method for protecting an electrode of a battery device
DE102021132542A1 (en) METHOD OF PROVIDING BIT FLIP ERRORS RESISTANT; PERTURBATION-RESISTANT AND COMPRESSED NEURAL NETWORK; COMPUTER PROGRAM; DRIVER ASSISTANCE SYSTEM
DE102022209037A1 (en) Method for configuring a quantum circuit and device for configuring a quantum circuit

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division