DE102019126244A1

DE102019126244A1 - System and method for calibrating a control unit of an electric motor for determining parameters of the electric motor

Info

Publication number: DE102019126244A1
Application number: DE102019126244.5A
Authority: DE
Inventors: Matteo Skull
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2021-04-01

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Steuereinheit eines Elektromotors zur Bestimmung von zumindest einer Kenngröße des Elektromotors, umfassend:- Bestimmen (S10) eines Zustandes (si) des Elektromotors durch ein Zustandsmodul (300), wobei ein Zustand (si) durch Daten und Messwerte von zumindest einem Parameter (pi) des Elektromotors definiert wird und der Wert der zumindest einen Kenngröße zumindest teilweise von diesem Parameter (pi) abhängt;- Auswählen (S20) einer Berechnungsfunktion (fi) und/oder einer Aktion (ai) für den Parameter (pi) von einem Lernverstärkungs-Agenten (200);- Berechnen (S30) eines modellierten Wertes (KM) für die Kenngröße mittels der ausgewählten Berechnungsfunktion (fi) und/oder der Aktion (ai) von dem Lernverstärkungs-Agenten (200);- Bereitstellen (S40) eines realen Wertes (KR) für die Kenngröße von einem Umgebungsmodul (400) aufgrund von Messergebnissen;- Vergleichen (S50) des modellierten Wertes (KM) für die Kenngröße mit dem realen Wert (KR) der Kenngröße;- Weitergeben (S60) des Vergleichsergebnisses an ein Belohnungsmodul (500) und Ermitteln einer Belohnung für das Vergleichsergebnis;- Weitergeben (S70) der Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten (200) und basierend auf dieser Belohnung erneutes Auswählen von einer weiteren Aktion (aj) von dem Lernverstärkungs-Agenten (200).The invention relates to a method for calibrating a control unit of an electric motor for determining at least one parameter of the electric motor, comprising: determining (S10) a state (si) of the electric motor by a status module (300), a status (si) being determined by data and Measured values of at least one parameter (pi) of the electric motor is defined and the value of the at least one parameter depends at least partially on this parameter (pi); - Selecting (S20) a calculation function (fi) and / or an action (ai) for the parameter (pi) from a learning reinforcement agent (200); - calculating (S30) a modeled value (KM) for the parameter by means of the selected calculation function (fi) and / or the action (ai) from the learning reinforcement agent (200); - Providing (S40) a real value (KR) for the parameter of an environment module (400) on the basis of measurement results; - Comparing (S50) the modeled value (KM) for the parameter with the real who t (KR) the parameter; forwarding (S60) the comparison result to a reward module (500) and determining a reward for the comparison result; forwarding (S70) the reward for the comparison result to the learning reinforcement agent (200) and based on this Rewarding reselecting another action (aj) from the learning reinforcement agent (200).

Description

Die Erfindung betrifft ein System und Verfahren zur Kalibrierung einer Steuereinheit eines Elektromotors zur Bestimmung von zumindest einer Kenngröße des Elektromotors.The invention relates to a system and method for calibrating a control unit of an electric motor for determining at least one characteristic variable of the electric motor.

Als Elektrofahrzeug wird ein Kraftfahrzeug zur Personen- und Güterbeförderung mit einem Elektromotor als Antrieb für die Räder des Fahrzeugs bezeichnet. Ein Elektromotor ist durch verschiedene Kenngrößen gekennzeichnet, wie die Ausgangsspannung, die bei einem Elektrofahrzeug üblicherweise eine Wechselspannung ist, und das interne Drehmoment, das vom Elektromotor erzeugt wird. Des Weiteren ist die Verlustleistung eines Elektromotors von Interesse, die insbesondere durch die verwendeten Materialien wie Kupfer und Eisen beim Rotor und Stator entsteht, da diese Materialien Wärme insbesondere durch Reibung abgeben. Bei einer hohen Verlustleistung benötigt der Elektromotor eine höhere Energie, um das erwünschte Drehmoment zu erzeugen. Daher ist die Kenntnis der Verlustleistung des Elektromotors für den Betrieb eines Kraftfahrzeugs von großer Bedeutung.An electric vehicle is a motor vehicle for transporting people and goods with an electric motor as the drive for the wheels of the vehicle. An electric motor is characterized by various parameters, such as the output voltage, which in an electric vehicle is usually an alternating voltage, and the internal torque that is generated by the electric motor. Furthermore, the power loss of an electric motor is of interest, which is caused in particular by the materials used such as copper and iron in the rotor and stator, since these materials give off heat, in particular through friction. If the power loss is high, the electric motor needs more energy to generate the desired torque. Therefore, the knowledge of the power loss of the electric motor for the operation of a motor vehicle is of great importance.

Des Weiteren ist es erforderlich, den Elektromotor zu kühlen, da von den verschiedenen Komponenten des Elektromotors wie dem Stator, dem Rotor und den Spulenwindungen Wärme abgeben wird. Die Kühlungseffizienz hängt dabei von der Geschwindigkeit und der Eingangstemperatur des Kühlmittels sowie der Verlustleistung des Elektromotors ab und bestimmt die Temperatur der Spulenwindungen und des Magneten im Betriebszustand sowie die Ausgangstemperatur des Kühlmittels.Furthermore, it is necessary to cool the electric motor, since heat is given off by the various components of the electric motor such as the stator, the rotor and the coil windings. The cooling efficiency depends on the speed and the inlet temperature of the coolant as well as the power loss of the electric motor and determines the temperature of the coil windings and the magnet in the operating state as well as the outlet temperature of the coolant.

Es sind verschiedene Ansätze zur Bestimmung und Vorhersage der Kenngrößen eines Elektromotors bekannt. Ein Ansatz basiert auf einem elektromagnetischen Modell, bei dem die Kenngrößen eines Elektromotors wie die Ausgangsspannung und das interne Drehmoment in Abhängigkeit von verschiedenen Parametern wie dem Wechselstrom, dem Drehmomentwinkel, der Spulenwindungstemperatur, der Verlustleistung, der Magnettemperatur berechnet werden. Ein anderes Modell kann die Verlustleistung bestimmen, wobei der Wechselstrom, der Drehmomentwinkel, die Umdrehungszahl, die Temperatur der Windungsspulen als Eingangsgrößen verwendet werden.Various approaches for determining and predicting the parameters of an electric motor are known. One approach is based on an electromagnetic model in which the characteristics of an electric motor such as the output voltage and the internal torque are calculated depending on various parameters such as the alternating current, the torque angle, the coil winding temperature, the power loss and the magnet temperature. Another model can determine the power loss, with the alternating current, the torque angle, the number of revolutions, and the temperature of the winding coils being used as input variables.

Oder es wird ein thermisches Modell angewendet, mit dem die Kühlungseffizienz berechnet wird. Hier können die Eingangstemperatur und die Geschwindigkeit des Kühlmittels sowie die Verlustleistung als Eingangsgrößen dienen.Or a thermal model is used to calculate the cooling efficiency. Here the inlet temperature and the speed of the coolant as well as the power loss can serve as input variables.

Ein anderer Ansatz verwendet Regressionsanalysen zur Modellierung und Vorhersage der Kenngrößen eines Elektromotors. Regressionsverfahren sind statistische Analyseverfahren, die zum Ziel haben, Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen zu modellieren. Die Regressionsmodelle erhalten als Eingabe beispielsweise die Eingangstemperatur und Geschwindigkeit eines Kühlmittels und eine Verlustleistung, um daraus mittels mathematischer Verfahren wie beispielsweise die Methode der kleinsten Quadrate oder neuronaler Netze einen geschätzten Wert für die Ausgangstemperatur des Kühlmittels oder die Betriebstemperatur der Spulenwindungen zu berechnen.Another approach uses regression analysis to model and predict the characteristics of an electric motor. Regression methods are statistical analysis methods that aim to model relationships between one dependent and one or more independent variables. The regression models receive as input, for example, the inlet temperature and speed of a coolant and a power loss in order to calculate an estimated value for the outlet temperature of the coolant or the operating temperature of the coil windings using mathematical methods such as the method of least squares or neural networks.

Allerdings beruhen all diese Vorhersagen, Diagramme und Tabellen oder die verwendeten mathematischen Verfahren auf Expertenwissen und werden nach ihrer Implementierung nicht mehr verändert. Des Weiteren werden sie für einen individuellen Elektromotor nicht angepasst, sondern sie sind für eine bestimmte Modellbaureihe festgelegt. Zudem kann entweder nur das elektromagnetische Verhalten, die Verlustleistung oder das thermische Verhalten eines Elektromotors bestimmt oder abgeschätzt werden, aber eine Ermittlung von mehreren Kenngrößen, die zudem wechselseitig voneinander abhängig sind, ist gleichzeitig nicht möglich, da die Modelle jeweils nur für die Abschätzung einer Kenngröße ausgelegt sind.However, all of these predictions, diagrams and tables or the mathematical methods used are based on expert knowledge and are no longer changed after they have been implemented. Furthermore, they are not adapted for an individual electric motor, but are defined for a specific model series. In addition, either only the electromagnetic behavior, the power loss or the thermal behavior of an electric motor can be determined or estimated, but a determination of several parameters, which are also mutually dependent on one another, is not possible at the same time, as the models only for the estimation of one parameter are designed.

Die EP 2 148256 A1 beschreibt ein Steuerverfahren und eine Steuervorrichtung eines Motors. Während der Motorsteuerung führt das Steuergerät ein adaptives Lernen für den tatsächlichen Sollwert von verschiedenen Kenngrößen des Motors durch, so dass Motor-Kennfelder im Betrieb adaptiv angepasst werden.The EP 2 148256 A1 describes a control method and a control device of an engine. While the engine is being controlled, the control unit performs adaptive learning for the actual setpoint of various engine parameters, so that engine characteristics maps are adaptively adapted during operation.

Die US 6 566 840 B1 beschreibt ein Verfahren und ein System zum Schätzen der Schlupfverstärkung zur Verwendung bei der Steuerung des Drehmoments in einer Mehrphasen-Induktionsmaschine. Die Schätzung der Schlupfverstärkung basiert auf einem Einschwingverhalten der Induktionsmaschine auf Drehmomentbefehlsänderungen. Das Verfahren verwendet einen Algorithmus zur Schätzung der Schlupfverstärkung, der auf einem Selbstkalibrierungsverfahren beruht.The US 6 566 840 B1 describes a method and system for estimating slip gain for use in controlling torque in a polyphase induction machine. The estimate of the slip gain is based on a transient response of the induction machine to torque command changes. The method uses an algorithm for estimating the slip gain that is based on a self-calibration method.

Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, ein Verfahren und ein System für die Kalibrierung einer Steuereinheit eines Elektromotors zur Bestimmung von zumindest einer Kenngröße des Elektromotors zu schaffen, das sich durch eine hohe Zuverlässigkeit und Genauigkeit auszeichnet und sich einfach implementieren lässt.The object on which the invention is based now consists in developing a method and a system for calibrating a control unit to create an electric motor for determining at least one parameter of the electric motor, which is characterized by high reliability and accuracy and can be easily implemented.

Gemäß der vorliegenden Erfindung wird ein Verfahren und System vorgeschlagen, durch das eine automatische Kalibrierung einer Steuereinheit eines Elektromotors zur Bestimmung von zumindest einer Kenngröße des Elektromotors ermöglicht wird, um hierdurch die Grundlage für eine zuverlässige und genaue Ermittlung der Funktionsweise des Elektromotors zu schaffen.According to the present invention, a method and system is proposed by means of which automatic calibration of a control unit of an electric motor for determining at least one parameter of the electric motor is made possible in order to create the basis for a reliable and precise determination of the functioning of the electric motor.

Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, und hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 8 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.According to the invention, this object is achieved with regard to a method by the features of patent claim 1, and with regard to a system by the features of patent claim 8. The further claims relate to preferred embodiments of the invention.

Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zur Kalibrierung einer Steuereinheit eines Elektromotors zur Bestimmung von zumindest einer Kenngröße des Elektromotors bereit. Das Verfahren umfasst das Bestimmen eines Zustandes s_i des Elektromotors durch ein Zustandsmodul, wobei ein Zustand s_i durch Daten und Messwerte von zumindest einem Parameter p_i des Elektromotors definiert wird und der Wert der zumindest einen Kenngröße des Elektromotors zumindest teilweise von diesem Parameter p_i abhängt. Eine Berechnungsfunktion f_i und/oder einer Aktion a_i für den Parameter p_i wird von einem Lernverstärkungs-Agenten ausgewählt und ein modellierter Wert K_M für die Kenngröße des Elektromotors mittels der ausgewählten Berechnungsfunktion f_i und/oder der Aktion a_i berechnet. Von einem Umgebungsmodul wird ein realer Wert K_R für die Kenngröße aufgrund von Messergebnissen bereitgestellt. Der modellierte Wert K_M für die Kenngröße wird mit dem realen Wert K_R für die Kenngröße verglichen. Das Vergleichsergebnis wird an ein Belohnungsmodul weitergegeben und eine Belohnung für das Vergleichsergebnis ermittelt. Die Belohnung für das Vergleichsergebnis wird an den Lernverstärkungs-Agenten weitergegeben und basierend auf dieser Belohnung wird erneut eine weitere Aktion a_j von dem Lernverstärkungs-Agenten ausgewählt.According to a first aspect, the invention provides a method for calibrating a control unit of an electric motor for determining at least one parameter of the electric motor. The method comprises determining a state s _{i of} the electric motor by a status module, a state s _{i being} defined by data and measured values of at least one parameter p _{i of} the electric motor and the value of the at least one characteristic variable of the electric motor at least partially from this parameter p _i depends. A calculation function f _i and / or an action a _i for the parameter p _i is selected by a learning reinforcement agent and a modeled value K _M for the characteristic of the electric motor is calculated using the selected calculation function f _i and / or the action a _i . An environmental module provides a real value K _R for the parameter based on measurement results. The modeled value K _M for the parameter is compared with the real value K _R for the parameter. The comparison result is passed on to a reward module and a reward is determined for the comparison result. The reward for the comparison result is passed on to the learning reinforcement agent and, based on this reward, another action is taken a _j selected by the learning reinforcement agent.

Vorteilhafterweise ist die zumindest eine Kenngröße eine Ausgangsspannung und/oder ein internes Drehmoment und/oder eine Verlustleistung und/oder eine Ausgangstemperatur eines Kühlmittels und/oder die Geschwindigkeit des Kühlmittels.The at least one parameter is advantageously an output voltage and / or an internal torque and / or a power loss and / or an output temperature of a coolant and / or the speed of the coolant.

Vorteilhafterweise sind Sensoren und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter p_i vorgesehen.Advantageously, sensors and / or measuring devices are provided for acquiring measured values of the parameters p _i .

In einer vorteilhaften Weiterentwicklung sind eine positive Aktion A+, die den Wert für einen Parameter p_i erhöht, eine neutrale Aktion A0, bei der der Wert des Parameters p_L gleichbleibt, sowie eine negative Aktion A-, bei der sich der Wert des Parameters p_L verringert, vorgesehen und/oder das Belohnungsmodul umfasst eine Datenbank oder Matrix oder Funktion für die Bewertung der Aktionen a_i.In an advantageous further development are a positive action A + that increases the value for a parameter p _{i is} a neutral action A0 , in which the value of the parameter p _L remains the same, as well as a negative action A- , in which the value of the parameter p _{L is} reduced, is provided and / or the reward module comprises a database or matrix or function for evaluating the actions a _i .

Vorteilhafterweise ist der Lernverstärkungsagent ausgebildet, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.The learning reinforcement agent is advantageously designed to use an algorithm from reinforcement learning.

In einer weiteren Ausgestaltung ist der Algorithmus als Markov-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als DYNAQ oder als POMDP oder als SARSA oder als Monte-Carlo-Simulation ausgebildet.In a further embodiment, the algorithm is designed as a Markov decision process or as temporal difference learning (TD learning) or as Q-learning or as DYNAQ or as POMDP or as SARSA or as Monte Carlo simulation.

Vorteilhaftweise stellt zumindest ein Parameter p_i einen Wechselstrom oder einen Drehmomentwinkel oder eine Winkelfrequenz oder eine Spulenwindungstemperatur oder eine Magnettemperatur oder eine Verlustleistung oder eine Eingangstemperatur eines Kühlmittels oder eine Geschwindigkeit eines Kühlmittels oder eine Verlustleistung dar.At least one parameter p _i advantageously represents an alternating current or a torque angle or an angular frequency or a coil winding temperature or a magnet temperature or a power loss or an inlet temperature of a coolant or a speed of a coolant or a power loss.

Gemäß einem zweiten Aspekt stellt die Erfindung ein System zur Kalibrierung einer Steuereinheit eines Elektromotors zur Bestimmung von zumindest einer Kenngröße des Elektromotors bereit. Das System umfasst ein Zustandsmodul, das ausgebildet ist, einen Zustand s_i des Elektromotors zu bestimmen, wobei ein Zustand s_i durch Daten und Messwerte von zumindest einem Parameter p_i des Elektromotors definiert wird und der Wert der zumindest einen Kenngröße des Elektromotors zumindest teilweise von diesem Parameter p_i abhängt. Zudem weist das System einen Lernverstärkungs-Agenten auf, der ausgebildet ist, eine Berechnungsfunktion f_i und/oder eine Aktion a_i für den Parameter p_i auszuwählen und einen modellierten Wert K_M für die Kenngröße des Elektromotors mittels der ausgewählten Berechnungsfunktion f_i und/oder der Aktion a_i zu berechnen. Des Weiteren ist ein Umgebungsmodul vorgesehen, das ausgebildet ist, einen realen Wert K_R für die Kenngröße aufgrund von Messergebnissen bereitzustellen. Das Zustandsmodul ist ausgebildet, den modellierten Wert K_M für die Kenngröße mit dem realen Wert K_R der Kenngröße zu vergleichen. Des Weiteren umfasst das System ein Belohnungsmodul, das ausgebildet ist, eine Belohnung für das Vergleichsergebnis zu ermitteln und die Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten weiterzugeben, wobei der Lernverstärkungs-Agenten ausgebildet ist, basierend auf dieser Belohnung erneut eine weitere Aktion a_j auszuwählen.According to a second aspect, the invention provides a system for calibrating a control unit of an electric motor for determining at least one parameter of the electric motor. The system comprises a status module which is designed _{to determine a status s i of} the electric motor, a status s _{i being} defined by data and measured values of at least one parameter p _{i of} the electric motor and the value of the at least one characteristic variable of the electric motor at least partially from this parameter p _i depends. In addition, the system has a learning reinforcement agent which is designed to _{select a calculation function f i} and / or an action a _i for the parameter p _i and a modeled value K _M for the characteristic of the electric motor by means of the selected calculation function f _i and / or to calculate the action a _i. Furthermore, an environment module is provided which is designed to provide a real value K _R for the parameter based on measurement results. The status module is designed _{to compare the modeled value K M} for the parameter with the real value K _{R of} the parameter. Furthermore, the system comprises a reward module which is designed to determine a reward for the comparison result and to pass on the reward for the comparison result to the learning reinforcement agent, the learning reinforcement agent being designed to take another action based on this reward a _j to select.

In einer vorteilhaften Weiterbildung sind Sensoren und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter p_i vorgesehen.In an advantageous development, sensors and / or measuring devices are provided for acquiring measured values of the parameters p _i .

Vorteilhafterweise sind eine positive Aktion A+, die den Wert für einen Parameter p_i erhöht, eine neutrale Aktion A0, bei der der Wert des Parameters p_i gleichbleibt, sowie eine negative Aktion A-, bei der sich der Wert des Parameters p_i verringert, vorgesehen und/oder das Belohnungsmodul umfasst eine Datenbank oder Matrix oder Funktion für die Bewertung der Aktionen a_i.Beneficial are a positive action A + that increases the value for a parameter p _{i is} a neutral action A0 , in which the value of the parameter p _i remains the same, as well as a negative action A- , in which the value of the parameter p _{i is} reduced, is provided and / or the reward module comprises a database or matrix or function for the evaluation of the actions a _i .

In einer weiteren Ausführungsform ist vorgesehen, dass der Lernverstärkungsagent ausgebildet ist, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.In a further embodiment it is provided that the learning reinforcement agent is designed to use an algorithm from reinforcement learning.

Vorteilhafterweise ist der Algorithmus als Markov-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als DYNAQ oder als POMDP oder als SARSA oder als Monte-Carlo-Simulation ausgebildet.The algorithm is advantageously designed as a Markov decision process or as temporal difference learning (TD learning) or as Q-learning or as DYNAQ or as POMDP or as SARSA or as Monte Carlo simulation.

In einer Weiterbildung stellt zumindest ein Parameter p_i einen Wechselstrom oder einen Drehmomentwinkel oder eine Winkelfrequenz oder eine Spulenwindungstemperatur oder eine Magnettemperatur oder eine Verlustleistung oder eine Eingangstemperatur eines Kühlmittels oder eine Geschwindigkeit eines Kühlmittels oder eine Verlustleistung dar.In one development, at least one parameter p _{i represents} an alternating current or a torque angle or an angular frequency or a coil winding temperature or a magnet temperature or a power loss or an inlet temperature of a coolant or a speed of a coolant or a power loss.

Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.According to a third aspect, the invention provides a computer program product comprising an executable program code which is configured such that it executes the method according to the first aspect when it is executed.

Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.The invention is explained in more detail below with reference to the exemplary embodiments shown in the drawing.

Dabei zeigt:

1 ein Blockdiagram zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
2 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
3 zeigt schematisch ein Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.

It shows:

1 a block diagram to explain an embodiment of a system according to the invention;
2 a flow chart to explain the individual method steps of a method according to the invention;
3 shows schematically a computer program product according to an embodiment of the third aspect of the invention.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.Additional features, aspects and advantages of the invention or its exemplary embodiments will become apparent from the detailed description in conjunction with the claims.

1 zeigt ein erfindungsgemäßes System 100 zur Kalibrierung einer Steuereinheit eines Elektromotors zur Bestimmung von zumindest einer Kenngröße des Elektromotors. Bei den Kenngrößen kann es sich um eine Ausgangsspannung und/oder ein internes Drehmoment und/oder eine Verlustleistung und/oder eine Ausgangstemperatur eines Kühlmittels und/oder die Geschwindigkeit des Kühlmittels handeln. Das erfindungsgemäße System beruht auf einem Lernverstärkungs-Agenten (LV) (Reinforcement Learning Agent) 200, der für einen bestimmten Zustand s_i ∈ S aus einer Menge verfügbarer Zustände zumindest eine Aktion a_i∈ A aus einer Menge verfügbarer Aktionen auswählt. Für die ausgewählte Aktion a_i erhält der Agent 200 eine Belohnung r_i ∈ ℝ. Die Zustände s_i ∈ S erhält der Agent 200 von einem Zustandsmodul 300, auf das der LV-Agent 200 zugreifen kann und das vorzugsweise einen Datenspeicher 320 mit Daten von verschiedenen Sensoren und Datenquellen sowie Berechnungsergebnisse enthält. Das Zustandsmodul 300 bearbeitet die Daten von verschiedenen Parametern p_i aus einem Datenspeicher 320 oder einer anderen Datenquelle und ordnet diesen verarbeiteten Daten Zustände s_i ∈ S zu. 1 shows a system according to the invention 100 for calibrating a control unit of an electric motor to determine at least one parameter of the electric motor. The parameters can be an output voltage and / or an internal torque and / or a power loss and / or an output temperature of a coolant and / or the speed of the coolant. The system according to the invention is based on a reinforcement learning agent (LV) 200, which _{selects at least one action a i} ∈ A from a set of available actions _{for a certain state s i} ∈ S from a set of available states. For the selected action a _i , the agent receives 200 a reward r _i ∈ ℝ. The agent receives the states s _{i ∈ S} 200 from a state module 300 on which the LV agent 200 can access and preferably a data memory 320 with data from various sensors and data sources as well as calculation results. The state module 300 processes the data of various parameters p _i from a data memory 320 or another data source and assigns states s _i ∈ S to these processed data.

Ein Zustand s_i ∈ S ist somit durch die Auswahl von bestimmten Parameterwerten von Parametern p_i definiert. Dabei kann ein Wechselstrom, ein Drehmomentwinkel, eine Winkelfrequenz, eine Spulenwindungstemperatur, eine Magnettemperatur, eine Verlustleistung, eine Eingangstemperatur eines Kühlmittels, eine Geschwindigkeit eines Kühlmittels oder eine Verlustleistung jeweils einen Parameter p_i darstellen. Ein Zustand s_i ist somit durch gemessene und/oder berechnete Werte von ausgewählten Parametern p_i gekennzeichnet und stellt somit eine konkrete Betriebssituation der Elektromotor dar. Die Daten bzw. Messwerte sind von einem Umgebungsmodul 400 ermittelt worden sind und wurden vorzugsweise in dem Datenspeicher 320 gespeichert. Das Umgebungsmodul 400 enthält zumindest einen Sensor 420 ausgebildet ist, kann aber weitere Sensoren 440 oder Messvorrichtungen enthalten oder mit diesen verbunden sein. In einem Belohnungsmodul 500 wird der ausgewählten Aktion a_i eine Belohnung r_i ∈ ℝ zugeordnet, die an den LV-Agenten 200 übermittelt wird.A state s _i ∈ S is thus defined by the selection of certain parameter values of parameters p _i . An alternating current, a torque angle, an angular frequency, a coil winding temperature, a magnet temperature, a power loss, an inlet temperature of a coolant, a speed of a coolant or a power loss can each represent a parameter p _i . A state s _i is thus characterized by measured and / or calculated values of selected parameters p _i and thus represents a specific operating situation of the electric motor. The data or measured values are from an environmental module 400 have been determined and were preferably in the data memory 320 saved. The environmental module 400 contains at least one sensor 420 is formed, but can have additional sensors 440 or contain or be connected to measuring devices. In a reward module 500 the selected action a _{i is assigned} a reward r _i ∈ ℝ which is sent to the LV agent 200 is transmitted.

Bei den Sensoren 440 kann es sich beispielsweise um elektrische Sensoren wie kapazitive und induktive Sensoren, Strommessgeräte, Spannungsmessgeräte, Temperatursensoren, Hallsensoren und/oder bildaufnehmende Sensoren wie Kameras handeln. Die Sensoren 420, 440 ermitteln Messwerte wie den Wechselstrom, den Drehmomentwinkel, die Winkelfrequenz, die Spulenwindungstemperatur, die Magnettemperatur, die Verlustleistung, die Eingangstemperatur eines Kühlmittels, die Geschwindigkeit eines Kühlmittels oder die Verlustleistung, die an das Zustandsmodul 300 oder einen weiteren Prozessor weitergegeben werden. Das Zustandsmodul 300 weist vorteilhafterweise ebenfalls einen Prozessor auf, der die Daten mittels eines Algorithmus bearbeitet. Es ist aber auch denkbar, dass die Daten zunächst in einer weiteren Speichereinheit oder einem Softwaremodul gespeichert werden und erst zu einem späteren Zeitpunkt in den Datenspeicher 320 übertragen und/oder von dem Zustandsmodul 300 und/oder einem Prozessor verarbeitet werden.With the sensors 440 For example, it can be electrical sensors such as capacitive and inductive sensors, current measuring devices, voltage measuring devices, temperature sensors, Hall sensors and / or image-recording sensors such as cameras. The sensors 420 , 440 determine measured values such as the alternating current, the torque angle, the angular frequency, the coil winding temperature, the magnet temperature, the power loss, the inlet temperature of a coolant, the speed of a coolant or the power loss that is transmitted to the status module 300 or passed on to another processor. The state module 300 advantageously also has a processor, which the data by means of a Edited algorithm. However, it is also conceivable that the data are initially stored in a further memory unit or a software module and only at a later point in time in the data memory 320 transmitted and / or from the status module 300 and / or a processor.

Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Komponente, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert.In connection with the invention, a “processor” can be understood to mean, for example, a machine or an electronic circuit. A processor can in particular be a central processing unit (CPU), a microprocessor or a microcontroller, for example an application-specific integrated circuit or a digital signal processor, possibly in combination with a memory unit for storing program commands, etc. . A processor can also be understood to be a virtualized processor, a virtual machine or a soft CPU. It can also be a programmable processor, for example, which is equipped with configuration steps for executing the mentioned method according to the invention or is configured with configuration steps in such a way that the programmable processor according to the invention the features of the method, the component, the modules, or other aspects and / or implemented partial aspects of the invention.

Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.In connection with the invention, a “memory unit” or “memory module” and the like can for example be a volatile memory in the form of a random access memory (RAM) or a permanent memory such as a hard disk or a data carrier or z. B. can be understood as an exchangeable memory module. The storage module can also be a cloud-based storage solution.

Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist der Prozessor speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit der Prozessor und/oder die Steuereinheit Funktionen ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder realisieren.In connection with the invention, a “module” can be understood to mean, for example, a processor and / or a memory unit for storing program commands. For example, the processor is specially set up to execute the program instructions in such a way that the processor and / or the control unit executes functions in order to implement or realize the method according to the invention or a step of the method according to the invention.

Unter „Messwerten“ sind im Zusammenhang mit der Erfindung sowohl die Rohdaten als auch bereits aufbereitete Daten aus den Messergebnissen der Sensoren zu verstehen.In connection with the invention, “measured values” are to be understood as meaning both the raw data and data that has already been processed from the measurement results of the sensors.

Der Lernverstärkungs-Agent 200 enthält Berechnungsverfahren und Algorithmen f_i für mathematische Regressionsverfahren oder physikalische Modellberechnungen, die eine Korrelation zwischen ausgewählten Parametern p_i ∈ P aus einer Menge von Parametern und einer Kenngröße des Elektromotors beschreiben. Bei den mathematischen Funktionen f_t kann es sich um Mittelwerte, Minimal- und Maximalwerte, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Verfahren der linearen Regression, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Tempora Difference Learning, aber auch erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netze, künstliche neuronale Netze und/oder rückgekoppelte neuronale Netze handeln. Der LV-Agent 200 wählt für einen Zustand s_i eine oder mehrere dieser Berechnungsfunktionen f_i aus. Er berechnet für diesen bestimmten Zustand s_i und mittels der ausgewählten Berechnungsfunktionen f_i einen modellierten Wert der Kenngröße K_M, wobei der gemessene oder berechnete Wert für zumindest einen Parameter p_i einen Eingabewert für die Berechnungsfunktionen f_i darstellt.The learning reinforcement agent 200 contains calculation methods and algorithms f _i for mathematical regression methods or physical model calculations that describe a correlation between selected parameters p _i ∈ P from a set of parameters and a characteristic of the electric motor. The mathematical functions f _t can be mean values, minimum and maximum values, Fast Fourier Transformations, integral and differential calculations, linear regression methods, Markov methods, probability methods such as Monte Carlo methods, Tempora Difference Learning, but also extended Kalman - Filters, radial basic functions, data fields, convergent neural networks, artificial neural networks and / or feedback neural networks. The LV agent 200 selects one or more of these calculation functions f _i for a state s _i . It calculates a modeled value of the parameter K _M for this specific state s _i and by means of the selected calculation functions f _i , the measured or calculated value representing an input value for the calculation functions f _i _{for at least one parameter p i} .

In dem Lernverstärkungs-Agenten (Reinforcement Learning Agent) 200 sind zudem als Aktionen a_i die Aktionen A+, A0 und A- definiert, die aufgrund der verwendeten Berechnungsverfahren f_i ausgewählt werden, um eine Anpassung eines gemessenen oder berechneten Parameterwertes eines Parameters p_i ∈ P aus der Menge der Parameter in einer Wertetabelle und dergleichen vorzunehmen. Bei den Parametern p_i ∈ P handelt es sich beispielsweise um den Wechselstrom, den Drehmomentwinkel, die Winkelfrequenz, die Spulenwindungstemperatur, die Magnettemperatur, die Verlustleistung, die Eingangstemperatur eines Kühlmittels, die Geschwindigkeit eines Kühlmittels oder die Verlustleistung. Bei einer positiven Aktion A+ handelt es sich um eine Aktion, die den Wert für einen Parameter p_t erhöht, bei einer neutralen Aktion A0 handelt es sich um ein Aktion, bei der der Wert des Parameters p_t gleichbleibt, und bei einer negativen Aktion A- wird der Wert des Parameters p_t verringert. Der LV-Agent 200 wählt für den durch diese gemessenen und berechneten Daten definierten Zustand s_i insbesondere eine der Aktionen A+, A0 oder A- aus zur Anpassung des Parameterwertes eines Parameters p_L in einer Wertetabelle oder dergleichen. Für die ausgewählte Aktion a_i berechnet der LV-Agent 200 nun den modellierten Wert der Kenngröße K_M, der von der ausgewählten Aktion a_i für den Parameter p_i abhängt. _{The actions a i} are also the actions in the reinforcement learning agent 200 A + , A0 and A- which are selected on the basis of the calculation method f _i used in order to adapt a measured or calculated parameter value of a parameter p _i ∈ P from the set of parameters in a table of values and the like. The parameters p _i ∈ P are, for example, the alternating current, the torque angle, the angular frequency, the coil winding temperature, the magnet temperature, the power loss, the inlet temperature of a coolant, the speed of a coolant or the power loss. With a positive action A + it is an action that increases the value for a parameter p _t , in the case of a neutral action A0 it is an action in which the value of the parameter p _t remains the same, and in the case of a negative action A- the value of the parameter p _{t is} reduced. The LV agent 200 selects in particular one of the actions _{for the state s i} defined by these measured and calculated data A + , A0 or A- for adapting the parameter value of a parameter p _L in a table of values or the like. The LV agent calculates for the selected action a _i 200 now the modeled value of the parameter K _M , which depends on the selected action a _i for the parameter p _i.

Dieser berechnete Wert K_M der Kenngröße des Elektromotors für eine bestimmte Aktion a_i wird nun an das Zustandsmodul 300 weitergegeben. Das Umgebungsmodul 400 bestimmt aufgrund einer direkten Messung oder einer Berechnung einen realen Wert K_R der Kenngröße des Elektromotors. Für die Berechnung des realen Wertes K_R der Kenngröße des Elektromotors kann vorteilhafterweise ein neuronales Netz verwendet werden. Es können aber auch andere Berechnungsverfahren wie Regressionsverfahren eingesetzt werden.This calculated value K _{M of} the characteristic variable of the electric motor for a specific action a _i is now sent to the status module 300 passed on. The environmental module 400 _{determines a real value K R of} the characteristic variable of the electric motor on the basis of a direct measurement or a calculation. A neural network can advantageously be used to calculate the real value K _{R of} the characteristic variable of the electric motor. But it can also other calculation methods such as regression methods can be used.

Wie bereits ausgeführt, wird in dem Zustandsmodul 300 ein aktueller oder zukünftiger Zustand s_i durch verschiedene Datenwerte von Parametern p_i definiert, beispielsweise der Wechselstrom, der Drehmomentwinkel, die Winkelfrequenz, die Spulenwindungstemperatur, die Magnettemperatur, die Verlustleistung, die Eingangstemperatur eines Kühlmittels, die Geschwindigkeit eines Kühlmittels oder die Verlustleistung. Insbesondere berechnet das Zustandsmodul 300 die aktuelle Abweichung Δ zwischen dem gemessenen (realen) Wert der Kenngröße K_R und dem berechneten Modellwert K_M für eine ausgewählte Aktion a_i durch den LV-Agenten 200.As already stated, the status module 300 a current or future state s _{i is} defined by various data values of parameters p _i , for example the alternating current, the torque angle, the angular frequency, the coil winding temperature, the magnet temperature, the power loss, the inlet temperature of a coolant, the speed of a coolant or the power loss. In particular, the status module calculates 300 the current deviation Δ between the measured (real) value of the parameter K _R and the calculated model value K _M for a selected action a _i by the LV agent 200 .

In dem Zustandsmodul 300 wird nun der berechnete Modellwert K_M der Kenngröße mit dem tatsächlich gemessenen Wert K_R der Kenngröße verglichen. Der berechnete Wert K_M der Kenngröße beruht dabei auf den geänderten Werten für die ausgewählten Parameter p_i durch den LV-Agenten 200. In dem Belohnungsmodul 500 wird der Grad der Abweichung Δ zwischen dem berechneten Modellwert K_M und dem gemessenen Wert K_R der Kenngröße verglichen und dem Grad der Abweichung Δ eine Belohnung B_i zugeordnet. Da der Grad der Abweichung Δ von der Auswahl der jeweiligen Aktion A+, A0, A- abhängig ist, wird vorzugsweise in einer Matrix oder Funktion oder einer sonstigen Datenbank 520 der jeweiligen ausgewählten Aktion A+, A0, A- die Belohnung B_i zugeordnet. Die Belohnung B_i weist vorzugsweise die Werte +1 und -1 auf, wobei eine geringe Abweichung Δ zwischen dem berechneten Wert K_M der Kenngröße und dem gemessenen Wert K_R der Kenngröße mit +1 belohnt wird und somit verstärkt wird, während eine erhebliche Abweichung Δ mit -1 belohnt wird und somit negativ bewertet wird. Es ist aber auch denkbar, dass Werte > 1 und Werte < 1 Verwendung finden.In the state module 300 the calculated model value K _{M of} the parameter is now compared with the actually measured value K _{R of} the parameter. The calculated value K _{M of} the parameter is based on the changed values for the selected parameters p _i by the LV agent 200 . In the reward module 500 the degree of deviation Δ between the calculated model _{value K M} and the measured value K _{R of} the parameter is compared and a reward B _{i is} assigned to the degree of deviation Δ. Because the degree of deviation Δ from the selection of the respective action A + , A0 , A- is dependent, is preferably in a matrix or function or some other database 520 of the selected action A + , A0 , A- assigned the reward B _i . The reward B _i preferably has the values +1 and -1, with a slight deviation Δ between the calculated value K _{M of} the parameter and the measured value K _{R of} the parameter being rewarded with +1 and thus amplified, while a considerable deviation Δ is rewarded with -1 and is therefore rated negatively. However, it is also conceivable that values> 1 and values <1 are used.

Nun beginnt ein zweiter Zyklus zur Kalibrierung der Kenngröße des Elektromotors. Hierbei kann eine andere Aktion a_i und/oder eine andere Berechnungsfunktion f_i und/oder ein anderer Parameter p_i ausgewählt werden. Das Ergebnis wird wiederum dem Zustandsmodul 300 zugeführt und das Ergebnis des Vergleichs in dem Belohnungsmodul 500 bewertet. Der LV-Agent 200 wiederholt die Kalibrierung der Kenngröße für alle vorgesehenen Aktionen a_i und Parameter p_i solange, bis sich eine größtmögliche Übereinstimmung zwischen dem kalibrierten Modellwert K_M der Kenngröße und dem gemessenen Wert K_R der Kenngröße erreicht ist. Vorzugsweise ist der Endzustand der Kalibrierung der Kenngröße erreicht, wenn die Abweichung im Bereich von +/- 5% liegen.A second cycle for calibrating the characteristic variable of the electric motor now begins. Here, another action a _i and / or another calculation function f _i and / or another parameter p _i can be selected. The result is in turn sent to the status module 300 supplied and the result of the comparison in the reward module 500 rated. The LV agent 200 repeats the calibration of the parameter for all intended actions a _i and parameters p _i until the greatest possible correspondence between the calibrated model _{value K M of} the parameter and the measured value K _{R of} the parameter is achieved. The final state of the calibration of the parameter is preferably reached when the deviation is in the range of +/- 5%.

Vorzugsweise wird als Algorithmus für den LV-Agenten 200 ein Markow-Entscheidungsprozess verwendet. Es kann aber auch vorgesehen sind, einen Temporal Difference Learning (TD-Learning)-Algorithmus zu verwenden. Ein LV-Agent 200 mit einem TD-Learning-Algorithmus nimmt die Anpassung der Aktionen A+, A0, A- nicht erst dann vor, wenn er die Belohnung erhält, sondern nach jeder Aktion a_i auf Basis einer geschätzten erwarteten Belohnung. Des Weiteren sind auch Algorithmen wie Q-Learning und SARSA denkbar oder auch Monte-Carlo-Simulationen oder DYNAQ oder POMDP.The preferred algorithm for the LV agent 200 uses a Markov decision-making process. However, provision can also be made to use a temporal difference learning (TD learning) algorithm. An LV agent 200 Using a TD learning algorithm adapts the actions A + , A0 , A- not only before when he receives the reward, but after each action a _i based on an estimated expected reward. Algorithms such as Q-Learning and SARSA are also conceivable, as are Monte Carlo simulations or DYNAQ or POMDP.

Gemäß dem Verfahren und des Systems der vorliegenden Erfindung wird ein verstärkendes Lernen (Reinforcement Learning) eingesetzt, um eine Steuereinheit eines Elektromotors zur Bestimmung von Kenngrößen des Elektromotors automatisch zu kalibrieren. Da verschiedene Parameter p_i wie der Wechselstrom, der Drehmomentwinkel, die Winkelfrequenz, die Spulenwindungstemperatur, die Magnettemperatur, die Verlustleistung, die Eingangstemperatur eines Kühlmittels, die Geschwindigkeit eines Kühlmittels oder die Verlustleistung in das Berechnungsverfahren eingehen und hierfür Aktionen a_i ausgewählt werden, können insbesondere nichtlineare Zusammenhänge zwischen diesen Parametern p_i erfasst und berücksichtigt werden, was in herkömmlichen Steuerungsverfahren kaum möglich ist. Es handelt sich somit um eine optimierte Kalibrierungsmethode, da eine Variation von verschiedenen Parametern p_i, die einen Einfluss auf die jeweilige Kenngröße des Elektromotors haben und miteinander wechselwirken, berücksichtigt wird. Da der LV-Agent 200 die Aktionen a_i selbst auswählt und für diese jeweils eine Belohnung erhält, kann er eine optimale Kalibrierungsstrategie für die jeweilige Kenngröße eines Elektromotors bereitstellen.According to the method and the system of the present invention, reinforcement learning is used in order to automatically calibrate a control unit of an electric motor for determining parameters of the electric motor. Since various parameters p _i such as the alternating current, the torque angle, the angular frequency, the coil winding temperature, the magnet temperature, the power loss, the inlet temperature of a coolant, the speed of a coolant or the power loss are included in the calculation method and actions a _i can be selected for this purpose non-linear relationships between these parameters p _i are detected and taken into account, which is hardly possible in conventional control methods. It is therefore an optimized calibration method, since a variation of various parameters p _i , which have an influence on the respective characteristic variable of the electric motor and interact with one another, is taken into account. Because the LV agent 200 selects the actions a _i himself and receives a reward for each of them, he can provide an optimal calibration strategy for the respective parameter of an electric motor.

Durch das erfindungsgemäße Verfahren kann eine verbesserte Bestimmung und Abschätzung einer oder mehrerer Kenngrößen eines Elektromotors erreicht werden, da die Kalibrierung der Parameter, die in Modellberechnungen verwendet werden, erheblich verbessert wird. Daher können Kosten für eine bisherige manuelle und damit zeitintensive Kalibrierung gesenkt werden. Darüber hinaus ist die gleichzeitige Bestimmung von mehreren Kenngrößen eines Elektromotors und die Modellierung ihrer wechselseitigen Abhängigkeit möglich. Insgesamt kann somit das Management eines Elektromotors deutlich verbessert werden. Da die Abschätzung von Kenngrößen eines Elektromotors auch vom Fahrverhalten abhängt, kann insbesondere während des Fahrens der Wert der jeweiligen Kenngröße aktualisiert werden und gegebenenfalls angezeigt werden.The method according to the invention makes it possible to achieve an improved determination and estimation of one or more parameters of an electric motor, since the calibration of the parameters that are used in model calculations is considerably improved. Therefore, costs for a previous manual and thus time-consuming calibration can be reduced. In addition, the simultaneous determination of several parameters of an electric motor and the modeling of their mutual dependency is possible. Overall, the management of an electric motor can thus be significantly improved. Since the estimation of parameters of an electric motor also depends on the driving behavior, the value of the respective parameter can be updated and, if necessary, displayed, in particular while driving.

In 2 sind die Verfahrensschritte zur Kalibrierung einer Steuereinheit eines Elektromotors zur Bestimmung von Kenngrößen des Elektromotors dargestellt.In 2 the method steps for calibrating a control unit of an electric motor for determining parameters of the electric motor are shown.

In einem Schritt S10 erhält ein Lernverstärkungs-Agenten 200 einen Zustand s_i eines Elektromotors von einem Zustandsmodul 300, wobei ein Zustand s_i durch Daten und Messwerte von zumindest einem Parameter p_i des Elektromotors definiert ist und der Wert der zumindest einen Kenngröße des Elektromotors zumindest teilweise von diesem Parameter p_i abhängt.In one step S10 receives a learning reinforcement agent 200 a state s _{i of} an electric motor from a state module 300 , wherein a state s _{i is} defined by data and measured values of at least one parameter p _{i of} the electric motor and the value of the at least one characteristic variable of the electric motor depends _{at least in part on this parameter p i.}

In einem Schritt S20 wählt der LV-Agent 200 für den Zustand s_i zumindest eine Berechnungsfunktion f_i und/oder eine Aktion a_i für den Parameter p_i aus.In one step S20 the course agent chooses 200 for the state s _i at least one calculation function f _i and / or an action a _i for the parameter p _i .

In einem Schritt S30 berechnet der LV-Agent einen modellierten Wert K_M für zumindest eine Kenngröße des Elektromotors mittels der ausgewählten Berechnungsfunktion f_i und/oder der Aktion a_i.In one step S30 the LV agent calculates a modeled value K _M for at least one parameter of the electric motor by means of the selected calculation function f _i and / or the action a _i .

In einem Schritt S40 wird ein realer Wert K_R für die Kenngröße von einem Umgebungsmodul 400 aufgrund von Messergebnissen bereitgestellt.In one step S40 becomes a real value K _R for the parameter of an environmental module 400 provided based on measurement results.

In einem Schritt S50 werden der modellierte Wert K_M für die Kenngröße und der reale Wert K_R für die Kenngröße miteinander verglichen.In one step S50 the modeled value K _M for the parameter and the real value K _R for the parameter are compared with one another.

In einem Schritt S60 wird das Vergleichsergebnis für die Kenngröße an das Belohnungsmodul 500 weitergegeben und eine Belohnung für das Vergleichsergebnis wird in dem Belohnungsmodul 500 ermittelt.In one step S60 the comparison result for the parameter is sent to the reward module 500 passed on and a reward for the comparison result is in the reward module 500 determined.

In einem Schritt S70 wird die Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten 200 weitergegeben und eine weitere Aktion a_j wird von dem Lernverstärkungsagenten 200 basierend auf der Belohnung für das Vergleichsergebnis für den Zustand s_i ausgewählt.In one step S70 becomes the reward for the comparison result to the learning reinforcement agent 200 passed and one more action a _j is from the learning reinforcement agent 200 is selected based on the reward for the comparison result for the state s _i .

3 stellt schematisch ein Computerprogrammprodukt 700 dar, das einen ausführbaren Programmcode 750 umfasst, der konfiguriert ist, um das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen, wenn es ausgeführt wird. 3 Figure 3 schematically illustrates a computer program product 700 represents an executable program code 750 configured to carry out the method according to the first aspect of the present invention when carried out.

Mit dem Verfahren gemäß der vorliegenden Erfindung können zuverlässig optimierte Zustände s_i durch die Auswahl von passenden Aktionen a_i gefunden werden, um eine Steuereinheit eines Elektromotors zur Bestimmung von zumindest einer Kenngröße des Elektromotors zuverlässig und automatisch zu kalibrieren. Durch die Verwendung eines Lernverstärkungs-Agenten 200 mit einem Algorithmus des verstärkenden Lernens ist eine Anpassung und Kalibrierung der Parameter, die einen Einfluss auf eine oder mehrere Kenngrößen des Elektromotors haben, autonom und automatisch ermöglicht.With the method according to the present invention, optimized states s _i can be found reliably by selecting suitable actions a _i in order to reliably and automatically calibrate a control unit of an electric motor for determining at least one characteristic variable of the electric motor. Through the use of a learning reinforcement agent 200 With an algorithm of reinforcement learning, an adaptation and calibration of the parameters that have an influence on one or more parameters of the electric motor is made possible autonomously and automatically.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

EP 2148256 A1 [0008]
US 6566840 B1 [0009]

Claims

A method for calibrating a control unit of an electric motor for determining at least one parameter of the electric motor, comprising: determining (S10) a state (s _i ) of the electric motor by a state module (300), a state (s _i ) being determined by data and measured values is defined by at least one parameter (p _i ) of the electric motor and the value of the at least one parameter _{depends at least partially on this parameter (p i} ); - Selecting (S20) a calculation function (f _i ) and / or an action (a _i ) for the parameter (p _i ) from a learning reinforcement agent (200); - Calculating (S30) a modeled value (K _M ) for the parameter by means of the selected calculation function (f _i ) and / or the action (a _i ) by the learning reinforcement agent (200); - Providing (S40) a real value (K _R ) for the parameter of an environmental module (400) on the basis of measurement results; - Comparing (S50) the modeled value (K _M ) for the parameter with the real value (K _R ) of the parameter; - Forwarding (S60) of the comparison result to a reward module (500) and determining a reward for the comparison result; - Forwarding (S70) of the reward for the comparison result to the learning reinforcement agent (200) and, based on this reward, again selecting a further action (a _j ) by the learning reinforcement agent (200).

Procedure according to Claim 1 , wherein the at least one parameter comprises an output voltage and / or an internal torque and / or a power loss and / or an output temperature of a coolant and / or the speed of the coolant.

Procedure according to Claim 1 or 2 , sensors (420, 440) and / or measuring devices for detecting measured values of the parameters (p _i ) being provided.

Method according to one of the preceding Claims 1 to 3 , wherein a positive action (A +), which increases the value for a parameter (p _i) , is provided, wherein a neutral action (A0), in which the value of the parameter (p _i ) remains the same, is provided, and where a negative action (A-), in which the value of the parameter (p _i ) is reduced, is provided and / or the reward module (500) comprises a database (520) or matrix or function for evaluating the actions (a _i).

Method according to one or more of the preceding Claims 1 to 4th wherein the learning reinforcement agent (200) is configured to use an algorithm from the reinforcement learning.

Procedure according to Claim 5 , whereby the algorithm is designed as a Markov decision-making process or as Temporal Difference Learning (TD-Learning) or as Q-Learning or as DYNAQ or as POMDP or as SARSA or as Monte Carlo simulation.

Method according to one or more of the Claims 1 to 6th , wherein at least one parameter (p _i ) represents an alternating current or a torque angle or an angular frequency or a coil winding temperature or a magnet temperature or a power loss or an inlet temperature of a coolant or a speed of a coolant or a power loss.

A system (100) for calibrating a control unit of an electric motor for determining at least one parameter of the electric motor, comprising a status module (300) which is designed to determine a status (s _i ) of the electric motor, a status (s _i ) being through Data and measured values of at least one parameter (p _i ) of the electric motor is defined and the value of the at least one parameter _{depends at least partially on this parameter (p i} ), and a learning reinforcement agent (200) which is designed to perform a calculation function (f _i ) and / or _{to select an action (a i} ) for the parameter (p _i ) and to calculate a modeled value (K _M ) for the parameter using the selected calculation function (f _i ) and / or the action (a _i ); and an environment module (400) which is designed to provide a real value (K _R ) for the parameter based on measurement results, the status module (300) being designed to provide the modeled value (K _M ) for the parameter with the real value ( K _R ) of the parameter, and with a reward module (500) which is designed to determine a reward for the comparison result and to pass on the reward for the comparison result to the learning reinforcement agent (200), the learning reinforcement agent (200 ) is designed to select _{another action (a j) based on this reward.}

System (100) according to Claim 8 , wherein the at least one parameter comprises an output voltage and / or an internal torque and / or a power loss and / or an output temperature of a coolant and / or the speed of the coolant.

System (100) according to Claim 8 or 9 , sensors (420, 440) and / or measuring devices for detecting measured values of the parameters (p _i ) being provided.

System (100) according to Claim 8 or 9 , wherein a positive action (A +), which increases the value for a parameter (p _i) , is provided, wherein a neutral action (A0), in which the value of the parameter (p _i) remains the same, is provided, and where a negative action (A-), in which the value of the parameter (p _i ) is reduced, is provided and / or the reward module (500) comprises a database (520) or matrix or function for evaluating the actions (a _i).

System (100) according to one or more of the preceding Claims 8 to 11 wherein the learning reinforcement agent (200) is configured to use an algorithm from the reinforcement learning.

System (100) according to Claim 12 , whereby the algorithm is designed as a Markov decision-making process or as Temporal Difference Learning (TD-Learning) or as Q-Learning or as DYNAQ or as POMDP or as SARSA or as Monte Carlo simulation.

System (100) according to one or more of the Claims 8 to 13th , where at least one parameter (p _i ) where at least one parameter (p _i ) represents an alternating current or a torque angle or an angular frequency or a coil winding temperature or a magnet temperature or a power loss or an inlet temperature of a coolant or a speed of a coolant or a power loss.

A computer program product (700), comprising an executable program code (750) which is configured in such a way that, when it is executed, it executes the method according to one of the Claims 1 to 7th executes.