EP3714337A1 - Simulieren von statistisch modellierten sensordaten - Google Patents

Simulieren von statistisch modellierten sensordaten

Info

Publication number
EP3714337A1
EP3714337A1 EP19720390.4A EP19720390A EP3714337A1 EP 3714337 A1 EP3714337 A1 EP 3714337A1 EP 19720390 A EP19720390 A EP 19720390A EP 3714337 A1 EP3714337 A1 EP 3714337A1
Authority
EP
European Patent Office
Prior art keywords
sensor data
simulated
training
model
rsd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP19720390.4A
Other languages
English (en)
French (fr)
Other versions
EP3714337B1 (de
Inventor
Hamed Ketabdar
Navid Nourani-Vatani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP3714337A1 publication Critical patent/EP3714337A1/de
Application granted granted Critical
Publication of EP3714337B1 publication Critical patent/EP3714337B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric

Definitions

  • the invention relates to a sensor data simulation device. Furthermore, the invention relates to a training device. Moreover, the invention relates to a method for emulating sensor data. Moreover, the invention relates to a training procedure for training a sensor data simulation tions V orraum.
  • Snow or even snow during a scheduled test run is present, when the functionality of a sensor with weather conditions, such as snow, is correlated.
  • the sensor data simulation device has a physics engine for generating first simulated sensor data based on a physical model.
  • a physical model describes a mathematical relationship between different physical quantities.
  • the method according to the invention involves a mathematical description of the relationship between physical quantities which describe the environmental influences on a sensor in question and physical variables characterizing the sensor and its response behavior.
  • Such a physical model can be generated, for example, by a physics engine.
  • the physics engine also considers constraints and constraints in its applied model equations. For example, the thickness of lines and the length of the lines is ge used to calculate a heat loss.
  • Part of the inventive sensor data simulation device is also a statistical model unit for generating second simulated sensor data based on a trained statistical model, which was obtained by training with real sensor data and is adapted to reproduce the time-dependent statistical behavior of the real sensor data.
  • a trained statistical model should in this context include a statistical model which is generated on the basis of a learning algorithm, for example a machine learning method.
  • a statistical model should be understood as a model which The temporal variability of the sensor values is statistically described.
  • the sensor data simulation device By model-taking into account the statistical behavior of the sensor data by learning from real sensor data, the sensor data simulation device according to the invention can be used to generate simulated sensor data which has a certain complementarity with the data of the physical model. In this way, more accurate sensor data can be generated over a larger parameter range. In addition, a thorough acquisition of real test data by the simulation can be reduced.
  • the training device comprises a first interface for receiving second simulated sensor data, which are generated with a statistical model to be trained, and a model training unit for training the statistical model with real sensor data and the second simulated sensor data received via the first interface.
  • the statistical model can be adapted to changing conditions, which affects the response behavior of the sensors and the environmental conditions.
  • first simulated sensor data are generated on the basis of a physical model.
  • second simulated sensor data are generated on the basis of the trained statistical model.
  • the trained statistical model was obtained in a previous training process by training with real sensor data and reflects the time-dependent statistical behavior of the real sensor data.
  • the method according to the invention shares the advantages of the sensor data simulation device according to the invention.
  • the first simulated sensor data are generated on the basis of the physical model. Furthermore, a statistical model with real sensor data is trained. In addition, second simulated sensor data is generated using the trained statistical model.
  • Parts of the sensor data simulation device according to the invention and of the training device can for the most part be designed in the form of software components. This applies in particular to parts of the physics engine, the statistical model unit and the model training unit. In principle, these components but also in part, in particular when it comes to very fast calculations, in the form of software-supported hardware, such as FPGAs or the like, be realized.
  • the required interfaces for example, if it is only about an acquisition of data from other software components, be designed as software interfaces. However, they can also be configured as hardware-based interfaces, which are controlled by suitable software.
  • a partial software realization has the advantage that even previously used for sensor data simulation computer systems can be retrofitted in a simple way by a software update to work in the inventive way.
  • the problem is also solved by a corresponding computer program product with a computer program. solved, which directly in a memory device ei nes such a computer system is loadable, with Programmabschnit th to perform all steps of the method for simulating Sen sor songs and / or the training method for training the sensor data simulation device according to the invention trainees, if the computer program in the computer system is performed.
  • Such a computer program product may, in addition to the computer program, optionally contain additional components, such as e.g. a documentation and / or additional components, also hardware components, such as e.g. Hardware keys (dongles, etc.) for using the software include
  • a compu terlesbares medium such as a memory stick, a hard disk or other portable or fixed Clarker disk serve, on which the unit readable by a computer and executable program sections of the computer program are stored.
  • the computer unit may e.g. For this purpose, one or more cooperating Mikropro processors or the like.
  • the sensor data simulation device preferably also comprises a fusion unit for generating a set of combined simulated sensor data by combining the first simulated sensor data with the second sensor data.
  • a fusion unit for generating a set of combined simulated sensor data by combining the first simulated sensor data with the second sensor data.
  • a trained combination model is a model to be understood, which generates based on a learning algorithm, example, a machine learning method, combined simulated sensor data.
  • the learning process is virtually a two-stage learning process.
  • For the training of the combination algorithm initially second simulated sensor data is needed, which in turn were model-based or generated based on a learning algorithm using real sensor data as test data.
  • the sensor data generated as part of the learning process by combination can then be used in the context of a matching process together with the test data to adapt the learning algorithm.
  • the trained statistical model reproduces the dynamic behavior of the sensor, of which real sensor data were used to train the statistical model.
  • the time-dependent statistically describable behavior of the sensor By taking into account the time-dependent statistically describable behavior of the sensor, more realistic simulated sensor data are obtained. similar to conventional simulated by a physics engine sensor data.
  • the statistical model simulates the noise behavior of the sensor and / or artifacts generated by the sensor whose real sensor data was used to train the statistical model.
  • the actual response behavior of a sensor can be particularly accurately simulated.
  • the physical model when training the statistical model, takes into account collected metadata concerning the environmental conditions in the generation of the genuine sensor data when generating the first simulated sensor data.
  • the physical model can be made more precise knowing specific values of the metadata.
  • the trained statistical model was generated by training real sensor data to which different values of metadata are assigned.
  • values of metadata can also be taken into account when training the statistical model, so that the statistical model can be made even more precise and particularly realistic simulated second sensor data can be generated.
  • the metadata comprise at least one of the following types of data:
  • the sensor state should in this context include the current physical state of the sensor, which includes for example the supply voltage, the current intensity and the Sen s temperature.
  • the sensor state also includes different modes in which a sensor can be operated.
  • the travel metadata includes the place of departure, the place of arrival and the timetable data.
  • the information mentioned influences the response behavior of a sensor. It is thus advantageous to take this data into account in the generation of simulated sensor data, in order to achieve a more sophisticated simulation which is better adapted to the reality.
  • the training device preferably has a combination modeling training unit for training the combination model on the basis of real sensor data and the simulated first and second sensor data.
  • the two models le, i. the statistical model and the combination model can be trained together with each other simultaneously, but they can also be trained independently of each other.
  • the combination algorithm of the simulated sensor data generated on the basis of different models is advantageously adaptable to specific conditions by the combination model training unit.
  • the sensor data simulation device has the training device according to the invention.
  • parts of the sensor data simulation device such as the physics engine, the statistical model unit, and the fusion unit, can also be used use for the training process, so that in a direct interaction of the two devices according to the invention these elements are needed only once.
  • a set of combined simulated sensor data is preferably simulated by combining the first simulated sensor data with the second simulated sensor data using the trained combination model on the first simulated sensor data and the second simulated sensor data gained sensor data.
  • the trained combination model was obtained in a previous training process by training with real sensor data and simulated first and second sensor data.
  • the combina tion process is based on a trained cherrysmo model, which is customizable to different training data sets customizable.
  • the combination model is trained with the real sensor data and the simulated first and second sensor data.
  • the combination of the simulated sensor data is also included in the training process, so that particularly realistic sensor data can be simulated.
  • Machine learning in contrast to a rigid model, can be adapted much more flexibly and precisely to scenarios that are either inadequate or wall or not at all by a physical model be writable.
  • a statistical component is extracted from the real sensor data, and the sequential statistical model is trained on the basis of the statistical component, whereby the time-dependent behavior of the statistical component is learned becomes.
  • a sequential statistical model is used to model sequences of events. Examples include the hidden Markov model or recurrent neural networks.
  • the extraction of the statistical component by applying a time derivative and / or a high-pass filter to the real sensor data.
  • noise components can be separated from sensor data.
  • the sequential statistical model comprises the technique of long short-term memory (referred to as “long short term memory”, abbreviated LSTM).
  • 1 shows a schematic representation of a sensor data simulation device according to an embodiment of the invention
  • 2 shows a flowchart which illustrates a method for simulating sensor data according to an exemplary embodiment of the invention
  • FIG. 3 is a flow chart illustrating a training method for training the models used in the method illustrated in FIG. 2 according to an embodiment of the invention.
  • FIG. 4 shows a flow chart, which illustrates a training method according to an embodiment of the invention.
  • a sensor data simulation device 10 according to an embodiment of the invention is shown schematically Darge.
  • the sensor data simulation device 10 has a simulation component 10 a and a training device 20.
  • the simulation component 10a a model simulation of sensor data KSSD is performed.
  • the training device 20 serves to generate models STM, KM based on a real learning method based on real sensor data RSD.
  • KM a statistical model STM and a combination model KM, are used to generate simulated sensor data SSD2, KSSD for specific sensors and are stored after their generation by the training device 20 in a sensor model database SMDB or in a combination model database KMDB, each part of the simulation component 10a.
  • the simulation component 10a includes a physics engine 11 configured to generate first simulated sensor data SSD1 based on a physical model for a specific sensor. Part of the simulation component 10a is also a statistical model unit 12, which is equipped to generate second simulated sensor data SSD2 on the basis of a trained statistical model STM.
  • the trained statistical model which is specific for a particular sensor, is stored in the already mentioned sensor model database SMDB and can, if required, ie if a sensor data simulation for a specific sensor is to be transmitted from this sensor model database SMDB to the statistical model unit 12.
  • the statistical model STM was obtained by training with real sensor data RSD of a respective sensor and reflects the time-dependent statistical behavior of the real sensor data.
  • Part of the simulation component 10a is also a fusion unit 13 which is connected to the physics engine 11 and the statistical model unit 12 via communication channels and from these the first simulated sensor data SSD1 and the second simulated sensor data SSD2, which for example simulated noise components or simulated artifacts include, receives.
  • the fusion unit 13 is configured to generate a set of combined simulated sensor data KSSD by combining the first simulated sensor data SSD1 with the second simulated sensor data SSD2.
  • the combining operation finds the first simulated sensor data SSD1 and the second simulated sensor data SSD2 using a combination model KM trained by a machine learning method.
  • the case used te trained combination model KM was using the Trai ningsvorraum 20 by training with real sensor data RSD and simulated first and second sensor data SSD1, SSD2 won.
  • the generated combined simulated sensor data KSSD can be output via an output interface 14, which is also part of the simulation component 10a.
  • the fusion unit 13 represents an optional feature and also embodiments without a fusion unit 13 are meaningful and executable.
  • the training device 20 has a statistical model training unit 22 and a combination model training unit 24.
  • the model training unit 22 is used to train a statistical model STM for a particular sensor with ech th sensor data RSD using a machine Lernverfah rens.
  • the statistical model training unit 22 has a model adaptation unit 22a and a comparison unit 22b.
  • the model adaptation unit 22a first generates an initial it model STM of a specific sensor or Behhal least and transmits this model STM to the already mentioned statistic statistical model unit 12, which generates second simulated sensor data SSD2 based on the obtained model STM, and also to the comparison unit 22b.
  • the second simulated sensor data SSD2 are averaged as part of the machine learning process to the comparison unit 22b, which performs a so-called matching process in which noise components STK afflicted genuine sen sordata RSD, which are stored in the test database TDB, with the adjusted second simulated sensor data SSD2. If it was determined during the matching process that the generated sensor data SSD2 sufficiently coincide with the real sensor data RSD or the matching process has a positive result, the statistical model STM transmitted last to the comparison unit 22b is stored in the sensor model database SMDB. Otherwise, depending on the result of the matching process, correction parameters KD are transmitted to the model matching unit 22a.
  • the model adaptation unit 22a then generates a corrected statistical model STM in dependence on the correction parameters KD obtained and in turn transmits this model STM to the statistical model unit 12 as well as to the comparison unit 22b.
  • the statistical model unit 12 then again generates second simulated sensor data SSD2, which in turn is subjected by the comparison unit 22b to a matching process with the genuine sensor data RSD. The described process is carried out further until the result of the matching process makes no further corrections necessary. Subsequently, the last used statistical model STM is stored in the sensor model database SMDB.
  • the combination model training unit 24 has an initialization unit 24a, with the real sensor data RSD received depending on the test database TDB for a specific sensor simulating a first simulated generation Sensor data SSD1 is instructed in the physics engine 11 and a simulation of second simulated sensor data SSD2 in the statistical model unit 12 is instructed ( Kommuni cation lines between the initialization unit 24a and the physics engine 11 and the statistical model unit 12 are not shown for clarity). Furthermore, the combination model training unit 24 has a model adaptation unit 24b, which transmits an initial combination model KM to the combination unit 13 on the basis of genuine sensor data RSD obtained from the test database TDB. The combination unit 13 combines the first and second simulated sensor data SSD1, SSD2 generated for training purposes with each other and transmits the combined simulated sensor data KSSD to a comparison unit 24c, which is also part of the combination model training unit 24.
  • the combined simulated sensor data KSSD are transmitted as part of the machine learning process to the comparison unit 24c, which performs a so-called matching process in which real sensor data RSD stored in the test database TDB with the generated combined simulated sensor data KSSD be matched. If it has been determined during the matching process that the combined simulated sensor data KSSD generated by it match sufficiently with the genuine sensor data RSD or
  • Matching process correction parameter KD transmitted to the model adaptation unit 24b.
  • the model adaptation unit 24b then generates a corrected combination model KM and in turn transmits this model KM to the combination model unit 13 as well as to the comparison unit 24c.
  • the combination nation model unit 13 again generates combined simulated sensor data KSSD, which in turn is subjected by the comparison unit 24b to a matching process with the real sensor data RSD. The process described is continued until the result of the matching process makes no further corrections necessary. Subsequently, the last used combination model KM is stored in the combination model database KMDB, in which it is available for simulations.
  • a flowchart 200 is shown which illustrates a method for simulating sensor data according to an exemplary embodiment of the invention.
  • a plurality of first simulated sensor data SSD1 are generated with the aid of a physics engine for defined sensor parameters and environmental parameters.
  • a plurality of second simulated sensor data SSD2 are generated for the same defined sensor parameters and environmental parameters, which are also in the Step 2.1 were used.
  • the statistical model STM was obtained by machine learning with real sensor data RSD or on these basing statistical components.
  • the second sampled sensor data SSD2 may comprise, for example, a statistical component, such as, for example, noise effects or artifacts, which may occur due to environmental influences or due to design.
  • a complete second simulated sensor data SSD2 only the statistical components associated therewith can be generated.
  • step 2. III the first and second simulated sensor data SSD1, SSD2 are used to generate a set of combined simulated sensor data KSSD.
  • the set of combined simulated sensor data KSSD is obtained by combining the first simulated sensor data SSD1 with the second simulated sensor data SSD2 achieved.
  • the combination is done by applying a machine-learning-trained combination model KM that has been trained to generate the first and second sensor data SSD1,
  • SSD2 combine with each other so that the combined simulated sensor data KSSD generated in the Kom, as closely as possible correspond to the real sensor used for the training data RSD.
  • machine learning methods are used both for generating statistical components of simulated sensor data and additionally for the combination of these simulated statistical components with simulated sensor data, which were generated by a physical model.
  • FIG. 3 shows a flowchart 300 which illustrates a training method for training a sensor data simulation device according to an exemplary embodiment of the invention.
  • the first statistical sensor data SSD1 for certain defined environmental parameters and sensor parameters is first generated in step 3.1 with a physical model PM, which is realized by a physics engine, wherein the corresponding parameters resp whose values are varied in order to obtain simulated sensor values for a correspondingly broad parameter range.
  • the parameter range depends among others on the existing real sensor data RSD or on the parameter value range assigned to it.
  • a dynamic statistical model STM is trained by machine learning MLM on the basis of real sensor data RSD.
  • the real sensor data RSD can originate, for example, from a test database TDB (see FIG. 1).
  • the real sensor data RSD can, for example, statistical, ie statistically varying over time components that are used to train the dynamic statistical model STM.
  • the statistical components For example, they can affect the noise behavior of the simulated sensor data.
  • step 3. III second simulated sensor data SSD2 are subsequently generated with the aid of the trained statistical model STM.
  • the second simulated sensor data SSD2 comprise the described statistical component of sensor data.
  • step 3. IV training is then carried out on a combination model KM.
  • the combination model KM is intended to suitably combine the first sensor data SSD1 simulated via the physical model and the second sensor data SSD2 mimulated with the statistical model STM, i. in such a way that the combined sensor data KSSD generated by the combination model KM correspond to the real sensor data RSD used for the training, for the specific parameter values associated therewith.
  • FIG. 4 shows a flowchart 400 which illustrates a training method for training models for simulating sensor data according to a second exemplary embodiment of the invention.
  • step 4.1 as in the embodiment illustrated in FIG. 3, first simulated sensor data SSD1 are generated with the aid of a physics engine or a physical model PM realized by the physics engine.
  • RSD noise components STK are extracted in the step 4. II from the real sensor data. The extraction of these noise components STK he follows in the embodiment shown in Figure 4 by applying a high-pass filter on the training process underlying real sensor data RSD.
  • the noise components STK are then processed in step 4.III using a sequential statistical model, in this case a model referred to as "short-term long-term memory" KZLZG, with which the noise behavior of the sensor data RSD is automated as a function of time is learned In the step 4.
  • the short-term long-term memory KZLZG having noise components STK has been sufficiently trained, it can then be used in step 4.IV to generate simulated noise components SSTK as time series, these simulated noise components SSTK are then used in step 4.V together with the first simulated sensor data SSD1 and the real sensor data RSD are used to machine-learn a combination model KM
  • the combination model KM is intended to serve as the first sensor data SSD1 simulated via the physical model PM and Short-term long-term memory "KZLZG designated statistical model simulated noise components SSTK suitable to combinate kidney, ie to combine such that the combined sensor data KSSD generated by the Combi nation model KM correspond to the used for the training real sensor data RSD for the associated parameter values.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

Es wird eine Sensordaten-Simulationsvorrichtung (10) beschrieben. Die Sensordaten-Simulationsvorrichtung (10) weist eine Physik-Engine (11) zum Erzeugen von ersten simulierten Sensordaten (SSD1) auf Basis eines physikalischen Modells (PM) auf. Teil der Sensordaten-Simulationsvorrichtung ist auch eine statistische Modelleinheit (12) zum Erzeugen von zweiten simulierten Sensordaten (SSD2, SSTK) auf Basis eines trainierten statistischen Modells (STM), welches durch Trainieren mit echten Sensordaten (RSD) gewonnen wurde und dazu eingerichtet ist, ein zeitabhängiges statistisches Verhalten der echten Sensordaten (RSD) wiederzugeben. Es wird auch eine Trainingsvorrichtung (20) beschrieben. Weiterhin wird ein Verfahren zum Simulieren von Sensordaten (KSSD) unter Anwendung der Sensordaten-Simulationsvorrichtung (10) beschrieben. Überdies wird ein Trainingsverfahren zum Trainieren der Sensordaten-Simulationsvorrichtung (10) beschrieben.

Description

Beschreibung
Simulieren von statistisch modellierten Sensordaten
Die Erfindung betrifft eine Sensordaten-Simulationsvorrich- tung. Weiterhin betrifft die Erfindung eine Trainingsvorrich tung. Überdies betrifft die Erfindung ein Verfahren zum Si mulieren von Sensordaten. Außerdem betrifft die Erfindung ein Trainingsverfahren zum Trainieren einer Sensordaten-Simula- tionsVorrichtung .
Sensordaten aus dem laufenden Betrieb zu erhalten, kann sehr kompliziert und teuer sein, insbesondere in der Eisenbahnin dustrie. Das Organisieren von Testläufen bringt eine Menge von frühzeitigen Planungsprozessen, hohen Kosten und techni schen Komplikationen mit sich. Zudem ist es schwierig, si cherzustellen, dass ein Testlauf alle Umweltaspekte berück sichtigen kann, die einen Sensor beeinflussen können. Bei spielsweise kann nicht garantiert werden, dass genügend
Schnee oder überhaupt Schnee während eines anberaumten Test laufs vorhanden ist, wenn die Funktionalität eines Sensors mit Wetterbedingungen, wie zum Beispiel Schnee, korreliert ist .
Aus den genannten Gründen ist es erforderlich, dass Sensor messungen auf Basis der physikalischen Gesetze simuliert wer den können. Eine solche Vorgehensweise stellt sicher, dass eine höhere Variabilität in den Sensordaten beobachtet werden kann. Allerdings ist es nicht möglich, alle Parameter zu be rücksichtigen, die das Verhalten eines Sensors und der Umge bung des Sensors beeinflussen, als physikalische Gesetze zu berücksichtigen, da beispielsweise eine Vielzahl physikali scher Simulationen berücksichtigt werden sollen.
Es besteht also die Aufgabe, eine Vorrichtung und ein ent sprechendes Verfahren zu entwickeln, welche mit wenig Aufwand realistische Sensordaten liefern. Diese Aufgabe wird durch eine Sensordaten-Simulationsvor- richtung gemäß Patentanspruch 1, durch eine Trainingsvorrich tung gemäß Patentanspruch 8, durch ein Verfahren zum kombi nierten Simulieren von Sensordaten gemäß Patentanspruch 11 und durch ein Trainingsverfahren gemäß Patentanspruch 13 ge löst.
Die erfindungsgemäße Sensordaten-Simulationsvorrichtung weist eine Physik-Engine zum Erzeugen von ersten simulierten Sen sordaten auf Basis eines physikalischen Modells auf.
Ein physikalisches Modell beschreibt einen mathematischen Zu sammenhang zwischen verschiedenen physikalischen Größen. Im engeren Sinn geht es bei dem erfindungsgemäßen Verfahren um eine mathematische Beschreibung des Zusammenhangs zwischen physikalischen Größen, die die Umwelteinflüsse auf einen be treffenden Sensor beschreiben, sowie den Sensor und dessen Antwortverhalten kennzeichnende physikalische Größen. Ein solches physikalisches Modell kann zum Beispiel durch eine Physik-Engine erzeugt werden. Die Physik-Engine berücksich tigt auch Einschränkungen und Randbedingungen in ihren ver wendeten modellhaften Gleichungen. Beispielsweise wird die Dicke von Leitungen sowie die Länge der Leitungen dazu ge nutzt, um einen Wärmeverlust zu berechnen.
Teil der erfindungsgemäßen Sensordaten-Simulationsvorrichtung ist auch eine statistische Modelleinheit zum Erzeugen von zweiten simulierten Sensordaten auf Basis eines trainierten statistischen Modells, welches durch Trainieren mit echten Sensordaten gewonnen wurde und dazu eingerichtet ist, das zeitabhängige statistische Verhalten der echten Sensordaten wiederzugeben .
Ein trainiertes statistisches Modell soll in diesem Zusammen hang ein statistisches Modell umfassen, welches auf Basis ei nes Lernalgorithmus, beispielsweise eines maschinellen Lern verfahrens, erzeugt wird. Als statistisches Modell soll in diesem Zusammenhang ein Modell verstanden werden, welches ei- ne zeitliche Variabilität der Sensorwerte statistisch be schreibt .
Indem die erfindungsgemäße Sensordaten-Simulationsvorrichtung modellhaft das statistische Verhalten der Sensordaten durch Lernen anhand von echten Sensordaten berücksichtigt, lassen sich simulierte Sensordaten erzeugen, die mit den Daten des physikalischen Modells eine gewisse Komplementariät aufwei sen. Auf diese Weise können exaktere Sensordaten über einen größeren Parameterbereich erzeugt werden. Zudem kann ein auf wändiges Akquirieren von echten Testdaten durch die Simulati on reduziert werden.
Indem die erfindungsgemäße Sensordaten-Simulationsvorrichtung modellhaft das statistische Verhalten der Sensordaten durch Lernen anhand von echten Sensordaten berücksichtigt, lassen sich simulierte Sensordaten erzeugen, die exakter dem tat sächlichen Verhalten der Sensoren entsprechen. Gleichzeitig kann durch die Einbindung des physikalischen Modells eine ho he Variabilität erzielt werden. Zudem kann ein aufwändiges Akquirieren von echten Testdaten durch die Simulation redu ziert werden.
Die erfindungsgemäße Trainingsvorrichtung umfasst eine erste Schnittstelle zum Empfangen von zweiten simulierten Sensorda ten, welche mit einem zu trainierenden statistischen Modell erzeugt werden, und eine Modelltrainingseinheit zum Trainie ren des statistischen Modells mit echten Sensordaten und den über die erste Schnittstelle empfangenen zweiten simulierten Sensordaten. Mit Hilfe der Trainingsvorrichtung lässt sich das statistische Modell an veränderliche Bedingungen, was das Antwortverhalten der Sensoren und die Umweltbedingungen be trifft, anpassen.
Bei dem erfindungsgemäßen Verfahren zum Simulieren von Sen sordaten unter Anwendung der erfindungsgemäßen Sensordaten- Simulationsvorrichtung werden erste simulierte Sensordaten auf Basis eines physikalischen Modells erzeugt. Es werden zudem zweite simulierte Sensordaten auf Basis des trainierten statistischen Modells erzeugt. Das trainierte statistische Modell wurde in einem vorhergehenden Trainings prozess durch Trainieren mit echten Sensordaten gewonnen und gibt das zeitabhängige statistische Verhalten der echten Sen sordaten wieder. Das erfindungsgemäße Verfahren teilt die Vorteile der erfindungsgemäßen Sensordaten-Simulationsvor- richtung .
Bei dem erfindungsgemäßen Trainingsverfahren zum Trainieren der erfindungsgemäßen Sensordaten-Simulationsvorrichtung wer den erste simulierte Sensordaten auf Basis des physikalischen Modells erzeugt. Es wird weiterhin ein statistisches Modell mit echten Sensordaten trainiert. Überdies werden zweite si mulierte Sensordaten mit dem trainierten statistischen Modell erzeugt .
Teile der erfindungsgemäßen Sensordaten-Simulationsvorrich- tung und der Trainingsvorrichtung können zum überwiegenden Teil in Form von Softwarekomponenten ausgebildet sein. Dies betrifft insbesondere Teile der Physik-Engine, der statisti schen Modelleinheit und der Modelltrainingseinheit . Grund sätzlich können diese Komponenten aber auch zum Teil, insbe sondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötig ten Schnittstellen, beispielsweise wenn es nur um eine Über nahme von Daten aus anderen Softwarekomponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.
Eine teilweise softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher für Sensordatensimulation genutzte Rechnersysteme auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Insofern wird die Aufgabe auch durch ein ent sprechendes Computerprogrammprodukt mit einem Computerpro- gramm gelöst, welches direkt in eine Speichereinrichtung ei nes solchen Rechnersystems ladbar ist, mit Programmabschnit ten, um alle Schritte des Verfahrens zum Simulieren von Sen sordaten und/oder des Trainingsverfahrens zum Trainieren der erfindungsgemäßen Sensordaten-Simulationsvorrichtung auszu führen, wenn das Computerprogramm in dem Rechnersystem ausge führt wird.
Ein solches Computerprogrammprodukt kann neben dem Computer programm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen
Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein compu terlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest einge bauter Datenträger dienen, auf welchem die von einer Rechner einheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikropro zessoren oder dergleichen aufweisen.
Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhän gigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rah men der Erfindung auch die verschiedenen Merkmale unter schiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.
Bevorzugt umfasst die erfindungsgemäße Sensordaten-Simula- tionsvorrichtung auch eine Fusionseinheit zum Erzeugen eines Satzes von kombinierten simulierten Sensordaten durch Kombi nation der ersten simulierten Sensordaten mit den zweiten si- mulierten Sensordaten unter Anwendung eines trainierten Kom binationsmodells auf die ersten simulierten Sensordaten und die zweiten simulierten Sensordaten, wobei das trainierte Kombinationsmodell durch Trainieren mit echten Sensordaten und simulierten ersten und zweiten Sensordaten gewonnen wur de .
Als trainiertes Kombinationsmodell soll ein Modell verstanden werden, welches auf Basis eines Lernalgorithmus, beispiels weise eines maschinellen Lernverfahrens, kombinierte simu lierte Sensordaten erzeugt. Dabei erfolgt das Lernverfahren quasi als zweistufiges Lernverfahren. Denn für das Training des Kombinationsalgorithmus werden zunächst zweite simulierte Sensordaten benötigt, die ihrerseits wieder modellbasiert bzw. auf einem Lernalgorithmus basierend mit Hilfe von echten Sensordaten als Testdaten erzeugt wurden. Die im Rahmen des Lernprozesses durch Kombination erzeugten Sensordaten, können dann im Rahmen eines Matching-Prozesses zusammen mit den Testdaten zur Anpassung des Lernalgorithmus genutzt werden.
Indem die erfindungsgemäße Sensordaten-Simulationsvorrichtung modellhaft das statistische Verhalten der Sensordaten durch Lernen anhand von echten Sensordaten berücksichtigt, lassen sich simulierte Sensordaten erzeugen, die exakter dem tat sächlichen Verhalten der Sensoren entsprechen. Gleichzeitig kann durch die Einbindung des physikalischen Modells eine ho he Variabilität erzielt werden. Zudem kann ein aufwändiges Akquirieren von echten Testdaten durch die Simulation redu ziert werden.
In einer bevorzugten Ausgestaltung der erfindungsgemäßen Sen- sordaten-Simulationsvorrichtung gibt das trainierte statisti sche Modell das dynamische Verhalten des Sensors wieder, des sen echte Sensordaten dazu genutzt wurden, das statistische Modell zu trainieren. Indem das zeitabhängige statistisch beschreibbare Verhalten des Sensors mitberücksichtigt wird, ergeben sich realistischer simulierte Sensordaten im Ver- gleich zu herkömmlich durch eine Physik-Engine simulierten Sensordaten .
In einer Ausgestaltung der erfindungsgemäßen Sensordaten- Simulationsvorrichtung simuliert das statistische Modell das Rauschverhalten des Sensors und/oder Artefakte, welche durch den Sensor erzeugt wurden, dessen echte Sensordaten dazu ge nutzt wurden, das statistische Modell zu trainieren. Vorteil haft kann das tatsächliche Antwortverhalten eines Sensors be sonders exakt simuliert werden.
In einer effektiven Ausgestaltung der erfindungsgemäßen Sen sordaten—Simulationsvorrichtung berücksichtigt das physikali sche Modell bei dem Trainieren des statistischen Modells ge sammelte Metadaten, welche die Umweltbedingungen bei der Er zeugung der echten Sensordaten betreffen, bei dem Erzeugen der ersten simulierten Sensordaten. Vorteilhaft kann das phy sikalische Modell in Kenntnis spezifischer Werte der Metada ten präziser gestaltet werden.
In einer vorteilhaften Variante der erfindungsgemäßen Sensor- daten-Simulationsvorrichtung wurde das trainierte statisti sche Modell durch Trainieren von echten Sensordaten, denen unterschiedliche Werte von Metadaten zugeordnet sind, er zeugt. Vorteilhaft können auch bei dem Trainieren des statis tischen Modells Werte von Metadaten berücksichtigt werden, so dass das statistische Modell noch präziser gestaltet werden kann und besonders realistische simulierte zweite Sensordaten erzeugt werden können.
In einer Variante der erfindungsgemäßen Sensordaten-Simula- tionsvorrichtung umfassen die Metadaten mindesten eine der folgenden Datenarten:
- Wetterdaten,
- die Tageszeit,
- physikalische Randbedingungen,
- den Sensorzustand
- den Typ des Schienenfahrzeugs, - Reisemetadaten.
Der Sensorzustand soll in diesem Zusammenhang den aktuellen physikalischen Zustand des Sensors umfassen, welcher zum Bei spiel die Versorgungsspannung, die Stromstärke und die Sen sortemperatur umfasst. Der Sensorzustand umfasst auch unter schiedliche Modi, in denen ein Sensor betrieben werden kann. Die Reisemetadaten umfassen den Abfahrtsort, den Ankunftsort sowie die Fahrplandaten.
Die genannten Informationen beeinflussen das Antwortverhalten eines Sensors. Es ist somit vorteilhaft, diese Daten bei der Erzeugung von simulierten Sensordaten mit zu berücksichtigen, um eine differenziertere, der Realität besser angepasste Si mulation zu erreichen.
Teil der erfindungsgemäßen Trainingsvorrichtung sind vorzugs weise auch eine zweite Schnittstelle zum Empfangen von kombi nierten Sensordaten und eine dritte Schnittstelle zu einer Physik-Engine zum Erzeugen von ersten simulierten Sensordaten zum Trainieren eines Kombinationsmodells. Die erfindungsgemä ße Trainingsvorrichtung weist überdies vorzugsweise eine Kom binations-Modelltrainingseinheit zum Trainieren des Kombina tionsmodells auf Basis von echten Sensordaten und der simu lierten ersten und zweiten Sensordaten auf. Die beiden Model le, d.h. das statistische Modell und das Kombinationsmodell können gemeinsam miteinander simultan trainiert werden, sie können aber auch unabhängig voneinander trainiert werden. Vorteilhaft ist der Kombinationsalgorithmus der auf Basis un terschiedlicher Modelle erzeugten simulierten Sensordaten durch die Kombinations-Modelltrainingseinheit an spezifische Bedingungen anpassbar.
In einer besonders bevorzugten Variante weist die Sensorda- ten-Simulationsvorrichtung die erfindungsgemäße Trainingsvor richtung auf. Vorteilhaft lassen sich Teile der Sensordaten- Simulationsvorrichtung, wie zum Beispiel die Physik-Engine, die statistische Modelleinheit und die Fusionseinheit, auch für den Trainingsvorgang nutzen, so dass bei einem direkten Zusammenwirken der beiden erfindungsgemäßen Vorrichtungen diese Elemente nur einmal benötigt werden.
Überdies wird vorzugsweise im Rahmen des erfindungsgemäßen Verfahrens zum Simulieren von Sensordaten unter Anwendung der erfindungsgemäßen Sensordateneinrichtung ein Satz von kombi nierten simulierten Sensordaten durch Kombination der ersten simulierten Sensordaten mit den zweiten simulierten Sensorda ten unter Anwendung des trainierten Kombinationsmodells auf die ersten simulierten Sensordaten und die zweiten simulier ten Sensordaten gewonnen. Das trainierte Kombinationsmodell wurde in einem vorhergehenden Trainingsprozess durch Trainie ren mit echten Sensordaten und simulierten ersten und zweiten Sensordaten gewonnen. Vorteilhaft erfolgt auch der Kombina tionsvorgang basierend auf einem trainierten Kombinationsmo dell, welches individuell an unterschiedliche Trainingsdaten sätze anpassbar ist.
In einer Variante des erfindungsgemäßen Trainingsverfahrens zum Trainieren der erfindungsgemäßen Sensordaten-Simulations- vorrichtung erfolgt ein Trainieren des Kombinationsmodells mit den echten Sensordaten und den simulierten ersten und zweiten Sensordaten. Vorteilhaft wird auch die Kombination der simulierten Sensordaten mit in den Trainingsprozess ein bezogen, so dass besonders realitätsnahe Sensordaten simu liert werden können.
In einer besonders vorteilhaften Ausgestaltung des erfin dungsgemäßen Trainingsverfahrens wird eine der folgenden Ver fahrensarten genutzt:
- ein maschinelles Lernverfahren,
- ein Deep-Learning-Verfahren .
Ein maschinelles Lernverfahren lässt sich im Gegensatz zu ei nem starren Modell deutlich flexibler und präziser an Szena rien anpassen, die entweder nur unzureichend, mit hohem Auf- wand oder gar nicht durch ein physikalisches Modell be schreibbar sind.
In einer Ausgestaltung des erfindungsgemäßen Trainingsverfah rens wird bei dem Schritt des Trainierens des statistischen Modells eine statistische Komponente jeweils aus den echten Sensordaten extrahiert und es erfolgt das Trainieren eines sequentiellen statistischen Modells auf Basis der statisti schen Komponente, wobei das zeitabhängige Verhalten der sta tistischen Komponente gelernt wird. Diese Vorgehensweise ist besonders effektiv, wenn ein Rauschverhalten oder Artefakt verhalten eines Sensors beschrieben werden soll.
Ein sequentielles statistisches Modell dient dazu, Sequenzen von Ereignissen zu modellieren. Beispiele hierfür sind das Hidden-Markov-Modell oder rekurrente neuronale Netzwerke.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Trainingsverfahrens erfolgt das Extrahieren der statistischen Komponente durch Anwenden einer zeitlichen Ableitung und/oder eines Hochpassfilters auf die echten Sensordaten. Mit Hilfe der beschriebenen Vorgehensweise lassen sich Rauschkomponen ten von Sensordaten separieren.
In einer speziellen Variante des erfindungsgemäßen Trainings verfahrens umfasst das sequentielle statistische Modell die Technik des langen Kurzzeitgedächtnisses (im Englischen als „long short term memory" bezeichnet, abgekürzt LSTM) .
Die Erfindung wird im Folgenden unter Hinweis auf die beige fügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:
FIG 1 eine schematische Darstellung einer Sensordaten-Simu- lationsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung, FIG 2 ein Flussdiagramm, welches ein Verfahren zum Simulieren von Sensordaten gemäß einem Ausführungsbeispiel der Er findung veranschaulicht,
FIG 3 ein Flussdiagramm, welches ein Trainingsverfahren zum Trainieren der in dem in FIG 2 veranschaulichten Ver fahren genutzten Modelle gemäß einem Ausführungsbei spiel der Erfindung veranschaulicht,
FIG 4 ein Flussdiagramm, welches ein Trainingsverfahren gemäß einem Ausführungsbeispiel der Erfindung darstellt.
In FIG 1 ist eine Sensordaten-Simulationsvorrichtung 10 gemäß einem Ausführungsbeispiel der Erfindung schematisch darge stellt. Die Sensordaten-Simulationseinrichtung 10 weist eine Simulationskomponente 10a und eine Trainingsvorrichtung 20 auf. Mit der Simulationskomponente 10a wird eine modellhafte Simulation von Sensordaten KSSD durchgeführt. Dagegen dient die Trainingsvorrichtung 20 dem Erzeugen von auf einem ma schinellen Lernverfahren basierenden Modellen STM, KM auf Ba sis von echten Sensordaten RSD. Die erzeugten Modelle STM,
KM, ein statistisches Modell STM und ein Kombinationsmodell KM, werden zur Erzeugung simulierter Sensordaten SSD2, KSSD für spezifische Sensoren genutzt und werden nach ihrer Erzeu gung durch die Trainingsvorrichtung 20 in einer Sensormodell- Datenbank SMDB bzw. in einer Kombinationsmodelldatenbank KMDB abgespeichert, die jeweils Teil der Simulationskomponente 10a sind .
Die Simulationskomponente 10a umfasst eine Physik-Engine 11, die dazu eingerichtet ist, erste simulierte Sensordaten SSD1 auf Basis eines physikalischen Modells für einen spezifischen Sensor zu erzeugen. Teil der Simulationskomponente 10a ist auch eine statistische Modelleinheit 12, die dazu eingerich tet ist, zweite simulierte Sensordaten SSD2 auf Basis eines trainierten statistischen Modells STM zu erzeugen. Das trai nierte statistische Modell, welches spezifisch für einen be stimmten Sensor ist, ist in der bereits genannten Sensormo delldatenbank SMDB abgespeichert und kann bei Bedarf, d.h., wenn eine Sensordatensimulation für einen spezifischen Sensor durchgeführt werden soll, aus dieser Sensormodelldatenbank SMDB an die statistische Modelleinheit 12 übermittelt werden. Das statistische Modell STM wurde durch Trainieren mit echten Sensordaten RSD eines jeweiligen Sensors gewonnen und gibt das zeitabhängige statistische Verhalten der echten Sensorda ten wieder. Teil der Simulationskomponente 10a ist auch eine Fusionseinheit 13, die mit der Physik-Engine 11 und der sta tistischen Modelleinheit 12 über Kommunikationskanäle verbun den ist und von diesen die ersten simulierten Sensordaten SSD1 und die zweiten simulierten Sensordaten SSD2, welche beispielsweise simulierte Rauschkomponenten oder simulierte Artefakte umfassen, empfängt. Die Fusionseinheit 13 ist dazu eingerichtet, einen Satz von kombinierten simulierten Sensor daten KSSD durch Kombination der ersten simulierten Sensorda ten SSD1 mit den zweiten simulierten Sensordaten SSD2 zu er zeugen. Der Kombinationsvorgang findet unter Anwendung eines durch ein maschinelles Lernverfahren trainierten Kombinati onsmodells KM auf die ersten simulierten Sensordaten SSD1 und die zweiten simulierten Sensordaten SSD2. Das dabei verwende te trainierte Kombinationsmodell KM wurde mit Hilfe der Trai ningsvorrichtung 20 durch Trainieren mit echten Sensordaten RSD und simulierten ersten und zweiten Sensordaten SSD1, SSD2 gewonnen. Die erzeugten kombinierten simulierten Sensordaten KSSD können über eine Ausgangsschnittstelle 14, die ebenfalls Teil der Simulationskomponente 10a ist, ausgegeben werden. Es wird ausdrücklich erwähnt, dass die Fusionseinheit 13 ein op tionales Merkmal darstellt und auch Ausführungsformen ohne eine Fusionseinheit 13 sinnvoll und ausführbar sind.
Die Trainingsvorrichtung 20 weist eine statistische Modell trainingseinheit 22 und eine Kombinations-Modelltrainings- einheit 24 auf. Die Modelltrainingseinheit 22 dient dazu, ein statistisches Modell STM für einen bestimmten Sensor mit ech ten Sensordaten RSD mit Hilfe eines maschinellen Lernverfah rens zu trainieren. Hierzu weist die statistische Modelltrai ningseinheit 22 eine Modellanpassungseinheit 22a und eine Vergleichseinheit 22b auf. Im Rahmen des Trainingsvorgangs erzeugt die Modellanpassungseinheit 22a zunächst ein initial- es Modell STM eines spezifischen Sensors bzw. dessen Verhal tens und übermittelt dieses Modell STM an die bereits erwähn te statistische Modelleinheit 12, welche auf Basis des erhal tenen Modells STM zweite simulierte Sensordaten SSD2 erzeugt, und auch an die Vergleichseinheit 22b.
Die zweiten simulierten Sensordaten SSD2 werden im Rahmen des maschinellen Lernprozesses an die Vergleichseinheit 22b über mittelt, welche einen sogenannten Matching-Prozess durch führt, bei dem mit Rauschkomponenten STK behaftete echte Sen sordaten RSD, welche in der Test-Datenbank TDB abgespeichert sind, mit den erzeugten zweiten simulierten Sensordaten SSD2 abgeglichen werden. Falls bei dem Matching-Prozess ermittelt wurde, dass die erzeugten Sensordaten SSD2 ausreichend mit den echten Sensordaten RSD übereinstimmen bzw. der Matching- Prozess ein positives Ergebnis aufweist, so wird das zuletzt an die Vergleichseinheit 22b übermittelte statistische Modell STM in der Sensormodelldatenbank SMDB abgespeichert. Andern falls werden in Abhängigkeit von dem Ergebnis des Matching- Prozesses Korrekturparameter KD an die Modellanpassungsein heit 22a übermittelt. Die Modellanpassungseinheit 22a erzeugt darauf in Abhängigkeit von den erhaltenen Korrekturparametern KD ein korrigiertes statistisches Modell STM und übermittelt dieses Modell STM wiederum an die statistische Modelleinheit 12 sowie an die Vergleichseinheit 22b. Die statistische Mo delleinheit 12 erzeugt darauf erneut zweite simulierte Sen sordaten SSD2, welche wiederum von der Vergleichseinheit 22b einem Matching-Prozess mit den echten Sensordaten RSD unter zogen werden. Der beschriebene Prozess wird weiter durchge führt, bis das Ergebnis des Matching-Prozesses keine weiteren Korrekturen mehr nötig macht. Anschließend wird das zuletzt genutzte statistische Modell STM in der Sensormodelldatenbank SMDB abgespeichert.
Die Kombinations-Modelltrainingseinheit 24 weist eine Initia lisierungseinheit 24a auf, mit der in Abhängigkeit von der Testdatenbank TDB empfangenen echten Sensordaten RSD für ei nen spezifischen Sensor eine Erzeugung von ersten simulierten Sensordaten SSD1 in der Physik-Engine 11 angewiesen wird und eine Simulation von zweiten simulierten Sensordaten SSD2 in der statistischen Modelleinheit 12 angewiesen wird (Kommuni kationsleitungen zwischen der Initialisierungseinheit 24a und der Physik-Engine 11 sowie der statistischen Modelleinheit 12 sind der Übersichtlichkeit nicht gezeigt) . Weiterhin weist die Kombinations-Modelltrainingseinheit 24 eine Modellanpas sungseinheit 24b auf, die auf Basis von echten Sensordaten RSD, welche sie von der Testdatenbank TDB erhält, ein initi ales Kombinationsmodell KM an die Kombinationseinheit 13 übermittelt. Die Kombinationseinheit 13 kombiniert die zu Trainingszwecken erzeugten ersten und zweiten simulierten Sensordaten SSD1, SSD2 miteinander und übermittelt die kombi nierten simulierten Sensordaten KSSD an eine Vergleichsein heit 24c, die ebenfalls Teil der Kombinations-Modelltrai- ningseinheit 24 ist.
Die kombinierten simulierten Sensordaten KSSD werden im Rah men des maschinellen Lernprozesses an die Vergleichseinheit 24c übermittelt, welche einen sogenannten Matching-Prozess durchführt, bei dem echte Sensordaten RSD, welche in der Test-Datenbank TDB abgespeichert sind, mit den erzeugten kom binierten simulierten Sensordaten KSSD abgeglichen werden. Falls bei dem Matching-Prozess ermittelt wurde, dass die er zeugten kombinierten simulierten Sensordaten KSSD ausreichend mit den echten Sensordaten RSD übereinstimmen bzw. der
Matching-Prozess ein positives Ergebnis aufweist, so wird das zuletzt an die Vergleichseinheit 24c übermittelte statisti sche Modell STM in der bereits erwähnten Kombinationsmodell datenbank KMDB abgespeichert.
Andernfalls werden in Abhängigkeit von dem Ergebnis des
Matching-Prozesses Korrekturparameter KD an die Modellanpas sungseinheit 24b übermittelt. Die Modellanpassungseinheit 24b erzeugt darauf in Abhängigkeit von den erhaltenen Korrektur parametern KD ein korrigiertes Kombinationsmodell KM und übermittelt dieses Modell KM wiederum an die Kombinationsmo delleinheit 13 sowie an die Vergleichseinheit 24c. Die Kombi- nationsmodelleinheit 13 erzeugt darauf erneut kombinierte si mulierte Sensordaten KSSD, welche wiederum von der Ver gleichseinheit 24b einem Matching-Prozess mit den echten Sen sordaten RSD unterzogen werden. Der beschriebene Prozess wird weiter durchgeführt, bis das Ergebnis des Matching-Prozesses keine weiteren Korrekturen mehr nötig macht. Anschließend wird das zuletzt genutzte Kombinationsmodell KM in der Kombi nationsmodelldatenbank KMDB abgespeichert, in der es für Si mulationen zur Verfügung steht.
In FIG 2 ist ein Flussdiagramm 200 gezeigt, welches ein Ver fahren zum Simulieren von Sensordaten gemäß einem Ausfüh rungsbeispiel der Erfindung veranschaulicht.
Bei dem Schritt 2.1 werden mit Hilfe einer Physik-Engine für definierte Sensor-Parameter und Umwelt-Parameter eine Viel zahl von ersten simulierten Sensordaten SSD1 erzeugt. Zusätz lich werden bei dem Schritt 2. II von einem statistischen Mo dell STM, welches durch ein maschinelles Lernverfahren trai niert wurde, eine Vielzahl von zweiten simulierten Sensorda ten SSD2 für dieselben definierten Sensor-Parameter und Um welt-Parameter erzeugt, die auch bei dem Schritt 2.1 verwen det wurden. Das statistische Modell STM wurde durch maschi nelles Lernen mit echten Sensordaten RSD bzw. auf diesen ba sierenden statistischen Komponenten gewonnen. Die zweiten si mulierten Sensordaten SSD2 können zum Beispiel eine statisti sche Komponente umfassen, wie zum Beispiel Rauscheffekte oder Artefakte, welche durch Umwelteinflüsse oder bauartbedingt auftreten können. Anstatt vollständiger zweiter simulierter Sensordaten SSD2 können auch nur die diesen zugeordneten sta tistischen Komponenten erzeugt werden.
Schließlich werden bei dem Schritt 2. III die ersten und zwei ten simulierten Sensordaten SSD1, SSD2 dazu genutzt, einen Satz von kombinierten simulierten Sensordaten KSSD zu erzeu gen. Der Satz von kombinierten simulierten Sensordaten KSSD wird durch Kombination der ersten simulierten Sensordaten SSD1 mit den zweiten simulierten Sensordaten SSD2 erreicht. Die Kombination erfolgt durch Anwenden eines durch maschinel les Lernen trainierten Kombinationsmodells KM, welches dazu trainiert wurde, die ersten und zweiten Sensordaten SSD1,
SSD2 derart miteinander zu kombinieren, dass die bei der Kom bination erzeugten kombinierten simulierten Sensordaten KSSD, möglichst exakt den für das Training genutzten echten Sensor daten RSD entsprechen. Es werden also maschinelle Lernverfah ren sowohl für das Erzeugen statistischer Komponenten von si mulierten Sensordaten genutzt als auch zusätzlich für die Kombination dieser simulierten statistischen Komponenten mit simulierten Sensordaten, welche durch ein physikalisches Mo dell erzeugt wurden. Durch die Berücksichtigung der statisti schen Daten wird eine exaktere und naturgetreuere Simulation von Sensordaten erreicht.
In FIG 3 ist ein Flussdiagramm 300 gezeigt, welches ein Trai ningsverfahren zum Trainieren einer Sensordaten-Simulations- vorrichtung gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Bei dem in FIG 3 veranschaulichten Verfahren werden bei dem Schritt 3.1 zunächst mit einem physikalischen Modell PM, welches durch eine Physik-Engine realisiert wird, erste statistische Sensordaten SSD1 für bestimmte definierte Umwelt-Parameter und Sensor-Parameter erzeugt, wobei die ent sprechenden Parameter bzw. deren Werte variiert werden, um simulierte Sensorwerte für einen entsprechend breiten Parame terbereich zu erhalten. Der Parameterbereich hängt unter an derem von den vorhandenen echten Sensordaten RSD ab bzw. von dem diesen zugeordneten Parameterwertebereich.
Bei dem Schritt 3. II wird ein dynamisches statistisches Mo dell STM durch maschinelles Lernen MLM anhand von echten Sen sordaten RSD trainiert. Die echten Sensordaten RSD können zum Beispiel aus einer Testdatenbank TDB (siehe FIG 1) stammen. Die echten Sensordaten RSD können beispielsweise statisti sche, d.h. über die Zeit statistisch variierende Komponenten aufweisen, die zum Trainieren des dynamischen statistischen Modells STM genutzt werden. Die statistischen Komponenten können zum Beispiel das Rauschverhalten der simulierten Sen sordaten betreffen.
Bei dem Schritt 3. III werden anschließend mit Hilfe des trai nierten statistischen Modells STM zweite simulierte Sensorda ten SSD2 erzeugt. Die zweiten simulierten Sensordaten SSD2 umfassen die beschriebene statistische Komponente von Sensor daten .
Bei dem Schritt 3. IV erfolgt dann ein Trainieren eines Kombi nationsmodells KM. Das Kombinationsmodell KM soll dazu die nen, die über das physikalische Modell simulierten ersten Sensordaten SSD1 und die mit dem statistischen Modell STM si mulierten zweiten Sensordaten SSD2 geeignet zu kombinieren, d.h. derart zu kombinieren, dass die durch das Kombinations modell KM erzeugten kombinierten Sensordaten KSSD den für das Training genutzten echten Sensordaten RSD entsprechen, und zwar für die diesen zugeordneten spezifischen Parameterwerte.
In FIG 4 ist ein Flussdiagramm 400 gezeigt, welches ein Trai ningsverfahren zum Trainieren von Modellen zum Simulieren von Sensordaten gemäß einem zweiten Ausführungsbeispiel der Er findung veranschaulicht. Bei dem Schritt 4.1 werden ebenso wie in dem in FIG 3 veranschaulichten Ausführungsbeispiel erste simulierte Sensordaten SSD1 mit Hilfe einer Physik- Engine bzw. eines von der Physik-Engine realisierten physika lischen Modells PM erzeugt. Anders als bei dem in FIG 3 ver anschaulichten Ausführungsbeispiel werden bei dem Schritt 4. II aus den echten Sensordaten RSD Rauschkomponenten STK ex trahiert. Das Extrahieren dieser Rauschkomponenten STK er folgt in dem in FIG 4 gezeigten Ausführungsbeispiel durch An wendung eines Hochpassfilters auf die dem Trainingsvorgang zugrunde gelegten echten Sensordaten RSD. Die Rauschkomponen ten STK werden dann bei dem Schritt 4. III mit Hilfe eines se quentiellen statistischen Modells prozessiert, in diesem Fall ist es ein als „Kurzzeitlangzeitgedächtnis" KZLZG bezeichne- tes Modell, mit dem das Rauschverhalten der Sensordaten RSD in Abhängigkeit von der Zeit maschinell gelernt wird. Nachdem bei dem Schritt 4. III das „Kurzzeitlangzeitgedächtnis" KZLZG mit Rauschkomponenten STK ausreichend trainiert wurde, kann es dann bei dem Schritt 4. IV dazu genutzt werden, simulierte Rauschkomponenten SSTK, als Zeitserien zu erzeugen. Diese si mulierten Rauschkomponenten SSTK werden anschließend bei dem Schritt 4.V gemeinsam mit den ersten simulierten Sensordaten SSD1 sowie den echten Sensordaten RSD dazu genutzt, ein Kom binationsmodell KM maschinell zu lernen. Das Kombinationsmo dell KM soll dazu dienen, die über das physikalische Modell PM simulierten ersten Sensordaten SSD1 und die mit dem als „Kurzzeitlangzeitgedächtnis" KZLZG bezeichneten statistischen Modell simulierten Rauschkomponenten SSTK geeignet zu kombi nieren, d.h. derart zu kombinieren, dass die durch das Kombi nationsmodell KM erzeugten kombinierten Sensordaten KSSD den für das Training genutzten echten Sensordaten RSD für die diesen zugeordneten Parameterwerte entsprechen.
Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen le diglich um bevorzugte Ausführungsbeispiele der Erfindung han delt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständig keit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit" nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.

Claims

Patentansprüche
1. Sensordaten-Simulationsvorrichtung (10), aufweisend:
- eine Physik-Engine (41) zum Erzeugen von ersten simulierten Sensordaten (SSD1) auf Basis eines physikalischen Modells (PM) ,
- eine statistische Modelleinheit (42) zum Erzeugen von zwei ten simulierten Sensordaten (SSD2, SSTK) auf Basis eines trainierten statistischen Modells (STM) , welches durch Trainieren mit echten Sensordaten (RSD) gewonnen wurde und dazu eingerichtet ist, ein zeitabhängiges statistisches Verhalten der echten Sensordaten (RSD) wiederzugeben.
2. Sensordaten-Simulationsvorrichtung (10) nach Anspruch 1, ferner ausweisend eine Fusionseinheit (43) zum Erzeugen eines Satzes von kombinierten simulierten Sensordaten (KSSD) durch Kombination der ersten simulierten Sensordaten (SSD1) mit den zweiten simulierten Sensordaten (SSD2, SSTK) unter Anwendung eines trainierten Kombinationsmodells (KM) auf die ersten si mulierten Sensordaten (SSD1) und die zweiten simulierten Sen sordaten (SSD2, SSTK), wobei das trainierte Kombinationsmo dell (KM) durch Trainieren mit echten Sensordaten (RSD) und simulierten ersten und zweiten Sensordaten (SSD1, SSD2, SSTK) gewonnen wurde .
3. Sensordaten-Simulationsvorrichtung nach Anspruch 1 oder 2, wobei das trainierte statistische Modell (STM) das dynamische Verhaltens eines Sensors wiedergibt, dessen echte Sensordaten (RSD) dazu genutzt wurden, das statistische Modell (STM) zu trainieren .
4. Sensordaten-Simulationsvorrichtung nach einem der vorste henden Ansprüche, wobei das statistische Modell (STM) das Rauschverhalten eines Sensors und/oder von dem Sensor erzeug te Artefakte simuliert, dessen echte Sensordaten (RSD) dazu genutzt wurden, das statistische Modell (STM) zu trainieren.
5. Sensordaten-Simulationsvorrichtung nach einem der vorste henden Ansprüche, wobei das physikalische Modell (PM) dazu eingerichtet ist, bei dem Trainieren des statistischen Mo dells (STM) gesammelte Metadaten, welche die Umweltbedingun gen bei der Erzeugung der echten Sensordaten (RSD) betreffen, bei dem Erzeugen der ersten simulierten Sensordaten (SSD1) zu berücksichtigen .
6. Sensordaten-Simulationsvorrichtung nach einem der vorste henden Ansprüche, wobei das trainierte statistische Modell (STM) durch Trainieren von echten Sensordaten (RSD) , denen unterschiedliche Werte von Metadaten zugeordnet sind, erzeugt wurde .
7. Sensordaten-Simulationsvorrichtung nach Anspruch 6, wobei die Metadaten mindestens eine der folgenden Datenarten umfas sen :
- Wetterdaten,
- Tageszeit,
- physikalische Randbedingungen.
8. Trainingsvorrichtung (20), aufweisend:
- eine erste Schnittstelle zum Empfangen von zweiten simu lierten Sensordaten (SSD2, SSTK) , welche mit einem zu trai nierenden statistischen Modell (STM) erzeugt werden,
- eine Modelltrainingseinheit (22) zum Trainieren des statis tischen Modells (STM) mit echten Sensordaten (RSD) und den über die erste Schnittstelle empfangenen zweiten simulier ten Sensordaten (SSD2, SSTK) .
9. Trainingsvorrichtung (20) nach Anspruch 8, ferner aufwei send :
- eine zweite Schnittstelle zum Empfangen von kombinierten Sensordaten (KSSD) ,
- eine dritte Schnittstelle zu einer Physik-Engine (41) zum Erzeugen von ersten simulierten Sensordaten (SSD1) zum Trainieren eines Kombinationsmodells (KM) , - eine Kombinations-Modelltrainingseinheit (24) zum Trainie ren des Kombinationsmodells (KM) auf Basis von echten Sen sordaten (RSD) und der simulierten ersten und zweiten Sen sordaten (SSD1, SSD2, SSTK) .
10. Sensordaten-Simulationsvorrichtung (10) nach einem der Ansprüche 1 bis 7, aufweisend eine Trainingsvorrichtung (20) nach Anspruch 8 oder 9.
11. Verfahren zum Simulieren von Sensordaten (KSSD) unter An wendung der Sensordaten-Simulationsvorrichtung (10) nach ei nem der Ansprüche 1 bis 7 oder 10, aufweisend die Schritte:
- Erzeugen von ersten simulierten Sensordaten (SSD1) auf Ba sis des physikalischen Modells (PM) ,
- Erzeugen von zweiten simulierten Sensordaten (SSD2, SSTK) auf Basis des trainierten statistischen Modells (STM) .
12. Verfahren nach Anspruch 11, wobei ein Satz von kombinier ten simulierten Sensordaten (KSSD) durch Kombination der ers ten simulierten Sensordaten (SSD1) mit den zweiten simulier ten Sensordaten (SSD2, SSTK) unter Anwendung des trainierten Kombinationsmodells (KM) auf die ersten simulierten Sensorda ten (SSD1) und die zweiten simulierten Sensordaten (SSD2, SSTK) erzeugt wird.
13. Trainingsverfahren zum Trainieren einer Sensordaten- Simulationsvorrichtung (10) nach einem der Ansprüche 1 bis 7 oder 10, aufweisend die Schritte:
- Erzeugen von ersten simulierten Sensordaten (SSD1) auf Ba sis des physikalischen Modells (PM) ,
- Trainieren des statistischen Modells (STM) mit echten Sen sordaten (RSD) ,
- Erzeugen von zweiten simulierten Sensordaten (SSD2, SSTK) mit dem trainierten statistischen Modell (STM) .
14. Verfahren nach Anspruch 13, wobei
ein Kombinationsmodell (KM) mit den echten Sensordaten (RSD) und den simulierten ersten und zweiten Sensordaten (SSD1, SSD2, SSTK) trainiert wird.
15. Verfahren nach Anspruch 13 oder 14, wobei als Trainings verfahren eine der folgenden Verfahrensarten genutzt wird:
- ein maschinelles Lernverfahren,
- ein Deep-Learning-Verfahren .
16. Verfahren nach einem der Ansprüche 11 bis 15, wobei bei dem Schritt des Trainierens des statistischen Modells (STM)
- eine statistische Komponente (STK) jeweils aus den echten Sensordaten (RSD) extrahiert wird,
- das Trainieren eines sequentiellen statistischen Modells (SSTM) auf Basis der statistischen Komponente (STK) er folgt, wobei das zeitabhängige Verhalten der statistischen Komponente (STK) gelernt wird.
17. Verfahren nach Anspruch 16, wobei das Extrahieren der statistischen Komponente (STK) durch Anwenden einer zeitli chen Ableitung und/oder eines Hochpassfilters auf die echten Sensordaten (RSD) erfolgt.
18. Verfahren nach Anspruch 16 oder 17, wobei das sequentiel le statistische Modell (SSTM) die Technik des langen Kurz zeitgedächtnisses (KZLZG) umfasst.
19. Computerprogrammprodukt mit einem Computerprogramm, wel ches direkt in eine Speichereinheit einer Rechnereinheit lad bar ist, mit Programmabschnitten, um alle Schritte eines Ver fahrens nach einem der Ansprüche 11 bis 18 auszuführen, wenn das Computerprogramm in der Rechnereinheit ausgeführt wird.
20. Computerlesbares Medium, auf welchem von einer Rechner einheit ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens nach einem der Ansprüche 11 bis 18 auszuführen, wenn die Programmabschnitte von der Rechner- einheit ausgeführt werden.
EP19720390.4A 2018-04-13 2019-04-08 Simulieren von statistisch modellierten sensordaten Not-in-force EP3714337B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018205660.9A DE102018205660A1 (de) 2018-04-13 2018-04-13 Simulieren von statistisch modellierten Sensordaten
PCT/EP2019/058785 WO2019197324A1 (de) 2018-04-13 2019-04-08 Simulieren von statistisch modellierten sensordaten

Publications (2)

Publication Number Publication Date
EP3714337A1 true EP3714337A1 (de) 2020-09-30
EP3714337B1 EP3714337B1 (de) 2021-10-13

Family

ID=66334361

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19720390.4A Not-in-force EP3714337B1 (de) 2018-04-13 2019-04-08 Simulieren von statistisch modellierten sensordaten

Country Status (3)

Country Link
EP (1) EP3714337B1 (de)
DE (1) DE102018205660A1 (de)
WO (1) WO2019197324A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021194369A1 (en) * 2020-03-27 2021-09-30 Siemens Schweiz Ag Computerized device and computer-implemented method for controlling a hvac system
DE102022002242A1 (de) 2022-06-21 2023-12-21 Mercedes-Benz Group AG Virtueller Sensor und Verfahren zum Betrieb eines virtuellen Sensors

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE326717T1 (de) * 2002-09-26 2006-06-15 Siemens Ag Vorrichtung und verfahren zur überwachung einer mehrere systeme umfassenden technischen anlage, insbesondere einer kraftwerksanlage
ATE445870T1 (de) * 2005-12-05 2009-10-15 Siemens Corp Res Inc Verwendung von sequentiellem clustering zur instanzenauswahl bei der maschinenzustandsüberwachung
US7505949B2 (en) * 2006-01-31 2009-03-17 Caterpillar Inc. Process model error correction method and system
US8095479B2 (en) * 2006-02-28 2012-01-10 Hitachi, Ltd. Plant control apparatus and method having functions of determining appropriate learning constraint conditions
DE102007059582B4 (de) * 2007-11-15 2010-06-10 Outotec Oyj Verfahren und Vorrichtung zum Training des Bedienpersonals einer prozesstechnischen Anlage
US10466142B2 (en) * 2016-07-13 2019-11-05 Hitachi, Ltd. Equipment control based on failure determination
JP6562883B2 (ja) * 2016-09-20 2019-08-21 株式会社東芝 特性値推定装置および特性値推定方法

Also Published As

Publication number Publication date
WO2019197324A1 (de) 2019-10-17
DE102018205660A1 (de) 2019-10-17
EP3714337B1 (de) 2021-10-13

Similar Documents

Publication Publication Date Title
AT519491A1 (de) Verfahren zur Optimierung eines Prozessoptimierungssystems und Verfahren zum simulieren eines Formgebungsprozesses
EP1623284B1 (de) Verfahren zur optimierung von fahrzeugen und von motoren zum antrieb solcher fahrzeuge
WO2020187563A1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt, kraftfahrzeug sowie system
DE102005026040A1 (de) Parametrierung eines Simulations-Arbeitsmodells
DE10231675B4 (de) Simulationssystem für die Maschinensimulation und Datenausgabe von Steuerdaten für ein Automatisierungssystem
WO2021058223A1 (de) Verfahren zur effizienten, simulativen applikation automatisierter fahrfunktionen
DE102019134053A1 (de) Verfahren zur kontinuierlichen Absicherung im Fahrversuch applizierter automatisierter Fahrfunktionen
DE102020001541A1 (de) Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne
EP3499470A1 (de) Verfahren zur zustandsbasierten instandhaltung einer zugangsvorrichtung
EP3714337A1 (de) Simulieren von statistisch modellierten sensordaten
EP3979009A1 (de) Erzeugen eines vereinfachten modells für xil-systeme
DE10046742A1 (de) Vorrichtung und Verfahren für ein Fahrzeugentwurfssytem
EP2517129B1 (de) Verfahren und prozessrechner zur berechnung der zustandsgrössen eines hybriden differential-algebraischen prozessmodells
DE102020213016A1 (de) Computer-implementiertes Verfahren und Vorrichtung zum Ermitteln einer Faserorientierung eines faserverstärkten Spritzgießbauteils
DE102020121937A1 (de) Verfahren zur computerimplementierten Simulation einer virtuellen Hand
DE102021208472B3 (de) Computerimplementiertes Verfahren zum Trainieren eines Machine-Learning-Modells für ein Fahrzeug oder einen Roboter
DE102020203292A1 (de) Verfahren und Vorrichtung zum Durchführen einer Crashsimulation
DE102019114049A1 (de) Verfahren zur Validierung eines Fahrerassistenzsystems mithilfe von weiteren generierten Testeingangsdatensätzen
EP3521949A1 (de) Vorrichtung zum simulieren einer gesteuerten maschine oder anlage sowie verfahren
EP3553679A1 (de) Verfahren zur computergestützten fehlerdiagnose für ein technisches system
DE10325513B4 (de) Verfahren und Vorrichtung zum Erstellen eines Verhaltensaspekts einer Schaltung zur formalen Verifikation
WO2019057284A1 (de) Automatisierbares generieren von fähigkeiten von produktionseinheiten
DE102019132624A1 (de) Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Erstellen eines Motion Cueing Algorithmus
DE102019216676A1 (de) Prognose eines Messwerts einer Messgröße eines technischen Systems
EP2450814A2 (de) Verfahren zur Erzeugung eines Anregungsprofils und Verfahren zur Bereitstellung von Kräften und Momenten zur Anregung von Kraftfahrzeugen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200623

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
INTG Intention to grant announced

Effective date: 20210625

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502019002515

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1438618

Country of ref document: AT

Kind code of ref document: T

Effective date: 20211115

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20211013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220213

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220214

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220113

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220114

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502019002515

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20220714

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220408

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220430

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230421

Year of fee payment: 5

Ref country code: DE

Payment date: 20230619

Year of fee payment: 5

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20230408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20190408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502019002515

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20241105

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240430

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20241105

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1438618

Country of ref document: AT

Kind code of ref document: T

Effective date: 20240408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240408

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20260410

Year of fee payment: 5