DE102016206627A1 - Method and device for measuring a system to be tested - Google Patents

Method and device for measuring a system to be tested Download PDF

Info

Publication number
DE102016206627A1
DE102016206627A1 DE102016206627.7A DE102016206627A DE102016206627A1 DE 102016206627 A1 DE102016206627 A1 DE 102016206627A1 DE 102016206627 A DE102016206627 A DE 102016206627A DE 102016206627 A1 DE102016206627 A1 DE 102016206627A1
Authority
DE
Germany
Prior art keywords
measuring
point
points
measurement
technical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016206627.7A
Other languages
German (de)
Inventor
Benjamin Hartmann
Mark Schillinger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102016206627.7A priority Critical patent/DE102016206627A1/en
Publication of DE102016206627A1 publication Critical patent/DE102016206627A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M15/00Testing of engines
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Testing Of Engines (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Vermessen eines technischen Systems (2), insbesondere eines Verbrennungsmotors für ein Kraftfahrzeug, für die Erstellung eines Systemmodells des technischen Systems (2), wobei das Vermessen mit einer Anzahl von Messpunkten (X) durchgeführt wird, um jeweils einen Wert mindestens einer Ausgangsgröße (y) zu erhalten, mit folgenden Schritten: – Bestimmen (S2) von Konfidenzgrößen für eine Menge von bereitgestellten Messpunkten anhand eines vorgegebenen Klassifikationsmodells, wobei die Konfidenzgröße an einem Messpunkt eine modellierte Zulässigkeit eines Betriebspunktes angibt, der sich durch das Betreiben des technischen Systems an dem Messpunkt ergibt; – Auswählen (S4) eines Messpunkts aus der Menge von Messpunkten, wobei der ausgewählte Messpunkt eine zugeordnete Konfidenzgröße aufweist, die eine vorgegebene Nähe zu einer Betriebsgrenze angibt, die eine Grenze zwischen zulässigen und nicht-zulässigen Betriebszuständen angibt; – Durchführen (S5) eines Vermessens des technischen Systems (2) an dem ausgewählten Messpunkt, um die mindestens eine Ausgangsgrößen zu bestimmen; und – Aktualisieren (S6) des Klassifikationsmodells mit dem Messpunkt und einer von der mindestens einen Ausgangsgröße abhängigen Angabe, die angibt, ob der durch die Vermessung des ausgewählten Messpunkts eingestellte Betriebspunkt des technischen Systems zulässig ist.The invention relates to a method for measuring a technical system (2), in particular an internal combustion engine for a motor vehicle, for the creation of a system model of the technical system (2), wherein the surveying with a number of measuring points (X) is performed, one at a time Obtain value of at least one output variable (y), comprising the following steps: - determining (S2) confidence quantities for a set of provided measurement points based on a given classification model, wherein the confidence quantity at a measurement point indicates a modeled allowance of an operating point that is due to the operation of the technical system at the measuring point; - selecting (S4) a measuring point from the set of measuring points, the selected measuring point having an associated confidence quantity indicating a predetermined proximity to an operating limit indicating a limit between permissible and non-permissible operating states; - performing (S5) a survey of the technical system (2) at the selected measurement point to determine the at least one output variable; and - updating (S6) the classification model with the measuring point and an indication dependent on the at least one output variable, which indicates whether the operating point of the technical system set by the measurement of the selected measuring point is admissible.

Description

Technisches GebietTechnical area

Die Erfindung betrifft Testverfahren, und insbesondere Verfahren zum Bereitstellen von Messpunkten, mit denen ein zu testendes technisches System vermessen werden kann oder mit denen geeignete Systemmodelle bereitgestellt werden können. Insbesondere betrifft die vorliegende Erfindung Verfahren zum Ermitteln von Messpunkten in der Nähe von Systemgrenzen.The invention relates to test methods, and in particular to methods for providing measuring points with which a technical system to be tested can be measured or with which suitable system models can be provided. In particular, the present invention relates to methods for determining measurement points near system boundaries.

Stand der TechnikState of the art

Beim Vermessen eines technischen Systems mit Messpunkten ist es notwendig, die Messpunkte entsprechend so anzulegen, dass möglichst viele Kombinationen von Werten von Eingangsgrößen, insbesondere für verschiedene Anregungsmodi, d. h. einschließlich Kombinationen von Gradienten der Eingangsgrößen, vermessen werden, so dass man eine raum- und dynamikfüllende Belegung des Eingangsdatenraums mit Messpunkten erhält. Die während der Vermessung zu den Messpunkten erhaltenen Werte der Ausgangsgröße können als Trainingsdaten zur Erstellung eines datenbasierten nicht-parametrischen Funktionsmodells dienen.When measuring a technical system with measuring points, it is necessary to apply the measuring points in such a way that as many combinations of values of input variables as possible, in particular for different excitation modes, ie. H. including combinations of gradients of the input variables, so that a spatially and dynamically filling assignment of the input data space with measuring points is obtained. The values of the output obtained during the measurement at the measurement points can serve as training data for the creation of a data-based non-parametric function model.

Für das zu modellierende technische System, z. B. einen Otto-Motor, ist es besonders wichtig, dass die physikalischen Beschränkungen des technischen Systems bei der Vermessung, beispielsweise auf einem Motorprüfstand, nicht verletzt werden, um eine Gefährdung bzw. eine Beschädigung des technischen Systems zu vermeiden. Dabei überwacht die Messtechnik während der Vermessung das technische System dahingehend, dass systemgefährdende Kombinationen von Werten der Eingangsgrößen vor einer Beschädigung der Einheit erkannt werden.For the technical system to be modeled, for. As an Otto engine, it is particularly important that the physical limitations of the technical system in the measurement, for example on an engine test stand, are not violated in order to avoid a risk or damage to the technical system. During the measurement, the measuring technology monitors the technical system in such a way that combinations of values of the input variables that are hazardous to the system are detected before the unit is damaged.

Die Information über den Verlauf einer Betriebsgrenze, die den Übergang von zulässigen Wertekombinationen der Eingangsgrößen (Werte der Eingangsgrößen innerhalb eines zulässigen Betriebsbereichs) zu systemgefährdenden Wertekombinationen der Eingangsgrößen (Werte der Eingangsgrößen außerhalb eines zulässigen Betriebsbereichs) im Eingangsdatenraum darstellt, ergibt sich bei bisherigen Verfahren zur Vermessung von technischen Systemen automatisch. Häufig besteht in der Praxis jedoch der Wunsch, eine spezifische Menge von Messpunkten in der Nähe der Betriebsgrenze zu erhalten. Im Allgemeinen ist es sinnvoll, den Verlauf der Betriebsgrenze möglichst genau zu kennen. Die Messpunkte an der Betriebsgrenze ermöglichen es, diese Grenze zu verifizieren und die Genauigkeit eines entsprechenden Klassifikationsmodells für die Auswahl von Messpunkten als innerhalb oder außerhalb des zulässigen Betriebsbereichs liegend zu erhöhen. Mithilfe von so ausgewählten Messpunkten kann eine Modellierung des technischen Systems und die Parametrierung von Sollwert-Kennfeldern in verbesserter Weise vorgenommen werden, da die optimalen Betriebspunkte oft nahe an der Grenze des zulässigen Betriebsbereichs liegen.The information on the course of an operating limit, which represents the transition from permissible value combinations of the input variables (values of the input variables within an admissible operating range) to system-hazardous value combinations of the input variables (values of the input variables outside a permissible operating range) in the input data space, results from previous methods for measuring of technical systems automatically. Often, however, there is a desire in practice to obtain a specific set of measurement points near the operating limit. In general, it makes sense to know the course of the operating limit as accurately as possible. The measuring points at the operating limit make it possible to verify this limit and to increase the accuracy of a corresponding classification model for the selection of measuring points as lying within or outside the permissible operating range. With the help of selected measuring points, a modeling of the technical system and the parameterization of setpoint characteristic maps can be carried out in an improved manner, since the optimal operating points are often close to the limit of the permissible operating range.

Es ist daher wünschenswert, eine Möglichkeit bereitzustellen, um eine Vermessung eines technischen Systems ausschließlich mit Messpunkten in der Nähe eines geschätzten Grenzverlaufs der Betriebsgrenze durchzuführen.It is therefore desirable to provide a way to perform a survey of a technical system exclusively with measurement points in the vicinity of an estimated limit of the operating limit.

Offenbarung der ErfindungDisclosure of the invention

Erfindungsgemäß sind ein Verfahren zum Vermessen eines technischen Systems mit einer Menge von Messpunkten gemäß Anspruch 1 sowie die entsprechende Vorrichtung gemäß dem nebengeordneten Anspruch vorgesehen.According to the invention, a method for measuring a technical system with a set of measuring points according to claim 1 and the corresponding device according to the independent claim are provided.

Weitere Ausgestaltungen sind in den abhängigen Ansprüchen vorgesehen.Further embodiments are provided in the dependent claims.

Gemäß eines ersten Aspekts ist ein Verfahren zur Vermessung eines technischen Systems, insbesondere eines Verbrennungsmotors für ein Kraftfahrzeug, für die Erstellung eines Systemmodells des technischen Systems vorgesehen, wobei das Vermessen mit einer Anzahl von Messpunkten durchgeführt wird, um jeweils einen Wert mindestens einer Ausgangsgröße zu erhalten. Das Verfahren umfasst die folgenden Schritte:

  • – Bestimmen von Konfidenzgrößen für eine Menge von bereitgestellten Messpunkten anhand eines vorgegebenen Klassifikationsmodells, wobei die Konfidenzgröße an einem Messpunkt eine modellierte Zulässigkeit eines Betriebspunktes angibt, der sich durch das Betreiben des technischen Systems an dem Messpunkt ergibt;
  • – Auswählen eines Messpunkts aus der Menge von Messpunkten, wobei der ausgewählte Messpunkt eine zugeordnete Konfidenzgröße aufweist, die eine vorgegebene Nähe zu einer Betriebsgrenze angibt, die eine Grenze zwischen zulässigen und nicht-zulässigen Betriebszuständen angibt;
  • – Durchführen eines Vermessens des technischen Systems an dem ausgewählten Messpunkt, um die mindestens eine Ausgangsgröße zu bestimmen; und
  • – Aktualisieren des Klassifikationsmodells mit dem Messpunkt und einer von der mindestens einen Ausgangsgröße abhängigen Angabe, die angibt, ob der durch die Vermessung des ausgewählten Messpunkts eingestellte Betriebspunkt des technischen Systems zulässig ist.
According to a first aspect, a method for measuring a technical system, in particular an internal combustion engine for a motor vehicle, is provided for the creation of a system model of the technical system, wherein the surveying is carried out with a number of measuring points in order to obtain in each case a value of at least one output variable , The method comprises the following steps:
  • Determining confidence quantities for a set of provided measurement points based on a predetermined classification model, wherein the confidence quantity at a measurement point indicates a modeled permissibility of an operating point resulting from the operation of the technical system at the measurement point;
  • Selecting a measurement point from the set of measurement points, the selected measurement point having an associated confidence quantity indicative of a predetermined proximity to an operational boundary indicating a boundary between allowed and non-permitted operating conditions;
  • - performing a survey of the technical system at the selected measurement point to determine the at least one output variable; and
  • Updating the classification model with the measuring point and an indication dependent on the at least one output variable, which indicates whether the operating point of the technical system set by the measurement of the selected measuring point is admissible.

Eine Idee des obigen Verfahrens besteht darin, Messpunkte für ein technisches System bereitzustellen, die auf oder nahe an einer Betriebsgrenze zwischen zulässigen und nicht-zulässigen Betriebspunkten des technischen Systems liegen. Dies wird dadurch erreicht, dass nach dem Auffinden eines Messpunktes nahe an der Betriebsgrenze weitere Messpunkte aus einer bereitgestellten Menge von Messpunkten danach ausgewählt werden, dass diese von den vermessenen Messpunkten weitestmöglich entfernt und in einem Bereich um einen modellierten Verlauf der Betriebsgrenze bzw. in der Nähe der Betriebsgrenze liegen. Somit können Messpunkte bereitgestellt und vermessen werden, die an der Betriebsgrenze bzw. in einem betriebsgrenzennahen Bereich entlanglaufen.An idea of the above method is measuring points for a technical system to be provided at or near an operating limit between allowable and non-permissible operating points of the technical system. This is achieved in that after finding a measuring point close to the operating limit, further measuring points are selected from a set of measuring points that are provided as far as possible from the measured measuring points and within a range around a modeled course of the operating limit or in the vicinity the operating limit lie. Thus, measuring points can be provided and measured, which run along the operating boundary or in an area near the operating boundary.

Dass sich ein Messpunkt nahe an der Betriebsgrenze befindet, kann anhand einer Konfidenzgröße festgestellt werden. Die Konfidenzgröße wird entsprechend einem mit den bisher vermessenen Messpunkten erstellten Klassifikationsmodell als eine Modellvorhersage oder als eine Prognose ermittelt und gibt eine Sicherheit des Betriebs des technischen Systems bei Anlegen des entsprechenden Messpunkts an das technische System oder einen Grad der Zulässigkeit des sich durch die Messpunkte einstellenden Betriebspunkts des technischen Systems an. Eine Schätzung, in wie weit sich ein Messpunkt in der Nähe der Betriebsgrenze befindet, kann anhand der Konfidenzgröße vorgenommen werden, z. B. indem überprüft wird, ob die Konfidenzgröße innerhalb eines vorbestimmten Wertebereichs liegt.The fact that a measuring point is close to the operating limit can be determined on the basis of a confidence quantity. The confidence quantity is determined as a model prediction or as a prediction according to a classification model created with the previously measured measurement points and gives a certainty of the operation of the technical system when the corresponding measurement point is applied to the technical system or a degree of admissibility of the operating point set by the measurement points of the technical system. An estimate of how close a measuring point is to the operating limit can be made on the basis of the confidence level, eg. By checking whether the confidence quantity lies within a predetermined value range.

Als Ergebnis stellt das obige Verfahren Messpunkte und zugehörige Ausgangswerte einer oder mehrerer Ausgangsgrößen entlang der Betriebsgrenze bereit, wodurch man den Grenzverlauf möglichst genau kennt und den tatsächlichen Verlauf der Betriebsgrenze mit weniger Messpunkten schneller und genauer modelliert werden kann. Mithilfe der so vermessenen Messpunkte können Sollwertkennfelder parametriert werden, da optimale Betriebspunkte oft nahe an der Betriebsgrenze liegen.As a result, the above method provides measurement points and associated output values of one or more output variables along the operating boundary, whereby the boundary curve is known as accurately as possible and the actual course of the operating boundary can be modeled faster and more accurately with fewer measurement points. Nominal value maps can be parameterized with the aid of the measured measuring points, since optimum operating points are often close to the operating limit.

Weiterhin kann der Messpunkt aus der Menge von bereitgestellten Messpunkten als derjenige Messpunkt ausgewählt werden, der die vorgegebene Nähe zu der Betriebsgrenze aufweist und einen Mindestabstand, insbesondere einen größtmöglichen Abstand, zu den bereits vermessenen Messpunkten aufweist.Furthermore, the measuring point can be selected from the set of measuring points provided as the measuring point which has the predetermined proximity to the operating limit and has a minimum distance, in particular the greatest possible distance, from the measuring points already measured.

Gemäß einer Ausführungsform kann das Verfahren zur Vermessung einer Anzahl von Messpunkten wiederholt durchgeführt werden und das Klassifikationsmodell mit jedem vermessenen Messpunkt aktualisiert werden, wobei die Menge der bereitgestellten Messpunkte nach der Vermessung jedes Messpunkts oder nach der Vermessung einer vorgegebenen Anzahl von Messpunkte erneuert wird.According to an embodiment, the method for measuring a number of measurement points can be performed repeatedly and the classification model updated with each measured measurement point, wherein the set of measurement points provided is renewed after the measurement of each measurement point or after the measurement of a predetermined number of measurement points.

Es kann vorgesehen sein, dass das Verfahren zur Vermessung einer Anzahl von Messpunkten wiederholt durchgeführt wird und das Klassifikationsmodell erst nach einer vorgegebenen Anzahl von vermessenen Messpunkten aktualisiert wird.It can be provided that the method for measuring a number of measuring points is repeatedly performed and the classification model is updated only after a predetermined number of measured measuring points.

Insbesondere kann die Menge der bereitgestellten Messpunkte zufällig verteilt und insbesondere raumfüllend für einen Eingangsdatenraum der Messpunkte bestimmt werden.In particular, the amount of the measuring points provided can be randomly distributed and, in particular, space-filling determined for an input data space of the measuring points.

Es kann vorgesehen sein, dass das Klassifikationsmodell durch ein k-Nearest-Neighbor-Verfahren, ein Variable Kernel Density Estimation-Verfahren, ein SVM-Verfahren oder einen Gaußprozess-Klassifikationsalgorithmus erstellt wird.It can be provided that the classification model is created by a k-nearest neighbor method, a variable kernel density estimation method, an SVM method or a Gaussian process classification algorithm.

Gemäß einer Ausführungsform kann das Klassifikationsmodell so ausgelegt sein, dass die vorgegebene Nähe zur Betriebsgrenze durch einen Wertebereich der Konfidenzgröße definierbar ist.According to one embodiment, the classification model can be designed so that the predetermined proximity to the operating limit can be defined by a value range of the confidence quantity.

Gemäß einem weiteren Aspekt ist eine Vorrichtung, insbesondere Recheneinheit, vorgesehen, die ausgebildet ist, um das obige Verfahren auszuführen.According to a further aspect, an apparatus, in particular a computing unit, is provided, which is designed to carry out the above method.

Kurzbeschreibung der ZeichnungenBrief description of the drawings

Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:Embodiments are explained below with reference to the accompanying drawings. Show it:

1 eine Darstellung eines Testsystems zum Vermessen eines technischen Systems; 1 a representation of a test system for measuring a technical system;

2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Vermessen eines technischen Systems mit ausgewählten Messpunkten; 2 a flowchart illustrating a method for measuring a technical system with selected measuring points;

3 eine Darstellung eines zweidimensionalen Eingangsdatenraums mit Messpunkten und einem Verlauf einer Betriebsgrenze. 3 a representation of a two-dimensional input data space with measuring points and a course of an operating limit.

Beschreibung von AusführungsformenDescription of embodiments

1 zeigt eine schematische Darstellung eines Test- bzw. Prüfsystems 1, das zur Vermessung eines technischen Systems 2 ausgebildet ist. Ein technisches System 2 kann beispielsweise ein Verbrennungsmotor eines Kraftfahrzeugs oder ein Teilsystem davon sein. Eine Vermessungseinheit 3 steuert das technische System 2 mit einer Abfolge von Messpunkten X an, die zu bestimmten Betriebspunkten des technischen Systems 2 führen. Die Messpunkte X umfassen aber in der Regel eine Anzahl d von mehreren Eingangsgrößen, die in einem Eingangsgrößenvektor x ∊

Figure DE102016206627A1_0002
zusammengefasst sind und somit einen Messpunkt x bilden. Zudem gilt für jede der d Eingangsgrößen ein zulässiger Wertebereich. Weiterhin resultiert die Ansteuerung des technischen Systems 2 in einer oder mehreren Ausgangsgrößen y, die an den Messpunkten X gemessen werden. 1 shows a schematic representation of a test or testing system 1 for measuring a technical system 2 is trained. A technical system 2 For example, it may be an internal combustion engine of a motor vehicle or a subsystem thereof. A measuring unit 3 controls the technical system 2 with a sequence of measuring points X at which to specific operating points of the technical system 2 to lead. However, the measuring points X usually comprise a number d of a plurality of input variables which are present in an input variable vector x ε
Figure DE102016206627A1_0002
are combined and thus form a measuring point x. In addition, an admissible one applies for each of the d input variables Value range. Furthermore, the control of the technical system results 2 in one or more output quantities y, which are measured at the measuring points X.

In der Regel werden zur vollständigen Vermessung des technischen Systems 2 die Messpunkte X über einen großen Bereich innerhalb der zulässigen Wertebereiche variiert, um so eine möglichst raumfüllende Belegung des Eingangsdatenraums durch die Messpunkte zu erreichen.As a rule, to complete the measurement of the technical system 2 the measuring points X are varied over a large range within the permissible value ranges in order to achieve the most space-occupying possible occupancy of the input data space by the measuring points.

Die Messpunkte bilden mit den entsprechend zugehörigen Werten der Ausangsgröße Datenpunkte Di = (y, X) mit den Ausgängen y ∊

Figure DE102016206627A1_0003
zu den Eingangspunkten X ∊
Figure DE102016206627A1_0004
The measuring points together with the corresponding values of the output quantity form data points D i = (y, X) with the outputs y ε
Figure DE102016206627A1_0003
to the entry points X ε
Figure DE102016206627A1_0004

Weiterhin existieren für zumindest einige der Ausgangsgrößen y ebenfalls zulässige Wertebereiche, so dass auch durch eine oder mehrere der Ausgangsgrößen eine Betriebsgrenze definiert sein kann.Furthermore, permissible value ranges also exist for at least some of the output quantities y, so that an operating limit can also be defined by one or more of the output variables.

In 2 ist ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Vermessen eines technischen Systems mit Messpunkten nahe einer Betriebsgrenze dargestellt.In 2 FIG. 3 is a flow chart illustrating a method of measuring a technical system with measurement points near an operating limit.

In Schritt S1 wird eine Menge von zufällig verteilten Messpunkten bereitgestellt, die den Eingangsdatenraum, der durch die zugelassenen Wertebereiche der Eingangsgrößen definiert sein kann, möglichst raumfüllend belegen. Für das Erzeugen der Menge von Messpunkten xk ∊ Xk kann ein quasizufälliger Verteilungsalgorithmus verwendet werden.In step S1, a set of randomly distributed measuring points is provided, which occupy the input data space, which may be defined by the permitted value ranges of the input variables, as space-filling as possible. For generating the set of measurement points x k ∈ X k , a quasi-random distribution algorithm can be used.

Im Schritt S2 wird anschließend für jeden Messpunkt aus der bereitgestellten Menge von Messpunkten eine Konfidenzgröße φ(xk) entsprechend einem Klassifikationsmodell ermittelt. Die für das Klassifikationsmodell benötigte kontinuierliche Konfidenzgröße beschreibt die Wahrscheinlichkeit der Klassenzugehörigkeit zu einem zulässigen oder unzulässigen Betriebsbereich, die der Klassifikator für einen Punkt aus der Menge der Messpunkte prädiziert. Das Klassifikationsmodell wird im Verlauf des Messverfahrens erstellt. Das Klassifikationsmodell, das anfänglich noch nicht mit Messpunkten trainiert worden ist, ergibt als Konfidenzgröße für jeden der Messpunkte der bereitgestellten Menge von Messpunkten einen neutralen Wert der Konfidenzgröße ohne Aussagekraft bezüglich einer Lage des Messpunktes bezüglich einer Betriebsgrenze. Beispielsweise kann die Konfidenzgröße einen Wert zwischen 0 und 1 annehmen, wobei 0 eine Lage des Messpunkts außerhalb des Betriebsbereichs und 1 eine Lage des Messpunkts innerhalb des Betriebsbereichs angibt. Anfänglich kann allen Messpunkten der bereitgestellten Menge von Messpunkten eine Konfidenzgröße von 0,5 zugeordnet werden.In step S2, a confidence quantity φ (x k ) corresponding to a classification model is subsequently determined for each measurement point from the provided quantity of measurement points. The continuous confidence quantity needed for the classification model describes the probability of belonging to a permitted or inadmissible operating range, which the classifier predicts for a point from the set of measurement points. The classification model is created during the measurement process. The classification model, which has not yet been trained with measurement points initially, yields, as a confidence variable for each of the measurement points of the provided set of measurement points, a neutral value of the confidence quantity without informative value with respect to a position of the measurement point with respect to an operation boundary. For example, the confidence quantity may assume a value between 0 and 1, where 0 indicates a position of the measuring point outside the operating range and 1 a position of the measuring point within the operating range. Initially, a confidence level of 0.5 can be assigned to all measurement points of the provided set of measurement points.

Die Betriebsgrenze gibt einen Verlauf einer Grenze zwischen einem Bereich von entsprechend vorgegebenen Zulässigkeitsbedingungen zulässigen Betriebspunkten und nicht-zulässigen Betriebspunkten an. Die Zulässigkeitsbedingungen können Betriebsbereiche ausschließen, in denen das technische System einen unzulässigen, system- oder umgebungsgefährdenden, gefährlichen und/oder instabilen Betriebszustand einnimmt. Die Betriebsgrenze kann als Grenzverlauf eines durch einen jeweiligen Wertebereich der Eingangsgrößen und resultierenden Ausgangsgrößen bestimmten Bereichs sein.The operating limit indicates a course of a boundary between a range of operating points permissible according to predetermined admissibility conditions and non-permissible operating points. The conditions of admissibility may exclude areas of operation in which the technical system assumes an inadmissible, dangerous to the system or the environment, hazardous and / or unstable operating conditions. The operating limit may be a limit of a range determined by a respective range of values of the input quantities and resulting outputs.

Alternativ kann anfänglich auch ein bereits vortrainiertes Klassifikationsmodell bereitgestellt werden, das im Laufe der Vermessung weiterer Messpunkte wie nachfolgend beschrieben präzisiert wird.Alternatively, initially an already pre-trained classification model can be provided, which is specified in the course of measuring further measurement points as described below.

Das Klassifikationsmodell liefert die Konfidenzgröße als eine Modellgröße für jeden Messpunkt als ein Maß für die tatsächliche oder prognostizierte Zulässigkeit des Anlegens des betreffenden Messpunkts an das technische System. D. h. die Konfidenzgröße gibt an, inwieweit (mit welcher Wahrscheinlichkeit) entsprechend dem Klassifikationsmodell zu erwarten ist oder prognostiziert werden kann, dass bei Anlegen des betreffenden Messpunkts an das technische System ein entsprechend der Zulässigkeitsbedingungen zulässiger Betriebszustand eingenommen wird bzw. eine zulässige bzw. erlaubte Systemantwort eintritt. Die Zulässigkeit des Messpunkts wird also dadurch bestimmt, dass die Systemantwort des technischen Systems vorbestimmte Bedingungen einhält, z. B. hinsichtlich einer Einstellbarkeit eines stationären Betriebspunkts (keine Oszillation), hinsichtlich von Wertegrenzen für Zustandsgrößen oder dergleichen.The classification model provides the confidence quantity as a model size for each measurement point as a measure of the actual or predicted allowance of the application of that measurement point to the technical system. Ie. the confidence quantity indicates to what extent (with what probability) it is to be expected according to the classification model or can be predicted that when the measuring point is applied to the technical system, a permissible operating state is accepted according to the admissibility conditions or an admissible or permitted system response occurs. The admissibility of the measuring point is thus determined by the fact that the system response of the technical system complies with predetermined conditions, eg. B. with regard to a settability of a stationary operating point (no oscillation), with respect to value limits for state variables or the like.

In Schritt S3 wird eine Menge von Kandidatenpunkten aus der bereitgestellten Menge von Messpunkten ausgewählt. Die Kandidatenpunkte entsprechen denjenigen Messpunkten, für die eine vorbestimmte Bedingung für die Konfidenzgröße gilt. Die vorbestimmte Bedingung definiert Konfidenzgrößen, die angeben, dass der Messpunkt in einem Umgebungsbereich der Betriebsgrenze liegt. Beispielsweise kann die vorbestimmte Bedingung angeben, dass die Konfidenzgröße in einem Bereich zwischen einem minimalen φmin und einem maximalen Wert φmax liegt, beispielsweise in einem Bereich zwischen φmin = 0,4 und φmax = 0,6 liegt, wenn beispielsweise eine Konfidenzgröße mit einem Wert von 0,5 eine Lage eines Messpunkts exakt auf der Betriebsgrenze definiert. Die Kandidatenpunkte definieren sich Xe = {xk ∊ Xk: φmin < φ(xk) < φmax} In step S3, a set of candidate points is selected from the provided set of measurement points. The candidate points correspond to those measurement points for which a predetermined condition for the confidence quantity applies. The predetermined condition defines confidence quantities indicating that the measurement point is within an environmental range of the operating limit. For example, the predetermined condition may indicate that the confidence quantity is in a range between a minimum φ min and a maximum value φ max , for example, in a range between φ min = 0.4 and φ max = 0.6, for example, a confidence quantity with a value of 0.5 defines a position of a measuring point exactly at the operating limit. The candidate points are defined X e = {x k ∈ X k : φ min <φ (x k ) <φ max }

Der minimale Wert und der maximale Wert der Konfidenzgröße φmin, φmax können im Wesentlichen beliebig festgelegt werden. Jedoch ist der Wertebereich für die Konfidenzgröße ausreichend gering zu wählen, um insbesondere diejenigen Messpunkte auszuwählen, die sehr nahe um die Betriebsgrenze herum angeordnet sind.The minimum value and the maximum value of the confidence quantity φ min , φ max can be calculated in Essentially arbitrary. However, the range of values for the confidence quantity should be chosen to be sufficiently small, in order in particular to select those measuring points which are arranged very close to the operating limit.

Aus den nun ausgewählten Kandidatenpunkten wird in Schritt S4 einer der Kandidatenpunkte xopt ausgewählt. Dabei kann der Kandidatenpunkt xopt mit maximalem Nearest-Neighbor-Abstand zu allen bisher gemessenen Punkten Xm ausgewählt werden:

Figure DE102016206627A1_0005
From the candidate points now selected, one of the candidate points x opt is selected in step S4. In this case, the candidate point x opt can be selected with the maximum nearest neighbor distance to all previously measured points X m :
Figure DE102016206627A1_0005

Dies ermöglicht es, dass die nacheinander vermessenen Messpunkte sich möglichst an der Betriebsgrenze entlangbewegen. Zur Berechnung des maximalen Nearest-Neighbor-Abstands werden die Abstände zwischen jedem der Kandidatenpunkte x ∊ Xe und den bereits vermessenen Punkten xm ∊ Xm berechnet. Für jeden Kandidatenpunkt wird die minimale Distanz bestimmt und anschließend der Kandidatenpunkt mit der größten minimalen Distanz ausgewählt.This makes it possible for the successively measured measuring points to move as close as possible to the operating limit. To calculate the maximum nearest-neighbor distance, the distances between each of the candidate points x ∈ X e and the already measured points x m ∈ X m are calculated. For each candidate point, the minimum distance is determined, and then the candidate point with the largest minimum distance is selected.

In Schritt S5 werden der so gefundene ausgewählte Kandidatenpunkt xopt an dem technischen System eingestellt und dieses so vermessen. Dabei werden die Werte der entsprechenden zugeordneten Ausgangsgrößen erfasst.In step S5, the selected candidate point x opt thus found is set on the technical system and thus measured. The values of the corresponding assigned output variables are recorded.

Im Schritt S6 wird der Klassifikator mit den Messpunkten und der Ausgangsgröße trainiert.In step S6, the classifier is trained with the measurement points and the output quantity.

Anschließend wird in Schritt S7 überprüft, ob eine Abbruchbedingung erfüllt ist. Dies kann beispielsweise eine vorgegebene Anzahl von zu vermessenden Messpunkten, eine vorgegebene Gesamtmesszeit oder ein Gütekriterium für die durch das Klassifikationsmodell bestimmte Betriebsgrenze sein. Ist die Abbruchbedingung erfüllt, so wird das Verfahren beendet, anderenfalls wird zu Schritt S1 zurückgesprungen.Subsequently, it is checked in step S7 whether an abort condition is fulfilled. This can be, for example, a predetermined number of measuring points to be measured, a predetermined total measuring time or a quality criterion for the operating limit determined by the classification model. If the abort condition is fulfilled, the method is ended, otherwise the process returns to step S1.

Alternativ kann auch zu Schritt S2 gesprungen werden, so dass die Menge an bereitgestellten Messpunkten nicht erneut bestimmt werden muss.Alternatively, it is also possible to jump to step S2, so that the amount of measurement points provided does not have to be determined again.

Gemäß einer Ausführungsform kann vorgesehen sein, dass nicht nach jeder einzelnen Messung mit dem ausgewählten Kandidatenpunkt xopt das Klassifikationsmodell gemäß Schritt S6 aktualisiert bzw. trainiert wird, sondern zunächst eine bestimmte Menge an Messungen mit nacheinander ausgewählten Kandidatenpunkten xopt durchgeführt und erst danach der Klassifikator trainiert wird. So kann u. U. vorgesehen sein, dass alle Kandidatenpunkte xopt ausgewählt werden, ohne den Klassifikator zu aktualisieren.According to one embodiment, provision may be made for the classification model not to be updated or trained according to step S6 after each individual measurement with the selected candidate point x opt , but first for a specific set of measurements to be carried out with successively selected candidate points x opt and only then for the classifier to be trained becomes. So u. U. be provided that all candidate points x opt are selected without updating the classifier.

In 3 ist ein Beispiel für einen zweidimensionalen Eingangsdatenraum mit den Eingangsgrößen E1, E2 dargestellt. Im ersten Durchlauf ist lediglich der Eingangsdatenraum, der durch die gestrichelten waagrechten und senkrechten Linien L1, L2, L3, L4, die Grenzen von Wertebereichen von Eingangsgrößen markieren, begrenzt ist, bekannt. Weiterhin werden im Verlauf der Durchführung des Verfahrens die vermessenen Messpunkte als Kreuze dargestellt. Der minimale Wert φmin der Konfidenzgröße und der maximale Wert φmax der Konfidenzgröße werden durch die Höhenlinien (gestrichelt dargestellt) angegeben und die Betriebsgrenze als durchgezogene Höhenlinie mit beispielsweise φ = 0,5 angegeben. Die ausgewählten Kandidatenpunkte sind als die fett gedruckten Punkte innerhalb der gestrichelten Höhenlinien dargestellt. Der als nächstes zu vermessende Messpunkt aus dieser Menge, der den größten Abstand zu den bisher vermessenen Messpunkten hat, ist umkreist dargestellt.In 3 is an example of a two-dimensional input data space with the input variables E1, E2 shown. In the first pass, only the input data space bounded by the dashed horizontal and vertical lines L1, L2, L3, L4 marking boundaries of value ranges of inputs is known. Furthermore, in the course of carrying out the method, the measured measuring points are represented as crosses. The minimum value φ min of the confidence quantity and the maximum value φ max of the confidence quantity are indicated by the contour lines (shown in dashed lines) and the operating limit is indicated as a solid contour line with, for example, φ = 0.5. The selected candidate points are shown as the bold points within the dashed contour lines. The next measurement point to be measured from this set, which has the largest distance to the previously measured measuring points, is shown encircled.

Als Klassifikationsalgorithmus zur Erstellung des Klassifikationsmodells können verschiedene Algorithmen aus dem Bereich des Machine Learning verwendet werden. Der Klassifikationsalgorithmus ist vorzugsweise so ausgewählt, dass er mit einer hohen Anzahl von Eingangsgrößen, insbesondere von mehr als fünf, bereits mit einer sehr geringen Anzahl von Messpunkten anwendbar ist. Ferner sollte der Klassifikationsalgorithmus nach einem Vermessen eines entsprechend nächsten ausgewählten Messpunkts innerhalb kurzer Zeit, d. h. mit geringem Rechenaufwand aktualisiert werden können. Ferner sollte der Klassifikator eine kontinuierliche Konfidenzgröße bereitstellen, die insbesondere einen Wertebereich zwischen 0 und 1 annehmen kann. Dabei können „0” einen nicht zulässigen Messpunkt und „1” einen zulässigen Messpunkt angeben.As a classification algorithm for the creation of the classification model, various algorithms from the field of machine learning can be used. The classification algorithm is preferably selected such that it can already be used with a large number of input variables, in particular more than five, even with a very small number of measuring points. Furthermore, the classification algorithm should after measuring a correspondingly next selected measurement point within a short time, i. H. can be updated with little computational effort. Furthermore, the classifier should provide a continuous confidence quantity, which in particular can assume a value range between 0 and 1. In this case, "0" can indicate a non-permissible measuring point and "1" an admissible measuring point.

Mögliche Klassifikationsalgorithmen können ein k-Nearest-Neighbor Verfahren, ein Variable Kernel Density Estimation-Verfahren, ein SVM-Verfahren (SVM: Support Vector Machines), ein Gaußprozess-Klassifikationsalgorithmus und dergleichen umfassen. Diese Klassifikationsalgorithmen ermöglichen es, basierend auf einem Messpunkt und einer Angabe, ob das Anliegen des Messpunkt an das technische System zu einem zulässigen oder unzulässigen Betriebszustand des technischen Systems geführt hat, präzisiert zu werden.Possible classification algorithms may include a k-nearest neighbor method, a variable kernel density estimation method, a support vector machines (SVM), a gaussian process classification algorithm, and the like. These classification algorithms make it possible, based on a measuring point and an indication of whether the concern of the measuring point has led to the technical system to a permissible or impermissible operating state of the technical system to be specified.

Bei einem Verbrennungsmotor als technisches System, das auf dem Prüfstand 1 vermessen werden soll, kann eine Zulässigkeit oder Nichtzulässigkeit eines Messpunkts durch die Betriebsfähigkeit des Verbrennungsmotors bestimmt sein. Weitere Kriterien können der Kraftstoffverbrauch, Schadstoffemissionen oder dergleichen sein. Der entsprechende Zulässigkeitsgrad kann durch Auswerten der durch eine Vermessung eines Messpunkts bestimmten Ausgangsgröße erhaltbar sein.In an internal combustion engine as a technical system that is under scrutiny 1 is to be measured, a permissibility or inadmissibility of a measuring point can be determined by the operability of the internal combustion engine. Further criteria may be fuel consumption, pollutant emissions or the like. The corresponding degree of admissibility can be obtained by evaluating the output variable determined by measuring a measuring point.

Claims (10)

Verfahren zum Vermessen eines technischen Systems (2), insbesondere eines Verbrennungsmotors für ein Kraftfahrzeug, für die Erstellung eines Systemmodells des technischen Systems (2), wobei das Vermessen mit einer Anzahl von Messpunkten (X) durchgeführt wird, um jeweils einen Wert mindestens einer Ausgangsgröße (y) zu erhalten, mit folgenden Schritten: – Bestimmen (S2) von Konfidenzgrößen für eine Menge von bereitgestellten Messpunkten anhand eines vorgegebenen Klassifikationsmodells, wobei die Konfidenzgröße an einem Messpunkt eine modellierte Zulässigkeit eines Betriebspunktes angibt, der sich durch das Betreiben des technischen Systems an dem Messpunkt ergibt; – Auswählen (S4) mindestens eines Messpunkts aus der Menge von Messpunkten, wobei der ausgewählte Messpunkt eine zugeordnete Konfidenzgröße aufweist, die eine vorgegebene Nähe zu einer Betriebsgrenze angibt, die eine Grenze zwischen zulässigen und nicht-zulässigen Betriebszuständen angibt; – Durchführen (S5) eines Vermessens des technischen Systems (2) an dem ausgewählten Messpunkt, um die mindestens eine Ausgangsgrößen zu bestimmen; und – Aktualisieren (S6) des Klassifikationsmodells mit dem Messpunkt und einer von der mindestens einen Ausgangsgröße abhängigen Angabe, die angibt, ob der durch die Vermessung des ausgewählten Messpunkts eingestellte Betriebspunkt des technischen Systems zulässig ist.Method for measuring a technical system ( 2 ), in particular an internal combustion engine for a motor vehicle, for the creation of a system model of the technical system ( 2 ), wherein the measuring is performed with a number of measuring points (X) in order to obtain in each case a value of at least one output variable (y), comprising the following steps: - determining (S2) confidence quantities for a set of provided measuring points on the basis of a predetermined classification model wherein the confidence quantity at a measuring point indicates a modeled permissibility of an operating point resulting from the operation of the technical system at the measuring point; - selecting (S4) at least one measurement point from the set of measurement points, the selected measurement point having an associated confidence quantity indicating a predetermined proximity to an operational boundary indicating a boundary between allowable and non-permitted operating conditions; Performing (S5) a survey of the technical system ( 2 ) at the selected measurement point to determine the at least one output variable; and - updating (S6) the classification model with the measuring point and an indication dependent on the at least one output variable, which indicates whether the operating point of the technical system set by the measurement of the selected measuring point is admissible. Verfahren nach Anspruch 1, wobei der Messpunkt aus der Menge von bereitgestellten Messpunkten als derjenige Messpunkt ausgewählt wird, der die vorgegebene Nähe zu der Betriebsgrenze aufweist und einen Mindestabstand, insbesondere einen größtmöglichen Abstand, zu den bereits vermessenen Messpunkten aufweist.The method of claim 1, wherein the measuring point is selected from the set of provided measuring points as the measuring point, which has the predetermined proximity to the operating limit and a minimum distance, in particular a maximum distance, to the already measured measuring points. Verfahren nach Anspruch 1 oder 2, wobei das Verfahren zur Vermessung einer Anzahl von Messpunkten wiederholt durchgeführt wird und das Klassifikationsmodell mit jedem vermessenen Messpunkt aktualisiert wird, wobei die Menge der bereitgestellten Messpunkte nach der Vermessung jedes Messpunkts oder nach der Vermessung einer vorgegebenen Anzahl von Messpunkten erneuert wird.The method of claim 1 or 2, wherein the method for measuring a number of measuring points is repeatedly performed and the classification model is updated with each measured measuring point, wherein the amount of the provided measuring points renewed after the measurement of each measuring point or after the measurement of a predetermined number of measuring points becomes. Verfahren nach einem der Ansprüche 1 bis 3, wobei das Verfahren zur Vermessung einer Anzahl von Messpunkten wiederholt durchgeführt wird und das Klassifikationsmodell erst nach einer vorgegebenen Anzahl von vermessenen Messpunkten aktualisiert wird.Method according to one of claims 1 to 3, wherein the method for measuring a number of measuring points is repeatedly performed and the classification model is updated after a predetermined number of measured measuring points. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Menge der bereitgestellten Messpunkte zufällig verteilt und insbesondere raumfüllend für einen Eingangsdatenraum der Messpunkte bestimmt wird.Method according to one of claims 1 to 4, wherein the amount of the provided measuring points distributed randomly and in particular space filling for an input data space of the measuring points is determined. Verfahren nach einem der Ansprüche 1 bis 5, wobei das Klassifikationsmodell durch ein k-Nearest-Neighbor-Verfahren, ein Variable Kernel Density Estimation-Verfahren, ein SVM-Verfahren oder einem Gaußprozess-Klassifikationsalgorithmus erstellt wird.Method according to one of claims 1 to 5, wherein the classification model by a k-nearest neighbor method, a variable kernel density estimation method, an SVM method or a Gaussian process classification algorithm is created. Verfahren nach einem der Ansprüche 1 bis 6, wobei das Klassifikationsmodell so ausgelegt ist, dass die vorgegebene Nähe zur Betriebsgrenze durch einen Wertebereich der Konfidenzgröße definierbar ist.Method according to one of claims 1 to 6, wherein the classification model is designed so that the predetermined proximity to the operating limit is defined by a range of values of the confidence quantity. Vorrichtung, insbesondere Recheneinheit, die ausgebildet ist, um das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.Device, in particular a computing unit, which is designed to carry out the method according to one of Claims 1 to 7. Computerprogramm, welches dazu eingerichtet ist, alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 7 auszuführen.Computer program, which is set up to carry out all the steps of a method according to one of Claims 1 to 7. Maschinenlesbares Speichermedium, auf welchem ein Computerprogramm nach Anspruch 9 gespeichert ist.A machine-readable storage medium on which a computer program according to claim 9 is stored.
DE102016206627.7A 2016-04-20 2016-04-20 Method and device for measuring a system to be tested Withdrawn DE102016206627A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016206627.7A DE102016206627A1 (en) 2016-04-20 2016-04-20 Method and device for measuring a system to be tested

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016206627.7A DE102016206627A1 (en) 2016-04-20 2016-04-20 Method and device for measuring a system to be tested

Publications (1)

Publication Number Publication Date
DE102016206627A1 true DE102016206627A1 (en) 2017-10-26

Family

ID=60021028

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016206627.7A Withdrawn DE102016206627A1 (en) 2016-04-20 2016-04-20 Method and device for measuring a system to be tested

Country Status (1)

Country Link
DE (1) DE102016206627A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021208824A1 (en) 2021-08-12 2023-02-16 Robert Bosch Gesellschaft mit beschränkter Haftung Method for determining control model parameters of a control model of an axial piston pump
DE102022209773A1 (en) 2022-09-16 2024-03-21 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for determining the validity of a data-based functional model for a technical system at an evaluation point and training method for this

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021208824A1 (en) 2021-08-12 2023-02-16 Robert Bosch Gesellschaft mit beschränkter Haftung Method for determining control model parameters of a control model of an axial piston pump
DE102022209773A1 (en) 2022-09-16 2024-03-21 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for determining the validity of a data-based functional model for a technical system at an evaluation point and training method for this

Similar Documents

Publication Publication Date Title
EP2999998B1 (en) Methods for ascertaining a model of an output variable of a technical system
DE102016009106A1 (en) Machining device equipped with control with processing time measuring function and measuring function on the machine
DE102016201559A1 (en) Method and device for measuring a system to be tested
DE102019124018A1 (en) Method for optimizing tests of control systems for automated vehicle dynamics systems
DE102016108991A1 (en) Method and device for characterizing a component
DE102021002318A1 (en) Method for creating a simulation model, use of a simulation model, computer program product, method for calibrating a control device
DE102016206627A1 (en) Method and device for measuring a system to be tested
DE102019210507A1 (en) Device and computer-implemented method for processing digital sensor data and training methods therefor
DE102014007635A1 (en) Method for determining the recorded load of a work machine and work machine, in particular crane
EP2088486A1 (en) Method for measuring a non-linear dynamic real system using design of experiment
EP3692362A1 (en) Method for determining the geometry of a defect and for determining a load limit
DE102013212889A1 (en) Method and device for creating a control for a physical unit
DE102019217071A1 (en) Method for determining an impermissible deviation of the system behavior of a technical facility from a standard value range
DE102019209463A1 (en) Method for determining the trust value of an object of a class
DE102018222801A1 (en) Method and device for measuring a system to be tested
DE102013206274A1 (en) Method and apparatus for adapting a non-parametric function model
DE102020215136A1 (en) Procedure for the automated evaluation of a simulation model
DE102021210393A1 (en) Method and device for operating a technical system
DE102019207016A1 (en) Method for determining a system model for a technical system
DE102018222802A1 (en) Method and device for measuring a system to be tested
DE102018220948A1 (en) Method and device for measuring a system to be tested
DE102020200849A1 (en) Method and device for process optimization of a manufacturing process chain
DE102018214934A1 (en) Surface smoothing process
DE102019220453A1 (en) Method and device for creating a safety function for measuring a manufacturing system
DE102019203751A1 (en) Method and device for evaluating a trajectory for a technical system

Legal Events

Date Code Title Description
R005 Application deemed withdrawn due to failure to request examination