Die Erfindung betrifft ein Verfahren zum Ermitteln einer Zuverlässigkeit von Klassifikationen von Sensorsignalen, ein Verfahren zum Bereitstellen eines Ansteuerungssignales eines Aktors, ein Steuerungssystem, Computerprogramm und ein maschinenlesbares Speichermedium.The invention relates to a method for determining a reliability of classifications of sensor signals, a method for providing a control signal of an actuator, a control system, computer program and a machine-readable storage medium.
Stand der TechnikState of the art
Aus der nicht vorveröffentlichten DE 10 2018 209 595 ist ein Verfahren zum Ermitteln eines Straßenzustands eines Kraftfahrzeugs bekannt, wobei abhängig von ersten Eingangsgrößen eines ersten Sensorsystems und abhängig von zweiten Eingangsgrößen eines zweiten Sensorsystems mittels eines verteilten maschinellen Lernsystems, insbesondere eines verteilten neuronalen Netzes, eine den Straßenzustand charakterisierende Größe ermittelt wird.From the not pre-published DE 10 2018 209 595 A method for determining the road condition of a motor vehicle is known, a variable characterizing the road condition being determined as a function of first input variables of a first sensor system and as a function of second input variables of a second sensor system by means of a distributed machine learning system, in particular a distributed neural network.
Vorteile der ErfindungAdvantages of the invention
Bei hochautomatisiert fahrenden Fahrzeugen können Bilder, die Umfeldsensorik des Fahrzeugs - beispielsweise Video- oder Radarsensoren - liefert, mittels Klassifikatoren analysiert werden. Ein solcher Klassifikator kann beispielsweise durch ein tiefes neuronales Netz gegeben sein. Um die Sicherheit des hochautomatisierten Fahrens zu verbessern, ist es wichtig, die Zuverlässigkeit der erhaltenen Klassifikationen zu kennen, um ggf. Gegenmaßnahmen ergreifen zu können.With highly automated vehicles, images provided by the vehicle's surroundings sensors - for example video or radar sensors - can be analyzed using classifiers. Such a classifier can be given by a deep neural network, for example. In order to improve the safety of highly automated driving, it is important to know the reliability of the classifications obtained in order to be able to take countermeasures if necessary.
Das Verfahren mit den Merkmalen des Anspruch 1 stellt eine solche Zuverlässigkeit einer Klassifikation bereit, wodurch der Betrieb eines Systems, das abhängig von dieser ermittelten Klassifikation angesteuert wird, besonders zuverlässig gestaltet werden kann.The method with the features of claim 1 provides such a reliability of a classification, as a result of which the operation of a system that is controlled as a function of this ascertained classification can be designed to be particularly reliable.
Weitere Aspekte der Erfindung sind Gegenstand der nebengeordneten Ansprüche. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.Further aspects of the invention are the subject of the independent claims. Advantageous further developments are the subject of the dependent claims.
Offenbarung der ErfindungDisclosure of the invention
In einem ersten Aspekt betrifft die Erfindung daher ein Verfahren zum Ermitteln einer Zuverlässigkeit einer Klassifikation von Eingangssignalen, welche insbesondere abhängig von Ausgangssignalen eines Sensors ermittelt wurden, mittels eines maschinellen Lernsystems, insbesondere eines neuronalen Netzes. Dieses ist eingerichtet, aus Eingangssignalen jeweils eine zugehörige Klasse einer Mehrzahl von Klassen zu ermitteln, wobei das maschinelle Lernsystem eingerichtet ist, jeder der Klassen einen Klassifizierungswert zuzuordnen, wobei als zugehörige Klassifikation diejenige Klasse ermittelt wird, deren zugeordneter Klassifizierungswert am höchsten ist, und wobei ein Zuverlässigkeitswert ermittelt wird, der eine Zuverlässigkeit der Klassifikation charakterisiert, wobei der Zuverlässigkeitswert abhängig von den zwei höchsten der ermittelten Klassifizierungswerte (p1 , p2 ) ermittelt wird.In a first aspect, the invention therefore relates to a method for determining a reliability of a classification of input signals, which were determined in particular as a function of output signals of a sensor, by means of a machine learning system, in particular a neural network. This is set up to determine an associated class of a plurality of classes from input signals, the machine learning system being set up to assign a classification value to each of the classes, the associated classification being determined as the class whose assigned classification value is the highest, and where a Reliability value is determined, which characterizes a reliability of the classification, the reliability value depending on the two highest of the determined classification values ( p 1 , p 2 ) is determined.
Die Klassifizierungswerte können durch eine entsprechende Normierungsfunktion derart auf Werte im Bereich zwischen 0 und 1 beschränkt werden, dass die Summe über alle Klassifizierungswerte 1 ergibt. Die Klassifizierungswerte werden daher typischerweise auch Logit-Werte genannt. Zwar ist bekannt, dass diese Klassifizierungswerte im Allgemeinen nicht mit Wahrscheinlichkeiten einer Klassenzugehörigkeit des Eingangssignals gleichgesetzt werden können. Dennoch hat sich gezeigt, dass die Robustheit der Klassifikation dadurch beschrieben werden kann, wie groß die relative Größe des zweitgrößten Klassifizierungswerts p2 zum größten Klassifizierungswert p1 ist.The classification values can be limited to values in the range between 0 and 1 by a corresponding normalization function in such a way that the sum over all classification values 1 results. The classification values are therefore typically also called logit values. It is known that these classification values generally cannot be equated with probabilities of a class of the input signal. Nevertheless, it has been shown that the robustness of the classification can be described by how large the relative size of the second largest classification value is p 2 to the greatest classification value p 1 is.
Mathematischer kann dies z.B. bei künstlichen neuronalen Netzen als maschinelles Lernsystem wie folgt ausgedrückt werden: Um eine Klassifikationsaufgabe zu lösen, also die Zuordnung von Eingangssignalen x eines Eingangsraums X = ℝd zu einer Klasse y aus einer Anzahl k vieler Klassen. Diese Zuordnung erfolgt z.B. mittels einer Funktion f: ℝd → ℝk, wobei ℝk ein euklidischer Raum ist. Die Komponenten von f(x) entsprechen jeweils einer der Klassen und sind gegeben durch die Klassifizierungswerte, die charakterisieren, ob die zugehörige Klasse y eine richtige Klassifikation des Eingangssignals x ist. Um das Eingangssignals x einer bestimmten Klasse zuzuordnen, kann eine argmax-Funktion verwendet werden. Die argmax-Funktion gibt die Koordinate des maximalen Werts von f aus, das heißt y = N(x) = arg max f (x) .In more mathematical terms, this can be expressed, for example, in the case of artificial neural networks as a machine learning system as follows: To solve a classification task, i.e. the assignment of input signals x of an input space X = ℝ d to a class y from a number k of many classes. This assignment takes place, for example, by means of a function f: ℝ d → ℝ k , where ℝ k is a Euclidean space. The components of f ( x ) each correspond to one of the classes and are given by the classification values that characterize whether the associated class y a correct classification of the input signal x is. To the input signal x To assign a particular class, an argmax function can be used. The argmax function returns the coordinate of the maximum value of f, that is y = N ( x ) = arg max f ( x ).
Diese relative Größe kann beispielsweise durch eine Differenz p1 - p2 gegeben sein. Es ist dann möglich, zu entscheiden, ob eine Klassifikation zuverlässig ist oder nicht. In einer besonders einfachen Ausgestaltung kann vorgesehen sein, dass genau dann, auf eine zuverlässige Zuordnung entschieden wird, wenn die Differenz (p1 - p2 ) größer ist als ein vorgebbarer Schwellwert (Δ).This relative size can, for example, be a difference p 1 - p 2 be given. It is then possible to decide whether a classification is reliable or not. In a particularly simple embodiment, it can be provided that a decision is made on a reliable assignment precisely when the difference ( p 1 - p 2 ) is greater than a specifiable threshold value (Δ).
Trainingsdaten umfassen eine Mehrzahl von Trainingspunkten (xT, yT), die Paare beispielhafter Eingangsdaten xT und zugehöriger gewünschter Klassifikation bzw. Soll-Klassifikationen yT sind. Falls die Klassifikation N(xT) des maschinellen Lernsystems korrekt ist, ist der Wert der i-ten Koordinate von f(xT) der größte der Werte. Das heißt, es gilt f(xT)i > f(xT)j für alle j ≠ i.Training data comprise a plurality of training points (x T , y T ), which are pairs of exemplary input data x T and the associated desired classification or target classifications y T. If the classification N (x T ) of the machine learning system is correct, the value of the i-th coordinate of f (x T ) is the largest of the values. This means that f (x T ) i > f (x T ) j for all j ≠ i.
Dieser vorgebbare Schwellwert (Δ) kann vorzugsweise derart ermittelt werden, dass das maschinelle Lernsystem auf einem nicht korrekt gelabelten Trainingsdatensatz (Xr) umfassend Paare aus Eingangssignalen und zugehörigen Soll-Klassifikationen trainiert wird. Der vorgebbare Schwellwert (Δ) kann dann abhängig von Ausgabewerten des maschinelle Lernsystems ermittelt werden, die sich ergeben, wenn dem maschinellen Lernsystem Eingangssignale des Trainingsdatensatzes (Xr) zur Klassifikation zugeführt werden. Das heißt mit anderen Worten, dass dieser nicht korrekt gelabelte Trainingsdatensatz Teil der Trainingsdaten ist, mit denen das maschinelle Lernsystem trainiert wurde. This specifiable threshold value (Δ) can preferably be determined in such a way that the machine learning system is trained on an incorrectly labeled training data set (X r ) comprising pairs of input signals and associated nominal classifications. The predefinable threshold value (Δ) can then be determined as a function of output values of the machine learning system, which result when input signals of the training data set (X r ) are fed to the machine learning system for classification. In other words, this incorrectly labeled training data set is part of the training data with which the machine learning system was trained.
Es wurde erkannt, dass dieser nicht korrekt gelabelte Trainingsdatensatz Informationen über die Generalisierungsfähigkeit des maschinellen Lernsystems enthält, da er die Neigung einer Überanpassung des maschinellen Lernsystems an die Trainingsdaten charakterisiert.It was recognized that this incorrectly labeled training data set contains information about the generalization ability of the machine learning system, since it characterizes the tendency of the machine learning system to over-adapt to the training data.
Vorzugsweise werden die Soll-Klassifikationen des nicht korrekt gelabelten Trainingsdatensatzes (Xr) zufällig gewählt sind. „Zufällig gewählt“ kann hierbei wie üblich bedeuten, dass die Soll-Klassifikation abhängig von einer echten Zufallszahl oder abhängig von einer Pseudozufallszahl gewählt ist. D.h. die Eingangsdaten (xT) werden übernommen und die jeweils zugeordneten Soll- Klassifikationen (yT) werden zufällig gewählt.The target classifications of the incorrectly labeled training data set (X r ) are preferably selected at random. “Chosen at random” can mean, as usual, that the target classification is chosen depending on a real random number or depending on a pseudo-random number. In other words, the input data (x T ) are accepted and the respectively assigned nominal classifications (y T ) are selected at random.
Um statistische Eigenschaften des Trainingsdatensatzes möglichst wenig zu beeinflussen, kann vorgesehen sein, die Soll-Klassifikationen der nicht korrekt gelabelten Trainingsdaten (Xr) durch eine zufällige Permutation der gewünschten Klassifikationen (yT) aus einem Datensatz korrekt gelabelter Trainingsdaten (Xc) zu ermitteln.In order to influence the statistical properties of the training data set as little as possible, provision can be made to determine the nominal classifications of the incorrectly labeled training data (X r ) by randomly permuting the desired classifications (y T ) from a data set of correctly labeled training data (X c ) .
Alternativ ist es auch möglich, ausgehend von den gewünschten Klassifikationen (yT) des Datensatzes korrekt gelabelter Trainingsdaten (Xc), diesen ein zufälliges Rauschen hinzuzufügen, um die Soll-Klassifikation der nicht korrekt gelabelten Trainingsdaten (Xr) zu erhalten. Hierdurch ist es in besonders einfacher Weise möglich, den Grad der Unkorrektheit der nicht korrekt gelabelten Trainingsdaten (Xr) zu quantifizieren. Beispielsweise kann das Rauschen durch eine Bernoulliverteilte Zufallsvariable gegeben sein, die bestimmt ob die Klasse des Eingangssignals (xT) gestört werden soll. Die zufällige Klasse kann dann gegebenenfalls mit einer, insbesondere gleichverteilten, Zufallsvariable bestimmt werden.Alternatively, it is also possible, based on the desired classifications (y T ) of the data set of correctly labeled training data (X c ), to add random noise to these in order to obtain the target classification of the incorrectly labeled training data (X r ). This makes it possible in a particularly simple manner to quantify the degree of incorrectness of the incorrectly labeled training data (X r ). For example, the noise can be given by a Bernoulli-distributed random variable that determines whether the class of the input signal (x T ) should be disturbed. The random class can then optionally be determined with a, in particular uniformly distributed, random variable.
Vorzugsweise kann der vorgebbare Schwellwert (Δ) derart gewählt werden, dass er eine Häufigkeitsverteilung von Spannen (m) charakterisiert, die sich ergibt, wenn das maschinelle Lernsystem mit dem Satz nicht korrekt gelabelten Trainingsdaten (Xr) trainiert wird, und die Eingangssignale der nicht korrekt gelabelten Trainingsdaten (Xr) dem maschinellen Lernsystem dann zur Klassifikation zugeführt werden.
Eine Spanne (Englisch: margin) m ist definiert durch
Ist die Spanne positiv, dann ist die Klassifikation korrekt, ist sie negativ so ist die Klassifikation falsch.
Hierbei kann dann der vorgebbare Schwellwert (Δ) abhängig von einem Spannenschwellwert (mΔ) ermittelt wird, wobei dieser Spannenschwellwert (mΔ) derart gewählt ist, dass ein vorgebbarer Anteil der Häufigkeitsverteilung größer ist als der Spannenschwellwert (mΔ). Dieser vorgebbare Anteil kann beispielsweise als 1/(Anzahl der Klassen) festgelegt werden, bei 10 Klassen also auf 10%.The predeterminable threshold value (Δ) can preferably be selected in such a way that it characterizes a frequency distribution of ranges (m) that results when the machine learning system is trained with the set of incorrectly labeled training data (X r ) and the input signals of the not correctly labeled training data (X r ) are then fed to the machine learning system for classification.
A margin (English: margin) m is defined by If the range is positive, the classification is correct, if it is negative, the classification is wrong.
The predeterminable threshold value (Δ) can then be determined as a function of a range threshold value (m Δ ), this range threshold value (m Δ ) being selected in such a way that a specifiable portion of the frequency distribution is greater than the range threshold value (m Δ ). This predeterminable proportion can be set, for example, as 1 / (number of classes), i.e. 10% for 10 classes.
In einem weiteren Aspekt kann eines der vorgenannten Verfahren dann Bereitstellen eines Ansteuerungssignals zur Ansteuerung eines Aktors verwendet werden, das abhängig von einer Klassifikation eines Eingangssignals, die mittels des maschinellen Lernsystems ermittelt wird, gewählt wird. Hierbei wird dann mittels eines der vorgenannten Verfahren ein Zuverlässigkeitswert dieser Klassifikation ermittelt und das Ansteuerungssignal abhängig vom ermittelten Zuverlässigkeitswert gewählt. Beispielsweise kann vorgesehen sein, dass dieser das Ansteuerungssignal derart gewählt wird, dass der Aktor in einem abgesicherten Betriebsmodus betrieben wird, wenn entschieden wird, dass Klassifikation nicht zuverlässig ist, und in einem normalen Betriebsmodus, wenn entschieden wird, dass die Klassifikation zuverlässig ist. Die Entscheidung, ob die Klassifikation zuverlässig ist oder nicht kann beispielsweise abhängig davon erfolgen, ob der ermittelte Zuverlässigkeitswert kleiner als ein vorgebbarer Zuverlässigkeitsschwellwert ist, oder nicht.In a further aspect, one of the aforementioned methods can then be used to provide a control signal for controlling an actuator, which is selected as a function of a classification of an input signal that is determined by means of the machine learning system. In this case, a reliability value of this classification is determined by means of one of the aforementioned methods and the control signal is selected as a function of the reliability value determined. For example, it can be provided that this control signal is selected such that the actuator is operated in a secured operating mode if it is decided that classification is not reliable, and in a normal operating mode if it is decided that the classification is reliable. The decision as to whether the classification is reliable or not can be made, for example, as a function of whether or not the determined reliability value is less than a predefinable reliability threshold value.
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:
- 1 schematisch einen Aufbau einer Ausführungsform der Erfindung;
- 2 schematisch ein Ausführungsbeispiel zur Steuerung eines wenigstens teilautonomen Roboters;
- 3 schematisch ein Ausführungsbeispiel zur Steuerung eines Fertigungssystems;
- 4 schematisch ein Ausführungsbeispiel zur Steuerung eines persönlichen Assistenten;
- 5 schematisch ein Ausführungsbeispiel zur Steuerung eines Zugangssystems;
- 6 schematisch ein Ausführungsbeispiel zur Steuerung eines Überwachungssystems;
- 7 schematisch ein Ausführungsbeispiel zur Steuerung eines medizinisch bildgebenden Systems;
- 8 schematisch einen möglichen Aufbau des maschinellen Lernsystems;
- 9 in einem Flussdiagramm einen möglichen Ablauf des Verfahrens zum Ermitteln des Zuverlässigkeitswerts;
- 10 in einem Flussdiagramm den Ablauf eines Verfahrens zum Ermitteln des Schwellwerts.
Embodiments of the invention are explained in more detail below with reference to the accompanying drawings. In the drawings show: - 1 schematically a structure of an embodiment of the invention;
- 2 schematically an embodiment for controlling an at least partially autonomous robot;
- 3 schematically an embodiment for controlling a manufacturing system;
- 4th schematically an embodiment for controlling a personal assistant;
- 5 schematically an embodiment for controlling an access system;
- 6th schematically an embodiment for controlling a monitoring system;
- 7th schematically, an embodiment for controlling a medical imaging system;
- 8th schematically a possible structure of the machine learning system;
- 9 in a flowchart a possible sequence of the method for determining the reliability value;
- 10 the sequence of a method for determining the threshold value in a flowchart.
Beschreibung der AusführungsbeispieleDescription of the exemplary embodiments
1 zeigt einen Aktor 10 in seiner Umgebung 20 in Interaktion mit einem Steuerungssystem 40. Aktor 10 und Umgebung 20 werden gemeinschaftlich auch als Aktorsystem bezeichnet. In vorzugsweise regelmäßigen zeitlichen Abständen wird ein Zustand des Aktorsystems mit einem Sensor 30 erfasst, der auch durch eine Mehrzahl von Sensoren gegeben sein kann. Das Sensorsignal S - bzw. im Fall mehrerer Sensoren je ein Sensorsignal S - des Sensors 30 wird an das Steuerungssystem 40 übermittelt. Das Steuerungssystem 40 empfängt somit eine Folge von Sensorsignalen S. Das Steuerungssystem 40 ermittelt hieraus Ansteuersignale A, welche an den Aktor 10 übertragen werden. 1 shows an actuator 10 in his environment 20th in interaction with a control system 40 . Actuator 10 and environment 20th are also referred to collectively as an actuator system. A state of the actuator system is recorded with a sensor at preferably regular time intervals 30th detected, which can also be given by a plurality of sensors. The sensor signal S - or, in the case of several sensors, one sensor signal S - of the sensor 30th is attached to the control system 40 transmitted. The control system 40 thus receives a sequence of sensor signals S. The control system 40 determines control signals from this A. which to the actuator 10 be transmitted.
Das Steuerungssystem 40 empfängt die Folge von Sensorsignalen S des Sensors 30 in einer optionalen Empfangseinheit 50, die die Folge von Sensorsignalen S in eine Folge von Eingangssignalen x umwandelt (alternativ kann auch unmittelbar je das Sensorsignal S als Eingangssignal x übernommen werden). Das Eingangssignal x kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung des Sensorsignals S sein. Das Eingangssignal x kann beispielsweise Bilddaten oder Bilder umfassen, oder einzelne Frames einer Videoaufzeichnung. Mit anderen Worten wird Eingangssignal x abhängig von Sensorsignal S ermittelt. The control system 40 receives the sequence of sensor signals S from the sensor 30th in an optional receiving unit 50 that convert the sequence of sensor signals S into a sequence of input signals x converts (alternatively, the sensor signal S can also be used directly as an input signal x be adopted). The input signal x can be a section or further processing of the sensor signal S, for example. The input signal x can for example include image data or images, or individual frames of a video recording. In other words, it becomes an input signal x determined as a function of sensor signal S.
Das Eingangssignal x wird einem maschinellen Lernsystem 60, das beispielsweise ein neuronales Netzwerk ist, zugeführt.The input signal x becomes a machine learning system 60 , which is for example a neural network, is supplied.
Das maschinelle Lernsystem 60 wird vorzugsweise parametriert durch Parameter θ, die in einem Parameterspeicher P hinterlegt sind und von diesem bereitgestellt werden.The machine learning system 60 is preferably parameterized by parameters θ which are stored in a parameter memory P and are provided by this.
Das maschinelle Lernsystem 60 ermittelt aus den Eingangssignalen x Ausgangssignale y. Die Ausgangssignale y werden einer optionalen Umformeinheit 80 zugeführt, die hieraus Ansteuersignale A ermittelt, welche dem Aktor 10 zugeführt werden, um den Aktor 10 entsprechend anzusteuern. Das Ausgangssignal y umfasst hierbei mindestens eine Klassifikation des Eingangssignals x, wobei auch eine semantische Segmentierung möglich ist, bei der einzelnen Segmenten des Eingangssignals x jeweils eine Klasse zugeordnet wird.The machine learning system 60 determined from the input signals x Output signals y . The output signals y become an optional forming unit 80 fed from this, trigger signals A. determines which the actuator 10 be fed to the actuator 10 to be controlled accordingly. The output signal y includes at least one classification of the input signal x , whereby a semantic segmentation is also possible for the individual segments of the input signal x a class is assigned to each.
Zur Ermittlung der Klassifizierung ermittelt das maschinelle Lernsystem zu jeder der möglichen Klassen Klassifizierungswerte, wie unten im Zusammenhang mit 8 noch einmal ausführlich diskutiert. Die größten beiden dieser Klassifizierungswerte, p1 und p2 , werden ebenfalls der Umformeinheit 80 zugeführt, und bei der Ermittlung des Ansteuersignals A berücksichtigt.To determine the classification, the machine learning system determines classification values for each of the possible classes, as described below in connection with 8th discussed again in detail. The largest two of these classification values, p 1 and p 2 , are also the forming unit 80 supplied, and when determining the control signal A. considered.
Der Aktor 10 empfängt die Ansteuersignale A, wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktor 10 kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welches aus dem Ansteuersignal A ein zweites Ansteuersignal ermittelt, mit dem dann der Aktor 10 angesteuert wird.The actuator 10 receives the control signals A. , is activated accordingly and carries out a corresponding action. The actuator 10 can include control logic (not necessarily structurally integrated), which is derived from the control signal A. a second control signal is determined with which the actuator 10 is controlled.
In weiteren Ausführungsformen umfasst das Steuerungssystem 40 den Sensor 30. In noch weiteren Ausführungsformen umfasst das Steuerungssystem 40 alternativ oder zusätzlich auch den Aktor 10.In further embodiments, the control system comprises 40 the sensor 30th . In still further embodiments, the control system comprises 40 alternatively or additionally also the actuator 10 .
In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem 40 eine Ein- oder Mehrzahl von Prozessoren 45 und wenigstens ein maschinenlesbares Speichermedium 46, auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren 45 ausgeführt werden, das Steuerungssystem 40 veranlassen, das erfindungsgemäße Verfahren auszuführen.In further preferred embodiments, the control system comprises 40 a single or multiple processors 45 and at least one machine-readable storage medium 46 on which instructions are stored, which then when they are on the processors 45 run the control system 40 cause to carry out the method according to the invention.
In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktor 10 eine Anzeigeeinheit 10a vorgesehen.In alternative embodiments it is an alternative or in addition to the actuator 10 a display unit 10a intended.
2 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem 40 zur Steuerung eines wenigstens teilautonomen Roboters, hier eines wenigstens teilautonomen Kraftfahrzeugs 100, eingesetzt wird. 2 shows an embodiment in which the control system 40 for controlling an at least partially autonomous robot, here an at least partially autonomous motor vehicle 100 , is used.
Bei dem Sensor 30 kann es sich beispielsweise um einen oder mehrere vorzugsweise im Kraftfahrzeug 100 angeordnete Videosensoren und/oder einen oder mehrere Radarsensoren und/oder einen oder mehrere Ultraschallsensoren und/oder einen oder mehrere LiDAR-Sensoren und/oder einen oder mehrere Positionssensoren (beispielsweise GPS) handeln. Alternativ oder zusätzlich kann der Sensor 30 auch ein Informationssystem umfassen, das eine Information über einen Zustand des Aktorsystems ermittelt, wie beispielsweise ein Wetterinformationssystem, das einen aktuellen oder zukünftigen Zustand des Wetters in der Umgebung 20 ermittelt.With the sensor 30th For example, it can be one or more, preferably in the motor vehicle 100 arranged video sensors and / or one or more radar sensors and / or one or more ultrasonic sensors and / or one or more LiDAR sensors and / or one or more position sensors (for example GPS) act. Alternatively or additionally, the sensor 30th also include an information system that determines information about a state of the actuator system, such as a weather information system that determines a current or future state of the weather in the area 20th determined.
Das maschinelle Lernsystem 60 kann aus den Eingangsdaten x beispielsweise Gegenstände in der Umgebung des wenigstens teilautonomen Roboters detektieren. Bei dem Ausgangssignal y kann es sich um eine Information handeln, die charakterisiert, wo in der Umgebung des wenigstens teilautonomen Roboters Gegenstände vorhanden sind. Das Ausgangssignal A kann dann abhängig von dieser Information und/oder entsprechend dieser Information ermittelt werden. The machine learning system 60 can from the input data x for example, detect objects in the vicinity of the at least partially autonomous robot. At the output signal y it can be information that characterizes where objects are present in the environment of the at least partially autonomous robot. The output signal A. can then be determined depending on this information and / or according to this information.
Bei dem vorzugsweise im Kraftfahrzeug 100 angeordneten Aktor 10 kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des Kraftfahrzeugs 100 handeln. Das Ansteuersignal A kann dann derart ermittelt werden, dass der Aktor oder die Aktoren 10 derart angesteuert wird, dass das Kraftfahrzeug 100 beispielsweise eine Kollision mit den vom maschinellen Lernsystem 60 identifizierten Gegenständen verhindert, insbesondere, wenn es sich um Gegenstände bestimmter Klassen, z.B. um Fußgänger, handelt. Mit anderen Worten kann Ansteuersignal A abhängig von der ermittelten Klasse und/oder entsprechend der ermittelten Klasse ermittelt werden.Preferably in the motor vehicle 100 arranged actuator 10 For example, it can be a brake, a drive or a steering of the motor vehicle 100 act. The control signal A. can then be determined in such a way that the actuator or actuators 10 is controlled such that the motor vehicle 100 for example a collision with the machine learning system 60 identified objects, especially if they are objects of certain classes, e.g. pedestrians. In other words, control signal can A. can be determined depending on the determined class and / or according to the determined class.
Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal A derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit den vom maschinellen Lernsystem 60 identifizierten Gegenständen verhindert,Alternatively, the at least partially autonomous robot can also be another mobile robot (not shown), for example one that moves by flying, swimming, diving or stepping. The mobile robot can also be, for example, an at least partially autonomous lawnmower or an at least partially autonomous cleaning robot. In these cases too, the control signal A. can be determined in such a way that the drive and / or steering of the mobile robot are controlled in such a way that the at least partially autonomous robot, for example, has a collision with that of the machine learning system 60 prevented identified objects,
In einer weiteren Alternative kann es sich bei dem wenigstens teilautonomen Roboter auch um einen Gartenroboter (nicht abgebildet) handeln, der mit einem bildgebenden Sensor 30 und dem maschinellen Lernsystem 60 eine Art oder einen Zustand von Pflanzen in der Umgebung 20 ermittelt. Bei dem Aktor 10 kann es sich dann beispielsweise um einen Applikator von Chemikalien handeln. Das Ansteuersignal A kann abhängig von der ermittelten Art oder vom ermittelten Zustand der Pflanzen derart ermittelt werden, dass eine der ermittelten Art oder dem ermittelten Zustand entsprechende Menge der Chemikalien aufgebracht wird.In a further alternative, the at least partially autonomous robot can also be a garden robot (not shown) that has an imaging sensor 30th and the machine learning system 60 a type or condition of plants in the area 20th determined. With the actuator 10 it can then be, for example, an applicator for chemicals. The control signal A. can be determined depending on the determined species or the determined condition of the plants in such a way that an amount of chemicals corresponding to the determined species or the determined condition is applied.
In noch weiteren Alternativen kann es sich bei dem wenigstens teilautonomen Roboter auch um ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, einen Herd, einen Backofen, eine Mikrowelle oder eine Spülmaschine handeln. Mit dem Sensor 30, beispielsweise einem optischen Sensor, kann ein Zustand eines mit dem Haushaltsgerät behandelten Objekts erfasst werden, beispielsweise im Falle der Waschmaschine ein Zustand von Wäsche, die in der Waschmaschine befindlich ist. Mit dem maschinellen Lernsystem 60 kann dann eine Art oder ein Zustand dieses Objekts ermittelt und vom Ausgangssignal y charakterisiert werden. Das Ansteuersignal A kann dann derart ermittelt werden, dass das Haushaltsgerät abhängig von der ermittelten Art oder dem ermittelten Zustand des Objekts angesteuert wird. Beispielsweise kann im Falle der Waschmaschine diese abhängig davon angesteuert werden, aus welchem Material die darin befindliche Wäsche ist. Ansteuersignal A kann dann abhängig davon gewählt werden, welches Material der Wäsche ermittelt wurde.In still further alternatives, the at least partially autonomous robot can also be a household appliance (not shown), in particular a washing machine, a stove, an oven, a microwave or a dishwasher. With the sensor 30th , for example an optical sensor, a state of an object treated with the household appliance can be detected, for example in the case of the washing machine, a state of laundry that is in the washing machine. With the machine learning system 60 can then determine a type or a state of this object and from the output signal y be characterized. The control signal A. can then be determined in such a way that the household appliance is activated depending on the determined type or the determined state of the object. For example, in the case of the washing machine, this can be controlled depending on the material made of the laundry inside. Control signal A. can then be selected depending on which laundry material was determined.
3 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem 40 zur Ansteuerung einer Fertigungsmaschine 11 eines Fertigungssystems 200 verwendet wird, indem ein diese Fertigungsmaschine 11 steuernder Aktor 10 angesteuert wird. Bei der Fertigungsmaschine 11 kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren und/oder Schneiden handeln. 3 shows an embodiment in which the control system 40 for controlling a production machine 11 of a manufacturing system 200 is used by a this manufacturing machine 11 controlling actuator 10 is controlled. At the manufacturing machine 11 For example, it can be a machine for punching, sawing, drilling and / or cutting.
Bei dem Sensor 30 dann beispielsweise um einen optischen Sensor handeln, der z.B. Eigenschaften von Fertigungserzeugnissen 12 erfasst. Es ist möglich, dass der die Fertigungsmaschine 11 steuernde Aktor 10 abhängig von den ermittelten Eigenschaften des Fertigungserzeugnisses 12 angesteuert wird, damit die Fertigungsmaschine 11 entsprechend einen nachfolgenden Bearbeitungsschritt dieses Fertigungserzeugnisses 12 ausführt. Es ist auch möglich, dass der Sensor 30 die Eigenschaften des von der Fertigungsmaschine 11 bearbeiteten Fertigungserzeugnisses 12 ermittelt, und abhängig davon eine Ansteuerung der Fertigungsmaschine 11 für ein nachfolgendes Fertigungserzeugnis anpasst.With the sensor 30th then, for example, an optical sensor can be used, for example the properties of manufactured products 12 detected. It is possible that the the manufacturing machine 11 controlling actuator 10 depending on the determined properties of the manufactured product 12 is controlled so that the production machine 11 corresponding to a subsequent processing step of this manufactured product 12 executes. It is also possible that the sensor 30th the characteristics of the manufacturing machine 11 processed manufactured product 12 determined, and depending on this, a control of the production machine 11 for a subsequent manufactured product.
4 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines persönlichen Assistenten 250 eingesetzt wird. Der Sensor 30 ist bevorzugt ein akustischer Sensor, der Sprachsignale eines Nutzers 249 empfängt. Alternativ oder zusätzlich kann der Sensor 30 auch eingerichtet sein, optische Signale zu empfangen, beispielsweise Videobilder einer Geste des Nutzers 249. 4th shows an embodiment in which the control system 40 to control a personal assistant 250 is used. The sensor 30th is preferably an acoustic sensor, the speech signals of a user 249 receives. Alternatively or additionally, the sensor 30th also be set up to receive optical signals, for example video images of a gesture by the user 249 .
Abhängig von den Signalen des Sensors 30 ermittelt das Steuerungssystem 40 ein Ansteuersignal A des persönlichen Assistenten 250, beispielsweise, indem das maschinelle Lernsystem eine Gestenerkennung durchführt. Dem persönlichen Assistenten 250 wird dann dieses ermittelte Ansteuersignal A übermittelt und er somit entsprechend angesteuert. Dieses ermittelte Ansteuersignal A ist kann insbesondere derart gewählt werden, dass es einer vermuteten gewünschten Ansteuerung durch den Nutzer 249 entspricht. Diese vermutete gewünschte Ansteuerung kann abhängig von der vom maschinellen Lernsystem 60 erkannten Geste ermittelt werden. Das Steuerungssystem 40 kann dann abhängig von der vermuteten gewünschten Ansteuerung das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten 250 wählen und/oder das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten entsprechend der vermuteten gewünschten Ansteuerung 250 wählen.Depending on the signals from the sensor 30th determines the control system 40 a control signal A. of the personal assistant 250 , for example, by the machine learning system performing gesture recognition. The personal assistant 250 is then this determined control signal A. transmitted and thus controlled accordingly. This determined control signal A. is can in particular are selected such that there is a presumed desired activation by the user 249 corresponds. This presumed desired control can depend on that of the machine learning system 60 recognized gesture can be determined. The control system 40 can then use the control signal depending on the presumed desired control A. for transmission to the personal assistant 250 select and / or the control signal A. for transmission to the personal assistant according to the presumed desired control 250 choose.
Diese entsprechende Ansteuerung kann beispielsweise beinhalten, dass der persönliche Assistent 250 Informationen aus einer Datenbank abruft und sie für den Nutzer 249 rezipierbar wiedergibt.This corresponding control can include, for example, that the personal assistant 250 Retrieves information from a database and makes it available to the user 249 reproduces in a receivable
Anstelle des persönlichen Assistenten 250 kann auch ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder eine Spülmaschine vorgesehen sein, um entsprechend angesteuert zu werden.Instead of the personal assistant 250 A household appliance (not shown), in particular a washing machine, a stove, an oven, a microwave or a dishwasher, can also be provided in order to be controlled accordingly.
5 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Zugangssystems 300 eingesetzt wird. Das Zugangssystem 300 kann eine physische Zugangskontrolle, beispielsweise eine Tür 401 umfassen. Bei dem Sensor 30 kann es sich beispielsweise um einen optischen Sensor (beispielsweise zur Erfassung von Bild- oder Videodaten) handeln, der eingerichtet ist, ein Gesicht zu erfassen. Mittels des maschinellen Lernsystems 60 kann dieses erfasste Bild interpretiert werden. Beispielsweise kann die Identität einer Person ermittelt werden. Der Aktor 10 kann ein Schloss sein, dass abhängig vom Ansteuersignal A die Zugangskontrolle freigibt, oder nicht, beispielsweise die Tür 401 öffnet, oder nicht. Hierzu kann das Ansteuersignal A abhängig von der der Interpretation des maschinellen Lernsystems 60 gewählt werden, beispielsweise abhängig von der ermittelten Identität der Person. An Stelle der physischen Zugangskontrolle kann auch eine logische Zugangskontrolle vorgesehen sein. 5 shows an embodiment in which the control system 40 to control an access system 300 is used. The access system 300 can be a physical access control, for example a door 401 include. With the sensor 30th it can be, for example, an optical sensor (for example for capturing image or video data) that is set up to capture a face. Using the machine learning system 60 this captured image can be interpreted. For example, the identity of a person can be determined. The actuator 10 can be a lock that depends on the control signal A. the access control releases or not, for example the door 401 opens or not. The control signal A. depending on the interpretation of the machine learning system 60 be chosen, for example depending on the identified identity of the person. Instead of the physical access control, a logical access control can also be provided.
6 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Überwachungssystems 400 verwendet wird. Von dem in 5 dargestellten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel dadurch, dass an Stelle des Aktors 10 die Anzeigeeinheit 10a vorgesehen ist, die vom Steuerungssystem 40 angesteuert wird. Beispielsweise kann vom maschinellen Lernsystem 60 ermittelt werden, ob ein vom optischen Sensor aufgenommener Gegenstand verdächtig ist, und das Ansteuersignal A dann derart gewählt werden, dass dieser Gegenstand von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird. 6th shows an embodiment in which the control system 40 for controlling a monitoring system 400 is used. From the in 5 The illustrated embodiment differs from this embodiment in that instead of the actuator 10 the display unit 10a is provided by the control system 40 is controlled. For example, from the machine learning system 60 it can be determined whether an object picked up by the optical sensor is suspicious, and the control signal A. can then be chosen so that this item is from the display unit 10a highlighted in color.
7 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines medizinischen bildgebenden System 500, beispielsweise eines MRT-, Röntgen- oder Ultraschallgeräts, verwendet wird. Der Sensor 30 kann beispielsweise durch einen bildgebenden Sensor gegeben sein, durch das Steuerungssystem 40 wird die Anzeigeeinheit 10a angesteuert. Beispielsweise kann vom maschinellen Lernsystem 60 ermittelt werden, ob ein vom bildgebenden Sensor aufgenommener Bereich auffällig ist, und das Ansteuersignal A dann derart gewählt werden, dass dieser Bereich von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird. 7th shows an embodiment in which the control system 40 for controlling a medical imaging system 500 , for example an MRI, X-ray or ultrasound machine is used. The sensor 30th can for example be given by an imaging sensor, by the control system 40 becomes the display unit 10a controlled. For example, from the machine learning system 60 it can be determined whether an area recorded by the imaging sensor is conspicuous, and the control signal A. then be chosen so that this area is from the display unit 10a highlighted in color.
8 zeigt schematisch einen möglichen Aufbau des maschinellen Lernsystems 60, das in diesem Fall durch neuronales Netzwerk gegeben ist. Das Eingangssignal x wird einer Eingangsschicht 61 zugeführt, beispielsweise einer Faltungsschicht, und dann sukzessive durch das neuronale Netz 60 propagiert, bis es in einer Schicht 62 dazu herangezogen wird, um Klassifizierungswerte p1 , ... pk zu ermitteln. Diese werden einer argmax-Schicht zugeführt, die diejenige Klasse ermittelt, deren zugehöriger Klassifizierungswert den größten Wert annimmt. Diese Klasse wird als Ausgangssignal y bereitgestellt, ebenso der zugehörige Klassifizierungswert p1 , ebenso wie der zweitgrößte Klassifizierungswert p2 . 8th shows schematically a possible structure of the machine learning system 60 , which in this case is given by a neural network. The input signal x becomes an entry layer 61 fed, for example to a convolutional layer, and then successively through the neural network 60 propagated until it was in a layer 62 this is used to determine classification values p 1 , ... p k to investigate. These are fed to an argmax layer, which determines the class whose associated classification value assumes the greatest value. This class is called the output signal y provided, as well as the associated classification value p 1 , as well as the second largest classification value p 2 .
Das künstliche neuronale Netz x ist eingerichtet, aus den ihm zugeführten Eingangssignalen x zugehörige Ausgangssignale y zu ermitteln. Diese Ausgangssignale y werden der Bewertungseinheit 180 zugeführt.The artificial neural network x is set up from the input signals supplied to it x associated output signals y to investigate. These output signals y become the valuation unit 180 fed.
9 zeigt in einem Flussdiagramm den Ablauf eines Verfahrens zum Ermitteln des Zuverlässigkeitswerts. Zunächst (1000) wird ein Eingangssignal x dem maschinellen Lernsystem 60 zugeführt, und zugehöriges Ausgangssignal y sowie zugehöriger größter Klassifizierungswert p1 und zugehöriger zweitgrößter Klassifizierungswert p2 werden ermittelt. Dann (1100) wird die Differenz p1 - p2 des größten minus des zweitgrößten Klassifizierungswerts ermittelt und verglichen, ob diese Differenz größer ist als der vorgebbare Schwellwert Δ. Ist dies der Fall (1200), wird entschieden, dass die Klassifikation zuverlässig ist, und der Zuverlässigkeitswert wird auf den Wert „1“ gesetzt. Beispielsweise kann das Ansteuersignal A dann derart gewählt werden, dass Aktor 10 in einem Normalmodus betrieben wird. Ist dies hingegen nicht der Fall (1300), wird entschieden, dass die Klassifikation nicht zuverlässig ist, und der Zuverlässigkeitswert wird auf den Wert „0“ gesetzt. Beispielsweise kann das Ansteuersignal A dann derart gewählt werden, dass Aktor 10 in einem abgesicherten Modus betrieben wird, beispielsweise mit reduzierter Dynamik. Damit endet dieses Verfahren. 9 shows in a flowchart the sequence of a method for determining the reliability value. First ( 1000 ) becomes an input signal x the machine learning system 60 supplied, and associated output signal y as well as the associated greatest classification value p 1 and the corresponding second largest classification value p 2 are determined. Then ( 1100 ) becomes the difference p 1 - p 2 the largest minus the second largest classification value is determined and compared to determine whether this difference is greater than the predefinable threshold value Δ. Is that the case ( 1200 ), it is judged that the classification is reliable, and the reliability value is set to "1". For example, the control signal A. then be chosen such that actuator 10 is operated in a normal mode. If this is not the case, however ( 1300 ), it is decided that the classification is not reliable, and the reliability value is set to the value "0". For example, the control signal A. then be chosen such that actuator 10 is operated in a safe mode, for example with reduced dynamics. This ends this procedure.
10 illustriert in einem Flussdiagramm den Ablauf eines Verfahrens zum Ermitteln des Schwellwerts Δ. Zunächst (2000) wird das maschinelle Lernsystem 60 mit einem Trainingsdatensatz Xr mit zufällig gewählten Soll-Klassifikationen trainiert. Dann (2100) werden die optional die Gewichte des maschinellen Lernsystems 60 normalisiert. Anschließend (2200) werden die Spannen m ermittelt, die sich für alle Eingangssignale des Trainingsdatensatz Xr ergeben. Dann (2300) wird der Spannenschwellwert mΔ so gewählt, dass ein vorgebbarer Anteil der ermittelten Schwellen m größer ist als der Spannenschwellwert mΔ und die übrigen ermittelten Schwellen m kleiner. Anschließend (2400) wird der Schwellwert (Δ) gleich einem vorgebbaren Faktor mal dem Spannenschwellwert mΔ gewählt, wobei dieser Faktor beispielsweise den Wert eins annimmt. Damit endet dieses Verfahren. 10 illustrates in a flow chart the sequence of a method for determining the threshold value Δ. First ( 2000 ) becomes the machine learning system 60 trained with a training data set X r with randomly selected target classifications. Then ( 2100 ) the optional weights of the machine learning system 60 normalized. Subsequently ( 2200 ) the spans m are determined that result for all input signals of the training data set X r . Then ( 2300 ) the range threshold value m Δ is selected such that a predeterminable proportion of the determined thresholds m is greater than the range threshold value m Δ and the other determined thresholds m are smaller. Subsequently ( 2400 ) the threshold value (Δ) is selected equal to a predeterminable factor multiplied by the range threshold value m Δ , this factor assuming the value one, for example. This ends this procedure.
Der Begriff „Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.The term “computer” encompasses any device for processing specifiable arithmetic rules. These calculation rules can be in the form of software, or in the form of hardware, or also in a mixed form of software and hardware.
Es versteht sich ferner, dass die Verfahren nicht nur wie beschrieben vollständig in Software implementiert sein können. Sie können auch in Hardware implementiert sein, oder in einer Mischform aus Software und Hardware.It is further understood that the methods can not only be implemented completely in software as described. They can also be implemented in hardware, or in a mixture of software and hardware.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
-
DE 102018209595 [0002]DE 102018209595 [0002]
