DE102017219269A1 - Classification with automatic selection of promising learning data - Google Patents

Classification with automatic selection of promising learning data Download PDF

Info

Publication number
DE102017219269A1
DE102017219269A1 DE102017219269.0A DE102017219269A DE102017219269A1 DE 102017219269 A1 DE102017219269 A1 DE 102017219269A1 DE 102017219269 A DE102017219269 A DE 102017219269A DE 102017219269 A1 DE102017219269 A1 DE 102017219269A1
Authority
DE
Germany
Prior art keywords
value
input
learning
classification
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017219269.0A
Other languages
German (de)
Inventor
William Harris Beluch
Jan Mathias Koehler
Tim Genewein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102017219269.0A priority Critical patent/DE102017219269A1/en
Publication of DE102017219269A1 publication Critical patent/DE102017219269A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for recognising patterns
    • G06K9/62Methods or arrangements for pattern recognition using electronic means
    • G06K9/6267Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Computing arrangements based on biological models using neural network models
    • G06N3/04Architectures, e.g. interconnection topology
    • G06N3/0454Architectures, e.g. interconnection topology using a combination of multiple neural nets
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Computing arrangements based on biological models using neural network models
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/005Probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Abstract

Vorrichtung (1) zur Klassifizierung mindestens eines Eingangsgrößenwertes (11), umfassend:
• eine Mehrzahl von mittels Lern-Eingangsgrößenwerten (11a) und Lern-Ausgangsgrößenwerten (13c) trainierbaren Einzelbewertern (12a-12c), die auf identischen Mengen von Lern-Eingangsgrößenwerten (11a) vortrainiert sind und die jeweils dazu ausgebildet sind, dem Eingangsgrößenwert (11) eine Wahrscheinlichkeitsverteilung (Pa, Pb, Pc) zuzuordnen, wobei diese Wahrscheinlichkeitsverteilung (Pa, Pb, Pc) zu jeder der diskreten Klassen (13a), bzw. zu jedem möglichen Wert der Klassifikationsgröße (13b), angibt, mit welcher Wahrscheinlichkeit der Eingangsgrößenwert (11) auf die jeweilige Klasse (13a), bzw. auf den jeweiligen Wert (13b), abzubilden ist; und
• ein Konfidenzmodul (14), das dazu ausgebildet ist, aus Abweichungen zwischen den von den Einzelbewertern (12a-12c) gelieferten Wahrscheinlichkeitsverteilungen (Pa, Pb, Pc) die Unsicherheit (15) zu bestimmen, mit der die Klassifizierung behaftet ist, wobei die Vorrichtung (1) zusätzlich ein Feedbackmodul (16) umfasst, das dazu ausgebildet ist, in Antwort darauf, dass die Unsicherheit (15) für einen Eingangsgrößenwert (11) ein vorgegebenes Kriterium (15a) erfüllt, diesen Eingangsgrößenwert (11) als Lern-Eingangsgrößenwert (11a) an alle Einzelbewerter (12a-12c) zurückzukoppeln, und/oder eine vom Benutzer (18) der Vorrichtung (1) wahrnehmbare physikalische Warneinrichtung (17) anzusteuern.

Figure DE102017219269A1_0000
Device (1) for classifying at least one input variable value (11), comprising:
• a plurality of individual evaluators (12a-12c) trainable by means of learning input quantity values (11a) and learning output values (13c), which are pre-trained on identical sets of learning input values (11a) and which are respectively adapted to the input quantity value (11 ) assign a probability distribution (P a , P b , P c ), this probability distribution (P a , P b , P c ) to each of the discrete classes (13a), or to each possible value of the classification size (13b), indicates with which probability the input variable value (11) is to be mapped to the respective class (13a) or to the respective value (13b); and
A confidence module (14), which is designed to determine the uncertainty (15) from the deviations between the probability distributions (P a , P b , P c ) supplied by the individual evaluators (12a-12c), with which the classification is afflicted wherein the device (1) additionally comprises a feedback module (16) adapted to respond to this input variable value (11) as an answer in response to the uncertainty (15) for an input value (11) satisfying a predetermined criterion (15a) Feedback input value (11a) to all individual assessors (12a-12c), and / or to control a perceptible by the user (18) of the device (1) physical warning device (17).
Figure DE102017219269A1_0000

Description

Die Erfindung bezieht sich auf eine Vorrichtung zur Klassifizierung von Eingangsgrößen mittels trainierbarer Bewerter, ein Verfahren zum Betreiben oder Trainieren, ein zugehöriges Computerprogramm sowie auf Verwendungen.The invention relates to a device for classifying input variables by means of trainable evaluators, a method for operating or training, an associated computer program and uses.

Stand der TechnikState of the art

In vielen Anwendungen sind eine oder mehrere Eingangsgrößen daraufhin auszuwerten, ob eine bestimmte Art von Situation vorliegt. Hierzu können beispielsweise neuronale Netze oder andere KI-Module verwendet werden. Beispielsweise offenbart die DE 103 42 528 A1 ein Verfahren und eine Vorrichtung zur Fahrerunterstützung, wobei anhand verschiedener Betriebsgrößen des Fahrzeugs klassifiziert wird, ob gerade ein beabsichtigter oder ein unbeabsichtigter Spurwechsel erfolgt.In many applications, one or more inputs are to be evaluated for a particular type of situation. For this example, neural networks or other AI modules can be used. For example, the DE 103 42 528 A1 a method and a device for driver assistance, wherein it is classified on the basis of various operating variables of the vehicle, whether an intentional or an unintentional lane change is taking place.

Neuronale Netze und andere Klassifikatoren werden vielfach mit Hilfe von Lern-Eingangsgrößenwerten und Lern-Ausgangsgrößenwerten trainiert. Hierzu werden beispielsweise freie Parameter dahingehend optimiert, dass die Lern-Eingangsgrößenwerte im Mittel korrekt auf die bekannten zugehörigen Lern-Ausgangsgrößenwerte abgebildet werden. Nach einem Training mit einer hinreichenden Anzahl von Lern-Eingangsgrößenwerten wird davon ausgegangen, dass auch künftige Eingangsgrößenwerte korrekt klassifiziert werden.Neural networks and other classifiers are often trained using learning input magnitude values and learning output values. For this purpose, for example, free parameters are optimized so that the learning input values are mapped correctly on average to the known associated learning output values. After a training with a sufficient number of learning input values, it is assumed that future input values are also correctly classified.

( P. Melville, R. J. Mooney, „Diverse Ensembles for Active Learning“, Proceedings of the 21st Conference on Machine Learning, Banff (2004 )) offenbart ein Verfahren, mit dem durch Hinzufügung künstlicher Lern-Eingangsgrößenwerte die echten Lern-Eingangsgrößenwerte besser ausgenutzt werden können.( P. Melville, RJ Mooney, "Diverse Ensembles for Active Learning," Proceedings of the 21st Conference on Machine Learning, Banff (2004 )) discloses a method whereby by adding artificial learning input values, the true learning input values can be better utilized.

Offenbarung der ErfindungDisclosure of the invention

Im Rahmen der Erfindung wurde eine Vorrichtung zur Klassifizierung mindestens eines Eingangsgrößenwertes in eine von mehreren diskreten Klassen, und/oder anhand einer kontinuierlichen Klassifikationsgröße entwickelt. Dabei ist der Begriff des Eingangsgrößenwertes nicht auf skalare Zahlenwerte beschränkt, sondern kann beispielsweise auch vektorielle Daten, Matrizen oder Tensoren umfassen, wie beispielsweise Bilddaten.In the context of the invention, a device has been developed for classifying at least one input value value into one of a plurality of discrete classes, and / or on the basis of a continuous classification variable. The term input value value is not limited to scalar numerical values, but may also include, for example, vectorial data, matrices or tensors, such as image data.

Die Vorrichtung umfasst eine Mehrzahl von mittels Lern-Eingangsgrößenwerten und Lern-Ausgangsgrößenwerten trainierbaren Einzelbewertern, die auf identischen Mengen von Lern-Eingangsgrößenwerten vortrainiert sind und die jeweils dazu ausgebildet sind, dem Eingangsgrößenwert eine Wahrscheinlichkeitsverteilung zuzuordnen. Diese Wahrscheinlichkeitsverteilung gibt zu jeder der diskreten Klassen, bzw. zu jedem möglichen Wert der Klassifikationsgröße, an, mit welcher Wahrscheinlichkeit der Eingangsgrößenwert auf die jeweilige Klasse, bzw. auf den jeweiligen Wert, abzubilden ist.The device comprises a plurality of individual assessors trainable by means of learning input values and learning output values, which are pre-trained on identical sets of learning input values and each adapted to associate a probability distribution with the input variable. For each of the discrete classes, or for each possible value of the classification variable, this probability distribution indicates with which probability the input variable value is to be mapped to the respective class or to the respective value.

Dabei setzt ein Vortraining „auf identischen Mengen“ nicht zwingend voraus, dass alle Einzelbewerter die Lern-Eingangsgrößenwerte aus der Menge in der gleichen Reihenfolge erhalten. Vielmehr können durch eine Änderung der Reihenfolge zwischen den Einzelbewertern, beispielsweise durch eine Randomisierung der Reihenfolge, gezielt Unterschiede in das Verhalten der Einzelbewerter eingebracht werden. Die für das Vortraining verwendete Menge an Lern-Eingangsgrößenwerten, und ggfs. zugehörigen Lern-Ausgangsgrößenwerten, kann beispielsweise ein Grundmodell widerspiegeln, das beim weiteren Training der Vorrichtung im laufenden Betrieb verfeinert wird.Pretending "on identical sets" does not necessarily require that all individual assessors receive the learning input values from the set in the same order. Rather, by changing the order between the individual evaluators, for example by randomizing the order, specific differences in the behavior of the individual evaluators can be introduced. For example, the amount of learning input quantity values used for the preschool, and possibly associated learning output value values, may reflect a basic model that is refined during further training of the device during operation.

Der Begriff der Wahrscheinlichkeitsverteilung umfasst jede Zuordnung, die dem Eingangsgrößenwert einerseits und der Klasse, bzw. dem Wert der kontinuierlichen Klassifikationsgröße, einen Wahrscheinlichkeitswert zuordnet. The term probability distribution includes any assignment which assigns a probability value to the input value value on the one hand and to the class or to the value of the continuous classification value, on the other hand.

Dabei ist es auch nicht zwingend gefordert, dass diese Verteilung für mehr als eine Klasse, bzw. für mehr als einen Wert der kontinuierlichen Klassifikationsgröße, von Null verschieden ist.It is also not mandatory that this distribution for more than one class, or for more than one value of the continuous classification size, is different from zero.

Ein Beispiel für eine diskrete Wahrscheinlichkeitsverteilung ist, dass ein Zustand mit einer Wahrscheinlichkeit von 50 % in die Klasse „Sehr gut“, mit einer Wahrscheinlichkeit von 30 % in die Klasse „Gut“, mit einer Wahrscheinlichkeit von 10 % in die Klasse „Befriedigend“ sowie mit Wahrscheinlichkeiten von je 5 % in die Klassen „Ausreichend“ und „Mangelhaft“ eingeordnet wird.An example of a discrete probability distribution is that a condition with a probability of 50% in the class "very good", with a probability of 30% in the class "good", with a probability of 10% in the class "satisfactory" as well as with probabilities of 5% each into the classes "sufficient" and "defective".

Die Einzelbewerter können beispielsweise alle vom gleichen Typ sein, beispielsweise neuronale Netze gleicher Struktur oder statistische Klassifizierer, und sollten sich dann lediglich mindestens so weit voneinander unterscheiden, dass sie bei fortschreitendem Lernen nicht deckungsgleich ineinander überführt werden. Es sind jedoch auch beliebige Mischungen unterschiedlicher Typen von Einzelbewertern möglich. Beispielsweise können neuronale Netze mit statistischen Klassifizierern gemischt werden.For example, the individual evaluators may all be of the same type, for example neural networks of the same structure or statistical classifiers, and should then differ at least so far from one another that they are not congruent with one another as learning progresses. However, any mixtures of different types of individual evaluators are possible. For example, neural networks can be mixed with statistical classifiers.

Es ist ein wichtiger Unterschied zu aus der Literatur bekannten Ansätzen, dass die Einzelbewerter in der Vorrichtung von Anfang an vorhanden sind und nicht etwa ein Einzelbewerter automatisch erzeugt wird, um quasi „aus dem Nichts“ ein diverses Komitee zu schaffen. Auch kommen nur echte Lern-Eingangsgrößenwerte zum Einsatz und keine künstlich erzeugten.It is an important difference to approaches known from the literature that the individual evaluators are present in the device from the beginning and not an individual evaluator is automatically generated to create a quasi-committee out of nowhere. Also, only real learning Input values for use and no artificially generated.

Die Vorrichtung umfasst weiterhin ein Konfidenzmodul, das dazu ausgebildet ist, aus Abweichungen zwischen den von den Einzelbewertern gelieferten Wahrscheinlichkeitsverteilungen die Unsicherheit zu bestimmen, mit der die Klassifizierung behaftet ist.The device further comprises a confidence module, which is designed to determine from uncertainties between the probability distributions provided by the individual evaluators the uncertainty with which the classification is subject.

Dabei kann die Unsicherheit von der jeweiligen Klasse, bzw. vom Wert der kontinuierlichen Klassifikationsgröße, abhängen. Beispielsweise können sich in dem vorgenannten Beispiel zwei Einzelbewerter dahingehend sehr einig sein, dass der Zustand „Mangelhaft“ nur mit 5 % Wahrscheinlichkeit vorliegt. Zugleich kann der eine Einzelbewerter den Eingangsgrößenwert mit 95 % Wahrscheinlichkeit der Klasse „Sehr gut“ zuordnen, während der andere Einzelbewerter den gleichen Eingangsgrößenwert mit 95 % der benachbarten Klasse „Gut“ zuordnet.In this case, the uncertainty of the respective class, or the value of the continuous classification size, depend. For example, in the example given above, two individual assessors may very well agree that the state "Poor" exists only with 5% probability. At the same time, the one individual evaluator can assign the input value value with 95% probability of the class "very good", while the other individual evaluator assigns the same input value value with 95% of the adjacent class "good".

Die Vorrichtung umfasst zusätzlich ein Feedbackmodul, das dazu ausgebildet ist, in Antwort darauf, dass die Unsicherheit für einen Eingangsgrößenwert ein vorgegebenes Kriterium erfüllt, diesen Eingangsgrößenwert als Lern-Eingangsgrößenwert an alle Einzelbewerter zurückzukoppeln, und/oder eine vom Benutzer der Vorrichtung wahrnehmbare physikalische Warneinrichtung anzusteuern.The apparatus additionally includes a feedback module configured to, in response to the uncertainty for an input variable value satisfying a predetermined criterion, return that input variable value to all individual evaluators as a learning input variable value and / or to actuate a physical warning device perceptible by the user of the device ,

Das vorgegebene Kriterium kann beispielsweise ein Schwellwert sein. Es können aber auch beispielsweise mehrere Eingangsgrößenwerte in aufsteigender oder absteigender Reihenfolge nach zugehörigen Unsicherheiten geordnet werden, wobei dann beispielsweise eine vorgegebene Anzahl an Eingangsgrößenwerten entsprechend dieser Reihenfolge zurückgekoppelt wird.The default criterion may be, for example, a threshold. However, it is also possible, for example, to arrange a plurality of input variable values in ascending or descending order according to associated uncertainties, in which case, for example, a predefined number of input variable values is fed back according to this sequence.

Es wurde erkannt, dass das Feedbackmodul es beispielsweise ermöglicht, bevorzugt diejenigen Eingangsgrößenwerte für das Training zu verwenden, von denen die größte Verbesserung der Genauigkeit der Klassifikation zu erwarten ist. Dies wiederum ermöglicht es, den Aufwand für das Training der Einzelbewerter in zweierlei Hinsicht deutlich zu reduzieren.It has been recognized that the feedback module, for example, allows to use preferably those input values for the training of which the greatest improvement in the accuracy of the classification is to be expected. This in turn makes it possible to significantly reduce the effort required for the training of individual assessors in two respects.

Zum einen kann es je nach Anwendung sehr aufwändig sein, zu einem zurückzukoppelnden Lern-Eingangsgrößenwert den zugehörigen Lern-Ausgangsgrößenwert zu beschaffen, also den Lern-Eingangsgrößenwert mit dem zugehörigen korrekten Klassifikationsergebnis zu „labeln“. Handelt es sich bei dem Eingangsgrößenwert beispielsweise um ein Bild aus der medizinischen Bildgebung und besteht die Klassifikationsaufgabe darin, das Vorliegen von Anomalien in dem Bild zu prüfen, so kann die zugehörige „ground truth“ in Form des Lern-Ausgangsgrößenwerts möglicherweise nur durch einen auf die Interpretation derartiger Bilder spezialisierten Arzt erfolgen. Damit werden Lern-Ausgangsgrößenwerte zu einem knappen und teuren Gut. Die Herstellung einer voll trainierten Vorrichtung als Ganzes wird dementsprechend kostengünstiger, wenn dem Arzt nur diejenigen Bilder zur Interpretation vorgelegt werden, von denen der größte Lerneffekt bei den Einzelbewertern zu erwarten ist.On the one hand, depending on the application, it may be very costly to obtain the corresponding learning output variable value for a learning input value to be fed back, ie to "label" the learning input value value with the associated correct classification result. For example, if the input quantity value is an image from medical imaging and the classification task is to check for the presence of anomalies in the image, then the associated ground truth in the form of the learning output value may be limited to one Interpretation of such images specialist doctor. This makes learning output values a scarce and expensive commodity. The production of a fully trained device as a whole is therefore more cost-effective, if only those images are presented to the physician for interpretation, of which the largest learning effect is expected in the individual assessors.

Zum anderen kann auch dann, wenn Lern-Ausgangsgrößenwerte unkompliziert zur Verfügung stehen, das Training bereits durch eine große Zahl an Einzelbewertern aufwändig werden. Wenn die Einzelbewerter beispielsweise „weak learner“ sind in dem Sinne, dass sich die von jedem Einzelbewerter ausgegebene Wahrscheinlichkeitsverteilung für sich genommen nur schwach von einer zufälligen Verteilung unterscheidet, wird eine größere Anzahl solcher Einzelbewerter benötigt, um die Einzel-Wahrscheinlichkeitsverteilungen in statistisch signifikanter Weise zu einer Gesamt-Wahrscheinlichkeitsverteilung aggregieren zu können. Der Aufwand für das Training wächst mindestens proportional mit der Zahl der Einzelbewerter.On the other hand, even if learning output values are available in a straightforward manner, training can already be complicated by a large number of individual assessors. For example, if the individual evaluators are "weak learners" in the sense that the probability distribution output by each individual evaluator differs only slightly from a random distribution on its own, a larger number of such individual evaluators are needed to statistically significant the single probability distributions aggregate an overall probability distribution. The training effort grows at least proportionally with the number of individual assessors.

Schließlich kann mit dem Feedbackmodul im normalen Betrieb der Vorrichtung überhaupt erst erkannt werden, dass ein Bedarf besteht, die Einzelbewerter weiter zu trainieren. Beispielsweise kann die Vorrichtung zur Klassifizierung dazu ausgebildet sein, in Bilddaten aus dem Umfeld eines Fahrzeugs Verkehrszeichen zu erkennen. Die Vorrichtung kann dann beispielsweise mit all denjenigen Verkehrszeichen trainiert worden sein, die zum Zeitpunkt der Auslieferung des Fahrzeugs gültig waren. Führt der Verordnungsgeber nun neue Verkehrszeichen ein, wie beispielsweise „Maut“ oder „Umweltzone“, so kann ein Einzelbewerter allein dieses neue Verkehrszeichen möglicherweise noch mit hoher Konfidenz als ein ähnliches Zeichen erkennen. So ist beispielsweise das Verkehrszeichen 391, das eine Mautstelle anzeigt, dem Verkehrszeichen 392, das eine Zollstelle anzeigt, recht ähnlich. Je mehr unterschiedlich aufgebaute Einzelbewerter zum Einsatz kommen, desto wahrscheinlicher ist jedoch damit zu rechnen, dass diese Einzelbewerter das Verkehrszeichen jeweils als etwas anderes erkennen. Beispielsweise kann ein weiterer Einzelbewerter das unbekannte Verkehrszeichen 391 mit hoher Konfidenz als das Verkehrszeichen 367 erkennen, das die Einfahrt in eine Einbahnstraße in falscher Richtung verbietet. Erst aus der Uneinigkeit der beiden Einzelbewerter lässt sich erkennen, dass weder die Klassifikation als „Zollstelle“ noch die Klassifikation als „Einfahrt verboten“ richtig ist.Finally, with the feedback module in the normal operation of the device, it can be recognized in the first place that there is a need to continue to train the individual evaluators. For example, the classification device can be designed to recognize traffic signs in image data from the surroundings of a vehicle. The device may then have been trained, for example, with all the traffic signs that were valid at the time of delivery of the vehicle. If the legislator now introduces new traffic signs, such as "toll" or "environmental zone", an individual assessor may even recognize this new traffic sign with high confidence as a similar sign. For example, the traffic sign 391 indicating a tollbooth, the traffic sign 392 , which indicates a customs office, quite similar. The more differently constructed individual assessors are used, the more likely it is to be expected, however, that these individual evaluators will recognize the traffic sign as something else. For example, another individual assessor may be the unknown traffic sign 391 with high confidence as the traffic sign 367 recognize that prohibits the entry into a one-way street in the wrong direction. Only from the disagreement of the two individual evaluators can be seen that neither the classification as a "customs office" nor the classification as "entrance forbidden" is correct.

Eine ähnliche Situation kann auftreten, wenn der Verordnungsgeber ein Verkehrszeichen komplett erneuert, etwa das Verkehrszeichen 151 „Bahnübergang“. Darauf ist seit September 2009 statt einer Dampflok ein elektrisch angetriebener Intercity-Zug zu sehen, und das auch noch aus einer anderen Perspektive.A similar situation can occur if the prescriber renews a traffic sign completely, such as the traffic sign 151 " Railroad Crossing". Since September 2009, instead of a steam locomotive, an electrically powered intercity train has been on view, and from a different perspective as well.

Auch lässt sich bislang die Erkennung von Verkehrszeichen zum Teil durch das Beschmieren, Besprühen oder Bekleben mit Aufklebern in die Irre führen. Diese Veränderungen ändern aus Sicht eines menschlichen Fahrers den Charakter des Verkehrszeichens nicht und fallen ihm daher kaum auf.Even so far can be the detection of traffic signs in part by the smudging, spraying or sticking with stickers in the wrong way. From the point of view of a human driver, these changes do not change the character of the traffic sign and are therefore hardly noticed.

Wenn in derartigen Situationen eine physikalische Warneinrichtung angesteuert wird, kann der Fahrer dazu veranlasst werden, beispielsweise die korrekte Klassifikation ins System einzugeben oder sich darauf vorzubereiten, die manuelle Steuerung zu übernehmen. Die Warneinrichtung kann beispielsweise optisch, akustisch oder haptisch sein.In such situations, when a physical warning device is triggered, the driver may be prompted, for example, to enter the correct classification into the system or to prepare to take over manual control. The warning device can be, for example, optical, acoustic or haptic.

Die Wirkung des Feedbackmoduls ist vergleichbar mit der, die bei sogenannten „Bayes-neuronalen Netzwerken“ (Bayes-CNN) erzielt wird. Letztendlich geht es darum, durch das Training der Einzelbewerter eine im Verlauf unbekannte und zugleich nur sehr aufwändig auszuwertende Funktion zu rekonstruieren, von der nur wenige Paare aus Lern-Eingangsgrößenwerten und zugehörigen Lern-Ausgangsgrößenwerten als „Stützstellen“ bekannt sind. In dem Beispiel der Auswertung medizinischer Bilder ist die nachzubildende Funktion das Expertenwissen des Arztes, und die Bewertung eines Bildes durch den Arzt entspricht einer Auswertung der unbekannten Funktion an einem bestimmten Eingangsgrößenwert.The effect of the feedback module is comparable to that achieved in so-called "Bayesian neural networks" (Bayes-CNN). Ultimately, it is a question of reconstructing a function which is unknown in the course of time and at the same time only very complicated to evaluate by the training of the individual evaluators, of which only a few pairs of learning input values and associated learning output values are known as "support points". In the example of the evaluation of medical images, the function to be imitated is the expert knowledge of the physician, and the evaluation of an image by the physician corresponds to an evaluation of the unknown function at a specific input variable value.

Die Auswahl der Lern-Eingangsgrößenwerte anhand der Unsicherheit erfüllt eine ähnliche Funktion wie sie die sogenannten „acquisition functions“ bei Bayes'scher Optimierung aufwändig auszuwertender Funktionen innehaben. Bei der Bayes'schen Optimierung wird statt des Werts der aufwändig auszuwertenden Originalfunktion der Wert der „acquisition function“ optimiert, der angibt, wo die Originalfunktion im nächsten Schritt sinnvoll ausgewertet wird.The selection of the learning input variable values based on the uncertainty fulfills a function similar to that which the so-called "acquisition functions" have with Bayesian optimization of elaborate functions to be evaluated. In the case of Bayesian optimization, instead of the value of the complex original function, the value of the "acquisition function" is optimized, which indicates where the original function is meaningfully evaluated in the next step.

Die Rückkopplung kann beim erstmaligen Training der Vorrichtung und im laufenden Betrieb der Vorrichtung gleichermaßen aktiv sein. In beiden Fällen wird das Modell der besagten unbekannten Funktion, und damit auch des realen Prozesses, zu dem die Eingangsgrößenwerte und die Klassifikation gehören, sukzessive verfeinert. Es werden jeweils nur die weiteren Lern-Eingangsgrößenwerte herangezogen, von denen tatsächlich eine Verbesserung des Modells zu erwarten ist.The feedback may be equally active during initial training of the device and during operation of the device. In both cases, the model of the said unknown function, and thus of the real process to which the input quantity values and the classification belong, is successively refined. In each case, only the further learning input value values are used, of which actually an improvement of the model is to be expected.

Vorteilhaft sind zwischen 5 und 50 Einzelbewerter vorgesehen. Mit mindestens 5 Einzelbewertern wird die Aussage, ob eine Unsicherheit im Vergleich zwischen den Einzelbewertern vorliegt, statistisch deutlich signifikanter. Mit höchstens 50 Einzelbewertern bleiben sowohl der Speicheraufwand für die Einzelbewerter auf Hardware als auch der Rechenaufwand für das Training im Rahmen.Advantageously, between 5 and 50 individual judges are provided. With at least 5 individual assessors, the statement as to whether there is any uncertainty in comparison between the individual assessors becomes statistically significantly more significant. With a maximum of 50 individual assessors, both the storage costs for the individual assessors on hardware and the computational outlay for training remain within the framework.

In einer weiteren besonders vorteilhaften Ausgestaltung ist das Feedbackmodul zusätzlich dazu ausgebildet, einen zu dem Lern-Eingangsgrößenwert gehörenden Lern-Ausgangsgrößenwert vom Benutzer der Vorrichtung anzufordern und gemeinsam mit dem Lern-Eingangsgrößenwert an alle Einzelbewerter zurückzukoppeln. Auf diese Weise hat die Vorrichtung das Potential, mit zunehmendem Gebrauch immer weiter dazuzulernen, so dass die Genauigkeit der Klassifizierung immer besser werden kann, und zwar unabhängig davon, ob der Hersteller der Vorrichtung Updates zur Verfügung stellt und ob diese auch tatsächlich eingespielt werden.In a further particularly advantageous embodiment, the feedback module is additionally designed to request a learning output value value belonging to the learning input value value from the user of the device and to link it back to all individual evaluators together with the learning input value value. In this way, the device has the potential to continue to learn with increasing use, so that the accuracy of the classification can always be better, regardless of whether the manufacturer of the device provides updates and whether these are actually recorded.

In einer weiteren besonders vorteilhaften Ausgestaltung beinhaltet mindestens einer der Einzelbewerter ein künstliches neuronales Netzwerk. Ein solches Netzwerk beinhaltet eine interne Verarbeitungskette, die durch Parameter festgelegt ist. Beispielsweise können diese Parameter in einem „Convolutional Neural Network“ das Verhalten von Filtern steuern oder in einer vollvernetzten Schicht („dense layer“) Verbindungen zwischen Neuronen auf benachbarten Schichten gewichten. Tendenziell ist gerade bei neuronalen Netzen als Einzelbewertern die Anzahl an verfügbaren freien Parametern sehr groß, so dass üblicherweise eine große Anzahl von Lern-Eingangsgrößenwerten mit zugehörigen Lern-Ausgangsgrößenwerten nötig ist, damit das überwachte Lernen schlüssig auf einen Satz Parameter konvergiert. Durch die Auswahl der aussagekräftigsten Lern-Eingangsgrößenwerte an Hand der Unsicherheit kann dieser Prozess beschleunigt werden. Es kann sogar durchaus der Genauigkeit der Klassifikation zuträglich sein, nur diese Lern-Eingangsgrößenwerte zu berücksichtigen: Werden auch weniger relevante Lern-Eingangsgrößenwerte berücksichtigt, kann deren vergleichsweise schwache Aussagekraft die Aussagekraft der relevanteren Werte gleichsam verwässern.In a further particularly advantageous embodiment, at least one of the individual evaluators includes an artificial neural network. Such a network includes an internal processing chain defined by parameters. For example, these parameters can control the behavior of filters in a "convolutional neural network" or weight connections in a fully dense layer between neurons on adjacent layers. Especially with neural networks as individual evaluators, the number of available free parameters tends to be very large, so that usually a large number of learning input values with associated learning output values are necessary for the supervised learning to conclusively converge to a set of parameters. By selecting the most meaningful learning input values based on uncertainty, this process can be speeded up. It may well even be beneficial to the accuracy of the classification to take into account only these learning input values: If less relevant learning input values are taken into account, their comparatively weak expressiveness may also dilute the validity of the more relevant values.

In der Vorrichtung müssen nicht alle neuronalen Netzwerke vom gleichen Typ sein. Es können durchaus beispielsweise „Convolutional Neural Networks“, die im Wesentlichen Faltungsschichten beinhalten, mit „deep learning“-Netzwerken, die im Wesentlichen vollvernetzte Schichten beinhalten, gemischt werden.In the device, not all neural networks need to be of the same type. For example, "Convolutional Neural Networks", which essentially contain convolutional layers, may be mixed with "deep learning" networks, which essentially include fully cross-linked layers.

Vorteilhaft ist zusätzlich ein Aggregator vorgesehen, der dazu ausgebildet ist, die von den Einzelbewertern gelieferten Wahrscheinlichkeitsverteilungen zu einer Gesamt-Wahrscheinlichkeitsverteilung zu aggregieren. Dies vereinfacht die Interpretation der Klassifizierung durch nachgeschaltete Einrichtungen, wie etwa Systeme für das zumindest teilweise automatisierte Fahren. Die Auswahl des zu labelnden Lern-Eingangsgrößenwertes kann dann beispielsweise mit Maßen wie „max entropy“, „variation ratio“ oder „mean standard deviation“ erfolgen.In addition, an aggregator is advantageously provided, which is designed to aggregate the probability distributions supplied by the individual evaluators to form an overall probability distribution. This simplifies the Interpretation of classification by downstream equipment, such as systems for at least partially automated driving. The selection of the learning input value value to be labeled can then take place, for example, with measures such as "max entropy", "variation ratio" or "mean standard deviation".

Nach dem zuvor Beschriebenen sind die Einzelbewerter vorteilhaft dazu ausgebildet, Bilddaten als Eingangsgrößenwerte entgegenzunehmen und im Hinblick auf die Ausprägung mindestens eines vorgegebenen Merkmals, und/oder im Hinblick auf das Vorhandensein mindestens eines vorgegebenen Objekts, zu klassifizieren. Gerade bei Bilddaten und anderen sehr hochdimensionalen Daten gibt es viele Fehlerquellen, die die Klassifikation möglicherweise beeinflussen können. Beispielsweise können Bilddaten mit Rauschen behaftet sein, oder Bildteile können durch eine unpassende Belichtung in die Sättigung gezogen worden sein.According to what has been described above, the individual evaluators are advantageously designed to receive image data as input variable values and to classify them with regard to the expression of at least one predetermined feature, and / or with regard to the presence of at least one predetermined object. Especially with image data and other very high-dimensional data, there are many sources of error that may influence the classification. For example, image data may be noise, or image parts may have been saturated by improper exposure.

Nach dem zuvor Beschriebenen bezieht sich die Erfindung auch auf ein Verfahren zum Betreiben und/oder Trainieren einer Vorrichtung zur Klassifizierung mindestens eines eines Eingangsgrößenwertes in eine von mehreren diskreten Klassen, und/oder anhand einer kontinuierlichen Klassifikationsgröße.As described above, the invention also relates to a method for operating and / or training a device for classifying at least one of an input variable value into one of a plurality of discrete classes, and / or using a continuous classification variable.

Bei dem Verfahren wird durch eine Mehrzahl von mittels Lern-Eingangsgrößenwerten und Lern-Ausgangsgrößenwerten trainierbaren Einzelbewertern jeweils jedem Eingangsgrößenwert aus einer identischen Menge eine Wahrscheinlichkeitsverteilung zugeordnet, wobei diese Wahrscheinlichkeitsverteilung zu jeder der diskreten Klassen, bzw. zu jedem möglichen Wert der Klassifikationsgröße, angibt, mit welcher Wahrscheinlichkeit der Eingangsgrößenwert auf die jeweilige Klasse, bzw. auf den jeweiligen Wert, abzubilden ist.In the method, a probability distribution is assigned to each input variable value from an identical set by a plurality of individual evaluators trainable by means of learning input values and learning output values, this probability distribution indicating each of the discrete classes or to each possible value of the classification variable which probability the input value value is to be mapped to the respective class or to the respective value.

Weiterhin wird aus Abweichungen zwischen den von den Einzelbewertern gelieferten Wahrscheinlichkeitsverteilungen die Unsicherheit bestimmt, mit der die Klassifizierung behaftet ist.Furthermore, deviations between the probability distributions provided by the individual evaluators determine the uncertainty with which the classification is subject.

In Antwort darauf, dass die Unsicherheit für einen Eingangsgrößenwert ein vorgegebenes Kriterium erfüllt, wird der Eingangsgrößenwert als Lern-Eingangsgrößenwert an alle Einzelbewerter rückgekoppelt, und/oder es wird eine vom Benutzer der Vorrichtung wahrnehmbare physikalische Warneinrichtung angesteuert.In response to the uncertainty for an input value satisfying a predetermined criterion, the input value is fed back to all individual evaluators as the learning input value and / or a physical warning device perceptible by the user of the device is actuated.

Das Trainieren kann innerhalb der Vorrichtung selbst durchgeführt werden, ist aber nicht darauf beschränkt. Es ist durchaus möglich und auf Grund des Rechenaufwandes für das Training auch sinnvoll, die Vorrichtung und insbesondere die Einzelbewerter softwaremäßig auf einem externen Rechner oder in einer Cloud nachzubilden, wo eine größere Rechenkapazität zur Verfügung steht als in der Vorrichtung selbst. Beispielsweise gibt es beim Einsatz der Vorrichtung in einem teilweise oder vollständig automatisiert fahrenden Fahrzeug in der Regel Vorgaben bezüglich des Bauraums und/oder des Stromverbrauchs, die wiederum die verfügbare Rechenkapazität beschränken.The training may be performed within the device itself, but is not limited thereto. It is quite possible and due to the computational effort for the training also makes sense to replicate the device and in particular the individual evaluator software on an external computer or in a cloud, where a larger computing capacity is available than in the device itself. For example, there is the use The device in a partially or fully automated moving vehicle usually specifications regarding the space and / or power consumption, which in turn limit the available computing capacity.

Nach erfolgtem Training können beispielsweise die erhaltenen Parameter, die die Einzelbewerter festlegen, auf eine Hardware transferiert werden, die die Einzelbewerter implementiert. Damit entsteht eine fertig eingelernte Vorrichtung zur Klassifizierung. Diese Vorrichtung kann dann entsprechend dem zuvor Beschriebenen ein Konfidenzmodul und ein Feedbackmodul aufweisen, um auch im laufenden Betrieb das in ihr enthaltene Modell weiter verfeinern zu können. Dies ist jedoch nicht zwingend erforderlich. Die gemäß dem Verfahren extern vortrainierte Vorrichtung kann alternativ auch auf dem bei diesem Vortraining erreichten Stand verharren. Unabhängig davon, ob die Vorrichtung ein eigenes Konfidenzmodul und ein eigenes Feedbackmodul hat, ist es möglich, sie später durch externes Nachlernen zu aktualisieren. Dazu können beispielsweise die aktuellen Parameter, die die Einzelbewerter in der Vorrichtung festlegen, wieder auf den externen Rechner oder in die Cloud transferiert werden, um anschließend das Verfahren zum Training mit weiteren Lern-Eingangsgrößenwerten erneut durchzuführen.For example, after the training has been completed, the parameters obtained by the individual evaluators can be transferred to hardware that implements the individual evaluators. This creates a ready-trained device for classification. This device can then have a confidence module and a feedback module according to what has been described above in order to be able to further refine the model contained in it during operation. However, this is not mandatory. The externally pre-trained device according to the method can alternatively also remain on the level achieved in this preschool. Regardless of whether the device has its own confidence module and its own feedback module, it is possible to update it later by external re-learning. For this purpose, for example, the current parameters which the individual evaluators set in the device can be transferred back to the external computer or to the cloud in order subsequently to perform the method for training with further learning input variables values again.

Vorteilhaft wird eine Vorrichtung gewählt, in der mindestens zwei Einzelbewerter unterschiedlichen Typs sind. Wenn die Einzelbewerter dennoch einem bestimmten Eingangsgrößenwert im Wesentlichen die gleiche Wahrscheinlichkeitsverteilung zuordnen, dann ist dieser Eingangsgrößenwert mit hoher Wahrscheinlichkeit von nur geringer Aussagekraft für das Training.Advantageously, a device is selected in which at least two individual evaluators are of different types. If the individual evaluators nonetheless assign essentially the same probability distribution to a specific input variable value, then this input variable value is with high probability of only low significance for the training.

Vorteilhaft werden beim Trainieren mindestens zwei Einzelbewerter mit unterschiedlichen Startkonfigurationen initialisiert. Dann ist gewährleistet, dass die Einzelbewerter während des Trainings nicht identisch ineinander überführt werden, obwohl sie jeweils identische Eingangsgrößenwerte erhalten.During training, at least two individual assessors with different start configurations are advantageously initialized. Then it is ensured that the individual evaluators are not identical in the same way during training, although they each receive identical input values.

Vorteilhaft werden beim Trainieren mindestens zwei Einzelbewerter mit unterschiedlichen Abfolgen dergleichen Lern-Eingangsgrößenwerte beaufschlagt. Wie zuvor beschrieben, können insbesondere durch eine Randomisierung der Reihenfolge gezielt Unterschiede in das Verhalten beispielsweise ansonsten identisch aufgebauter Einzelbewerter eingebracht werden.During training, at least two individual evaluators with different sequences of the same learning input variable values are advantageously acted on. As described above, it is possible in particular to introduce differences in the behavior of, for example, otherwise identically constructed individual evaluators by randomizing the order.

Nach dem zuvor Beschriebenen kann die Vorrichtung, und/oder das Verfahren, ganz oder teilweise in Software implementiert sein, deren Vertrieb als eigenständiges Produkt sinnvoll ist. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, und/oder das Steuergerät, zu einer Vorrichtung gemäß der Erfindung aufwerten, und/oder dazu veranlassen, ein Verfahren gemäß der Erfindung auszuführen. Ebenso bezieht sich die Erfindung auf einen maschinenlesbaren Datenträger oder ein Downloadprodukt mit dem Computerprogramm.As described above, the device, and / or the method, can be completely or partially implemented in software whose distribution as a stand-alone product makes sense. Therefore The invention also relates to a computer program comprising machine-readable instructions which, when executed on a computer and / or on a control unit, upgrade the computer and / or the control unit to a device according to the invention, and / or cause it to perform a method according to the invention. Likewise, the invention relates to a machine-readable data carrier or a download product with the computer program.

Nach dem zuvor Beschriebenen wird die Vorrichtung, das Verfahren, und/oder das Computerprogramm, vorteilhaft in einem zumindest teilweise automatisiert fahrenden Fahrzeug verwendet, wobei der Eingangsgrößenwert von mindestens einem Sensor bezogen wird, der eine physikalische Messgröße im Fahrzeug oder in der Umgebung des Fahrzeugs erfasst, und wobei die Klassen, bzw. die Klassifikationsgröße, einen Betriebszustand des Fahrzeugs, und/oder eine Verkehrssituation, charakterisieren. Auf diese Weise wird insbesondere in neuen Situationen, für die die Einzelbewerter in der Vorrichtung nicht trainiert worden sind (etwa neue Verkehrszeichen), die Betriebssicherheit verbessert.As described above, the device, the method, and / or the computer program are advantageously used in an at least partially automated vehicle, wherein the input variable value is obtained from at least one sensor which detects a physical measured variable in the vehicle or in the surroundings of the vehicle , and wherein the classes, or the classification size, an operating state of the vehicle, and / or a traffic situation, characterize. In this way, especially in new situations for which the individual evaluators have not been trained in the device (such as new traffic signs), the reliability improved.

Nach dem zuvor Beschriebenen wird die Vorrichtung, das Verfahren, und/oder das Computerprogramm, vorteilhaft in der Diagnostik verwendet, wobei der Eingangsgrößenwert von mindestens einem Sensor bezogen wird, der eine physikalische Messgröße an einem zu untersuchenden Objekt oder Patienten erfasst, und wobei die Klassen, bzw. die Klassifikationsgröße, den Ausprägungsgrad mindestens einer Anomalie des Objekts oder Patienten charakterisieren. Auf diese Weise wird nur ein Minimum an mitunter nur sehr aufwändig erhältlicher „ground truth“ in Form von Lern-Ausgangsgrößenwerten (Labels) für das Training benötigt.As described above, the device, the method, and / or the computer program are advantageously used in diagnostics, wherein the input variable value is obtained from at least one sensor which records a physical measured variable on an object or patient to be examined, and wherein the classes , or the classification size, characterize the degree of expression of at least one anomaly of the object or patient. In this way, only a minimum of sometimes very complex available "ground truth" in the form of learning output values (labels) for the training is needed.

Ebenso kann die Vorrichtung, das Verfahren, und/oder das Computerprogramm, vorteilhaft in der Überwachungstechnik verwendet werden, wobei der Eingangsgrößenwert von mindestens einem Sensor bezogen wird, der eine physikalische Messgröße aus dem zu überwachenden Bereich erfasst, und wobei die Klassen, bzw. die Klassifikationsgröße, den Ausprägungsgrad mindestens einer Gefahrensituation charakterisieren. Auf diese Weise können in unbekannten Situationen beispielsweise Fehlalarme vermieden werden. Beispielsweise können Szenen in einem Video, die nur mit hoher Unsicherheit erkannt werden, dem Bedienungspersonal zurückgemeldet werden.Likewise, the device, the method, and / or the computer program, can be advantageously used in the monitoring technique, wherein the input variable value is obtained from at least one sensor that detects a physical measurand from the area to be monitored, and wherein the classes Classification size, characterize the degree of severity of at least one hazardous situation. In this way, for example, false alarms can be avoided in unknown situations. For example, scenes in a video that are only detected with high uncertainty can be reported back to the operator.

Eine erste beispielhafte Formel für die Unsicherheit Ui, mit der die Klassifizierung eines Eingangsgrößenwertes i behaftet ist, ist: U i = j = 1 K ( p i j p ¯ i ) 2 N ,

Figure DE102017219269A1_0001
worin der Index j=1,...,K über alle K Einzelbewerter ist. pij ist die vom Einzelbewerter j zu dem Eingangsgrößenwert i ermittelte Wahrscheinlichkeit für den zugehörigen Ausgangsgrößenwert (Vorhersage-Wahrscheinlichkeit). p i ist die dem Eingangsgrößenwert i zugeordnete Vorhersage-Wahrscheinlichkeit aggregiert über alle Einzelbewerter j. Die Aggregation kann beispielsweise durch den Mittelwert, durch den Median oder durch die Mode einer geschätzten Verteilung erfolgen.A first exemplary formula for the uncertainty U i with which the classification of an input variable value i is associated is: U i = Σ j = 1 K ( p i j - p ¯ i ) 2 N .
Figure DE102017219269A1_0001
where the index j = 1, ..., K over all K is individual judges. p ij is the probability for the associated output variable value (prediction probability) determined by the individual evaluator j relative to the input variable value i. p i is the prediction probability assigned to the input variable i aggregated over all individual evaluators j. The aggregation can be done, for example, by the mean, by the median or by the mode of an estimated distribution.

Dabei sind die pij, p i und Ui im Falle von diskreten Klassen Vektoren, die ein Element je Klasse enthalten. Im Falle kontinuierlicher Wahrscheinlichkeitsverteilungen sind es Funktionen der Klassifikationsgröße. Beides ist aus Gründen der Lesbarkeit in der Formel weggelassen. Ui gemäß dieser Formel ist eine mittlere quadratische Abweichung.Where p ij , p i and U i in the case of discrete classes Vectors containing one element per class. In the case of continuous probability distributions, they are functions of the classification size. Both are omitted for readability in the formula. U i according to this formula is a mean square deviation.

Eine zweite beispielhafte Formel für Ui ist: U i = p ¯ i ( 1 ) p ¯ i ( 2 ) ,

Figure DE102017219269A1_0002
worin p ¯ i ( 1 )
Figure DE102017219269A1_0003
der höchste dem Eingangsgrößenwert i nach Aggregation über alle Einzelbewerter zugeordnete Vorhersage-Wahrscheinlichkeitswert und p ¯ i ( 2 )
Figure DE102017219269A1_0004
der zweithöchste diesem Eingangsgrößenwert i nach der Aggregation zugeordnete Vorhersage-Wahrscheinlichkeitswert ist. Analog zum ersten Beispiel ist auch hier die Vektor- bzw. Funktionseigenschaft weggelassen. Ui gemäß dieser Formel bewertet spezifisch, mit welchem Abstand die zweitwahrscheinlichste Klassifikation auf die wahrscheinlichste Klassifikation folgt.A second exemplary formula for U i is: U i = p ¯ i ( 1 ) - p ¯ i ( 2 ) .
Figure DE102017219269A1_0002
wherein p ¯ i ( 1 )
Figure DE102017219269A1_0003
the highest prediction probability value associated with the input variable i after aggregation over all individual evaluators p ¯ i ( 2 )
Figure DE102017219269A1_0004
is the second highest predicted probability value associated with this input value i after aggregation. Analogous to the first example, the vector or functional property is also omitted here. U i according to this formula specifically assesses by which distance the second most probable classification follows the most probable classification.

Die Unsicherheit Ui kann aber auch als Varianz U i = 1 N k = 1 K ( p i j 2 p ¯ i 2 )

Figure DE102017219269A1_0005
ausgedrückt werden. Welche dieser beispielhaften Formeln am besten geeignet ist, hängt von der jeweiligen Anwendung ab.The uncertainty U i can also be called variance U i = 1 N Σ k = 1 K ( p i j 2 - p ¯ i 2 )
Figure DE102017219269A1_0005
be expressed. Which of these exemplary formulas is best suited depends on the particular application.

Die Unsicherheit bezüglich eines Eingangsgrößenwerts x kann auch als Jenson-Shannon-Divergenz JSD berechnet werden: J S D ( x ) = H ( j = 1 K π j P j ( x ) ) j = 1 K π j H ( P j ( x ) ) .

Figure DE102017219269A1_0006
The uncertainty regarding an input quantity value x can also be calculated as Jenson-Shannon divergence JSD: J S D ( x ) = H ( Σ j = 1 K π j P j ( x ) ) - Σ j = 1 K π j H ( P j ( x ) ) ,
Figure DE102017219269A1_0006

Hierin ist H die Shannon-Entropiefunktion, und Pj ist die Wahrscheinlichkeitsverteilung, die der Einzelbewerter j dem Eingangsgrößenwert x zuordnet. Die πj sind Gewichte.H here is the Shannon entropy function, and P j is the probability distribution that the individual evaluator j assigns to the input value x. The π j are weights.

Analog zu den vorherigen Formeln für Ui kann Pj bei einer diskreten Klassifikation ein Vektor sein, der für jede diskrete Klasse eine Wahrscheinlichkeit enthält. Pj kann auf der Eingangsgröße x eine diskrete Funktion sein, kann aber auch eine kontinuierliche Funktion sein, die an jedem real vorkommenden xi, i=1,...,K, eine Stützstelle aufweist.Analogous to the previous formulas for U i , for a discrete classification, P j can be a vector containing a probability for each discrete class. P j may be on the input variable x is a discrete function, but may also be a continuous function, the real occurring at each x i, i = 1, ..., K, having a support point.

Die erste Summe summiert Wahrscheinlichkeiten auf, die zweite Summe summiert mit den gleichen Gewichten Shannon-Entropien auf.The first sum sums up probabilities, the second sum sums up Shannon entropies with the same weights.

Wenn gezielt zwei Einzelbewerter miteinander verglichen werden sollen, kann als Maß für die Unsicherheit beispielsweise auch die Kullback-Leibler-Divergence DKL gewählt werden: D K L ( P 1 P 2 ) = c = 1 C P 1 ( c ) log P 1 ( c ) P 2 ( c ) .

Figure DE102017219269A1_0007
If two individual assessors are to be compared with one another, for example, the Kullback-Leibler Divergence D KL can also be chosen as a measure of the uncertainty: D K L ( P 1 P 2 ) = Σ c = 1 C P 1 ( c ) log P 1 ( c ) P 2 ( c ) ,
Figure DE102017219269A1_0007

In diesem Beispiel ist c ein Index über die die diskreten Klassen 1,...,C. Bei einer kontinuierlichen Klassifikationsgröße wird die Summe zu einem Integral.In this example, c is an index over the discrete classes 1 , ..., C. For a continuous classification size, the sum becomes an integral.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention will be described in more detail below together with the description of the preferred embodiments of the invention with reference to figures.

Ausführungsbeispieleembodiments

Es zeigt:

  • 1 Beispielhafte Skizze der Vorrichtung 1;
  • 2 Beispielhafte Skizze des Verfahrens 100;
  • 3 Beispielhafte Skizze der Verwendung in einem zumindest teilweise automatisiert fahrenden Fahrzeug 2;
  • 4 Beispielhafte Skizze der Verwendung in der Diagnostik eines Objekts oder Patienten 32;
  • 5 Beispielhafte Skizze der Verwendung in der Überwachung eines Bereichs 42.
It shows:
  • 1 Exemplary sketch of the device 1 ;
  • 2 Exemplary sketch of the procedure 100 ;
  • 3 Exemplary sketch of the use in an at least partially automated moving vehicle 2 ;
  • 4 Exemplary sketch of use in the diagnosis of an object or patient 32 ;
  • 5 Exemplary sketch of use in monitoring an area 42 ,

Nach 1 umfasst die Vorrichtung 1 drei beispielhaft eingezeichnete Einzelbewerter 12a, 12b und 12c, die jeweils ein und denselben Eingangsgrößenwert 11 dahingehend klassifizieren, mit welcher Wahrscheinlichkeit Pa (13a, 13b) dieser Eingangsgrößenwert 11 einer von mehreren diskreten Klassen 13a, und/oder einem bestimmten Wert einer kontinuierlichen Klassifikationsgröße 13b, zuzuschreiben ist. Die drei Einzelbewerter 12a, 12b und 12c wurden auf identischen Mengen von Lern-Eingangsgrößenwerten 11a vortrainiert, wobei zumindest zu einem Teil dieser Lern-Eingangsgrößenwerte 11a auch der zugehörige Lern-Ausgangsgrößenwert 13c vorlag.To 1 includes the device 1 three exemplified individual assessors 12a . 12b and 12c , each one and the same input value 11 classify with what probability P a ( 13a . 13b ) this input value 11 one of several discrete classes 13a , and / or a particular value of a continuous classification size 13b , is to be attributed. The three individual judges 12a . 12b and 12c were based on identical sets of learning input values 11a pre-trained, with at least some of these learning input values 11a also the associated learning output value 13c present.

Im Konfidenzmodul 14 wird aus den drei Wahrscheinlichkeitsverteilungen Pa , Pb , Pc die Unsicherheit 15 bestimmt, die ein Maß dafür ist, wie uneinig sich die Einzelbewerter 12a, 12b und 12c untereinander sind. Das Konfidenzmodul reicht weiterhin die drei Wahrscheinlichkeitsverteilungen Pa , Pb , Pc an den Aggregator 19 durch, der hieraus eine einzige Wahrscheinlichkeitsverteilung P(13a, 13b) dafür ermittelt, mit welcher Wahrscheinlichkeit der Eingangsgrößenwert 11 der Klasse 13a, bzw. dem Wert der Klassifikationsgröße 13b, zuzuschreiben ist. In the confidence module 14 becomes from the three probability distributions P a . P b . P c the uncertainty 15 That is a measure of how divided the individual evaluators are 12a . 12b and 12c among themselves. The confidence module continues to extend the three probability distributions P a . P b . P c to the aggregator 19 from which a single probability distribution P ( 13a . 13b ) determines with which probability the input value value 11 the class 13a , or the value of the classification size 13b , is to be attributed.

Das Feedbackmodul 16 prüft, ob eine vorgegebene Bedingung 15a für die Unsicherheit 15 erfüllt ist. Diese Bedingung 15a kann beispielsweise ein vorgegebener Schwellwert sein. Im Rahmen der Bedingung 15a kann jedoch beispielsweise eine „Best of“-Auswahl derjenigen Eingangsgrößenwerte 11 getroffen werden, für die die Unsicherheit 15 am größten ist.The feedback module 16 checks if a given condition 15a for the uncertainty 15 is satisfied. This condition 15a may for example be a predetermined threshold. In the context of the condition 15a However, for example, a "best of" selection of those input value values 11 be taken for the uncertainty 15 is greatest.

Ist die Bedingung 15a erfüllt, wird eine Warneinrichtung 17 angesteuert, die vom Benutzer 18 der Vorrichtung 1 wahrnehmbar ist. Dadurch erhält der Benutzer die Gelegenheit, den zum Eingangsgrößenwert 11 passenden Lern-Ausgangsgrößenwert 13c nachzuliefern, also den Eingangsgrößenwert 11 nachträglich zu „labeln“. Der Eingangsgrößenwert 11 wird anschließend als Lern-Eingangsgrößenwert 11a, zusammen mit dem Lern-Ausgangsgrößenwert 13c, den Einzelbewertern 12a, 12b und 12c zugeführt, um die Einzelbewerter 12a, 12b und 12c zu trainieren.Is the condition 15a meets, becomes a warning device 17 driven by the user 18 the device 1 is perceptible. This gives the user the opportunity to get to the input value value 11 matching learning output value 13c nachzuliefern, so the input value 11 subsequently to "label". The input variable value 11 is then used as a learning input value 11a , along with the learning output value 13c , the individual evaluators 12a . 12b and 12c fed to the individual assessors 12a . 12b and 12c to train.

2 zeigt ein Ausführungsbeispiel des Verfahrens 100. In Schritt 110 wird der Eingangsgrößenwert 11 über die Wahrscheinlichkeitsverteilungen Pa , Pb und Pc dahingehend klassifiziert, mit welcher Wahrscheinlichkeit er welcher der Klassen 13a, bzw. welchem der möglichen Werte der Klassifikationsgröße 13b, zuzuschreiben ist. Aus dieser Information wird in Schritt 120 die Unsicherheit 15 der Einzelbewerter 12a, 12b, 12c untereinander bestimmt. In Schritt 130 wird überprüft, ob das Kriterium 15a erfüllt ist. Wenn ja (Wahrheitswert 1), wird in Schritt 140 der Eingangsgrößenwert 11 als Lern-Eingangsgröße 11a an die Einzelbewerter 12a, 12b, 12c zurückgekoppelt. Sofern der Benutzer 18 den hierzu passenden Lern-Ausgangsgrößenwert 13c geliefert hat, also den Lern-Eingangsgrößenwert 11a „gelabelt“ hat, wird der Lern-Ausgangsgrößenwert 13c ebenfalls an die Einzelbewerter 12a, 12b, 12c übermittelt. Alternativ oder in Kombination kann in Schritt 150 die durch den Benutzer 18 wahrnehmbare physikalische Warneinrichtung 17 angesteuert werden. 2 shows an embodiment of the method 100 , In step 110 becomes the input variable value 11 about the probability distributions P a . P b and classifies P c according to which probability it is which of the classes 13a , or which of the possible values of the classification size 13b , is to be attributed. From this information will be in step 120 the uncertainty 15 the individual evaluator 12a . 12b . 12c determined among each other. In step 130 will check if the criterion 15a is satisfied. If so (truth value 1 ), is in step 140 the input variable value 11 as a learning input 11a on the individual assessors 12a . 12b . 12c fed back. Unless the user 18 the matching learning output value 13c delivered, ie the learning input value 11a "Labeled" becomes the learning output value 13c also to the individual judges 12a . 12b . 12c transmitted. Alternatively or in combination, in step 150 by the user 18 Perceptible physical warning device 17 be controlled.

3 zeigt schematisch eine Anwendung der Vorrichtung 1, bzw. des Verfahrens 100, in einem zumindest teilweise automatisiert fahrenden Fahrzeug 2, das sich in einer Verkehrssituation 24 befindet. Ein Sensor 21 erfasst das Fahrzeugumfeld 22 und gibt eine physikalische Messgröße 21a, beispielsweise Bilddaten, aus. Die Messgröße 21a wird als Eingangsgrößenwert 11 verwendet und klassifiziert. Die Wahrscheinlichkeit P(13a, 13b), dass der Eingangsgrößenwert 11 einer bestimmten Klasse der Klassen 13a, bzw. einem bestimmten Wert der Klassifikationsgröße 13b, zuzuschreiben ist, wird als Wahrscheinlichkeit dafür gewertet, dass ein bestimmter Betriebszustand 23 des Fahrzeugs 2, und/oder eine bestimmte Verkehrssituation 24, vorliegt. Weiterhin wird auch die zugehörige Unsicherheit 15 bestimmt, mit der die Klassifikation behaftet ist. Eine hohe Unsicherheit kann beispielsweise eine unbekannte und/oder potentiell gefährliche Verkehrssituation 24, und/oder einen möglichen abnormen Betriebszustand 23 des Fahrzeugs 2, anzeigen. 3 schematically shows an application of the device 1 , or of the method 100 in an at least partially automated vehicle 2 that is in a traffic situation 24 located. A sensor 21 captures the vehicle environment 22 and gives a physical measure 21a , For example, image data from. The measured quantity 21a is used as input value 11 used and classified. The probability P ( 13a . 13b ), that the input value value 11 a particular class of classes 13a , or a specific value of the classification size 13b , is attributed to, as a probability that a certain operating condition 23 of the vehicle 2 , and / or a specific traffic situation 24 , is present. Furthermore, the associated uncertainty 15 determined, with which the classification is afflicted. A high level of uncertainty can be, for example, an unknown and / or potentially dangerous traffic situation 24 , and / or a possible abnormal operating condition 23 of the vehicle 2 , Show.

4 zeigt schematisch eine Anwendung der Vorrichtung 1, bzw. des Verfahrens 100, in der Diagnostik eines Objekts 32. Ein Sensor 31 erfasst das Objekt 32 und gibt eine physikalische Messgröße 31a aus, die analog zu 3 als Eingangsgrößenwert 11 verwendet und klassifiziert wird. Die Wahrscheinlichkeit P(13a, 13b), dass der Eingangsgrößenwert 11 einer bestimmten Klasse der Klassen 13a, bzw. einem bestimmten Wert der Klassifikationsgröße 13b, zuzuschreiben ist, wird als Wahrscheinlichkeit dafür gewertet, dass eine in 4 beispielhaft eingezeichnete Anomalie 32a in dem Objekt 32 vorliegt. Ebenso wird die Unsicherheit 15 der Klassifikation bestimmt. Eine hohe Unsicherheit 15 kann beispielsweise als ein erstes Anzeichen für eine Anomalie 32a gewertet werden, wobei deren konkrete Art nicht einmal vorab bekannt sein muss. 4 schematically shows an application of the device 1 , or of the method 100 , in the diagnosis of an object 32 , A sensor 31 captures the object 32 and gives a physical measure 31a out, which is analogous to 3 as input value 11 used and classified. The probability P (13a, 13b) that the input value value 11 a particular class of classes 13a , or a specific value of the classification size 13b , is attributed as a probability that an in 4 exemplified anomaly 32a in the object 32 is present. Likewise, the uncertainty 15 of the classification. A high uncertainty 15 for example, as a first sign of an anomaly 32a but their concrete nature does not even have to be known in advance.

5 zeigt schematisch eine Anwendung der Vorrichtung 1, bzw. des Verfahrens 100, in der Überwachungstechnik. Hier wird mit einem als Kamera eingezeichneten Sensor 41 ein Bereich 42 überwacht, in diesem Beispiel eine Bushaltestelle. Das Signal 41a des Sensors 41 wird wiederum als Eingangsgrößenwert 11 verwendet und analog zu den 3 und 4 klassifiziert. Die Wahrscheinlichkeit P(13a, 13b), dass der Eingangsgrößenwert 11 einer bestimmten Klasse der Klassen 13a, bzw. einem bestimmten Wert der Klassifikationsgröße 13b, zuzuschreiben ist, wird als Wahrscheinlichkeit dafür gewertet, dass eine in 5 beispielhaft als Kofferbombe eingezeichnete Gefahrensituation 43 vorliegt. Weiterhin wird auch die Unsicherheit 15 der Klassifikation bestimmt. Ein hoher Wert der Unsicherheit 15 kann dann eine ungewöhnliche oder gänzlich unbekannte Situation anzeigen. Hierhinter könnte sich beispielsweise der Versuch eines Täters verbergen, eine bewusst herbeigeführte Gefahrensituation 43 zu kaschieren. 5 schematically shows an application of the device 1 , or of the method 100 , in surveillance technology. Here is a sensor marked as a camera 41 an area 42 monitors, in this example, a bus stop. The signal 41a of the sensor 41 again becomes the input value 11 used and analogous to the 3 and 4 classified. The probability P ( 13a . 13b ), that the input value value 11 a particular class of classes 13a , or a specific value of the classification size 13b , is attributed as a probability that an in 5 exemplified as a suitcase bomb hazard situation 43 is present. Furthermore, the uncertainty 15 of the classification. A high value of uncertainty 15 can then show an unusual or completely unknown situation. For example, this could conceal the attempt of a perpetrator, a deliberately created danger situation 43 to conceal.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 10342528 A1 [0002]DE 10342528 A1 [0002]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • P. Melville, R. J. Mooney, „Diverse Ensembles for Active Learning“, Proceedings of the 21st Conference on Machine Learning, Banff (2004 [0004]P. Melville, RJ Mooney, "Various ensembles for Active Learning", Proceedings of the 21 st Conference on Machine Learning, Banff (2004 [0004]

Claims (14)

Vorrichtung (1) zur Klassifizierung mindestens eines Eingangsgrößenwertes (11) in eine von mehreren diskreten Klassen (13a), und/oder anhand einer kontinuierlichen Klassifikationsgröße (13b), umfassend: • eine Mehrzahl von mittels Lern-Eingangsgrößenwerten (11a) und Lern-Ausgangsgrößenwerten (13c) trainierbaren Einzelbewertern (12a-12c), die auf identischen Mengen von Lern-Eingangsgrößenwerten (11a) vortrainiert sind und die jeweils dazu ausgebildet sind, dem Eingangsgrößenwert (11) eine Wahrscheinlichkeitsverteilung (Pa, Pb, Pc) zuzuordnen, wobei diese Wahrscheinlichkeitsverteilung (Pa, Pb, Pc) zu jeder der diskreten Klassen (13a), bzw. zu jedem möglichen Wert der Klassifikationsgröße (13b), angibt, mit welcher Wahrscheinlichkeit der Eingangsgrößenwert (11) auf die jeweilige Klasse (13a), bzw. auf den jeweiligen Wert (13b), abzubilden ist; und • ein Konfidenzmodul (14), das dazu ausgebildet ist, aus Abweichungen zwischen den von den Einzelbewertern (12a-12c) gelieferten Wahrscheinlichkeitsverteilungen (Pa, Pb, Pc) die Unsicherheit (15) zu bestimmen, mit der die Klassifizierung behaftet ist, dadurch gekennzeichnet, dass die Vorrichtung (1) zusätzlich ein Feedbackmodul (16) umfasst, das dazu ausgebildet ist, in Antwort darauf, dass die Unsicherheit (15) für einen Eingangsgrößenwert (11) ein vorgegebenes Kriterium (15a) erfüllt, diesen Eingangsgrößenwert (11) als Lern-Eingangsgrößenwert (11a) an alle Einzelbewerter (12a-12c) zurückzukoppeln, und/oder eine vom Benutzer (18) der Vorrichtung (1) wahrnehmbare physikalische Warneinrichtung (17) anzusteuern.Apparatus (1) for classifying at least one input quantity value (11) into one of a plurality of discrete classes (13a), and / or on the basis of a continuous classification quantity (13b), comprising: • a plurality of by means of learning input values (11a) and learning output values (13c) trainable individual evaluators (12a-12c), which are pre-trained on identical sets of learning input values (11a) and each adapted to assign a probability distribution (P a , P b , P c ) to the input variable (11), wherein this probability distribution (P a , P b , P c ) for each of the discrete classes (13a), or for each possible value of the classification variable (13b), indicates with what probability the input value (11) of the respective class (13a ), or to the respective value (13b), is to be mapped; and • a confidence module (14) adapted to determine from deviations between the probability distributions (P a , P b , P c ) provided by the individual evaluators (12a-12c) the uncertainty (15) with which the classification is subject characterized in that the device (1) additionally comprises a feedback module (16) adapted to respond to this input variable value in response to the uncertainty (15) for an input variable value (11) satisfying a predetermined criterion (15a) (11) as a learning input variable value (11a) to all feedback to individual evaluators (12a-12c), and / or a by the user (18) of the device (1) perceptible physical warning device (17). Vorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass zwischen 5 und 50 Einzelbewerter (12a-12c) vorgesehen sind.Device (1) according to Claim 1 , characterized in that between 5 and 50 individual evaluators (12a-12c) are provided. Vorrichtung (1) nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass das Feedbackmodul (16) zusätzlich dazu ausgebildet ist, einen zu dem Lern-Eingangsgrößenwert (11a) gehörenden Lern-Ausgangsgrößenwert (13c) vom Benutzer (18) der Vorrichtung (1) anzufordern und gemeinsam mit dem Lern-Eingangsgrößenwert (11a) an alle Einzelbewerter (12a-12c) zurückzukoppeln.Device (1) according to one of Claims 1 to 2 characterized in that the feedback module (16) is additionally adapted to request a learning output value (13c) belonging to the learning input value (11a) from the user (18) of the device (1) and together with the learning input value ( 11a) to all individual evaluators (12a-12c). Vorrichtung (1) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass mindestens einer der Einzelbewerter (12a-12c) ein künstliches neuronales Netzwerk beinhaltet.Device (1) according to one of Claims 1 to 3 , characterized in that at least one of the individual evaluators (12a-12c) includes an artificial neural network. Vorrichtung (1) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zusätzlich ein Aggregator (19) vorgesehen ist, der dazu ausgebildet ist, die von den Einzelbewertern (12a-12c) gelieferten Wahrscheinlichkeitsverteilungen (Pa, Pb, Pc) zu einer Gesamt-Wahrscheinlichkeitsverteilung (P) zu aggregieren.Device (1) according to one of Claims 1 to 4 , characterized in that in addition an aggregator (19) is provided which is adapted to aggregate the probability distributions (P a , P b , P c ) supplied by the individual evaluators (12a-12c) to an overall probability distribution (P) , Vorrichtung (1) nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Einzelbewerter (12a-12c) dazu ausgebildet sind, Bilddaten als Eingangsgrößenwerte (11) entgegenzunehmen und im Hinblick auf die Ausprägung mindestens eines vorgegebenen Merkmals, und/oder im Hinblick auf das Vorhandensein mindestens eines vorgegebenen Objekts, zu klassifizieren.Device (1) according to one of Claims 1 to 5 , characterized in that the individual evaluators (12a-12c) are adapted to receive image data as input values (11) and to classify them with regard to the expression of at least one predetermined feature, and / or with regard to the presence of at least one predetermined object. Verfahren (100) zum Betreiben und/oder Trainieren einer Vorrichtung (1) zur Klassifizierung mindestens eines Eingangsgrößenwertes (11) in eine von mehreren diskreten Klassen (13a), und/oder anhand einer kontinuierlichen Klassifikationsgröße (13b), wobei • durch eine Mehrzahl von mittels Lern-Eingangsgrößenwerten (11a) und Lern-Ausgangsgrößenwerten (13c) trainierbaren Einzelbewertern (12a-12c) jeweils jedem Eingangsgrößenwert (11) aus einer identischen Menge eine Wahrscheinlichkeitsverteilung (Pa, Pb, Pc) zugeordnet wird (110), wobei diese Wahrscheinlichkeitsverteilung (Pa, Pb, Pc) zu jeder der diskreten Klassen (13a), bzw. zu jedem möglichen Wert der Klassifikationsgröße (13b), angibt, mit welcher Wahrscheinlichkeit der Eingangsgrößenwert (11) auf die jeweilige Klasse (13a), bzw. auf den jeweiligen Wert (13b), abzubilden ist; und • aus Abweichungen zwischen den von den Einzelbewertern (12a-12c) gelieferten Wahrscheinlichkeitsverteilungen (Pa, Pb, Pc) die Unsicherheit (15) bestimmt wird (120), mit der die Klassifizierung behaftet ist, dadurch gekennzeichnet, dass in Antwort darauf, dass die Unsicherheit (15) für einen Eingangsgrößenwert (11) ein vorgegebenes Kriterium (15a) erfüllt (130), der Eingangsgrößenwert (11) als Lern-Eingangsgrößenwert (11a) an alle Einzelbewerter (12a-12c) rückgekoppelt wird (140), und/oder eine vom Benutzer (18) der Vorrichtung (1) wahrnehmbare physikalische Warneinrichtung (17) angesteuert wird (150).Method (100) for operating and / or training a device (1) for classifying at least one input variable value (11) into one of a plurality of discrete classes (13a), and / or on the basis of a continuous classification variable (13b), wherein • by a plurality of by means of learning input values (11a) and learning output values (13c) trainable individual evaluators (12a-12c) each input value (11) from an identical set a probability distribution (P a , P b , P c ) is assigned (110), wherein this probability distribution (P a , P b , P c ) to each of the discrete classes (13a), or to each possible value of the classification variable (13b), indicates the probability with which the input variable value (11) relates to the respective class (13a) , or to the respective value (13b), is to be mapped; and • from deviations between the probability distributions (P a , P b , P c ) provided by the individual evaluators (12a-12c) the uncertainty (15) is determined (120), which is associated with the classification, characterized in that in response in that the uncertainty (15) for an input variable value (11) satisfies (130) a predetermined criterion (15), the input variable value (11) is fed back as feedback learning input variable value (11a) to all individual evaluators (12a-12c) (140) , and / or a physical warning device (17) perceptible by the user (18) of the device (1) is actuated (150). Verfahren (100) nach Anspruch 7, dadurch gekennzeichnet, dass eine Vorrichtung (1) gewählt wird, in der mindestens zwei Einzelbewerter (12a-12c) unterschiedlichen Typs sind.Method (100) according to Claim 7 , characterized in that a device (1) is selected in which at least two individual evaluators (12a-12c) of different types. Verfahren (100) nach einem der Ansprüche 7 bis 8, dadurch gekennzeichnet, dass beim Trainieren mindestens zwei Einzelbewerter (12a-12c) mit unterschiedlichen Startkonfigurationen initialisiert werden.Method (100) according to one of Claims 7 to 8th , characterized in that when training at least two Einzelbewerter (12a-12c) are initialized with different startup configurations. Verfahren (100) nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass beim Trainieren mindestens zwei Einzelbewerter (12a-12c) mit unterschiedlichen Abfolgen der gleichen Lern-Eingangsgrößenwerte (11a) beaufschlagt werden.Method (100) according to one of Claims 7 to 9 , characterized in that during training at least two individual evaluators (12a-12c) with different sequences of the same learning input values (11a) are applied. Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, und/oder das Steuergerät, zu einer Vorrichtung (1) nach einem der Ansprüche 1 bis 6 aufwerten, und/oder dazu veranlassen, ein Verfahren (100) nach einem der Ansprüche 7 bis 10 auszuführen. A computer program comprising machine-readable instructions which, when executed on a computer and / or on a control device, move the computer and / or the control device to a device (1) according to one of the Claims 1 to 6 upgrade, and / or cause, a method (100) according to one of Claims 7 to 10 perform. Verwendung einer Vorrichtung (1) nach einem der Ansprüche 1 bis 6, eines Verfahrens (100) nach einem der Ansprüche 1 bis 10 und/oder eines Computerprogramms nach Anspruch 11 in einem zumindest teilweise automatisiert fahrenden Fahrzeug (2), wobei der Eingangsgrößenwert (11) von mindestens einem Sensor (21) bezogen wird, der eine physikalische Messgröße (21a) im Fahrzeug (2) oder in der Umgebung (22) des Fahrzeugs (2) erfasst, und wobei die Klassen (13a), bzw. die Klassifikationsgröße (13b), einen Betriebszustand (23) des Fahrzeugs (2), und/oder eine Verkehrssituation (24), charakterisieren.Use of a device (1) according to one of Claims 1 to 6 , a method (100) according to one of Claims 1 to 10 and / or a computer program Claim 11 in an at least partially automated vehicle (2), wherein the input variable value (11) is obtained from at least one sensor (21) having a physical measured variable (21a) in the vehicle (2) or in the environment (22) of the vehicle (2 ), and wherein the classes (13a) or the classification variable (13b) characterize an operating state (23) of the vehicle (2) and / or a traffic situation (24). Verwendung einer Vorrichtung (1) nach einem der Ansprüche 1 bis 6, eines Verfahrens (100) nach einem der Ansprüche 1 bis 10 und/oder eines Computerprogramms nach Anspruch 11 in der Diagnostik, wobei der Eingangsgrößenwert (11) von mindestens einem Sensor (31) bezogen wird, der eine physikalische Messgröße (31a) an einem zu untersuchenden Objekt oder Patienten (32) erfasst, und wobei die Klassen (13a), bzw. die Klassifikationsgröße (13b), den Ausprägungsgrad mindestens einer Anomalie (32a) des Objekts oder Patienten (32) charakterisieren.Use of a device (1) according to one of Claims 1 to 6 , a method (100) according to one of Claims 1 to 10 and / or a computer program Claim 11 in diagnostics, wherein the input variable value (11) is obtained from at least one sensor (31) which detects a physical measurand (31a) on an object or patient (32) to be examined, and wherein the classes (13a), Classification size (13b), characterize the degree of severity of at least one abnormality (32a) of the object or patient (32). Verwendung einer Vorrichtung (1) nach einem der Ansprüche 1 bis 6, eines Verfahrens (100) nach einem der Ansprüche 1 bis 10 und/oder eines Computerprogramms nach Anspruch 11 in der Überwachungstechnik, wobei der Eingangsgrößenwert (11) von mindestens einem Sensor (41) bezogen wird, der eine physikalische Messgröße (41a) aus dem zu überwachenden Bereich (42) erfasst, und wobei die Klassen (13a), bzw. die Klassifikationsgröße (13b), den Ausprägungsgrad mindestens einer Gefahrensituation (43) charakterisieren.Use of a device (1) according to one of Claims 1 to 6 , a method (100) according to one of Claims 1 to 10 and / or a computer program Claim 11 in the monitoring technique, wherein the input variable value (11) is obtained from at least one sensor (41) which detects a physical measured variable (41a) from the region (42) to be monitored, and wherein the classes (13a) or the classification variable (13) 13b), characterize the degree of severity of at least one dangerous situation (43).
DE102017219269.0A 2017-10-26 2017-10-26 Classification with automatic selection of promising learning data Pending DE102017219269A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017219269.0A DE102017219269A1 (en) 2017-10-26 2017-10-26 Classification with automatic selection of promising learning data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017219269.0A DE102017219269A1 (en) 2017-10-26 2017-10-26 Classification with automatic selection of promising learning data

Publications (1)

Publication Number Publication Date
DE102017219269A1 true DE102017219269A1 (en) 2019-05-02

Family

ID=66137794

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017219269.0A Pending DE102017219269A1 (en) 2017-10-26 2017-10-26 Classification with automatic selection of promising learning data

Country Status (1)

Country Link
DE (1) DE102017219269A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020260015A1 (en) * 2019-06-26 2020-12-30 Robert Bosch Gmbh Operation of trainable modules with monitoring of whether the area of application of the training is left
DE102020205542A1 (en) 2020-04-30 2021-11-04 Robert Bosch Gesellschaft mit beschränkter Haftung Preparation of learning data sets with noisy labels for classifiers

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10342528A1 (en) 2003-09-12 2005-04-14 Robert Bosch Gmbh Method and device for driver assistance

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10342528A1 (en) 2003-09-12 2005-04-14 Robert Bosch Gmbh Method and device for driver assistance

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Argamon-Engelson, S.; Dagan, I.: Committee-Based Sample Selection for Probabilistic Classifiers. In: Journal of Artificial Intelligence Research, 11, 1999, S. 335-360. - ISSN 1076 - 9757. https://doi.org/10.1613/jair.612 [abgerufen am 08.08.2018] *
Ensemble learning. In: Wikipedia, the free encyclopedia. Bearbeitungsstand: 19.10.2017. URL: https://en.wikipedia.org/w/index.php?title=Ensemble_learning&oldid=806118156 [abgerufen am 08.08.2018] *
Krogh, Anders; Vedelsby, Jesper: Neural Network Ensembles, Cross Validation, and Active Learning. In: Neural Information Processing Systems 1994, 1994, S. 231-238. http://papers.nips.cc/book/advances-in-neural-information-processing-systems-7-1994 [abgerufen am 08.08.2018] *
P. Melville, R. J. Mooney, „Diverse Ensembles for Active Learning", Proceedings of the 21st Conference on Machine Learning, Banff (2004
Settles, Burr: Active Learning Literature Survey, Computer Sciences Technical Report 1648, University of Wisconsin–Madison, 2009, S. i-ii, 1-2, 4, 7-21,31-32,43-44. URL: http://burrsettles.com/pub/settles.activelearning.pdf [abgerufen am 08.08.2018] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020260015A1 (en) * 2019-06-26 2020-12-30 Robert Bosch Gmbh Operation of trainable modules with monitoring of whether the area of application of the training is left
DE102020205542A1 (en) 2020-04-30 2021-11-04 Robert Bosch Gesellschaft mit beschränkter Haftung Preparation of learning data sets with noisy labels for classifiers

Similar Documents

Publication Publication Date Title
DE102017217733A1 (en) Checking a neural network
DE102018220941A1 (en) Evaluation of measured variables with AI modules taking into account measurement uncertainties
DE102017219269A1 (en) Classification with automatic selection of promising learning data
DE102018128289A1 (en) METHOD AND DEVICE FOR AUTONOMOUS SYSTEM PERFORMANCE AND CLASSIFICATION
EP3646184A1 (en) Method, apparatus and computer-readable storage medium having instructions for cancelling a redundancy of two or more redundant modules
DE102012206037A1 (en) A learning method for automatic recognition of traffic signs, method for determining an updated parameter set for a classification of a traffic sign and traffic sign recognition system
WO2005034062A1 (en) Method for the evaluation and temporal stabilization of classification results
DE102017116016A1 (en) A motor vehicle sensor device having a plurality of sensor units and a neural network for generating an integrated representation of an environment
DE102019209644A1 (en) Method for training a neural network
DE102019203634A1 (en) Method and device for controlling a robot
DE102018220711A1 (en) Measuring the vulnerability of AI modules to attempts at deception
EP3748453B1 (en) Method and device for automatically executing a control function of a vehicle
DE102020211849A1 (en) TRAINING A MACHINE LEARNING MODEL USING A BATCH-BASED ACTIVE LEARNING APPROACH
WO2020216621A1 (en) Training trainable modules with learning data, the labels of which are subject to noise
EP3467722B1 (en) Configuration of a motor vehicle driver assisting device using a neural network in ongoing operation
DE102019209462A1 (en) Method for determining a confidence value of a detected object
DE102019209736A1 (en) Procedure for evaluating possible trajectories
DE102019114049A1 (en) Method for validating a driver assistance system using further generated test input data sets
DE102018220608A1 (en) Machine learning system, as well as a method, a computer program and a device for creating the machine learning system
DE102019113958A1 (en) A method of enhancing the performance of a vehicle system having a neural network for controlling a vehicle component
DE112017007247T5 (en) IMAGING DEVICE
DE102017213771A1 (en) Method and apparatus for detecting anomalies in a communication network
DE102017116017A1 (en) An automotive sensor device having a plurality of sensor units and a plurality of neural networks for generating a combined representation of an environment
DE102018214921A1 (en) Arrangement and method for controlling a device
DE102019217300A1 (en) Method for training an artificial neural network, computer program, storage medium, device, artificial neural network and application of the artificial neural network

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06N0003080000

R163 Identified publications notified