DE102020203838A1

DE102020203838A1 - Quantitative Bewertung der Unsicherheit von Aussagen eines Klassifikators

Info

Publication number: DE102020203838A1
Application number: DE102020203838.4A
Authority: DE
Inventors: Alexandru Paul Condurache; Julia Rebecca Lust
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-03-25
Filing date: 2020-03-25
Publication date: 2021-09-30
Also published as: WO2021191115A1

Abstract

Verfahren (100) zur Bewertung der Unsicherheit, mit der die Zuordnung (3) von Messdaten (2) zu einer oder mehreren Klassen (3a-3c) einer vorgegebenen Klassifikation durch einen Klassifikator (1) behaftet ist, wobei dieser Klassifikator (1) mindestens ein künstliches neuronales Netzwerk, KNN (11), umfasst, dessen Verhalten durch Klassifikations-Parameter (11a) charakterisiert ist, mit den Schritten:• anhand der Messdaten (2), der für diese Messdaten (2) durch den Klassifikator (1) ermittelten Zuordnung (3) sowie der Klassifikations-Parameter (11a) und Architektur (11b) des KNN (11) wird eine Abhängigkeit (4, 4a) der Zuordnung (3), und/oder eine Abhängigkeit (4, 4b) einer die Korrektheit dieser Zuordnung (3) bewertenden Kostenfunktion (5), von den Klassifikations-Parametern (11a) ermittelt (110);• die ermittelte Abhängigkeit (4) wird mit mindestens einem trainierbaren Bewertungs-Netzwerk (6), dessen Verhalten durch Bewertungs-Parameter (6a) charakterisiert ist, auf mindestens eine Bewertungsgröße (7) abgebildet (120), die ein Maß ist für die Wahrscheinlichkeit p, dass die durch den Klassifikator (1) ermittelte Zuordnung (3) korrekt ist.

Description

Die vorliegende Erfindung betrifft die automatisierte Klassifikation physikalischer Messdaten, mit der beispielsweise Bilddaten oder andere Beobachtungsdaten auf Objekte analysiert werden können, die in einem beobachteten Bereich vorhanden sind.
Stand der Technik
Damit Fahrzeuge ganz oder teilweise automatisiert am Straßenverkehr teilnehmen können, werden Steuerungssysteme benötigt, die verkehrsrelevante Objekte im Fahrzeugumfeld zuverlässig erkennen und eine jeweils angemessene Reaktion einleiten. Derartige Systeme führen Bilddaten oder andere Beobachtungsdaten in der Regel einem Klassifikator zu, der ein künstliches neuronale Netzwerk, KNN, enthält. Ein solcher Klassifikator ordnet die Beobachtungsdaten, etwa das Bild, einer oder mehreren Klassen aus einer vorgegebenen Klassifikation zu. Ist beispielsweise in einem Bild oder Bildbereich ein Fahrzeug zu sehen, wird das Bild, bzw. der Bildbereich, der Klasse „Fahrzeug“ zugeordnet. Dabei sorgt die Kraft von KNNs zur Verallgemeinerung dafür, dass beispielsweise auch Fahrzeuge mit verändertem Design, die erst nach dem Training des KNNs auf den Markt gekommen sind, als Fahrzeuge erkannt werden.
Für die Betriebssicherheit ist es wichtig zu wissen, ob diese Verallgemeinerung in jedem Fall tatsächlich auf die richtige Klasse führt. Rauschen und andere Störungen in den Beobachtungsdaten können ebenso wie bewusste Manipulationen mit sogenannten „adversarial examples“ zu Fehlklassifikationen führen. Die DE 10 2017 218 889 A1 offenbart ein KNN, dessen Gewichte bei jeder Verwendung aus einer zufälligen Verteilung gezogen werden. Wird diesem KNN ein und dieselbe Eingabe mehrfach zugeführt, kann aus der Streuung der Ausgabe auf die Unsicherheit dieser Ausgabe geschlossen werden.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Verfahren zur Bewertung der Unsicherheit, mit der die Zuordnung physikalischer Messdaten zu einer oder mehreren Klassen einer vorgegebenen Klassifikation durch einen Klassifikator behaftet ist, entwickelt.
Hierbei umfasst der Begriff „Messdaten“ neben physikalischen Messdaten, die in einem physikalischen Messprozess mit mindestens einem Sensor aufgenommen wurden, auch Messdaten, die durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden. Die Messdaten können beispielsweise auch realistische synthetische Messdaten sein, die sich etwa mittels Generative Adversarial Networks, GANs, erzeugen lassen. Derartige synthetische Messdaten werden häufig verwendet, um eine Knappheit an Trainingsdaten zu lindern. Sie lassen sich bei Betrachtung in der Regel nur schwierig von „echten“ Messdaten, die tatsächlich physikalisch mit einem Sensor erfasst wurden, unterscheiden.
Der Klassifikator umfasst mindestens ein künstliches neuronales Netzwerk, KNN, dessen Verhalten durch Klassifikations-Parameter charakterisiert ist. Die Klassifikations-Parameter können insbesondere Gewichte umfassen, mit denen Eingaben, die einem Neuron oder einer anderen Verarbeitungseinheit des KNN zugeführt werden, zu einer Aktivierung dieses Neurons bzw. dieser anderen Verarbeitungseinheit verrechnet werden.
Bei dem Verfahren wird eine Abhängigkeit der vom Klassifikator gelieferten Zuordnung, und/oder eine Abhängigkeit einer die Korrektheit dieser Zuordnung bewertenden Kostenfunktion, von den Klassifikations-Parametern ermittelt. Diese Abhängigkeit wird mit mindestens einem trainierbaren Bewertungs-Netzwerk, dessen Verhalten durch Bewertungs-Parameter charakterisiert ist, auf mindestens eine Bewertungsgröße abgebildet. Diese Bewertungsgröße ist wiederum ein Maß für die Wahrscheinlichkeit p, dass die durch den Klassifikator ermittelte Zuordnung korrekt ist. Die Bewertungsgröße kann insbesondere mit dieser Wahrscheinlichkeit p identisch sein.
In die Abhängigkeit der Zuordnung von den Klassifikations-Parametern gehen die Messdaten selbst, die für diese Messdaten durch den Klassifikator ermittelte Zuordnung, die Architektur des KNN sowie die Klassifikations-Parameter des KNN, auf deren Grundlage der Klassifikator die Zuordnung vorgenommen hat, ein. Mit dem Verfahren kann also die Unsicherheit der Zuordnung nicht nur im fertig trainierten Zustand des KNN mit den finalen Klassifikations-Parametern, sondern auch bei einem beliebigen früheren Trainingsstand bewertet werden.
Es wurde erkannt, dass ein Bewertungs-Netzwerk in der Lage ist, auch eine hoch dimensionale und somit sehr detaillierte Information über die Abhängigkeit der Zuordnung, bzw. der Kostenfunktion, von den Klassifikations-Parametern auf eine sehr niederdimensionale Bewertungsgröße, wie beispielsweise die eindimensionale Wahrscheinlichkeit p, abzubilden. Insbesondere kann die Abhängigkeit, die von dem Bewertungs-Netzwerk verarbeitet wird, beispielsweise nach Schichten eines schichtweise aufgebauten KNN aufgeschlüsselt sein, auf die sich die Klassifikations-Parameter (wie etwa Gewichte) beziehen. Gerade die Verteilung der Abhängigkeit über die Schichten kann qualitative Muster enthalten. Das Bewertungs-Netzwerk kann diese qualitativen Muster erkennen und in eine quantitative Aussage über die Unsicherheit ummünzen.
Prinzipiell ließe sich die Unsicherheit auch anhand der Abhängigkeit der Zuordnung, bzw. der Kostenfunktion, von den Messdaten selbst ermitteln. Indem jedoch die Klassifikations-Parameter als Variablen gewählt werden, ist die Verteilung der Abhängigkeit über die Schichten besser erfassbar. Die Klassifikations-Parameter sind nicht nur in der Schicht, die die Messdaten entgegengenommen hat, sondern auch in tieferen Schichten transparente und zugängliche Parameter. Die Messdaten selbst wirken hingegen unmittelbar nur auf die erste Schicht, während alle tieferen Schichten mit Verarbeitungsprodukten dieser Messdaten arbeiten.
Der Begriff „Kostenfunktion“ ist nicht dahingehend einschränkend zu verstehen, dass die Korrektheit der Zuordnung grundsätzlich unter Heranziehung von „ground truth“ bewertet werden muss. „Ground truth“ gibt zu konkreten Messdaten an, welche Soll-Klassifikation der Klassifikator diesen konkreten Messdaten idealerweise zuordnen sollte, und kann verwendet werden, sofern sie verfügbar ist. Es ist jedoch auch ohne „ground truth“ möglich, die Korrektheit der Zuordnung zu bewerten oder zumindest abzuschätzen. Beispielsweise kann die Kostenfunktion in beliebiger Weise messen, inwieweit die Zuordnung der Messdaten zu einer oder mehreren Klassen in sich plausibel ist, und/oder inwieweit sie auf einem in sich plausiblen Weg zu Stande gekommen ist.
Die Auswertung einer Kostenfunktion ist gegenüber einer direkten Auswertung der Zuordnung selbst flexibler. In vielen Anwendungen umfasst die letztendlich vom Klassifikator gelieferte Zuordnung die Angabe einer oder mehrerer diskreter Klassen, die zu den Messdaten passen, und kann schon allein deswegen keine stetige Funktion in den Klassifikations-Parametern sein. Auch die Nutzung unstetiger Aktivierungsfunktionen, wie etwa ReLU, in dem KNN führt dazu, dass die Ausgabe des KNN keine stetige Funktion mehr in den Klassifikations-Parametern ist. Eine Kostenfunktion lässt sich hingegen gezielt als stetige Funktion formulieren, damit beispielsweise ihr Gradient in den Klassifikations-Parametern immer existiert.
In einer besonders vorteilhaften Ausgestaltung umfasst die Abhängigkeit mindestens einen Gradienten der Zuordnung, bzw. der Kostenfunktion, nach mindestens einem der Klassifikations-Parameter. Da bei der Berechnung der Aktivierung eines Neurons oder einer anderen Verarbeitungseinheit im KNN Produkte aus Eingaben und Gewichten aufsummiert werden, liefert der Gradient nach den Klassifikations-Parametern auch eine Aussage darüber, wie empfindlich die Zuordnung, bzw. die Kostenfunktion, von den eingegebenen Messdaten abhängt.
Dabei ist in einer weiteren besonders vorteilhaften Ausgestaltung die Abhängigkeit durch einen Vektor oder eine Matrix repräsentiert. Dabei hängt in diesem Vektor, bzw. in dieser Matrix, jede Zeile oder jede Spalte nur von Klassifikations-Parametern genau einer Schicht des KNN ab. Auf diese Weise lässt sich die Abhängigkeit besonders gut nach Schichten des KNN aufschlüsseln, so dass das Bewertungs-Netzwerk, wie eingangs beschrieben, gerade in der Verteilung der Abhängigkeit über die Schichten Muster erkennen kann. Beispielsweise kann jede Zeile oder Spalte der Matrix die Gradienten der Zuordnung, bzw. der Kostenfunktion, nach allen Klassifikations-Parametern (etwa Gewichten) genau einer Schicht des KNN enthalten.
In einer weiteren besonders vorteilhaften Ausgestaltung werden Beiträge zu der Abhängigkeit, die von den Klassifikations-Parametern einer jeden Schicht abhängen, zu einem dieser Schicht zugeordneten Skalar in dem Vektor bzw. der Matrix verdichtet werden. Auf diese Weise bleibt die Abhängigkeit nach Schichten des KNN aufgeschlüsselt, während zugleich die Informationsmenge in Bezug auf diese Abhängigkeit deutlich verdichtet wird.
Der Skalar kann insbesondere beispielsweise als Norm eines Vektors mit den Beiträgen gebildet werden. In dem zuvor genannten Beispiel kann also die Zeile bzw. Spalte der Matrix, die die Gradienten nach den Klassifikations-Parametern einer Schicht enthält, als Vektor geschrieben und die Norm dieses Vektors (beispielsweise 1-Norm) gebildet werden.
In einer besonders vorteilhaften Ausgestaltung wird eine Kostenfunktion gewählt, die sowohl von einer Zuordnung der physikalischen Messdaten, oder eines Verarbeitungsprodukts dieser physikalischen Messdaten, zu mehreren Klassen durch das KNN als auch von einer durch den Klassifikator ausgewählten Klasse des KNN abhängt. Auf diese Weise kann insbesondere ausgewertet werden, wie stark sich die der Verarbeitung der Messdaten mit dem KNN nachgeschaltete Diskretisierung auf nur noch eine Klasse durch den Klassifikator auf das Endergebnis auswirkt. Dies ist ein Indikator für die Unsicherheit, der keine „ground truth“ hinsichtlich einer Soll-Zuordnung benötigt.
So liefern beispielsweise viele für in Klassifikatoren verwendete KNNs einen vektoriellen „Softmax-Score“ von Wahrscheinlichkeiten, mit denen die eingegebenen Messdaten aus der Sicht des KNN jeder der verfügbaren Klassen angehören. Der Klassifikator kann dann etwa die Klasse mit der höchsten Wahrscheinlichkeit als Zuordnung ausgeben.
Wenn beispielsweise fünf Klassen zur Verfügung stehen und der vom KNN ermittelte Softmax-Score für konkrete Messdaten x der Vektor F(x)=(0,05, 0,05, 0,98, 0,05, 0,05) ist, dann wählt der Klassifikator anhand der Wahrscheinlichkeit von 0,98 für die dritte Klasse diese dritte Klasse für die Zuordnung zu diesen konkreten Messdaten aus. Die Zuordnung kann dann beispielswiese der Vektor y=(0, 0, 1, 0, 0) sein, der nur in seiner dritten Komponente verschieden ist. In diesem Beispiel ist es recht eindeutig, dass die Wahl der dritten Klasse plausibel ist. Wenn für die gleichen Messdaten hingegen F(x)=(0,2, 0,19, 0,21, 0,2, 0,2) als Softmax-Score ermittelt wird, liefert der Klassifikator am Ende als Zuordnung den gleichen Vektor (0, 0, 1, 0,0). Es ist aber dann deutlich weniger plausibel, dass gerade die dritte Klasse ausgezeichnet sein soll.
Dies lässt sich beispielsweise mit einer Kostenfunktion („Loss-Funktion“) L der Form $L (Θ, F (x), y)$
ausdrücken. Hierin sind Θ die Klassifikations-Parameter des KNN, die sich wiederum unterteilen lassen in Klassifikations-Parameter θ₁, ..., θ_n, der Schichten 1 bis n des KNN. Die Differenz zwischen dem Softmax-Score F(x) und dem als Zuordnung ausgegebenen Vektor y, der immer eine Eins und vier Nullen enthält, hängt dann direkt mit dem Gradienten $\nabla_{θ_{n}} L (Θ, F (x), y)$
dieser Kostenfunktion bezüglich der Klassifikations-Parameter θ_n der letzten Schicht n des KNN zusammen. Ausgehend hiervon lassen sich für die vorherigen Schichten n-1, ..., 1 die Gradienten bezüglich der Klassifikations-Parameter θ_n-1, ..., θ₁ beispielsweise im Wege der Rückpropagation durch das KNN ermitteln. Somit wirkt sich ein großer Unterschied zwischen dem Softmax-Score F(x) einerseits und der letztendlichen Klassenzuordnung y andererseits auf die Gradienten in allen Schichten 1, ..., n des KNN aus.
An Stelle des Softmax-Scores F(x) für die tatsächlichen Messdaten x kann in der Kostenfunktion L auch ein Softmax-Score F(x̃) genutzt werden, den das KNN für ein Verarbeitungsprodukt x̃ der Messdaten x ermittelt. Insbesondere kann die Klassenzuordnung y nach wie vor auf der Basis von F(x) ermittelt, dann aber mit F(x̃) verglichen werden. Das Verarbeitungsprodukt x̃ kann hierbei insbesondere beispielsweise durch ein beliebiges Entrauschungsverfahren aus den tatsächlichen Messdaten x gebildet werden. Als Entrauschungsverfahren können beispielsweise

• eine Glättung mit einem Gaußschen Filterkern mit einer vorgegebenen Standardabweichung,
• eine Hochpassfilterung und/oder Tiefpassfilterung in einem Frequenzraum oder Ortsfrequenzraum, und/oder
• eine schwellwertbasierte Filterung (Thresholding) einer Repräsentation der Messdaten x in Wavelet-Koeffizienten

Der Hintergedanke hierbei ist, dass eine Fehlklassifikation von Messdaten häufig durch kleine Störungen in den Messdaten verursacht wird. Das Entrauschen beseitigt kleine Störungen. Wenn sich hierdurch der Softmax-Score F(x̃) so deutlich ändert, dass eigentlich eine ganz andere Klasse als die zuvor mit dem Vektor y ausgegebene Klasse sachgerecht wäre, kann dies durch die Kostenfunktion entsprechend „bestraft“ werden.
Wie zuvor erläutert, lassen sich die Gradienten ∇_Θ1L, ..., ∇_ΘnL der Kostenfunktion L bezüglich der Klassifikations-Parameter θ₁, ..., θ_n einer jeden Schicht 1, ..., n des KNN für jede Schicht 1, ..., n mit einer Norm zu einem Skalar aggregieren. Die Abhängigkeit ∇_ΘL(Θ,F(x̃),y) der Kostenfunktion L von den Klassifikations-Parametern Θ lässt sich dann in einem Vektor zusammenfassen: $\nabla_{Θ} L (Θ, F (\tilde{x}), y) = (\begin{matrix} {‖ \nabla_{θ_{1}} L (Θ, F (\tilde{x}), y) ‖}_{1} \\ ⋮ \\ {‖ \nabla_{θ_{n}} L (Θ, F (\tilde{x}), y) ‖}_{1} \end{matrix})$
Dieser Vektor kann vom Bewertungs-Netzwerk auf die Bewertungsgröße abgebildet werden.
In einer besonders vorteilhaften Ausgestaltung umfasst das Bewertungs-Netzwerk mindestens ein logistisches Regressionsnetzwerk, das die Abhängigkeit auf eine Wahrscheinlichkeit p, dass die durch den Klassifikator ermittelte Zuordnung korrekt ist, abbildet. Ein solches logistisches Regressionsnetzwerk ist sehr parametereffizient. In dem zuvor erläuterten Beispiel, in dem die Abhängigkeit ∇_ΘL(Θ,F(x̃),y) für ein KNN mit n Schichten durch einen Vektor der Länge n repräsentiert wird, werden nur n+1 Parameter für das logistische Regressionsnetzwerk benötigt. Dementsprechend ist der Raum, in dem beim Training des Regressionsnetzwerks die optimale Konfiguration dieser Parameter zu suchen ist, vergleichsweise niedrigdimensional.
Alternativ oder in Kombination hierzu kann das Bewertungs-Netzwerk mindestens ein Klassifikationsnetzwerk umfassen, das die Abhängigkeit auf mindestens eine Bewertungsstufe für die Wahrscheinlichkeit p abbildet. Die Wahrscheinlichkeit p kann beispielsweise binär (etwa „in Ordnung“ / „nicht in Ordnung“) oder korrespondierend zur Bedeutung für das zumindest teilweise automatisierte Fahren (etwa „in Ordnung“/„Information“/„Warnung“/„Alarm“) klassifiziert werden.
In einer weiteren besonders vorteilhaften Ausgestaltung wird mindestens ein Bewertungs-Netzwerk anhand der vom Klassifikator ausgegebenen Zuordnung gewählt. Auf diese Weise lässt sich die Genauigkeit der Beurteilung, inwieweit die Zuordnung durch den Klassifikator zutreffend ist, noch weiter verbessern. So müssen beispielsweise in einem Fahrzeugumfeld Objekte vieler unterschiedlicher Typen (etwa Fahrzeuge, Verkehrszeichen, Personen, Fahrbahnbegrenzungen) erkannt werden. Die Beurteilung, ob die jeweilige Zuordnung zu den diesen Typen untergeordneten Klassen (etwa Auto oder Motorrad, Stoppschild oder Tempo-50-Schild) voraussichtlich zutreffend ist, wird dann sinnvollerweise nach Typen aufgeteilt.
Wenn die Bewertungsgröße ein vorgegebenes Kriterium erfüllt, also beispielsweise die Wahrscheinlichkeit p für eine korrekte Zuordnung unter einen vorgegebenen Schwellwert sinkt, können verschiedene Maßnahmen getroffen werden. Im Kontext des zumindest teilweise automatisierten Fahrens kann beispielsweise eine Warnung an einen Nutzer des Fahrzeugs ausgegeben werden, der Nutzer kann zur Übernahme der Kontrolle aufgefordert werden, oder das Fahrzeug kann auf der für einen Systemausfall vorgesehenen Notstopp-Trajektorie zum Stehen gebracht werden.
Mit dem Verfahren erkannte auffällige Unsicherheiten können verschiedene Ursachen haben. Beispielsweise kann die von einem Kamerasystem gelieferte Bildqualität auf Grund ungünstiger Witterungsbedingungen zu schlecht für eine verlässliche Klassifikation sein. Es kann auch eine Situation vorliegen, auf die das KNN des Klassifikators nicht hinreichend trainiert wurde. Im Kontext des zumindest teilweise automatisierten Fahrens sind dies beispielsweise „corner cases“, also Verkehrssituationen, die zwar nur selten vorkommen, dann aber mit besonderer Gefährdung verbunden sind. Auch die Neuschöpfung von Verkehrszeichen durch den Gesetzgeber kann einen Anlass zu Unsicherheiten bei der Klassifikation geben.
So wurde beispielsweise bei der Einführung des Verkehrszeichens „Umweltzone“ das Erscheinungsbild des Verkehrszeichens „Tempo-30-Zone“ im Wesentlichen wiederverwendet. Es wurde lediglich die Zahl 30 gegen das Wort „Umwelt“ ausgetauscht. Wenn das KNN in einem Klassifikator eines Fahrzeugs noch nicht das Update erfahren hat, das ihm dieses neue Verkehrszeichen „Umweltzone“ beibringt, sieht dieses Verkehrszeichen aus Sicht des KNN dem Verkehrszeichen „Tempo-30-Zone“ am ähnlichsten und wird daher wahrscheinlich als ein solches klassifiziert werden. Dabei wird sich aber in den Softmax-Scores niederschlagen, dass dies nicht ganz passt, denn der Schriftzug „Umwelt“ sieht doch anders aus als die Zahl „30“, und das Zusatzschild, das die benötigte Farbe der Umweltplakette angibt, passt auch nicht. Wenn infolgedessen eine erhöhte Unsicherheit erkannt wird, kann beispielsweise vermieden werden, dass auf einer Schnellstraße mit erlaubtem Tempo 80, die in eine Umweltzone führt, plötzlich eine starke Bremsung auf Tempo 30 ausgeführt und ein Auffahrunfall ausgelöst wird.
Unsicherheiten können aber auch böswillige Absichten haben. So eröffnet die Kraft von KNNs zur Verallgemeinerung grundsätzlich die Möglichkeit für Angriffe mit Manipulationen des Erscheinungsbildes etwa von Verkehrszeichen, die einem Menschen kaum auffallen, aber zu einer völlig falschen Klassifikation führen. Mit den „richtigen“ Aufklebern lässt sich etwa provozieren, dass ein Stoppschild als Tempo-70-Schild klassifiziert wird. Auch wurde bereits demonstriert, dass eine halbdurchlässige Folie mit dem „richtigen“ Punktmuster auf der Kameralinse einen Klassifikator dazu veranlassen kann, etwa Fußgänger vollständig zu ignorieren.
In einer besonders vorteilhaften Ausgestaltung wird daher in Antwort darauf, dass die Bewertungsgröße ein vorgegebenes Kriterium erfüllt, das Verfahren unter Austausch des KNN des Klassifikators gegen ein anderes KNN, das ein anderes Training erfahren hat und/oder das eine andere Architektur aufweist, wiederholt. Wenn hierbei eine Klassifikation mit einer deutlich geringeren Unsicherheit erhalten wird, dann kann diese für die weitere Verarbeitung (etwa für die Trajektorienplanung) genutzt werden. Wenn das andere KNN die gleichen Messdaten zutreffender klassifizieren kann, gibt dies zugleich Hinweise auf die mögliche Fehlerursache. Am wahrscheinlichsten ist es, dass entweder das Training des zuerst verwendeten KNNs nicht aktuell oder nicht ausreichend war, oder dass ein Angriff mit einem „adversarial example“ versucht wurde.
Alternativ oder auch in Kombination hierzu können weitere Messdaten mit mindestens einem Sensor aufgenommen werden, und das Verfahren kann mit diesen weiteren Messdaten wiederholt werden. Wenn beispielsweise ein Radarsystem ein Objekt, das zuvor auf einem Kamerabild nur mit großer Unsicherheit klassifiziert wurde, mit großer Sicherheit anders klassifiziert, ist die wahrscheinlichste Ursache, dass das Kamerabild zu schlecht war.
Die Messdaten können insbesondere beispielsweise optische Bilddaten, Wärmebilddaten, Videodaten, Radardaten, Ultraschalldaten, und/oder LIDAR-Daten sein. Dies sind die wichtigsten Typen von Messdaten, anhand derer sich zumindest teilweise automatisiert fahrende Fahrzeuge im Verkehrsraum orientieren. Die Messdaten können durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten werden.
Die Anwendung des Verfahrens ist aber nicht auf Fahrzeuge beschränkt. Ganz allgemein kann aus der Zuordnung in Kombination mit der Bewertungsgröße ein Ansteuersignal gebildet werden, und es kann ein Fahrzeug, und/oder ein Klassifikationssystem, und/oder ein System für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System für die medizinische Bildgebung, und/oder ein Zutrittskontrollsystem, mit diesem Ansteuersignal angesteuert werden.
So kann beispielsweise der Versuch erkannt werden, ein Zutrittskontrollsystem mit einem Foto einer berechtigten Person oder mit einem kopierten Fingerabdruck zu täuschen. Das Foto, bzw. der Fingerabdruck, wird zwar der berechtigten Person zugeordnet, aber in der Unsicherheit, die sich in einer verminderten Wahrscheinlichkeit p für korrekte Klassifikation äußert, spiegelt es sich dann doch wider, dass die Kopie nicht perfekt ist.
Die Erfindung bezieht sich auch auf ein Verfahren zum Trainieren eines Bewertungs-Netzwerks, das bei der Durchführung des zuvor beschriebenen Verfahrens eingesetzt werden kann. Bei diesem Verfahren werden ausgehend von Trainingsdaten mit dem zuvor beschriebenen Verfahren eine Zuordnung dieser Trainings-Messdaten zu einer oder mehreren Klassen sowie eine Bewertungsgröße für diese Zuordnung ermittelt. Durch Vergleich der vom Klassifikator ermittelten Zuordnung wird mit einer für die Trainings-Messdaten bekannten Soll-Zuordnung wird ein Ist-Zustand dahingehend ermittelt, inwieweit die Zuordnung korrekt ist. Die Bewertungs-Parameter werden dahingehend optimiert, dass die vom Bewertungs-Netzwerk gelieferte Bewertungsgröße nach Maßgabe einer Bewertungs-Kostenfunktion mit dem Ist-Zustand korreliert.
Hierbei kommt es nicht darauf an, das KNN im Klassifikator zu verbessern. Es geht allein darum, dass in den Fällen, in denen der Klassifikator tatsächlich eine falsche Aussage trifft, sich dies in der vom Bewertungs-Netzwerk gelieferten Bewertungsgröße niederschlägt.
Die Möglichkeit, die Unsicherheit einer Klassifikation quantitativ zu bestimmen, lässt sich auch nutzen, um Trainingsdaten für Klassifikatoren mit Klassenzuordnungen zu „labeln“. Die Erfindung bezieht sich also auch auf ein Verfahren zum Generieren von Trainingsdaten für Klassifikatoren, die Messdaten zu einer oder mehreren Klassen einer vorgegebenen Klassifikation zuordnen.
Bei diesem Verfahren werden ausgehend von Messdaten mit dem zuerst beschriebenen Verfahren sowohl eine Zuordnung dieser Messdaten zu einer oder mehreren Klassen als auch eine Bewertungsgröße für diese Zuordnung ermittelt. In Antwort darauf, dass die Bewertungsgröße eine vorgegebene Bedingung erfüllt, werden die Messdaten in Assoziation mit der Zuordnung den Trainingsdaten hinzugefügt.
Die Kraft von KNNs zur Verallgemeinerung lebt davon, dass beim Training Trainingsdaten mit hinreichender Variabilität verwendet werden. So muss das KNN beispielsweise viele Bilder von Fahrzeugen verschiedener Typen, die unter vielen unterschiedlichen Bedingungen aufgenommen wurden, verarbeiten, um in die Lage versetzt zu werden, auch neue Fahrzeuge zu erkennen. Größter Kostentreiber für die Beschaffung solcher Bilder ist das manuelle „Labeln“ dieser Bilder mit der Klassenzuordnung, in diesem Beispiel also die Zuordnung zur Klasse „Fahrzeug“. Aus einer großen Menge unsortierter Bilder können mit dem Verfahren nun diejenigen Bilder herausgefiltert werden, die mit einer hinreichend großen Sicherheit in die Klasse „Fahrzeug“ klassifiziert wurden. Diese Bilder können in Assoziation mit dem Label „Fahrzeug“ den Trainingsdaten hinzugefügt werden.
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Ausführungsbeispiele
Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zur Bewertung der Unsicherheit einer Zuordnung 3 von Messdaten 2 zu Klassen 3a-3c;
2 Veranschaulichung des Rechengangs von Messdaten 2 bis zur Bewertungsgröße 7 für die Unsicherheit;
3 Ausführungsbeispiel des Verfahrens 200 zum Trainieren eines Bewertungs-Netzwerks 6 zum Einsatz in dem Verfahren 100;
4 Ausführungsbeispiel des Verfahrens 300 zum Generieren von Trainingsdaten 2*.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100. Mit diesem Verfahren wird die Unsicherheit, mit der die Zuordnung 3 von Messdaten 2 zu einer oder mehreren Klassen 3a-3c durch einen Klassifikator behaftet ist, in Form einer Bewertungsgröße 7 bewertet. Als Messdaten 2 können gemäß Schritt 105 optische Bilddaten, Wärmebilddaten, Videodaten, Radardaten, Ultraschalldaten, und/oder LIDAR-Daten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden, gewählt werden.
Zunächst werden in Schritt 110 die Messdaten, die für diese Messdaten 2 durch den Klassifikator 1 ermittelte Zuordnung 3 zu Klassen 3a-3c, die Klassifikations-Parameter 11a des KNN 11 des Klassifikators 1 sowie die Architektur 11b dieses KNN 1 zusammengeführt. Es wird eine Abhängigkeit 4, 4a der Zuordnung 3, und/oder eine Abhängigkeit 4, 4b einer die Korrektheit dieser Zuordnung bewertenden Kostenfunktion 5, von den Klassifikations-Parametern 11a ermittelt. Der Klassifikator 1 kann während der Ausführung des Verfahrens 100 auf die Messdaten 2 angewendet werden. Dies ist jedoch nicht zwingend erforderlich. Das Verfahren 100 kann auch allein auf der Basis von bereits fertigen Ergebnissen des Klassifikators 1 arbeiten.
In Schritt 120 wird diese ermittelte Abhängigkeit 4, 4a, 4b mit mindestens einem trainierbaren Bewertungs-Netzwerk 6 auf mindestens eine Bewertungsgröße 7 abgebildet. Diese Bewertungsgröße 7 ist ein Maß für die Wahrscheinlichkeit p, dass die durch den Klassifikator 1 ermittelte Zuordnung 3 korrekt ist.
In Antwort darauf, dass die Bewertungsgröße 7 ein vorgegebenes Kriterium 130 erfüllt (also etwa eine zu große Unsicherheit - Wahrheitswert 1), kann das Verfahren gemäß Schritt 140 unter Austausch des KNN 11 des Klassifikators 1 gegen ein anders trainiertes und/oder anders aufgebautes KNN 11' wiederholt werden. Alternativ oder auch in Kombination hierzu können gemäß Schritt 150 weitere Messdaten 2' mit mindestens einem Sensor aufgenommen werden, und das Verfahren kann gemäß Schritt 160 mit diesen weiteren Messdaten wiederholt werden.
Aus der Zuordnung 3 in Kombination mit der Bewertungsgröße 7 kann gemäß Schritt 170 ein Ansteuersignal 8 gebildet werden. Gemäß Schritt 180 kann ein Fahrzeug 50, und/oder ein Klassifikationssystem 60, und/oder ein System 70 für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System 80 für die medizinische Bildgebung, und/oder ein Zutrittskontrollsystem 90, mit diesem Ansteuersignal 8 angesteuert werden.
Innerhalb des Kastens 110 sind einige beispielhafte Ausgestaltungen für das Ermitteln der Bewertungsgröße 7 dargestellt.
Gemäß Block 111 kann die Abhängigkeit 4 mindestens einen Gradienten der Zuordnung 3, bzw. der Kostenfunktion 5, nach mindestens einem der Klassifikations-Parameter 11a umfassen.
Gemäß Block 112 kann die Abhängigkeit 4 durch einen Vektor oder eine Matrix repräsentiert sein. Dabei hängt in diesem Vektor, bzw. in dieser Matrix, jede Zeile oder jede Spalte nur von Klassifikations-Parametern 11a genau einer Schicht des KNN 11 ab. Es können dann gemäß Block 113 Beiträge zu der Abhängigkeit 4, die von den Klassifikations-Parametern 11a einer jeden Schicht abhängen, zu einem dieser Schicht zugeordneten Skalar in dem Vektor bzw. der Matrix verdichtet werden. Dies wiederum kann gemäß Block 113a durch Bildung einer Norm eines Vektors mit den Beiträgen geschehen.
Gemäß Block 114 kann eine Kostenfunktion 5 gewählt werden, die sowohl von einer Zuordnung 3' der Messdaten 2, oder eines Verarbeitungsprodukts 2a dieser Messdaten 2, zu mehreren Klassen 3a-3c durch das KNN 11 als auch von einer durch den Klassifikator 1 ausgewählten Klasse 3a-3c abhängt.
Innerhalb des Kastens 120 sind zwei beispielhafte Ausgestaltungen für das Ermitteln der Bewertungsgröße 7 dargestellt.
Gemäß Block 121 kann das Bewertungs-Netzwerk 6

• mindestens ein logistisches Regressionsnetzwerk, das die Abhängigkeit 4 auf eine Wahrscheinlichkeit p, dass die durch den Klassifikator 1 ermittelte Zuordnung 3 korrekt ist, abbildet, und/oder
• mindestens ein Klassifikationsnetzwerk, das die Abhängigkeit auf mindestens eine Bewertungsstufe für diese Wahrscheinlichkeit p abbildet,

Gemäß Block 122 kann mindestens ein Bewertungs-Netzwerk 6 anhand der Zuordnung 3 ausgewählt werden. Es kann also beispielsweise je Klasse 3a-3c ein eigenes Bewertungs-Netzwerk 6 genutzt werden.
2 veranschaulicht anhand eines Ausführungsbeispiels noch einmal den Rechengang von den Messdaten 2 bis zur Bewertungsgröße 7.
Das KNN 11 des Klassifikators 1 wird zunächst auf die Messdaten 2, x in der Vorwärtsrichtung (Pfeil von links nach rechts) angewendet, um eine Zuordnung F(x), 3' dieser Messdaten 2 zu Klassen 3a-3c zu erhalten. Auf der Basis dieser Zuordnung 3' wählt der Klassifikator eine einzige Klasse 3a-3c als endgültige Zuordnung y, 3 aus.
Von den Messdaten 2, x wird durch Entrauschen ein Verarbeitungsprodukt 2a, x̃ erzeugt. Auf dieses Verarbeitungsprodukt 2a, x̃ wird wiederum das KNN 11 in der Vorwärtsrichtung angewendet. Das Ergebnis ist wieder eine Zuordnung 3', F(x̃) des Verarbeitungsprodukts 2a, x̃ zu Klassen 3a-3c.
Die Kostenfunktion 5 hat die Form L(Θ, F(x̃), y). Ihr Gradient ∇_ΘL(Θ, F(x̃),y) wird sukzessive mittels Rückpropagation (Pfeil nach links) durch das KNN 11 berechnet. Dabei werden die Gradienten bezüglich der Parameter θ₁, ..., θ_n einer jeden Schicht 1, ..., n jeweils durch Bildung der 1-Norm verdichtet und in einem Vektor mit einer Komponente je Schicht 1, ..., n zusammengefasst. Dieser Vektor repräsentiert die Abhängigkeit 4, 4b. Er wird dem Bewertungs-Netzwerk 6 zugeführt, das hieraus wiederum die Bewertungsgröße 7 (hier: die Wahrscheinlichkeit p) ermittelt.
3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Trainieren des Bewertungs-Netzwerks 6.
In Schritt 210 werden mit dem im Zusammenhang mit 1 beschriebenen Verfahren 100 eine Zuordnung 3 von Trainings-Messdaten 2* zu einer oder mehreren Klassen und eine Bewertungsgröße 7 für diese Zuordnung 3 ermittelt.
In Schritt 220 wird durch Vergleich der vom Klassifikator 1 ermittelten Zuordnung 3 mit einer für die Trainings-Messdaten 2* bekannten Soll-Zuordnung 3* wird ein Ist-Zustand 7* dahingehend ermittelt, inwieweit die Zuordnung 3 korrekt ist.
In Schritt 230 werden die Bewertungs-Parameter 6a werden dahingehend optimiert, dass die vom Bewertungs-Netzwerk 6 gelieferte Bewertungsgröße 7 nach Maßgabe einer Bewertungs-Kostenfunktion 8 mit dem Ist-Zustand 7* korreliert. Das heißt, dass eine der Soll-Zuordnung 3* entsprechende Zuordnung 3 durch die Bewertungsgröße 7 mit einer höheren Wahrscheinlichkeit p des Zutreffens bewertet werden sollte als eine nicht der Soll-Zuordnung 3* entsprechende und somit objektiv falsche Zuordnung 3. Dieses Training kann sich insbesondere über eine große Menge von Trainings-Messdaten 2* erstrecken.
Nach jedem Optimierungsschritt der Bewertungs-Parameter 6a wird wieder zum Schritt 210 zurückverzweigt, um die Bewertungsgröße 7 zu aktualisieren. Wenn gemäß eines beliebigen vorgegebenen Abbruchkriteriums die Optimierung beendet ist, liegt der trainierte Zustand 6a* der Bewertungs-Parameter 6a vor.
4 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 300 zum Generieren von Trainingsdaten 2* für Klassifikatoren 1.
In Schritt 310 werden mit dem im Zusammenhang mit 1 beschriebenen Verfahren 100 sowohl eine Zuordnung 3 von Messdaten 2 zu einer oder mehreren Klassen 3a-3c als auch eine Bewertungsgröße 7 für diese Zuordnung 3 ermittelt. In Schritt 320 wird geprüft, ob dieser Bewertungsgröße 7 eine vorgegebene Bedingung erfüllt. Ist dies der Fall (Wahrheitswert 1), werden die Messdaten 2 in Assoziation mit der Zuordnung 3 den Trainingsdaten 2* hinzugefügt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017218889 A1 [0003]

Claims

Verfahren (100) zur Bewertung der Unsicherheit, mit der die Zuordnung (3) von Messdaten (2) zu einer oder mehreren Klassen (3a-3c) einer vorgegebenen Klassifikation durch einen Klassifikator (1) behaftet ist, wobei dieser Klassifikator (1) mindestens ein künstliches neuronales Netzwerk, KNN (11), umfasst, dessen Verhalten durch Klassifikations-Parameter (11a) charakterisiert ist, mit den Schritten: • anhand der Messdaten (2), der für diese Messdaten (2) durch den Klassifikator (1) ermittelten Zuordnung (3) sowie der Klassifikations-Parameter (11a) und Architektur (11b) des KNN (11) wird eine Abhängigkeit (4, 4a) der Zuordnung (3), und/oder eine Abhängigkeit (4, 4b) einer die Korrektheit dieser Zuordnung (3) bewertenden Kostenfunktion (5), von den Klassifikations-Parametern (11a) ermittelt (110); • die ermittelte Abhängigkeit (4) wird mit mindestens einem trainierbaren Bewertungs-Netzwerk (6), dessen Verhalten durch Bewertungs-Parameter (6a) charakterisiert ist, auf mindestens eine Bewertungsgröße (7) abgebildet (120), die ein Maß ist für die Wahrscheinlichkeit p, dass die durch den Klassifikator (1) ermittelte Zuordnung (3) korrekt ist.
Verfahren (100) nach Anspruch 1, wobei die Abhängigkeit (4) mindestens einen Gradienten der Zuordnung (3), bzw. der Kostenfunktion (5), nach mindestens einem der Klassifikations-Parameter (11a) umfasst (111).
Verfahren (100) nach einem der Ansprüche 1 bis 2, wobei die Abhängigkeit (4) durch einen Vektor oder eine Matrix repräsentiert ist, wobei in diesem Vektor, bzw. in dieser Matrix, jede Zeile oder jede Spalte nur von Klassifikations-Parametern (11a) genau einer Schicht des KNN (11) abhängt (112).
Verfahren (100) nach Anspruch 3, wobei Beiträge zu der Abhängigkeit (4), die von den Klassifikations-Parametern (11a) einer jeden Schicht abhängen, zu einem dieser Schicht zugeordneten Skalar in dem Vektor bzw. der Matrix verdichtet werden (113).
Verfahren (100) nach Anspruch 4, wobei der Skalar als Norm eines Vektors mit den Beiträgen gebildet wird (113a).
Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei eine Kostenfunktion (5) gewählt wird (114), die sowohl von einer Zuordnung (3') der Messdaten (2), oder eines Verarbeitungsprodukts (2a) dieser Messdaten (2), zu mehreren Klassen (3a-3c) durch das KNN (11) als auch von einer durch den Klassifikator (1) ausgewählten Klasse (3a-3c) abhängt.
Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei das Bewertungs-Netzwerk (6) • mindestens ein logistisches Regressionsnetzwerk, das die Abhängigkeit (4) auf eine Wahrscheinlichkeit p, dass die durch den Klassifikator (1) ermittelte Zuordnung (3) korrekt ist, abbildet, und/oder • mindestens ein Klassifikationsnetzwerk, das die Abhängigkeit auf mindestens eine Bewertungsstufe für diese Wahrscheinlichkeit p abbildet, umfasst (121).
Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei mindestens ein Bewertungs-Netzwerk (6) anhand der Zuordnung (3) ausgewählt wird (122).
Verfahren (100) nach einem der Ansprüche 1 bis 8, wobei in Antwort darauf, dass die Bewertungsgröße (7) ein vorgegebenes Kriterium erfüllt (130), • das Verfahren unter Austausch des KNN (11) des Klassifikators (1) gegen ein anderes KNN (11'), das ein anderes Training erfahren hat und/oder das eine andere Architektur aufweist, wiederholt wird (140), und/oder • weitere Messdaten (2') mit mindestens einem Sensor aufgenommen werden (150) und das Verfahren mit diesen weiteren Messdaten (2') wiederholt wird (160).
Verfahren (100) nach einem der Ansprüche 1 bis 9, wobei optische Bilddaten, Wärmebilddaten, Videodaten, Radardaten, Ultraschalldaten, und/oder LIDAR-Daten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden, als Messdaten (2) gewählt werden (105).
Verfahren (100) nach einem der Ansprüche 1 bis 10, wobei aus der Zuordnung (3) in Kombination mit der Bewertungsgröße (7) ein Ansteuersignal (8) gebildet wird (170) und wobei ein Fahrzeug (50), und/oder ein Klassifikationssystem (60), und/oder ein System (70) für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System (80) für die medizinische Bildgebung, und/oder ein Zutrittskontrollsystem (90), mit diesem Ansteuersignal (8) angesteuert wird (180).
Verfahren (200) zum Trainieren eines Bewertungs-Netzwerks (6) für die Anwendung in dem Verfahren (100) nach einem der Ansprüche 1 bis 11 mit den Schritten: • ausgehend von Trainings-Messdaten (2*) werden mit dem Verfahren (100) nach einem der Ansprüche 1 bis 11 eine Zuordnung (3) dieser Trainings-Messdaten (2*) zu einer oder mehreren Klassen und eine Bewertungsgröße (7) für diese Zuordnung (3) ermittelt (210); • durch Vergleich der vom Klassifikator (1) ermittelten Zuordnung (3) mit einer für die Trainings-Messdaten (2*) bekannten Soll-Zuordnung (3*) wird ein Ist-Zustand (7*) dahingehend ermittelt (220), inwieweit die Zuordnung (3) korrekt ist; • die Bewertungs-Parameter (6a) werden dahingehend optimiert (230), dass die vom Bewertungs-Netzwerk (6) gelieferte Bewertungsgröße (7) nach Maßgabe einer Bewertungs-Kostenfunktion (8) mit dem Ist-Zustand (7*) korreliert.
Verfahren (300) zum Generieren von Trainingsdaten (2*) für Klassifikatoren (1), die Messdaten (2) zu einer oder mehreren Klassen (3a-3c) einer vorgegebenen Klassifikation zuordnen, mit den Schritten: • ausgehend von Messdaten (2) werden mit dem Verfahren (100) nach einem der Ansprüche 1 bis 11 sowohl eine Zuordnung (3) dieser Messdaten (2) zu einer oder mehreren Klassen (3a-3c) als auch eine Bewertungsgröße (7) für diese Zuordnung (3) ermittelt (310); und • in Antwort darauf, dass die Bewertungsgröße (7) eine vorgegebene Bedingung erfüllt (320), werden die Messdaten (2) in Assoziation mit der Zuordnung (3) den Trainingsdaten (2*) hinzugefügt (330).
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200, 300) nach einem der Ansprüche 1 bis 13 auszuführen.
Maschinenlesbarer Datenträger mit dem Computerprogramm nach Anspruch 14.
Computer, ausgerüstet mit dem Computerprogramm nach Anspruch 14, und/oder mit dem maschinenlesbaren Datenträger nach Anspruch 15.