DE102022202999A1

DE102022202999A1 - Erzeugung von Testdatensätzen für die Prüfung, inwieweit ein trainierter Klassifikator zur Generalisierung fähig ist

Info

Publication number: DE102022202999A1
Application number: DE102022202999.2A
Authority: DE
Inventors: William Harris Beluch; Laura Beggel
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-03-28
Filing date: 2022-03-28
Publication date: 2023-09-28

Abstract

Verfahren (100) zur Erzeugung eines Testdatensatzes S für einen Klassifikator und/oder Regressor (1), der Messdaten (2) auf Klassifikations-Scores (3a) bezüglich einer oder mehrerer Klassen, bzw. auf Werte (3b) einer interessierenden Größe, abbildet und auf einer Menge X von Records x von Trainingsdaten trainiert ist, mit den Schritten:• es wird ein Pool XPmit Records xpvon Kandidaten-Testdaten bereitgestellt (110);• die Records x der Trainingsdaten X werden in Trainings-Repräsentationen x̂ mit verminderter Dimensionalität überführt (120), die jeweils die Ausprägung von Merkmalen im jeweiligen Record x angeben;• die Records xpder Kandidaten-Testdaten XPwerden in Test-Repräsentationen x̂Pmit verminderter Dimensionalität überführt (130), die jeweils die Ausprägung von Merkmalen im jeweiligen Record xpangeben;• iterativ werden jeweils Records xpder Kandidaten-Testdaten XP, deren Test-Repräsentationen x̂Pmöglichst ähnlich zu den Trainings-Repräsentationen x̂, aber möglichst unähnlich zu den Test-Repräsentationen x̂Pder schon im Testdatensatz S enthaltenen Testdaten XPsind, aus dem Pool XPals Records s in den Testdatensatz S überführt (140); und• in Antwort darauf, dass ein vorgegebenes Abbruchkriterium (150) erfüllt ist, wird das Hinzufügen von Records xpder Kandidaten-Testdaten XPzu dem Testdatensatz S beendet (160).

Description

Die vorliegende Erfindung betrifft die Prüfung von Klassifikatoren, die insbesondere verwendet werden können, um Bilder oder andere Messdaten auf Klassifikations-Scores in Bezug auf eine oder mehrere Klassen abzubilden.
Stand der Technik
In vielen Anwendungen werden Messdaten mit mindestens einem Sensor aufgenommen und anschließend für die weitere Auswertung einem Klassifikator und/oder Regressor zugeführt. Ein Klassifikator kann eine gesuchte Zuordnung der Messdaten zu einer oder mehreren Klassen liefern und beispielsweise eine sensorisch beobachtete Szenerie semantisch analysieren. Ein Regressor kann aus den Messdaten den gesuchten Wert einer Messgröße auswerten.
Klassifikatoren und/oder Regressoren werden meistens mit Trainings-Messdaten überwacht trainiert. Die Trainings-Messdaten sind mit Soll-Ausgaben gelabelt, auf die der Klassifikator und/oder Regressor sie im trainierten Zustand abbilden soll. Wenn dem Klassifikator und/oder Regressor dies im Mittel gut gelingt, wird davon ausgegangen, dass er auch im Training ungesehene Messdaten korrekt verarbeiten kann.
Um diese Fähigkeit zur Generalisierung zu prüfen, wird ein Testdatensatz mit Testdaten benötigt, die der Klassifikator und/oder Regressor im Training noch nicht gesehen hat. Gerade das macht es jedoch schwierig zu gewährleisten, dass die „Lernerfolgskontrolle“ mit dem Testdatensatz die ganze Bandbreite des im Training gelernten „Wissens“ abdeckt.
Offenbarung der Erfindung
Die Erfindung stellt ein Verfahren zur Erzeugung eines Testdatensatzes S für einen Klassifikator und/oder Regressor bereit. Der Klassifikator und/oder Regressor bildet Messdaten auf Klassifikations-Scores bezüglich einer oder mehrerer Klassen, bzw. auf Werte einer interessierenden Größe, ab. Das Verfahren geht davon aus, dass der Klassifikator und/oder Regressor auf einer Menge X von Records x von Trainingsdaten trainiert ist.
Hierbei ist der Begriff „Record“ zu verstehen wie der englischsprachige Begriff „record“, der eine Gruppe von inhaltlich zusammenhängenden Datenfeldern bezeichnet und somit im weitesten Sinne mit einer Karteikarte in einem Karteikasten vergleichbar ist. Ein Record kann insbesondere beispielsweise einen Vektor, eine Matrix oder einen Tensor beinhalten, etwa mehrere jeweils pixelaufgelöste Farbkanäle eines RGB- oder CMYK-Bildes. Der hierfür im Deutschen eigentlich gebräuchliche Begriff „Datensatz“ ist auf dem Gebiet des Machine Learnings bereits reserviert für eine Gesamtheit von Trainingsdaten, Testdaten oder Validierungsdaten, also den jeweiligen kompletten „Karteikasten“.
Im Rahmen des Verfahrens wird ein Pool X_P mit Records x_p von Kandidaten-Testdaten bereitgestellt. Die Records x der Trainingsdaten X werden in Trainings-Repräsentationen x̂ mit verminderter Dimensionalität überführt, die jeweils die Ausprägung von Merkmalen im jeweiligen Record x angeben. Ebenso werden die Records x_p der Kandidaten-Testdaten X_P in Test-Repräsentationen x̂_P mit verminderter Dimensionalität überführt, die jeweils die Ausprägung von Merkmalen im jeweiligen Record x_p angeben.
Es werden nun iterativ jeweils Records x_p der Kandidaten-Testdaten X_P, deren Test-Repräsentationen x̂_P möglichst ähnlich zu den Trainings-Repräsentationen x̂, aber möglichst unähnlich zu den Test-Repräsentationen x̂_P der schon im Testdatensatz S enthaltenen Testdaten X_P sind, aus dem Pool X_P als Records s in den Testdatensatz S überführt. Hierbei bedeutet „iterativ“, dass mehrfach zwischen

• dem Auswählen eines oder mehrerer Records x_p aus X_P unter Berücksichtigung der schon in S vorhandenen Records s einerseits und
• dem Überführen der ausgewählten Records x_p nach S als neue Records s andererseits

Dieser Prozess kann beispielsweise durch Auswahl eines zufälligen Records x_p initialisiert werden. Jeder Record x_p kann nur einmal als Record s in den Testdatensatz S überführt werden und steht dann bei weiteren Iterationen nicht mehr zur Wahl. Das Hinzufügen von Records x_pder Kandidaten-Testdaten X_P zu dem Testdatensatz S wird in Antwort darauf, dass ein vorgegebenes Abbruchkriterium erfüllt ist, beendet.
Der Prozess ist mit einer aus der Geometrie bekannten Coreset-Aufgabe vergleichbar, bei der die Form einer großen Punktemenge durch wenige, möglichst repräsentative Punkte angenähert werden soll.
Die Forderung, dass die Test-Repräsentationen x̂_P möglichst unähnlich zu den Test-Repräsentationen x̂_P der schon im Testdatensatz S enthaltenen Testdaten X_P sein sollen, bewirkt, dass möglichst viele Aspekte des im Training des Klassifikators und/oder Regressors gelernten „Wissens“ getestet werden. Zugleich bewirkt die Forderung, dass die Test-Repräsentationen x̂_P möglichst ähnlich zu den Trainings-Repräsentationen x̂ sein sollen, dass der abgefragte Stoffumfang nicht über den Umfang des Trainings hinausgeht. Zugleich wird durch den konsequenten Ausschluss der Records x der Trainingsdaten X aus dem Testdatensatz S sichergestellt, dass sich der mit dem Testdatensatz S getestete Klassifikator und/oder Regressor nicht durch ein Overfitting an die Trainingsdaten zu ungerechtfertigten guten Bewertungen „durchmogeln“ kann.
Ein mit dem Testdatensatz S durchgeführter Test prüft also die Fähigkeit des Klassifikators und/oder Regressors, auf die es in vielen realen Anwendungen (wie etwa der Erkennung von Objekten oder der Qualitätskontrolle) ankommt, genau im richtigen Umfang. Es wird einerseits nicht erwartet, dass Aspekte, die im Training gar nicht vorgekommen sind, beherrscht werden. Andererseits werden alle Aspekte, die im Training vorgekommen sind, auch abgefragt. Der Test ist dann ein Stück weit analog zu mündlichen Prüfungen, bei denen die besten Noten vergeben werden, wenn das Prüfungsgespräch eine große Bandbreite von Themen innerhalb des zuvor im Unterricht behandelten Stoffumfangs abdeckt und der Kandidat durchweg gute Leistungen zeigt.
Die Zusammenstellung des Testdatensatzes S gemäß dem hier vorgeschlagenen Verfahren sorgt dafür, dass auch Szenarien, die in der Realität und somit auch im Trainingsdatensatz weniger häufig vorkommen, getestet werden. Dies ist gerade bei dem Test von Klassifikatoren und Regressoren wichtig, die in sicherheitskritischen Bereichen zum Einsatz kommen, wie etwa dem zumindest teilweise automatisierten Führen von Fahrzeugen. Hier kommt es auch darauf an, dass sich das Fahrzeug in seltenen, aber besonders gefährlichen Situationen, den sogenannten „corner cases“, angemessen verhalten wird. Diese „corner cases“ sind in den Trainingsdaten häufig unterrepräsentiert, da es häufig nicht möglich ist, diese besonders gefährlichen Situationen zwecks Erwerb von Trainingsdaten bewusst herbeizuführen. Stattdessen muss eine von sich aus eintretende derartige Situation bestmöglich in Trainingsdaten umgemünzt werden.
Die Bestimmung der Ähnlichkeit im Raum der Repräsentationen von Merkmalen ebnet allfällige Unterschiede zwischen Records x und x_p, bzw. zwischen Records x_p untereinander, die den gleichen semantischen Inhalt haben, ein. So sind beispielsweise selbst zwei Bilder, die unmittelbar nacheinander von derselben Szenerie aufgenommen werden, nicht völlig identisch. Wenn das Bild aber beispielsweise durch Anwendung mehrerer Faltungsschichten sukzessive in Merkmale zerlegt wird, werden Bildrauschen und andere allfällige Unterschiede zwischen semantisch gleichen Bildern nur einen geringen Einfluss auf diese Merkmale haben.
Zugleich kann durch die Reduzierung der Dimensionalität beim Übergang zu den Repräsentationen der Testdatensatz auch inhaltlich in eine gewünschte Richtung gelenkt werden. Die Reduzierung der Dimensionalität zwingt zu einer Auswahl der wichtigsten Informationen. Die Erzeugung der Repräsentationen lässt sich so steuern, dass die im Sinne der jeweiligen Anwendung relevantesten Informationen bevorzugt noch mit aufgenommen werden.
Die Trainings-Repräsentationen x̂, und/oder die Test-Repräsentationen x̂_P, können beispielsweise Merkmalskarten entnommen werden, die der trainierte Klassifikator und/oder Regressor aus den Records x von Trainingsdaten X, bzw. aus den Records x_p von Kandidaten-Testdaten X_P, bildet. Diese Merkmalskarten können beispielsweise die Ausgabe der vorletzten Schicht des Klassifikators und/oder Regressors vor der Schicht, die Logits oder Softmax-Werte bestimmt, bilden.
Die Trainings-Repräsentationen x̂, und/oder die Test-Repräsentationen x̂_P, können aber auch beispielsweise mit einem Encoder erzeugt werden, der Teil einer Encoder-Decoder-Anordnung ist. Diese Encoder-Decoder-Anordnung ist darauf trainiert, Messdaten mit dem Encoder in Repräsentationen mit verminderter Dimensionalität zu überführen und aus diesen Repräsentationen mit dem Decoder die Messdaten wieder zu rekonstruieren. Auch dieses Training kann beispielsweise mit den vorhandenen Trainingsdaten durchgeführt worden sein.
In einer besonders vorteilhaften Ausgestaltung wird die Ähnlichkeit zwischen Test-Repräsentationen x̂_P untereinander, und/oder zwischen Test-Repräsentationen x̂_P und Trainings-Repräsentationen x̂, anhand einer Norm einer Differenz zwischen den Repräsentationen ermittelt. Diese Norm, wie beispielsweise eine euklidische Norm, gibt eine Distanz zwischen den Repräsentationen an. Je unähnlicher die Repräsentationen zueinander sind, desto weiter sind sie voneinander entfernt.
Alternativ oder auch in Kombination hierzu kann die Ähnlichkeit zwischen Test-Repräsentationen x̂_P untereinander, und/oder zwischen Test-Repräsentationen x̂_P und Trainings-Repräsentationen x̂, beispielsweise anhand einer Hamming-Distanz zwischen den Repräsentationen ermittelt werden. Die Hamming-Distanz misst die Anzahl der Positionen, in denen sich die Repräsentationen voneinander unterscheiden.
In einer weiteren vorteilhaften Ausgestaltung wird aus einer Vereinigungsmenge X u X_P\s der Trainingsdaten X mit dem noch nicht in den Testdatensatz s überführten Anteil der Kandidaten-Testdaten X_P derjenige Record u ausgewählt wird, dessen Repräsentation ̂u = x̂ v x̂_p maximal unähnlich zu allen Records s des Testdatensatzes S ist. Wenn dieser Record u nun zu den noch nicht in den Testdatensatz s überführten Kandidaten-Testdaten X_P gehört, also u ∈ X_P\s, dann wird dieser Record u als neuer Record s in den Testdatensatz S übernommen. Wenn der Record u hingegen zu den Trainingsdaten X gehört, also u ∈ X, wird stattdessen der zu u ähnlichste Record u' ∈ X_P\s als neuer Record s in den Testdatensatz S übernommen.
Das vorgegebene Abbruchkriterium kann insbesondere beispielsweise beinhalten, dass der Testdatensatz S eine vorgegebene Anzahl von Records s umfasst. Alternativ oder auch in Kombination hierzu kann das vorgegebene Abbruchkriterium beinhalten, dass die Ähnlichkeit zwischen dem letzten zu S hinzugefügten Record s und dem hierzu ähnlichsten sonstigen Record in S einen vorgegebenen Schwellwert erreicht oder überschreitet. Insbesondere das letztgenannte Kriterium wirkt darauf hin, dass der Testdatensatz S nicht mit Records s „aufgebläht“ wird, die die Abdeckung der abzufragenden Bandbreite an Test-Szenerien für den Klassifikator und/oder Regressor nicht mehr wesentlich verbessern.
Wie zuvor erläutert, wird mit dem Testdatensatz S letztendlich das Ziel verfolgt, zu prüfen, ob der Klassifikator und/oder Regressor seine gelernte Aufgabe korrekt ausführt und dabei auch in hinreichendem Maße generalisieren kann. Daher werden in einer weiteren besonders vorteilhaften Ausgestaltung die Records s des Testdatensatzes S dem Klassifikator und/oder Regressor zugeführt, so dass sie von dem Klassifikator und/oder Regressor auf Ausgaben abgebildet werden. Diese Ausgaben werden mit Soll-Ausgaben verglichen, mit denen die Records s jeweils gelabelt sind. Aus den Ergebnissen dieser Vergleiche wird eine Genauigkeit des Klassifikators und/oder Regressors ausgewertet. Diese Auswertung kann in gleicher Weise erfolgen wie für jeden bislang verwendeten Testdatensatz S auch.
Hierbei können die Soll-Ausgaben aus einer beliebigen Quelle stammen. Beispielsweise können bereits die ursprünglichen Kandidaten-Testdaten X_P in gelabelter Form bezogen werden. Die Soll-Ausgaben können aber auch automatisch erzeugt werden. Beispielsweise kann für jeden Record Records s des Testdatensatzes S das Label desjenigen Records x der Trainingsdaten X übernommen werden, zu dem der Record s am ähnlichsten ist.
In einer weiteren vorteilhaften Ausgestaltung wird der Klassifikator und/oder Regressor zusätzlich auf den Records s des Testdatensatzes S trainiert. Dies kann insbesondere in Antwort darauf erfolgen, dass die zuvor ausgewertete Genauigkeit nicht den Erwartungen entspricht. Es wird dann also genau das Material, auf dem die Leistung des Klassifikators und/oder Regressors zuvor nicht ausgereicht hat, als neues Trainingsmaterial verwendet. Das Verfahren kann dann insbesondere beispielsweise neu begonnen werden, um an Stelle des zuvor als neues Trainingsmaterial „verbrauchten“ Testdatensatzes S einen neuen Trainingsdatensatz S zu erzeugen.
Mit dem Training des Klassifikators und/oder Regressors wird letztendlich das Ziel verfolgt, die Leistung in der realen Anwendung zu verbessern. Daher werden in einer weiteren besonders vorteilhaften Ausgestaltung dem Klassifikator und/oder Regressor Messdaten zugeführt, die mit mindestens einem Sensor aufgenommen wurden. Aus der Ausgabe des Klassifikators und/oder Regressors wird ein Ansteuersignal ermittelt. Ein Fahrzeug, ein System für die Überwachung von Bereichen, ein System für die Qualitätskontrolle, und/oder ein System für die medizinische Bildgebung, wird mit dem Ansteuersignal angesteuert. Auf diese Weise ist die Wahrscheinlichkeit erhöht, dass die vom jeweils angesteuerten System ausgeführte Reaktion der durch die Messdaten verkörperten Situation angemessen ist.
In einer besonders vorteilhaften Ausgestaltung enthalten die Trainingsdaten X, und/oder die Kandidaten-Testdaten X_P, durch Beobachtung eines Bereichs mit mindestens einem Sensor aufgenommene Bilder, und/oder durch Auswertung von Reflexionen mindestens eines elektromagnetischen oder akustischen Abfragestrahls aus einem Bereich gewonnene Messergebnisse. Dies sind typischerweise hoch dimensionale Daten, bei denen es üblicherweise besonders schwierig ist, einen Testdatensatz S gezielt so zu generieren, dass er speziell das im Training gelernte „Wissen“ abdeckt. Mit dem hier vorgeschlagenen Verfahren kann genau ein solcher gewünschter Testdatensatz S in transparent motivierter Weise generiert werden.
Das Verfahren kann ganz oder teilweise computerimplementiert sein. Die Erfindung bezieht sich daher auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern und/oder Compute-Instanzen ausgeführt werden, den oder die Computer und/oder Compute-Instanzen dazu veranlassen, das hier beschriebene Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen. Compute-Instanzen können insbesondere beispielsweise virtuelle Maschinen, Container oder andere Ausführungsumgebungen zur Ausführung von Programmcode in einer Cloud sein.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin können ein oder mehrere Computer und/oder Compute-Instanzen mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Ausführungsbeispiele
Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zur Erzeugung eines Testdatensatzes S;
2 Illustratives Beispiel für eine sukzessive Hinzunahme neuer Records s zum Testdatensatz S.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zur Erzeugung eines Testdatensatzes S für einen Klassifikator und/oder Regressor 1, der Messdaten 2 auf Klassifikations-Scores 3a bezüglich einer oder mehrerer Klassen, bzw. auf Werte 3b einer interessierenden Größe, abbildet.
Der Klassifikator und/oder Regressor 1 ist auf einer Menge X von Records x von Trainingsdaten trainiert. Weiterhin wird in Schritt 110 ein Pool X_P mit Records x_p von Kandidaten-Testdaten bereitgestellt.
In Schritt 120 werden die Records x der Trainingsdaten X werden in Trainings-Repräsentationen x̂ mit verminderter Dimensionalität überführt, die jeweils die Ausprägung von Merkmalen im jeweiligen Record x angeben. Ebenso werden in Schritt 130 die Records x_p der Kandidaten-Testdaten X_P in Test-Repräsentationen x̂_P mit verminderter Dimensionalität überführt, die jeweils die Ausprägung von Merkmalen im jeweiligen Record x_p angeben.
Gemäß den Blöcken 121 bzw. 131 können die Trainings-Repräsentationen x̂, und/oder die Test-Repräsentationen x̂_p, Merkmalskarten entnommen werden, die der trainierte Klassifikator und/oder Regressor 1 aus den Records x von Trainingsdaten X, bzw. aus den Records x_p von Kandidaten-Testdaten X_P, bildet.
Gemäß den Blöcken 122 bzw. 132 können die Trainings-Repräsentationen x̂, und/oder die Test-Repräsentationen x̂_p, mit einem Encoder erzeugt werden. Der Encoder ist Teil einer Encoder-Decoder-Anordnung. Diese Encoder-Decoder-Anordnung ist darauf trainiert, Messdaten 2 mit dem Encoder in Repräsentationen mit verminderter Dimensionalität zu überführen und aus diesen Repräsentationen mit dem Decoder die Messdaten wieder zu rekonstruieren.
In Schritt 140 werden iterativ jeweils Records x_p der Kandidaten-Testdaten X_P, deren Test-Repräsentationen x̂_P möglichst ähnlich zu den Trainings-Repräsentationen x̂, aber möglichst unähnlich zu den Test-Repräsentationen x_p der schon im Testdatensatz S enthaltenen Testdaten X_P sind, aus dem Pool X_P als Records s in den Testdatensatz S überführt.
Gemäß Block 141 kann die Ähnlichkeit zwischen Test-Repräsentationen x_p untereinander, und/oder zwischen Test-Repräsentationen x_p und Trainings-Repräsentationen x̂,anhand einer Norm einer Differenz zwischen den Repräsentationen ermittelt werden.
Gemäß Block 142 kann die Ähnlichkeit zwischen Test-Repräsentationen x̂_p untereinander, und/oder zwischen Test-Repräsentationen x̂_p und Trainings-Repräsentationen x̂,anhand einer Hamming-Distanz zwischen den Repräsentationen ermittelt werden.
Gemäß Block 143 kann aus einer Vereinigungsmenge X u X_P\s der Trainingsdaten X mit dem noch nicht in den Testdatensatz s überführten Anteil der Kandidaten-Testdaten X_P wird derjenige Record u ausgewählt werden, dessen Repräsentation ̂û = x̂ v x̂_P maximal unähnlich zu allen Records s des Testdatensatzes S ist. Es kann dann gemäß Block 144 geprüft werden, ob dieser Record u zu den Kandidaten-Testdaten X_P\s oder aber zu den Trainingsdaten X gehört.
Wenn der Record u zu den Kandidaten-Testdaten X_P\s gehört, wird er gemäß Block 145 direkt als neuer Record s in den Testdatensatz S übernommen. Wenn der Record u hingegen zu den Trainingsdaten X gehört, wird der zu u ähnlichste Record u' ∈ X_p\s ermittelt und als neuer Record s in den Testdatensatz S übernommen.
In Schritt 150 wird geprüft, ob ein vorgegebenes Abbruchkriterium erfüllt ist. Ist dies nicht der Fall (Wahrheitswert 0), wird zu Schritt 140 zurückverzweigt, so dass dem Testdatensatz S weitere Records s hinzugefügt werden. Ist das Abbruchkriterium hingegen erfüllt (Wahrheitswert 1), wird in Schritt 160 das Hinzufügen von Records x_pder Kandidaten-Testdaten X_P zu dem Testdatensatz S beendet.
Gemäß Block 151 kann das vorgegebene Abbruchkriterium beinhalten, dass der Testdatensatz S eine vorgegebene Anzahl von Records s umfasst. Gemäß Block 152 kann das vorgegebene Abbruchkriterium alternativ oder in Kombination hierzu beinhalten, dass die Ähnlichkeit zwischen dem letzten zu S hinzugefügten Record s und dem hierzu ähnlichsten sonstigen Record in S einen vorgegebenen Schwellwert erreicht oder überschreitet.
In dem in 1 gezeigten Ausführungsbeispiel werden in Schritt 170 die Records s des Testdatensatzes S dem Klassifikator und/oder Regressor 1 zugeführt, so dass sie von dem Klassifikator und/oder Regressor 1 auf Ausgaben 3a, 3b abgebildet. Diese Ausgaben 3a, 3b werden in Schritt 180 mit Soll-Ausgaben 3a*, 3b* verglichen werden, mit denen die Records s jeweils gelabelt sind. Aus den Ergebnissen 180a dieser Vergleiche wird in Schritt 190 eine Genauigkeit 1a des Klassifikators und/oder Regressors 1 ausgewertet. Der Klassifikator und/oder Regressor 1 kann dann in Schritt 200, insbesondere abhängig von der ermittelten Genauigkeit 1a, zusätzlich auf den Records s des Testdatensatzes S trainiert werden. Er erreicht damit einen Zustand 1*.
In Schritt 210 werden dem Klassifikator und/oder Regressor 1 Messdaten 2 zugeführt werden, die mit mindestens einem Sensor 9 aufgenommen wurden. Aus der hierbei erhaltenen Ausgabe 3a, 3b des Klassifikators und/oder Regressors 1 wird in Schritt 220 ein Ansteuersignal 220a ermittelt. In Schritt 230 wird ein Fahrzeug 50, ein System 60 für die Überwachung von Bereichen, ein System 70 für die Qualitätskontrolle, und/oder ein System 80 für die medizinische Bildgebung, mit dem Ansteuersignal 220a angesteuert.
2 illustriert schematisch den iterativen Aufbau des Testdatensatzes S aus neuen Records s. Gegeben sind die Menge X der Records x von Trainingsdaten, die jeweils als Kreise eingezeichnet sind, sowie die Menge X_P der Records x_P von Kandidaten-Testdaten.
Wie in 2a veranschaulicht ist, wird der Testdatensatz S zunächst mit einem zufällig aus der Menge X_P ausgewählten Record s initialisiert. Dieser Record s ist mit 1 bezeichnet. Ausgehend hiervon wird im nächsten Schritt, der in 2b veranschaulicht ist, der nächste, mit 2 bezeichnete Record s ausgewählt, da er maximal weit vom zuerst ausgewählten Record s entfernt und zugleich ähnlich zu einem Record x ist. Nach dem gleichen Prinzip wird schließlich ein weiterer, mit 3 bezeichneter Record s ausgewählt, wie in 2c gezeigt ist.

Claims

Verfahren (100) zur Erzeugung eines Testdatensatzes S für einen Klassifikator und/oder Regressor (1), der Messdaten (2) auf Klassifikations-Scores (3a) bezüglich einer oder mehrerer Klassen, bzw. auf Werte (3b) einer interessierenden Größe, abbildet und auf einer Menge X von Records x von Trainingsdaten trainiert ist, mit den Schritten: • es wird ein Pool X_P mit Records x_p von Kandidaten-Testdaten bereitgestellt (110); • die Records x der Trainingsdaten X werden in Trainings-Repräsentationen x̂ mit verminderter Dimensionalität überführt (120), die jeweils die Ausprägung von Merkmalen im jeweiligen Record x angeben; • die Records x_p der Kandidaten-Testdaten X_P werden in Test-Repräsentationen x̂_p mit verminderter Dimensionalität überführt (130), die jeweils die Ausprägung von Merkmalen im jeweiligen Record x_p angeben; • iterativ werden jeweils Records x_p der Kandidaten-Testdaten X_P, deren Test-Repräsentationen x̂_P möglichst ähnlich zu den Trainings-Repräsentationen x̂, aber möglichst unähnlich zu den Test-Repräsentationen x̂_P der schon im Testdatensatz S enthaltenen Testdaten X_P sind, aus dem Pool X_P als Records s in den Testdatensatz S überführt (140); und • in Antwort darauf, dass ein vorgegebenes Abbruchkriterium (150) erfüllt ist, wird das Hinzufügen von Records x_pder Kandidaten-Testdaten X_P zu dem Testdatensatz S beendet (160).
Verfahren (100) nach Anspruch 1, wobei die Trainings-Repräsentationen x̂, und/oder die Test-Repräsentationen x̂_P, Merkmalskarten entnommen werden (121, 131), die der trainierte Klassifikator und/oder Regressor (1) aus den Records x von Trainingsdaten X, bzw. aus den Records x_p von Kandidaten-Testdaten X_P, bildet.
Verfahren (100) nach einem der Ansprüche 1 bis 2, wobei die Trainings-Repräsentationen x̂, und/oder die Test-Repräsentationen x̂_P, mit einem Encoder erzeugt werden (122, 132), wobei der Encoder Teil einer Encoder-Decoder-Anordnung ist, die darauf trainiert ist, Messdaten (2) mit dem Encoder in Repräsentationen mit verminderter Dimensionalität zu überführen und aus diesen Repräsentationen mit dem Decoder die Messdaten wieder zu rekonstruieren.
Verfahren (100) nach einem der Ansprüche 1 bis 3, wobei die Ähnlichkeit zwischen Test-Repräsentationen x̂_P untereinander, und/oder zwischen Test-Repräsentationen x̂_P und Trainings-Repräsentationen x̂, anhand einer Norm einer Differenz zwischen den Repräsentationen ermittelt wird (141).
Verfahren (100) nach einem der Ansprüche 1 bis 4, wobei die Ähnlichkeit zwischen Test-Repräsentationen x̂_P untereinander, und/oder zwischen Test-Repräsentationen x̂_P und Trainings-Repräsentationen x̂, anhand einer Hamming-Distanz zwischen den Repräsentationen ermittelt wird (142).
Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei • aus einer Vereinigungsmenge X u X_P\s der Trainingsdaten X mit dem noch nicht in den Testdatensatz s überführten Anteil der Kandidaten-Testdaten X_P wird derjenige Record u ausgewählt wird (143), dessen Repräsentation ̂û = x̂ v x̂_P maximal unähnlich zu allen Records s des Testdatensatzes S ist; • falls u ∈ X_p\s (144), dieser Record u als neuer Record s in den Testdatensatz S übernommen wird (145); und • falls u ∈ X (144), der zu u ähnlichste Record u' ∈ X_P\s als neuer Record s in den Testdatensatz S übernommen wird (146).
Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei das vorgegebene Abbruchkriterium (150) beinhaltet, dass • der Testdatensatz S eine vorgegebene Anzahl von Records s umfasst (151), und/oder • die Ähnlichkeit zwischen dem letzten zu S hinzugefügten Record s und dem hierzu ähnlichsten sonstigen Record in S einen vorgegebenen Schwellwert erreicht oder überschreitet (152).
Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei • die Records s des Testdatensatzes S dem Klassifikator und/oder Regressor (1) zugeführt werden, so dass sie von dem Klassifikator und/oder Regressor (1) auf Ausgaben (3a, 3b) abgebildet werden (170); • diese Ausgaben (3a, 3b) mit Soll-Ausgaben (3a*, 3b*) verglichen werden (180), mit denen die Records s jeweils gelabelt sind; und • aus den Ergebnissen (180a) dieser Vergleiche eine Genauigkeit (1a) des Klassifikators und/oder Regressors (1) ausgewertet wird (190).
Verfahren (100) nach Anspruch 8, wobei der Klassifikator und/oder Regressor (1) zusätzlich auf den Records s des Testdatensatzes S trainiert wird (200).
Verfahren (100) nach einem der Ansprüche 8 bis 9, wobei • dem Klassifikator und/oder Regressor (1) Messdaten (2) zugeführt werden (210), die mit mindestens einem Sensor (9) aufgenommen wurden; • aus der Ausgabe (3a, 3b) des Klassifikators und/oder Regressors (1) ein Ansteuersignal (220a) ermittelt wird (220) und • ein Fahrzeug (50), ein System (60) für die Überwachung von Bereichen, ein System (70) für die Qualitätskontrolle, und/oder ein System (80) für die medizinische Bildgebung, mit dem Ansteuersignal (220a) angesteuert wird (230).
Verfahren (100) nach einem der Ansprüche 1 bis 10, wobei die Trainingsdaten X, und/oder die Kandidaten-Testdaten X_P, durch Beobachtung eines Bereichs mit mindestens einem Sensor (9) aufgenommene Bilder, und/oder durch Auswertung von Reflexionen mindestens eines elektromagnetischen oder akustischen Abfragestrahls aus einem Bereich gewonnene Messergebnisse enthalten.
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern und/oder Compute-Instanzen ausgeführt werden, den oder die Computer bzw. Compute-Instanzen dazu veranlassen, das Verfahren (100) nach einem der Ansprüche 1 bis 11 auszuführen.
Maschinenlesbarer Datenträger mit dem Computerprogramm nach Anspruch 12.
Ein oder mehrere Computer und/oder Compute-Instanzen mit dem Computerprogramm nach Anspruch 12, und/oder mit dem maschinenlesbaren Datenträger nach Anspruch 13.