-
Die vorliegende Erfindung bezieht sich auf die Klassifikation von Messdaten, insbesondere von Bildern, bezüglich ihres semantischen Gehalts.
-
Hintergrund
-
Klassifikatoren für Messdaten nehmen Datensätze der Messdaten als Eingabe und bilden sie bezüglich wenigstens einer Klasse aus einer gegebenen Menge von Klassen auf Klassifikationspunktzahlen ab. Sie werden normalerweise in einer überwachten Weise mit Trainingsproben trainiert, die mit „Grundwahrheits“-Klassifikationspunktzahlen etikettiert sind. Die Parameter, die das Verhalten des Klassifikators charakterisieren, werden optimiert, so dass der Klassifikator, wenn die Trainingsproben durch den Klassifikator verarbeitet werden, diese Trainingsproben auf ihre entsprechenden Grundwahrheits-Klassifikationspunktzahlen abbildet.
-
Während des Trainings sieht der Klassifikator nur Trainingsproben, die gemäß ihrer „Grundwahrheits“-Klassifikationspunktzahlen zu einer endlichen Menge von Klassen gehören. Eine beliebte Aufgabe im Gebiet des Klassifizierens von Messdaten ist das Klassifizieren von Messdaten unter Verwendung eines gegebenen trainierten Klassifikators außerdem bezüglich Klassen, die der Klassifikator während seines Trainings nicht gesehen hat. Diese Aufgabe wird als „Nullschuss-Klassifikation“ bezeichnet.
-
Offenbarung der Erfindung
-
Die Erfindung stellt ein Verfahren zum Betreiben wenigstens eines trainierten Klassifikators für Messdaten bereit. Insbesondere können die Messdaten physikalische Größen repräsentieren, die durch irgendeinen geeigneten physikalischen Sensor erfasst werden. Die Messdaten können z. B. wenigstens ein Bild und/oder wenigstens eine Punktwolke umfassen. Ein Bild ist eine Anordnung von Punkten in einem regelmäßigen Gitter im zwei- oder dreidimensionalen Raum, die Messwerte tragen, wie z. B. Intensitäten von Licht oder Ultraschall, die von einem interessierenden Bereich emittiert werden. Standbildkameras, Videokameras, Wärmekameras und Ultraschallvorrichtungen erzeugen z. B. Bilder. Eine Punktwolke ist eine Anordnung von Punkten, die außerdem Messwerte tragen, aber nicht notwendigerweise in einem regelmäßigen Gitter angeordnet sind. Falls z. B. ein Gebiet mit Radar- oder Lidarstrahlung untersucht wird, werden die Punkte im Raum, an denen die Strahlung zum Sensor zurückreflektiert wird, in einer Punktwolke gesammelt.
-
Der Klassifikator umfasst ein neuronales Netz mit wenigstens einem Merkmalsextraktionsabschnitt und wenigstens einem Klassifikationsabschnitt. Es ist der Zweck des Merkmalsextraktionsabschnitts, die hohe Dimensionalität der eingegebenen Messdaten zu verringern und Größen zu erzeugen, die das Vorhandensein bestimmter Merkmale angeben. Zu diesem Zweck kann der Merkmalsextraktionsabschnitt insbesondere eine oder mehrere Faltungsschichten umfassen, die einen oder mehrere Filterkerne in einer gleitenden Weise auf ihre Eingabe anwenden. Der Merkmalsextraktionsabschnitt umfasst Neuronen, deren Aktivierungen das Vorhandensein bestimmter Merkmale in den Messdaten angeben. Der Klassifikationsabschnitt ist konfiguriert, aus der Ausgabe des Merkmalsextraktionsabschnitts eine Klassifikationspunktzahl bezüglich wenigstens einer Klasse aus einer gegebenen Menge von Klassen zu berechnen.
-
Im Verlauf des Verfahrens wird ein Datensatz der Messdaten mit wenigstens dem Merkmalsextraktionsabschnitt des Klassifikators verarbeitet. Dann wird eine Menge von Neuronen im Merkmalsextraktionsabschnitt bestimmt, die durch diese Verarbeitung aktiviert werden.
-
Aus einer gegebenen Übereinstimmung zwischen den aktivierten Neuronen und den Attributen wird eine Menge von Attributen bestimmt, deren Vorhandensein in einer durch die Messdaten erfassten Szene durch die aktivierten Neuronen angegeben wird. In einem einfachen Beispiel kann die Aktivierung eines Neurons dem Vorhandensein eines Attributs entsprechen. Es ist aber außerdem möglich, dass die Aktivierungsmuster, die mehrere Neuronen umfassen, das Vorhandensein spezieller Attribute angeben. Die Übereinstimmung zwischen einem speziellen aktivierten Neuron einerseits und einem Attribut andererseits kann binär in dem Sinn sein, dass es entweder vorhanden ist oder nicht, dies ist aber nicht erforderlich. Stattdessen können Übereinstimmungen mit Gewichten oder Graden etikettiert werden, die codieren, wie stark die Neuronenaktivierung und das Vorhandensein des Attributs korreliert sind.
-
Falls z. B. die Messdaten Bilder und/oder Punktwolken umfassen, die durch Beobachtung eines interessierenden Bereichs mit einem oder mehreren Sensoren gesammelt worden sind, können die Attribute den Objekten entsprechen, die in der in dem Bild und/oder der Punktwolke erfassten Szene vorhanden sind, wie z. B. Gemälde, ein Tisch, ein Waschbecken, eine Badewanne, ein Handtuch oder ein Laufband.
-
Diese bestimmte Menge von Attributen wird mit den Attributen verglichen, mit denen die Klassen durch einen gegebenen Wissensgraphen verknüpft sind. Dieser Wissensgraph kann irgendeine Art von Beziehungen zwischen den Klassen und den Attributen definieren.
-
In dem erwähnten Beispiel, in dem die Messdaten Bilder und/oder Punktwolken umfassen, können die Klassen dem Typ des Raums entsprechen, den das Bild zeigt, wie z. B. ein Kunstatelier, eine Küche, ein Badezimmer oder ein Fitnessstudio. Ein Kunstatelier weist sowohl Gemälde als auch Tische auf. Eine Küche weist sowohl Tische als auch Waschbecken auf. En Badezimmer weist Waschbecken, eine Badewanne und Handtücher auf. Ein Fitnessstudio weist Laufbänder und Handtücher auf.
-
Folglich können in einer besonders vorteilhaften Ausführungsform die Beziehungen zwischen den Klassen und den Attributen im Wissensgraphen Folgendes umfassen:
- • eine Beziehung, dass eine Entität, die einer Klasse entspricht, eine Entität, die einem Attribut entspricht, aufweist und/oder umfasst; und/oder
- • eine Beziehung, dass eine Entität, die einer Klasse entspricht, außerdem eine Entität ist, die einem Attribut entspricht.
-
Bei den Wissensgraphen des gesunden Menschenverstandes dieser Art, die visuelle und physikalische Eigenschaften von Objektklassen beschreiben, kann das Verhalten von Neuronen in menschlich interpretierbaren Begriffen erklärt werden.
-
Aus dem Ergebnis des Vergleichs zwischen den Attributen im Wissensgraphen und den von den aktiven Neuronen bestimmten Attributen wenigstens eine geschätzte Klasse als eine Klasse, zu der die durch den Datensatz der Messdaten erfasste Szene wahrscheinlich gehört. Dafür sind alle Klassen in dem gegebenen Wissensgraphen verfügbar. Diese Klassen können Klassen umfassen, die der gegebene Klassifikator während seines Trainings nicht gesehen hat.
-
Durch das Bestimmen einer geschätzten Klasse in dieser Weise kann der gegebene Klassifikator eingesetzt werden, um das Nullschuss-Klassifikationsproblem zu lösen. Das heißt, der Klassifikator kann vorhersagen, dass ein Datensatz der Messdaten, wie z. B. ein Bild, zu einer speziellen Klasse gehört, selbst wenn der Klassifikator diese Klasse während des Trainings nicht gesehen hat. Die erweitert im Wesentlichen die Funktionalität des gegebenen Klassifikators.
-
Im Prinzip könnte mittels eines erneuten Trainings, das außerdem die neuen Klassen umfasst, oder eines weiteren Trainings spezifisch an den neuen Klassen, das von einem vorher trainierten Zustand startet, außerdem veranlasst werden, dass der Klassifikator neue Klassen erkennt. Das Erweitern der Funktionalität des Klassifikators durch eine Nullschuss-Klassifikation erfordert kein weiteres Training des gegebenen Klassifikators und erfordert deshalb keine zusätzlichen Trainingsproben. Die Hauptvoraussetzungen für das Erweitern der Funktionalität auf eine neue Klasse sind, dass
- • die neue Klasse im Wissensgraphen enthalten ist,
- • der Wissensgraph diese neue Klasse mit wenigstens einem Attribut, insbesondere mit einem Attribut einer bereits gesehenen Klasse verknüpft, und
- • die gegebene Übereinstimmung dieses Attribut mit einem aktivierten Neuron und/oder einem Muster von aktivierten Neuronen verknüpft.
-
Falls der Klassifikator z. B. trainiert wurde, zwischen Küchen und Badezimmern zu unterscheiden, und er nun außerdem Kunstateliers und Fitnessstudios erkennen soll, müssen Kunstateliers und Fitnessstudios im Wissensgraphen enthalten sein und mit geeigneten Attributen verbunden sein. Die neuen Klassen und ihre Verbindungen zu geeigneten Attributen können bereits im vorhandenen Wissensgraphen enthalten sein, wobei sie aber außerdem mit geringem Aufwand zu einem Wissensgraphen hinzugefügt werden können. Falls insbesondere die Attribute, die sich bereits im Wissensgraphen für eine bereits gesehene Klasse befinden, außerdem für die neue ungesehene Klasse gelten, aber noch nicht mit ihr verbunden sind, sollten Verbindungen zwischen diesen Attributen und den neuen Klassen zu dem Wissensgraphen hinzugefügt werden. Im Beispiel eines Klassifikators, der gegenwärtig trainiert ist, zwischen Küchen und Badezimmern zu unterscheiden, umfasst der Wissensgraph bereits einen Tisch als ein Attribut, weil ein Tisch für eine Küche typisch ist. Weil Tische aber ebenfalls in Kunstateliers gefunden werden, ist es deshalb angemessen, den Tisch mit dem Kunstatelier zu verbinden, falls diese Verbindung noch nicht vorhanden ist. Gleichermaßen umfasst der Wissensgraph bereits ein Handtuch, weil Handtücher in Badezimmern gefunden werden. Handtücher werden aber außerdem in Fitnessstudios gefunden, so dass das Handtuch mit dem Fitnessstudio verknüpft werden sollte, falls es nicht bereits mit dem Fitnessstudio verknüpft ist.
-
Es ist dann vorteilhaft, aber optional, weitere Attribute und/oder Verbindungen zwischen den vorhandenen Attributen und den neuen Klassen einzuführen, die eine Vereindeutigung ermöglichen. Wenn z. B. ein Laufband vorhanden ist, dann kann direkt gefolgert werden, dass der Raum ein Fitnessstudio ist.
-
Gleichermaßen kann, falls Gemälde vorhanden sind, direkt gefolgert werden, dass der Raum ein Kunstatelier ist, weil es nicht sinnvoll ist, sie in Küchen, Badezimmern oder Fitnessstudios zu platzieren. Es ist aber außerdem etwas Vereindeutigung möglich, z. B. basierend auf Attributen, die in dem Datensatz der Messdaten fehlen.
-
Wenn z. B. ein Handtuch in einem Bild vorhanden ist, aber weder ein Waschbecken noch eine Badewanne vorhanden ist, dann ist die Möglichkeit hoch, dass der Raum ein Fitnessstudio anstatt ein Badezimmer ist, das eine Badewanne und ein Waschbecken benötigt. Gleichermaßen ist die Möglichkeit hoch, dass der Raum ein Kunstatelier ist, falls ein Tisch vorhanden ist, aber ein Waschbecken und andere Attribute fehlen, die darauf deuten, dass der Raum eine Küche ist.
-
Gemäß dem gegenwärtig vorgeschlagenen Verfahren befindet sich die Funktionalität der Nullschuss-Klassifikation „huckepack“ auf dem Klassifikator, ohne das Verhalten des Klassifikators oder sein Training ändern zu müssen. Selbst wenn von einer Situation gestartet wird, in der nur der trainierte Klassifikator vorhanden ist, es aber noch keine Übereinstimmung zwischen den aktivierten Neuronen und den Attributen gibt und es außerdem noch keinen Wissensgraphen gibt, können die Übereinstimmung und der Wissensgraph einfach erhalten werden. Es können irgendwelche geeigneten Datensätze der Messdaten, die die Attribute des Wissensgraphen zeigen, verwendet werden, um die Übereinstimmung zwischen den aktivierten Neuronen und den Attributen zu bestimmen. Der Wissensgraph selbst kann sogar aufgebaut werden, ohne den gegebenen Klassifikator zu verwenden. Der Wissensgraph ist außerdem unabhängig vom Klassifikator, d. h., ein und derselbe Wissensgraph kann mit vielen verschiedenen Klassifikatoren verwendet werden.
-
Für hochriskante Anwendungen, wie z. B. das wenigstens teilweise automatisierte Fahren von Fahrzeugen, bei denen das richtige Funktionieren der Klassifikatoren offiziell zertifiziert werden muss, ist es besonders vorteilhat, keinen Bezug zu dem Klassifikator zu haben. Alle vorherige Funktionalität für vorherige Klassen wird dennoch weiterhin funktionieren, daher wird durch das Hinzufügen der Fähigkeit, neue Klassen zu detektieren, die hart verdiente Zertifizierung nicht ungültig gemacht.
-
Zu diesem Zweck wird in einer besonders vorteilhaften Ausführungsform aus der durch den Klassifikator nach dem Verarbeiten des Datensatzes der Messdaten gelieferten Ausgabe bewertet, ob die durch den Datensatz der Messdaten erfasste Szene zu einer Klasse gehört, die durch den Klassifikator während seines Trainings gesehen worden ist. Falls bestimmt wird, dass die Szene zu einer gesehenen Klasse gehört, wird die Klasse, zu der die Szene am wahrscheinlichsten gehört, aus der Ausgabe des Klassifikationsabschnitts des Klassifikators bestimmt. Das heißt, für die gesehenen Klassen verhält sich der Klassifikator exakt wie zuvor. Falls jedoch bestimmt wird, dass die Szene zu einer ungesehenen Klasse gehört, wird bestimmt, dass die Klasse, zu der die Szene am wahrscheinlichsten gehört, die geschätzte Klasse ist, die bestimmt wird, wie oben beschrieben worden ist. In jedem Fall befindet sich dies näher bei der richtigen Klassifikation als nur das Wählen der besten aus den gesehenen Klassen, d. h., der „besten“ Lösung unter allen falschen Lösungen.
-
Diese Möglichkeit kann bereits während des Trainings des Klassifikators bereitgestellt sein. In einer weiteren besonders vorteilhaften Ausführungsform wird der Klassifikator trainiert, um eine zusätzliche Klassifikationspunktzahl für den Fall zu berechnen, dass die durch den Datensatz der Messdaten erfasste Szene zu einer ungesehenen Klasse gehört. Das heißt, über die Klassifikationspunktzahlen für verschiedene konkrete Klassen, die während des Trainings gesehen worden sind, gibt es eine weitere Klasse „keine der Obigen“ für die Messdaten der ungesehenen Klassen. Es kann irgendeine Art der ungesehenen Messdaten als das Trainingsmaterial für diese zusätzliche Klasse verwendet werden. Diese ungesehenen Messdaten können z. B. zu Klassen gehören, die sich nicht im Katalog der konkreten Klassen befinden, für die der Klassifikator trainiert ist, um sie zu identifizieren.
-
In einer weiteren vorteilhaften Ausführungsform wird aus den durch den Klassifikator ausgegebenen Klassifikationspunktzahlen für die gesehenen Klassen bewertet, ob die durch den Datensatz der Messdaten erfasste Szene zu einer gesehenen Klasse gehört. Falls sich z. B. alle Klassifikationspunktzahlen bezüglich aller gesehenen Klassen unter einem bestimmten Schwellenwert befinden, kann gefolgert werden, dass keine der gesehenen Klassen wirklich angemessen ist und der Klassifikator die „beste“ Lösung unter allen falschen Lösungen ausgibt.
-
In einer weiteren vorteilhaften Ausführungsform wird von wenigstens einem Attribut aus der Menge der bestimmten Attribute ein Abschnitt des Datensatzes der Messdaten bewertet, der zu diesem Attribut geführt hat. Falls der Datensatz der Messdaten z. B. ein Bild umfasst, kann dieser Abschnitt einem Bildbereich entsprechen. Der so bestimmte Abschnitt des Datensatzes der Messdaten kann dann als auffallend für die Entscheidung des Klassifikators bestimmt werden. Das heißt, ungeachtet dessen, ob der Datensatz der Messerdaten zu einer gesehenen oder einer ungesehenen Klasse gehört, kann bestimmt werden, auf welche Abschnitte des Datensatzes der Messdaten der Klassifikator seine Entscheidung stützt. Dies ist für die Erklärbarkeit des Klassifikators wichtig.
-
In einer besonders vorteilhaften Ausführungsform werden die Neuronen in einer vollständig verbundenen Schicht des Merkmalsextraktionsabschnitts bezüglich dessen untersucht, ob sie durch die Verarbeitung des Datensatzes der Messdaten aktiviert werden. Falls die Messdaten z. B. ein Bild umfassen, spiegeln die Neuronen in den vollständig verbundenen Schichten abstrakte visuelle Merkmale auf hohem Niveau wider.
-
In einer besonders vorteilhaften Ausführungsform wird ein Neuron in Reaktion auf seinen Aktivierungswert, der einen vorgegebenen Schwellenwert übersteigt, als ein aktiviertes Neuron bestimmt. Der Aktivierungswert kann z. B. eine gewichtete Summe der Eingaben in das Neuron umfassen. Die Gewichte für diese gewichteten Summen sind die Parameter, die während des Trainings des Klassifikators optimiert werden. Auf den Aktivierungswert wird eine nichtlineare Aktivierungsfunktion angewendet, so dass der endgültige Ausgangswert des Neurons erhalten wird.
-
In einer besonders vorteilhaften Ausführungsform wird der Wissensgraph so gewählt, dass er eine Obermenge der Klassen umfasst, die der Klassifikator während seines Trainings gesehen hat. In dieser Weise können neu eingeführte Attribute optimal verwendet werden, um zwischen gesehenen und ungesehenen Klassen und außerdem zwischen ungesehenen Klassen eindeutig zu machen.
-
In einer weiteren besonders vorteilhaften Ausführungsform wird eine Wahrscheinlichkeit, dass die durch den Datensatz der Messdaten erfasste Szene zu einer Klasse gehört, darauf basierend bestimmt, wie viele der mit dieser Klasse durch den Wissensgraphen verknüpften Attribute sich in der bestimmten Menge von Attributen befinden. Insbesondere kann die Wahrscheinlichkeit für eine bestimmte Menge von Attributen und eine voraussichtliche Klasse durch das Teilen der Anzahl der Attribute, die mit der voraussichtlichen Klasse verknüpft sind und die in der bestimmten Menge von Attributen enthalten sind, durch die Gesamtzahl der Attribute, die mit der voraussichtlichen Klasse verknüpft sind, bestimmt werden. Dies ergibt eine Wahrscheinlichkeit zwischen 0 und 1.
-
In einer weiteren besonders vorteilhaften Ausführungsform werden für mehrere Klassen die Wahrscheinlichkeiten bestimmt, dass die durch den Datensatz der Messdaten erfasste Szene zu der jeweiligen Klasse gehört. Die mehreren Klassen werden dann gemäß diesen Wahrscheinlichkeiten eingestuft. Dies stellt eine organische Weise bereit, um die Klasse zu bestimmen, die am wahrscheinlichsten zu den bestimmten Attributen passt.
-
In einer weiteren besonders vorteilhaften Ausführungsform wird der Datensatz der Messdaten mit Merkmalsextraktionsabschnitten von mehreren Klassifikatoren verarbeitet. Die Mengen von Attributen, deren Vorhandensein in der durch den Datensatz der Messdaten erfassten Szene durch die aktivierten Neuronen der mehreren Klassifikatoren angegeben wird, werden zusammengefasst. Das heißt, alle unter Verwendung aller Klassifikatoren entdeckten Attribute werden mit den Attributen verglichen, die durch den gegebenen Wissensgraphen mit Klassen verknüpft sind. In dieser Weise kann das durch die mehreren Klassifikatoren erlernte Wissen zusammengestellt werden, ohne die innere Natur irgendeines dieser Klassifikatoren zu berühren.
-
Es ist der endgültige Zweck der Nullschuss-Klassifikation, eine Zuordnung des Datensatzes der Messdaten einer Klasse zu erhalten, die im Kontext der vorliegenden Anwendung wahrscheinlicher angemessen ist. Dies kann im Kontext dieser Anmeldung für eine verbesserte automatisierte Steuerung von technischen Systemen genutzt werden. Deshalb wird in einer weiteren besonders vorteilhaften Ausführungsform ein Betätigungssignal aus der Klasse berechnet, zu der die durch den Datensatz der Messdaten erfasste Szene am wahrscheinlichsten gehört. Ein Fahrzeug, ein System zur Qualitätskontrolle, ein Überwachungssystem und/oder ein medizinisches Bildgebungssystem mit dem Betätigungssignal. In dieser Weise ist die Reaktion, die das jeweilige technische System dann ausführt, im Kontext der im Datensatz der Messdaten erfassten Szene wahrscheinlich geeigneter.
-
Das Verfahren kann ganz oder teilweise computerimplementiert sein und kann deshalb in Software verkörpert sein. Die Erfindung stellt deshalb außerdem ein Computerprogramm bereit, das maschinenlesbare Anweisungen umfasst, die, wenn sie in einem oder mehreren Computern und/oder einer oder mehreren Recheninstanzen ausgeführt werden, den einen oder die mehreren Computer und/oder die eine oder die mehreren Recheninstanzen veranlassen, das oben beschriebene Verfahren auszuführen. Insbesondere können Steuervorrichtungen für Fahrzeuge, Prozess-Controller, Mikrocontroller und andere elektronische Vorrichtungen, die maschinenlesbare Anweisungen ausführen können, ebenfalls als Computer betrachtet werden. Die Recheninstanzen umfassen virtuelle Maschinen, Container und irgendwelche anderen Ausführungsumgebungen, in denen maschinenlesbare Anweisungen ausgeführt werden können. Die Erfindung bezieht sich außerdem auf einen maschinenlesbaren Datenträger und/oder ein Download-Produkt mit dem Computerprogramm. Ein Download-Produkt ist ein Produkt, das in einem Online-Shop zur sofortigen Erfüllung per Download verkauft werden kann. Die Erfindung stellt außerdem einen oder mehrere Computer und/oder eine oder mehrere Recheninstanzen mit dem einen oder den mehreren Computerprogrammen und/oder mit dem einen oder den mehreren maschinenlesbaren Datenträgern und/oder Download-Produkten bereit.
-
Im Folgenden wird die Erfindung unter Verwendung von Figuren ohne irgendeine Absicht, den Schutzumfang der Erfindung einzuschränken, veranschaulicht. Die Figuren zeigen:
- 1 eine beispielhafte Ausführungsform des Verfahrens 100 zum Betreiben eines trainierten Klassifikators 1;
- 2 eine Veranschaulichung, wie eine geschätzte Klasse 7# basierend auf den aktivierten Neuronen 4 in dem Merkmalsextraktionsabschnitt 3a des Klassifikators 1 erhalten werden kann.
-
1 ist ein schematischer Ablaufplan einer Ausführungsform des Verfahrens 100 zum Betreiben eines trainierten Klassifikators 100. Der trainierte Klassifikator 1 umfasst ein neuronales Netz 3 mit wenigstens einem Merkmalsextraktionsabschnitt 3a und wenigstens einem Klassifikationsabschnitt 3b.
-
Im Schritt 110 wird ein Datensatz der Messdaten 2 mit wenigstens dem Merkmalsextraktionsabschnitt 3a des Klassifikators 1 verarbeitet.
-
Im Schritt 120 wird aus der Ausgabe, die durch den Klassifikator 1 nach dem Verarbeiten des Datensatzes der Messdaten 2 geliefert wird, bestimmt, ob die durch den Datensatz der Messdaten 2 erfasste Szene zu einer Klasse 7 gehört, die durch den Klassifikator 1 während seines Trainings gesehen worden ist. Falls dies der Fall ist (Wahrheitswert 1), wird im Schritt 130 direkt aus der Ausgabe des Klassifikationsabschnitts 3b des Klassifikators 1 die Klasse 7* bestimmt, zu der die Szene am wahrscheinlichsten gehört.
-
Falls jedoch die Szene zu einer ungesehenen Klasse gehört (Wahrheitswert 0), wird eine geschätzte Klasse 7#, die basierend auf den aktivierten Neuronen 4 im Merkmalsextraktionsabschnitt 3a des Klassifikators 1 bestimmt wird, als die Klasse 7* bestimmt, zu der die Szene am wahrscheinlichsten gehört. Die Ableitung der geschätzten Klasse 7# wird im Folgenden ausführlich beschrieben.
-
Im Schritt 140 wird eine Menge von Neuronen 4 im Merkmalsextraktionsabschnitt bestimmt, die durch die Verarbeitung des Datensatzes der Messdaten 2 aktiviert werden.
-
Im Schritt 150 wird aus einer gegebenen Übereinstimmung 5 zwischen den aktivierten Neuronen 4 und den Attributen 6 eine Menge von Attributen 6 bestimmt. Das heißt, die aktivierten Neuronen 4 geben das Vorhandensein dieser Attribute 6 in einer durch die Messdaten 2 erfassten Szene an.
-
Im Schritt 160 werden diese bestimmten Attribute 6 mit den Attributen 6' verglichen, mit denen die Klassen 7 durch einen vorgegebenen Wissensgraphen 8 verknüpft sind.
-
Im Schritt 170 wird aus dem Ergebnis dieses Vergleichs wenigstens eine geschätzte Klasse 7# bestimmt. Diese geschätzte Klasse 7# ist eine Klasse, zu der die durch den Datensatz der Messdaten 2 erfasste Szene wahrscheinlich gehört. Im Prinzip kann diese geschätzte Klasse 7# immer als eine Klasse 7* verwendet werden, zu der die Szene am wahrscheinlichsten gehört. In dem in 1 gezeigten Beispiel wird analysiert, ob die Szene zu einer gesehenen oder ungesehenen Klasse gehört. In diesem Beispiel wird die geschätzte Klasse 7# als die Klasse 7*, zu der die Szene am wahrscheinlichsten gehört, nur für die Datensätze der Messdaten 2 der ungesehenen Klassen verwendet, um das Verhalten des Klassifikators 1 hinsichtlich der gesehenen Klassen nicht zu ändern.
-
Ungeachtet dessen, welchem Weg gefolgt wurde, um bei der Klasse 7* anzukommen, zu der die durch den Datensatz der Messdaten 2 erfasste Szene am wahrscheinlichsten gehört, kann im Schritt 200 aus dieser Klasse 7* ein Betätigungssignal 200a berechnet werden. Im Schritt 210 kann ein Fahrzeug 50, ein System 60 zur Qualitätskontrolle, ein Überwachungssystem 70 und/oder ein medizinisches Bildgebungssystem 80 mit dem Ansteuersignal 200a betätigt werden.
-
Weiterhin kann ungeachtet dessen, wie die wahrscheinlichste Klasse 7* bestimmt wurde, im Schritt 180 aus wenigstens einem Attribut in der Menge der bestimmten Attribute 6 ein Abschnitt 2a des Datensatzes der Messdaten 2 bestimmt werden, der zu diesem Attribut geführt hat. Im Schritt 190 kann dieser Abschnitt 2a des Datensatzes der Messdaten 2, wie z. B. ein Bildbereich, als auffallend für die Entscheidung des Klassifikators 1 bestimmt werden. Das heißt, selbst für die gesehenen Klassen, die normal bewertet werden können, kann die Bewertung der aktivierten Neuronen im Merkmalsextraktionsabschnitt 3a nützliche Informationen liefern.
-
Gemäß Block 111 kann der Datensatz der Messdaten 2 mit den Merkmalsextraktionsabschnitten 3a mehrerer Klassifikatoren 1 verarbeitet werden. Gemäß Block 151 können dann die Mengen von Attributen 6, deren Vorhandensein in der durch den Datensatz der Messdaten 2 erfassten Szene durch die aktivierten Neuronen 4 der mehreren Klassifikatoren 1 angegeben wird, zusammengefasst werden.
-
Gemäß Block 121 kann der Klassifikator 1 trainiert werden, um eine zusätzliche Klassifikationspunktzahl für den Fall zu berechnen, dass die durch den Datensatz der Messdaten 2 erfasste Szene zu einer ungesehenen Klasse 7 gehört. Für einen gegebenen Datensatz der Messdaten 2 kann dann einfach bestimmt werden, ob er zu einer gesehenen oder ungesehenen Klasse 7 gehört, um zu entscheiden, wie bei der wahrscheinlichsten Klasse 7* anzukommen ist.
-
Alternativ oder in Kombination kann gemäß Block 122 aus den durch den Klassifikator 1 ausgegebenen Klassifikationspunktzahlen für die gesehenen Klassen 7 bewertet werden, ob die durch den Datensatz der Messdaten 2 erfasste Szene zu einer gesehenen Klasse 7 gehört.
-
Gemäß Block 141 können die Neuronen in einer vollständig verbundenen Schicht des Merkmalsextraktionsabschnitts 3a ausgewählt werden, um bezüglich dessen untersucht zu werden, ob sie durch die Verarbeitung des Datensatzes der Messdaten 2 aktiviert werden.
-
Gemäß Block 142 kann ein Neuron in Reaktion auf seinen Aktivierungswert, der einen vorgegebenen Schwellenwert übersteigt, als ein aktiviertes Neuron 4 bestimmt werden.
-
Gemäß Block 161 können die Beziehungen zwischen den Klassen 7 und den Attributen 6' im Wissensgraphen 8 Folgendes umfassen:
- • eine Beziehung, dass eine Entität, die einer Klasse 7 entspricht, eine Entität aufweist und/oder umfasst, die einem Attribut 6' entspricht. Ein Badezimmer weist z. B. ein Waschbecken und außerdem Handtücher auf; und/oder
- • eine Beziehung, dass eine Entität, die einer Klasse 7 entspricht, außerdem eine Entität ist, die einem Attribut 6' entspricht. Ein Auto ist z. B. außerdem ein Fahrzeug.
-
Gemäß Block 162 kann der Wissensgraph 8 so gewählt werden, dass er eine Obermenge der Klassen 7 umfasst, die der Klassifikator während seines Trainings gesehen hat.
-
Gemäß Block 171 kann eine Wahrscheinlichkeit 7a, dass die durch den Datensatz der Messdaten 2 erfasste Szene zu einer Klasse 7 gehört, darauf basierend bestimmt werden, wie viele der durch den Wissensgraphen 8 mit dieser Klasse 7 verknüpften Attribute 6' sich in der bestimmten Menge von Attributen 6 befinden.
-
Gemäß Block 172 können für mehrere Klassen 7 die Wahrscheinlichkeiten 7a bestimmt werden, dass die durch den Datensatz der Messdaten 2 erfasste Szene zu der jeweiligen Klasse 7 gehört. Gemäß Block 173 können die mehreren Klassen 7 dann gemäß diesen Wahrscheinlichkeiten eingestuft werden.
-
2 veranschaulicht, wie eine geschätzte Klasse 7# in Anbetracht einer Übereinstimmung 5 zwischen den aktivierten Neuronen 4 und den Attributen 6 einerseits und eines Wissensgraphen 8, der die Klassen 7 mit den Attributen 6' verknüpft, andererseits basierend auf den aktivierten Neuronen 4 im Merkmalsextraktionsabschnitt 3a des Klassifikators 1 erhalten werden kann.
-
In dem in 2 gezeigten Beispiel umfasst der Merkmalsextraktionsabschnitt 3a des Klassifikators 1 von links nach rechts drei Schichten von Neuronen. Es ist die übliche Weise, um eine Klasse 7 zu bestimmen, zu der die durch den Datensatz der Messdaten 2 erfasste Szene am wahrscheinlichsten gehört, die Ausgabe des Merkmalsextraktionsabschnitts 3a in den Klassifikationsabschnitt 3b des Klassifikators 1 einzuspeisen. Wie vorher erörtert worden ist, kann dies dennoch für Szenen ausgeführt werden, die zu den Klassen 7 gehören, die der Klassifikator 1 während seines Trainings gesehen hat.
-
Für die ungesehenen Klassen werden basierend auf den (in 2 schraffiert gezeigten) aktivierten Neuronen 4 entsprechende Attribute 6 in der gegebenen Übereinstimmung 5 nachgeschlagen. In dem in 2 gezeigten einfachen Beispiel ist die Übereinstimmung eins-zu-eins, dies ist aber nicht erforderlich. Wie vorher erörtert worden ist, können die Attribute 6 außerdem beliebigen Mustern von mehreren aktivierten Neuronen 4 entsprechen.
-
Der Wissensgraph 8 verbindet jede Klasse 7 mit einem oder mehreren Attributen 6'. Das heißt, falls diese Attribute 6' in Kombination vorhanden sind, ist die Möglichkeit hoch, dass die durch die Messdaten 2 erfasste Szene zu der Klasse 7 gehört, die dieser Kombination von Attributen 6' entspricht. In dem in 2 gezeigten Beispiel wird die von den aktivierten Neuronen 4 abgeleitete Attributkombination im Wissensgraphen 8 gefunden, wobei die entsprechende Klasse 7 als die geschätzte Klasse 7# bestimmt wird, zu der die Szene wahrscheinlich gehört.
