DE102021205274A1 - Sichere Steuerung/Überwachung eines computergesteuerten Systems - Google Patents

Abstract

Die Erfindung bezieht sich auf ein computerimplementiertes Verfahren (700) zum Klassifizieren von Sensordaten zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems. Das Klassifizierungsmodell umfasst ein Inferenzmodell, das basierend auf den Sensordaten jeweilige Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für die jeweiligen mehreren Klassen bestimmt. Das Klassifizierungsmodell umfasst ferner ein generatives Modell, das basierend auf den Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten gemäß einem Trainingsdatensatz des Klassifizierungsmodells bestimmt. Konzentrationsparameter gemäß dem Inferenzmodell werden zur Anomaliendetektion verwendet, indem eine Wahrscheinlichkeit dafür bestimmt wird, dass die Sensordaten gemäß dem generativen Modell basierend auf den Konzentrationsparametern erzeugt werden. Die gleichen Konzentrationsparameter werden verwendet, um die Klassenwahrscheinlichkeiten zu bestimmen.

Description

• GEBIET DER ERFINDUNG
• Die Erfindung bezieht sich auf ein computerimplementiertes Verfahren zum Klassifizieren von Sensordaten zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems sowie auf ein entsprechendes System. Die Erfindung bezieht sich ferner auf ein computerimplementiertes Verfahren zum Trainieren eines Klassifizierungsmodells zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems und auf ein entsprechendes System. Die Erfindung bezieht sich ferner auf ein computerlesbares Medium, das Befehle und/oder Modelldaten umfasst.
• HINTERGRUND DER ERFINDUNG
• Autos und andere Fahrzeuge treffen immer mehr autonome Entscheidungen, die auf der Klassifizierung von Sensordaten basieren. Bei heute auf dem Markt erhältlichen Fahrzeugen verwenden beispielsweise Spurhalteunterstützungssysteme Sensordaten wie beispielsweise Bilder der Umgebung des Fahrzeugs oder aus solchen Bildern extrahierte Merkmale, um die Fahreraufgabe, beispielsweise das Halten der Spur oder den Spurwechsel, zu erkennen. Das Spurhalteunterstützungssystem kann dann die erkannte Aufgabe nutzen, um den Fahrer in geeigneter Weise zu unterstützen. In zukünftigen Fahrzeugen wird eine zunehmende Zahl von Aufgaben, unter anderem auch Aufgaben, die bei falscher Ausführung mit steigendem Risiko verbunden sind, auf Basis klassifizierter Sensordaten autonom durchgeführt. Dasselbe gilt für viele andere computergesteuerte Systeme, darunter Robotersysteme, Haushaltsgeräte, Fertigungsmaschinen, persönliche Assistenten, Zugangssteuersysteme, Drohnen, Nanoroboter und Heizungssteuersysteme.
• Eine Fehlklassifizierung von Sensordaten kann zu falschen automatisierten Entscheidungen mit potenziell gefährlichen Folgen führen. Eine solche Fehlklassifizierung kann insbesondere auftreten, wenn ein Klassifizierungsmodell auf Sensordateneingaben angewendet wird, die nicht ausreichend mit den Daten übereinstimmen, an denen das Modell trainiert wurde, beispielsweise Sensordaten, die eine ungewöhnliche Verkehrssituation darstellen, die in dem Trainingsdatensatz nicht angetroffen wurde, oder Sensordaten aus fehlerhaften Messungen stammen. Aus diesem Grund ist es wichtig, Stichproben außerhalb der Verteilung („OOD“) zu detektieren, d. h. Sensordateneingaben, die dem Trainingsdatensatz, an dem das Klassifizierungsmodell trainiert wurde, nicht ausreichend entsprechen. Werden Sensordaten beispielsweise als OOD detektiert, ist es möglich, einen Menschen zu warnen, auf einen Ausweichmechanismus umzuschalten und/oder der Ausgabe des Klassifikationsmodells eine geringere Bedeutung zuzuordnen.
• In dem Artikel „Evidential Deep Learning to Quantify Classification Uncertainty“ von M. Sensoy et al. (verfügbar unter https://arxiv.org/abs/1806.01768 und hierin durch Bezugnahme aufgenommen) wird eine explizite Modellierung der Vorhersageunsicherheit eines Mehrklassen-Klassifikationsmodells vorgeschlagen. Der Prädiktor für ein Mehrklassen-Klassifikationsproblem ist eine Dirichlet-Verteilung, deren Parameter durch die kontinuierliche Ausgabe eines neuronalen Netzes festgelegt werden. Basierend auf diesen Parametern können sowohl Klassenetiketten als auch eine Unsicherheit bestimmt werden.
• KURZDARSTELLUNG DER ERFINDUNG
• Obwohl der bekannte Mehrklassen-Klassifikator verwendet werden kann, um zu bestimmen, ob Sensordaten OOD sind oder nicht, z. B. ob es sich um eine Sensorfehlmessung oder eine ungewöhnliche Situation handelt, hat er den Nachteil, dass er keine kalibrierten domäneninternen Unsicherheiten liefert. Domäneninterne Unsicherheiten sind wichtig, da Sensordaten, die nicht OOD sind, immer noch schwer zu klassifizieren sein können. Zum Beispiel können die Sensordaten einen Grenzfall dazwischen darstellen, ob ein Fahrer die Fahrspur hält oder die Fahrspur wechselt. Diese Art von Unsicherheit ist auch wichtig, um zu bestimmen, wie die Klassifikatorausgabe für das Steuern oder Überwachen verwendet werden soll, da sie auch bestimmt, wie stark sich ein Controller auf eine bestimmte Klassifizierung verlassen kann.
• Es ist besonders wünschenswert, wenn eine solche domäneninterne Unsicherheit in Form einer Wahrscheinlichkeit, dass die Eingabedaten zu einer gegebenen Klasse gehören, bestimmt werden kann, die so kalibriert ist, z. B. so trainiert ist, dass aus einer Menge von Eingaben, für die das Modell eine Wahrscheinlichkeit von 70 % liefert, ungefähr 70 % der Eingaben aus der Menge zu dieser gegebenen Klasse gehören usw. Beispielsweise können mit solchen kalibrierten Unsicherheitswerten Unsicherheitsinformationen für verschiedene Sensoreingaben verglichen und/oder gemäß verschiedenen Versionen desselben Modells berechnet werden.
• Es wäre wünschenswert, Techniken zum Klassifizieren von Sensordaten zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems zu schaffen, die zusätzlich zum Bestimmen, ob die Sensordaten außerhalb der Verteilung sind, besser kalibrierte domäneninterne Unsicherheiten liefern.
• Gemäß einem ersten Aspekt der Erfindung werden ein computerimplementiertes Verfahren und ein entsprechendes System zum Klassifizieren von Sensordaten zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems geschaffen, wie sie durch die Ansprüche 1 bzw. 13 definiert sind. Gemäß einem weiteren Aspekt der Erfindung werden ein computerimplementiertes Verfahren und ein entsprechendes System zum Trainieren eines Klassifizierungsmodells zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems geschaffen, wie sie durch die Ansprüche 12 bzw. 14 definiert sind. Gemäß einem Aspekt der Erfindung wird ein computerlesbares Medium beschrieben, wie es in Anspruch 15 definiert ist.
• Verschiedene Aspekte beziehen sich auf ein Klassifizierungsmodell, das Sensordaten in eine Klasse aus einer Menge von mehreren Klassen klassifiziert. Zum Beispiel kann das Klassifizierungsmodell eine Gesamtklassifizierung der Sensordaten ausgeben oder das Klassifizierungsmodell kann mehrere jeweilige Klassifizierungen in die Menge von Klassen für jeweilige Teile der Sensordaten umfassen. Beispielsweise können für Zeitreihensensordaten jeweilige Klassen für jeweilige Zeitpunkte bestimmt werden. Für Bilddaten kann das Klassifizierungsmodell jeweilige Klassen für jeweilige Bildabschnitte (z. B. Pixel) bestimmen, z. B. kann das Klassifizierungsmodell ein Bildsegmentierungsmodell sein.
• Hierin beschriebene Klassifizierungsmodelle können sowohl ein trainiertes Inferenzmodell als auch ein trainiertes generatives Modell umfassen. Unter Vorgabe von Sensordaten kann das Inferenzmodell Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für die jeweiligen Klassen, in die die Sensordaten klassifiziert werden können, bestimmen. Interessanterweise können diese Konzentrationsparameter als Eingabe verwendet werden, um sowohl einen Außerverteilungswert unter Verwendung eines generativen Modells zu bestimmen, als auch um Klassenwahrscheinlichkeitswerte für die jeweiligen Klassen zu bestimmen (zumindest wenn der Außerverteilungswert eine ausreichende Übereinstimmung der Sensordaten mit dem Trainingsdatensatz angibt). Das generative Modell kann trainiert werden, um bei gegebenen Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten gemäß dem Trainingsdatensatz zu bestimmen. Dementsprechend kann basierend auf den bestimmten Konzentrationsparametern eine Wahrscheinlichkeit, dass die Sensordaten erzeugt werden, gemäß einem generativen Modell erzeugt werden und diese Wahrscheinlichkeit kann als ein Außerverteilungswert dienen, der eine Entsprechung der Sensordaten mit dem Trainingsdatensatz des Klassifikationsmodells angibt. Außerdem können aus den Konzentrationsparametern Wahrscheinlichkeiten bestimmt werden, dass die Sensordaten zu einer bestimmten Klasse gehören.
• Interessanterweise haben die Erfinder festgestellt, dass die Verwendung der Konzentrationsparameter sowohl zum Bestimmen von Außerverteilungswert als auch zum Bestimmen von Klassenwahrscheinlichkeiten zu besser kalibrierten Klassenwahrscheinlichkeiten führt. Beim Trainieren des Klassifikationsmodells kann nämlich das Klassifikationsmodell wirksam gezwungen werden, die Konzentrationsparameter so zu bestimmen, dass sie nicht nur die Vorhersage der richtigen Klasse, sondern auch eine hinreichend genaue Reproduktion der Sensordaten durch das generative Modell ermöglichen. Die Erfinder stellten fest, dass dies als ein wirksamer Mechanismus dient, um das Modell dazu zu zwingen, Konzentrationsparameter zu bestimmen, die die Unsicherheit über die Sensordaten besser berücksichtigen.
• In „Evidential Deep Learning to Quantify Classification Uncertainty“ gibt es beispielsweise keinen solchen Mechanismus, um kalibrierte Klassenwahrscheinlichkeiten bereitzustellen. Effektiv kann dieses Modell durch eine Kombination von Modellanpassung und Regularisierung trainiert werden. Die Modellanpassung regt das Modell dazu an, das aktuelle Etikett für Trainingsdaten mit maximaler Sicherheit auszugeben. Die Regularisierung regt das Modell dazu an, anzugeben, dass er für Außerverteilungswerte unsicher ist. Weder diese Modellanpassung noch diese Regularisierung bietet jedoch einen Mechanismus, der das Modell dazu anregt, kalibrierte Wahrscheinlichkeitswerte für Daten innerhalb der Verteilung zu liefern. Im Gegensatz dazu wird durch die Verwendung von Konzentrationsparametern, die auch als Eingabe für ein generatives Modell für die OOD-Detektion verwendet werden, wie es hierin beschrieben ist, ein solcher Mechanismus bereitgestellt. Tatsächlich haben die Erfinder festgestellt, dass gemäß den bereitgestellten Techniken abgeleitete Klassenwahrscheinlichkeitswerte hinsichtlich der Kalibrierung viel genauer sind als Klassenwahrscheinlichkeitswerte, die aus der Dirichlet-Verteilung von „Evidential Deep Learning to Quantify Classification Uncertainty“ abgeleitet sind.
• Da der Außerverteilungswert unter Verwendung eines generativen Modells bestimmt wird, das trainiert wird, um die Sensordaten aus den Konzentrationsparametern zu reproduzieren, kann es interessanterweise ermöglicht werden, das Klassifizierungsmodell zu trainieren, ohne dass OOD-Stichproben notwendig sind. Dies ist vorteilhaft, da es per Definition schwierig ist, eine repräsentative Menge von OOD-Stichproben zu erhalten. Das Trainieren eines Modells mit einer expliziten Menge von OOD-Stichproben führt zu einem Modell, das möglicherweise nicht in der Lage ist, OOD-Fälle zu erkennen, die nicht der OOD-Trainingsmenge ähneln. Es ist daher für die Genauigkeit der OOD-Detektion vorteilhaft, ihre Domäne nur durch domäneninterne Stichproben zu lernen. Beispielsweise kann in einem alternativen Ansatz ein Klassifizierungsmodell trainiert werden, die richtige Klasse für domäneninterne Stichproben des Trainingsdatensatzes auszugeben und maximale Unsicherheit für Stichproben des Trainingsdatensatzes außerhalb der Verteilung auszugeben. Ein solcher Trainingsansatz hat den Nachteil, dass er OOD-Stichproben erfordert und bietet auch keinen Mechanismus, um kalibrierte domäneninterne Wahrscheinlichkeitswerte zu liefern.
• Im Gegensatz dazu wird durch Trainieren eines generativen Modells an domäneninternen Stichproben und Verwenden dieses Modells zum Bestimmen von Außerverteilungswerten, wie es hier vorgeschlagen wird, das Training nur an domäneninternen Stichproben ermöglicht und es können kalibrierte domäneninterne Wahrscheinlichkeitswerte bestimmt werden. Insbesondere kann das Klassifikationsmodell an einem Trainingsdatensatz trainiert werden, der Sensordateneingaben und entsprechende Zielklassen umfasst. Das Modell kann trainiert werden, indem das Inferenzmodell auf die Sensordaten angewendet wird, um die Konzentrationsparameter zu erhalten, und ein Trainingssignal basierend auf den Konzentrationsparametern abgeleitet wird. Das Trainingssignal kann dann verwendet werden, um Parameter des Inferenzmodells und/oder des generativen Modells zu aktualisieren.
• Interessanterweise können die Konzentrationsparameter verwendet werden, um sowohl die Klassifizierung als auch die OOD-Detektion zu trainieren. Zu diesem Zweck kann das Trainingssignal einen Beitrag zum Evidenzklassifikatortraining und einen Beitrag zur Dichteschätzung umfassen. Somit kann das Modell die Klassenwahrscheinlichkeitswerte basierend auf Konzentrationsparametern, die auch trainiert werden, um das generative Modell die Sensordaten reproduzieren zu lassen, bestimmen, was zu einer verbesserten Kalibrierung führt.
• Insbesondere kann für das Evidenzklassifikatortraining das Trainingssignal auf einer Wahrscheinlichkeit basieren, dass die Sensordaten basierend auf den Konzentrationsparametern in die Zielklasse klassifiziert werden. Die Konzentrationsparameter können eine Wahrscheinlichkeitsverteilung über Klassenwahrscheinlichkeiten für die jeweiligen Klassen definieren und diese Klassenwahrscheinlichkeiten können wiederum die Wahrscheinlichkeit definieren, dass die Sensordaten in die Zielklasse klassifiziert werden. Das Trainingssignal kann dazu ausgelegt sein, diese Wahrscheinlichkeit für die Zielklasse zu maximieren. Somit kann das Modell dazu angeregt werden, eine korrekte Klassifizierung der Sensordaten zu liefern.
• Für die Dichteschätzung kann das Trainingssignal ferner auf einer Wahrscheinlichkeit basieren, dass die Sensordaten gemäß dem generativen Modell basierend auf den Konzentrationsparametern erzeugt werden. Wie es erörtert wurde, können die Konzentrationsparameter eine Wahrscheinlichkeitsverteilung über Klassenwahrscheinlichkeiten für die jeweiligen Klassen definieren. Basierend auf diesen Klassenwahrscheinlichkeiten kann das generative Modell Parameter einer Wahrscheinlichkeitsverteilung über Sensordaten bestimmen. Das Trainingssignal kann dazu ausgelegt sein, die Wahrscheinlichkeit des Auftretens der Sensordaten des Trainingsdatensatzes gemäß dieser Wahrscheinlichkeitsverteilung zu maximieren. Somit kann das Modell so trainiert werden, dass für Sensordaten gemäß dem Trainingsdatensatz die Anwendung des Inferenzmodells gefolgt von dem generativen Modell zu einer relativ höheren Wahrscheinlichkeit, dass die Sensordaten reproduziert werden, führt als für Sensordaten nicht gemäß dem Trainingsdatensatz. Somit kann diese Wahrscheinlichkeit als ein Außerverteilungswert verwendet werden. Dies führt zu genaueren Außerverteilungswerten, liefert aber gleichzeitig auch eine Kalibrierung der Klassenwahrscheinlichkeitswerte, da diese aus denselben Konzentrationsparametern bestimmt werden, die auch bei der Dichteschätzung verwendet werden.
• Optional kann das Anwenden des Klassifizierungsmodells Ausgeben des Außerverteilungswerts beinhalten. Zum Beispiel kann der Außerverteilungswert durch Vergleichen der Wahrscheinlichkeit, dass die Sensordaten gemäß dem generativen Modell erzeugt werden, mit einer Schwelle erhalten werden. Klassenwahrscheinlichkeitswerte für eine oder mehrere Klassen, z. B. für eine oder mehrere wahrscheinlichste Klassen, für eine oder mehrere angeforderte Klassen oder für alle Klassen, können auch ausgegeben werden, z. B. immer oder nur, wenn der Außerverteilungswert eine ausreichende Entsprechung angibt.
• Die Ausgaben, z. B. der Außerverteilungswert und/oder die Klassenwahrscheinlichkeiten, können beim Steuern und/oder Überwachen des computergesteuerten Systems verwendet werden. Das computergesteuerte System kann beispielsweise ein Roboter, ein Fahrzeug, ein Haushaltsgerät, ein kraftbetriebenes Werkzeug, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangssteuersystem sein. Dies sind Beispiele für Systeme, die basierend auf aus dem System und/oder seiner Umgebung gemessenen Sensordaten gesteuert werden und die daher das Problem haben, dass sie vielleicht in Situationen angewendet werden, für die das Klassifikatormodell nicht trainiert ist, oder vielleicht fehlerhafte Sensormessungen erhalten. Somit können die hierin bereitgestellten Techniken auf vorteilhafte Weise angewendet werden. Beispielhafte Systeme, die überwacht werden können, umfassen ein Überwachungssystem oder ein medizinisches (Bildgebungs-)System.
• Im Prinzip ist es auch möglich, die bereitgestellten Techniken für andere Anwendungen als das Steuern und/oder Überwachen von computergesteuerten Systemen zu verwenden, bei denen Außerverteilungswerte und/oder Klassenwahrscheinlichkeitswerte verwendet werden. So kann das bereitgestellte Verfahren ein Verfahren zum Klassifizieren von Sensordaten, beispielsweise Bildern, an sich sein und das bereitgestellte System kann auch ein System zum Klassifizieren von Sensordaten, beispielsweise Bildern, an sich sein, ohne dass das Klassifizierungsergebnis notwendigerweise zum Steuern und/oder Überwachen verwendet wird.
• Im Allgemeinen können die hierin bereitgestellten Techniken auf viele verschiedene Arten von Sensordaten angewendet werden, beispielsweise Bilddaten, Audiodaten und verschiedene andere Arten von Messungen physikalischer Größen wie beispielsweise Temperatur, Druck usw. Hierin werden verschiedene Beispiele gegeben. Insbesondere können mehrere jeweilige Klassifizierungsmodelle, wie sie hierin bereitgestellt sind, auf mehrere jeweilige Typen von Sensordaten angewendet werden, wodurch Klassifizierungen mit miteinander vergleichbaren Klassenwahrscheinlichkeitswerten erhalten werden. Die Anwendung auf Sensordaten ist im Prinzip nicht erforderlich, z. B. kann das Klassifizierungsmodell mit jeder Modelleingabe arbeiten, für die eine OOD-Detektion und/oder eine Klassenwahrscheinlichkeitsbestimmung erforderlich ist.
• Optional können die Sensordaten eine Zeitreihe von Messungen der einen oder mehreren physikalischen Größen umfassen, z. B. mindestens 2, mindestens 5 oder mindestens 10 Zeitpunkte. In der Praxis sind Klassifikationen von Zeitreihen oft wichtige Eingaben beim Steuern und/oder Überwachen von computergesteuerten Systemen. Die Klassifizierung der Zeitreihen kann Bestimmen einer Klasse für die gesamte Zeitreihe und/oder Bestimmen jeweiliger Klassen für jeweilige Zeitpunkte der Zeitreihe umfassen. Ein geeignetes Inferenzmodell, wie es an sich bekannt ist, kann verwendet werden. Das generative Modell kann ein rekurrentes Modell umfassen, das dazu ausgelegt ist, Parameter einer Wahrscheinlichkeitsverteilung von Werten der einen oder mehreren physikalischen Größen zu einem Zeitpunkt der Zeitreihe basierend auf Parametern der Wahrscheinlichkeitsverteilung zu einem vorhergehenden Zeitpunkt der Zeitreihe zu bestimmen. Das rekurrente Modell kann beispielsweise die Gesamtklassifizierung der Zeitreihen als Gesamteingabe erhalten oder Klassenwahrscheinlichkeiten zu einem jeweiligen Zeitpunkt als Eingaben zum Bestimmen der Wahrscheinlichkeitsverteilungsparameter zu diesem Zeitpunkt erhalten.
• Optional kann das Klassifizierungsmodell in einem Spurhalteunterstützungssystem eines Fahrzeugs verwendet werden. Die Sensordaten können Ortsinformationen des Fahrzeugs und/oder von Verkehrsteilnehmern in der Umgebung des Fahrzeugs umfassen, die beispielsweise aus Bilddaten einer oder mehrerer am Fahrzeug installierter Kameras extrahiert sind. Dieser Ort kann verwendet werden, um die Sensordaten in verschiedene Fahreraufgaben zu klassifizieren, die die Sensordaten repräsentieren. Insbesondere können die Fahreraufgaben eine Klasse umfassen, die repräsentiert, dass das Fahrzeug seine Spur hält, und eine oder mehrere Klassen umfassen, die repräsentieren, dass das Fahrzeug seine Spur wechselt, z. B. nach links oder rechts wechselt.
• Optional kann ein generatives Modell, das ein rekurrentes Modell umfasst, verwendet werden, um zukünftige Werte der einen oder mehreren physikalischen Größen zu einem oder mehreren zukünftigen Zeitpunkten nach der Zeitreihe vorherzusagen, z. B. einem oder mehreren Zeitpunkten, die in der Zukunft liegen oder für die zumindest noch keine Messungen vorliegen. Diese vorhergesagten zukünftigen Werte können dann zum Steuern und/oder Überwachen des computergesteuerten Systems verwendet werden. Zum Beispiel kann das rekurrente generative Modell zu einem Zeitpunkt t verwendet werden, um einen Ort eines nächstgelegenen Fahrzeugs zu einem oder mehreren zukünftigen Zeitpunkten t+1, t+2 vorherzusagen, indem das generative Modell in der Zeit weiter entwickelt wird. Die Zukunftsvorhersagen können beispielsweise von einem Planungs- und Steuerungsmodul eines automatisierten Fahrsystems verwendet werden, um Steuerungen für die Geschwindigkeit und/oder den Lenkwinkel zu erzeugen.
• Optional können die Sensordaten ein Bild repräsentieren, das von dem computergesteuerten System und/oder seiner Umgebung aufgenommen wird. Die Sensordaten können beispielsweise Videodaten, Radardaten, LiDAR-Daten, Ultraschalldaten, Bewegungsdaten oder Wärmebilddaten sein. Als Inferenzmodelle und generative Modelle können verschiedene maschinenlernbare Modelle verwendet werden, die mit Bildern arbeiten, z. B. insbesondere faltende neuronale Netze und vollständig faltende neuronale Netze, wie sie im Stand der Technik an sich bekannt sind. Somit kann das Klassifizierungsmodell ein Bildklassifizierungsmodell sein. Zum Beispiel kann ein Bildklassifizierungsmodell Bilddaten in mehrere jeweilige Klassen klassifizieren, deren Entsprechung ist, welches der mehreren jeweiligen Objekte in dem Bild vorhanden ist. Ein Bildklassifizierungsmodell kann auch ausgeben, ob ein oder mehrere jeweilige Objekte in einem Bild vorhanden sind oder nicht. Beispielsweise kann das Bildklassifizierungsmodell ein Objekterkennungsmodell sein. Ein Bildklassifizierungsmodell kann auch jeweilige Bildabschnitte, z. B. einzelne Pixel, in jeweilige Klassen klassifizieren. Beispielsweise kann das Bildklassifizierungsmodell ein semantisches Segmentierungsmodell sein. Zum Beispiel können die mehreren Klassen des Bildklassifizierungsmodells ein Verkehrszeichen, eine Straßenoberfläche, einen Fußgänger, ein Fahrzeug und/oder eine Fahreraufgabe eines detektierten Fahrzeugs umfassen.
• Wenn das Klassifikatormodell ein semantisches Segmentierungsmodell ist, kann das generative Modell optional dazu ausgelegt sein, Parameter der jeweiligen Wahrscheinlichkeitsverteilungen für die jeweiligen Bildabschnitte zu bestimmen. Somit kann das generative Modell verwendet werden, um jeweilige Außerverteilungswerte für die jeweiligen Bildabschnitte zu bestimmen. Die Außerverteilungswerte können verwendet werden, um Bildbereiche hervorzuheben, deren Etiketten unsicher sind. Dadurch können beispielsweise diese hervorgehobenen Bildbereiche beim Steuern und/oder Überwachen des computergesteuerten Systems ausgeschlossen werden oder andere Modalitäten für solche Bereiche priorisiert werden.
• Optional kann das Bestimmen des Außerverteilungswerts umfassen: stichprobenartiges Entnehmen der Klassenwahrscheinlichkeiten für die mehreren Klassen aus der Dirichlet-Verteilung; Bestimmen der Parameter der Wahrscheinlichkeitsverteilung der Sensordaten aus den Klassenwahrscheinlichkeiten; und Bestimmen einer Wahrscheinlichkeit, dass die Sensordaten gemäß den Parametern der Wahrscheinlichkeitsverteilung abgetastet werden. Dies ermöglicht ein effizientes Bestimmen des Außerverteilungswertes als Näherung der Wahrscheinlichkeit, dass die Sensordaten gemäß dem generativen Modell erzeugt werden. Beispielsweise kann diese Näherung auch verwendet werden, wenn die Wahrscheinlichkeit nicht durch einen geschlossenen Ausdruck ausgedrückt werden kann.
• Optional können die Konzentrationsparameter darauf beschränkt sein, größer oder gleich eins zu sein. Beispielsweise kann das Inferenzmodell so definiert sein, dass es nur Werte größer oder gleich eins ausgeben kann. Es ist zwar im Prinzip nicht notwendig, dies durch Einschränkung des Inferenzmodells zu erzwingen, aber Konzentrationsparameter größer als eins stellen sicher, dass die Parameter im regelmäßigeren Teil der Dirichlet-Verteilung liegen, was die numerische Stabilität während des Trainings verbessert.
• Optional können der bestimmte Außerverteilungswert und/oder der eine oder die mehreren Klassenwahrscheinlichkeitswerte verwendet werden, um zu entscheiden, ob ein reguläres Steuermodul oder ein Ausweich-Steuermodul verwendet werden soll. Wenn der Außerverteilungswert eine ausreichende Übereinstimmung angibt und/oder ein Klassenwahrscheinlichkeitswert für eine Klasse eine ausreichende Sicherheit für eine Klassifizierung in diese Klasse angibt, kann das reguläre Steuermodul verwendet werden, um Steuerdaten zu bestimmen. Andernfalls können die Steuerdaten unter Verwendung eines Ausweich-Steuermoduls bestimmt werden. Das computergesteuerte System kann dann basierend auf den Steuerdaten gesteuert werden. Da die bereitgestellten Techniken eine genauere OOD-Detektion und genauere Klassenwahrscheinlichkeiten liefern, wird die Sicherheit durch Umschalten auf das Ausweich-Steuermodul bei Bedarf verbessert, während die Steuerung durch Verwenden des regulären Steuermoduls verbessert wird, wenn dies als möglich bestimmt wird.
• Optional können die Sensordaten für die zukünftige Verwendung gespeichert werden, wenn der Außerverteilungswert eine Nichtübereinstimmung angibt. Andernfalls können die Sensordaten verworfen werden. Dies hat den Vorteil, dass relevante Trainingsdaten effizienter gesammelt werden können. Beispielsweise kann ein weiteres Maschinenlernmodell an den gesammelten Daten trainiert werden. Autonome Fahrzeuge und andere Typen von computergesteuerten Systemen sammeln typischerweise große Datenmengen und es ist oft nicht möglich, alle gesammelten Daten zu speichern und/oder alle gesammelten Daten zur Verwendung durch ein Trainingssystem zu übertragen. Daher ist es wichtig, Trainingsdaten auszuwählen, die erwartetermaßen relevant sind. Beispielsweise können die Sensordaten Fahrzeugsensordaten für eine autonome Fahrwahrnehmung sein. Solche Sensordaten können durch Interaktion mit der realen Welt während einer freien Fahrt erhalten werden. Möglicherweise fließen ständig Daten in die Sensoren, aber möglicherweise ist nicht genügend Platz vorhanden, um sie alle zu speichern. Die bestimmten Klassenwahrscheinlichkeitswerte und/oder die bestimmten Außerverteilungswerte können verwendet werden, um zu bestimmen, ob die Sensordaten behalten werden sollen oder nicht, indem beispielsweise eine informationstheoretische Berechnung eines erwarteten Informationsgewinns des Speicherns der Sensordaten durchgeführt wird. Die Sensordaten können in dem Fahrzeug selbst gespeichert werden, aber auch von dem Sensor an einen zentralen Server gesendet und dort gespeichert werden. Somit kann eine intelligente Datenauswahl erreicht werden und die Datensammelkosten können reduziert werden.
• Optional kann dem generativen Modell als Eingabe ein Wert einer Kontextvariablen gegeben werden. Die Kontextvariable kann die A-priori-Verteilung der Klassenwahrscheinlichkeiten bestimmen, z. B. die Konzentrationsparameter. Beim Anwenden des Modells kann der Wert der Kontextvariablen aus einer Menge von Kontextinstanzen bestimmt werden, die jeweils Sensordaten und eine entsprechende Zielklasse umfassen. Dies stellt ein flexibleres Klassifizierungsmodell bereit, das leicht dynamisch an unterschiedliche Umstände angepasst werden kann. Beispielsweise können die Kontextinstanzen jüngere Messungen der physikalischen Größen des computergesteuerten Systems sein. In einem Spurhalteunterstützungssystem kann die Kontextinstanz beispielsweise effektiv eine Fahrerabsicht über die durch die Kontextinstanzen repräsentierte Zeitspanne darstellen. Es ist auch möglich, Messungen von längeren Zeitspannen und/oder aus anderen computergesteuerten Systemen zu verwenden, so dass z. B. ein Klassifizierungsmodell in einem autonomen oder halbautonomen Fahrzeug an einen anderen Wettertyp, einen anderen Straßentyp, ein anderes Land usw. angepasst werden kann.
• Fachleute werden erkennen, dass zwei oder mehr der oben erwähnten Ausführungsformen, Implementierungen und/oder optionalen Aspekte der Erfindung auf eine beliebige als nützlich erachtete Weise kombiniert werden können.
• Abwandlungen und Variationen eines beliebigen Systems und/oder eines beliebigen computerlesbaren Mediums, die den beschriebenen Abwandlungen und Variationen eines entsprechenden computerimplementierten Verfahrens entsprechen, können von Fachleuten auf der Grundlage der vorliegenden Beschreibung ausgeführt werden.
• Figurenliste
• Diese und andere Aspekte der Erfindung werden aus den beispielhaft in der folgenden Beschreibung beschriebenen Ausführungsformen und unter Bezugnahme auf die beigefügten Zeichnungen ersichtlich und weiter erläutert; es zeigen:
• 1 ein System zum Trainieren eines Klassifizierungsmodells;
• 2 ein System zum Klassifizieren von Sensordaten;
• 3 ein System zum Klassifizieren von Sensordaten zur Verwendung beim Steuern eines (halb-)autonomen Fahrzeugs;
• 4a ein detailliertes Beispiel eines Klassifizierungsmodells, das kein generatives Modell umfasst;
• 4b ein detailliertes Beispiel eines Klassifizierungsmodells, das ein generatives Modell umfasst;
• 4c ein detailliertes Beispiel eines Klassifizierungsmodells, das ein generatives Modell umfasst und das eine Kontextvariable verwendet;
• 5a ein detailliertes Beispiel dafür, wie Sensordaten unter Verwendung eines Klassifikatormodells zu klassifizieren sind, das ein generatives Modell enthält;
• 5b ein detailliertes Beispiel dafür, wie ein Klassifikatormodell trainiert wird, das ein generatives Modell umfasst;
• 6 ein computerimplementiertes Verfahren zum Trainieren eines Klassifizieru ngsmod ells;
• 7 ein computerimplementiertes Verfahren zum Klassifizieren von Sensordaten; und
• 8 ein computerlesbares Medium, das Daten enthält.
• Es ist zu beachten, dass die Figuren rein schematisch und nicht maßstabsgetreu sind. In den Figuren können Elemente, die bereits beschriebenen Elementen entsprechen, die gleichen Bezugszeichen haben.
• GENAUE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
• 1 zeigt ein System 100 zum Trainieren eines Klassifizierungsmodells zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems. Das Klassifizierungsmodell kann dazu ausgelegt sein, Sensordaten in eine Klasse aus einer Menge von mehreren Klassen zu klassifizieren.
• Das System 100 kann eine Datenschnittstelle 120 umfassen. Die Datenschnittstelle 120 kann zum Zugreifen auf einen Trainingsdatensatz 030 dienen. Der Trainingsdatensatz 030 kann mehrere Trainingsinstanzen umfassen, beispielsweise mindestens 1000, mindestens 10000 oder mindestens 100000. Die Trainingsinstanzen können etikettierte Trainingsinstanzen sein, die jeweils Sensordaten und eine entsprechende Zielklasse aus der Menge von mehreren Klassen umfassen. Der Trainingsdatensatz 030 enthält typischerweise keine Trainingsinstanzen, die als außerhalb der Verteilung ausgewiesen sind. Beispielsweise kann der Satz 030 ein Satz von Innerverteilungs-Trainingsdaten sein.
• Die Datenschnittstelle 120 kann zum weiteren Zugreifen auf Modelldaten 040 dienen. Die Modelldaten 040 können das Klassifizierungsmodell darstellen. Das Klassifizierungsmodell kann ein trainierbares Inferenzmodell umfassen. Das Inferenzmodell kann dazu ausgelegt sein, basierend auf Sensordaten jeweilige Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für die jeweiligen mehreren Klassen zu bestimmen. Das Klassifizierungsmodell kann ferner ein trainierbares generatives Modell umfassen. Das generative Modell kann dazu ausgelegt sein, basierend auf den Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten zu bestimmen. Zum Beispiel können die Modelldaten 040 trainierbare Parameter des Inferenzmodells und/oder des generativen Modells umfassen. Beispielsweise kann die Anzahl trainierbarer Parameter des Inferenzmodells mindestens 1000, mindestens 10000 oder mindestens 1000000 betragen. Zum Beispiel kann die Anzahl trainierbarer Parameter des generativen Modells mindestens 1000, mindestens 10000 oder mindestens 1000000 betragen. Die Modelldaten 040 können zum Steuern und/oder Überwachen eines computergesteuerten Systems gemäß einem hierin beschriebenen Verfahren verwendet werden, z. B. durch das System 200 von 2 oder das System 300 von 3.
• Wie es auch in 1 dargestellt ist, kann die Eingabeschnittstelle beispielsweise durch eine Datenspeicherschnittstelle 120 gebildet sein, die auf die Daten 030, 040 aus einem Datenspeicher 021 zugreifen kann. Die Datenspeicherschnittstelle 120 kann beispielsweise eine Speicherschnittstelle oder eine Dauerspeicherschnittstelle, z. B. eine Festplatten- oder SSD-Schnittstelle, aber auch eine Personenbereichs-, Lokal- oder Weitbereichsnetzschnittstelle wie eine Bluetooth-, Zigbee- oder Wi-Fi-Schnittstelle oder eine Ethernet- oder Glasfaserschnittstelle sein. Der Datenspeicher 021 kann ein interner Datenspeicher des Systems 100 wie etwa eine Festplatte oder SSD, aber auch ein externer Datenspeicher wie z. B. ein netzzugänglicher Datenspeicher sein. In einigen Ausführungsformen kann auf die Daten 030, 040 jeweils aus einem anderen Datenspeicher zugegriffen werden, z. B. über ein anderes Untersystem der Datenspeicherschnittstelle 120. Jedes Untersystem kann von einem Typ sein, wie er oben für die Datenspeicherschnittstelle 120 beschrieben ist.
• Das System 100 kann ferner ein Prozessoruntersystem 140 umfassen, das dazu ausgelegt sein kann, während des Betriebs des Systems 100 das Klassifizierungsmodell 040 zu trainieren.
• Um das Modell zu trainieren, kann das Prozessoruntersystem 140 eine Trainingsinstanz aus dem Trainingsdatensatz 030 auswählen. Die Trainingsinstanz kann Sensordaten und eine entsprechende Zielklasse aus der Menge von mehreren Klassen umfassen. Das Prozessoruntersystem 140 kann ferner das Inferenzmodell auf die Sensordaten anwenden, um die Konzentrationsparameter zu erhalten. Das Prozessoruntersystem 140 kann ferner ein Trainingssignal für die Trainingsinstanz ableiten. Das Trainingssignal kann auf einer Wahrscheinlichkeit basieren, dass die Sensordaten basierend auf den Konzentrationsparametern in die Zielklasse klassifiziert werden. Das Trainingssignal kann ferner auf einer Wahrscheinlichkeit basieren, dass die Sensordaten gemäß dem generativen Modell basierend auf den Konzentrationsparametern erzeugt werden. Das Prozessoruntersystem 140 kann Parameter 040 des Inferenzmodells und/oder des generativen Modells basierend auf dem Trainingssignal aktualisieren.
• Das System 100 kann ferner eine Ausgabeschnittstelle zum Ausgeben trainierter Daten 040 umfassen, die das angelernte (oder „trainierte“) Modell darstellen. Wie es auch in 1 dargestellt ist, kann die Ausgabeschnittstelle beispielsweise durch die Datenschnittstelle 120 gebildet werden, wobei diese Schnittstelle in diesen Ausführungsformen eine Eingabe/Ausgabe-Schnittstelle („E/A“-Schnittstelle) ist, über die die trainierten Modelldaten in dem Datenspeicher 021 gespeichert werden können. Beispielsweise können die Modelldaten 040, die das „untrainierte“ Klassifizierungsmodell definieren, während oder nach dem Training zumindest teilweise durch die Modelldaten des trainierten Modells ersetzt werden, wobei die Parameter des Modells wie Gewichte und andere Typen von Parametern neuronaler Netze angepasst werden können, um das Training an den Trainingsdaten 030 widerzuspiegeln. Dies ist in 1 auch durch das gleiche Bezugszeichen 040 dargestellt, das sich sowohl auf die trainierten als auch auf die untrainierten Modelldaten auf dem Datenspeicher 021 bezieht. In anderen Ausführungsformen können die trainierten Modelldaten getrennt von den Modelldaten, die das „untrainierte“ Dynamikmodell definieren, gespeichert werden. In einigen Ausführungsformen kann die Ausgabeschnittstelle von der Datenspeicherschnittstelle 120 getrennt sein, kann jedoch im Allgemeinen von einem Typ sein, wie er oben für die Datenspeicherschnittstelle 120 beschrieben ist.
• 2 zeigt ein System 200 zum Klassifizieren von Sensordaten 224 zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems.
• Das System 200 kann eine Datenschnittstelle 220 zum Zugreifen auf Modelldaten 040, die ein Klassifizierungsmodell repräsentieren, umfassen. Das Klassifizierungsmodell kann dazu ausgelegt sein, die Sensordaten in eine Klasse aus einer Menge von mehreren Klassen zu klassifizieren. Das Klassifizierungsmodell kann ein trainiertes Inferenzmodell umfassen. Das Inferenzmodell kann dazu ausgelegt sein, basierend auf den Sensordaten jeweilige Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für die jeweiligen mehreren Klassen zu bestimmen. Das Klassifizierungsmodell kann ferner ein trainiertes generatives Modell umfassen. Das generative Modell kann dazu ausgelegt sein, basierend auf den Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten gemäß einem Trainingsdatensatz des Klassifizierungsmodells zu bestimmen. Die Modelldaten können trainierte Parameter des generativen Modells und/oder des Inferenzmodells umfassen. Die Modelldaten 040 können zuvor wie hierin beschrieben trainiert worden sein, z. B. durch das System 100 von 1 oder wie an anderer Stelle beschrieben. Das System 200 kann das Modell zusätzlich zur Anwendung desselben trainieren. Beispielsweise kann das System 200 mit dem System von 1 kombiniert sein.
• Wie es auch in 2 dargestellt ist, kann die Datenschnittstelle beispielsweise durch eine Datenspeicherschnittstelle 220 gebildet sein, die auf die Daten 040 aus einem Datenspeicher 022 zugreifen kann, der die Daten 040 enthält. Im Allgemeinen können die Datenschnittstelle 220 und der Datenspeicher 022 vom gleichen Typ sein, wie er unter Bezugnahme auf 1 für die Datenschnittstelle 120 und den Datenspeicher 021 beschrieben ist. Der Speicher 022 kann Teil des Systems 200 sein, kann aber auch extern sein. Der Datenspeicher 022 kann optional auch die Sensordaten enthalten.
• Das System 200 kann ferner ein Prozessoruntersystem 240 umfassen, das dazu ausgelegt sein kann, während des Betriebs des Systems 200 das Inferenzmodell auf die Sensordaten anzuwenden, um die Konzentrationsparameter zu erhalten. Das Prozessoruntersystem 240 kann ferner dazu ausgelegt sein, einen Außerverteilungswert zu bestimmen, der eine Übereinstimmung der Sensordaten mit dem Trainingsdatensatz angibt. Der Außerverteilungswert kann bestimmt werden, indem eine Wahrscheinlichkeit dafür bestimmt wird, dass die Sensordaten gemäß dem generativen Modell basierend auf den Konzentrationsparametern erzeugt werden. Das Prozessoruntersystem 240 kann ferner dazu ausgelegt sein, zumindest dann, wenn der Außerverteilungswert eine ausreichende Übereinstimmung angibt (z. B. kleiner oder größer als eine Übereinstimmungsschwelle ist), einen Klassenwahrscheinlichkeitswert aus den Konzentrationsparametern zu bestimmen. Der Klassenwahrscheinlichkeitswert kann eine Wahrscheinlichkeit angeben, dass die Sensordaten zu einer Klasse aus der Menge von mehreren Klassen gehören. Das Prozessoruntersystem 240 kann ferner dazu ausgelegt sein, den Klassenwahrscheinlichkeitswert zur Verwendung beim Steuern und/oder Überwachen des computergesteuerten Systems auszugeben.
• Es versteht sich, dass für das Prozessoruntersystem 240 die gleichen Überlegungen und Implementierungsoptionen gelten wie für das Prozessoruntersystem 140 von 1. Es versteht sich ferner, dass die gleichen Überlegungen und Implementierungsoptionen im Allgemeinen für das System 200 gelten können wie für das System 100 von 1, sofern nichts Anderes angegeben ist.
• Das System 200 kann eine Sensorschnittstelle 260 zum Erhalten der Sensordaten 224, z. B. aus einem Sensor 072, umfassen. Der Sensor kann in der Umgebung 082 angeordnet sein, kann aber auch entfernt von der Umgebung 082 angeordnet sein, zum Beispiel, wenn die Größe(n) kann aus der Ferne gemessen werden. Der Sensor 072 kann, muss aber nicht Teil des Systems 200 sein. Der Sensor 072 kann eine beliebige geeignete Form aufweisen, wie etwa einen Bildsensor, einen Lidarsensor, einen Radarsensor, einen Drucksensor, einen Temperatursensor usw. In einigen Ausführungsformen können die Sensordaten 072 Sensormessungen unterschiedlicher physikalischer Größen sein, da sie von zwei oder mehr verschiedenen Sensoren erhalten werden können, die unterschiedliche physikalische Größen erfassen. Die Sensordatenschnittstelle 260 kann eine beliebige geeignete Form haben, die dem Typ des Sensors entspricht, einschließlich, aber nicht beschränkt auf eine Kommunikationsschnittstelle niedriger Ebene, z. B. basierend auf 12C- oder SPI-Datenkommunikation, oder eine Datenspeicherschnittstelle eines Typs, wie er oben für die Datenschnittstelle 220 beschrieben ist.
• In einigen Ausführungsformen kann das System 200 eine Aktorschnittstelle 280 umfassen, um Steuerdaten 226 an einen Aktor 092 in der Umgebung 082 zu liefern. Solche Steuerdaten 226 können von dem Prozessoruntersystem 240 erzeugt werden, um den Aktor basierend auf dem bestimmten Außerverteilungswert und/oder dem einen oder mehreren bestimmten Klassenwahrscheinlichkeitswerten zu steuern. Der Aktor kann Teil des Systems 200 sein, beispielsweise kann das System 200 das System selbst gesteuert werden. Beispielsweise kann der Aktor ein elektrischer, hydraulischer, pneumatischer, thermischer, magnetischer und/oder mechanischer Aktor sein. Spezifische, jedoch nicht einschränkende Beispiele umfassen Elektromotoren, elektroaktive Polymere, Hydraulikzylinder, piezoelektrische Aktoren, pneumatische Aktoren, Servomechanismen, Elektromagnete, Schrittmotoren usw. Eine solche Art der Steuerung wird unter Bezugnahme auf 3 für ein (halb-)autonomes Fahrzeug beschrieben.
• In anderen Ausführungsformen (in 2 nicht gezeigt) kann das System 200 eine Ausgabeschnittstelle zu einer Rendervorrichtung wie beispielsweise einer Anzeige, einer Lichtquelle, einem Lautsprecher, einem Vibrationsmotor usw. umfassen, die verwendet werden kann, um ein sensorisch wahrnehmbares Ausgabesignal zu erzeugen, das basierend auf dem Außerverteilungswert und/oder dem einen oder den mehreren Klassenwahrscheinlichkeitswerten erzeugt werden kann. Das sensorisch wahrnehmbare Ausgabesignal kann diese Ausgaben direkt angeben, kann aber auch ein abgeleitetes sensorisch wahrnehmbares Ausgabesignal darstellen, z. B. zur Verwendung bei der Führung, Navigation oder einer anderen Art der Steuerung des physikalischen Systems.
• Im Allgemeinen kann jedes in dieser Beschreibung beschriebene System, einschließlich, aber nicht beschränkt auf das System 100 von 1 und das System 200 von 2, als eine einzelne Vorrichtung oder Einrichtung wie etwa eine Workstation oder ein Server oder darin verkörpert sein. Die Vorrichtung kann eine eingebettete Vorrichtung sein. Die Vorrichtung oder Einrichtung kann einen oder mehrere Mikroprozessoren umfassen, die geeignete Software ausführen. Beispielsweise kann das Prozessoruntersystem des jeweiligen Systems durch eine einzelne Zentralverarbeitungseinheit (CPU) verkörpert sein, aber auch durch eine Kombination oder ein System solcher CPUs und/oder andere Typen von Verarbeitungseinheiten. Die Software kann heruntergeladen worden und/oder in einem entsprechenden Speicher, z. B. einem flüchtigen Speicher wie RAM oder einem nichtflüchtigen Speicher wie Flash-Speicher, gespeichert sein. Alternativ kann das Prozessoruntersystem des jeweiligen Systems in der Vorrichtung oder Einrichtung in Form einer programmierbaren Logik implementiert sein, z. B. als eine feldprogrammierbare Gatteranordnung (FPGA). Im Allgemeinen kann jede Funktionseinheit des jeweiligen Systems in Form einer Schaltung implementiert sein. Das jeweilige System kann auch auf verteilte Weise implementiert sein, z. B. unter Einbeziehung verschiedener Vorrichtungen oder Einrichtungen wie beispielsweise verteilter lokaler oder cloudbasierter Server. In einigen Ausführungsformen kann das System 200 Teil eines Fahrzeugs, eines Roboters oder einer ähnlichen physischen Einheit sein und/oder kann ein Steuersystem darstellen, das dazu ausgelegt ist, die physische Einheit zu steuern.
• 3 zeigt ein Beispiel des oben Ausgeführten, wobei das System zum Klassifizieren von Sensordaten, z. B. das System 200 von 2, als Teil eines Steuersystems 300 eines (halb-)autonomen Fahrzeugs 62 gezeigt ist, das in einer Umgebung 083 arbeitet. Das Fahrzeug 62 kann insofern autonom sein, als es ein autonomes Fahrsystem oder ein Fahrassistenzsystem umfassen kann, wobei letzteres auch als halbautonomes System bezeichnet wird.
• Das autonome Fahrzeug 62 kann das Klassifizierungssystem beispielsweise als Teil eines Spurhalteunterstützungssystems 300 einbeziehen. Das Klassifizierungssystem kann als Eingabe eine Zeitreihe von Ortsinformationen des Fahrzeugs 62 und/oder von Verkehrsteilnehmern in der Umgebung 083 des Fahrzeugs empfangen, die z. B. eine Autobahnszene darstellen und das Verhalten des Fahrzeugs über die Zeit, beispielsweise in den letzten fünf Sekunden, kennzeichnen. Beispielsweise können die Ortsinformationen, wie es in der Figur gezeigt ist, aus Bildern der Umgebung des Fahrzeugs 62 extrahiert werden, die von einer an dem Fahrzeug angebrachten Kamera 22 aufgenommen werden.
• Das Klassifizierungssystem kann diese Zeitreihensensordaten in jeweilige Klassen klassifizieren, die jeweilige Fahreraufgaben eines Fahrers des Fahrzeugs repräsentieren, z. B. die Spur zu halten oder die Spur zu wechseln. Um solche Zeitreihendaten zu analysieren, kann das Inferenzmodell ein rekurrentes Modell umfassen, das die Klassifizierung basierend auf der Eingabe von Daten der jeweiligen Zeitpunkte ausgibt, wie es an sich bekannt ist. Auch das generative Modell, das verwendet wird, um die OOD-Detektion durchzuführen, kann ein rekurrentes Modell sein, das dazu ausgelegt sein kann, Parameter einer Wahrscheinlichkeitsverteilung von Werten der einen oder mehreren physikalischen Größen zu einem Zeitpunkt der Zeitreihe basierend auf Parametern der Wahrscheinlichkeitsverteilung zu einem vorhergehenden Zeitpunkt der Zeitreihe zu bestimmen. Vorhandene Typen von rekurrenten Modellen können verwendet werden.
• Die aus den Konzentrationsparametern abgeleiteten kalibrierten und daher zuverlässigeren Klassenwahrscheinlichkeitswerte können von dem Spurhalteunterstützungssystem 300 verwendet werden, um eine Konformitätsbewertung der Vorhersage durchzuführen. Basierend auf der Konformitätsbewertung kann das System entscheiden, ob es ein reguläres Steuermodul des Spurhalteunterstützungssystems verwendet werden soll oder auf ein Ausweich-Steuersystem umgeschaltet werden soll, z. B. die Räder 42 des Fahrzeugs. Wenn der Prädiktor beispielsweise eine Unsicherheit mittleren Niveaus meldet, kann eine Sicherheitsausweichfunktionalität ausgelöst werden, z. B. ein Spurhalteunterstützungsalgorithmus, der weniger komfortabel ist, aber stark interpretierbar und daher sicherer zu verwenden ist. Wenn der Prädiktor beispielsweise eine hohe Unsicherheit meldet und/oder wenn der Außerverteilungswert angibt, dass die Sensordaten außerhalb der Verteilung liegen, kann das Spurhalteunterstützungssystem 300 einem menschlichen Fahrer die Steuerung zurückgeben.
• Obwohl es in dieser Figur nicht speziell gezeigt ist, kann das Klassifizierungssystem auch dazu ausgelegt sein, die Sensordaten für eine zukünftige Verwendung zu speichern, wenn der Außerverteilungswert eine Nichtübereinstimmung angibt und/oder der Klassenwahrscheinlichkeitswert eine unzureichende Sicherheit angibt. Beispielsweise kann das System die Sensordaten selbst speichern oder zur externen Speicherung senden. Andernfalls können die Sensordaten nach der Verwendung verworfen werden. Auf diese Weise kann das autonome Fahrzeug 62 relevante Trainingsdaten zum Trainieren von Maschinenlernmodellen zur Verwendung beim Steuern eines (semi-)autonomen Fahrzeugs sammeln. Indem nur relevante Sensordaten gespeichert werden, kann eine begrenzte Speicherkapazität in dem Fahrzeug 62 und/oder eine begrenzte Übertragungskapazität zur Übertragung an einen externen Speicher effizienter genutzt werden.
• Als weiteres Beispiel für das Umschalten auf die Ausweichsteuerung ist es auch möglich, Klassifizierungsmodelle, wie sie hierin beschrieben sind, für die Anomaliendetektion in dem Fahrzeug 62 zu verwenden. In diesem Beispiel kann das Klassifizierungsmodell ein semantisches Segmentierungsmodell sein, das dazu ausgelegt ist, jeweilige Bildabschnitte von Bildern, die von der Kamera 22 aufgenommen werden, in jeweilige Klassen zu klassifizieren. Auf Grundlage der semantischen Segmentierung kann das Steuersystem 300 Tiefeninformationen aller Fußgänger berechnen, eine Bewegungsbahn um diese Fußgänger herum berechnen und das Fahrzeug 62 steuern, um dieser Bewegungsbahn nahe genug zu folgen, so dass das Fahrzeug auf keine Fußgänger trifft. Auch in diesem Fall kann die semantische Segmentierung als ungenügend zuverlässig angesehen werden und eine Sicherheitsausweichsteuerung verwendet werden, wenn ein Außerverteilungswert für einen jeweiligen Bildabschnitt eine unzureichende Übereinstimmung angibt und/oder der Klassenwahrscheinlichkeitswert für einen jeweiligen Bildabschnitt eine unzureichende Sicherheit angibt. Obwohl als Beispiel ein (semi-)autonomes Fahrzeug 62 verwendet wird, versteht es sich, dass die gleichen Techniken bei einem beliebigen mobilen Roboter zur Vermeidung von Menschen in seiner Umgebung angewendet werden können.
• 4a zeigt ein detailliertes, jedoch nicht einschränkendes Beispiel eines Klassifizierungsmodells, das kein generatives Modell umfasst. Die Figur zeigt ein Scheibendiagramm, in dem durchgezogene Kreise beobachtbare Zufallsvariablen anzeigen und gestrichelte Kreise versteckte Zufallsvariablen, die aus den beobachtbaren Zufallsvariablen abgeleitet werden, anzeigen.
• In der Figur ist ein Evidenzklassifikator dargestellt, der auch als A-priori-Netz bezeichnet wird, beispielsweise gemäß dem Entwurf von „Evidential Deep Learning to Quantify Classification Uncertainty“. Die Figur zeigt Sensordaten x, SD, 410, die zum Ableiten von Klassenwahrscheinlichkeiten π, CP, 420, verwendet werden, aus denen eine Ausgabevariable y, CL, bestimmt wird. Ein solches Modell kann wie folgt als hierarchisches probabilistisches Modell beschrieben werden: $$\pi |x\sim Dir\left(\pi |g_{\psi }\left(x\right)\right),$$

  

  $$y|\pi \sim Cat\left(y|\pi \right),$$

  

  wobei Dir(·) eine Dirichlet-Verteilung ist, g_Ψ(x) eine Funktion ist, die eine gegebene Eingabe x, SD, z. B. ein beobachtetes Bild, auf die Dirichlet-Konzentrationsparameter (auch als Stärkeparameter bekannt) abbildet, und Cat(·) eine kategoriale Verteilung ist, die einer Ausgabevariablen eine Wahrscheinlichkeitsmasse y, CL unter Verwendung einer Stichprobe π, CP aus dem Prior zuweist.
• Ein solches Evidenzmodell kann trainiert werden, indem der folgende Verlust in Bezug auf ψ minimiert wird, z. B. die Gewichte, falls g_ψ(·) als neuronales Netz gewählt wird: $$L_1\left(\theta \right)=E_{\pi \sim Dir\left(\pi |g_{\psi }\left(x\right)\right)}\left[{\Vert y-n\Vert }_2^2\right]+\beta \cdot KL\left(Dir\left(\pi |g_{\psi }\left(x\right)\right)\Vert Dir\left(\pi |\mathrm{1,}\dots \mathrm{,1}\right)\right)$$

  

  wobei KL(·||·) die Kullback-Leibler-Divergenz (KL-Divergenz) zwischen zwei Verteilungen ist und β > 0 ein Heilfaktor ist, der anpasst, wie stark der KL-Term den Verlust reguliert.
• Ein ähnliches Klassifizierungsmodell, das ebenfalls kein allgemeines Modell umfasst, kann durch Training an einer Menge von domäneninternen Stichproben und einer Menge von OOD-Stichproben gemäß der folgenden Verlustfunktion erhalten werden: $$L_2\left(\theta ,\gamma \right)=KL\left(Dir\left(\pi |g_{\psi }\left(x\right)\right)\Vert Dir\left(\gamma \cdot y\right)\right)+\beta \cdot KL\left(Dir\left(\pi |g_{\psi }\left(x_{ood}\right)\right)\Vert Dir\left(\pi |\mathrm{1,}\dots \mathrm{,1}\right)\right)$$

  

  wobei x_ood eine Stichprobe aus einem realen OOD-Datensatz ist, z. B. ein Bild eines Vogels, wenn die Aufgabe eine Erkennung von handschriftlichen Ziffern ist, und γ > 0 ein Verstärkungsfaktor für die One-Hot-codierten wahren Klassenetiketten y für die domäneninterne Stichprobe x ist.
• Es kann beobachtet werden, dass diese zwei Verlustfunktionen L₁,L₂ spezielle Fälle des folgenden allgemeineren Musters sind: $$L\left(\theta \right)=Div\left(Dir\left(\pi |g_{\psi }\left(x\right)\right),p_{true}\left(y\right)\right)+\beta \cdot KL\left(Dir\left(\pi |g_{\psi }\left(x\right)\right)\Vert Dir\left(\pi |\mathrm{1,}\dots \mathrm{,1}\right)\right)$$

  

  wobei Div(·,·) eine Divergenzmetrik zwischen zwei Verteilungen ist. Für L₂ is sie die KL-Divergenz. Für L₁ wird p_true(y) als Punktmasse bei y gewählt, so dass Div(·,·) dann eine Bepunktungsfunktion ist, speziell die Brier-Punktzahl, während es für L₂ eine weitere Dirichlet-Verteilung ist, deren Stärken aus dem wahren Etiektt y erzeugt werden. Für L₁ wird g_ψ(x) mit den domäneninternen Daten in dem Regularisierungs-KL-Term gespeist, während L₂ es mit realen OOD-Daten zur Regularisierung speist.
• Es kann beobachtet werden, dass Verlustfunktionen nach dem obigen Muster, z. B. ohne ein generatives Modell, im Allgemeinen nicht ausreichen, um sowohl (i) eine kalibrierte Quantifizierung von Vorhersageunsicherheiten bei domäneninternen Stichproben als auch (ii) eine Detektion von domänenexternen OOD-Stichproben zu erzielen, ohne beispielhafte OOD-Beobachtungen während der Trainingszeit sehen zu müssen. Dies liegt daran, dass den Verlustfunktionen, die der obigen Struktur folgen, ein Mechanismus fehlt, um zu beurteilen, ob eine gegebene Eingabestichprobe x innerhalb des Zielbereichs liegt oder nicht, ohne eine explizite Kontrolle aus realen OOD-Stichproben zu erhalten. Effektiv regt die obige Verluststruktur das Modell an, Modellausgaben für domäneninterne Stichproben mit sehr hoher Sicherheit zu liefern. Die Erfinder stellten fest, dass aus solchen Modellen möglicherweise keine genauen Klassenwahrscheinlichkeitswerte abgeleitet werden können.
• 4b zeigt ein detailliertes, jedoch nicht einschränkendes Beispiel eines Klassifizierungsmodells, das ein generatives Modell umfasst. Wie in 4a ist das Modell als Scheibendiagramm dargestellt.
• Das Klassifizierungsmodell in dieser Figur enthält ein Inferenzmodell IM, das dazu ausgelegt ist, basierend auf den Eingabesensordaten x SD 410 die jeweiligen Konzentrationsparameter h_ψ(x) einer Dirichlet-Verteilung zu bestimmen. Die Dirichlet-Verteilung ist eine Wahrscheinlichkeitsverteilung von Klassenwahrscheinlichkeiten π CP 420 für jeweilige Klassen, in die die Sensordaten SD zu klassifizieren sind. Basierend auf den Klassenwahrscheinlichkeiten CP 420 kann die Klassifizierung CL 430 der Sensordaten SD gemäß einer kategorialen Verteilung CAT 460 definiert werden. Die Menge möglicher Klassen ist endlich. Beispielsweise kann die Anzahl der Klassen 2, höchstens oder mindestens 5 oder höchstens oder mindestens 10 betragen.
• Das Klassifizierungsmodell umfasst ferner ein generatives Modell GM 450, das dazu ausgelegt ist, auf Grundlage der Klassenwahrscheinlichkeiten CP Parameter f_θ(π) einer Wahrscheinlichkeitsverteilung von Sensordaten SD gemäß dem Trainingsdatensatz zu bestimmen, an dem das Klassifizierungsmodell trainiert ist. Basierend auf Klassenwahrscheinlichkeiten CP oder auf den Konzentrationsparametern, die sie erzeugen, kann ein Außerverteilungswert bestimmt werden, der eine Übereinstimmung der Sensordaten SD mit dem Trainingsdatensatz angibt, indem eine Wahrscheinlichkeit für die Erzeugung der Sensordaten SD gemäß dem generativen Modell GM bestimmt wird.
• Somit kann die Dichteschätzung unter Verwendung des generativen Modells GM gleichzeitig mit dem Training des Evidenzklassifikators unter Verwendung des Inferenzmodells IM durchgeführt werden, um zu lernen, die Domänenrelevanz einer gegebenen Stichprobe SD zu beurteilen, ohne dass eine explizite Kontrolle erforderlich ist. Mathematisch kann das Modell durch den folgenden generativen Entwurf dargestellt werden: $$\pi \sim Dir\left(\pi |\mathrm{1,}\dots \mathrm{,1}\right)$$

  

  $$x|\pi \sim p_{\theta }\left(x|{ƒ}_{\theta }\left(\pi \right)\right)$$

  

  $$y|\pi \sim Cat\left(y|\pi \right)$$

  

  wobei p_θ(x|ƒ_θ(π)) eine Likelihood-Funktion auf der Eingabedomäne x ist, mit anderen Worten eine Wahrscheinlichkeitsverteilung von Sensordaten. Die Wahrscheinlichkeitsverteilung kann beispielsweise eine Normalverteilung, eine kategoriale Verteilung, eine Bernoulli-Verteilung usw. sein, z. B.: $$x|\pi \sim N\left(x|{ƒ}_{\theta }^1\left(\pi \right),{ƒ}_{\theta }^2\left(\pi \right)\right).$$

  
• Wie es in der Figur gezeigt ist, kann das Inferenzmodell IM so trainiert werden, dass die aus der Dirichlet-Verteilung abgetasteten Klassenwahrscheinlichkeiten CP gemäß den Konzentrationsparametern, die durch das Inferenzmodell IM gegeben sind, eine Variationsinferenznäherung von Klassenwahrscheinlichkeiten für den Trainingsdatensatz liefern. In der Figur repräsentiert die gestrichelte Linie für das Inferenzmodell IM die Abhängigkeit der Variablen von der angenäherten A-posteriori-Verteilung q_ψ(π_n|x_n).
• Insbesondere kann das Inferenzmodell unter Vorgabe eines Trainingsdatensatzes D = {(x_i,y_i),···, (x_N,y_N)}, der N Eingabe-Ausgabe-Paare umfasst, z. B. Bilder x_n oder andere Arten von Sensordaten und ihre entsprechenden Etiketten y_n, trainiert werden, um eine genaue Näherung der nicht handhabbaren A-posteriori-Verteilung der versteckten Evidenzvariablen p(π₁,···, π_N|D) zu liefern. Ein Trainingsverlust für dieses Ziel kann unter Verwendung von Variationsinferenz abgeleitet werden, z. B. durch Minimieren von $$KL\left(q_{\psi }\left({\pi }_1,\dots ,{\pi }_{N,}|x\right)\Vert p\left({\pi }_1,\dots ,{\pi }_N|D\right)\right)$$

  

  wobei $$q_{\psi }\left({\pi }_1,\dots ,{\pi }_N|D\right)={\displaystyle \prod _{n=1}^N\underset{g_{\psi }\left({\pi }_n|x_n\right)}{\underbrace{Dir\left({\pi }_n|g_{\psi }\left(x_n\right)+1\right)}}}$$

  

  wobei das Inferenzmodell g_ψ(x_n) durch eine geeignete K-dimensionale trainierbare Funktion implementiert werden kann. Zum Beispiel kann das Inferenzmodell so definiert sein, dass es positive Werte liefert. Wie es in diesem Beispiel gezeigt ist, können die von dem Inferenzmodell gelieferten Konzentrationsparameter gψ(x_n) + 1 darauf beschränkt sein, größer oder gleich eins zu sein, was die numerische Stabilität während des Trainings verbessert. Eine Beschränkung auf mindestens eins ist nicht erforderlich, aber die Ausgabe wird typischerweise mindestens darauf beschränkt, nicht negativ zu sein. Als Beispiel kann g_ψ(·) ein neuronales Netz mit Gewichten ψ sein, z. B. mit einem Softplus-Operator auf seiner Ausgabeschicht.
• Interessanterweise kann das Modell als Hybridform zwischen evidenzbasiertem Lernen und einem Variations-Auto-Codierer (VAE) betrachtet werden. Das Modell kann aus diesem Grund als Evidenz-Variations-Auto-Codierer bezeichnet werden. Dieses Modell bietet überraschende Vorteile sowohl aus Sicht des Evidenzlernens als auch aus Sicht des VAE. Aus der Perspektive eines Evidenzlernmodells ermöglicht die Einführung von VAE-Eigenschaften überraschenderweise eine domäneninterne Kalibrierung. Unter dem Gesichtspunkt der Verwendung des Modells als VAE wäre bei einer normalen Verwendung als VAE die Verwendung einer Dirichlet-Verteilung nicht als vorteilhaft zu erwarten. Beispielsweise ist eine Standardnormalverteilung unter diesen Umständen eine typischere Wahl. Ein als VAE verwendetes Modell weist zudem typischerweise eine relativ große Latenzraumdimension auf, z. B. mindestens 50 oder mindestens 100. Im VAE-Fall wäre eine Verringerung dieser Dimension nicht als vorteilhaft zu erwarten. Stattdessen entspricht in Ausführungsformen die Latenzraumdimension einer Anzahl von Klassen eines Klassifikators und ist somit z. B. kleiner als 50, beispielsweise sogar höchstens 5 oder höchstens 10. Überraschenderweise haben die Erfinder festgestellt, dass ein solcher Ansatz mit einer Dirichlet-Verteilung einer relativ kleinen Dimension die Kombination mit Evidenzlernen ermöglicht und dabei hilft, die domäneninterne Kalibrierungsleistung des Prädiktors signifikant zu verbessern.
• In dem obigen Beispiel wird eine Amortisierung angewendet, z. B. wird die ungefähre A-posteriori-Verteilung q_ψ(π_n|x_n) für das Inferenzmodell so definiert, dass sie von Beobachtungen D abhängt. Das Modell kann auch auf nicht amortisierte Weise definiert werden, z. B. unter Verwendung einer A-posteriori-Verteilung q_ψ(π_n).
• 4c zeigt ein detailliertes, jedoch nicht einschränkendes Beispiel eines Klassifizierungsmodells, das ein generatives Modell umfasst und eine Kontextvariable verwendet. Dieses Beispiel ist eine Erweiterung des Beispiels von 4b. Insbesondere zeigt die Figur Sensordaten SD, 410; ein Inferenzmodell IM', 441; ein generatives Modell GM, 450; Klassenwahrscheinlichkeiten CP, 420; eine kategoriale Verteilung CAT, 460; und eine Klassifikation CL, 430, ähnlich denen in 4b.
• In diesem Beispiel wird dem Inferenzmodell IM' zusätzlich als Eingabe ein Wert einer Kontextvariablen z CV 470 gegeben. Der Wert der Kontextvariablen CV wird während der Verwendung des Klassifikationsmodells aus einer Menge von Kontextinstanzen bestimmt, wobei eine Kontextinstanz Kontextsensordaten x_j CSD 411 und optional auch eine entsprechende Kontextzielklasse y_j CCL 431 umfasst.
• Insbesondere kann, wie es in der Figur gezeigt ist, der Wert der Kontextvariablen CV durch Folgendes bestimmt werden: Anwenden eines trainierten Kontextmodells, z. B. h_Φ(x_j,y_j), auf die jeweiligen Kontextinstanzen CSD, CCL, um jeweilige Kontextparameterbeiträge zu erhalten ; Zusammenfassen der jeweiligen Kontextparameterbeiträge zu einer Menge von Kontextparametern, z. B. $\left[r_a,r_b\right]=1\text{/}C{\displaystyle {\sum }_{j=1}^C{h}_{\Phi }}\left(x_i,y_i\right)$

  

  $$

  

  oder Verwenden einer anderen Zusammenfassungsfunktion; und Bestimmen des Wertes der Kontextvariablen durch Stichprobennahme aus einer Kontextwahrscheinlichkeitsverteilung gemäß der Menge von Kontextparametern, z. B. z|x_c,y_c∼G(z_k|r_a,r_b).
• Beispielsweise kann eine Kontextvariable reellwertig oder diskret sein, z. B. ausgewählt aus 2, höchstens oder mindestens 5 oder höchstens oder mindestens 10 möglichen Werten. Als Kontextmodell zum Abbilden der Kontextmenge (x₁,y₁), ..., (x_K,y_K) auf die Kontextvariablen CV kann beispielsweise das Inferenzmodell IM' verwendet werden, wobei die Ausgaben y_k ignoriert werden, oder ein Kontextcodierernetz m(x_k,y_k) verwendet werden, das Eingabe-Ausgabe-Paare abbildet und gemeinsam mit dem Inferenzmodell und generativen Modell trainiert wird.
• Mit dem folgenden mathematischen Modell können beispielsweise die Kontextvariablen CV, die Klassenwahrscheinlichkeiten CP, die Klassifikation CL bzw. die Sensordaten SD definiert werden (für die Sensordaten SD ist eine Normalverteilung dargestellt, es ist aber auch möglich, stattdessen eine andere Wahrscheinlichkeitsverteilung zu verwenden): $$\begin{array}{ccc}\left[r_a,r_b\right]=\frac{1}{c}{\displaystyle {\sum }_{j=1}^C{h}_{\Phi }}\left(x_j,y_j\right)& z|X_C,Y_C\sim {\displaystyle {\prod }_{k=1}^{K}G}\left(z_k|r_a,r_b\right)& {\displaystyle \prod \sim }{\displaystyle {\prod }_n^{N}Dir\left({\pi }_n|z\right)}\\ Y_P|{\displaystyle \prod \sim {\displaystyle {\prod }_n^{N}Cat\left(y_n|{\pi }_n\right)}}& X_P\left|{\displaystyle \prod \sim {\displaystyle {\prod }_n^{N}N\left(x_n|{ƒ}_{\theta }\left({\pi }_n\right),g_{\psi }\left({\pi }_n\right)\right)}}\right|& \end{array}$$

  
• In diesem Beispiel kann die ungefähre A-posteriori-Verteilung der Klassenwahrscheinlichkeiten CP bei gegebenen Sensordaten SD und den Kontextvariablen CV definiert werden als: $$q\left(\pi |x,z\right)=Dir\left(\pi |u_{\lambda }\left(z,x\right)\right)$$

  

  Die Vorhersage einer Klasse CL basierend auf diesem Modell kann definiert sein als: $$p\left(y_{+}|x_{+},D\right)={\displaystyle \int {\displaystyle \int p}}\left(y_{+}|\pi \right)q\left(\pi |x_{+},z\right)p\left(z|X_C,Y_C\right)d\pi dz.$$

  
• Im Allgemeinen kann das Klassifizierungsmodell eine oder mehrere Kontextvariablen CV umfassen. Zum Beispiel kann die Anzahl solcher Kontextvariablen höchstens oder mindestens 5 oder höchstens oder mindestens 10 betragen. Die Verwendung von Kontextvariablen CV kann es dem Klassifikationsmodell ermöglichen, effektiv zu bestimmen, ob eine neu gezeigte Stichprobe dem ähnlich ist, was es zuvor gesehen hat, um z. B. für ähnliche Proben eine geringere Unsicherheit als für unbekannte Proben zu liefern. Es ist jedoch auch möglich, ein Modell anzuwenden, das Kontextvariablen verwendet, wenn keine Kontextinformationen CSD, CCL verfügbar sind, z. B. indem stattdessen die A-priori-Verteilung auf der Dirichlet-Verteilung verwendet wird.
• 5a zeigt ein detailliertes, jedoch nicht einschränkendes Beispiel dafür, wie Sensordaten unter Verwendung eines Klassifikatormodells zu klassifizieren sind, das ein generatives Modell umfasst, wie etwa das in Bezug auf 4b beschriebene Modell oder das in Bezug auf 4c beschriebene Modell.
• In der Figur ist eine Modelleingabe x* SD 510 gezeigt, die z. B. Messungen einer oder mehrerer physikalischer Größen eines computergesteuerten Systems, das gesteuert oder überwacht werden soll, und/oder seiner Umgebung repräsentiert. Zum Beispiel können die Sensordaten SD ein Bild, eine Zeitreihe von Messungen einer oder mehrerer physikalischer Größen usw. sein.
• Unter Vorgabe der Sensordaten SD kann ein Inferenzmodell g_ψ IM, 541 verwendet werden, um Konzentrationsparameter CPi, 542 einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für die jeweiligen mehreren Klassen zu erhalten, in die die Sensordaten klassifiziert werden sollen. Das Inferenzmodell kann durch eine Funktion g_ψ(·) mit freien Parametern ψ definiert werden, die von der Eingabedomäne auf K-dimensionale positive reelle Zahlen α = g_ψ(x) abbildet, wobei K die Anzahl der Klassen ist. Die Funktion ist auf einem Computer implementierbar, beispielsweise einem neuronalen Netz mit Gewichten θ. Interessanterweise können die bestimmten Konzentrationsparameter sowohl zum Bestimmen eines Außerverteilungswerts als auch zum Bestimmen von Klassenwahrscheinlichkeitswerten verwendet werden.
• Ein Klassenwahrscheinlichkeitswert CPi 530, der eine Wahrscheinlichkeit Prob 560 angibt, dass die Sensordaten SD zu einer Klasse aus der Menge von mehreren Klassen gehören, kann aus den Konzentrationsparametern bestimmt werden, indem der Klassenwahrscheinlichkeitswert CPi mittels eines kategorialen Verteilung aus Klassenwahrscheinlichkeiten, die gemäß der durch die Konzentrationsparameter CPi definierten Dirichlet-Verteilung erzeugt wird, definiert wird.
• Insbesondere kann für eine gegebene Testeingabe x* die Vorhersageverteilung auf dem Etikett y* in geschlossener Form berechnet werden als: $$\begin{array}{l}Pr\left(y*=k|x*\right)={\displaystyle \int p\left(y*=k|\pi \right)}{q}_{\widehat{\psi }}\left(\pi |x=x*\right)d\pi \\ ={\displaystyle \int Cat}\left(y*|\pi \right)Dir\left(\pi |h_{\widehat{\psi }}\left(x=x*\right)\right)d\pi \end{array}$$

  

  $$=\frac{\mathrm{\Gamma }\left(1+g_{\widehat{\psi }}^k\left(x*\right)\right)}{\mathrm{\Gamma }\left(g_{\widehat{\psi }}^k\left(x*\right)\right)}\frac{\mathrm{\Gamma }\left({\displaystyle {\sum }_{j=1}^K{g}_{\widehat{\psi }}^j}\left(x*\right)\right)}{\mathrm{\Gamma }\left(1+{\displaystyle {\sum }_{k=1}^K{g}_{\widehat{\psi }}^1\left(x*\right)}\right)}$$

  

  wobei Γ(·) die Gamma-Funktion ist, $g_{\psi }^j\left(x\right)$

  

  der j-te Ausgabekanal des Prädiktors g_ψ(·) ist, K die Anzahl von Klassen in dem Klassifizierungsproblem ist und k die abgefragte Klasse für y* ist.
• Wenn die Kontextvariable z verwendet wird, die aus einer Menge von Kontextinstanzen X_C, Y_C bestimmt wird (wobei die Zielklassen Y_C optional sind), können die Klassenwahrscheinlichkeitswerte in ähnlicher Weise wie folgt berechnet werden: $$p\left(y_{*}|x_{*},D\right)={\displaystyle \int {\displaystyle \int p}}\left(y_{*}|\pi \right)q\left(\pi |x_{*},z\right)p\left(z|X_C,Y_C\right)d\pi dz.$$

  
• Die Eingabe kann in eine bestimmte Klasse klassifiziert werden, indem die Klasse mit der höchsten Wahrscheinlichkeitsmasse gewählt wird: $$k_{pred}^{*}=argma{x}_{k\in \left\{\mathrm{1,}\cdots ,K\right\}}Pr\left(y*=k|x=x*\right),$$

  

  wobei $k_{pred}^{*}$

  

  ist die vorhergesagte Klasse für die Eingabe x* ist. Für eine nachgelagerte Verwendung wie z. B. die Ablehnung von Maßnahmen oder das Ergreifen einer sicheren Standardmaßnahme, kann die Klassenwahrscheinlichkeit $Pr\left(y*=k_{pred}^{*}|x*\right)$

  

  der vorhergesagten Klasse und/oder anderer Klassen verwendet werden, z. B. durch Anwenden einer Schwelle darauf. Interessanterweise ist anzumerken, dass die Klassifikation effizient durchgeführt werden kann und insbesondere bei der Klassifikation keine Notwendigkeit besteht, das generative Modell zu verwenden. Dennoch können durch Training des generativen Modells zusammen mit dem Inferenzmodell besser kalibrierte Klassenwahrscheinlichkeitswerte aus dem Inferenzmodell erhalten werden.
• Interessanterweise können die Konzentrationsparameter CPi auch für die OOD-Detektion, also die Ausreißerdetektion, verwendet werden. Ein Außerverteilungswert OODV 551 kann bestimmt werden, der eine Übereinstimmung der Sensordaten SD mit dem Trainingsdatensatz angibt, an dem das Klassifizierungsmodell trainiert wurde. Der Außerverteilungswert kann als eine Wahrscheinlichkeit dafür bestimmt werden, dass die Sensordaten SD gemäß dem generativen Modell ƒ_θ basierend auf den Konzentrationsparametern CPi erzeugt werden, mit anderen Worten durch Berechnen der Eingaberekonstruktionswahrscheinlichkeit für die Sensordaten SD. Mathematisch lässt sich dies wie folgt darstellen: $$p_{\theta }\left(x=x*\right)={\displaystyle \int p_{\theta }}\left(x=x*|{ƒ}_{\widehat{\theta }}\left(\pi \right)\right)q_{\psi }\left(\pi |x=x*\right)d\pi .$$

  
• Auch dieser mathematische Ausdruck kann nach Bedarf angepasst werden, um Kontextvariablen zu berücksichtigen.
• Insbesondere kann, wie es in der Figur dargestellt ist, der Außerverteilungswert OODV nach Monte-Carlo-Art durch stichprobenartiges Entnehmen der Klassenwahrscheinlichkeiten π CP 520 für die mehreren Klassen aus der Dirichlet-Verteilung, z. B. q_ψ(π|x*), und dann durch Auswerten von diesen SamG 550 auf der Rekonstruktionswahrscheinlichkeit p_θ(x= x* |ƒ_θ̂(π)) bestimmt werden.
• Dies kann Anwenden des generativen Modells f_θ̂(π) beinhalten, um Parameter der Wahrscheinlichkeitsverteilung p_θ der Sensordaten zu bestimmen. Das generative Modell kann durch eine Funktion ƒ_θ(·) mit freien Parametern θ definiert werden, die aus der Domäne der K-dimensionalen Simplexe auf die Eingabedomäne abbildet, z. B. x = ƒ_θ(π). Die Funktion ist auf einem Computer implementierbar, beispielsweise als neuronales Netz mit Gewichten θ oder andere bekannte Techniken.
• Basierend auf den bestimmten Parametern kann eine Wahrscheinlichkeit bestimmt werden, dass die Sensordaten SD gemäß diesen Wahrscheinlichkeiten erzeugt werden. Diese Berechnung kann auf einer Stichprobennahme von p_θ(x|λ) basieren, z. B. unter Verwendung eines unverzerrten Stichprobennehmers. Die Wahrscheinlichkeitsverteilung kann eine Normalverteilung sein, wobei von dem generativen Modell beispielsweise jeweilige Mittelwerte und gegebenenfalls auch jeweilige Standardabweichungen ausgegeben werden.
• Der Außerverteilungswert OODV kann die bestimmte Wahrscheinlichkeit sein oder kann aus dieser Wahrscheinlichkeit durch Schwellenbildung gewonnen werden. Beispielsweise kann eine Stichprobe x* als OOD oder Ausreißer charakterisiert werden, wenn u_ood = p_θ̂(x=x*) < ∈ für eine Schwelle ∈ > 0, die entsprechend den Sicherheitsanforderungen der jeweiligen Anwendung gewählt ist. Es ist anzumerken, dass die Wahrscheinlichkeit p_θ̂(x = x*) typischerweise keine kalibrierte Wahrscheinlichkeit wie die Klassenwahrscheinlichkeit CPi ist, also z. B. die Wahrscheinlichkeit, dass Sensordaten OOD sind oder nicht, nicht genau angeben kann. Dennoch kann die Wahrscheinlichkeit p_θ̂(x = x*) ein relatives Maß für die OOD-Eigenschaft liefern und somit nützlich sein.
• Je nach Anwendung können der Außerverteilungswert OODV und/oder die Klassenwahrscheinlichkeiten CPi für eine oder mehrere Klassen ausgegeben werden. Beispielsweise können die Klassenwahrscheinlichkeiten nur bestimmt werden, wenn nicht festgestellt wird, dass die Sensordaten SD außerhalb der Verteilung sind, aber es ist auch möglich, sie unabhängig davon zu berechnen, ob die Sensordaten OOD sind. Zum Beispiel kann eine mögliche Vorhersageausgabe die vorhergesagte Klasse $k_{pred}^{*}$

  

  und optional einen Klassenwahrscheinlichkeitswert für diese Klasse; und eine binäre Entscheidung u_ood dahingehend, ob die eingegebene Stichprobe OOD ist, umfassen.
• In verschiedenen Ausführungsformen können die Sensordaten SD eine Zeitreihe von Messungen einer oder mehrerer physikalischer Größen umfassen. In solchen Fällen können das Inferenzmodell IM und/oder das generative Modell SamG ein rekurrentes Modell umfassen, beispielsweise ein rekurrentes Modell wie etwa ein rekurrentes neuronales Netz. Zum Beispiel kann das rekurrente neuronale Netz ein neuronales Netz auf der Grundlage einer mit Gatter versehene rekurrente Einheit (GRU) oder eines langen Kurzzeitgedächtnisses (LTSM) sein. Basierend auf der Konfiguration der Dirichlet-Konzentrationsparameter CPi sind verschiedene Dynamikmodalitäten möglich. Zum Beispiel können die durch das Inferenzmodell IM bestimmten Konzentrationsparameter CPi pro Zeitpunkt für mehrere Zeitpunkte ein diskretes Klassenetikett erzeugen, so dass das Klassifizierungsmodell eine Zeitreihe mit kontinuierlichen und/oder diskreten Variablen prognostiziert, z. B. um eine Sequenz-für-Sequenz-Klassifizierung vorzunehmen. Die Dirichlet-Variable kann auch in einer einzelnen Prognose auf einen einzigen Wert eingeschränkt werden, wobei in diesem Fall das Klassifizierungsmodell eine Klassifizierung der gesamten Zeitreihe durchführen kann.
• Zudem kann das generative Modell SamG ein rekurrentes Modell verwenden, um die Parameter der Wahrscheinlichkeitsverteilung zum Erzeugen der Sensordaten zu jeweiligen Zeitpunkten zu bestimmen. Beispielsweise kann das Modell einen oder mehrere Parameter für einen bestimmten Zeitpunkt basierend auf Parametern für einen vorherigen Zeitpunkt und einem oder mehreren Konzentrationsparametern für den gegebenen Zeitpunkt bestimmen. Interessanterweise ermöglicht dies, nicht nur einen Außerverteilungswert OODV für die gesamte Zeitreihe zu bestimmen, sondern auch entsprechende Außerverteilungswerte für jeweilige Zeitpunkte, um sie z. B. bei der Verwendung von Klassifikationen der jeweiligen Zeitpunkte zu berücksichtigen.
• In verschiedenen Ausführungsformen können die Sensordaten SD Bilddaten umfassen. Auch in solchen Fällen kann das Inferenzmodell IM eine Klassifizierung des Gesamtbildes, aber auch von jeweiligen Bildbereichen, durchführen. Beispielsweise kann das Klassifizierungsmodell ein semantisches Segmentierungsmodell sein. Im letzteren Fall kann das generative Modell ein Bild-zu-Bild-Transformationsmodell sein, das Parameter jeweiliger Wahrscheinlichkeitsverteilungen für die jeweiligen Bildabschnitte bestimmt. Ähnlich wie im Fall von Zeitreihen ermöglicht dies, nicht nur einen Gesamt-Außerverteilungswert zu bestimmen, sondern auch jeweilige Außerverteilungswerte für die jeweiligen Bildabschnitte. Beispielsweise kann das generative Modell entsprechende Mittelwerte und gegebenenfalls auch Standardabweichungen für die jeweiligen Bildabschnitte bestimmen. Geeignete Bild-zu-Bild-Transformationsmodelle sind an sich bekannt und können leicht angewendet werden.
• 5b zeigt ein detailliertes, jedoch nicht einschränkendes Beispiel dafür, wie ein Klassifikatormodell trainiert wird, das ein generatives Modell umfasst, wie beispielsweise das mit Bezug auf 4b beschriebene Modell oder das mit Bezug auf 4c beschriebene Modell. Auch hier gelten die verschiedenen Optionen für ein solches Modell, die mit Bezug auf 5a beschrieben sind.
• Das Training kann auf einem Trainingsdatensatz basieren, der mehrere Trainingsinstanzen umfasst. Die Trainingsinstanzen sind etikettiert. Zur Veranschaulichung ist eine Trainingsinstanz gezeigt, die Sensordaten x_n SD 511 und eine entsprechende Zielklasse y_n TC 531 umfasst. Der Trainingsdatensatz kann mit D = {(x₁,y₁),...,(x_N,y_N)} bezeichnet werden, wobei x_n aus einer Eingabedomäne stammt und y_n ∈ {1, ...,K} für eine Klassenzahl K ist.
• Als Teil des Trainings kann das Inferenzmodell g_ψ IM 541 auf die Sensordaten SD angewendet werden, um Konzentrationsparameter CPi 542 einer Dirichlet-Verteilung Dir 543 der Klassenwahrscheinlichkeiten π CP 520 für die jeweiligen mehreren Klassen zu erhalten. Basierend auf den Konzentrationsparametern CPi kann sowohl ein Verlust für Inferenzen durch das Inferenzmodell IM als auch ein Verlust für die Verwendung dieser Konzentrationsparameter zum Rekonstruieren der Sensordaten abgeleitet werden. Interessanterweise haben die Erfinder festgestellt, dass die Kalibrierung der Klassenwahrscheinlichkeiten der Inferenzen verbessert wird, da die Konzentrationsparameter IM sowohl für die Rekonstruktion als auch für die Inferenz verwendet werden.
• Insbesondere kann das Trainingssignal, wie es in der Figur gezeigt ist, einen Verlustterm LOSS2 582 umfassen, der basierend auf einer Wahrscheinlichkeit bestimmt wird Prob 560, dass die Sensordaten SD basierend auf den Konzentrationsparametern in die Zielklasse TC klassifiziert werden. Dieser Verlustterm kann verwendet werden, um einen akkuraten Etikett-Prädiktor zu lernen. Dieser Verlustterm kann beispielsweise als $E_{q_{\psi }\left({\pi }_n|x_n\right)}\left[\text{log}Cat\left(y_n|{\pi }_n\right)\right]$

  

  implementiert werden. Dieser Verlustterm ist hier als auf stichprobenartig entnommenen Klassenwahrscheinlichkeiten CP basierend gezeigt, kann aber ähnlich wie in 5a auch ohne Stichprobennahme direkt aus den Konzentrationsparametern CPi berechnet werden.
• Es ist gezeigt, dass ein weiterer Verlustterm LOSS1 581 basierend auf einer Wahrscheinlichkeit bestimmt wird SamG 550, dass die Sensordaten SD gemäß dem generativen Modell ƒ_θ basierend auf den Konzentrationsparametern CP erzeugt werden.
• Dieser Term kann durch den Ausdruck $E_{q_{\psi }\left({\pi }_n|x_n\right)}\left[\text{log}{p}_{\theta }\left(x_n|{ƒ}_{\theta }\left({\pi }_n\right)\right)\right]$

  

  implementiert werden und kann die latente Darstellung von x_n, die eine diskrete Wahrscheinlichkeitsverteilung der Klassenzuordnungen ist, auf die beobachtbare Eingabedomäne abbilden. Dieser Ausdruck kann lernen, Stichproben aus Klassenzuordnungswahrscheinlichkeiten CP zu erzeugen. Dieser Term kann somit das Modell dazu anregen, Unsicherheitsschätzungen zu liefern, die mit dem Datenerzeugungsprozess konform sind. Interessanterweise ist dies möglich, ohne die Entscheidungsgrenze abzuflachen oder externe Stichproben zu verwenden.
• Wie es in der Figur gezeigt ist, kann das Trainingssignal optional auch einen dritten Verlustterm LOSS3 583 umfassen, der bestimmt wird DIV 580, um eine Regularisierung der bestimmten Klassenwahrscheinlichkeiten CP bereitzustellen, zum Beispiel durch Bestrafen einer Abweichung von Klassenwahrscheinlichkeiten, die eine maximale Unsicherheit repräsentieren. Dieser Term kann beispielsweise als KL(q_ψ(π_n|x_n))||Dir(π|1,...,1)) implementiert werden. Unter Verwendung dieses Regularisierungsterms können Abweichungen vom Zustand „Ich weiß nicht“, der durch die flache Dirichlet-Verteilung gekennzeichnet ist und nicht zur Erklärung von Daten dient, bestraft werden.
• Zum Beispiel können die obigen drei Verluste zu der folgenden Evidenzuntergrenzen-Verlustfunktion (ELBO-Verlustfunktion) kombiniert werden, die in Bezug auf die trainierbaren Parameter (θ,ψ} des generativen Modells bzw. des Inferenzmodells maximiert werden soll: $$\begin{array}{c}{L}_{EVAE}\left(\theta ,\psi \right)={\displaystyle \sum _{n=1}^N\{E_{q_{\psi }\left({\pi }_n|x_n\right)}\left[\text{log}{p}_{\theta }\left(x_n|{ƒ}_{\theta }\left({\pi }_n\right)\right)\right]}+E_{q_{\psi }\left({\pi }_n|x_n\right)}\left[\text{log}Cat\left(y_n|{\pi }_n\right)\right]\\ -KL\left(q_{\psi }\left({\pi }_n|x_n\right)\right)\Vert Dir\left(\pi |\mathrm{1,}\cdots \mathrm{,1}\right))\}\end{array}$$

  
• Der erste Term kann lernen, sich an domäneninterne Daten anzupassen; der zweite Term kann die domäneninterne Verteilung lernen, z. B. die Unsicherheit; und der dritte Term kann eine Regularisierung bereitstellen.
• Die obige Verlustfunktion kann wie folgt so angepasst werden, dass sie eine Kontextvariable verwendet, wie es z. B. in Bezug auf 4c und 5a erörtert ist: $$\begin{array}{l}argma{x}_{\theta ,\Phi ,\psi ,\lambda }\hfill \\ {\displaystyle \sum _n^N\begin{array}{l}{E}_{p\left(z|X_C,Y_C\right)}\{E_{q\left({\pi }_n|z,x_n\right)}\left[logCat\left(y_n|{\pi }_n\right)\right]+E_{q\left({\pi }_n|z,x_n\right)}\left[logN\left(x_n|f_{\theta }\left({\pi }_n\right),g_{\Phi }\left({\pi }_n\right)\right))\right]\\ -KL\left(q\left({\pi }_n|z,x_n\right)|p\left({\pi }_n\right)\right)+KL\left(Dir\left(\pi |u_{\lambda }\left(z,{ƒ}_{\theta }\left(\mathrm{1,}\dots \mathrm{,1}\right)\right)\right)\Vert Dir\left(\pi |\mathrm{1,}\dots \mathrm{,1}\right)\right)\}\end{array}}\hfill \end{array}$$

  
• Beispielsweise kann während des Trainings eine zufällig ausgewählte Teilmenge der Trainingsbeobachtungen innerhalb einer Mini-Charge als eine Menge von Kontextinstanzen verwendet werden.
• Basierend auf dem Trainingssignal, z. B. der Kombination der Verluste LOSS1, LOSS2 und optional auch LOSS3, können die Parameter PAPψ 501 des Inferenzmodells und/oder die Parameter PARθ 502 des generativen Modells in einer Trainingsoperation Train 590 aktualisiert werden. Beispielsweise kann das Training auf iterative Weise durchgeführt werden, wobei in jeder Iteration ein oder beide Parametersätze aktualisiert werden. Trainierbare Parameter, die zum Bestimmen von Kontextvariablen verwendet werden, können, falls verwendet, ebenfalls aktualisiert werden.
• Das Training Train kann mit einem uneingeschränkten Optimierer wie etwa Adam, der in Kingma und Ba, „Adam: A Method for Stochastic Optimization“ (verfügbar unter https://arxiv.org/abs/1412.6980 und hierin durch Bezugnahme aufgenommen) offenbart ist; einem stochastischen Gradientenabstieg; oder RMSProp durchgeführt werden. Solche Optimierungsverfahren können bekanntlich heuristisch sein und/oder zu einem lokalen Optimum gelangen. Das Training kann Instanz für Instanz oder in Chargen, z. B. von höchstens oder mindestens 64 oder höchstens oder mindestens 256 Instanzen, durchgeführt werden. Das Trainingssignal kann unter Verwendung einer automatisch differenzierbaren Bibliothek, z. B. PyTorch oder TensorFlow, implementiert werden. Mit dem Training Train können die erlernten Werte (ψ̂, θ̂) für die freien Parameter des generativen Modells ƒ_θ(·) und des Inferenzmodells g_ψ(·) bestimmt werden.
• In vielen Fällen können die Verlustterme LOSS1 und LOSS3 durch Berechnen ihrer jeweiligen analytischen Lösungen implementiert werden. In einigen Fällen kann auch eine analytische Lösung für den Verlustterm LOSS2 verfügbar sein. Eine Alternative besteht darin, ein differenzierbares Monte-Carlo-Stichprobennahmeverfahren zu verwenden, wie es durch die Stichprobennahmeoperation SamD, 543 zum stichprobenartigen Nehmen von Klassenwahrscheinlichkeiten und die Stichprobennahmeoperation SamG zum stichprobenartigen Nehmen von Parametern der Wahrscheinlichkeitsverteilung von Sensordaten gezeigt ist. Beispielsweise kann ein Verfahren „rsample“ (das „r“ bedeutet reparametrierbar) verwendet werden, wie sie in bekannten Bibliotheken für tiefes Lernen verfügbar ist.
• 6 zeigt ein Blockdiagramm des computerimplementierten Verfahrens 600 zum Trainieren eines Klassifizierungsmodells. Das Modell kann zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems dienen. Das Klassifizierungsmodell kann dazu ausgelegt sein, Sensordaten in eine Klasse aus einer Menge von mehreren Klassen zu klassifizieren. Das Verfahren 600 kann einem Betrieb des Systems 100 von 1 entsprechen. Dies ist jedoch keine Einschränkung, da das Verfahren 600 auch unter Verwendung eines anderen Systems, einer anderen Vorrichtung oder einer anderen Einrichtung durchgeführt werden kann.
• Das Verfahren 600 kann in einer Operation mit der Bezeichnung „TRAININGSDATEN ERHALTEN“ Erhalten 610 eines Trainingsdatensatzes umfassen, der mehrere Trainingsinstanzen umfasst.
• Das Verfahren 600 kann in einer Operation mit der Bezeichnung „AUF MODELLDATEN ZUGREIFEN“ eins Zugreifen 620 auf Modelldaten umfassen, die das Klassifizierungsmodell repräsentieren. Das Klassifizierungsmodell kann ein trainierbares Inferenzmodell umfassen. Das Inferenzmodell kann dazu ausgelegt sein, basierend auf Sensordaten jeweilige Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für die jeweiligen mehreren Klassen zu bestimmen. Das Klassifizierungsmodell kann ferner ein trainierbares generatives Modell umfassen. Das generative Modell kann dazu ausgelegt sein, basierend auf den Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten zu bestimmen.
• Das Verfahren 600 kann in einer Operation mit der Bezeichnung „MODELL TRAINIEREN“ Trainieren 630 des Klassifizierungsmodells umfassen. Das Training der Klassifikation kann in einer Operation mit der Bezeichnung „INSTANZ AUSWÄHLEN“ Auswählen 640 einer Trainingsinstanz aus dem Trainingsdatensatz umfassen. Die Trainingsinstanz kann Sensordaten und eine entsprechende Zielklasse aus der Menge von mehreren Klassen umfassen. Das Trainieren der Klassifikation kann in einer Operation mit der Bezeichnung „INFERENZMODELL ANWENDEN“ Anwenden 650 des Inferenzmodells auf die Sensordaten umfassen, um die Konzentrationsparameter zu erhalten. Das Trainieren der Klassifikation kann in einer Operation mit der Bezeichnung „TRAININGSSIGNAL ABLEITEN“ Ableiten 660 eines Trainingssignals für die Trainingsinstanz umfassen. Das Trainingssignal kann auf einer Wahrscheinlichkeit basieren, dass die Sensordaten basierend auf den Konzentrationsparametern in die Zielklasse klassifiziert werden. Das Trainingssignal kann ferner auf einer Wahrscheinlichkeit basieren, dass die Sensordaten gemäß dem generativen Modell basierend auf den Konzentrationsparametern erzeugt werden. Das Verfahren 600 kann in einer Operation mit der Bezeichnung „MODELL AKTUALISIEREN“ Aktualisieren 670 von Parametern des Inferenzmodells und/oder des generativen Modells basierend auf dem Trainingssignal umfassen.
• 7 zeigt ein Blockdiagramm des computerimplementierten Verfahrens 700 zum Klassifizieren von Sensordaten zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems. Das Verfahren 700 kann einem Betrieb des Systems 200 von 2 oder des Systems 300 von 3 entsprechen. Dies ist jedoch keine Einschränkung, da das Verfahren 700 auch unter Verwendung eines anderen Systems, einer anderen Vorrichtung oder einer anderen Einrichtung durchgeführt werden kann.
• Das Verfahren 700 kann in einer Operation mit der Bezeichnung „MODELLDATEN ERHALTEN“ Erhalten 710 von Modelldaten umfassen, die ein Klassifizierungsmodell repräsentieren. Zum Beispiel kann das Klassifizierungsmodell zuvor gemäß einem hierin beschriebenen Verfahren trainiert worden sein. Das Klassifizierungsmodell kann dazu ausgelegt sein, die Sensordaten in eine Klasse aus einer Menge von mehreren Klassen zu klassifizieren. Das Klassifizierungsmodell kann ein trainiertes Inferenzmodell umfassen. Das Inferenzmodell kann dazu ausgelegt sein, basierend auf Sensordaten jeweilige Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für die jeweiligen mehreren Klassen zu bestimmen. Das Klassifizierungsmodell kann ferner ein trainiertes generatives Modell umfassen. Das generative Modell kann dazu ausgelegt sein, basierend auf den Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten zu bestimmen.
• Das Verfahren 700 kann in einer Operation mit der Bezeichnung „SENSORDATEN ERHALTEN“ Erhalten 720 der Sensordaten umfassen. Die Sensordaten können Messungen einer oder mehrerer physikalischer Größen des computergesteuerten Systems und/oder seiner Umgebung repräsentieren.
• Das Verfahren 700 kann in einer Operation mit der Bezeichnung „INFERENZMODELL ANWENDEN“ Anwenden 730 des Inferenzmodells auf die Sensordaten umfassen, um die Konzentrationsparameter zu erhalten.
• Das Verfahren 700 kann in einer Operation mit der Bezeichnung „OOD DETEKTIEREN“ Bestimmen 740 eines Außerverteilungswerts umfassen, der eine Übereinstimmung der Sensordaten mit dem Trainingsdatensatz angibt. Das Bestimmen 740 kann durch Bestimmen einer Wahrscheinlichkeit dafür, dass die Sensordaten gemäß dem generativen Modell basierend auf den Konzentrationsparametern erzeugt werden, durchgeführt werden.
• Das Verfahren 700 kann in einer Operation mit der Bezeichnung „KLASSENWAHRSCHEINLICHKEIT BESTIMMEN“ Bestimmen 760 eines Klassenwahrscheinlichkeitswerts aus den Konzentrationsparametern umfassen. Der Klassenwahrscheinlichkeitswert kann eine Wahrscheinlichkeit angeben, dass die Sensordaten zu einer Klasse aus der Menge von mehreren Klassen gehören. Das Verfahren 700 kann ferner in einer Operation mit der Bezeichnung „KLASSENWAHRSCHEINLICHKEITAUSGEBEN“ Ausgeben 770 des Klassenwahrscheinlichkeitswerts zur Verwendung beim Steuern und/oder Überwachen umfassen. Das Bestimmen 760 und das Ausgeben 770 können bedingt durchgeführt werden, beispielsweise dann, wenn zumindest in einer mit „AUSREICHENDE ENTSPRECHUNG?“ bezeichneten Entscheidung der Außerverteilungswert 750 eine ausreichende Übereinstimmung angibt.
• Es versteht sich, dass die Operationen des Verfahrens 600 von 6 und des Verfahrens 700 von 7 im Allgemeinen in jeder geeigneten Reihenfolge durchgeführt werden können, z. B. nacheinander, gleichzeitig oder eine Kombination davon, vorbehaltlich dessen, dass ggf. eine bestimmte Reihenfolge erforderlich ist, z. B. durch Eingabe/Ausgabe-Beziehungen. Einige oder alle der Verfahren können auch kombiniert werden. Beispielsweise kann das Verfahren 700 des Anwendens eines trainierten Modells anschließend auf dieses trainierte Modell angewendet werden, das gemäß dem Verfahren 600 trainiert wird.
• Das/die Verfahren können auf einem Computer als computerimplementiertes Verfahren, als dedizierte Hardware oder als Kombination von beiden implementiert werden. Wie es in 8 dargestellt ist, können zudem Befehle für den Computer, z. B. ausführbarer Code, auf einem computerlesbaren Medium 800 gespeichert sein, z. B. in Form einer Reihe 810 von maschinenlesbaren physischen Markierungen und/oder als Reihe von Elementen mit unterschiedlichen Eigenschaften oder Werten, z. B. elektrischen, magnetischen oder optischen. Der ausführbare Code kann in einer transitorischen oder nicht transitorischen Weise gespeichert werden. Beispiele für computerlesbare Medien umfassen Speichervorrichtungen, optische Speichervorrichtungen, integrierte Schaltungen, Server, Online-Software usw. 8 zeigt eine optische Platte 800. Alternativ kann das computerlesbare Medium 800 transitorische oder nicht transitorische Daten 810 umfassen, die Modelldaten repräsentieren, die ein Klassifikationsmodell darstellen, das beispielsweise gemäß einem hierin beschriebenen Verfahren und/oder zur Verwendung gemäß einem hierin beschriebenen Verfahren trainiert ist. Das Klassifizierungsmodell kann ein trainierbares Inferenzmodell umfassen, das dazu ausgelegt ist, basierend auf Sensordaten jeweilige Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für jeweilige mehrere Klassen zu bestimmen. Das Klassifizierungsmodell kann ferner ein trainierbares generatives Modell umfassen, das dazu ausgelegt ist, basierend auf den Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten gemäß einem Trainingsdatensatz des Klassifizierungsmodells zu bestimmen.
• Beispiele, Ausführungsformen oder optionale Merkmale, seien sie als nicht einschränkend gekennzeichnet oder nicht, sind nicht als Einschränkung der beanspruchten Erfindung zu verstehen.
• Es sollte beachtet werden, dass die oben erwähnten Ausführungsbeispiele die Erfindung eher veranschaulichen als einschränken und dass Fachleute in der Lage sind, viele alternative Ausführungsbeispiele zu entwerfen, ohne vom Umfang der beigefügten Ansprüche abzuweichen. In den Ansprüchen sind alle zwischen Klammern gesetzten Bezugszeichen nicht als Einschränkung des Anspruchs auszulegen. Die Verwendung des Verbs „umfassen“ und seiner Konjugationen schließt das Vorhandensein anderer Elemente oder Stufen als der in einem Anspruch angegebenen nicht aus. Der Artikel „eine/r/s“ vor einem Element schließt das Vorhandensein mehrerer solcher Elemente nicht aus. Ausdrücke wie „mindestens eine/r/s von“ repräsentieren dann, wenn sie einer Liste oder Gruppe von Elementen vorangestellt sind, eine Auswahl aller oder eine Teilmenge von Elementen aus der Liste oder Gruppe. Zum Beispiel sollte der Ausdruck „mindestens eines von A, B und C“ so verstanden werden, dass er nur A, nur B, nur C, sowohl A als auch B, sowohl A als auch C, sowohl B als auch C oder alle von A, B und C umfasst. Die Erfindung kann mittels Hardware mit mehreren unterschiedlichen Elementen und mittels eines geeignet programmierten Computers implementiert werden. In dem mehrere Mittel aufzählenden Vorrichtungsanspruch können mehrere dieser Mittel durch ein und dieselbe Hardware verkörpert sein. Die bloße Tatsache, dass bestimmte Maßnahmen in voneinander verschiedenen abhängigen Ansprüchen aufgeführt sind, bedeutet nicht, dass eine Kombination dieser Maßnahmen nicht zum Vorteil genutzt werden kann.

Claims (15)

1. Computerimplementiertes Verfahren (700) zum Klassifizieren von Sensordaten zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems, wobei das Verfahren Folgendes umfasst: - Erhalten (710) von Modelldaten, die ein Klassifizierungsmodell repräsentieren, wobei das Klassifizierungsmodell dazu ausgelegt ist, die Sensordaten in eine Klasse aus einer Menge von mehreren Klassen zu klassifizieren, wobei das Klassifizierungsmodell Folgendes umfasst: - ein trainiertes Inferenzmodell, das dazu ausgelegt ist, basierend auf den Sensordaten jeweilige Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für die jeweiligen mehreren Klassen zu bestimmen, - ein trainiertes generatives Modell, das dazu ausgelegt ist, basierend auf den Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten gemäß einem Trainingsdatensatz des Klassifizierungsmodells zu bestimmen; - Erhalten (720) der Sensordaten, wobei die Sensordaten Messungen einer oder mehrerer physikalischer Größen des computergesteuerten Systems und/oder seiner Umgebung repräsentieren; - Anwenden (730) des Inferenzmodells auf die Sensordaten, um die Konzentrationsparameter zu erhalten; - Bestimmen (740) eines Außerverteilungswerts, der eine Übereinstimmung der Sensordaten mit dem Trainingsdatensatz angibt, durch Bestimmen einer Wahrscheinlichkeit, dass die Sensordaten gemäß dem generativen Modell basierend auf den Konzentrationsparametern erzeugt werden; - zumindest dann, wenn der Außerverteilungswert eine ausreichende Übereinstimmung angibt (750), Bestimmen (760) eines Klassenwahrscheinlichkeitswerts aus den Konzentrationsparametern, wobei der Klassenwahrscheinlichkeitswert eine Wahrscheinlichkeit angibt, dass die Sensordaten zu einer Klasse aus der Menge von mehreren Klassen gehören, und Ausgeben (770) des Klassenwahrscheinlichkeitswerts zur Verwendung beim Steuern und/oder Überwachen.
2. Verfahren (700) nach Anspruch 1, wobei die Sensordaten eine Zeitreihe von Messungen der einen oder mehreren physikalischen Größen umfassen, wobei das generative Modell ein rekurrentes Modell umfasst, das dazu ausgelegt ist, Parameter einer Wahrscheinlichkeitsverteilung von Werten der einen oder mehreren physikalischen Größen zu einem Zeitpunkt basierend auf Parametern der Wahrscheinlichkeitsverteilung zu einem vorhergehenden Zeitpunkt zu bestimmen.
3. Verfahren (700) nach Anspruch 2, das ferner Steuern eines Spurhalteunterstützungssystems eines Fahrzeugs basierend auf dem bestimmten Klassenwahrscheinlichkeitswert umfasst, wobei die Sensordaten Ortsinformationen des Fahrzeugs und/oder von Verkehrsteilnehmern in der Umgebung des Fahrzeugs umfassen und wobei die jeweiligen Klassen jeweilige Fahreraufgaben eines Fahrers des Fahrzeugs repräsentieren.
4. Verfahren (700) nach Anspruch 3, das ferner Verwenden des generativen Modells, um zukünftige Werte der einen oder mehreren physikalischen Größen zu einem oder mehreren zukünftigen Zeitpunkten nach der Zeitreihe vorherzusagen, und Ausgeben der vorhergesagten zukünftigen Werte zur Verwendung beim Steuern und/oder Überwachen umfasst.
5. Verfahren (700) nach Anspruch 1, wobei die Sensordaten ein Bild repräsentieren, das von dem computergesteuerten System und/oder seiner Umgebung aufgenommen wird.
6. Verfahren (700) nach Anspruch 5, wobei das Klassifizierungsmodell ein semantisches Segmentierungsmodell ist, das dazu ausgelegt ist, jeweilige Bildabschnitte des Bildes in jeweilige Klassen zu klassifizieren.
7. Verfahren (700) nach Anspruch 6, wobei das generative Modell dazu ausgelegt ist, Parameter jeweiliger Wahrscheinlichkeitsverteilungen für die jeweiligen Bildabschnitte zu bestimmen, und wobei das Verfahren Bestimmen jeweiliger Außerverteilungswerte für die jeweiligen Bildabschnitte umfasst.
8. Verfahren (700) nach einem der vorhergehenden Ansprüche, wobei die Konzentrationsparameter darauf beschränkt sind, größer oder gleich eins zu sein.
9. Verfahren (700) nach einem der vorhergehenden Ansprüche, das dann, wenn der Außerverteilungswert eine ausreichende Übereinstimmung angibt und/oder der Klassenwahrscheinlichkeitswert eine ausreichende Sicherheit angibt, Verwenden eines regulären Steuermoduls zum Bestimmen von Steuerdaten zum Steuern des computergesteuerten Systems und andernfalls Verwenden eines Ausweich-Steuermoduls zum Bestimmen der Steuerdaten; und Steuern des computergesteuerten Systems basierend auf den Steuerdaten umfasst.
10. Verfahren (700) nach einem der vorhergehenden Ansprüche, das ferner Speichern der Sensordaten für die zukünftige Verwendung dann, wenn der Außerverteilungswert eine Nichtübereinstimmung angibt und/oder der Klassenwahrscheinlichkeitswert eine unzureichende Sicherheit angibt, und andernfalls Verwerfen der Sensordaten umfasst.
11. Verfahren (700) nach einem der vorhergehenden Ansprüche, wobei dem Inferenzmodell zusätzlich als Eingabe ein Wert einer Kontextvariablen gegeben wird und wobei das Verfahren ferner Bestimmen des Wertes der Kontextvariablen aus einer Menge von Kontextinstanzen umfasst, wobei eine Kontextinstanz Sensordaten und optional eine entsprechende Zielklasse umfasst.
12. Computerimplementiertes Verfahren (600) zum Trainieren eines Klassifizierungsmodells zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems, wobei das Klassifizierungsmodell dazu ausgelegt ist, Sensordaten in eine Klasse aus einer Menge von mehreren Klassen zu klassifizieren, wobei das Verfahren Folgendes umfasst: - Erhalten (610) eines Trainingsdatensatzes, der mehrere Trainingsinstanzen umfasst; - Zugreifen (620) auf Modelldaten, die das Klassifizierungsmodell repräsentieren, wobei das Klassifizierungsmodell Folgendes umfasst: - ein trainierbares Inferenzmodell, das dazu ausgelegt ist, basierend auf Sensordaten jeweilige Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für die jeweiligen mehreren Klassen zu bestimmen, - ein trainierbares generatives Modell, das dazu ausgelegt ist, basierend auf den Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten zu bestimmen; - Trainieren (630) des Klassifizierungsmodells durch: - Auswählen (640) einer Trainingsinstanz aus dem Trainingsdatensatz, wobei die Trainingsinstanz Sensordaten und eine entsprechende Zielklasse der Menge von mehreren Klassen umfasst; - Anwenden (650) des Inferenzmodells auf die Sensordaten, um die Konzentrationsparameter zu erhalten; - Ableiten (660) eines Trainingssignals für die Trainingsinstanz, wobei das Trainingssignal auf einer Wahrscheinlichkeit basiert, dass die Sensordaten basierend auf den Konzentrationsparametern in die Zielklasse klassifiziert werden, und wobei das Trainingssignal ferner auf einer Wahrscheinlichkeit basiert, dass die Sensordaten gemäß dem generativen Modell basierend auf den Konzentrationsparametern erzeugt werden; - Aktualisieren (670) von Parametern des Inferenzmodells und/oder des generativen Modells basierend auf dem Trainingssignal.
13. System (200, 300) zum Klassifizieren von Sensordaten zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems, wobei das System Folgendes umfasst: - eine Datenschnittstelle (220) zum Zugreifen auf Modelldaten (040), die ein Klassifizierungsmodell repräsentieren, wobei das Klassifizierungsmodell dazu ausgelegt ist, die Sensordaten in eine Klasse aus einer Menge von mehreren Klassen zu klassifizieren, wobei das Klassifizierungsmodell Folgendes umfasst: - ein trainiertes Inferenzmodell, das dazu ausgelegt ist, basierend auf den Sensordaten jeweilige Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für die jeweiligen mehreren Klassen zu bestimmen, - ein trainiertes generatives Modell, das dazu ausgelegt ist, basierend auf den Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten gemäß einem Trainingsdatensatz des Klassifizierungsmodells zu bestimmen; - eine Sensorschnittstelle (260) zum Erhalten der Sensordaten (224), wobei die Sensordaten Messungen einer oder mehrerer physikalischer Größen des computergesteuerten Systems (200, 300) und/oder seiner Umgebung (082, 083) repräsentieren; - ein Prozessoruntersystem (240), das zu Folgendem ausgelegt ist: - Anwenden des Inferenzmodells auf die Sensordaten, um die Konzentrationsparameter zu erhalten; - Bestimmen eines Außerverteilungswerts, der eine Übereinstimmung der Sensordaten mit dem Trainingsdatensatz angibt, durch Bestimmen einer Wahrscheinlichkeit, dass die Sensordaten gemäß dem generativen Modell basierend auf den Konzentrationsparametern erzeugt werden; - zumindest dann, wenn der Außerverteilungswert eine ausreichende Übereinstimmung angibt, Bestimmen eines Klassenwahrscheinlichkeitswerts aus den Konzentrationsparametern, wobei der Klassenwahrscheinlichkeitswert eine Wahrscheinlichkeit angibt, dass die Sensordaten zu einer Klasse aus der Menge von mehreren Klassen gehören, und Ausgeben des Klassenwahrscheinlichkeitswerts zur Verwendung beim Steuern und/oder Überwachen.
14. System (100) zum Trainieren eines Klassifizierungsmodells zur Verwendung beim Steuern und/oder Überwachen eines computergesteuerten Systems, wobei das Klassifizierungsmodell dazu ausgelegt ist, Sensordaten in eine Klasse aus einer Menge von mehreren Klassen zu klassifizieren, wobei das System Folgendes umfasst: - eine Datenschnittstelle (120) zum Zugreifen auf: einen Trainingsdatensatz (030), der mehrere Trainingsinstanzen umfasst; und Modelldaten (040), die das Klassifizierungsmodell repräsentieren, wobei das Klassifizierungsmodell Folgendes umfasst: - ein trainierbares Inferenzmodell, das dazu ausgelegt ist, basierend auf Sensordaten jeweilige Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für die jeweiligen mehreren Klassen zu bestimmen, - ein trainierbares generatives Modell, das dazu ausgelegt ist, basierend auf den Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten zu bestimmen; - ein Prozessoruntersystem (140), das dazu ausgelegt ist, das Klassifizierungsmodell durch Folgendes zu trainieren: - Auswählen einer Trainingsinstanz aus dem Trainingsdatensatz, wobei die Trainingsinstanz Sensordaten und eine entsprechende Zielklasse aus der Menge von mehreren Klassen umfasst; - Anwenden des Inferenzmodells auf die Sensordaten, um die Konzentrationsparameter zu erhalten; - Ableiten eines Trainingssignals für die Trainingsinstanz, wobei das Trainingssignal auf einer Wahrscheinlichkeit basiert, dass die Sensordaten basierend auf den Konzentrationsparametern in die Zielklasse klassifiziert werden, und wobei das Trainingssignal ferner auf einer Wahrscheinlichkeit basiert, dass die Sensordaten gemäß dem generativen Modell basierend auf den Konzentrationsparametern erzeugt werden; - Aktualisieren von Parametern des Inferenzmodells und/oder des generativen Modells basierend auf dem Trainingssignal.
15. Computerlesbares Medium (800), das transitorische oder nicht transitorische Daten (810) enthält, die Folgendes darstellen: - Befehle, die, wenn sie von einem Prozessorsystem ausgeführt werden, das Prozessorsystem dazu veranlassen, das computerimplementierte Verfahren nach einem der Ansprüche 1 bis 11 und/oder Anspruch 12 durchzuführen; und/oder - Modelldaten, die ein Klassifikationsmodell repräsentieren, wobei das Klassifikationsmodell ein trainierbares Inferenzmodell, das dazu ausgelegt ist, basierend auf Sensordaten jeweilige Konzentrationsparameter einer Dirichlet-Verteilung von Klassenwahrscheinlichkeiten für jeweilige mehrere Klassen zu bestimmen; und ein trainierbares generatives Modell, das dazu ausgelegt ist, basierend auf den Klassenwahrscheinlichkeiten Parameter einer Wahrscheinlichkeitsverteilung von Sensordaten gemäß einem Trainingsdatensatz des Klassifizierungsmodells zu bestimmen, umfasst.

Images