-
Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm, ein maschinenlesbares Speichermedium sowie eine Vorrichtung zur Datenvorhersage mittels eines Verfahrens des maschinellen Lernens (ML function).
-
Stand der Technik
-
Der Einsatz von Verfahren des maschinellen Lernens ermöglicht eine Reihe von neuen und spannenden Anwendungen. Ein bekanntes Einsatzgebiet für Verfahren des maschinellen Lernens ist das Feld des Automatisierten Fahrens. Mit dem Übergang vom zumindest teilweise manuellen Fahrens (sog. Level 1, 2 Fahren) zum teilweise automatisierten Fahren (sog. Level 3, 4 und 5) entstehen grundsätzliche Probleme für die Systemsicherheit. Insbesondere der Einsatz von Verfahren des maschinellen Lernens für bzw. in sicherheitsrelevanten Funktionen erzeugt vollständig neue Probleme hinsichtlich der Systemsicherheit.
-
Aus D. Amodei, C. Olah, J. Steinhardt, P. F. Christiano, J. Schulman, and D. Mane, „Concrete problems in AI safety,“ CoRR, vol. abs/1606.06565, 2016. [Online]. sind „Unfälle“ als Probleme des maschinellen Lernens bekannt. Demnach sind Unfälle unerwünschtes oder schädigendes Verhalten, das auf ein mangelhaftes Design von Systemen der künstlichen Intelligenz mit Bezug zur realen Welt zurückzuführen ist. Das Paper kategorisiert die auftretenden Probleme in fünf Klassen, Verhinderung von Seiteffekten (engl.: avoiding side effects), Vermeidung von Reward Hacking (eng.: avoiding reward hacking), skalierbare Überwachung (eng.: scalable supervision), sicheres Erforschen (eng.: safe exploration) und Verteilungsverschiebung (eng.: distributional shift).
-
Aus S. Burton, L. Gauerhof, and C. Heinzemann, „Making the case for safety of machine learning in highly automated driving,“ in Computer Safety, Reliability, and Security, S. Tonetta, E. Schoitsch, and F. Bitsch, Eds. Cham: Springer International Publishing, 2017, pp. 5-16. sind Herausforderungen bekannt, die auftreten, wenn Verfahren des maschinellen Lernens im Bereich des zumindest teilweise automatisierten Fahrens angewendet werden. Das Paper legt einen besonderen Fokus auf funktionelle Unzulänglichkeiten bei der Erkennungsfunktion basierend auf faltenden künstlichen neuronalen Netzen (eng.: Convolutional Neural Networks). Ferner stellt das Paper Möglichkeiten zur Abwehr der sich daraus ergebenden Risiken vor.
-
Aus G. E. Hinton and R. R. Salakhutdinov, „Reducing the dimensionality of data with neural networks," Science, vol. 313, no. 5786, pp. 504-507, 2006. [Online]. ist bekannt, dass höher-dimensionale Daten in nieder-dimensionale Codes konvertiert werden können, indem ein mehrschichtiges künstliches neuronales Netz mit einer kleinen zentralen Schicht darauf trainiert wird, einen höher-dimensionalen Eingabevektor zu rekonstruieren. Der Gradientenabstieg (eng.: gradient descent) kann für die Feinabstimmung der Gewichte in einem künstlichen neuronalen Netz, das auch „Autoencoder“ genannt wird, angewendet werden.
-
Ein grundsätzliches Problem beim Einsatz von Verfahren des maschinellen Lernens für sicherheitsrelevante Funktionen ist, dass eine Datenvorhersage nur dann verlässlich ist, wenn die Eingangsdaten eine adäquate Qualität aufweisen und die gleiche bzw. ähnliche Verteilung aufweisen, wie der Datensatz, der zum Training des Verfahrens des maschinellen Lernens eingesetzt wurde.
-
Insbesondere für den Einsatz in offenen Szenarien (eng.: open context scenarios), wie bspw. bei dem zumindest teilweise automatisierten Fahren, birgt dies große Herausforderungen. Daher sind Plausibilitätsprüfungen der Eingangsdaten, die mittels des Verfahrens des maschinellen Lernens verarbeitet wurden, erforderlich.
-
Im Kontext des Automatisierten Fahrens, beschränken sich die aktuellen Plausibilitätsprüfungen auf den Vergleich der Ausgabedaten mehrerer Sensoren oder auf die Analyse der Eingangsdaten ausgehend von Expertenwissen (bspw. auf die Erkennung von schwierigen Umfeldbedingungen wie Nebel oder reduzierte Datenqualität durch Bewegungsunschärfe).
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund schafft die vorliegende Erfindung ein Verfahren zur Datenvorhersage basierend auf einem Eingabedatum mittels eines Verfahrens des maschinellen Lernens (eng.: ML function). Sowie ein entsprechendes Computerprogramm, ein entsprechendes maschinenlesbares Speichermedium sowie eine entsprechende Vorrichtung.
-
Vorteile der Erfindung
-
Ein Aspekt der vorliegenden Erfindung ist ein Verfahren zur Datenvorhersage basierend auf einem Eingabedatum mittels eines Verfahrens des maschinellen Lernens (eng.: ML function).
-
Die Erfindung basiert auf der Erkenntnis, dass parallel zu der Datenvorhersage mittels des Verfahrens des maschinellen Lernens (d.h. der künstlichen Wissenserzeugung) das Eingangsdatum mittels eines Autoencoders zunächst komprimiert und dann zu einem Decoderdatum rekonstruiert wird. In Abhängigkeit von dem Eingangsdatum und dem Decoderdatum wird ein Distanzkriterium ermittelt. Das Distanzkriterium repräsentiert ein Plausibilitätsmaß für die Datenvorhersage mittels des Verfahrens des maschinellen Lernens.
-
Unter einem Verfahren zur Datenvorhersage ist vorliegend ein Verfahren aus dem Bereich der künstlichen Intelligenz zu verstehen.
-
Unter einem Verfahren des maschinellen Lernens ist vorliegend ein Verfahren zur künstlichen Generierung von Wissen aus Erfahrung zu verstehen. Diese Verfahren basieren auf der Erkenntnis, dass aus Beispielen (d.h. aus bekannten Daten) erlernte Muster verallgemeinerbar sind und dadurch in unbekannten neuen Daten die erlernten Muster erkannt werden können. Dadurch entsteht künstliches Wissen aus den unbekannten neuen Daten.
-
Unter einem Datum, insbesondere unter einem Eingangsdatum oder Decoderdatum, ist vorliegend eine multidimensionale Datenrepräsentation zu verstehen. Im Bereich der Bildverarbeitung mittels eines Verfahrens aus dem Bereich der künstlichen Intelligenz kann dies bspw. die Repräsentation eines Bilds als Tensor nach Farbkanälen bspw. RGB und ggf. weiteren Kanälen sein.
-
Unter einem Autoencoder ist vorliegend ein Modell des maschinellen Lernens zu verstehen. Das Modell weist einen Encoder- und einen Decoder-Teil auf. Der Encoder-Teil qΘ (zlx) bildet Eingabedaten x eines ersten Merkmalsraums (eng.: feature space) auf einen kleineren Merkmalsraum (eng.: smaller feature space) z ab. Der kleinere Merkmalsraum z wird latenter Raum (eng.: latent space) genannt. Dazu kann bspw. ein künstliches neuronales Netz eingesetzt werden. Für diese Aufgabe muss der Encoder-Teil trainiert werden, um Parameter Θ zu ermitteln, die erforderlich sind, um die Eingabedaten beim Abbilden auf den kleiner dimensionalen latenten Raum z effizient zu komprimieren. Im Decoder-Teil pΦ(x|z) werden die komprimierten Eingabedaten aus dem kleiner dimensionalen latenten Raum z in den Merkmalsraum mit der ursprünglichen Dimensionsgröße mittels den ebenfalls erlernten Parametern Φ rekonstruiert.
-
Zum Training eines Autoencoders wird die nachstehende Verlustfunktion minimiert:
-
Dabei ist N die Anzahl der für das Training verwendeten Datenpunkte. Die Verlustfunktion ist die erwartete negative logarithmische Plausibilitätsfunktion (eng.: expected negative log-likelihood function) des i-ten Datenpunkts. Der Term fördert den Decoder-Teil die Eingangsdaten korrekt zu rekonstruieren.
-
Unter einem künstlichen neuronalen Netz ist vorliegend ein Netz aus künstlichen Neuronen zur Informationsverarbeitung zu verstehen. Künstliche neuronale Netze durchleben im Wesentlichen drei Phasen. In einer initialen Phase wird eine Basistopologie, meist abhängig von der Aufgabenstellung, vorgegeben. Danach folgt eine Trainingsphase, in der die Basistopologie zur effizienten Lösung der Aufgabenstellung mittels Trainingsdaten angelernt wird. Innerhalb der Trainingsphase kann auch die Topologie des Netzes angepasst werden.
-
Trainingsdaten zeichnen sich dadurch aus, dass typischerweise zu den Eingabedaten die gewünschten Ausgabedaten vorliegen. Schließlich folgt eine Anwendungsphase, in der das angelernte Netz auf Eingabedaten angesetzt wird, zu denen es keine gewünschten Ausgabedaten gibt. Die Ausgabedaten des angelernten Netzes stellen dann gemäß der Aufgabenstellung gesuchten Ausgabedaten dar.
-
Durch den Einsatz von künstlichen neuronalen Netzen lassen sich höher dimensionale Daten effizient in nieder dimensionale Räume abbilden und so auf einfach und schnelle Art und Weise komprimieren.
-
Unter einem Plausibilitätsmaß ist vorliegend ein Maß zu verstehen, das die Abweichung zwischen den Eingabedaten und den Trainingsdaten repräsentiert. Über dieses Maß kann festgestellt werden, ob die Eingabedaten eine zu den Trainingsdaten passende Verteilung aufweisen.
-
Zur Bestimmung des Distanzkriteriums kann im Falle des Autoencoders
z.B. der mittlere quadratische Fehler (eng.: mean squared error) verwendet werden. Hierfür wird pro Pixel der quadratische Abstand zwischen dem Ausgangsbild
y und dem rekonstruierten Bild
y' berechnet. Anschließend wird darüber dann der Durchschnitt berechnet:
-
Mit N als die Anzahl der Pixel.
-
Das Verfahren gemäß der vorliegenden Erfindung weist den Vorteil auf, dass integral über das ermittelte Plausibilitätsmaß entschieden wird, ob das durch das Verfahren des maschinellen Lernens zu verarbeitende Eingangsdatum der gleichen Verteilung zugeordnet werden kann, wie die ursprünglich eingesetzten Trainingsdaten.
-
Nach einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung weist der Autoencoder einen Encoder-Teil und einen Decoder-Teil auf und bildet zur Rekonstruktion das Eingangsdatum (Y) im Encoder-Teil mittels eines künstlichen neuronalen Netzes auf ein Encoderdatum (Z) ab. Im Decoder-Teil wird das Decoderdatum (Y`) aus dem Encoderdatum (Z) rekonstruiert.
-
Nach einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung liegen das Eingangsdatum (Y) und das Decoderdatum (Y') in einer ersten Dimension vor. Das Encoderdatum (Z) liegt in einer zweiten Dimension vor. Die erste Dimension ist dabei größer als die zweite Dimension.
-
Nach einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung sind das Verfahren des maschinellen Lernens und der Autoencoder auf der gleichen bzw. ähnlichen Verteilung an Trainingsdaten trainiert.
-
Hierdurch wird erreicht, dass das ermittelte Distanzkriterium unmittelbar ein Plausibilitätsmaß für die Datenvorhersage des Verfahrens des maschinellen Lernens repräsentiert. Da das Verfahren des maschinellen Lernens und der Autoencoder auf derselben Verteilung trainiert wurden, spricht ein großer Wert des Distanzkriteriums für eine große Abweichung der Verteilung des Eingangsdatums im Vergleich zu der Verteilung der Trainingsdaten und somit in Folge für eine geringere Verlässlichkeit der Datenvorhersage und somit für ein geringes Plausibilitätsmaß.
-
Nach einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung ist das Verfahren des maschinellen Lernens ein Verfahren zur Objektklassifikation bzw. Objekterkennung, insbesondere aus dem Bereich des zumindest teilweise automatisierten Fahrens.
-
Die vorliegende Erfindung eignet sich in besonderem Maße zu der Verwendung in einem Steuerungssystem für ein Aktorsystem. Unter einem Aktorsystem kann vorliegend ein Aktor in seiner Umgebung verstanden werden.
-
Ein Steuerungssystem nimmt typischerweise über mindestens einen Sensor den Zustand des Aktorsystems, d.h. des Aktors und dessen Umgebung auf und ermittelt entsprechende Ansteuersignale für den Aktor, um das übergeordnete Steuerungsziel zu erreichen.
-
Zur Ermittlung der entsprechenden Ansteuerungssignale können Sensorsignale des mindestens einen Sensors oder davon abgeleitete Signale, d.h. nachbearbeitete, insbesondere ausgewählte Sensorsignale, einem Verfahren zur Datenvorhersage gemäß der vorliegenden Erfindung zugeführt werden.
-
Über das Verfahren des maschinellen Lernens des Verfahrens der vorliegenden Erfindung wird (künstliches) Wissen generiert, das zur Steuerung des Aktorsystems, d.h. das zur Ermittlung entsprechender Ansteuersignale, herangezogen werden kann.
-
Gemäß der vorliegenden Erfindung wird für dieses Wissen ein Plausibilitätsmaß erzeugt. Dieses Plausibilitätsmaß kann herangezogen werden, um die Vertrauenswürdigkeit des erzeugten Wissens zu kennzeichnen und entsprechend dem ermittelten Plausibilitätsmaß das Wissen bei der Ermittlung entsprechender Ansteuersignale zu berücksichtigen. Bspw. das Wissen mit einer anpassten Gewichtung zu berücksichtigen oder, je nach Ausgestaltung, das Wissen als unplausibel zu verwerfen und dementsprechend nicht zu berücksichtigen.
-
Das Steuerungssystem kann insbesondere zur Steuerung eines zumindest teilweise automatisiert gesteuerten Roboters eingesetzt werden. Ein solcher zumindest teilweise automatisiert gesteuerter Roboter kann dabei ein zumindest teilweise automatisiert gesteuertes Fahrzeug, insbesondere Kraftfahrzeug, sein.
-
In einer solchen Ausgestaltung kann es sich bei dem mindestens einen Sensor um einen Umfeldsensor aus dem Automobilbereich, wie bspw. einem Video-, Radar-, Ultraschall-, Lidar-, Positionssensor (bspw. GNSS-Sensor) udgl., handeln. Ferner kann es sich bei dem mindestens einen Sensor um einen Zustandssensor aus dem Automobilbereich, wie bspw. einem Beschleunigungs-, Drehraten-, Druck-, Kraft-, Rotations-, Temperatur-, chemischen Sensor (bspw. Lambda-Sonde) udgl. handeln.
-
In einer solchen Ausgestaltung kann es sich bei dem Aktor um ein System zur Längs- (Brems-, Antriebssystem) oder Querbeschleunigung (Lenkungssystem) sowie um ein Sicherheitssystem, wie bspw. einem Airbagsystem oder einem System zum Schutz von Verkehrsteilnehmern (bspw. Fußgänger) oder ein Komfortsystem, wie bspw. der Entertainmentanlage, der Klimaanlage, der Fenstersteuerung, der Sitzsteuerung, des Beleuchtungssystems udgl., des Fahrzeugs handeln.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, das eingerichtet ist, alle Schritte einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung auszuführen.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gemäß der vorliegenden Erfindung gespeichert ist.
-
Zeichnungen
-
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Vorrichtung, die eingerichtet ist, alle Schritte einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung auszuführen. Dazu weist die Vorrichtung entsprechende Mittel auf, um die jeweiligen Schritte des Verfahrens auszuführen. Bei diesen Mitteln kann es sich um entsprechend gestaltete bzw. eingerichtete Schnittstellen zur Ein- und Ausgabe, Recheneinheiten (Prozessoren, Mikroprozessoren, ASIC udgl.) und Speichereinheiten (RAM, ROM etc.) handeln.
-
Figurenliste
-
Weitere Merkmale und Vorteile der Aspekte der vorliegenden Erfindung werden nachfolgend anhand von Ausführungsformen mit Bezug auf die Figuren erläutert.
-
Es zeigen:
- 1 eine schematische Darstellung eines Autoencoders;
- 2 eine schematische Darstellung einer Datenvorhersage gemäß der vorliegenden Erfindung;
- 3 ein Ablaufdiagramm einer Ausführungsform eines Verfahrens gemäß der vorliegenden Erfindung.
-
1 zeigt eine schematische Darstellung eines Autoencoders 1. Ein Autoencoder 1 weist einen Encoder-Teil 11 und einen Decoder-Teil 12 auf. Der Encoder-Teil 11 qΘ (z|y) bildet Eingabedaten x eines ersten Merkmalsraums (eng.: feature space) auf einen kleineren Merkmalsraum (eng.: smaller feature space) z ab. Der kleinere Merkmalsraum z wird latenter Raum (eng.: latent space) genannt. Dazu kann bspw. ein künstliches neuronales Netz eingesetzt werden. Für diese Aufgabe muss der Encoder-Teil 11 trainiert werden, um die Parameter Θ zu ermitteln, die erforderlich sind, um die Eingabedaten y beim Abbilden auf den kleiner dimensionalen latenten Raum z effizient zu komprimieren. Im Decoder-Teil 12 pΦ(y|z) werden die komprimierten Eingabedaten aus dem kleiner dimensionalen latenten Raum z in den Merkmalsraum mit der ursprünglichen Dimensionsgröße mittels den ebenfalls erlernten Parametern Φ rekonstruiert.
-
Zum Training eines Autoencoders
1 wird die nachstehende Verlustfunktion minimiert:
-
Dabei ist N die Anzahl der für das Training verwendeten Datenpunkte. Die Verlustfunktion ist die erwartete negative logarithmische Plausibilitätsfunktion (eng.: expected negative log-likelihood function) des i-ten Datenpunkts. Der Term fördert den Decoder-Teil 12 die Eingangsdaten y korrekt zu rekonstruieren.
-
2 zeigt eine schematische Darstellung einer Datenvorhersage gemäß der vorliegenden Erfindung. In der Darstellung werden Eingabedaten y sowohl einer Funktion des maschinellen Lernens 2 als auch einem Autoencoder 1 gemäß der vorliegenden Erfindung zugeführt. Während die Funktion des maschinellen Lernens 2 die Eingabedaten gemäß ihrem Modell verarbeitet und eine entsprechende Datenvorhersage erfolgt. Werden die Eingabedaten y mittels des Autoencoders 1 zunächst im Encoder-Teil 11 des Autoencoders 1 auf den latenten Merkmalsraum z abgebildet. Die so abgebildeten Eingabedaten y werden anschließend im Decoder-Teil 12 des Autoencoders 1 zu Ausgangsdaten y` (Decoderdatum) rekonstruiert. Anschließend erfolgt die Ermittlung eines Distanzkriteriums 22 in Bezug auf die Eingabedaten y und die rekonstruierten Ausgangsdaten y'. Der Block 23 stellt dar, dass das ermittelte Distanzkriterium ein Plausibilitätsmaß für die Datenvorhersage der Funktion des maschinellen Lernens 2 repräsentiert. Dadurch stellt die vorliegende Erfindung die Möglichkeit bereit die Datenvorhersage einer Funktion des maschinellen Lernens 2 mit einem Plausibilitätsmaß bzw. mit einer Plausibilitätsprüfung zu belegen.
-
3 zeigt ein Ablaufdiagramm einer Ausführungsform eines Verfahrens gemäß der vorliegenden Erfindung. Das Verfahren beginnt im Schritt 301. In Schritt 302 erfolgt eine Datenvorhersage für Eingabedaten y mittels einer Funktion des maschinellen Lernens 2. Parallel zu der Datenvorhersage 302 erfolgt die Rekonstruktion 303 der Eingabedaten y mittels eines Autoencoders 1 gemäß der vorliegenden Erfindung. In Schritt 304 wird ein Distanzkriterium in Bezug auf die Eingabedaten y und die mittels des Autoencoders 1 rekonstruierten Ausgabedaten y` ermittelt. Dieses Distanzkriterium 22 repräsentiert ein Plausibilitätsmaß 23 für die Datenvorhersage 302 basierend auf den Eingabedaten y mittels der Funktion des maschinellen Lernens 2. In Schritt 305 kann die Ausgabe der vorhergesagten Daten zusammen bzw. in Abhängigkeit des Plausibilitätsmaßes 23 bzw. abhängig von dem Ergebnis einer Plausibilitätsprüfung basierend auf dem ermittelten Distanzkriterium 22 erfolgen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- G. E. Hinton and R. R. Salakhutdinov, „Reducing the dimensionality of data with neural networks,“ Science, vol. 313, no. 5786, pp. 504-507, 2006 [0005]