-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Schätzen eines Ausgabekonfidenzwertes einer Ausgabe mindestens eines KI-Systems.
-
Das automatisierte Fahren von Fahrzeugen beruht derzeit auf Verfahren, die auf Künstlicher Intelligenz (KI) basieren und insbesondere auf einer Bilddatenverarbeitung, die auf tiefe Neuronale Netze gestützt ist. KI-Systeme - selbst wenn diese zur Lösung derselben Aufgabe konzipiert wurden - können sich in ihrer funktionalen Güte stark voneinander unterscheiden. Hierbei ist zu beachten, dass eine Abhängigkeit zwischen der funktionalen Güte eines Kl-Systems und den Eingangsdaten, die es verarbeitet, besteht. Diese Abhängigkeit sorgt dafür, dass KI-Systeme nicht per se gut oder schlecht sind, sondern umgebungsabhängige funktionale Güten aufweisen.
-
Das Bestimmen, inwiefern eine Ausgabe eines KI-Systems korrekt ist, stellt folglich eine zentrale Herausforderung bei der Umsetzung KI-gestützter Funktionen dar. Ein wichtiger Bestandteil beim Bestimmen der funktionalen Güte zur Laufzeit ist eine Konfidenz eines KI-Systems. Hierbei gibt das KI-System an (üblicherweise mit Werten zwischen 0 und 1), wie wahrscheinlich es ist, dass die Ergebnisse der Ausgabe korrekt sind. Ist die Konfidenz eines Kl-Systems unter bestimmten Umständen sehr niedrig, ist es sehr wahrscheinlich, dass einander ähnelnde Eingangsdaten zu unterschiedlichen Ausgaben führen.
-
Um eine Konfidenz für Ausgaben eines tiefen Neuronalen Netzes zu beurteilen, sind die folgenden Verfahren bekannt: Beispielsweise können Softmax-Werte extrahiert werden, auf denen anschließend ein Dispersionsmaß als Maß für die Konfidenz bestimmt wird. Ferner können Unsicherheiten in der Ausgabe mittels des Monte-Carlo-Dropout-Verfahrens ermittelt werden. Hierbei wird durch das mehrfache Ausführen des tiefen Neuronalen Netzes, bei dem durch Zufall bestimmte Verbindungen im tiefen Neuronalen Netz getrennt werden, das Sampling eines statistischen Inferenzvorgangs imitiert und dessen Varianz als Maß für die Unsicherheit bzw. Konfidenz bestimmt. Weiter sind Ensembling-Verfahren bekannt, bei denen parallel zueinander verschiedene tiefe Neuronale Netze ausgeführt werden, wobei Ausgabevarianzen als Maß für eine Unsicherheit bzw. Konfidenz bestimmt werden. Sodann sind Verfahren zur variationellen Ausführung von tiefen Neuronalen Netzen bekannt, bei denen latente Wahrscheinlichkeitsräume in die tiefen Neuronalen Netze eingebunden werden. Durch ein Sampling aus diesen Wahrscheinlichkeitsräumen können analog zum Monte-Carlo-Dropout-Verfahren Ausgabevarianzen als Maß für eine Unsicherheit bzw. Konfidenz bestimmt werden. Die genannten Verfahren bieten entweder nur eine schwache Aussage zur Konfidenz der Ausgabe eines tiefen Neuronalen Netzes oder haben einen erhöhten Bedarf an Rechenleistung zur Laufzeit zur Folge und sind daher für einen Einsatz in Anwendungsbereichen, in denen eine verfügbare Rechenleistung stark begrenzt ist, insbesondere im automobilen Anwendungsbereich, ungeeignet.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Schätzen eines Ausgabekonfidenzwertes einer Ausgabe eines KI-Systems zu verbessern.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 6 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Insbesondere wird ein Verfahren zum Schätzen eines Ausgabekonfidenzwertes einer Ausgabe mindestens eines KI-Systems zur Verfügung gestellt, wobei mittels einer Steuereinrichtung auf Grundlage von Eingangsdaten, die dem mindestens einen KI-System zugeführt werden oder zugeführt werden sollen und/oder von mindestens einer Kontextinformation ein Ausgabekonfidenzwert für das mindestens eine KI-System geschätzt und bereitgestellt wird.
-
Ferner wird insbesondere eine Vorrichtung zum Schätzen eines Ausgabekonfidenzwertes einer Ausgabe mindestens eines KI-Systems geschaffen, umfassend eine Steuereinrichtung, wobei die Steuereinrichtung dazu eingerichtet ist, auf Grundlage von Eingangsdaten, die dem mindestens einen KI-System zugeführt werden oder zugeführt werden sollen und/oder von mindestens einer Kontextinformation einen Ausgabekonfidenzwert für das mindestens eine KI-System zu schätzen und bereitzustellen.
-
Das Verfahren und die Vorrichtung ermöglichen es, bei oder vor einem Anwenden eines Kl-Systems auf Eingangsdaten einen Ausgabekonfidenzwert für eine ausgehend von den Eingangsdaten zu erwartende Ausgabe des KI-Systems verbessert zu schätzen. Das Schätzen des Ausgabekonfidenzwertes erfolgt hierbei unabhängig von den KI-Systemen selbst, das heißt auf Grundlage der Eingangsdaten, die dem mindestens einen KI-System zugeführt werden bzw. zugeführt werden sollen, und/oder auf Grundlage von mindestens einer Kontextinformation. Da zum Schätzen des Ausgabekonfidenzwertes eine Ausgabe oder sogar mehrere Ausgaben des KI-Systems nicht benötigt werden, kann das Schätzen insbesondere mit einem deutlich geringeren Rechenaufwand durchgeführt werden. Die ermöglicht den Einsatz des Verfahrens und der Vorrichtung auch in Anwendungsbereichen, in denen eine zur Verfügung stehende Rechenleistung begrenzt ist.
-
Ein KI-System ist insbesondere ein System, eine Einrichtung oder ein Softwaremodul, das mittels Verfahren der Künstlichen Intelligenz (KI) bzw. des Maschinenlernens arbeitet. Insbesondere ist ein KI-System ein System, das mittels eines tiefen Neuronalen Netzes arbeitet. Die KI-Systeme werden insbesondere mittels einer Datenverarbeitungseinrichtung bereitgestellt. Ein KI-System stellt ausgehend von Eingangsdaten eine Ausgabe (insbesondere in Form von Ausgangsdaten) bereit. Eine Mehrzahl von KI-Systemen umfasst insbesondere Kl-Systeme, die vollständig oder teilweise die gleichen Funktionen ausführen, sodass in der Mehrzahl der KI-Systeme zumindest teilweise eine funktionelle Redundanz vorhanden ist.
-
Ein Ausgabekonfidenzwert gibt insbesondere an, wie zuverlässig eine Ausgabe eines KI-Systems ist, für das der Ausgabekonfidenzwert geschätzt und bereitgestellt wird, das heißt der Ausgabekonfidenzwert gibt insbesondere an, wie wahrscheinlich es ist, dass die Ausgabe des KI-Systems korrekt ist. Der Ausgabekonfidenzwert ist hierbei insbesondere abhängig von den Eingangsdaten des KI-Systems und/oder von der mindestens einen Kontextinformation. Der Ausgabekonfidenzwert wird beispielsweise durch einen Wert zwischen 0 (= mit Sicherheit falsch) und 1 (= mit Sicherheit richtig) ausgedrückt bzw. dargestellt.
-
Das Bereitstellen des Ausgabekonfidenzwertes erfolgt insbesondere als Ausgabekonfidenzwertsignal, beispielsweise in Form eines Datensignals oder eines bereitgestellten digitalen Datenpakets oder Datenwertes. Der Ausgabekonfidenzwert bzw. das Ausgabekonfidenzwertsignal bzw. das Datensignal oder das Datenpaket kann beispielsweise an einer hierfür vorgesehenen Schnittstelle ausgeben werden.
-
Eingangsdaten sind insbesondere Sensordaten eines oder mehrerer Sensoren. Die Sensoren erfassen beispielsweise ein Umfeld eines Fahrzeugs. Die Eingangsdaten können auch fusionierte Sensordaten sein. Handelt es sich bei einem Sensor beispielsweise um eine Kamera, so umfassen die Eingangsdaten beispielsweise ein Kamerabild oder mehrere Kamerabilder der Kamera. Prinzipiell können die Eingangsdaten aber beliebig ausgebildet sein.
-
Eine Kontextinformation ist insbesondere eine Information zu einem (aktuellen) Kontext, in dem das betrachtete KI-System verwendet wird oder verwendet werden soll bzw. in dem die Eingangsdaten stehen. Eine Kontextinformation kann beispielsweise eine der folgenden Eigenschaften betreffen: eine Umfeldklasse (z.B. Stadt, Land, Autobahn, Landstraße,...) Witterungsverhältnisse eines Umfelds (z.B. Regen, Nebel, Wind, Schnee, Sonnenschein, Wolken etc.), Lichtverhältnisse eines Umfelds (hell, dunkel,...), Verkehrsverhältnisse eines Umfelds, dynamische Eigenschaften eines Fahrzeugs, in dem die KI-Systeme eingesetzt werden, eine geographische Position, eine Zeitangabe (z.B. Jahreszeit, Tageszeit, Wochentag etc.), eine Fahrzeuginnenraumsituation eines Fahrzeugs, in dem das betrachtete KI-System eingesetzt wird, Eigenschaften der Eingangsdaten, bei Kamerabildern als Eingangsdaten beispielsweise ein Kontrast, eine Helligkeit und/oder Farbwerte. Die mindestens eine Kontextinformation wird der Steuereinrichtung bereitgestellt. Die mindestens eine Kontextinformation wird insbesondere mittels einer Kontextsensorik (Regensensor, Lichtsensor etc.) und/oder einer Kontexterfassungseinrichtung erfasst und/oder bereitgestellt. Hierbei können sowohl Sensordaten der Kontextsensorik als auch weitere Informationen, beispielsweise Navigationsdaten, eine Uhrzeit etc. berücksichtigt werden. In einem Kraftfahrzeug können die weiteren Informationen beispielsweise mittels der Kontexterfassungseinrichtung über einen Controller Area Network-(CAN)-Bus abgefragt werden.
-
Teile der Vorrichtung, insbesondere die Steuereinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind. Es kann vorgesehen sein, dass die Steuereinrichtung von einer Datenverarbeitungseinrichtung in Form eines Softwarepakets bereitgestellt wird.
-
Werden mehrere KI-Systeme verwendet, so wird mittels des Verfahrens bzw. mittels der Vorrichtung für jedes der KI-Systeme ausgehend von den Eingangsdaten ein Ausgabekonfidenzwert geschätzt. Hierdurch wird ein Vergleich zwischen den mehreren KI-Systemen ermöglicht, sodass beispielsweise situationsabhängig eine Ausgabe eines KI-Systems gegenüber einer Ausgabe eines anderen KI-Systems bevorzugt weiterverwendet werden kann, da diese im Vergleich einen höheren Ausgabekonfidenzwert aufweist. Hierbei wird insbesondere davon ausgegangen, dass sämtlichen KI-Systemen die gleichen Eingangsdaten zugeführt werden.
-
Insbesondere kann vorgesehen sein, dass eine Ausgabe eines KI-Systems in Abhängigkeit des hiermit korrespondierenden geschätzten Ausgabekonfidenzwertes von mindestens einer weiteren Funktion und/oder mindestens einer Einrichtung berücksichtigt wird. Die mindestens eine weitere Funktion bzw. Einrichtung ist insbesondere eine Funktion/Einrichtung für das automatisierte Fahren eines Fahrzeugs und/oder für eine Fahrerassistenz des Fahrzeugs und/oder für eine Umfelderkennung für das automatisierte Fahren eines Fahrzeugs. Es kann beispielsweise vorgesehen sein, dass die Ausgabe eines KI-Systems vor einer Weiterverwendung in der mindestens einen weiteren Funktion und/oder Einrichtung in Abhängigkeit des geschätzten Ausgabekonfidenzwertes gewichtet und/oder bewertet wird bzw. mit einem von dem Ausgabekonfidenzwert abhängigen Faktor (z.B. einem Gewichtungsfaktor mit Werten zwischen 0 und 1) multipliziert wird. Werden mehrere KI-Systeme verwendet, können die einzelnen Ausgaben der KI-Systeme auf diese Weise gewichtet zusammengefasst und weiterverarbeitet werden. Hierdurch lässt sich beispielsweise eine besondere bzw. bessere Eignung eines KI-Systems in bestimmten Situationen (z.B. bei Regen, Nebel, Schnee, Sonnenschein etc.) oder Szenarien (Fußgängerzone, Autobahn, ...) gegenüber anderen KI-Systemen berücksichtigen. Die Eignung wird hierbei insbesondere über einen Vergleich der Ausgabekonfidenzwerte der einzelnen KI-Systeme bestimmt. Die Ausgabe eines KI-Systems wird dann in Abhängigkeit von dem hiermit korrespondierenden geschätzten Ausgabekonfidenzwert bei einer Weiterverarbeitung durch mindestens eine weitere Funktion und/oder Einrichtung stärker oder schwächer berücksichtigt.
-
Es kann vorgesehen sein, dass das Verfahren zyklisch wiederholt wird, wobei jeweils aktuelle Eingangsdaten bzw. eine aktuelle mindestens eine Kontextinformation verwendet werden. Hierdurch kann fortlaufend ein aktueller Ausgabekonfidenzwert für das mindestens einen KI-System bereitgestellt werden.
-
In einer Ausführungsform ist vorgesehen, dass das Schätzen des Ausgabekonfidenzwertes mittels eines Verfahrens des Maschinenlernens erfolgt, wobei das Verfahren des Maschinenlernens darauf trainiert ist, ausgehend von den Eingangsdaten und/oder der mindestens einen Kontextinformation den Ausgabekonfidenzwert des mindestens einen Kl-Systems zu schätzen. Mit Hilfe des Verfahrens des Maschinenlernens wird hierbei insbesondere eine Abbildung der Eingangsdaten und/oder der mindestens einen Kontextinformation auf jeweilige Ausgabekonfidenzwerte des mindestens einen KI-Systems gelernt und anschließend bereitgestellt. Hierdurch kann eine große Bandbreite an Eingangsdaten und/oder Kontextinformationen zuverlässig auf die Ausgabekonfidenzwerte des mindestens einen KI-Systems abgebildet werden. Bei einer Anwendung kann das Verfahren des Maschinenlernens dann ausgehend von der gelernten Abbildung die Ausgabekonfidenzwerte in Abhängigkeit von aktuellen Eingangsdaten und/oder mindestens einer erfassten oder bereitgestellten Kontextinformation schätzen. Das Verfahren des Maschinenlernens wird vor einer Anwendungsphase in einer Trainingsphase trainiert. Hierzu wird ein Trainingsdatensatz erstellt, indem das mindestens eine KI-System für unterschiedliche Eingangsdaten und/oder unterschiedliche Kontexte jeweils Ausgaben generiert. Die jeweils generierten Ausgaben werden mit einer zu den Eingangsdaten bzw. der mindestens einen Kontextinformation gehörenden Grundwahrheit (engl. ground truth) verglichen und auf Grundlage einer Übereinstimmung der Ausgaben mit der Grundwahrheit werden (empirische) Ausgabekonfidenzwerte bestimmt. In einem einfachen Beispiel wird bestimmt, wie oft das mindestens eine KI-System ein Objekt in als Eingangsdaten bereitgestellten Kamerabildern richtig klassifiziert hat. Ein Anteil für eine richtige Klassifizierung bzw. Ausgabe des mindestens einen KI-Systems ist dann ein Maß für die Zuverlässigkeit des KI-Systems bzw. ein Maß für die Konfidenz des KI-Systems. Das Verfahren des Maschinenlernens wird anschließend ausgehend von denselben Eingangsdaten auf das Schätzen der zugehörigen empirisch bestimmten Ausgabekonfidenzwerte trainiert. Dies erfolgt für eine Vielzahl unterschiedlicher Eingangsdaten und/oder unterschiedlicher Ausprägungen der mindestens einen Kontextinformation. Bei mehreren KI-Systemen erfolgt das Zusammenstellen des Trainingsdatensatzes und das Training des Verfahrens des Maschinenlernens in analoger Weise für alle KI-Systeme. Nach der Trainingsphase kann das Verfahren des Maschinenlernens in einer Anwendungs- bzw. Inferenzphase ausgehend von (aktuellen) Eingangsdaten und/oder einem (aktuellen) Kontext Ausgabekonfidenzwerte für das mindestens eine KI-System schätzen.
-
In einer weiterbildenden Ausführungsform ist vorgesehen, dass das Verfahren des Maschinenlernens ein Neuronales Netz verwendet, wobei das Neuronale Netz darauf trainiert ist, ausgehend von den Eingangsdaten und/oder der mindestens einen Kontextinformation den Ausgabekonfidenzwert des mindestens einen KI-Systems zu schätzen. Insbesondere ist vorgesehen, dass der Ausgabekonfidenzwert des mindestens einen KI-Systems mittels eines (trainierten) Neuronalen Netzes geschätzt wird. Das Neuronale Netz ist insbesondere ein tiefes Neuronales Netz. Einer Eingangsschicht des (tiefen) Neuronalen Netzes werden hierzu die Eingangsdaten und/oder die mindestens eine Kontextinformation zugeführt. An einer Ausgangsschicht inferiert das (tiefe) Neuronale Netz den Ausgabekonfidenzwert des mindestens einen KI-Systems. Bei mehreren KI-Systemen wird für jedes KI-System jeweils ein Ausgabekonfidenzwert geschätzt bzw. inferiert. Das (tiefe) Neuronale Netz wird vor einer Anwendungsphase in einer Trainingsphase trainiert. Hierzu wird ein Trainingsdatensatz erstellt, indem das mindestens eine KI-System für unterschiedliche Eingangsdaten und/oder unterschiedliche Ausprägungen der mindestens einen Kontextinformation jeweils Ausgaben generiert. Die generierten Ausgaben werden mit einer zu den jeweiligen Eingangsdaten bzw. der jeweiligen mindestens einen Kontextinformation gehörenden Grundwahrheit (engl. ground truth) verglichen und auf Grundlage einer Übereinstimmung der Ausgaben mit der Grundwahrheit werden (empirische) Ausgabekonfidenzwerte bestimmt. In einem einfachen Beispiel wird bestimmt, wie oft das mindestens eine KI-System ein Objekt in als Eingangsdaten bereitgestellten Kamerabildern richtig klassifiziert hat. Ein Anteil für eine richtige Klassifizierung bzw. Ausgabe des mindestens einen KI-Systems ist dann ein Maß für die Zuverlässigkeit des KI-Systems bzw. ein Maß für die Konfidenz des KI-Systems. Das (tiefe) Neuronale Netz wird anschließend ausgehend von denselben Eingangsdaten auf das Schätzen der zugehörigen empirisch bestimmten Ausgabekonfidenzwerte trainiert. Dies erfolgt für eine Vielzahl unterschiedlicher Eingangsdaten und/oder unterschiedlicher Ausprägungen der mindestens einen Kontextinformationen. Bei mehreren KI-Systemen erfolgt das Zusammenstellen des Trainingsdatensatzes und das Training des (tiefen) Neuronalen Netzes in analoger Weise für alle KI-Systeme. Nach der Trainingsphase kann das trainierte (tiefe) Neuronale Netz in einer Anwendungs- bzw. Inferenzphase ausgehend von (aktuellen) Eingangsdaten und/oder einem (aktuellen) Kontext Ausgabekonfidenzwerte für das mindestens eine KI-System schätzen.
-
In einer Ausführungsform ist vorgesehen, dass das Schätzen des Ausgabekonfidenzwertes mittels eines regelbasierten Systems erfolgt, wobei das regelbasierte System eine Zuordnung von der mindestens einen Kontextinformation zu Ausgabekonfidenzwerten des mindestens einen KI-Systems umfasst. Hierdurch kann eine Verknüpfung zwischen der mindestens einen Kontextinformation und den jeweiligen Ausgabekonfidenzwerten in nachvollziehbarer Weise erfolgen. Insbesondere können die Zuordnungen auf Plausibilität überprüft werden. Das Vorgehen beim Erstellen des regelbasierten Systems ist prinzipiell analog zu dem Vorgehen, wie es voranstehend für das Training des Verfahrens des Maschinenlernens, insbesondere des (tiefen) Neuronalen Netzes, beschrieben wurde, das heißt ausgehend von empirisch anhand einer Grundwahrheit bestimmten Ausgabekonfidenzwerten für das mindestens eine KI-System wird eine regelbasierte Zuordnung zwischen der mindestens einen Kontextinformation und den jeweiligen Ausgabekonfidenzwerten des mindestens einen KI-Systems erstellt. Insbesondere erfolgt die Zuordnung für Kombinationen von verschiedenen Ausprägungen der Kontextinformationen zu entsprechenden Ausgabekonfidenzwerten. In einem einfachen Szenario erfolgt eine Zuordnung beispielsweise, indem ermittelt wird, ob eine Helligkeit eines erfassten Kamerabildes einen bestimmten Schwellenwert überschreitet oder nicht. Wird der Schwellenwert überschritten, so wird einem KI-System beispielsweise ein hoher Ausgabekonfidenzwert zugeordnet, anderenfalls ein geringerer Ausgabekonfidenzwert.
-
Es kann vorgesehen sein, dass sowohl ein Verfahren des Maschinenlernens, insbesondere unter Verwendung eines (tiefen) Neuronalen Netzes, als auch ein regelbasiertes System zum Einsatz kommen. Die von den beiden Ansätzen gelieferten Ergebnisse werden insbesondere zusammengeführt, beispielsweise indem die jeweils bereitgestellten Ausgabekonfidenzwerte für das mindestens eine KI-System gewichtet zusammenaddiert werden.
-
In einer Ausführungsform ist vorgesehen, dass das mindestens eine KI-System eine Funktion für das automatisierte Fahren eines Fahrzeugs und/oder für eine Fahrerassistenz des Fahrzeugs und/oder für eine Umfelderkennung für das automatisierte Fahren eines Fahrzeugs bereitstellt. Das Fahrzeug ist insbesondere ein Kraftfahrzeug. Das Fahrzeug kann jedoch auch ein anderes Land-, Wasser-, Luft-, Schienen- oder Raumfahrzeug sein. Die Funktion für die Umfelderkennung kann beispielsweise eine Objekterkennung und/oder eine semantische Segmentierung umfassen.
-
Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
-
Weiter wird insbesondere auch ein Kraftfahrzeug geschaffen, umfassend mindestens eine Vorrichtung nach einer der beschriebenen Ausführungsformen.
-
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figur näher erläutert. Hierbei zeigt:
- 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Schätzen eines Ausgabekonfidenzwertes einer Ausgabe mindestens eines KI-Systems.
-
In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Schätzen eines Ausgabekonfidenzwertes 11 einer Ausgabe 20 mindestens eines KI-Systems 10 gezeigt.
-
Die Vorrichtung 1 führt das Verfahren zum Schätzen des Ausgabekonfidenzwertes 11 aus. Die Vorrichtung 1 ist beispielsweise in einem Kraftfahrzeug 50 angeordnet. Das KI-System 10 dient beispielsweise einer Umfelderkennung, wobei das KI-System 10 hierzu als Eingangsdaten 20 Sensordaten eines Sensors 51, beispielsweise Kamerabilder einer Kamera, des Kraftfahrzeugs 50 zugeführt werden. Das KI-System 10 führt auf den Kamerabildern beispielsweise eine Objekterkennung und/oder eine semantische Segmentierung aus.
-
Die Vorrichtung 1 umfasst eine Steuereinrichtung 2. Die Steuereinrichtung 2 umfasst ein Schätzmodul 3. Es kann vorgesehen sein, dass eine Funktionalität der Vorrichtung 1, insbesondere der Steuereinrichtung 2, in Form von ausgeführtem Programmcode mittels einer Datenverarbeitungseinrichtung bereitgestellt wird. Insbesondere wird in diesem Fall eine Funktionalität des Schätzmoduls 3 in Form von Programmcode bereitgestellt, der auf einem Mikroprozessor der Datenverarbeitungseinrichtung ausgeführt wird.
-
Die Steuereinrichtung 2 schätzt mittels des Schätzmoduls 3 auf Grundlage der
Eingangsdaten 20, die dem KI-System 10 zugeführt werden oder zugeführt werden sollen und/oder auf Grundlage von mindestens einer Kontextinformation 21 einen Ausgabekonfidenzwert 11 für das KI-System 10. Die mindestens eine Kontextinformation 21 umfasst insbesondere eine oder mehrere der folgenden Informationen: Witterungsverhältnisse eines Umfelds des Kraftfahrzeugs 50, Lichtverhältnisse eines Umfelds, Verkehrsverhältnisse eines Umfelds, dynamische Eigenschaften des Kraftfahrzeugs 50, eine aktuelle geographische Position des Kraftfahrzeugs 50, eine aktuelle Zeitangabe (z.B. Jahreszeit, Tageszeit, Wochentag etc.), eine Fahrzeuginnenraumsituation des Kraftfahrzeugs 50 und/oder Eigenschaften der Eingangsdaten 20, bei Kamerabildern als Eingangsdaten 20 beispielsweise ein Kontrast, eine Helligkeit und/oder Farbwerte. Die mindestens eine Kontextinformation 21 wird der Steuereinrichtung 2 bereitgestellt.
-
Die mindestens eine Kontextinformation 21 wird beispielsweise mittels einer Kontextsensorik 53 (in dem Kraftfahrzeug 50 beispielsweise ein Helligkeitssensor, ein Außentemperatursensor und/oder ein Regensensor etc.) und/oder einer Kontexterfassungseinrichtung 54 erfasst und bereitgestellt. Hierbei können sowohl Sensordaten der Kontextsensorik 53 als auch weitere Informationen von anderen Einrichtungen des Kraftfahrzeugs 50, beispielsweise Navigationsdaten, eine Uhrzeit etc. berücksichtigt werden. Die Informationen von den anderen Einrichtungen können beispielsweise mittels der Kontexterfassungseinrichtung 54 über einen CAN-Bus des Kraftfahrzeugs 50 abgefragt werden.
-
Insbesondere ist vorgesehen, dass das Schätzen des Ausgabekonfidenzwertes 11 in dem Schätzmodul 3 mittels eines Verfahrens des Maschinenlernens erfolgt, wobei das Verfahren des Maschinenlernens darauf trainiert ist, ausgehend von den Eingangsdaten 20 und/oder der mindestens einen Kontextinformation 21 den Ausgabekonfidenzwert 11 des KI-Systems 10 zu schätzen. Insbesondere wird hierbei ein trainiertes tiefes Neuronales Netz 60 verwendet. Das tiefe Neuronale Netz 60 ist darauf trainiert, ausgehend von den Eingangsdaten 20 und/oder der mindestens einen Kontextinformation 21 für das KI-System 10 einen Ausgabekonfidenzwert 11 zu schätzen. Das Training des jeweils verwendeten Verfahrens des Maschinenlernens, insbesondere des tiefen Neuronalen Netzes 60, erfolgt auf Grundlage von empirisch bestimmten Ausgabekonfidenzwerten des KI-Systems 10 bei als Eingangsdaten gegebenen Trainingsdaten mit bekannter Grundwahrheit.
-
Alternativ oder zusätzlich kann vorgesehen sein, dass das Schätzen des Ausgabekonfidenzwertes 11 des KI-Systems 10 mittels eines regelbasierten Systems erfolgt, wobei das regelbasierte System jeweils eine Zuordnung von der mindestens einen Kontextinformation 21 zu Ausgabekonfidenzwerten 11 des KI-Systems 10 umfasst. Werden sowohl ein Verfahren des Maschinenlernens, insbesondere ein tiefes Neuronales Netz 60, als auch ein regelbasiertes System verwendet, so werden die hiervon jeweils bereitgestellten Ausgabekonfidenzwerte 11 für das KI-System 10 zusammengefasst, beispielsweise indem die Ausgabekonfidenzwerte 11 für das KI-System 10 gewichtet zusammenaddiert werden. Das Erstellen des regelbasierten Systems erfolgt auf Grundlage von empirisch bestimmten Ausgabekonfidenzwerten des KI-Systems 10 mit als Eingangsdaten gegebenen Trainingsdaten mit bekannter Grundwahrheit.
-
Es kann vorgesehen sein, dass eine Ausgabe 30 des KI-Systems 10 in Abhängigkeit des hiermit korrespondierenden und geschätzten Ausgabekonfidenzwertes 11 von mindestens einer weiteren Funktion und/oder mindestens einer Einrichtung 52 berücksichtigt wird. Die Einrichtung 52 stellt insbesondere eine Funktion für das automatisierte Fahren des Kraftfahrzeugs 50 und/oder für eine Fahrerassistenz des Kraftfahrzeugs 50 und/oder für eine Umfelderkennung für das automatisierte Fahren des Kraftfahrzeugs 50 bereit. Die
Einrichtung 52 ist beispielsweise eine Fahrzeugsteuerung des Kraftfahrzeugs 50, welche beispielsweise eine Längs- und eine Querführung des Kraftfahrzeugs 50 auf Grundlage der Ausgabe 30 der KI-Systems 10 steuert bzw. regelt. Es kann beispielsweise vorgesehen sein, dass die Ausgabe 30 des KI-Systems 10 vor einer Weiterverwendung in der mindestens einen weiteren Funktion und/oder der Einrichtung 52 in Abhängigkeit des geschätzten Ausgabekonfidenzwertes 11 gewichtet und/oder bewertet wird bzw. mit einem von dem Ausgabekonfidenzwert 11 abhängigen Faktor multipliziert wird, sodass der geschätzte Ausgabekonfidenzwert 11 direkt beeinflusst, wie stark die Ausgabe 30 von der mindestens einen Funktion bzw. der Einrichtung 52 berücksichtigt wird.
-
Werden weitere KI-Systeme 12 verwendet, so wird mittels des offenbarten Verfahrens bzw. mittels der Vorrichtung 1 für jedes der KI-Systeme 10, 12 ausgehend von den Eingangsdaten 20 jeweils ein Ausgabekonfidenzwert 11, 13 geschätzt.
-
Hierdurch wird ein Vergleich zwischen den mehreren KI-Systemen 10, 12 ermöglicht, sodass beispielsweise situationsabhängig eine Ausgabe 30, 31 eines KI-Systems 10, 12 gegenüber einer Ausgabe 30, 31 eines anderen KI-Systems 10, 12 bevorzugt bzw. mit einer stärkeren Gewichtung weiterverwendet werden kann, da diese mit einem im Vergleich größeren Ausgabekonfidenzwert 11, 13 korrespondiert. Dies ermöglicht es beispielsweise, dass die einzelnen Ausgaben 30, 31 der KI-Systeme 10, 12 über die jeweils geschätzten Ausgabekonfidenzwerte 11, 13 gewichtet zusammengefasst und weiterverarbeitet werden. Dies kann beispielsweise in einem Mischmodul 4 erfolgen. Hierdurch lässt sich beispielsweise eine besondere oder bessere Eignung eines KI-Systems 10, 12 in bestimmten Situationen (z.B. bei Regen, Nebel, Schnee, Sonnenschein etc.) oder Szenarien (Fußgängerzone, Autobahn, ...) gegenüber anderen KI-Systemen 10, 12 berücksichtigen. Die Ausgabe 30, 31 eines KI-Systems 10, 12 wird dann in Abhängigkeit von dem hiermit korrespondierenden geschätzten Ausgabekonfidenzwert 11, 13 bei einer Weiterverarbeitung durch die mindestens eine weitere Funktion und/oder die Einrichtung 52 mit einer stärkeren oder schwächeren Gewichtung berücksichtigt.
-
Das Mischmodul 4 stellt beispielsweise eine aus Ausgaben 30, 31 der KI-Systeme 10, 12 erzeugte Gesamtausgabe 40 in Abhängigkeit der geschätzten Ausgabekonfidenzwerte 11, 13 bereit. Die erzeugte Gesamtausgabe 40 wird anschließend beispielsweise der Einrichtung 52, das heißt beispielsweise der Fahrzeugsteuerung, des Kraftfahrzeugs 50 zugeführt, welche auf Grundlage der Gesamtausgabe 40 beispielsweise eine Plantrajektorie für das Kraftfahrzeug 50 durch das aktuelle Umfeld hindurch erzeugt und bereitstellt.
-
Insbesondere ist hierbei vorgesehen, dass die Ausgaben 30, 31 der KI-Systeme 10, 12 beim Erzeugen der Gesamtausgabe 40 jeweils gewichtet berücksichtigt werden, wobei eine Gewichtung jeweils in Abhängigkeit der zugehörigen geschätzten Ausgabekonfidenzwerte 11, 13 festgelegt wird.
-
Ferner kann auch vorgesehen sein, dass die Ausgaben 30, 31 der KI-Systeme 10, 12 zum Erzeugen der Gesamtausgabe 40 auf semantischer Ebene zusammengefasst werden, wobei das Zusammenfassen in Abhängigkeit der zugehörigen geschätzten Ausgabekonfidenzwerte 11, 13 erfolgt. Hierdurch kann beispielsweise erreicht werden, dass in einem als Eingangsdaten 20 bereitgestellten Kamerabild, in dem Objekte mittels der KI-Systeme 10, 12 erkannt und einer Klasse zugeordnet werden sollen, eine Objekterkennung und/oder Objektklassifizierung in Abhängigkeit der jeweiligen Spezialisierung der KI-Systeme 10, 12 erfolgt. Beispielsweise kann ein KI-System 10 auf das Erkennen von „Fußgängern“ spezialisiert sein, ein anderes KI-System 12 hingegen auf das Erkennen von „Autos“. Die jeweiligen Ausgaben 30, 31 der KI-Systeme 10, 12 für „Fußgänger“ bzw. „Autos“ werden hierbei zusammengeführt und jeweils mit dem entsprechend geschätzten (hohen) Ausgabekonfidenzwert 11, 13 verknüpft, wenn in dem Kamerabild sowohl Fußgänger als auch Autos abgebildet sind.
-
Die Vorteile der Vorrichtung 1 und des Verfahrens sind insbesondere, dass die Ausgabekonfidenzwerte 11, 13 mit einer geringeren Rechenleistung und in Abhängigkeit der Eingangsdaten 20 und/oder der mindestens einen Kontextinformation 21 geschätzt werden können.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Steuereinrichtung
- 3
- Schätzmodul
- 4
- Mischmodul
- 10
- KI-System
- 11
- Ausgabekonfidenzwert
- 12
- weiteres KI-System
- 13
- Ausgabekonfidenzwert
- 20
- Eingangsdaten
- 21
- Kontextinformation
- 30
- Ausgabe
- 31
- Ausgabe
- 40
- Gesamtausgabe
- 50
- Kraftfahrzeug
- 51
- Sensor
- 52
- Einrichtung
- 53
- Kontextsensorik
- 54
- Kontexterfassungseinrichtung
- 60
- Neuronales Netz
