DE102019217300A1 - Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Computerprogramm, Speichermedium, Vorrichtung, künstliches neuronales Netz und Anwendung des künstlichen neuronalen Netzes - Google Patents

Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Computerprogramm, Speichermedium, Vorrichtung, künstliches neuronales Netz und Anwendung des künstlichen neuronalen Netzes Download PDF

Info

Publication number
DE102019217300A1
DE102019217300A1 DE102019217300.4A DE102019217300A DE102019217300A1 DE 102019217300 A1 DE102019217300 A1 DE 102019217300A1 DE 102019217300 A DE102019217300 A DE 102019217300A DE 102019217300 A1 DE102019217300 A1 DE 102019217300A1
Authority
DE
Germany
Prior art keywords
artificial neural
neural network
uncertainty
training
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019217300.4A
Other languages
English (en)
Inventor
Di Feng
Lars Rosenbaum
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102019217300.4A priority Critical patent/DE102019217300A1/de
Priority to PCT/EP2020/080905 priority patent/WO2021089591A1/de
Publication of DE102019217300A1 publication Critical patent/DE102019217300A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

Verfahren (200) zum Trainieren eines künstlichen neuronalen Netzes in Abhängigkeit von einer Verlustfunktion, wobei das künstliche neuronale Netz derart eingerichtet ist in Abhängigkeit einer Eingabe eine Vorhersage und eine der Vorhersage zugeordnete Unsicherheit zu ermitteln, wobei die Verlustfunktion die ermittelte Unsicherheit berücksichtigt, wobei die ermittelte Unsicherheit eine begrenzte Unsicherheit ist.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, ein entsprechendes Computerprogramm, ein entsprechendes elektronisches Speichermedium, eine entsprechende Vorrichtung, ein künstliches neuronales Netz trainiert gemäß dem Verfahren der vorliegenden Erfindung und eine Anwendung des so trainierten künstlichen neuronalen Netzes.
  • Stand der Technik
  • Offenbarung der Erfindung
  • Im Bereich der Fahrerassistenzsysteme, insbesondere beim zumindest teilweise automatisierten Fahren, nehmen künstliche neuronale Netze eine zentrale Rolle ein. Sie werden u. a. bei der Bildverarbeitung z. B. zur Objektdetektion sowie -klassifikation und -lokalisierung eingesetzt.
  • Um in nicht eindeutigen Situation u. a. die richtigen Reaktionsmuster auszuwählen, ist es erforderlich, dass die eingesetzten künstlichen neuronalen Netze nicht nur ihre primären Aufgaben der Regression und Klassifikation effizient und effektiv erfüllen, sondern zusätzlich ein Maß der Unsicherheit (eng. Uncertainty) ihrer Vorhersagen ermitteln.
  • Aus Feng et al., Towards safe autonomous driving: Capture uncertainty in the deep neural network for lidar 3d vehicle detection, ITSC, 2018 und Feng et al., Leveraging heteroscedastic aleatoric uncertainties for robust real-time lidar 3d object detection, IV, 2019 sind Verfahren zur Schätzung von Unsicherheit bspw. bei der Objektdetektion mittels künstlichen neuronalen Netzen bekannt.
  • Aus der DE 10 2018 220 941.3 ist ein Verfahren zum Trainieren eines KI-Moduls in Abhängigkeit einer Verlustfunktion bekannt, welche eine durch das KI-Modul ermittelte Unsicherheit einer Vorhersage des KI-Moduls berücksichtigt.
  • Ein KI-Modul ist dazu ausgebildet, einen Satz Eingangsgrößen durch eine interne Verarbeitungskette mindestens in eine Vorhersage einer Ausgangsgröße zu übersetzen. Dies schließt nicht aus, dass das KI-Modul aus den gleichen Eingangsgrößen noch weitere Ausgangsgrößen ermittelt. Das KI-Modul kann beispielsweise dazu ausgebildet sein, aus Bilddaten oder aus anderen physikalischen Messdaten, die durch Messung, bspw. mittels mindestens eines Sensors, eines räumlichen Erfassungsbereichs gewonnen wurden, die Entfernung zu einem Objekt als kontinuierliche Ausgangsgröße zu ermitteln und zugleich den Typ dieses Objekts zu klassifizieren. Dies schließt nicht aus, dass alternativ oder in Kombination hierzu auch die kontinuierliche Ausgangsgröße für Klassifikationsaufgaben genutzt wird.
  • Das Verhalten der internen Verarbeitungskette ist durch Parameter festgelegt. Diese Parameter werden während des Trainings gelernt, und auf der Basis der gelernten Parameter arbeitet das KI-Modul im späteren Betrieb.
  • Eine Ausprägung des KI-Moduls kann ein künstliches neuronales Netz umfassen.
  • Unter einem künstlichen neuronalen Netz ist vorliegend ein Netz aus künstlichen Neuronen zur Informationsverarbeitung zu verstehen. Künstliche neuronale Netze durchleben im Wesentlichen drei Phasen. In einer initialen Phase wird eine Basistopologie, meist abhängig von der primären Aufgabenstellung (bspw. Klassifikation, Regression), vorgegeben. Danach folgt eine Trainingsphase, in der die Basistopologie zur effizienten Lösung der Aufgabenstellung mittels Trainingsdaten angelernt wird. Innerhalb der Trainingsphase kann auch die Topologie des Netzes angepasst werden. Trainingsdaten zeichnen sich dadurch aus, dass typischerweise zu den Eingabedaten die gewünschten Ausgabedaten vorliegen. Schließlich folgt eine Anwendungsphase, in der das angelernte Netz auf Eingabedaten angesetzt wird, zu denen es keine gewünschten Ausgabedaten gibt. Die Ausgabedaten des angelernten Netzes stellen dann die gemäß der Aufgabestellung gesuchten Ausgabedaten dar.
  • Künstliche neuronale Netze sollten eine Unsicherheit ihrer Vorhersagen ermitteln, die der natürlichen Frequenz der korrekten Vorhersagen entspricht. Allerdings hat sich gezeigt, dass die bisher bekannten künstlichen neuronalen Netze in Bezug auf die Frage der Unsicherheit ihrer Vorhersagen entweder zu sicher (eng.: over-confident) oder zu unsicher (eng.: under-confident) sind. Daraus ergibt sich das Problem der fehlkalibrierten Unsicherheit, die u. a. zu Fehlentscheidungen im Bereich des automatisierten Fahrens führen kann.
  • Offenbarung der Erfindung
  • Vor diesem Hintergrund schafft die vorliegende Erfindung ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes in Abhängigkeit von einer Verlustfunktion, wobei das künstliche neuronale Netz derart eingerichtet ist in Abhängigkeit einer Eingabe eine Vorhersage und eine der Vorhersage zugeordnete Unsicherheit zu ermitteln, wobei die Verlustfunktion die ermittelte Unsicherheit berücksichtigt.
  • Das Verfahren zeichnet sich dadurch aus und unterscheidet sich insbesondere von dem Gegenstand der DE 10 2018 220 941.3 in nicht naheliegender Weise dadurch, dass die ermittelte Unsicherheit eine begrenzte Unsicherheit ist.
  • Unter einer Verlustfunktion kann vorliegend eine Funktion verstanden werden, die ein Maß für den Abstand der vorhergesagten Ausgangsgröße zu den erwarteten Ausgabedaten des Trainingsdatensatzes quantifiziert. Typische Verlustfunktionen im Bereich der künstlichen neuronalen Netze sind der L1- bzw. Laplace-Verlust und der L2- bzw. Gauß-Verlust
  • Mittels des Verfahrens zum Trainieren eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung ist es nunmehr möglich die Ermittlung der Unsicherheit der Vorhersage so zu kalibrieren, dass das Netz wohlkalibrierte Unsicherheiten ermittelt.
  • Dies führt zu dem Vorteil, dass das Netz wohlkalibrierte Unsicherheiten ermittelt, wenn die Verteilung der zu verarbeitenden Daten der Verteilung der Trainingsdaten ähnelt.
  • Ferner erfordert die Ermittlung der Unsicherheiten im Vergleich zu den Verfahren aus dem Stand der Technik keine zusätzlichen Rechenressourcen (eng. computational cost) während der Anwendung des künstlichen neuronalen Netzes und die Trainingszeit des künstlichen neuronalen Netzes verlängert sich nur marginal.
  • Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung wird die ermittelte Unsicherheit mittels einer Ground Truth für die Unsicherheit begrenzt.
  • Unter Ground Truth kann vorliegend ein Wert verstanden werden, der als korrekter Wert angesehen wird. Bei Trainingsdatensätzen, die zu Eingabedaten jeweils vorgegeben Ausgangsdaten aufweisen, werden die vorgegebenen Ausgangsdaten als Ground Truth angesehen.
  • Die beschriebenen Vorteile werden dadurch erreicht, dass die Verlustfunktion zum Trainieren des künstlichen neuronalen Netzes eine begrenzte Unsicherheit berücksichtigt.
  • Dies kann dadurch erfolgen, dass der Verlustfunktion zum Training der primären Aufgabe des künstlichen neuronalen Netzes ein Term hinzugefügt wird, der im Folgenden Kalibrierungsverlustfunktion (eng.: Calibration Loss) genannt wird. Bei der Verlustfunktion der primären Aufgabe kann es sich um eine beliebige Standardverlustfunktion, wie bspw. der Verlustfunktion der Kreuzentropie (eng.: Cross Entropy Loss) für Klassifikationsaufgaben oder der L1- oder Laplace-Verlustfunktion (eng.: L1 Loss) für Regressionsaufgaben handeln. Denkbar ist ebenso, dass die primäre Aufgabe des künstlichen neuronalen Netzes sowohl Klassifikationsanteile als auch Regressionsanteile aufweist und dementsprechend die Verlustfunktion der primären Aufgabe entsprechende Terme umfasst.
  • Die Kalibrierungsverlustfunktion kann wie nachstehend beschrieben werden: L c a l i b = p ^ x p x ,
    Figure DE102019217300A1_0001
    mit px als durch das künstliche neuronale Netz ermittelte Unsicherheit bei Eingabe des Trainingsdatums x, p̂x als korrespondierende Ground Truth und ∥·∥ als beliebiger Verlustterm, wie bspw. die L1- oder L2-Verlust.
  • Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung wird die Ground Truth in Abhängigkeit von der ermittelten Vorhersage und einer der Eingabedaten zugeordneten Ausgabedaten, insbesondere des Trainingsdatensatzes, gebildet.
  • Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, welches eingerichtet ist alle Schritte des Verfahrens gemäß der vorliegenden Erfindung auszuführen.
  • Ein weiterer Aspekt der vorliegenden Erfindung ist ein elektronisches Speichermedium, auf dem das Computerprogramm gemäß der vorliegenden Erfindung gespeichert ist.
  • Ein weiterer Aspekt der vorliegenden Erfindung ist eine Vorrichtung, welche eingerichtet ist alle Schritte des Verfahrens gemäß der vorliegenden Erfindung auszuführen.
  • Ein weiterer Aspekt der vorliegenden Erfindung ist ein künstliches neuronales Netz, welches mittels des Verfahrens gemäß der vorliegenden Erfindung trainiert ist.
  • Ein weiterer Aspekt der vorliegenden Erfindung ist eine Anwendung eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung zur Steuerung eines technischen Systems.
  • Ein technisches System kann dabei u. a. ein System zum zumindest teilweise automatisierten Fahren, ein System zur automatisierten Inspektion bspw. eines Produktionsprozesses, ein System zur automatisierten Zugangskontrolle, ein System zur Überwachung von Gebäude und öffentlichen Plätzen aufweisend eine Objektverfolgung sein.
  • Nachfolgend werden Ausführungsformen der vorliegenden Erfindung anhand von Zeichnungen näher erläutert.
  • Es zeigen:
    • 1 ein Blockdiagramm einer Ausführungsform des Einsatzes eines künstlichen neuronalen Netzes;
    • 2 ein Ablaufdiagramm einer Ausführungsform eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung;
    • 3a bis c jeweils einen Graphen eines Kalibrierungsplots;
    • 4 Blockdiagramm von Anwendungsbereichen der vorliegenden Erfindung.
  • 1 zeigt ein Blockdiagramm, das den Einsatz eines künstlichen neuronalen Netzes in einem technischen System 1 darstellt. Das dargestellte technische System 1 ist ein Fahrzeug. Das künstliche neuronale Netz wird im Rahmen einer Fahrerassistenzfunktion, bspw. einer zumindest teilweise automatisierten Steuerung des Fahrzeugs eingesetzt.
  • Die dafür notwendigen Komponenten sind mindestens ein Sensor 10 zur Messung eines Erfassungsbereichs und zur Übertragung der erfassten Daten an eine Verarbeitungseinheit 11 in dem Fahrzeug. Auf der Verarbeitungseinheit 11 wird das künstliche neuronale Netz eingesetzt, bspw. für eine Klassifikationsaufgabe, wie Objektdetektion, oder eine Regressionsaufgabe, wie Abstandsschätzung. Die Verarbeitungseinheit 11 ist ferner dazu eingerichtet entsprechende Signale an eine Steuereinheit 12, bspw. für ein Bremssystem zu senden, um eine Fahrerassistenzfunktion, wie ein automatisches Notbremsen, auszuführen.
  • Das dazu eingesetzte künstliche neuronale Netz wurde auf einer externen Verarbeitungseinheit 13 trainiert. Das trainierte Netz wurde auf die Verarbeitungseinheit 11 zur Ausführung transferiert.
  • Die dargestellt Ausführungsform schließt nicht aus, dass das technische System 1 mehr als einen Sensor 10 umfasst und zur Messung des Erfassungsbereichs verwendet.
  • Die dargestellte Ausführungsform schließt nicht aus, dass die Verarbeitungseinheit 11 und die Steuereinheit 12 mittels einer Hardwareeinheit verwirklicht werden bzw. über mehrere Hardwareeinheiten verteilt umgesetzt werden.
  • Die dargestellte Ausführungsform schließt nicht aus, dass die Daten des Sensors 10 in einer alternativen bzw. ergänzenden Ausführungsform alternativ bzw. zusätzlich an eine weitere externe Verarbeitungseinheit, bspw. an eine Cloud, übertragen werden.
  • Die dargestellte Ausführungsform schließt nicht aus, dass die externe Verarbeitungseinheit 13 in einer alternativen Ausführungsform zumindest teilweise in dem technischen System 1 angeordnet ist.
  • Ferner schließt die dargestellte Ausführungsform nicht aus, dass das eingesetzte künstliche neuronale Netz auf der Verarbeitungseinheit 11 in dem technischen System während der Laufzeit (weiter-)trainiert wird.
  • 2 zeigt eine Ausführungsform eines Verfahrens 200 zum Trainieren eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung.
  • Für das Training eines künstlichen neuronalen Netzes werden typischerweise Trainingsdatensätze verwendet. Trainingsdatensätze zeichnen sich dadurch aus, dass sie zu einer Menge an Eingangsdaten erwartete Ausgangsdaten vorhalten.
  • Ausgehend von solchen Trainingsdatensätzen wird in Schritt 201 eine vorgegebene Menge Eingangsdaten der Trainingsdatensätze dem zu trainierenden künstlichen neuronalen Netz vorgegeben.
  • In Schritt 202 wird zu jedem Eingangsdatum mittels des zu trainierenden künstlichen neuronalen Netzes eine Vorhersage der Ausgangsdaten ermittelt.
  • In Schritt 203 wird mittels des künstlichen neuronalen Netzes zusätzlich eine Unsicherheit der Vorhersage ermittelt. Gemäß der vorliegenden Erfindung ist das zu trainierende künstliche neuronal Netz derart gestaltet, dass, insbesondere im Vergleich zum Stand der Technik, die ermittelte Unsicherheit begrenzt (engl. restricted) ist. Dies kann dadurch erreicht werden, dass die ermittelte Unsicherheit bei der Auswertung einer Verlustfunktion (siehe Schritt 205) mittels der nachstehenden Kalibrierungsverlustfunktion bzw. Verlustterms berücksichtigt wird. L c a l i b = p ^ x p x ,
    Figure DE102019217300A1_0002
    mit px als durch das künstliche neuronale Netz ermittelte Unsicherheit bei Eingabe des Eingangsdatums x des Trainingsdatensatzes, p̂x als korrespondierende Ground Truth und ||·|| als beliebige Verlustfunktion, wie bspw. die L1- oder L2-Verlust.
  • In Schritt 204 wird die von dem künstlichen neuronalen Netz ermittelte Vorhersage mit den dem jeweiligen Eingangsdatum zugeordneten erwarteten Ausgangsdaten der Trainingsdatensätze verglichen.
  • In Schritt 205 wird eine Verlustfunktion ausgewertet, die sowohl die im Vergleich ermittelte Abweichung der Vorhersage von den erwarteten Ausgangsdaten als auch die ermittelte Unsicherheit der Vorhersage berücksichtigt.
  • Die auszuwertende Verlustfunktion L kann dabei wie nachstehend beschrieben werden. L = L s t d + λ L c a l i b ,
    Figure DE102019217300A1_0003
    mit Lstd als Verlustterm der primären Aufgabe des künstlichen neuronalen Netzes. Und Ä als Hyperparameter zur Steuerung des Einflusses der Kalibrierungsverlustfunktion der beschränkten Unsicherheit.
  • Je nach primärer Aufgabe des zu trainierenden künstlichen neuronalen Netzes kann eine entsprechende Verlustfunktion, Lstd, bspw. eine Standardverlustfunktion, vorgesehen werden.
  • Handelt es sich bspw. bei der primären Aufgabe um eine Klassifikationsaufgabe, wie bspw. der Objektdetektion bzw. -klassifikation, kann die sog. „softmax function“, d. h. die normalisierte Exponentialfunktion als Verlustterm bzw. Verlustfunktion vorgesehen werden.
  • In Schritt 206 werden die Parameter des künstlichen neuronalen Netzes dahingehend optimiert, dass bei erneuter Eingabe der Eingangsdaten die von der Verlustfunktion ermittelte Abweichung geringer ausfällt.
  • 3a zeigt einen Graphen eines Kalibrierungsplots. Auf der Abszisse ist die Unsicherheit der Vorhersage aufgetragen. Auf der Ordinate ist die Wahrscheinlichkeit einer korrekten Vorhersage aufgetragen.
  • Bei einem optimal kalibrierten künstlichen neuronalen Netz entspricht die Unsicherheit der Vorhersage der empirisch beobachteten Frequenz der korrekten Vorhersagen des verwendeten Datensatzes. In dem Graphen ist dies mit der durchgezogenen diagonalen Kurve dargestellt.
  • Künstliche neuronale Netze trainiert mittels Trainingsverfahren nach dem Stand der Technik sind in Bezug auf die Frage der Unsicherheit ihrer Vorhersagen entweder zu sicher (eng.: over-confident) oder zu unsicher (eng.: under-confident). Daraus ergibt sich das Problem der fehlkalibrierten Unsicherheit, die u. a. zu Fehlentscheidungen im Bereich des automatisierten Fahrens führen kann.
  • In dem Graphen der 3a ist dies mit den jeweils schraffierten Bereichen U für zu unsichere Vorhersagen und O für zu sichere Vorhersagen dargestellt.
  • 3b zeigt einen Graphen eines Kalibrierungsplots eines konkreten künstlichen neuronalen Netzes trainiert mittels einem Trainingsverfahrens aus dem Stand der Technik. Die durchgezogene diagonale Kurve zeigt dabei ein optimal kalibriertes künstliches neuronales Netz.
  • Die gestrichelte Kurve steht für die Kalibrierung des künstlichen neuronalen Netzes. Diese Kurve zeigt deutlich, dass das künstliche neuronale Netz eine fehlkalibrierte Unsicherheit aufweist, da die Bereiche der zu sicheren Vorhersagen O und die Bereiche der zu unsicheren Vorhersagen U deutlich von der optimalen Kalibrierung abweichen.
  • 3c zeigt einen Graphen einen Graphen eines Kalibrierungsplots des künstlichen neuronalen Netzes gemäß 3b nunmehr trainiert mit dem Verfahren gemäß der vorliegenden Erfindung.
  • Wiederum zeigt die durchgezogene diagonale Kurve ein optimal kalibriertes künstliches neuronales Netz.
  • Die gestrichelte Kurve steht für die Kalibrierung des künstlichen neuronalen Netzes. Diese Kurve ist nunmehr im Vergleich zu der entsprechenden Kurve des Graphen der 3b offensichtlich näher an der Kurve eines optimal kalibrierten künstlichen neuronalen Netzes.
  • Mittels des Verfahrens der vorliegenden Erfindung kann demnach effektiv eine verbesserte Kalibrierung künstlicher neuronaler Netze erreicht werden.
  • 4 zeigt Blockdiagramme von Anwendungsbereichen der vorliegenden Erfindung.
  • 4A zeigt ein Blockdiagramm eines Systems zur automatischen Inspektion 41, bspw. bei der visuellen Inspektion eines Produktionsprozesses 411. Dabei kann ein künstliches neuronales Netz trainiert mittels des Trainingsverfahrens gemäß der vorliegenden Erfindung dazu eingesetzt werden neben der Klassifizierung von fehlerhaften Teilen 412 auch eine Angabe zum Grad der Unsicherheit der Klassifizierung zu ermitteln. In einem solchem Einsatzbereich hilft die vorliegenden Erfindung effektiv dabei die False-Positive-Rate, d. h. den Anteil der fälschlicherweise als fehlerhaft klassifizierten Teile 412, zu reduzieren.
  • 4B zeigt ein Blockdiagramm eines automatisierten Systems 42, konkret einen automatisierten Rasenmäher. Durch den Einsatz eines künstlichen neuronalen Netzes trainiert mittels eines Verfahrens gemäß der vorliegenden Erfindung kann die Objekterkennung verbessert werden. Dies führt verbesserten Ergebnissen beim Einsatz des automatisierten Systems 42.
  • 4C zeigt ein Blockdiagramm eines Systems zur automatisierten Zugangskontrolle 43, bspw. mittels optischer Identifizierung von Personen und dem automatisierten Öffnen von Türen 431. Beim Einsatz eines künstlichen neuronalen Netzes trainiert mittels eines Verfahrens der vorliegenden Erfindung kann neben der Erkennung einer Person und damit dem Abgleich der Zugangsberechtigung auch ein Maß für die Unsicherheit der Erkennung ermittelt werden. Dieses Maß kann bei der Gewährung des Zugangs berücksichtigt werden.
  • 4D zeigt ein Blockdiagramm eines Systems zur Überwachung 44 von Gebäuden oder öffentlichen Plätzen. Ein künstliches neuronales Netz trainiert mittels eines Verfahrens gemäß der vorliegenden Erfindung kann dabei dazu eingesetzt werden, neben der Objektverfolgung zusätzlich eine Unsicherheit der Objektverfolgung auszugeben. Damit kann bspw. effektive die Güte bzw. die Zuverlässigkeit der Objektverfolgung berücksichtigt werden.
  • Ferner sind Anwendungen der Erfindung bzw. künstlicher neuronaler Netze trainiert mittels eines Verfahrens gemäß der vorliegenden Erfindung im medizinischen Bereich denkbar. Insbesondere in diesem Bereich ist neben einer Klassifizierung die Angabe eines Maßes für die Unsicherheit der Klassifizierung vorteilhaft - wenn nicht sogar wichtig - insbesondere in Kontexten, in dem basierend auf der automatischen Klassifizierung eine Diagnose durch medizinisches Personal, bspw. einem Arzt, erfolgt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102018220941 [0005, 0012]

Claims (8)

  1. Verfahren (200) zum Trainieren eines künstlichen neuronalen Netzes in Abhängigkeit von einer Verlustfunktion, wobei das künstliche neuronale Netz derart eingerichtet ist in Abhängigkeit einer Eingabe eine Vorhersage und eine der Vorhersage zugeordnete Unsicherheit zu ermitteln, wobei die Verlustfunktion die ermittelte Unsicherheit berücksichtigt, dadurch gekennzeichnet, dass die ermittelte Unsicherheit eine begrenzte Unsicherheit ist.
  2. Verfahren (200) nach Anspruch 1, wobei die ermittelte Unsicherheit mittels einer Ground Truth für die Unsicherheit begrenzt wird.
  3. Verfahren (200) nach Anspruch 2, wobei die Ground Truth in Abhängigkeit von der ermittelten Vorhersage und einem einem Eingabedatum zugeordneten Ausgabedatum eines Trainingsdatensatzes gebildet wird.
  4. Computerprogramm, welches eingerichtet ist alle Schritte des Verfahrens (200) nach einem der Ansprüche 1 bis 3 auszuführen.
  5. Elektronisches Speichermedium, auf dem das Computerprogramm nach Anspruch 4 gespeichert ist.
  6. Vorrichtung, welche eingerichtet ist alle Schritte des Verfahrens (200) nach einem der Ansprüche 1 bis 3 auszuführen.
  7. Künstliches neuronales Netz trainiert mittels des Verfahrens (200) nach einem der Ansprüche 1 bis 3.
  8. Anwendung eines künstlichen neuronalen Netzes nach Anspruch 7 zur Steuerung eines technischen Systems (1), insbesondere eines Systems zum zumindest teilweise automatisierten Fahren, eines Systems zur automatisierten Inspektion (41), eines Systems zur automatisierten Zugangskontrolle (43), eines Systems zur Überwachung (44) von Gebäude und öffentlichen Plätzen aufweisend eine Objektverfolgung.
DE102019217300.4A 2019-11-08 2019-11-08 Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Computerprogramm, Speichermedium, Vorrichtung, künstliches neuronales Netz und Anwendung des künstlichen neuronalen Netzes Pending DE102019217300A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102019217300.4A DE102019217300A1 (de) 2019-11-08 2019-11-08 Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Computerprogramm, Speichermedium, Vorrichtung, künstliches neuronales Netz und Anwendung des künstlichen neuronalen Netzes
PCT/EP2020/080905 WO2021089591A1 (de) 2019-11-08 2020-11-04 Verfahren zum trainieren eines künstlichen neuronalen netzes, computerprogramm, speichermedium, vorrichtung, künstliches neuronales netz und anwendung des künstlichen neuronalen netzes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019217300.4A DE102019217300A1 (de) 2019-11-08 2019-11-08 Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Computerprogramm, Speichermedium, Vorrichtung, künstliches neuronales Netz und Anwendung des künstlichen neuronalen Netzes

Publications (1)

Publication Number Publication Date
DE102019217300A1 true DE102019217300A1 (de) 2021-05-12

Family

ID=73059940

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019217300.4A Pending DE102019217300A1 (de) 2019-11-08 2019-11-08 Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Computerprogramm, Speichermedium, Vorrichtung, künstliches neuronales Netz und Anwendung des künstlichen neuronalen Netzes

Country Status (2)

Country Link
DE (1) DE102019217300A1 (de)
WO (1) WO2021089591A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024023091A1 (de) 2022-07-28 2024-02-01 Robert Bosch Gmbh Verfahren zum trainieren eines künstlichen neuronalen netzes

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018220941A1 (de) 2018-12-04 2020-06-04 Robert Bosch Gmbh Auswertung von Messgrößen mit KI-Modulen unter Berücksichtigung von Messunsicherheiten

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024023091A1 (de) 2022-07-28 2024-02-01 Robert Bosch Gmbh Verfahren zum trainieren eines künstlichen neuronalen netzes
DE102022207786A1 (de) 2022-07-28 2024-02-08 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Trainieren eines künstlichen neuronalen Netzes

Also Published As

Publication number Publication date
WO2021089591A1 (de) 2021-05-14

Similar Documents

Publication Publication Date Title
DE202017102381U1 (de) Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
DE102018128289A1 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
DE102017006687B4 (de) Prüfsystem zur Stückprüfung von Prüflingen und Verfahren
EP3646184A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zum auflösen einer redundanz von zwei oder mehr redundanten modulen
DE102018220941A1 (de) Auswertung von Messgrößen mit KI-Modulen unter Berücksichtigung von Messunsicherheiten
WO2019149664A1 (de) Verfahren zum ermitteln eines zeitlichen verlaufs einer messgrösse, prognosesystem, aktorsteuerungssystem, verfahren zum trainieren des aktorsteuerungssystems, trainingssystem, computerprogramm und maschinenlesbares speichermedium
DE102020207449B4 (de) Verfahren, Computerprogramm und Vorrichtung zum Verarbeiten von Signalen
DE102019217300A1 (de) Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Computerprogramm, Speichermedium, Vorrichtung, künstliches neuronales Netz und Anwendung des künstlichen neuronalen Netzes
DE102019209457A1 (de) Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm, maschinenlesbares Speichermedium und entsprechende Vorrichtung
DE102018211875A1 (de) Verfahren und Vorrichtung zum Betreiben eines Steuerungssystems
DE102019202523A1 (de) Verfahren und Vorrichtung zum Betreiben eines Steuerungssystems
DE102018220608A1 (de) Maschinelles Lernsystem, sowie ein Verfahren, ein Computerprogramm und eine Vorrichtung zum Erstellen des maschinellen Lernsystems
DE102017219269A1 (de) Klassifizierung mit automatischer Auswahl aussichtsreicher Lerndaten
DE102022201679A1 (de) Verfahren und Vorrichtung zum Trainieren eines neuronalen Netzes
EP3830754B1 (de) Verfahren und vorrichtung zum ermitteln einer erklärungskarte
DE102021204040A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung von Trainingsdaten im Fahrzeug
DE102021200789A1 (de) Computer-implementiertes Verfahren und Vorrichtung zur Manipulationserkennung für Abgasnachbehandlungssysteme mithilfe Verfahren künstlicher Intelligenz
DE102020203998A1 (de) Verfahren und Vorrichtung zum Betreiben eines Klassifikators
DE102018216078A1 (de) Verfahren und Vorrichtung zum Betreiben eines Steuerungssystems
DE102019131639B4 (de) System zum Bereitstellen eines Erklärungsdatensatzes für ein KI-Modul
EP3830752B1 (de) Verfahren und vorrichtung zum ermitteln einer erklärungskarte
DE102017219274A1 (de) Verfahren und Vorrichtung zum Verbessern der Robustheit eines maschinellen Lernsystems
DE102016113310A1 (de) Verfahren zur Bewertung von Aussagen einer Mehrzahl von Quellen zu einer Mehrzahl von Fakten
DE102022208384A1 (de) Verfahren zum Ermitteln eines Qualitätszustands eines Prüfobjekts
DE102020210328A1 (de) Verfahren und Vorrichtung zum Trainieren eines quantisierten Klassifikators