DE102018205539A1 - Erkennung von Objekten und Situationen in Messdaten mit verbesserter Unterdrückung nicht-repräsentativer Korrelationen - Google Patents

Erkennung von Objekten und Situationen in Messdaten mit verbesserter Unterdrückung nicht-repräsentativer Korrelationen Download PDF

Info

Publication number
DE102018205539A1
DE102018205539A1 DE102018205539.4A DE102018205539A DE102018205539A1 DE 102018205539 A1 DE102018205539 A1 DE 102018205539A1 DE 102018205539 A DE102018205539 A DE 102018205539A DE 102018205539 A1 DE102018205539 A1 DE 102018205539A1
Authority
DE
Germany
Prior art keywords
situation
module
data
tensor
changes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018205539.4A
Other languages
English (en)
Inventor
Zeynep Akata
Tim Genewein
Max Welling
Giorgio Patrini
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of DE102018205539A1 publication Critical patent/DE102018205539A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Abstract

Vorrichtung (1) zur Erkennung eines Objekts (12) oder einer Situation (13) aus einem Datensatz (11), welcher Messdaten (11a) mindestens einer physikalischen Messgröße umfasst, in denen eine physikalische Erfassung des Objekts (12), bzw. der Situation (13), verkörpert ist, umfassend ein Künstliche-Intelligenz-Modul, KI-Modul (2), zur Komprimierung der Messdaten (11a) in einen Merkmalstensor hU, welcher eine gegenüber dem Datensatz (11) reduzierte Dimensionalität aufweist, weiterhin umfassend einen Klassifikator (3), der dazu ausgebildet ist, aus dem Merkmalstensor hu mindestens eine Konfidenz dafür auszuwerten, dass der Datensatz (11) das Vorhandensein des Objekts (12), bzw. der Situation (13), anzeigt, wobei das Objekt (12), bzw. die Situation (13), einen auf den Klassifikator (3) bezogenen semantischen Gehalt aufweist, wobei das KI-Modul (2) so trainiert ist, dass der Merkmalstensor hu selektiv auf solche Änderungen des Datensatzes (11) reagiert, die das Objekt (12), bzw. die Situation (13), in ihrem semantischen Gehalt verändern, und bei Änderungen des Datensatzes (11), die den semantischen Gehalt des Objekts (12), bzw. der Situation (13), unverändert lassen, im Wesentlichen invariant bleibt.
Umfeldüberwachungssystem (42), Sortieranlage (50) und Zustandsüberwachungssystem (61) mit der Vorrichtung 1.
Verfahren (100) zum Trainieren des KI-Moduls (2), Verfahren zum Erkennen eines Objekts (12) oder einer Situation (13).
Zugehöriges Computerprogramm.

Description

  • Die vorliegende Erfindung betrifft die Erkennung von Objekten und Situationen in Messdaten, die insbesondere für die Erfassung des Umfeldes von Fahrzeugen, zur automatischen Sortierung von Produkten sowie zur Zustandsüberwachung von Maschinen oder Anlagen einsetzbar ist.
  • Stand der Technik
  • Beim Führen eines Fahrzeugs im Straßenverkehr nimmt der Fahrer eine Vielzahl von Informationen mit den Augen auf und klassifiziert die sichtbaren Objekte. Er erkennt beispielsweise Fahrbahnbegrenzungen, Verkehrszeichen, andere Fahrzeuge und Fußgänger als solche und kann entsprechende Reaktionen einleiten.
  • Für das zumindest teilweise automatisierte Fahren, bei dem das Fahrzeugumfeld mit einer Sensorik erfasst wird, wird daher ebenfalls eine Funktionalität benötigt, aus den mit der Sensorik erfassten Messdaten Objekte zu klassifizieren.
  • Die EP 1 752 362 B1 offenbart ein Spurassistenzsystem für Fahrzeuge, das Fahrbahnbegrenzungen nach Typen klassifiziert und sowohl die Wahrscheinlichkeit für ein bevorstehendes Überfahren als auch das damit verbundene Gefahrenpotential bewertet.
  • Die US 8,682,821 B2 offenbart ein Verfahren, mit dem Radardaten aus dem Fahrzeugumfeld dahingehend ausgewertet werden, ob sich im Fahrzeugumfeld bestimmte Objekte oder nichtmenschliche Tiere bewegen. Für die Klassifikation wird maschinelles Lernen eingesetzt.
  • Offenbarung der Erfindung
  • Im Rahmen der Erfindung wurde eine Vorrichtung zur Erkennung eines Objekts oder einer Situation aus einem Datensatz entwickelt. Der Datensatz umfasst Messdaten mindestens einer physikalischen Messgröße, in denen eine physikalische Erfassung des Objekts, bzw. der Situation, verkörpert ist, wie beispielsweise Kamerabilder, Wärmebilder, Radarsignale, LIDAR-Signale, Ultraschallsignale oder Messwerte von Zustandsgrößen einer Maschine oder Anlage. Dabei können auch verschiedene Messgrößen miteinander kombiniert werden, d.h., der Datensatz kann beispielsweise ein Kamerabild in Kombination mit einer Temperatur und einer elektrischen Stromstärke enthalten.
  • Die Erkennung des Objekts, bzw. der Situation, erfolgt zweistufig. Es ist ein Künstliche-Intelligenz-Modul, Kl-Modul, zur Komprimierung der Messdaten in einen Merkmalstensor hU , welcher eine gegenüber dem Datensatz reduzierte Dimensionalität aufweist, vorgesehen. Weiterhin ist ein Klassifikator vorgesehen, der dazu ausgebildet ist, aus dem Merkmalstensor hu mindestens eine Konfidenz dafür auszuwerten, dass der Datensatz das Vorhandensein des Objekts, bzw. der Situation, anzeigt. Ein Klassifikator für Verkehrszeichen kann also beispielsweise anzeigen, dass ein Bild mit einer Konfidenz von 80 % ein Stoppschild und weiterhin mit einer Konfidenz von 75 % ein Zeichen für eine vorgeschriebene Fahrtrichtung enthält, während die Konfidenz für alle übrigen von der StVO vorgesehenen Verkehrszeichen jeweils nur wenige Prozent beträgt. Es gibt also eine Arbeitsteilung dahingehend, dass das KI-Modul aus den Messdaten Merkmale extrahiert und der Klassifikator anhand dieser Merkmale die Klassifikation vornimmt. Dabei kann der Klassifikator wiederum als ein KI-Modul ausgeführt sein, aber auch beispielsweise ein statistisch motivierter Klassifikator sein. Die besagte Arbeitsteilung ermöglicht es, sowohl für die Merkmalsextraktion als auch für die Klassifikation jeweils das Instrument zu wählen, das für die vorliegende konkrete Anwendung am besten geeignet ist.
  • Das Objekt, bzw. die Situation, weist einen auf den Klassifikator bezogenen semantischen Gehalt auf, der auch als das „Wesen“ des Objekts, bzw. der Situation, bezeichnet werden kann. In dem zuvor genannten Beispiel eines Klassifikators für Verkehrszeichen ist die Information, um welches Verkehrszeichen es sich handelt, der semantische Gehalt eines erkannten Objekts.
  • Das KI-Modul zur Komprimierung der Messdaten ist so trainiert, dass der Merkmalstensor hU selektiv auf solche Änderungen des Datensatzes reagiert, die das Objekt, bzw. die Situation, in ihrem semantischen Gehalt verändern, und bei Änderungen des Datensatzes, die den semantischen Gehalt des Objekts, bzw. der Situation, unverändert lassen, im Wesentlichen invariant bleibt.
  • Die Zusammenarbeit des KI-Moduls mit dem nachgeschalteten Klassifikator ist also insbesondere auch darauf angelegt, dass die Klassifikation robuster gegen Störungen gemacht wird, die bei einer direkten Anwendung des Klassifikators zu einer unzutreffenden Klassifikation führen könnten. Wie im Folgenden dargelegt wird, sind die Vorteile dieser Zusammenarbeit jedoch noch weitreichender.
  • Dabei ist der Begriff „im Wesentlichen invariant“ insbesondere dahingehend zu verstehen, dass eine vollständige Invarianz beim Trainieren des KI-Moduls im Rahmen der Herstellung der Vorrichtung zwar das ideale Trainingsziel war, dieses jedoch allein schon auf Grund numerischer Ungenauigkeiten bei der Berechnung in der Regel nicht exakt erreicht werden kann. Vielmehr kann der Merkmalstensor hu beim Training dann, wenn seine Änderung einer vorgegebenen Abbruchbedingung genügt, als „im Wesentlichen invariant“ für die Zwecke der vorliegenden Anwendung gewertet werden, um Endlosschleifen zu vermeiden. Eine solche Abbruchbedingung kann beispielsweise sein, dass eine Norm der Änderung des Merkmalstensors hu kleiner ist als eine vorgegebene Toleranzschwelle.
  • Das übliche Training beispielsweise eines Systems zur Erkennung von Objekten aus Bilddaten verwendet eine große Anzahl Trainingsbilder, die manuell mit einer Zusatzinformation über die im jeweiligen Bild tatsächlich vorhandenen Objekte („ground truth“) versehen („gelabelt“) wurden. Das System wird so trainiert, dass über die Menge aller verwendeten Trainingsbilder die „ground truth“ bestmöglich reproduziert wird, d.h., dass jeweils genau die Objekte erkannt werden, die tatsächlich in den Bildern vorhanden sind.
  • Es wurde nun erkannt, dass die Änderung beim Wechsel von einem Trainingsbild (oder anders aufgebauten Datensatz) zu einem anderen in der Regel immer eine Mischung ist aus Änderungen, die das Objekt, bzw. die Situation, in ihrem semantischen Gehalt verändern, und Änderungen, die den semantischen Gehalt des Objekts, bzw. der Situation, unverändert lassen. So ändert sich beispielsweise bei der fortwährenden Erfassung von Kamerabildern während einer Fahrt entlang einer Straße nicht nur der jeweilige Gehalt der Kamerabilder an Verkehrszeichen, sondern auch beispielsweise die Beleuchtung sowie der Gesamtkontext der Szene, in die die Verkehrszeichen eingebettet sind.
  • Indem nun das KI-Modul gezielt daraufhin trainiert wird, dass der Merkmalstensor hu nur auf die für die Klassifikation wichtigen Änderungen des Datensatzes reagiert, wird vorteilhaft vermieden, dass das KI-Modul nicht-repräsentative Korrelationen, die in den Trainingsdaten vorkommen können, lernt.
  • So kann beispielsweise ein Satz Trainingsbilder auch Bilder enthalten, auf denen Tiere abgebildet sind, mit dem Ziel, diese Tiere im Fahrzeugumfeld zu identifizieren. Es können nun beispielsweise sämtliche Bilder, die einen Löwen zeigen, in der natürlichen Umgebung des Löwen, also in einer Savanne, aufgenommen worden sein. Das Vorhandensein des Löwen ist dann unbeabsichtigt mit dem Vorhandensein einer Savanne korreliert. Taucht dann in einer Straßenszene überraschenderweise ein aus dem Zoo entlaufener Löwe auf, kann die nicht-repräsentative Korrelation von „Löwe“ zu „Savanne“ dazu führen, dass der Löwe falsch klassifiziert wird, etwa als Hund, wie er in Straßenszenen häufiger vorkommt.
  • Nicht-repräsentative Korrelationen können auch beispielsweise entstehen, wenn bestimmte Arten von Verkehrszeichen üblicherweise nur in einem bestimmten Kontext verwendet werden. So tauchen beispielsweise Stoppschilder üblicherweise nur an Kreuzungen innerorts und außerorts auf, nicht aber auf kreuzungsfreien Autobahnen. In einem Satz Trainingsbilder mit repräsentativen Straßenszenen sind somit Stoppschilder mit Kreuzungen innerorts und außerorts korreliert. Wird nun beispielsweise an einer provisorischen Autobahnauffahrt ein Stoppschild verwendet, damit sich auf dem verkürzten Beschleunigungsstreifen immer nur ein Fahrzeug zur Zeit befindet, so kann die nicht-repräsentative Korrelation von „Stoppschild“ zu „Kreuzung“ dazu führen, dass das Stoppschild nicht als solches erkannt wird.
  • Gemäß dem vorgesehenen Training für das KI-Modul wird in diesen Beispielen der Merkmalstensor hu darauf reagieren, wenn der Löwe gegen einen Hund oder das Stoppschild gegen ein „Vorfahrt achten“-Schild ausgetauscht wird. Hingegen ändert sich der Merkmalstensor hU nicht, wenn der Hintergrund von der Savanne zur Stadt oder von der Wohnstraße zur Autobahn wechselt.
  • Das besagte Training für das KI-Modul hat den weiteren Vorteil, dass es insgesamt tendenziell mit weniger Trainingsdaten auskommt. Um beispielsweise einen vorgegebenen Kanon von Objekten auch dann zuverlässig aus Bilddaten zu klassifizieren, wenn diese Bilddaten mit für die Klassifikation nicht relevanten Änderungen überlagert sind (etwa Belichtungsänderungen, Regen, Schnee, Rauschen und Perspektivwechsel), können Trainingsbilder gezielt mit solchen Änderungen versehen und so zu zusätzlichen Trainingsbildern mit der gleichen „ground truth“ verarbeitet werden. Dies hat zum Ziel, das Gesamtsystem so zu trainieren, dass die Objekte trotz der Änderung noch richtig klassifiziert werden. Dabei ist im vorhinein nicht bekannt, wie genau sich welche Änderung auf die Erkennung welches Objekts auswirkt. Um eine maximale Sicherheit zu schaffen, müsste man also eigentlich für jedes Objekt, oder zumindest für jeden Objekttyp, aus dem zu erkennenden Kanon entsprechende zusätzliche Trainingsbilder erzeugen. Indem nun das KI-Modul so trainiert wird, dass die für die Klassifikation nicht relevanten Änderungen größtenteils bereits bei der Komprimierung zum Merkmalstensor hu „herausgefiltert“ werden, kann der entsprechende Aufwand deutlich reduziert werden.
  • Letztendlich wird also die Arbeitsteilung zwischen dem KI-Modul und dem Klassifikator dahingehend verbessert, dass beide Komponenten unabhängiger voneinander trainiert werden können.
  • Zugleich wird die Zuverlässigkeit der Erkennung verbessert, da viele Änderungen, die für die Klassifikation nicht relevant sind, bereits herausgefiltert werden können, noch ehe sie den Klassifikator erreichen.
  • Das vorgesehene Training des KI-Moduls hat zur Folge, dass kausale Mechanismen in den Messdaten identifiziert werden und zur Klassifikation nur solche Merkmale höherer Ordnung („features“) in Betracht gezogen werden, die kausal von der Klassenzugehörigkeit verursacht werden. So ist etwa die Zugehörigkeit eines Objekts zur Klasse „PKW“ kausal verantwortlich für die erhöhte Wahrscheinlichkeit der Anwesenheit von Rädern, Motorhauben, Windschutzscheiben oder Scheinwerfern. Die Tageszeit ist hingegen kausal verantwortlich für eine Änderung der Beleuchtungsverhältnisse im Bild, aber diese Beleuchtungsverhältnisse sind unabhängig vom Vorhandensein eines PKW im Bild.
  • Die Anzahl der Komponenten im Merkmalstensor hu richtet sich nach der jeweiligen Anwendung und hier insbesondere nach der Komplexität der Klassifikationsaufgabe, d.h. danach, wie viele unterschiedliche Objekte, Objekttypen oder Situationen zu erkennen sind, sowie nach dem eingesetzten Klassifikator. Für typische Klassifikationsaufgaben im Bereich des zumindest teilweise automatisierten Fahrens kann beispielsweise eine Anzahl der Komponenten im Bereich zwischen 15 und 25 sinnvoll sein.
  • In einer besonders vorteilhaften Ausgestaltung umfasst das KI-Modul mindestens ein künstliches neuronales Netzwerk, KNN. Derartige Netzwerke sind besonders dazu geeignet, eine sehr hohe Dimensionalität der Eingangsdaten von Schicht zu Schicht sukzessive zu reduzieren.
  • In einer weiteren besonders vorteilhaften Ausgestaltung umfasst der Klassifikator mindestens eine vollvernetzte Schicht eines weiteren künstlichen neuronalen Netzwerks, KNN. Die Klassifikation ist dann frei an Hand von „ground truth“ trainierbar, ohne dass bestimmte statistische Grundannahmen über die Trainingsdaten benötigt werden.
  • Besonders vorteilhaft ist das KI-Modul so trainiert, dass es die Hinzufügung, Entfernung und/oder den Austausch eines Objekts oder einer Situation als Änderung wertet, die das Objekt, bzw. die Situation, in ihrem semantischen Gehalt verändern. Datensätze, die sich um eine solche Änderung unterscheiden, sollten daher auf Merkmalstensoren hu abgebildet werden, die sich markant unterscheiden.
  • Besonders vorteilhaft ist das KI-Modul so trainiert, dass es Translationen, Drehungen, Spiegelungen, Transformationen der Farbskala, und/oder die Hinzufügung oder Entfernung von Rauschen, in Bilddaten des Datensatzes als Änderungen wertet, die den semantischen Gehalt des Objekts, bzw. der Situation, unverändert lassen. Datensätze, die sich nur um eine solche Änderung unterscheiden, sollten daher auf im Wesentlichen gleiche Merkmalstensoren hu abgebildet werden.
  • Wie das Training des KI-Moduls im Einzelnen durchgeführt wird, insbesondere mit welcher konkreten Zielfunktion, richtet sich nach der konkreten Anwendung und wird vom mit dieser Anwendung betrauten Fachmann entsprechend festgelegt. Der mit der Realisierung von KI-Modulen vertraute Fachmann ist in der Lage, die hier gegebene Lehre, dass der der Merkmalstensor hu selektiv auf solche Änderungen des Datensatzes reagieren soll, die das Objekt, bzw. die Situation, in ihrem semantischen Gehalt verändern, im Kontext der konkreten Anwendung in die Zielfunktion zu integrieren und das Training entsprechend durchzuführen.
  • Nach dem zuvor Beschriebenen ist eine wichtige Anwendung der Vorrichtung die Umfelderfassung für Fahrassistenzsysteme und insbesondere für das zumindest teilweise automatisierte Fahren. Daher bezieht sich die Erfindung auch auf ein Umfelderfassungssystem für ein Fahrzeug. Dieses System umfasst mindestens ein Messmodul zur Erfassung von Messdaten aus dem Umfeld des Fahrzeugs, mindestens eine zuvor beschriebene Vorrichtung zur Erkennung eines Objekts oder einer Situation, sowie mindestens eine Schnittstelle zur Übergabe erkannter Objekte und/oder Situationen an ein Steuerungssystem des Fahrzeugs. In Antwort auf die Übergabe mindestens eines vorgegebenen Objekts, bzw. mindestens einer vorgegebenen Situation, aktiviert das Steuerungssystem eine für den Fahrer des Fahrzeugs wahrnehmbare physikalische Warneinrichtung, und/oder es greift in ein Antriebssystem, Lenk- und/oder Bremssystem des Fahrzeugs ein, um nachteilige Folgen vom Fahrzeug, und/oder von dem Fahrer, abzuwenden.
  • Beispielsweise kann die Warnung, bzw. der Eingriff, zum Ziel haben, eine Kollision mit einem Objekt abzuwenden, und/oder das Fahrverhalten des Fahrzeugs regelkonform zu gestalten, um eine nachteilige Folge in Form der Sanktionierung eines Regelverstoßes vom Fahrer abzuwenden.
  • Die grundsätzliche Problemstellung, mit einem endlichen Vorrat an mit „ground truth“ versehenen Trainingsdaten auch völlig überraschende Fälle abzudecken und entsprechend zu reagieren, besteht auch beispielsweise in Sortieranlagen. Hier ist beispielsweise die Vielfalt an Fremdkörpern, die sich in einem Gutprodukt verbergen können, im Vorhinein nicht übersehbar. Daher bezieht sich die Erfindung auch auf eine Sortieranlage zur Separierung von Fremdkörpern und/oder Ausschussprodukt von einem Gutprodukt. Diese Sortieranlage umfasst mindestens ein Messmodul zur Erfassung von Messdaten aus einem Bereich, in dem eine Mischung aus Gutprodukt einerseits und Ausschussprodukt bzw. Fremdkörpern andererseits vorliegt. Weiterhin ist mindestens eine zuvor beschriebene Vorrichtung zur Erkennung eines Objekts vorgesehen. Die Sortieranlage umfasst mindestens einen Aktor, der in Antwort auf die Erkennung mindestens eines vorgegebenen Objekts angesteuert wird, um dieses Objekt zu markieren und/oder aus dem Bereich zu entfernen.
  • Eine ähnliche Problemstellung besteht auch in Zustandsüberwachungssystemen für Maschinen oder Anlagen auf der Basis von Messdaten. Hier ist es besonders wichtig, selektiv auf Anzeichen, die kausal durch einen unerwünschten Betriebszustand verursacht werden, zu reagieren. Daher bezieht sich die Erfindung auch auf ein Zustandsüberwachungssystem für eine Maschine oder Anlage. Dieses System umfasst mindestens ein Messmodul zur Erfassung von Messdaten mindestens eines von der Maschine oder Anlage ausgehenden physikalischen Signals, mindestens eine zuvor beschriebene Vorrichtung zur Erkennung eines Objekts oder einer Situation sowie mindestens einen Aktor, der in Antwort auf die Erkennung mindestens einer vorgegebenen Situation angesteuert wird, um die erkannte Situation abzustellen und/oder die Maschine oder Anlage in einen sicheren Zustand zu überführen. Das physikalische Signal kann insbesondere den Wert einer Zustandsgröße der Maschine oder Anlage repräsentieren. Das physikalische Signal kann jedoch auch beispielsweise ein Kamerabild der Maschine oder Anlage, und/oder von der Maschine oder Anlage ausgehende Schallwellen oder Vibrationen, umfassen.
  • Prinzipiell lässt sich die Vorrichtung in allen Anwendungen einsetzen, bei denen Klassifikation eine Rolle spielt, insbesondere in entsprechenden Deep Learning-Anwendungen, also beispielsweise auch bei der automatisierten Klassifikation von Krankheiten, etwa Augenkrankheiten, mittels Kamerabildern, bei der pixelweisen Klassifikation (semantischen Segmentierung) von Kamerabildern oder kamerabasierten Systemen zur automatischen Erkennung von verdächtigen Personen oder Gegenständen.
  • Die Erfindung bezieht sich auch auf ein Verfahren zum Trainieren eines KI-Moduls für die beschriebene Vorrichtung. Bei diesem Verfahren komprimiert das KI-Modul einen eingegebenen Datensatz sowohl in einen Merkmalstensor hu als auch in einen Variationstensor hv, d.h., dem eingegebenen Datensatz werden sowohl ein Merkmalstensor hu als auch ein Variationstensor hv zugeordnet, die beide jeweils eine deutlich geringere Dimensionalität aufweisen als der eingegebene Datensatz.
  • Es wird mindestens ein Datensatz x von Lern-Eingabedaten mit Änderungen, die den semantischen Gehalt der in den Lern-Eingabedaten verkörperten Objekte und Situationen unverändert lassen, zu einem abgewandelten Datensatz x̃ verarbeitet.
  • Das KI-Modul wird daraufhin trainiert, dass es den Datensätzen x und x̃ möglichst gleiche Merkmalstensoren hu und zugleich markant unterschiedliche Variationstensoren hv zuordnet. Diese Ziele können vom Fachmann, abhängig von der konkreten technischen Anwendung der Vorrichtung, in einer ihm geläufigen Weise und mit der Anwendung angemessener relativer Gewichtung zueinander in eine Kostenfunktion oder ein anderes Gütemaß für das Training implementiert werden. So beeinflusst in der konkreten Anwendung beispielsweise diese relative Gewichtung, wann zwei Merkmalstensoren hu als „möglichst gleich“ gewertet werden und wann zwei Variationstensoren hv als „markant unterschiedlich“ gewertet werden. Auch die Abbruchbedingung, bei deren Erfüllung das Training als hinreichend komplett gewertet wird, hängt von den Erfordernissen der konkreten Anwendung ab.
  • Auf diese Weise lässt sich die Erkennung von Objekten bzw. Situationen spezifisch gegen bestimmte Typen von für die Klassifikation nicht relevanten Änderungen unempfindlich machen. Es können also gezielt Änderungen aus der Erkennung „ausgeblendet“ werden. Änderungen, die nicht Gegenstand dieses Ausblendens sind, werden hingegen bei der Klassifikation weiterhin berücksichtigt. Somit kann insbesondere auf Objekte oder Situationen reagiert werden, die plötzlich in einem unvorhergesehenen Kontext auftreten.
  • In einer besonders vorteilhaften Ausgestaltung wird zusätzlich mindestens ein Datensatz x von Lern-Eingabedaten mit Änderungen, die das Objekt, bzw. die Situation, in ihrem semantischen Gehalt verändern, zu einem abgewandelten Datensatz x̃ verarbeitet. Das KI-Modul wird daraufhin trainiert, dass es den Datensätzen x und x̃ möglichst gleiche Variationstensoren hv und zugleich markant unterschiedliche Merkmalstensoren hu zuordnet. Dabei können in den Änderungen insbesondere solche unwichtigen Änderungen, die den semantischen Gehalt des Objekts, bzw. der Situation, unverändert lassen, vermieden werden.
  • Indem im Training auch solche Beispiele präsentiert werden, kann das KI-Modul gezielt dazu angehalten werden, solchen Änderungen, die für die Klassifikation relevant sind, möglichst große Änderungen im Merkmalstensor hu zuzuordnen. Damit kann vorteilhaft vermieden werden, dass das KI-Modul irrtümlich lernt, dass sehr kleine Änderungen im Merkmalstensor hu zur Unterscheidung der verschiedenen Klassen ausreichen. Dies hätte zur Folge, dass der Klassifikator sehr „fein abgestimmt“ sein muss. Indem möglichst große Änderungen im Merkmalstensor hu angestrebt werden, wird also die Robustheit der Klassifikation erhöht.
  • In einer besonders vorteilhaften Ausgestaltung beinhaltet die zu einem Optimum (etwa einem Extremum, also Maximum oder Minimum) zu führende Zielfunktion für das Trainieren des KI-Moduls die Änderung h(x̃)-h(x) einer skalaren oder vektoriellen Funktion h(x), die sowohl von den Elementen des Variationstensors hv abhängt als auch von Variablen hU *, die aus dem Merkmalstensor hu hervorgehen.
  • Dabei ist die Anzahl dieser Variablen geringer als die Anzahl der Elemente des Variationstensors hv. In der Änderung h(x̃)-h(x) sind also Änderungen des Variationstensors hv deutlich übergewichtet. Das KI-Modul wird hierdurch dazu veranlasst, die Änderung von x zu x̃ möglichst vollständig auf eine Änderung des Variationstensors hv abzubilden und zugleich die eigentliche Klassifikation unempfindlich gegen diese Änderung zu machen.
  • Der Variationstensor hV kann insbesondere genauso viele Komponenten haben wie es verschiedene Typen von „auszublendenden“ Änderungen gibt. Das KI-Modul kann dann beispielsweise so trainiert werden, dass eine Änderung, die von einem bestimmten Typ ist, im Variationstensor hv auf eine möglichst isolierte Änderung der zugehörigen Komponente abgebildet wird.
  • Um in h(x̃)-h(x) Änderungen des Variationstensors hv überzugewichten, kann vorteilhaft insbesondere der Merkmalstensor hu mit einer vollvernetzten Schicht eines künstlichen neuronalen Netzwerks zu einer einzigen Variablen hU*, die aus dem Merkmalstensor hU hervorgeht, komprimiert werden. Typischerweise hat ein Merkmalstensor hu für die Klassifikation sehr vieler verschiedener Objekte oder Situationen zunächst mehr Komponenten als ein Variationstensor hv, der dem „Ausblenden“ einiger weniger Typen von Änderungen dient.
  • Vorteilhaft beinhaltet die Zielfunktion den Logarithmus einer Softmax-Funktion der Änderung h(x̃)-h(x) sowie Erwartungswertbildungen über Verteilungen der Datensätze x und x̃. Die Softmax-Funktion bildet reellwertige Vektoren mit beliebigen Werten ihrer Komponenten auf reellwertige Vektoren gleicher Dimension ab, deren Komponenten im Intervall (0, 1) liegen und in der Summe 1 ergeben. Die Softmax-Funktion ist also eine kontinuierliche Relaxation einer Maximumfunktion, die einen definierten Gradienten besitzt und somit gut zum Training des KI-Moduls nach einem Gradientenaufstiegs- oder abstiegsverfahren genutzt werden kann.
  • Beispielsweise kann die Funktion h(x) in Submodule h1(x), h2(x), ..., hk(x) zerlegt sein, die jeweils
    • • einem bestimmten Typ einer Änderung in den Lern-Eingabedaten, die in den Lern-Eingabedaten verkörperte Objekte und Situationen in ihrem semantischen Gehalt verändert, bzw.
    • • einem bestimmten Typ einer „auszublendenden“ Änderung, die den semantischen Gehalt der Objekte und Situationen jeweils unverändert lässt,
    zugeordnet sind. Dabei kann beispielsweise ein Submodul h1(x) einer Variablen hU *, die aus dem Merkmalstensor hU hervorgeht, entsprechen.
  • Die Zielfunktion kann dann beispielsweise eine LATE-Funktion (LATE = Latent Average Treatment Effect) der Form L A T E ( K ) = E x [ E x ˜ k [ log exp ( h k ( x ˜ ) h k ( x ) ) j exp ( h j ( x ˜ ) h j ( x ) ) ] ]
    Figure DE102018205539A1_0001
    sein. Diese Funktion wird maximal, wenn die einzelnen Submodule zu unabhängigen, kausalen Features der Lern-Eingabedaten, bzw. unabhängigen „auszublendenden“ Änderungen der Lern-Eingabedaten, korrespondieren. Die Funktion begünstigt also, dass beim Trainieren des KI-Moduls nicht dieselben kausalen Mechanismen bzw. „auszublendenden“ Änderungen mehrfach abgebildet werden, sondern jeder unabhängige Mechanismus auf genau ein Submodul abgebildet wird.
  • Hierin ist Ex[f(x)] als Erwartunswertoerator zu verstehen dergestalt, dass E x [ f ( x ) ] = i p ( x i ) f ( x i ) ,
    Figure DE102018205539A1_0002
    wobei über alle i möglichen Werte von x summiert wird und wobei p(xi) ein Maß für die Wahrscheinlichkeit ist, dass x den Wert xi annimmt. Analoges gilt in Bezug auf die zweite Variable x̃, wobei der Index k bedeutet, dass die x̃ mit der dem k-ten Submodul zugeordneten Änderung erzeugt wurden.
  • Das Training des Klassifikators kann im Anschluss an das Training des Kl-Moduls erfolgen. In einer weiteren besonders vorteilhaften Ausgestaltung beinhaltet die Zielfunktion jedoch zusätzlich ein Maß für die Klassifikationsgüte des Klassifikators. Auf diese Weise können das KI-Modul und der Klassifikator gemeinsam trainiert werden. Insbesondere kann das KI-Modul von vornherein auf eine solche Bildung des Merkmalstensors hu trainiert werden, dass letztendlich eine optimale Klassifikationsgüte erhalten werden kann. Die Klassifikationsgüte des Klassifikators kann beispielsweise über die Minimierung der Klassifikations-Kostenfunktion, etwa einer Cross Entropy Loss-Funktion I, gemessen werden. Beispielsweise kann die kombinierte Zielfunktion von der Bauart arg   min W , h   E x , y [ k E x ˜ k , y ˜ k [ ( l ( y ˜ , W h ( x ˜ ) ) λ L A T E ( k ) ) ] ]
    Figure DE102018205539A1_0003
    sein. Hierin ist y die jeweilige „ground truth“, die zu den Lern-Eingabedaten x gehört. Dementsprechend ist ỹ die geänderte „ground truth“, nachdem die Lern-Eingabedaten x zu x̃ verändert wurden. Für das kombinierte Training des KI-Moduls und des Klassifikators werden also die Änderungen von x zu x̃ dahingehend verallgemeinert, dass auch solche Änderungen möglich sind, die das Objekt, bzw. die Situation, in ihrem semantischen Gehalt verändern und somit einer anderen Klasse des Klassifikators zuordnen. Bei allen „auszublendenden“ Änderungen, die den semantischen Gehalt des Objekts, bzw. der Situation, ungeändert lassen, ist ỹ=y.
  • Analog zur Funktion LATE(k) ist E wiederum der Erwartungswertoperator, der über alle möglichen Kombinationen von x und y, bzw. über alle möglichen Kombinationen von x̃ und ỹ nach Änderung durch das k-te Submodul, summiert. W beschreibt die Parameter (Gewichte) des Klassifikators. Der Gewichtungsfaktor λ bestimmt die relative Gewichtsverteilung zwischen den beiden einzelnen Zielfunktionen.
  • Wenn beispielsweise sowohl das KI-Modul als auch der Klassifikator jeweils als KNN ausgeführt sind, kann die kombinierte Zielfunktion beispielsweise durch stochastichen Gradientenabstieg iterativ minimiert werden.
  • Nach dem zuvor Beschriebenen bezieht sich die Erfindung auch auf ein Verfahren zur Erkennung eines Objekts oder einer Situation aus einem Datensatz, welcher Messdaten mindestens einer physikalischen Messgröße umfasst, in denen eine physikalische Erfassung des Objekts, bzw. der Situation, verkörpert ist. Bei diesem Verfahren wird zunächst eine zuvor beschriebene Vorrichtung mit dem zuvor beschriebenen Verfahren trainiert. Anschließend wird der Datensatz der Vorrichtung als Eingabe zugeführt, um anhand der Ausgabe des Klassifikators das Objekt, bzw. die Situation, zu erkennen.
  • Die Vorrichtung und das Verfahren können zumindest teilweise in einer Software implementiert sein, die als Update oder Upgrade zu einer bestehenden Vorrichtung, einem bestehenden Umfelderfassungssystem, einer bestehenden Sortieranlage und/oder einem bestehenden Zustandsüberwachungssystem verkaufbar ist und insofern ein eigenständiges Produkt darstellt. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, und/oder das Steuergerät, zu der beschrieben Vorrichtung zur Erkennung eines Objekts oder einer Situation aufwerten, und/oder dazu veranlassen, das beschriebene Verfahren zum Trainieren auszuführen. Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger oder ein Downloadprodukt mit dem Computerprogramm.
  • Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
  • Ausführungsbeispiele
  • Es zeigt:
    • 1 Ausführungsbeispiel der Vorrichtung 1;
    • 2 Ausführungsbeispiel eines Umfelderfassungssystems 42 mit der Vorrichtung 1;
    • 3 Ausführungsbeispiel einer Sortieranlage 50 mit der Vorrichtung 1;
    • 4 Ausführungsbeispiel eines Zustandsüberwachungssystems 61 mit der Vorrichtung 1;
    • 5 Ausführungsbeispiel des Verfahrens 100.
  • Nach 1 umfasst die Vorrichtung 1 zur Erkennung von Objekten 12 und Situationen 13 ein KI-Modul 2 und einen nachgeschalteten Klassifikator 3. Das KI-Modul 2 erhält den Datensatz 11 als Eingabe. In dem Datensatz 11 sind Messdaten 11a enthalten, wobei es sich in diesem Beispiel um Bilddaten handelt. In den Messdaten 11a ist eine physikalische Erfassung des Objekts 12 und der Situation 13 verkörpert, was durch die gedehnte bzw. gestauchte Darstellung der Bezugszeichen 12 und 13 in den Messdaten 11a und die Überlagerung mit weißem Rauschen 11c angedeutet ist.
  • Das KI-Modul 2 enthält ein künstliches neuronales Netzwerk, KNN 21. Dieses komprimiert die Messdaten 11a durch eine die Dimensionalität sehr stark reduzierende Abbildung einerseits auf einen Merkmalstensor hu und andererseits auf einen Variationstensor hV . Das KI-Modul 2 ist so trainiert, dass Änderungen des Datensatzes 11, die den semantischen Gehalt des Objekts 12, bzw. der Situation 13, unverändert lassen, sich hauptsächlich in Änderungen des Variationstensors hv manifestieren und den Merkmalstensor hu im Wesentlichen unverändert lassen. Umgekehrt wirken Änderungen, die das Objekt 12, bzw. die Situation 13, in ihrem semantischen Gehalt verändern, hauptsächlich auf den Merkmalstensor hU und lassen den Variationstensor hV im Wesentlichen unverändert.
  • Für den normalen Betrieb der Vorrichtung 1 im fertig trainierten Zustand wird nur der Merkmalstensor hu benötigt. Der Merkmalstensor hu wird dem Klassifizierer 3 zugeleitet, welcher ein weiteres KNN 31 mit einer vollvernetzten Schicht 32 aufweist. Der Klassifizierer 3 ermittelt eine Konfidenz dafür, dass der Datensatz 11 das Vorhandensein des Objekts 12, bzw. der Situation 13, anzeigt.
  • Der Variationstensor hv wird nur für das Trainieren des KI-Moduls 2 benötigt. Seine Erzeugung ist in 1 daher nur der Vollständigkeit halber eingezeichnet.
  • 2 zeigt ein Fahrzeug 40, dessen Umfeld 41 von einem Umfelderfassungssystem 42 überwacht wird. Ein Messmodul 43 des Systems 42 liefert Messdaten 11a an die Vorrichtung 1. Die Vorrichtung 1 erkennt in den Messdaten 11a das Vorhandensein des Objekts 12, bzw. der Situation 13, und leitet diese über eine Schnittstelle 44 an ein Steuerungssystem 45 des Fahrzeugs 40 weiter.
  • In Antwort auf die Übergabe mindestens eines vorgegebenen Objekts 12, bzw. mindestens einer vorgegebenen Situation 13, aktiviert das Steuerungssystem 45 eine physikalische Warneinrichtung 46a, und/oder das Steuerungssystem 45 greift in ein Antriebssystem 46b, in ein Lenksystem 46c, und/oder in ein Bremssystem 46d des Fahrzeugs 40 ein, um nachteilige Folgen vom Fahrzeug 40, und/oder von seinem Fahrer, abzuwenden.
  • Dabei sind die Regeln, welche Reaktion in Antwort auf welches Objekt 12, bzw. in Antwort auf welche Situation 13, ausgelöst wird, typischerweise in dem Steuersystem 45 implementiert. Das Steuersystem 45 benötigt also nur eine Information, welches Objekt 12, bzw. welche Situation 13, im Umfeld 41 des Fahrzeugs 40 vorliegt, um die richtige Reaktion auszulösen.
  • 3 zeigt ein Ausführungsbeispiel einer Sortieranlage 50. Auf einem Förderband 59 bewegt sich eine Mischung aus Gutprodukt 51, Fremdkörpern 52 sowie Ausschussprodukt 53 von links nach rechts. Eine Zeilenkamera 54 überwacht das Förderband 59 und gibt Messdaten 11a an die Vorrichtung 1. Diese Messdaten 11a enthalten eine Information darüber, wo in dem Bereich 55 jeweils Gutprodukt 51, Fremdkörper 52 und Ausschussprodukt 53 vorliegen. Die Vorrichtung 1 klassifiziert die Objekte 12 und steuert damit den Aktor 56 an, um, in diesem Beispiel mittels einer Druckluftdüse, Fremdkörper 52 und Ausschussprodukt 53 aus dem Bereich 55 zu entfernen.
  • 4 zeigt ein Ausführungsbeispiel eines Zustandsüberwachungssystems 61 für eine Verdichteranlage 60. Die Verdichteranlage 60 umfasst einen Verdichter 66, der von einem Elektromotor 67 angetrieben wird und angesaugte Luft 68 zu Druckluft 69 komprimiert. Der Elektromotor 67 wird über eine Spannungsquelle 65 versorgt.
  • Sowohl der Elektromotor 67 als auch der Verdichter 66 emittieren jeweils Betriebsgeräusche in Form von Schallwellen als physikalisches Signal 60a. Dieses physikalische Signal 60a wird von einem als Mikrofon ausgebildeten Messmodul 62 aufgefangen. Die Messdaten 11a werden an die Vorrichtung 1 weitergegeben, die hieraus die in der Verdichteranlage 60 vorliegende Situation 13 klassifiziert. Wenn eine bestimmte vorgegebene Situation 13 identifiziert wird, wenn also beispielsweise die Betriebsgeräusche auf eine unzureichende Schmierung hindeuten, dann wird der als Schalter ausgebildete Aktor 63 angesteuert, um die Spannungsversorgung des Elektromotors 67 zu unterbrechen und die Verdichteranlage 60 somit außer Betrieb zu setzen.
  • 5 zeigt ein Ausführungsbeispiel des Verfahrens 100. Ein Lern-Datensatz 11, x, der in diesem Beispiel das Bild der Ziffer 1 als Objekt 12 zeigt, wird in Schritt 110 so zu einem abgewandelten Datensatz 11b, x̃ verarbeitet, dass der semantische Gehalt des Objekts 12 nicht verändert wird. In diesem Beispiel wird weißes Rauschen 11c hinzugefügt.
  • Sowohl der ursprüngliche Lern-Datensatz 11, x als auch der abgewandelte Datensatz 11b, x̃ werden in Schritt 120 jeweils zu einem Merkmalstensor hu und zu einem Variationstensor hV komprimiert. Der Merkmalstensor hU würde im normalen Betrieb der Vorrichtung 1 vom Klassifikator 3 weiter verarbeitet. Zum Trainieren des KI-Moduls 2 wird der Merkmalstensor hu in diesem Beispiel jedoch in Schritt 125 zu einer einzigen skalaren Variablen hU* komprimiert. Diese skalare Variable hU* wird in Schritt 130 zusammen mit dem Variationstensor hV verwendet, um das KI-Modul 2 dahingehend zu trainieren, dass die Datensätze 11, x und 11b, auf möglichst gleiche Merkmalstensoren hu (und somit auf möglichst gleiche Werte der Variablen hU*) und zugleich auf markant unterschiedliche Variationstensoren hv abgebildet werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • EP 1752362 B1 [0004]
    • US 8682821 B2 [0005]

Claims (16)

  1. Vorrichtung (1) zur Erkennung eines Objekts (12) oder einer Situation (13) aus einem Datensatz (11), welcher Messdaten (11a) mindestens einer physikalischen Messgröße umfasst, in denen eine physikalische Erfassung des Objekts (12), bzw. der Situation (13), verkörpert ist, umfassend ein Künstliche-Intelligenz-Modul, KI-Modul (2), zur Komprimierung der Messdaten (11a) in einen Merkmalstensor hU, welcher eine gegenüber dem Datensatz (11) reduzierte Dimensionalität aufweist, weiterhin umfassend einen Klassifikator (3), der dazu ausgebildet ist, aus dem Merkmalstensor hu mindestens eine Konfidenz dafür auszuwerten, dass der Datensatz (11) das Vorhandensein des Objekts (12), bzw. der Situation (13), anzeigt, wobei das Objekt (12), bzw. die Situation (13), einen auf den Klassifikator (3) bezogenen semantischen Gehalt aufweist, wobei das KI-Modul (2) so trainiert ist, dass der Merkmalstensor hu selektiv auf solche Änderungen des Datensatzes (11) reagiert, die das Objekt (12), bzw. die Situation (13), in ihrem semantischen Gehalt verändern, und bei Änderungen des Datensatzes (11), die den semantischen Gehalt des Objekts (12), bzw. der Situation (13), unverändert lassen, im Wesentlichen invariant bleibt.
  2. Vorrichtung (1) nach Anspruch 1, wobei das KI-Modul (2) mindestens ein künstliches neuronales Netzwerk, KNN (21), umfasst.
  3. Vorrichtung (1) nach einem der Ansprüche 1 bis 2, wobei der Klassifikator (3) mindestens eine vollvernetzte Schicht (32) eines weiteren künstlichen neuronalen Netzwerks, KNN (31), umfasst.
  4. Vorrichtung (1) nach einem der Ansprüche 1 bis 3, wobei das KI-Modul (2) so trainiert ist, dass es die Hinzufügung, Entfernung und/oder den Austausch eines Objekts (12) oder einer Situation (13) als Änderung wertet, die das Objekt (12), bzw. die Situation (13), in ihrem semantischen Gehalt verändern.
  5. Vorrichtung (1) nach einem der Ansprüche 1 bis 4, wobei das KI-Modul (2) so trainiert ist, dass es Translationen, Drehungen, Spiegelungen, Transformationen der Farbskala, und/oder die Hinzufügung oder Entfernung von Rauschen, in Bilddaten des Datensatzes (11) als Änderungen wertet, die den semantischen Gehalt des Objekts (12), bzw. der Situation (13), unverändert lassen.
  6. Umfelderfassungssystem (42) für ein Fahrzeug (40), umfassend mindestens ein Messmodul (43) zur Erfassung von Messdaten (11a) aus dem Umfeld (41) des Fahrzeugs (40), mindestens eine Vorrichtung (1) nach einem der Ansprüche 1 bis 5, sowie mindestens eine Schnittstelle (44) zur Übergabe erkannter Objekte (12) und/oder Situationen (13) an ein Steuerungssystem (45), welches in Antwort auf die Übergabe mindestens eines vorgegebenen Objekts (12), bzw. mindestens einer vorgegebenen Situation (13), eine für den Fahrer des Fahrzeugs (40) wahrnehmbare physikalische Warneinrichtung (46a) aktiviert, und/oder in ein Antriebssystem (46b), Lenksystem (46c) und/oder Bremssystem (46d) des Fahrzeugs (40) eingreift, um nachteilige Folgen vom Fahrzeug (40), und/oder von dem Fahrer, abzuwenden.
  7. Sortieranlage (50) zur Separierung von Fremdkörpern (52) und/oder Ausschussprodukt (53) von einem Gutprodukt (51), umfassend mindestens ein Messmodul (54) zur Erfassung von Messdaten (11a) aus einem Bereich (55), in dem eine Mischung aus Gutprodukt (51) einerseits und Ausschussprodukt (53) bzw. Fremdkörpern (52) andererseits vorliegt, weiterhin umfassend mindestens eine Vorrichtung (1) nach einem der Ansprüche 1 bis 5 sowie mindestens einen Aktor (56), der in Antwort auf die Erkennung mindestens eines vorgegebenen Objekts (12) angesteuert wird, um dieses Objekt (12) zu markieren und/oder aus dem Bereich (55) zu entfernen.
  8. Zustandsüberwachungssystem (61) für eine Maschine oder Anlage (60), umfassend mindestens ein Messmodul (62) zur Erfassung von Messdaten (11a) mindestens eines von der Maschine oder Anlage (60) ausgehenden physikalischen Signals (60a), mindestens eine Vorrichtung (1) nach einem der Ansprüche 1 bis 5 sowie mindestens einen Aktor (63), der in Antwort auf die Erkennung mindestens einer vorgegebenen Situation (13) angesteuert wird, um die erkannte Situation (13) abzustellen und/oder die Maschine oder Anlage (60) in einen sicheren Zustand zu überführen.
  9. Verfahren (100) zum Trainieren eines KI-Moduls (2) für eine Vorrichtung (1) nach einem der Ansprüche 1 bis 5, wobei das KI-Modul (2) einen eingegebenen Datensatz (11) sowohl in einen Merkmalstensor hu als auch in einen Variationstensor hV komprimiert (120), wobei mindestens ein Datensatz x (11) von Lern-Eingabedaten mit Änderungen, die den semantischen Gehalt der in den Lern-Eingabedaten verkörperten Objekte (12) und Situationen (13) unverändert lassen, zu einem abgewandelten Datensatz x̃ (11b) verarbeitet wird (110) und wobei das KI-Modul (2) daraufhin trainiert wird (130), dass es den Datensätzen x (11) und x̃ (11b) möglichst gleiche Merkmalstensoren hu und zugleich markant unterschiedliche Variationstensoren hv zuordnet.
  10. Verfahren (100) nach Anspruch 9, wobei zusätzlich mindestens ein Datensatz x (11) von Lern-Eingabedaten mit Änderungen, die das Objekt (12), bzw. die Situation (13), in ihrem semantischen Gehalt verändern, zu einem abgewandelten Datensatz x̃ (11b) verarbeitet wird und wobei das KI-Modul (2) daraufhin trainiert wird (130), dass es den Datensätzen x (11) und x̃ (11b) möglichst gleiche Variationstensoren hv und zugleich markant unterschiedliche Merkmalstensoren hu zuordnet.
  11. Verfahren (100) nach einem der Ansprüche 9 bis 10, wobei die zu einem Optimum zu führende Zielfunktion für das Trainieren des KI-Moduls (2) die Änderung h(x̃)-h(x) einer skalaren oder vektoriellen Funktion h(x) beinhaltet, die sowohl von den Elementen des Variationstensors hv abhängt als auch von Variablen hU*, die aus dem Merkmalstensor hu hervorgehen, wobei die Anzahl dieser Variablen geringer ist als die Anzahl der Elemente des Variationstensors hv.
  12. Verfahren (100) nach Anspruch 11, wobei der Merkmalstensor hu mit einer vollvernetzten Schicht eines künstlichen neuronalen Netzwerks zu einer einzigen Variablen hU*, die aus dem Merkmalstensor hU hervorgeht, komprimiert wird (125).
  13. Verfahren (100) nach einem der Ansprüche 11 bis 12, wobei die Zielfunktion den Logarithmus einer Softmax-Funktion der Änderung h(x̃)-h(x) sowie Erwartungswertbildungen über Verteilungen der Datensätze x (11) und x̃ (11b) beinhaltet.
  14. Verfahren (100) nach einem der Ansprüche 11 bis 13, wobei die Zielfunktion zusätzlich ein Maß für die Klassifikationsgüte des Klassifikators (3) beinhaltet.
  15. Verfahren zur Erkennung eines Objekts (12) oder einer Situation (13) aus einem Datensatz (11), welcher Messdaten (11a) mindestens einer physikalischen Messgröße umfasst, in denen eine physikalische Erfassung des Objekts (12), bzw. der Situation (13), verkörpert ist, mit den Schritten: • eine Vorrichtung (1) nach einem der Ansprüche 1 bis 5 wird mit einem Verfahren nach einem der Ansprüche 9 bis 14 trainiert; • der Datensatz (11) wird der Vorrichtung (1) als Eingabe zugeführt, um anhand der Ausgabe des Klassifikators (3) das Objekt (12), bzw. die Situation (13), zu erkennen.
  16. Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, und/oder das Steuergerät, zu einer Vorrichtung (1) nach einem der Ansprüche 1 bis 5 aufwerten, und/oder dazu veranlassen, ein Verfahren (100) nach einem der Ansprüche 9 bis 15 auszuführen.
DE102018205539.4A 2018-04-04 2018-04-12 Erkennung von Objekten und Situationen in Messdaten mit verbesserter Unterdrückung nicht-repräsentativer Korrelationen Pending DE102018205539A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018205064.3 2018-04-04
DE102018205064 2018-04-04

Publications (1)

Publication Number Publication Date
DE102018205539A1 true DE102018205539A1 (de) 2019-10-10

Family

ID=67991949

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018205539.4A Pending DE102018205539A1 (de) 2018-04-04 2018-04-12 Erkennung von Objekten und Situationen in Messdaten mit verbesserter Unterdrückung nicht-repräsentativer Korrelationen

Country Status (1)

Country Link
DE (1) DE102018205539A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019219750B4 (de) 2019-12-16 2021-11-25 Zf Friedrichshafen Ag Fahrerassistenzsystem und Verfahren zum Detektieren von Objektbarrieren in 3D-Punktewolken
DE102020208765A1 (de) 2020-07-14 2022-01-20 Robert Bosch Gesellschaft mit beschränkter Haftung Bildklassifikator mit variablen rezeptiven Feldern in Faltungsschichten

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1752362A1 (de) 2005-08-08 2007-02-14 Robert Bosch Gmbh Spurassistenzsystem für Fahrzeuge
US8682821B2 (en) 2011-08-08 2014-03-25 Robert Bosch Gmbh Method for detection of movement of a specific type of object or animal based on radar signals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1752362A1 (de) 2005-08-08 2007-02-14 Robert Bosch Gmbh Spurassistenzsystem für Fahrzeuge
US8682821B2 (en) 2011-08-08 2014-03-25 Robert Bosch Gmbh Method for detection of movement of a specific type of object or animal based on radar signals

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019219750B4 (de) 2019-12-16 2021-11-25 Zf Friedrichshafen Ag Fahrerassistenzsystem und Verfahren zum Detektieren von Objektbarrieren in 3D-Punktewolken
DE102020208765A1 (de) 2020-07-14 2022-01-20 Robert Bosch Gesellschaft mit beschränkter Haftung Bildklassifikator mit variablen rezeptiven Feldern in Faltungsschichten

Similar Documents

Publication Publication Date Title
DE102017127592A1 (de) Verfahren zum Klassifizieren von Bildszenen in einem Fahrunterstützungssystem
DE102011055459A1 (de) Adaptierungstechnik zur Erkennung einer freien Fahrbahn mit zusätzlichen Klassifikatoren
DE102018218098A1 (de) Verfahren und Vorrichtung zum Abstrahieren eines Datensatzes
DE102018205539A1 (de) Erkennung von Objekten und Situationen in Messdaten mit verbesserter Unterdrückung nicht-repräsentativer Korrelationen
DE102020103201A1 (de) Verfahren zum von Testszenarios für ADAS
DE102016120066A1 (de) Computer-implementiertes Verfahren zum Kontrollieren bzw. Testen eines Objekterkennungssystems
DE102019208733A1 (de) Verfahren und Generator zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102018113621A1 (de) Verfahren zum Trainieren eines konvolutionellen neuronalen Netzwerks zum Verarbeiten von Bilddaten zur Anwendung in einem Fahrunterstützungssystem
DE102019208735B4 (de) Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
WO2021122338A1 (de) Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen
DE102020208008A1 (de) Bildklassifikation und zugehöriges Training für sicherheitsrelevante Klassifikationsaufgaben
WO2020200620A1 (de) Maskierung von in einem bild enthaltenen objekten
DE102021200643B3 (de) Verfahren zur Umfelderkennung für teilautonome oder autonome Fahrfunktionen eines Kraftfahrzeugs mittels eines neuronalen Netzes
DE102019204187A1 (de) Klassifizierung und temporale Erkennung taktischer Fahrmanöver von Verkehrsteilnehmern
DE102018132627A1 (de) Verfahren zum Erfassen einer Umgebung eines Kraftfahrzeugs mittels zeitlicher Fusion von Bildern durch ein künstliches neuronales Netz; Steuereinheit, Fahrerassistenzsystem; Computerprogrammprodukt
DE102018217183A1 (de) Erlernen einer Lichtverteilung für einen Scheinwerfer
DE102018207923A1 (de) Verbessertes Training eines Klassifikators
DE102018114912A1 (de) Verfahren zum Klassifizieren einer Farbe einer Fahrbahnmarkierung mittels eines statistischen Fahrbahnmarkierungsbestimmungsmodells, elektronische Recheneinrichtung sowie Fahrerassistenzsystem
DE102021204040A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung von Trainingsdaten im Fahrzeug
DE102020004790A1 (de) Vorrichtung zur Erkennung von Verkehrszeichen von einem Fahrzeug
WO2021063572A1 (de) Vorrichtung und verfahren zum verarbeiten von daten eines neuronalen netzes
DE102020203707A1 (de) Plausibilisierung der Ausgabe neuronaler Klassifikatornetzwerke
DE102019211017A1 (de) Verfahren zum Clustern verschiedener Zeitreihenwerte von Fahrzeugdaten und Verwendung des Verfahrens
DE102019216184A1 (de) Verfahren zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication