DE102021209210A1

DE102021209210A1 - Numerisch stabileres Training eines neuronalen Netzwerks auf als Punktwolke vorliegenden Lern-Messdaten

Info

Publication number: DE102021209210A1
Application number: DE102021209210.1A
Authority: DE
Inventors: Andrej Junginger; Thilo Strauss
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-08-23
Filing date: 2021-08-23
Publication date: 2023-02-23
Also published as: CN115719091A; US20230057329A1

Abstract

Verfahren (100) zum überwachten Trainieren eines neuronalen Netzwerks (1) mit den Schritten:• es werden Lern-Beispiele (4) aus Lern-Messdaten (2a) und zugehörigen Lern-Ausgangsgrößen (3a) bereitgestellt (110);• ein Raumgebiet, das mindestens einen Teil der durch die Lern-Messdaten (2a) eines Lern-Beispiels (4) angegebenen Orte (2b) enthält, wird in ein Gitter (5) aus aneinander angrenzenden Zellen (5a) unterteilt (120);• für jede Zelle (5a) werden die in den Lern-Messdaten (2a) des Lern-Beispiels (4) zu allen Orten (2b) in dieser Zelle (5a) enthaltenen Werte (2c) der Messgrößen zu Werten (5b) der Messgrößen, die sich auf diese Zelle (5a) beziehen, aggregiert (130);• diese aggregierten Werte (5b) der Messgrößen werden von dem neuronalen Netzwerk (1) auf eine oder mehrere Ausgangsgrößen (3) abgebildet (140);• Abweichungen dieser Ausgangsgrößen (3) von den Lern-Ausgangsgrößen (3a) werden mit einer vorgegebenen Kostenfunktion (6) bewertet (150), die gewichtet aus Beiträgen (6a) einzelner Zellen (5a) des Gitters (5) zusammengesetzt ist, wobei das Gewicht α eines jeden Beitrags (6a) von der Belegung der entsprechenden Zelle (5a) mit in den Lern-Messdaten (2a) des Lern-Beispiels (4) enthaltenen Orten (2a) abhängt;• Parameter (1a), die das Verhalten des neuronalen Netzwerks (1) charakterisieren, werden optimiert (160) mit dem Ziel, dass sich bei weiterer Verarbeitung von Lern-Beispielen (4) die Bewertung (6b) durch die Kostenfunktion (6) voraussichtlich verbessert.

Description

Die vorliegende Erfindung betrifft das Training neuronaler Netzwerke, die beispielsweise zur Auswertung von Beobachtungen eines Fahrzeugumfelds mittels Radar, Lidar und/oder Ultraschall eingesetzt werden können.
Stand der Technik
Damit sich ein Fahrzeug zumindest teilweise automatisiert im Straßenverkehr bewegen kann, ist es erforderlich, das Umfeld des Fahrzeugs zu erfassen und Gegenmaßnahmen einzuleiten, falls eine Kollision mit einem Objekt im Umfeld des Fahrzeugs droht. Auch die Erstellung einer Umfeld-Repräsentation und Lokalisierung sind für sicheres automatisiertes Fahren notwendig.
Die Erfassung von Objekten mittels Radar ist von den Lichtverhältnissen unabhängig und beispielsweise auch bei Nacht auf größere Entfernung möglich, ohne dass der Gegenverkehr durch Fernlicht geblendet wird. Aus den Radardaten gehen weiterhin unmittelbar die Entfernung und Geschwindigkeit von Objekten hervor. Diese Informationen sind wichtig für die Beurteilung, ob es zu einer Kollision mit den Objekten kommen kann. Um welchen Typ von Objekt es sich handelt, ist jedoch aus Radarsignalen nicht unmittelbar erkennbar.
Neben der Berechnung von Attributen aus der Digitalen Signalverarbeitung kommen zunehmend neuronale Netzwerke zum Einsatz, um Objekte anhand von mit Radar angefertigten Beobachtungen des Fahrzeugumfelds zu klassifizieren. Die DE 10 2019 220 069 A1 offenbart ein beispielhaftes Verfahren.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Verfahren zum überwachten Trainieren eines neuronalen Netzwerks entwickelt. Dieses neuronale Netzwerk bildet Messdaten auf eine oder mehrere Ausgangsgrößen ab. Die Messdaten ordnen Orten im zwei- oder dreidimensionalen Raum, die nicht zusammenhängen müssen, Werte einer oder mehrerer Messgrößen zu. Die Messdaten können also als im Raum verteilte Punktwolke mit skalaren oder vektoriellen Werten von Messgrößen angesehen werden.
Für das Training werden Lern-Beispiele aus Lern-Messdaten und zugehörigen Lern-Ausgangsgrößen bereitgestellt. Ein Lern-Beispiel kombiniert also eine Punktwolke aus Messdaten, die jeweils Orten im Raum zugeordnet sind, mit den Lern-Ausgangsgrößen, die das neuronale Netzwerk im trainierten Zustand idealerweise liefern soll, wenn ihm die Lern-Messdaten aus dieser Punktwolke zugeführt werden.
Ein Raumgebiet, das mindestens einen Teil der durch die Lern-Messdaten eines Lern-Beispiels angegebenen Orte enthält, wird in ein Gitter aus aneinander angrenzenden Zellen unterteilt. Für jede Zelle werden die in den Lern-Messdaten des Lern-Beispiels zu allen Orten in dieser Zelle enthaltenen Werte der Messgrößen zu Werten der Messgrößen, die sich auf diese Zelle beziehen, aggregiert. Das heißt, jeder Ort, der in den Lern-Messdaten des Lern-Beispiels angegeben ist, wird daraufhin geprüft, ob er in einer bestimmten Zelle des Gitters liegt, und wenn dies der Fall ist, nehmen die zu diesem Ort gehörenden Werte der einen oder mehreren Messgrößen an der Aggregation teil. Für Zellen, in die keine in den Lern-Messdaten enthaltenen Orte fallen, bleibt das Ergebnis der Aggregation in Bezug auf die eine oder mehreren Messgrößen jeweils Null.
Die den Zellen des Gitters zugeordneten, aggregierten Werte der Messgrößen werden von dem neuronalen Netzwerk auf eine oder mehrere Ausgangsgrößen abgebildet. Gerade der Bezug auf die Zellen des Gitters ermöglicht es, die Werte in einer Matrix oder einem Tensor zusammenzufassen, um sie in dieser Form dem neuronalen Netzwerk zuzuführen. Die meisten neuronalen Netzwerke erwarten eine Eingabe als Matrix oder Tensor und können Messdaten, die als Punktwolke vorliegen, nicht direkt verarbeiten.
Die besagten aggregierten Werte der Messgrößen werden von dem neuronalen Netzwerk auf eine oder mehrere Ausgangsgrößen abgebildet. Abweichungen dieser Ausgangsgrößen von den Lern-Ausgangsgrößen werden mit einer vorgegebenen Kostenfunktion bewertet, die das Feedback für das Training liefert. Im Unterschied zum bisher bekannten Training neuronaler Netzwerke ist diese Kostenfunktion nun gewichtet aus Beiträgen einzelner Zellen des Gitters zusammengesetzt, wobei das Gewicht α eines jeden Beitrags von der Belegung der entsprechenden Zelle mit in den Lern-Messdaten des Lern-Beispiels enthaltenen Orten abhängt.
Im Fall eines zweidimensionalen Gitters mit Indizes i und j kann also beispielsweise die Kostenfunktion die Form $L = \sum_{i, j} ƒ (G_{N N} (i, j), G_{G T}) \cdot α (i, j)$
haben. Hierin ist G_NN(i,j) der Beitrag einer Gitterzelle mit den Indizes i und j zum Ergebnis, das das neuronale Netzwerk insgesamt liefert. G_GT bezeichnet die „Ground Truth“, also die Lern-Ausgangsgrößen, die das neuronale Netzwerk nominell liefern sollte. Die Funktion f misst, inwieweit der Beitrag G_NN(i,j) von seinem Soll angesichts der „Ground Truth“ G_GT abweicht. Die Funktion f kann beispielsweise einen mittleren quadratischen Fehler oder eine L1-Norm angeben.
Parameter, die das Verhalten des neuronalen Netzwerks charakterisieren, werden optimiert mit dem Ziel, dass sich bei weiterer Verarbeitung von Lern-Beispielen die Bewertung durch die Kostenfunktion voraussichtlich verbessert.
Der Begriff „voraussichtlich“ ist in diesem Zusammenhang so zu verstehen, dass iterative numerische Optimierungsalgorithmen die neuen Werte der Parameter für die nächste Iteration auf Grund der Vorgeschichte an Iterationen auswählen in der Erwartung, dass sich hiermit die Bewertung durch die Kostenfunktion verbessert. Diese Erwartung muss sich jedoch nicht für jede Iteration erfüllen, d.h., eine Iteration kann sich auch als „Rückschritt“ erweisen. Der Optimierungsalgorithmus kann jedoch auch ein Feedback dieser Art nutzen, um so letztendlich zu Werten der Parameter zu gelangen, für die sich die Bewertung durch die Kostenfunktion verbessert.
Beim Überführen der als Punktwolke vorliegenden Lern-Messdaten in aggregierte Messgrößen, die jeweils Zellen des Gitters zugeordnet sind, hängt es entscheidend von der Maschenweite des Gitters ab, für wie viele Zellen die Aggregation überhaupt auf von Null verschiedene Werte führt und für wie viele Zellen sie auf Null stehenbleibt. Wenn in einem Extrembeispiel das Raumgebiet nur in vier Quadranten unterteilt würde, würden in jedem dieser Quadranten Orte liegen, denen die Lern-Messdaten Werte von Messgrößen zuordnen. Wenn im anderen Extrem das Raumgebiet in Zellen von 1 cm² (oder im dreidimensionalen Fall 1 cm³) unterteilt würde, wäre die Aggregation nur für so viele Zellen des Gitters ungleich Null wie es Orte in der Punktwolke des entsprechenden Lern-Beispiels gibt. Dem stünde eine überwältigende Mehrheit von Zellen gegenüber, die nicht mit Orten aus dem Lern-Beispiel besetzt sind und für die das Ergebnis der Aggregation daher Null ist.
Es wurde nun erkannt, dass der prozentuale Anteil der Zellen des Gitters, für die das Ergebnis der Aggregation Null ist, sich auf die numerische Stabilität des Trainings auswirkt. Wenn dieser Anteil einen bestimmten kritischen Wert überschreitet, wird eine triviale Ausgabe von ausschließlich Nullen als Ausgangsgrößen von der Kostenfunktion bislang sehr günstig bewertet. Der kleine Fehler, der dadurch entsteht, dass die wenigen von Null verschiedenen Aggregationen „unter den Tisch fallen“, ist aus Sicht der Kostenfunktion hinnehmbar. Dies ist ein Stück weit analog zur Parksituation in Innenstädten mit Parkscheinpflicht: Wenn pro Tag nur ein verschwindend geringer Anteil der Parkflächen von der Verkehrsüberwachung kontrolliert und bei fehlendem Parkschein ein Verwarnungsgeld erhoben wird, ist es im Schnitt günstiger und bequemer, nicht jeden Tag passende Münzen zu suchen und in den Parkscheinautomaten zu füttern, sondern im Schnitt einmal alle drei Wochen 5 € Verwarnungsgeld per Überweisung zu zahlen.
Genau an dieser Stelle setzt die Gewichtung der Kostenfunktion an. Sie sorgt dafür, dass Zellen des Gitters, die nicht mit Orten des Lern-Beispiels belegt sind, eine deutlich schwächere Stimme gegeben wird als Zellen des Gitters, die mit mehreren oder gar vielen dieser Orte belegt sind. Dadurch ist die triviale Lösung, alle Ausgangsgrößen auf Null zu setzen, aus Sicht der Kostenfunktion nicht mehr die günstigste. Um eine gute Bewertung durch die Kostenfunktion zu erlangen, bleibt dem neuronalen Netzwerk also nichts Anderes übrig, als sich im Detail mit den aggregierten Werten der Messgrößen zu denjenigen Zellen, die mit Orten des Lern-Beispiels belegt sind, auseinanderzusetzen. In dem beschriebenen Beispiel der Parksituation entspricht dies einer deutlichen Erhöhung der Sanktionsandrohung für Verstöße. Wenn im Schnitt alle drei Wochen nicht mehr nur 5 € Verwarnungsgeld gezahlt werden müssen, sondern eine zeitraubende Fahrt zum Abschleppunternehmen in der Nachbarstadt nötig ist und das Fahrzeug dort für 300 € ausgelöst werden muss, ist der völlige Verzicht auf Parkscheine plötzlich nicht mehr die günstigste Lösung. Stattdessen wird der Lernprozess sehr bald auf die Lösung konvergieren, sich abends passende Münzen zurechtzulegen und diese morgens in den Automaten zu werfen.
In einer vorteilhaften Ausgestaltung wird das Gewicht α des Beitrags mindestens einer Zelle zur Kostenfunktion

• auf einen ersten positiven Wert a festgelegt wird, wenn die Lern-Messdaten des Lern-Beispiels keinen Ort in dieser Zelle angeben, und
• auf einen zweiten, höheren positiven Wert b festgelegt wird, wenn die Lern-Messdaten des Lern-Beispiels mindestens einen Ort in dieser Zelle angeben.

Die Anzahl der Zellen, in denen laut dem aktuellen Lern-Beispiel kein in den Messdaten angegebener Ort liegt, bleibt dann nicht völlig unberücksichtigt. Jedoch wird den seltenen Zellen, in denen laut dem aktuellen Beispiel ein in den Messdaten angegebener Ort liegt, deutlich mehr Bedeutung beigemessen.
Hierbei kann insbesondere beispielsweise der zweite positive Wert b zwischen dem Achtfachen und dem Zwanzigfachen des ersten positiven Werts a betragen. Insbesondere hat sich in Versuchen der Erfinder gezeigt, dass mit einem Wert b, der etwa das Zehnfache des Werts a betrug, wesentlich stabilere Trainingsvorgänge und eine wesentlich bessere Leistung des letztendlich trainierten neuronalen Netzwerks auf Test- oder Validierungsdaten erzielt werden konnten. Im Extremfall war es nur durch die Einführung des Gewichts α überhaupt erst zu erreichen, dass das neuronale Netzwerk beim Training die mit Orten von Messdaten des Lern-Beispiels besetzten Zellen berücksichtigte.
In einer weiteren vorteilhaften Ausgestaltung wird eine Verteilung der Gewichte α innerhalb des Gitters so gewählt, dass Zellen, innerhalb derer die Lern-Messdaten des Lern-Beispiels keinen Ort angeben, insgesamt den gleichen Beitrag zur Kostenfunktion leisten wie Zellen, innerhalb derer die Lern-Messdaten des Lern-Beispiels mindestens einen Ort angeben. Auf diese Weise kann die Gewichtung insbesondere beispielsweise über eine Vielzahl von Lern-Beispielen normiert werden. Die Verteilung der Gewichte α kann also für jedes einzelne Lern-Beispiel angepasst werden. Dies ist beispielsweise bei der Verarbeitung von Radar- oder Lidar-Reflexen als Messdaten besonders vorteilhaft. Je nachdem, aus welcher Perspektive ein Objekt mit entsprechender Abfragestrahlung beleuchtet wird, können die entstehenden Reflexe über das ganze Raumgebiet verteilt oder aber nur in einem kleinen Teil des Raumgebiets konzentriert sein.
In einer weiteren vorteilhaften Ausgestaltung wird mindestens ein Gewicht α ebenfalls mit dem Ziel optimiert, dass sich bei weiterer Verarbeitung von Lern-Messdaten die Bewertung durch die Kostenfunktion voraussichtlich verbessert. Diese Optimierung kann insbesondere beispielsweise mit der Optimierung der Parameter des neuronalen Netzwerks verzahnt werden. Diese Parameter umfassen insbesondere Gewichte, mit denen Eingaben, die einem Neuron oder einer anderen Verarbeitungseinheit zugeführt werden, zu Aktivierungen dieses Neurons, bzw. dieser Verarbeitungseinheit, verrechnet werden. Auf Grund dieser Verwandtschaft der Parameter zu den Gewichten α lässt sich die Bewertung der Kostenfunktion nicht nur gut auf Änderungen der Parameter des neuronalen Netzwerks zurückpropagieren, sondern auch auf Änderungen der Gewichte α.
Wie zuvor erläutert, wird durch die Gewichte α in der Kostenfunktion der Effekt kompensiert, dass eine Verkleinerung der Maschenweite des Gitters diejenigen Zellen des Gitters, in denen laut dem aktuellen Lern-Beispiel Orte von Lern-Messdaten liegen, in der Kostenfunktion in die Bedeutungslosigkeit drängt. Dadurch wird die Maschenweite wieder zu einem Freiheitsgrad in dem wörtlichen Sinne, dass sie frei im Hinblick auf eine möglichst gute Leistung des neuronalen Netzwerks optimiert werden kann.
Daher wird in einer weiteren vorteilhaften Ausgestaltung das Training für mehrere Unterteilung des Raumgebiets in Gitter mit unterschiedlichen Maschenweiten wiederholt. Diejenige Maschenweite, für die das Training auf die beste Bewertung durch die Kostenfunktion konvergiert, wird als optimale Maschenweite für den Wirkbetrieb des neuronalen Netzwerks festgelegt.
Besonders vorteilhaft können Lern-Messdaten mit Messgrößen, die Reflexe von Radarstrahlung, Laserstrahlung und/oder Ultraschallwellen an Orten im Raum charakterisieren, gewählt werden. Lern-Beispiele mit auf diese Weise gewonnenen Messdaten enthalten sehr häufig Punktwolken, die nur einen kleinen Teil des Raumes ausfüllen und bei der Überführung in das Gitter viele Zellen erzeugen, in denen die Aggregation jeweils Null ist.
Eine vorteilhafte Anwendung für neuronale Netzwerke, die in der beschriebenen Weise trainiert werden können, besteht im Überführen von Messdaten von einer ersten Messkonfiguration auf eine zweite Messkonfiguration. Bereits vorhandene Messdaten können damit auf diejenigen Messdaten abgebildet werden, die entstanden wären, wenn die verwendeten Sensoren anders verbaut worden wären.
Somit werden in einer vorteilhaften Ausgestaltung Lern-Messdaten gewählt, die durch Beobachtung einer Szenerie mit einem ersten Messaufbau, und/oder aus einer ersten Perspektive, erhalten wurden. Zugleich werden Lern-Ausgangsgrößen gewählt, die durch Beobachtung der gleichen Szenerie mit einem zweiten Messaufbau, und/oder aus einer zweiten Perspektive, erhalten wurden.
Eine weitere vorteilhafte Anwendung besteht im Erzeugen neuer synthetischer Messdaten für die bereits vorhandene Messkonfiguration. Beispielsweise können auf diese Weise Fluktuationen nachgebildet werden, die bei nacheinander aufgenommenen Radar-Messungen ein und derselben Szenerie mit der gleichen Messkonfiguration entstehen.
Somit werden in einer weiteren vorteilhaften Ausgestaltung Lern-Messdaten und Lern-Ausgangsgrößen gewählt, die durch Beobachtung einer Szenerie mit ein und demselben Messaufbau, und/oder aus ein und derselben Perspektive, erhalten wurden.
Speziell bei diesen Anwendungen, in denen neue Messdaten zu erzeugen sind, lässt sich die Kostenfunktion besonders einfach in Beiträgen einzelner Zellen des Gitters ausdrücken. Die Ausgangsgröße lässt sich dann insbesondere zunächst als neues Gitter mit Werten ausdrücken, das die gleiche Dimension hat wie das ursprünglich dem neuronalen Netzwerk zugeführte Gitter. Aus dem neuen Gitter kann dann beispielsweise eine Punktwolke der neuen Messdaten gesampelt werden. „Mängel“ der neuen Messdaten, die von der Kostenfunktion „gerügt“ werden, können dann direkt auf bestimmte Zellen im ursprünglich zugeführten Gitter zurückgeführt werden.
In einer weiteren vorteilhaften Ausgestaltung werden wobei Lern-Ausgangsgrößen gewählt, die Klassifikations-Scores der Lern-Eingangsgrößen in Bezug auf eine oder mehrere Klassen einer vorgegebenen Klassifikation beinhalten. Dies ist eine der wichtigsten Anwendungen neuronaler Netzwerke insbesondere für Fahrassistenzsysteme sowie Systeme für das zumindest teilweise automatisierte Fahren.
Wie zuvor erläutert, verbessert das zuvor beschriebene Training die Leistung des neuronalen Netzwerks im späteren Wirkbetrieb. Daher bezieht sich die Erfindung auch auf ein weiteres Verfahren.
Bei diesem Verfahren wird ein neuronales Netzwerk mit dem zuvor beschriebenen Verfahren trainiert. Anschließend werden dem trainierten neuronalen Netzwerk Messdaten zugeführt, die mit mindestens einem von einem Fahrzeug mitgeführten Sensor aufgenommen wurden. Aus den vom neuronalen Netzwerk gelieferten Ausgangsgrößen wird ein Ansteuersignal ermittelt. Das Fahrzeug kann dann mit dem Ansteuersignal angesteuert werden.
Auf Grund der durch das neuartige Training verbesserten Leistung des neuronalen Netzwerks ist dann die Wahrscheinlichkeit erhöht, dass die durch das Ansteuersignal ausgelöste Reaktion des Fahrzeugs der durch den mindestens einen Sensor erfassten Verkehrssituation angemessen ist.
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Ausführungsbeispiele
Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zum Trainieren eines neuronalen Netzwerks 1;
2 Veranschaulichung der Überführung von als Punktwolke vorliegenden Messdaten 2 in ein Gitter 5;
3 Ausführungsbeispiel des Verfahrens 200 mit der vollständigen Wirkkette bis zur Ansteuerung eines Fahrzeugs 50.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zum Trainieren eines neuronalen Netzwerks 1. Das neuronale Netzwerk 1 bildet Messdaten 2 auf eine oder mehrere Ausgangsgrößen 3 ab. Diese Messdaten 2 ordnen Orten 2b im zwei- oder dreidimensionalen Raum Werte 2c einer oder mehrerer Messgrößen zu.
In Schritt 110 werden Lern-Beispiele 4 aus Lern-Messdaten 2a und zugehörigen Lern-Ausgangsgrößen 3a bereitgestellt. Die Lern-Messdaten 2a umfassen jeweils Werte 2c von Messgrößen, die Orten 2b zugeordnet sind.
Gemäß Block 111 können hierbei insbesondere beispielsweise Lern-Messdaten 2a mit Messgrößen 2c, die Reflexe von Radarstrahlung, Laserstrahlung und/oder Ultraschallwellen an Orten 2b im Raum charakterisieren, gewählt werden.
Gemäß Block 111a können insbesondere beispielsweise Lern-Messdaten 2a gewählt werden, die durch Beobachtung einer Szenerie mit einem ersten Messaufbau, und/oder aus einer ersten Perspektive, erhalten wurden. Es können dann gemäß Block 111b Lern-Ausgangsgrößen 3a gewählt werden, die durch Beobachtung der gleichen Szenerie mit einem zweiten Messaufbau, und/oder aus einer zweiten Perspektive, erhalten wurden.
Gemäß Block 111c können insbesondere beispielsweise Lern-Ausgangsgrößen 3a gewählt werden, die durch Beobachtung einer Szenerie mit ein und demselben Messaufbau, und/oder aus ein und derselben Perspektive, erhalten wurden.
Gemäß Block 112 können insbesondere beispielsweise Lern-Ausgangsgrößen 3a gewählt werden, die Klassifikations-Scores der Lern-Eingangsgrößen 2a in Bezug auf eine oder mehrere Klassen einer vorgegebenen Klassifikation beinhalten.
In Schritt 120 wird ein Raumgebiet, das mindestens einen Teil der durch die Lern-Messdaten 2a eines Lern-Beispiels 4 angegebenen Orte 2b enthält, in ein Gitter 5 aus aneinander angrenzenden Zellen 5a unterteilt.
In Schritt 130 werden für jede Zelle 5a die in den Lern-Messdaten 2a des Lern-Beispiels 4 zu allen Orten 2b in dieser Zelle 5a enthaltenen Werte 2c der Messgrößen zu Werten 5b der Messgrößen, die sich auf diese Zelle 5a beziehen, aggregiert. Dies ist in 2 näher erläutert.
In Schritt 140 werden diese aggregierten Werte 5b der Messgrößen werden von dem neuronalen Netzwerk 1 auf eine oder mehrere Ausgangsgrößen 3 abgebildet.
In Schritt 150 werden Abweichungen dieser Ausgangsgrößen 3 von den Lern-Ausgangsgrößen 3a mit einer vorgegebenen Kostenfunktion 6 bewertet, so dass eine Bewertung 6b entsteht. Diese Bewertung 6b ist gewichtet aus Beiträgen 6a einzelner Zellen 5a des Gitters 5 zusammengesetzt. Das Gewicht α eines jeden Beitrags 6a hängt von der Belegung der entsprechenden Zelle 5a mit in den Lern-Messdaten 2a des Lern-Beispiels 4 enthaltenen Orten 2a ab.
Gemäß Block 151 kann das Gewicht α des Beitrags 6a mindestens einer Zelle 5a zur Kostenfunktion 5 auf einen ersten positiven Wert a festgelegt werden, wenn die Lern-Messdaten 2a des Lern-Beispiels 4 keinen Ort 2b in dieser Zelle 5a angeben. Gemäß Block 152 kann dieses Gewicht α auf einen zweiten, höheren positiven Wert b festgelegt werden, wenn die Lern-Messdaten 2a des Lern-Beispiels 4 mindestens einen Ort 2b in dieser Zelle 5a angeben.
Gemäß Block 153 kann eine Verteilung der Gewichte α innerhalb des Gitters 5 so gewählt werden, dass Zellen 5a, innerhalb derer die Lern-Messdaten 2a des Lern-Beispiels 4 keinen Ort 2b angeben, insgesamt den gleichen Beitrag zur Kostenfunktion 5 leisten wie Zellen 5a, innerhalb derer die Lern-Messdaten 2a des Lern-Beispiels 4 mindestens einen Ort 2b angeben. Beispielsweise kann der erste positive Wert a auf α = 1 - N_2b=0 festgelegt werden, wobei N_2b=0 die Anzahl derjenigen Zellen 5a ist, in die kein durch die Messdaten 2a des Lern-Beispiels 4 angegebener Ort 2b fällt. Der zweite positive Wert b kann dann auf b = 1 - N_2b>0 festgelegt werden, wobei N_2b>0 die Anzahl derjenigen Zellen 5a ist, in die mindestens ein durch die Messdaten 2a des Lern-Beispiels 4 angegebener Ort 2b fällt.
In Schritt 160 werden Parameter 1a, die das Verhalten des neuronalen Netzwerks 1 charakterisieren, optimiert mit dem Ziel, dass sich bei weiterer Verarbeitung von Lern-Beispielen 4 die Bewertung 6b durch die Kostenfunktion 6 voraussichtlich verbessert. Der fertig trainierte Zustand der Parameter ist mit dem Bezugszeichen 1a* bezeichnet. Diese Parameter 1a* charakterisieren das Verhalten des fertig trainierten neuronalen Netzwerks 1*.
Gemäß Block 161 kann hierbei mindestens ein Gewicht α ebenfalls mit dem Ziel optimiert werden, dass sich bei weiterer Verarbeitung von Lern-Messdaten 2a die Bewertung 6b durch die Kostenfunktion 6 voraussichtlich verbessert.
In Schritt 170 wird das Training für mehrere Unterteilung des Raumgebiets in Gitter 5 mit unterschiedlichen Maschenweiten 5c wiederholt.
In Schritt 180 wird diejenige Maschenweite 5c, für die das Training auf die beste Bewertung 6b durch die Kostenfunktion 6 konvergiert, als optimale Maschenweite 5c* für den Wirkbetrieb des neuronalen Netzwerks 1 festgelegt.
2 veranschaulicht die Überführung von als Punktwolke vorliegenden Messdaten 2 in ein Gitter 5. In diesem Beispiel werden die Messdaten 2 mit einem Radarsensor 51 aufgenommen, der von einem Fahrzeug 50 mitgeführt wird. Der Radarsensor 51 erfasst in seinem Erfassungsbereich 51a Radarreflexe mit Messgrößen 2c, die von Orten 2b kommen.
Wenn ein Raumgebiet, das mindestens einen Teil des Erfassungsbereichs 51 enthält, in ein Gitter 5 mit Zellen 5a aufgeteilt wird, fällt in einige Zellen 5a jeweils ein Ort 2b, von dem ein Radarreflex kommt. In dem in 2 gezeigten Beispiel fallen in eine Zelle 5a zwei Orte 2b, von denen jeweils ein Radarreflex kommt. Für jede Zelle 5a wird eine aggregierter Wert 5b aus den Messgrößen 2c für alle Radarreflexe von Orten 2b in der jeweiligen Zelle 5a gebildet. Dieser aggregierte Wert 5b ist für die meisten Zellen 5a mangels darin befindlicher Orte 2b von Radarreflexen Null. Hier setzt die Gewichtung in der Kostenfunktion 6 gemäß dem zuvor beschriebenen Verfahren 100 an.
3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 mit der vollständigen Wirkkette bis zur Ansteuerung des Fahrzeugs 50.
In Schritt 210 wird ein neuronales Netzwerk 1 mit dem zuvor beschriebenen Verfahren 100 trainiert.
In Schritt 220 werden dem trainierten neuronalen Netzwerk 1* Messdaten 2 zugeführt, die mit mindestens einem von einem Fahrzeug 50 mitgeführten Sensor 51 aufgenommen wurden.
In Schritt 230 wird aus den vom neuronalen Netzwerk 1* gelieferten Ausgangsgrößen 3 ein Ansteuersignal 230a ermittelt.
In Schritt 240 wird das Fahrzeug 50 mit diesem Ansteuersignal 230a angesteuert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019220069 A1 [0004]

Claims

Verfahren (100) zum überwachten Trainieren eines neuronalen Netzwerks (1), welches Messdaten (2) auf eine oder mehrere Ausgangsgrößen (3) abbildet, wobei diese Messdaten (2) Orten (2b) im zwei- oder dreidimensionalen Raum Werte (2c) einer oder mehrerer Messgrößen zuordnen, mit den Schritten: • es werden Lern-Beispiele (4) aus Lern-Messdaten (2a) und zugehörigen Lern-Ausgangsgrößen (3a) bereitgestellt (110); • ein Raumgebiet, das mindestens einen Teil der durch die Lern-Messdaten (2a) eines Lern-Beispiels (4) angegebenen Orte (2b) enthält, wird in ein Gitter (5) aus aneinander angrenzenden Zellen (5a) unterteilt (120); • für jede Zelle (5a) werden die in den Lern-Messdaten (2a) des Lern-Beispiels (4) zu allen Orten (2b) in dieser Zelle (5a) enthaltenen Werte (2c) der Messgrößen zu Werten (5b) der Messgrößen, die sich auf diese Zelle (5a) beziehen, aggregiert (130); • diese aggregierten Werte (5b) der Messgrößen werden von dem neuronalen Netzwerk (1) auf eine oder mehrere Ausgangsgrößen (3) abgebildet (140); • Abweichungen dieser Ausgangsgrößen (3) von den Lern-Ausgangsgrößen (3a) werden mit einer vorgegebenen Kostenfunktion (6) bewertet (150), die gewichtet aus Beiträgen (6a) einzelner Zellen (5a) des Gitters (5) zusammengesetzt ist, wobei das Gewicht α eines jeden Beitrags (6a) von der Belegung der entsprechenden Zelle (5a) mit in den Lern-Messdaten (2a) des Lern-Beispiels (4) enthaltenen Orten (2a) abhängt; • Parameter (1a), die das Verhalten des neuronalen Netzwerks (1) charakterisieren, werden optimiert (160) mit dem Ziel, dass sich bei weiterer Verarbeitung von Lern-Beispielen (4) die Bewertung (6b) durch die Kostenfunktion (6) voraussichtlich verbessert.
Verfahren (100) nach Anspruch 1, wobei das Gewicht α des Beitrags (6a) mindestens einer Zelle (5a) zur Kostenfunktion (5) • auf einen ersten positiven Wert a festgelegt wird (151), wenn die Lern-Messdaten (2a) des Lern-Beispiels (4) keinen Ort (2b) in dieser Zelle (5a) angeben, und • auf einen zweiten, höheren positiven Wert b festgelegt wird (152), wenn die Lern-Messdaten (2a) des Lern-Beispiels (4) mindestens einen Ort (2b) in dieser Zelle (5a) angeben.
Verfahren (100) nach Anspruch 2, wobei der zweite positive Wert b zwischen dem Achtfachen und dem Zwanzigfachen des ersten positiven Werts a beträgt.
Verfahren (100) nach einem der Ansprüche 1 bis 3, wobei eine Verteilung der Gewichte α innerhalb des Gitters (5) so gewählt wird (153), dass Zellen (5a), innerhalb derer die Lern-Messdaten (2a) des Lern-Beispiels (4) keinen Ort (2b) angeben, insgesamt den gleichen Beitrag zur Kostenfunktion (5) leisten wie Zellen (5a), innerhalb derer die Lern-Messdaten (2a) des Lern-Beispiels (4) mindestens einen Ort (2b) angeben.
Verfahren (100) nach einem der Ansprüche 1 bis 4, wobei mindestens ein Gewicht α ebenfalls mit dem Ziel optimiert wird (161), dass sich bei weiterer Verarbeitung von Lern-Messdaten (2a) die Bewertung (6b) durch die Kostenfunktion (6) voraussichtlich verbessert.
Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei • das Training für mehrere Unterteilung des Raumgebiets in Gitter (5) mit unterschiedlichen Maschenweiten (5c) wiederholt wird (170) und • diejenige Maschenweite (5c), für die das Training auf die beste Bewertung (6b) durch die Kostenfunktion (6) konvergiert, wird als optimale Maschenweite (5c*) für den Wirkbetrieb des neuronalen Netzwerks (1) festgelegt (180).
Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei Lern-Messdaten (2a) mit Messgrößen (2c), die Reflexe von Radarstrahlung, Laserstrahlung und/oder Ultraschallwellen an Orten (2b) im Raum charakterisieren, gewählt werden (111).
Verfahren (100) nach Anspruch 7, wobei • Lern-Messdaten (2a) gewählt werden (111a), die durch Beobachtung einer Szenerie mit einem ersten Messaufbau, und/oder aus einer ersten Perspektive, erhalten wurden, und • Lern-Ausgangsgrößen (3a) gewählt werden (111b), die durch Beobachtung der gleichen Szenerie mit einem zweiten Messaufbau, und/oder aus einer zweiten Perspektive, erhalten wurden.
Verfahren (100) nach Anspruch 7, wobei Lern-Messdaten (2a) und Lern-Ausgangsgrößen (3a) gewählt werden (111c), die durch Beobachtung einer Szenerie mit ein und demselben Messaufbau, und/oder aus ein und derselben Perspektive, erhalten wurden.
Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei Lern-Ausgangsgrößen (3a) gewählt werden (112), die Klassifikations-Scores der Lern-Eingangsgrößen (2a) in Bezug auf eine oder mehrere Klassen einer vorgegebenen Klassifikation beinhalten.
Verfahren (200) mit den Schritten: • ein neuronales Netzwerk (1) wird mit dem Verfahren (100) nach einem der Ansprüche 1 bis 10 trainiert (210); • dem trainierten neuronalen Netzwerk (1*) werden Messdaten (2) zugeführt (220), die mit mindestens einem von einem Fahrzeug (50) mitgeführten Sensor (51) aufgenommen wurden; und • aus den vom neuronalen Netzwerk (1*) gelieferten Ausgangsgrößen (3) wird ein Ansteuersignal (230a) ermittelt (230).
Verfahren (100) nach Anspruch 11, wobei zusätzlich das Fahrzeug (50) mit dem Ansteuersignal (230a) angesteuert wird (240).
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200) nach einem der Ansprüche 1 bis 12 auszuführen.
Maschinenlesbarer Datenträger und/oder Downloadprodukt mit dem Computerprogramm nach Anspruch 13.
Ein oder mehrere Computer mit dem Computerprogramm nach Anspruch 13, und/oder mit dem maschinenlesbaren Datenträger und/oder Downloadprodukt nach Anspruch 14.