-
Die vorliegende Erfindung betrifft die Erzeugung synthetischer Lidarsignale, welche insbesondere als Trainingsdaten für die Objekterkennung in Lidarsignalen mittels maschinellem Lernen verwendbar sind.
-
Stand der Technik
-
Damit sich ein Fahrzeug zumindest teilweise automatisiert im Straßenverkehr bewegen kann, ist es erforderlich, das Umfeld des Fahrzeugs zu erfassen und Gegenmaßnahmen einzuleiten, falls eine Kollision mit einem Objekt im Umfeld des Fahrzeugs droht. Auch die Erstellung einer Umfeld-Repräsentation und Lokalisierung sind für sicheres automatisiertes Fahren notwendig.
-
Aus den Lidardaten gehen weiterhin unmittelbar die Entfernung und Geschwindigkeit von Objekten hervor. Diese Informationen sind wichtig für die Beurteilung, ob es zu einer Kollision mit den Objekten kommen kann. Um welchen Typ von Objekt es sich handelt, ist jedoch aus Lidarsignalen nicht unmittelbar erkennbar. Diese Erkennung wird aktuell durch die Berechnung von Attributen aus der Digitalen Signalverarbeitung gelöst und in Form einer dreidimensionalen Punktewolke abschließend dargestellt.
-
Offenbarung der Erfindung
-
Lidarsignale können eine 3D-Punktwolke umfassen, die durch Messen einer Distanz vom Sensor zu einer ersten reflektierenden Fläche bei einem vorgebbaren Winkel zur Sensorfläche ermittelt wird. So kann der Lidarsensor eine 3D-Karte seiner unmittelbaren Umgebung erzeugen.
-
Im Rahmen der Erfindung wurde ein Generator zur Erzeugung synthetischer Lidarsignale aus einem Satz von mit einem physikalischen Lidarsensor gemessenen Lidarsignalen entwickelt. Dieser Generator umfasst einen Zufallsgenerator und ein erstes maschinelles Lernsystem, das Vektoren oder Tensoren von Zufallswerten aus dem Zufallsgenerator als Eingabe erhält und jeden solchen Vektor, bzw. jeden solchen Tensor, durch eine interne Verarbeitungskette auf ein Histogramm eines synthetischen Lidarsignals abbildet.
-
Die Histogrammdarstellung kann eine Darstellung in einem zeitlichen Raumumfassen. Die Histogrammdarstellung wird durch die Detektion von Photonen über die Zeit realisiert.
Die interne Verarbeitungskette des ersten maschinellen Lernsystems ist mit einer Vielzahl von Parametern parametrisiert. Diese Parameter sind so gesetzt, dass die Histogrammdarstellung des Lidarsignals, und/oder mindestens eine aus dieser Darstellung abgeleitete Kenngröße, für die synthetischen Lidarsignale im Wesentlichen die gleiche Verteilung aufweist wie für die gemessenen Lidarsignale.
-
Es wurde erkannt, dass gerade bei der Objekterkennung aus Lidarsignalen mittels maschinellem Lernen die notwendigen Lerndaten eine knappe Ressource sind. Lerndaten für die Objekterkennung aus Kamerabildern umfassen üblicherweise Lern-Kamerabilder, die von Menschen dahingehend kommentiert (gelabelt) worden sind, an welcher Stelle welche Objekte in ihnen enthalten sind. Die visuelle Erkennung von Objekten ist gerade für den Menschen besonders intuitiv, so dass die Anforderungen an Hilfskräfte für die Kommentierung von Kamerabildern vergleichsweise gering sind.
-
Objekte aus Lidarsignalen zu erkennen erfordert hingegen einen höheren Nachbearbeitungsaufwand der Rohdaten und Spezialwissen. Dies hängt damit zusammen, dass die Reflektivität eines Objekts bei der Wellenlänge eines Lidar, welche außerhalb des sichtbaren Spektrums (beispielsweise im Bereich 850nm bis 1600nm) liegen kann,oft nicht mit der Reflektivität im sichtbaren Spektrum übereinstimmt. Ferner ist es möglich, dass reflektierte Lidarsignale erst nach mehrfacher Reflektion zum Sensor zurückkehren (beispielsweise an Leitplanken, Wänden oder der Straßenoberfläche). Wetterbedingungen, insbesondere Regen oder Nebel, können die Propagation der Lidarsignale oft in einer nur schwer vorhersagbaren Art und Weise beeinflussen. Eine Simulation von Lidarsignalen mit Hilfe von Ray-Traycing ist daher sehr aufwändig und weist mitunter Abweichungen vom realen Verhalten auf.
-
Weiterhin hängt das Lidarsignal, das ein und dasselbe Objekt produziert, auch von den Eigenschaften der verwendeten Laser und Detektoren ab, beispielsweise von der Pulsfolge und Wellenlänge des Lasers oder von der Lichtempfindlichkeit des Detektors. Das Signal kann durch Mehrwegeausbreitung verändert werden, beispielsweise indem es mehrfach an verschiedenen Oberflächen (etwa der Fahrbahn, einer Leitplanke und/oder einer Wand) reflektiert wurde. Schließlich ist das Lidarsignal auch materialabhängig. Einige Materialien reflektieren das emittierte Laserlicht mit unterschiedlicher Intensität, während andere Materialien das Laserlicht nahezu vollständig absorbieren , was dann wiederum dazu führen kann, dass vorhandene Objekte sehr schlecht oder gar nicht erkannt werden.
-
Im Ergebnis sind also Lerndaten für die Objekterkennung aus Lidarsignalen zum einen schwieriger zu beschaffen, und zum anderen werden auch mehr Lerndaten benötigt als für die Objekterkennung aus Kamerabildern.
-
Diese Knappheit kann durch den Generator gelindert werden. Indem die Parameter des ersten maschinellen Lernsystems so gesetzt sind, dass eine aus den physikalisch gemessenen Lidarsignalen ersichtliche Verteilung in den synthetischen Lidarsignalen repräsentiert wird, und indem zusätzlich jedes generierte Lidarsignal realistisch wirkt in dem Sinn, dass es von einem echten Lidarsignal nur schwer zu unterscheiden ist, können beliebig viele realistisch wirkende Lidarsignale erzeugt werden, ohne dass es hierzu einer Kommentierung der ursprünglichen physikalisch gemessenen Lidarsignale bedarf. Es können also beispielsweise Messungen, die Sensorhersteller und OEMs bei Testfahrten mit Lidarsensoren zur Objekterkennung routinemäßig durchführen, als Datenbasis zweitverwertet werden.
-
Die Kenngröße kann eine beliebige aus der Histogrammdarstellung des Lidarsignals abgeleitete Größe sein. Wenn diese Kenngröße beispielsweise zwischen den von dem physikalischen Lidarsensor gemessenen Lidarsignalen variiert, setzt sie durch die Verteilung, die sich hierbei ergibt, diese Lidarsignale in einen Zusammenhang. Beispielsweise kann die Kenngröße einzelne Elemente aus der Punktewolke umfassen, denen eine Entfernung, und eine Geschwindigkeit, relativ zum physikalischen Lidarsensor zugeordnet sind. Eine konsistente Verteilung der Kenngröße lässt sich dann über solche Lidarsignale bilden, die sich auf das gleiche oder zumindest ein ähnliches Szenario beziehen.
-
Die Parameter der internen Verarbeitungskette können von dem Generator selbst gelernt werden. Dazu benötigt der Generator lediglich ein wie auch immer geartetes Feedback dahingehend, inwieweit die aktuellen Parameter auf eine Verteilung des Histogramms, bzw. der Kenngröße, führen, die zu den gemessenen Lidarsignalen passen.
-
In einer besonders vorteilhaften Ausgestaltung erhält das erste maschinelle Lernsystem mindestens eine Randbedingung als Eingabe. Die Parameter der internen Verarbeitungskette sind so gesetzt, dass die Histogrammdarstellung, und/oder die Kenngröße, für die synthetischen Lidarsignale im Wesentlichen die gleiche Verteilung aufweist wie für diejenigen gemessenen Lidarsignale, die der Randbedingung genügen.
-
Mit dieser Erweiterung kann beispielsweise eine für die gemessenen Lidarsignale vorhandene Kommentierung in den Generator überführt werden. Die Randbedingung kann beispielsweise darin bestehen, dass die gemessenen Lidarsignale kraft der vorhandenen Kommentierung einer bestimmten Klasse zugeordnet sind. Es können dann zu jeder Klasse separat beliebig viele synthetische Lidarsignale erzeugt werden, die den ursprünglichen Bestand an gemessenen und zugleich kommentierten Lidarsignalen ergänzen. Damit kann eine hinreichend große Datenbasis für das überwachte Lernen einer Objekterkennung auf der Basis von Lidarsignalen geschaffen werden.
-
Die Randbedingung kann aber auch beispielsweise genutzt werden, um gestützt auf die vorhandenen gemessenen Lidarsignale ein Lidarsignal für eine Situation abzuschätzen, zu der es keine Messungen gibt. So kann beispielsweise der ursprüngliche Satz von Messungen Lidarsignale enthalten, die von einem bestimmten Objekt in Antwort auf Lichtwellen erhalten wurden, welche unter bestimmten Hintergrundlichtverhältnissen auf das Objekt eingefallen sind. Die Randbedingung kann beispielsweise darin bestehen, dass für das Hintergrundlicht ein nicht gemessener Zwischenwert oder ein selten auftretender Höchstwert angenommen wird. Der Generator interpoliert oder extrapoliert dann gleichsam das Lidarsignal, das sich für diesen Zwischenwert oder Höchstwert des Hintergrundlichts ergibt.
-
Auch können beispielsweise gezielt synthetische Lidarsignale zu sogenannten Extremfällen erzeugt werden, die in der Realität selten vorkommen, aber für die Objekterkennung von besonderer Wichtigkeit sind. Diese Extremfälle können sich beispielsweise auf Situationen beziehen, die besonders gefährlich sind und in denen daher eine perfekte Funktion eines Fahrassistenzsystems, bzw. eines Systems zum zumindest teilweise automatisierten Fahren, gefordert ist.
-
Dabei ist zur Verankerung der synthetischen Lidarsignale in der Realität kein 3D-Modell des physikalischen Szenarios notwendig, sondern es genügt, dass die Verteilung der Kenngröße zu den gemessenen Lidarsignalen passt. Ebenso ist, anders als bei Ray-Tracing-Simulationen, keine detaillierte Kenntnis über den Lidarsensor, seinen Anbringungsort, Materialien, Form und Rückstreukoeffizienten der zu erkennenden Objekte notwendig.
-
Die Randbedingung kann weiterhin genutzt werden, um das Lidarsignal mit der Ausgabe eines anderen Sensors zu filtern, etwa mit der Ausgabe einer Kamera, eines Radar-Sensors, eines weiteren Lidarsensors oder eines Arrays von Ultraschallsensoren.
-
In einer besonders vorteilhaften Ausgestaltung umfasst das erste maschinelle Lernsystem ein künstliches neuronales Netzwerk, dessen interne Verarbeitungskette mindestens eine vollvernetzte Schicht, und/oder mindestens eine Faltungsschicht, aufweist. Es ist eine wesentliche Stärke künstlicher neuronaler Netzwerke, dass sie sehr große Unterschiede in der Dimensionalität zwischen der Eingabe und der Ausgabe überbrücken können. Der Vektor oder Tensor mit den Zufallswerten kann beispielsweise in der Größenordnung 100 Elemente enthalten, während die dreidimensionale Punktewolke eine deutlich höhere Dimensionalität aufweist.
-
Vorteilhaft ist der Zufallsgenerator ein physikalischer Zufallsgenerator, der die Zufallswerte aus thermischem oder elektronischem Rauschen mindestens eines Bauelements, und/oder aus einer zeitlichen Abfolge radioaktiver Zerfälle eines instabilen Isotops, erzeugt. Auf diese Weise wird vermieden, dass den von dem Generator erzeugten synthetischen Lidarsignalen Artefakte eines Pseudo-Zufallsgenerators überlagert werden.
-
Die Erfindung bezieht sich auch auf einen Datensatz aus einer Vielzahl dreidimensionaler Punktewolken synthetischer Lidarsignale, die mit dem Generator hergestellt worden sind und auf ein Verfahren zum Erzeugen dieser synthetischen Lidarsignale mit dem Generator. Dieser Datensatz kann beispielsweise direkt als Trainingsdaten für das überwachte Lernen einer Objekterkennung verwendet werden und ist insofern ein eigenständig verkaufbares Produkt mit Kundennutzen. Je besser der Generator arbeitet, desto schwieriger sind die von ihm erzeugten synthetischen Lidarsignale per se von den physikalisch gemessenen Lidarsignalen zu unterscheiden. Sind jedoch einerseits eine dreidimensionale Punktewolke eines Lidarsignals und andererseits ein Generator gegeben, so lässt sich zumindest eine Wahrscheinlichkeit dafür ermitteln, dass das Lidarsignal durch diesen Generator erzeugt wurde.
-
Die Erfindung bezieht sich auch auf ein Verfahren zur Herstellung des Generators. Bei diesem Verfahren werden dreidimensionale Punktewolken der gemessenen Lidarsignale mit von dem Generator erzeugten dreidimensionalen Punktewolken der synthetischen Lidarsignale in einem Pool vereinigt. Die in dem Pool enthaltenen dreidimensionalen Punktewolken werden mit einem Klassifikator dahingehend klassifiziert, ob sie zu gemessenen oder zu synthetischen Lidarsignalen gehören. Die Parameter der Verarbeitungskette des maschinellen Lernsystems im Generator werden auf eine möglichst schlechte Klassifikationsgüte des Klassifikators optimiert.
-
Die Klassifikationsgüte des Klassifikators dient somit als Feedback für das Lernen der Parameter in der internen Verarbeitungskette des ersten maschinellen Lernsystems im Generator. Dieses Feedback kann beispielsweise ein Fehlersignal des Klassifikators sein, oder auch beispielsweise ein im Klassifikator generiertes Konfidenzmaß. Insbesondere können der Klassifikator und der Generator im Wechsel trainiert werden und so gleichsam als gegenseitige Sparringspartner dienen.
-
Beispielsweise kann das maschinelle Lernsystem im Generator zunächst mit Standardwerten oder zufälligen Werten für die Parameter initialisiert sein. Wenn nun an der Eingabe des maschinellen Lernsystems Zufallswerte aus dem Zufallsgenerator vorgelegt werden, dann wird das generierte synthetische Lidarsignal mit hoher Wahrscheinlichkeit nicht viel mit den gemessenen Lidarsignalen zu tun haben. Dementsprechend wird der Klassifikator aus dem Pool dreidimensionalen Punktewolken mit großer Konfidenz die zu dem synthetischen Lidarsignal gehörige dreidimensionalen Punktewolke von den zu den gemessenen Lidarsignalen gehörigen dreidimensionalen Punktewolken unterscheiden können. Je mehr die Parameter in der Verarbeitungskette des maschinellen Lernsystems optimiert werden, desto schwieriger wird diese Unterscheidung für den Klassifikator. Dies kann sich darin manifestieren, dass die Klassifikation in einer größeren Anzahl von Fällen unrichtig ist, und/oder dass die Konfidenz, mit der die Klassifikation vorgenommen wird, sinkt.
-
Der Klassifikator kann von beliebiger Bauart sein. Es kann sich beispielsweise um einen statischen Klassifikator handeln, der die dreidimensionalen Punktewolken durch Prüfung bestimmter Merkmale, oder auch mit statistischen Methoden, als gemessen bzw. synthetisch generiert klassifiziert. Wenn dem Generator eine Randbedingung vorgegeben wurde, wird die gleiche Randbedingung auch dem Klassifikator vorgegeben.
-
In einer besonders vorteilhaften Ausgestaltung wird ein zweites maschinelles Lernsystem als Klassifikator gewählt. Dieses zweite maschinelle Lernsystem weist eine weitere interne Verarbeitungskette auf, die mit einer Vielzahl von Parametern parametrisiert ist. Diese Parameter werden auf eine möglichst gute Klassifikationsgüte des Klassifikators optimiert.
-
Es können dann beispielsweise beide maschinellen Lernsysteme gleichzeitig oder auch abwechselnd trainiert werden. Auf diese Weise wird eine Art Wettkampf zwischen dem ersten maschinellen Lernsystem und dem zweiten maschinellen Lernsystem ausgelöst. Das erste maschinelle Lernsystem lernt beständig dahingehend dazu, realistische Lidarsignale zu „fälschen“, während das zweite maschinelle Lernsystem dahingehend dazulernt, die „Fälschungen“ zu erkennen. Der Wettbewerb führt am Ende dazu, dass die erhaltenen synthetischen Lidarsignale die ursprünglichen physikalisch gemessenen Lidarsignale annähernd exakt nachahmen und gemeinsam mit diesen als Lerndaten für das überwachte Lernen einer Objekterkennung genutzt werden können.
-
Die Erfindung bezieht sich auch auf ein Verfahren zur Erkennung von Objekten, und/oder eines von Objekten eines vorgegebenen Typs freien Raums, im Umfeld eines Fahrzeugs. Das Fahrzeug weist mindestens einen Lidarsensor zur Erfassung mindestens eines Teils des Umfelds auf. Dreidimensionale Punktewolken von durch den Lidarsensor erfassten Lidarsignalen werden von einem dritten maschinellen Lernsystem dahingehend klassifiziert werden, welche Objekte im Umfeld des Fahrzeugs vorhanden sind. Das dritte maschinelle Lernsystem ist oder wird mit Trainingsdaten trainiert, die zumindest teilweise mit einem Generator gemäß der Erfindung erzeugt worden sind. Die Trainingsdaten können insbesondere teilweise aus physikalischen Messungen und teilweise vom Generator stammen.
-
Auf diese Weise lassen sich bei der Objekterkennung die eingangs genannten Vorteile der Lidartechnik nutzen, ohne dass dies zwangsläufig damit erkauft wird, dass die Lerndaten für das Training der Objekterkennung im Vergleich zur rein optischen Objekterkennung deutlich schwieriger zu beschaffen sind. Ein vergleichsweise kleiner Satz an physikalisch gemessenen Lidarsignalen kann durch den Generator auf die Menge angereichert werden, die zum Aufbau einer sicheren Objekterkennung notwendig ist.
-
Vorteilhaft wird in Antwort auf die Erkennung mindestens eines Objekts, und/oder eines von Objekten eines bestimmten Typs freien Raums, eine für den Fahrer des Fahrzeugs wahrnehmbare physikalische Warneinrichtung, ein Antriebssystem, ein Lenksystem, und/oder ein Bremssystem, des Fahrzeugs angesteuert zwecks Vermeidung einer Kollision zwischen dem Fahrzeug und dem Objekt, und/oder zwecks Anpassung der Geschwindigkeit und/oder Trajektorie des Fahrzeugs. Diese Zwecke sind Hauptgründe dafür, dass überhaupt eine Objekterkennung angestrebt wird.
-
Wie zuvor erläutert, ermöglicht die Vorgabe einer Randbedingung an den Generator auch die Interpolation oder Extrapolation von einem gegebenen Satz an gemessenen Szenarien auf Szenarien, zu denen es noch keine Messungen gibt. Dies kann nicht nur für die Auswertung von Lidarsignalen nach der physikalischen Messung genutzt werden, sondern auch für die Verbesserung der physikalischen Messung als solche. Im Unterschied zu einer Kamera, die ein rein passiver Sensor ist, ist ein Lidarsensor ein aktiver Sensor, d.h., als Messsignal dienen Lichtwellen, die vom Sensor selbst abgestrahlt wurden. Daher haben Einbauparameter und Betriebsparameter des Lidarsensors einen deutlichen Einfluss darauf, inwieweit die erhaltenen Lidarsignale für die letztendliche Objekterkennung tauglich sind.
-
Daher bezieht sich die Erfindung auch auf ein Verfahren zur Optimierung mindestens eines Einbauparameters oder Betriebsparameters für einen Lidarsensor zur Erkennung von Objekten, und/oder eines von Objekten (72a, 72b) eines bestimmten Typs freien Raums, im Umfeld eines Fahrzeugs. Bei diesem Verfahren wird für verschiedene Werte des Einbauparameters bzw. Betriebsparameters jeweils mindestens eine dreidimensionale Punktewolke eines synthetischen Lidarsignals mit einem Generator gemäß der Erfindung erzeugt, und/oder aus einem zuvor von einem solchen Generator erzeugten Datensatz abgerufen. Die Erkennung von Objekten in der dreidimensionalen Punktewolke des synthetischen Lidarsignals mit einem Gütemaß bewertet. Der Einbauparameter oder Betriebsparameter wird dahingehend variiert, dass das Gütemaß ein Extremum annimmt.
-
Die Erfinder haben erkannt, dass es im Hinblick auf das letztendliche Ziel einer sicheren Objekterkennung vorteilhaft ist, nicht nur die Analyse aufgenommener Lidarsignale zu betrachten, sondern auch die physikalische Datenaufnahme selbst. Informationen, die in dem aufgenommenen physikalischen Lidarsignal nicht mehr zu erkennen sind, können auch durch eine noch so gute Analyse nicht mehr ausgewertet werden. Ein solcher Fall kann beispielsweise eintreten, wenn der Messbereich des Sensors sich auf Grund besonders kontraststarker Objekte so unempfindlich einstellt, dass ein kontrastschwacher Mensch im Rauschen untergeht. Wenn die physikalische Datenaufnahme und die anschließende Analyse ganzheitlich betrachtet und optimiert werden, kann also die letztendlich erhaltene Objekterkennung noch weiter verbessert werden.
-
Dabei wird es über das Gütemaß insbesondere ermöglicht, die Objekterkennung auf bestimmte Objekte zuzuschneiden und bei Zielkonflikten Prioritäten zu setzen. Kein Satz Einbauparameter oder Betriebsparameter kann für alle Eventualitäten perfekt sein. Beispielsweise kann die sichere Erkennung eines Fußgängers, eines Radfahrers oder eines anderen schwächeren Verkehrsteilnehmers Vorrang vor der Erkennung eines Betonpollers haben. Wenn nun die verbesserte Erkennung schwächerer Verkehrsteilnehmer oberste Priorität hat, kann der Fall eintreten, dass dies nur auf Kosten anderer Aspekte möglich ist, etwa um den Preis, dass manche Betonpoller nicht erkannt werden.
-
Wenngleich der Generator und die Verfahren jeweils Gebrauch von Hardware machen und der gezielte Einsatz entsprechend optimierter Hardware jeweils vorteilhaft ist, so gibt es auch funktionsfähige Ausführungsformen des Generators und des Verfahrens, die mit der Nutzung bereits vorhandener Hardware auskommen. Dass die Funktion gemäß der Erfindung bereitgestellt wird, kann somit ganz oder teilweise in einer Software implementiert sein, die die Hardware anders ansteuert. Diese Software kann beispielsweise als Update oder Upgrade zu existierender Hardware vertrieben werden und ist insofern ein eigenständiges Produkt. Die Erfindung bezieht sich also auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, und/oder das Steuergerät, zu einem Generator gemäß der Erfindung aufwerten, und/oder dazu veranlassen, ein Verfahren gemäß der Erfindung auszuführen. Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger oder ein Downloadprodukt mit dem Computerprogramm.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Ausführungsbeispiele
-
Es zeigt:
- 1 Ausführungsbeispiel eines Generators 1;
- 2 Ausführungsbeispiel des Verfahrens 100 zur Herstellung;
- 3 Ausführungsbeispiel des Verfahrens 200 zur Objekterkennung;
- 4 Ausführungsbeispiel des Verfahrens 300 zur Optimierung.
-
Nach 1 umfasst der Generator 1 einen Zufallsgenerator 2 und ein maschinelles Lernsystem 3 mit einer internen Verarbeitungskette 4. Der Zufallsgenerator 2 speist Zufallswerte 21 als Eingabe in das maschinelle Lernsystem 3, das daraufhin unter Berücksichtigung einer ebenfalls eingegebenen Randbedingung 31 dreidimensionale Punktewolken 13 erzeugt. Diese dreidimensionalen Punktewolken 13 korrespondieren zu synthetischen Lidarsignalen 12.
-
Das maschinelle Lernsystem 3 umfasst ein oder ist gegeben durch ein neuronales Netzwerk, dessen interne Verarbeitungskette 4 zwei Faltungsschichten 42a und 42b, zwei vollvernetzte Schichten 43a und 43b sowie eine Upsampling-Schicht 44 aufweist. Die interne Verarbeitungskette 4 ist mit einer Vielzahl von Parametern 41a-41c parametrisiert. Es sind jedoch auch andere Architekturen möglich, die beispielsweise nur eine Faltungsschicht 42a, 42b und keine vollvernetzte Schicht 43a, 43b, oder nur eine vollvernetzte Schicht 43a, 43b und keine Faltungsschicht 42a, 42b, umfassen und in denen eine Upsampling-Schicht 44 fehlt.
-
Aus der vom Generator 1 erzeugten dreidimensionalen Punktewolken 13 ist eine Kenngröße 14 ableitbar. Eine analoge Kenngröße 14 ist auch aus den dreidimensionalen Punktewolken 11 der von einem physikalischen Lidarsensor 9 gemessenen Radarsignale 10 ableitbar, wobei auch hier diejenigen Punktewolken 11 ausgewählt werden, die zu der vorgegebenen Randbedingung 31 passen.
-
Die Parameter 41a-41c der internen Verarbeitungskette 4 im maschinellen Lernsystem 3 des Generators 1 sind so gesetzt, dass die dreidimensionale Punktewolke 11, 13, und/oder die Kenngröße 14, für die synthetischen Lidarsignale 12 im Wesentlichen die gleiche Verteilung aufweist wie für die gemessenen Lidarsignale 10.
-
Eine Vielzahl der mit dem Generator 1 erzeugten dreidimensionalen Punktewolken 13 wird in einem Datensatz 13a zusammengefasst. Mit diesem Datensatz 13a kann beispielsweise die Datenbasis für das überwachte Lernen einer Objekterkennung auf der Basis von Lidarsignalen vergrößert werden.
-
2 zeigt ein Ausführungsbeispiel des Verfahrens 100 zur Herstellung des Generators 1. Hauptziel dieses Verfahrens 100 ist die Gewinnung der Parameter 41a-41c für die interne Verarbeitungskette 4 des maschinellen Lernsystems 3 im Generator 1.
-
Analog zu 1 werden vom Generator 1 unter Beachtung der Randbedingung 31 dreidimensionalen Punktewolken 13 synthetischer Lidarsignale 12 erzeugt. Diese werden in Schritt 110 des Verfahrens 100 zusammen mit den dreidimensionalen Punktewolken 11 der physikalisch gemessenen Lidarsignale 10, die zu der gleichen Randbedingung 31 passen, in einem Pool 15 zusammengeführt.
-
In Schritt 120 des Verfahrens 100 werden die in dem Pool 15 enthaltenen dreidimensionalen Punktewolken 11, 13 von einem Klassifikator 5 dahingehend klassifiziert, ob sie zu gemessenen Lidarsignalen 10 oder zu synthetischen Lidarsignalen 12 gehören. Für diese Klassifikation lässt sich eine Klassifikationsgüte 5a angeben, die beispielsweise die Richtigkeit, und/oder die Konfidenz, der Klassifikation enthalten kann.
-
Die Parameter 41a-41c der internen Verarbeitungskette 4 im maschinellen Lernsystem 3 des Generators 1 werden nun in Schritt 130 des Verfahrens 100 auf eine möglichst schlechte Klassifikationsgüte 5a des Klassifikators 5 optimiert.
-
Dabei kann der Klassifikator 5 prinzipiell ein statischer Klassifikator sein, der nicht weiter dazulernt. In dem in 2 gezeigten Ausführungsbeispiel ist der Klassifikator 5 jedoch als zweites maschinelles Lernsystem ausgebildet und weist eine weitere interne Verarbeitungskette 6 auf, die mit einer Vielzahl von Parametern 61a-61c parametrisiert ist. Diese Parameter 61a-61c werden in Schritt 140 des Verfahrens 100 auf eine möglichst gute Klassifikationsgüte 5a des Klassifikators 5 optimiert.
-
Die Schritte 130 und 140 können beispielsweise gleichzeitig oder aber auch im Wechsel ausgeführt werden.
-
3 zeigt ein Ausführungsbeispiel des Verfahrens 200 für die Erkennung von Objekten 72a, 72b, und/oder eines von Objekten 72a, 72b eines bestimmten Typs freien Raums, im Umfeld 71 eines Fahrzeugs 7. Als Datenquelle für die Erkennung wird ein Lidarsensor 73 verwendet, der dreidimensionale Punktewolken 11 der gemessenen Lidarsignale an ein drittes maschinelles Lernsystem 74 liefert. Dieses dritte maschinelle Lernsystem 74 ist mit Trainingsdaten 74a trainiert worden, die einen von einem Generator 1 erzeugten Datensatz 13a umfassen. Zusätzlich zu dem Datensatz 13a können die Trainingsdaten 74a insbesondere noch physikalische Messungen umfassen, so dass der Datensatz 13a letztendlich die physikalischen Messungen ergänzt. Das dritte maschinelle Lernsystem 74 kann auch erst in Schritt 210 des Verfahrens 200 entsprechend trainiert werden.
-
Das dritte maschinelles Lernsystem 74 klassifiziert in Schritt 220 des Verfahrens 200 die die dreidimensionalen Punktewolken 11 dahingehend, welche Objekte 72a, 72b im erfassten Umfeld 71 des Fahrzeugs 7 vorhanden sind. Als beispielhafte Objekte sind in 3 ein Fußgänger 72a und ein Betonpoller 72b ei ngezeich net.
-
Das Ergebnis der Klassifikation wird in Schritt 230 des Verfahrens 200 genutzt, um zwecks Vermeidung einer Kollision mit den erkannten Objekten 72a, 72b, und/oder zwecks Anpassung der Geschwindigkeit und/oder Trajektorie des Fahrzeugs 7, eine Warneinrichtung 75a für den Fahrer des Fahrzeugs 7, ein Antriebssystem 75b, ein Lenksystem 75c, und/oder ein Bremssystem 75d, des Fahrzeugs 7 anzusteuern. Beispielsweise kann die Geschwindigkeit auf einen Sollwert geregelt werden, und/oder ein Fahrassistent kann eine Fahrspur wählen. Neben den Lidarsignalen können für diese Aufgaben auch noch zusätzliche Informationen von anderen Sensoren, wie etwa Kameras, Radar oder Ultraschall, herangezogen werden.
-
Die physikalische Datenaufnahme durch den Lidarsensor 73 wird unter anderem durch Einbauparameter 73a, hier beispielsweise die Einbauposition des Lidarsensors 73a, und durch Betriebsparameter 73b, hier beispielsweise die Wellenlänge λ der ausgesendeten Lichtwellen, beeinflusst. Die Einbauparameter 73a und Betriebsparameter 73b sind daher weitere Freiheitsgrade, die optimiert werden können, um das letztendliche Ergebnis der Objekterkennung oder anderer Anwendungen, wie beispielsweise der Spurführung, zu verbessern.
-
4 skizziert ein Ausführungsbeispiel des Verfahrens 300 für diese Optimierung. Anhand eines Werts des Einbauparameters 73a, und/oder des Betriebsparameters 73b, wird in Schritt 310a des Verfahrens 300 mit dem Generator 1 eine dreidimensionale Punktewolke eines synthetischen Lidarsignals 12 erzeugt, und/oder es wird in Schritt 310b des Verfahrens 300 eine solche dreidimensionale Punktewolke 13 aus einem zuvor von einem Generator 1 erzeugten Datensatz 13a abgerufen.
-
Mit dem dritten maschinellen Lernsystem 74, das auch beim realen Einsatz im Fahrzeug 7 verwendet werden soll, wird die dreidimensionale Punktewolke 13 dahingehend klassifiziert, welche Objekte 72a, 72b hierin erkennbar sind. Diese Erkennung der Objekte 72a, 72b wird in Schritt 320 des Verfahrens 300 mit einem Gütemaß bewertet. In Schritt 340 des Verfahrens 300 wird geprüft, ob dieses Gütemaß wie gewünscht ein Extremum annimmt. Ist dies der Fall (Wahrheitswert 1), so wird der getestete Wert des Einbauparameters 73a, bzw. des Betriebsparameters 73b, für optimal befunden. Wird das gewünschte Extremum hingegen nicht angenommen (Wahrheitswert 0), so wird der Einbauparameter 73a, bzw. der Betriebsparameter 73b, in Schritt 330 des Verfahrens 300 variiert, um näher an das gewünschte Extremum heranzukommen bzw. dieses beim nächsten Durchlauf zu erreichen.
