EP4107654A1

EP4107654A1 - Verfahren und vorrichtung zum erstellen zusammengesetzter szenarien

Info

Publication number: EP4107654A1
Application number: EP21703723.3A
Authority: EP
Inventors: Özgür Nurettin Püskül; Jörn BOYSEN; Jan WEIDAUER
Original assignee: Ibeo Automotive Systems GmbH
Current assignee: Microvision Inc
Priority date: 2020-02-20
Filing date: 2021-02-11
Publication date: 2022-12-28
Also published as: CN115516527A; IL295643A; WO2021165129A1; CA3169989A1; KR20220139984A; US20220405536A1

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Erstellen (101) zusammengesetzter Szenarien zum Testen einer Objekterkennungseinheit (17), wobei das Verfahren (100) das Bereitstellen (103) von ersten Sensordaten (11) eines ersten Szenarios und von zweiten Sensordaten (12) eines zweiten Szenarios umfasst und wobei es sich bei den ersten Sensordaten (11) und den zweiten Sensordaten (12) jeweils um eine Punktwolke umfassend eine Vielzahl von Punkten handelt. Das Verfahren (100) umfasst eine Klassifikation (107) der jeweiligen Punkte (11a) der ersten Sensordaten (11) und der jeweiligen Punkte (12a) der zweiten Sensordaten (12) in relevant oder nicht relevant und die Zusammenführung (114) der ersten Sensordaten (11) und der zweiten Sensordaten (12) zum Erhalten von dritten Sensordaten (28) eines zusammengesetzten Szenarios, wobei nur relevante Punkte (26) der ersten Sensordaten (11) und relevante Punkte (26) der zweiten Sensordaten (12) zu dritten Sensordaten (28) des zusammengesetzten Szenarios zusammengeführt werden.

Description

Verfahren und Vorrichtung zum Erstellen zusammengesetzter Szenarien

Technisches Gebiet

Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zum Erstellen zusammen gesetzter Szenarien zum Testen einer Objekterkennungseinheit.

Stand der Technik

In der Automobilbranche ist es bekannt, möglichst viele Szenarien in der realen Um gebung zu testen, um eine Objekterkennungseinheit, die Teil eines Fahrassistenzsys tems oder einer Vorrichtung zur fahrerlosen Navigation eines Fahrzeuges ist. Aus dem Stand der Technik ist ferner bekannt, derartige Szenarien mittels eines Umfeldsimula tionssystems künstlich herbeizuführen, um eine Reproduzierbarkeit und eine Wieder holbarkeit zu ermöglichen.

DE 20 2018 105 162 Ul beschreibt beispielsweise ein derartiges Umfeldsimulations system für einen Prüfstand zum Testen von technischen Anlagen oder Maschinen.

Im Stand der Technik wird allerdings nicht darauf eingegangen, wie die aufgenomme nen Daten zu einer vollumfänglichen Evaluierung einer Objekterkennungseinheit füh ren können.

Darstellung der Erfindung: Aufgabe, Lösung, Vorteile

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Erstellen zusammengesetzter Szenarien zum Testen einer Objekterkennungseinheit zur Verfü gung zu stellen, das es im Vergleich zum Stand der Technik ermöglicht, aus verschie denen Szenarien kompliziertere Szenarien zusammenzufassen, um eine Objekterken nungseinheit vollumfänglich testen zu können. Ferner soll gewährleistet sein, dass sowohl die einzelnen Szenarien als auch das zusammengesetzte Szenario evaluierbar ist. Gelöst wird die oben genannte Aufgabe durch das erfindungsgemäße Verfahren zum Erstellen zusammengesetzter Szenarien zum Testen einer Objekterkennungseinheit. Die Objekterkennungseinheit ist vor allem Teil eines Fahrassistenzsystems und/oder einer Vorrichtung zur fahrerlosen Navigation eines Fahrzeuges.

Das Verfahren umfasst das Bereitstellen von ersten Sensordaten eines ersten Szena rios und von zweiten Sensordaten eines zweiten Szenarios, wobei die ersten Sensor daten und die zweiten Sensordaten jeweils mindestens eine Punktwolke umfassend eine Vielzahl von Punkten umfassen. In anderen Worten werden mindestens eine ers te Punktwolke von einem ersten Szenario und mindestens eine zweite Punktwolke von einem zweiten Szenario bereitgestellt.

Das Verfahren umfasst die Zusammenführung der ersten Sensordaten und der zwei ten Sensordaten zum Erhalten von dritten Sensordaten eines zusammengesetzten Szenarios, wobei das Verfahren eine Klassifikation der jeweiligen Punkte der ersten Sensordaten und der jeweiligen Punkte der zweiten Sensordaten in relevant und nicht relevant umfasst, wobei nur relevante Punkte der ersten Sensordaten und relevante Punkte der zweiten Sensordaten zu Sensordaten des zusammengesetzten Szenarios zusammengeführt werden. In anderen Worten wird jeder Punkt der ersten Sensorda ten und jeder Punkt der zweiten Sensordaten als entweder relevant oder nicht rele vant klassifiziert. Der Begriff „zusammengesetzt" ist insbesondere derart zu verste hen, dass das Szenario aus einzelnen Szenarien gebildet, in anderen Worten zusam mengeführt, ist.

Bei dem Begriff „Szenario" handelt es sich insbesondere um eine Szene, die von einem Sensor aufgenommen wurde. Diese Szene umfasst vor allem mindestens ein Objekt. Die Szene kann dynamisch oder statisch sein. Insbesondere umfasst das Szenario mindestens einen Zeitpunkt eines Bewegungsablaufs eines dynamischen Objektes. Ferner können die Sensordaten eine Zeitspanne eines Bewegungsablaufes abbilden. Dann bestehen die Sensordaten aus zeitlich benachbarten Zeitpunkten, in anderen Worten Momentaufnahmen, des Bewegungsablaufes. Jede Momentaufnahme wäre dann mit einem Zeitstempel versehen.

Bei dem ersten Szenario und dem zweiten Szenario handelt es sich insbesondere um „einfache Szenarien". Insbesondere umfassen die jeweiligen Sensordaten nur wenige Objekte, bspw. nur ein Objekt. Ein zusammengesetztes Szenario würde dann mehrere Objekte umfassen. Bei dem zusammengesetzten Szenario handelt es sich insbesonde re um ein komplexes Szenario, wobei die Darstellbarkeit in einer realen Umgebung schwieriger ist als bei einem „einfachen Szenario".

Insbesondere umfasst das Verfahren das Erfassen der Sensordaten des ersten Szena rios und das Erfassen der Sensordaten des zweiten Szenarios. Die Sensordaten wer den insbesondere mittels einer Einheit zum Erfassen von Sensordaten erfasst. Die ers ten Sensordaten und die zweiten Sensordaten werden insbesondere in einem Test stand, in dem sich vorzugsweise mindestens ein Objekt, bspw. ein Roboter bewegt, erfasst.

Ferner könnten Sensordaten auch aus einer realen Umgebung stammen und mittels einer Einheit zum Erfassen von Sensordaten „eingefahren" worden sein. In anderen Worten bedeutet dies, dass ein Fahrzeug mit einer Einheit zum Erfassen von Sensor daten ausgestattet wurde und ein entsprechendes Szenario „eingefangen", in ande ren Worten aufgenommen, hat. Dabei werden vorzugsweise auch Referenzdaten für die Bestimmung einer Ground Truth durch einen entsprechend am Fahrzeug ange ordneten Referenzsensor aufgenommen. Überprüft werden können dabei die Ground Truth und die Sensordaten durch eine weitere Kamera. Anhand der Ground Truth können Objekte in den Sensordaten gelabelt werden. . Ferner können Punkte einer Punktwolke einem Objekt zugeordnet werden. Entsprechend kann auch aus den auf genommen Daten Sensordaten „extrahiert" werden. Bspw. können nur die Punkte der Punktwolke, die einem Objekt zugeordnet wurden, entnommen werden und dann Sensordaten hinsichtlich nur dieses Objektes darstellen.

Die Ground Truth umfasst insbesondere die folgende Parameter: der Anzahl der Ob jekte in dem Szenario und/oder jeweils die Objektklasse, die Remission des Objektes, die relative Geschwindigkeit, die Bewegungsrichtung, der Abstand zu einer Einheit zum Erfassen der Sensordaten, die Umweltbedingungen, bspw. Regen oder Nebel, und/oder die Position, vorzugsweise in einem Erfassungsbereich der Einheit zum Er fassen der Szenarien (bspw. oben rechts). Diese Informationen bzw. Parameter wer den insbesondere aus den Referenzdaten ermittelt und vorzugsweise manuell über prüft. Das erste Szenario und das zweite Szenario unterscheiden sich vorzugsweise, und zwar insbesondere in mindestens einem der folgenden Parameter: der Anzahl an Ob jekten, die in dem Szenario zu sehen ist, der Objektklasse, der Remission des Objek tes, der relativen Geschwindigkeit, der Bewegungsrichtung, des Abstandes zu einer Einheit zum Erfassen der Sensordaten, den Umweltbedingungen, bspw. Regen oder Nebel, und/oder der Position, vorzugsweise in einem Erfassungsbereich der Einheit zum Erfassen der Szenarien (bspw. oben rechts). Die ersten Sensordaten und die zwei ten Sensordaten werden vorzugsweise an unterschiedlichen Orten, bspw. innerhalb eines Teststandes, und/oder zu unterschiedlichen Zeitpunkten erfasst. Bei den ersten Sensordaten des ersten Szenarios und den zweiten Sensordaten des zweiten Szena rios handelt es sich nicht um unterschiedliche Ansichten derselben Szene. Im Gegen teil beruhen die ersten Sensordaten und die zweiten Sensordaten vorzugsweise auf unterschiedlichen Szenen. Dies bedeutet, dass das zusammengesetzte Szenario nicht in Realität zur Aufnahme der ersten Sensordaten und der zweiten Sensordaten statt gefunden hat, sondern aus den verschiedenen Szenen zusammengesetzt ist.

Als Ergebnis der Zusammenführung der ersten Sensordaten und der zweiten Sensor daten werden die dritten Sensordaten eines zusammengesetzten Szenarios erhalten, die ebenfalls mindestens eine Punktwolke darstellen. Die dritten Sensordaten sind in anderen Worten die gemeinsamen Sensordaten der ersten Sensordaten und der zwei ten Sensordaten, wobei die Klassifikation dazu dient, die Sensordaten so zusammen zuführen, dass ein sinnvolles Ergebnis erreicht wird.

Der Vorteil des Verfahrens liegt darin, dass anhand von Sensordaten einfacher, leicht reproduzierbarer Szenarien Sensordaten zusammengesetzter Szenarien, das heißt in anderen Worten Sensordaten komplexer Szenarien, zusammengeführt werden kön nen, welche sich in dieser Komplexität nicht oder zumindest nur mit hohem Aufwand in einem Teststand darstellen lassen würden. Auch in der Realität lassen sich diese komplexen Szenarien nicht mit einer genügenden Wiederholbarkeit reproduzieren. Es wird somit eine höhere Abdeckung an Szenarien realisiert, ohne diese Szenarien auf öffentlicher Straße „einfahren" zu müssen, was ggfs zu risikoreichen Situationen füh ren könnte, oder aufwändig in Testständen nachstellen zu müssen.

Im Rahmen der Klassifikation werden die ersten Sensordaten und die zweiten Sensor daten insbesondere in einer gemeinsamen Voxel-Map dargestellt. Diese wird insbe- sondere mit Hilfe eines Voxelizers erreicht, der die Punkte der Punktwolke der ersten Sensordaten und die Punkte der Punktwolke der zweiten Sensordaten in einer ge meinsamen Voxel-Map einträgt. In anderen Worten werden mittels des Voxelizers die Punkte der Punktwolken in einen dreidimensionalen Raum, der durch die Definition der Voxel segmentiert ist, eingetragen. Die Punktwolken sind nicht nur punktuell im Raum definiert, sondern können jeweils einem entsprechenden Voxel zugeordnet werden. Dies dient dazu, eine räumliche Beziehung zwischen den Punkten der ersten Sensordaten und den Punkten der zweiten Sensordaten herzustellen.

Es können freie Voxel als Freiräume identifiziert werden. Insbesondere kann jedem Punkt einer Punktwolke ein empfangener Messpuls zugeordnet werden. Dem Punkt und somit auch dem Messpuls kann ein Voxel zugeordnet werden, der unter anderem die Position, an der der Messpuls reflektiert wurde, abbildet. Dieser empfangene Messpuls hat eine Energie, sodass jedem Punkt der Punktwolke eine Energie zugeord net werden kann. Ferner kann jedem Voxel eine Energie der darin befindlichen Punkte zugeordnet werden. Insbesondere wird die Energie der Punkte addiert, die einem gemeinsamen Voxel zugeordnet sind. Liegt die Energie über einem vorher definierten Schwellwert, wird der Voxel als belegt und somit nicht frei identifiziert. Liegt die Ener gie unterhalb des Schwellwertes, wird der entsprechende Voxel als frei identifiziert.

Ein freier Voxel kann somit ein Voxel ohne Punkte mit einer Energie oberhalb des Schwellwertes sein. Mit Hilfe der gemeinsamen Darstellung innerhalb einer Voxel- Map ist es möglich, Freiräume zu identifizieren, was bei einer normalen Punktwolken darstellung nicht möglich ist. Ferner können freie Voxel identifiziert werden, die in radialer Richtung hinter einem belegten Voxel liegen, da aus diesen Voxeln resultie rende Messpulse nicht detektiert werden könnten. Es können daher bereits an dieser Stelle Punkte als nicht relevant klassifiziert werden, die jeweils in einem Voxel liegen, der radial hinter einem belegten Voxel angeordnet ist.

Zusätzlich können die jeweiligen Sensordaten in einzelnen Voxel-Maps dargestellt werden, wobei diese dann zu einer gemeinsamen Voxel-Map zusammengeführt wer den können. Bereits bei dieser einzelnen Darstellung können Freiräume identifiziert werden. In der Darstellung in einer gemeinsamen Voxel-Map können diese Freiräume dann validiert werden. Ferner kann das Verfahren eine jeweilige Identifikation von Objekten auf Basis der ersten Sensordaten und der zweiten Sensordaten umfassen, wobei die Position der erkannten Objekte der ersten Sensordaten und der zweiten Sensordaten verglichen wird, um mögliche Überschneidungen und/oder Verdeckungen der erkannten Objekte zu erkennen. Unter dem Begriff „Verdeckung" ist insbesondere ein durch ein Objekt verdeckter Bereich gemeint. In anderen Worten werden die jeweils erkannten Objek te in eine räumliche Beziehung zueinander gebracht. Vorzugweise werden die Objekte in einem gemeinsamen Raum dargestellt, wobei dann erkannt werden kann, ob Ob jekte sich überschneiden und/oder verdecken.

Objekte werden vorzugsweise zumindest als ein Teil der Sensordaten identifiziert, der eine zusammenhängende räumliche Form bzw. Geometrie aufweist. Zur Identifikation können somit entsprechende Teile der Sensordaten mit einer zusammenhängenden Geometrie erkannt werden. Hilfsweise kann auch die Ground Truth eingesetzt wer den. Die Ground Truth kann Informationen über die Anzahl an Objekten, jeweiliger Objektklassen und/oder Positionen umfassen. Dieses Wissen aus der Ground Truth kann bei der Objekterkennung verwendet werden, indem bspw. ein Vergleich zwi schen der Form und/oder der Position eines erkannten Objektes und den entspre chenden Informationen aus der Ground Truth erfolgt.

Eine Möglichkeit, die Positionen der erkannten Objekte zu vergleichen, wäre den er kannten Objekten Voxel der gemeinsamen Voxel-Map zuzuordnen. Voxel, die hin sichtlich beider Sensordaten einem Objekt zugeordnet sind, beruhen somit auf einer Überschneidung. Voxel, die einem Objekt einer Punktwolke zugeordnet werden, al lerdings hinter einem Voxel eines Objektes der anderen Punktwolke liegen, werden von dem Objekt dieser anderen Punktwolke verdeckt.

Das Verfahren kann das Identifizieren von Rauschpunkten umfassen. Rauschpunkte stammen nicht von Objekten, sondern resultieren aus einem Rauschen. Rauschpunkte werden insbesondere durch Nachbarschaftsvergleiche benachbarter Punkte einer Punktwolke und/oder entsprechender benachbarter Voxel erkannt. Insbesondere kann durch Nachbarschaftsvergleiche ein Grundlevel der empfangenden Energie fest gestellt werden, wobei Punkte, deren Energie sich nicht wesentlich von diesem Ener- gielevel abhebt, als Rauschpunkte identifiziert werden. Im Detail hat jeder empfange ne Messpuls eine Energie, sodass jedem Punkt der Punktwolke eine Energie zugeord- net werden kann. Ferner kann jedem Voxel eine Energie der darin befindlichen Punkte zugeordnet werden. Insbesondere wird die Energie der Punkte addiert, die einem gemeinsamen Voxel zugeordnet sind. Ferner kann die Energie der unmittelbaren an grenzenden Nachbarn eines Voxels gemittelt werden (um das „Grundlevel" festzustel len) und mit der Energie des Voxels verglichen werden. Unterschreitet dessen Energie bspw. einen zuvor festgelegten Anteil der gemittelten Energie als Schwellwert, kön nen alle im Voxel befindlichen Punkte als Rauschpunkt identifiziert werden. Ferner kann auch ein Schwellwert festgelegt sein, der mehr als nur die direkt angrenzenden Voxel berücksichtigt. Bspw. können alle Voxel berücksichtigt werden, die sich unter halb einer festgelegten Entfernung zu dem Voxel befinden.

Ferner kann die Klassifikation auf Basis von identifizierten Objekten, identifizierten Freiräumen und/oder identifizierten Rauschpunkten erfolgen. Insbesondere werden im Rahmen der Klassifikation relevante Punkte und nicht relevante Punkte mit Hilfe eines Point Cloud Markers markiert.

Zu den nicht relevanten Punkten gehören beispielsweise identifizierte Rauschpunkte. Insbesondere werden Punkte ausgewählt und als relevant klassifiziert, auf deren Basis eine Zusammenführung verschiedener Szenarien Sinn ergibt, um dritte Sensordaten eines realistischen zusammengesetzten Szenarios zu erhalten.

Es können im Rahmen der Klassifikation verdeckte Punkte einer Punktwolke als nicht relevant klassifiziert werden, wobei die Punkte innerhalb der Voxel-Map von mindes tens einem Punkt derselben und/oder der anderen Punktwolke verdeckt werden.

Beispielsweise können bereits auf Basis der Freiraumerkennung die Punkte als nicht relevant klassifiziert werden, die von anderen Punkten derselben oder einer anderen Punktwolke verdeckt werden. Der somit jeweils radial erste belegte Voxel definiert, dass alle Punkte, die in radial dahinterliegenden Voxeln liegen, als nicht relevant klas sifiziert werden.

Ferner können im Rahmen der Klassifikation Punkte einer Punktwolke als nicht rele vant klassifiziert werden, wenn die Punkte von einem Objekt der anderen Punktwolke verdeckt werden. Beispielsweise könnte ein Objekt, das aus der einen Punktwolke stammt, radial vor Punkten der anderen Punktwolke liegen. Diese verdeckten Punkte können beispielsweise einem Objekt dieser anderen Punkte zugeordnet sein. Diese Punkte sind jedoch durch das Objekt der anderen Punkte derart verdeckt, dass deren Berücksichtigung keinen Sinn ergibt, da die dritten Sensordaten dieses zusammenge setzten Szenarios, wenn es derart aufgenommen wäre, die Punkte, aufgrund der Ver deckung, nicht enthalten würde.

Ferner können im Rahmen der Klassifikation Punkte einer Punktwolke als nicht rele vant klassifiziert werden, wenn die Punkte innerhalb eines Objektes der anderen Punktwolke liegen. Hier gilt eine analoge Logik. Entsprechende Punkte hätten in dem zusammengesetzten Szenario aufgrund der Anwesenheit des Objektes der anderen Punktwolke, nicht detektiert werden können, sodass die Zusammenführung dieser Punkte in eine gemeinsame Punktwolke keinen Sinn ergibt.

Es können im Rahmen der Klassifikation Punkte einer Punktwolke als nicht relevant klassifiziert werden, wenn die Punkte von einem ersten Objekt stammen, das sich mit einem zweiten Objekt der anderen Punktwolke überschneidet. Bei einer Überschnei dung überschneidet sich ein Objekt, das anhand der ersten Sensordaten identifiziert wurde, mit einem Objekt, das anhand der zweiten Sensordaten identifiziert wurde. Aufgrund der Überschneidung kann eine Zusammenführung aller entsprechenden Punkte der sich überschneidenden Objekte keinen Sinn ergeben. Es kann somit ent schieden werden nur die Punkte eines dieser Objekte in die dritten Sensordaten des zusammengesetzten Szenarios zu übernehmen. Dann ist es sinnvoll alle Punkte des anderen Objektes, das sich mit dem zweiten Objekt überschneidet, als nicht relevant zu klassifizieren.

Im Rahmen der Klassifikation können Punkte einer Punktwolke auch als nicht relevant klassifiziert werden, wenn die Punkte in beiden Sensordaten Vorkommen. Beispiels weise kann ein Objekt in beiden Sensordaten an genau der gleichen Stelle erkannt worden sein. Dann macht es Sinn, die doppelt auftretenden Punkte in nur einer der Punktwolken als nicht relevant zu klassifizieren.

Als nicht relevante Punkte können somit verdeckte Punkte verstanden werden. Diese können innerhalb der Voxel-Map von mindestens einem Punkt derselben und/oder der anderen Punktwolke, von anderen Punkten derselben oder einer anderen Punkt wolke und/oder von einem Objekt der anderen Punktwolke verdeckt werden. Auch können sie verdeckt sein, weil sie innerhalb eines Objektes der anderen Punktwolke liegen und/oder von einem ersten Objekt stammen, das sich mit einem zweiten Ob jekt der anderen Punktwolke überschneidet.

Ferner können nicht relevante Punkte als redundante Punkte verstanden werden, da sie in den ersten Sensordaten und den zweiten Sensordaten Vorkommen, und/oder als Rauschpunkte.

Die Zusammenführung der ersten Sensordaten und der zweiten Sensordaten umfasst insbesondere eine Eintragung der als relevant klassifizierten Punkte der ersten Sens ordaten und der zweiten Sensordaten in einem gemeinsamen Koordinatensystem. Ferner kann das Zusammenführen das Abspeichern in einem gemeinsamen Datensatz umfassen. Es wird somit eine zusammengeführte Punktwolke als Resultat erreicht, die ein zusammengesetztes Szenario der beiden Szenarien darstellt. Somit wird ein zu sammengesetztes Szenario erstellt.

Das Verfahren kann die obigen Schritte auch für weitere Szenarien umfassen, wobei die Zusammenführung die ersten Sensordaten, die zweiten Sensordaten und weitere Sensordaten umfassen.

Wenn die ersten Sensordaten und zweiten Sensordaten jeweils eine Zeitspanne abbil den, die dazu dient, den Bewegungsablauf eines Objektes abzubilden, werden die oben genannten Schritte für verschiedene Zeitpunkte, in anderen Worten Moment aufnahmen, des jeweiligen Bewegungsablaufes der Sensordaten durchgeführt. In ei nem solchen Fall umfassen die ersten Sensordaten und die zweiten Sensordaten meh rere Punktwolken zu verschiedenen Zeitpunkten der jeweils abgebildeten Zeitspanne. Diese bilden die entsprechenden Momentaufnahmen. Es werden somit immer jeweils eine Punktwolke der ersten Sensordaten mit einer Punktwolke der zweiten Sensorda ten zusammengeführt, aus denen sich ein Bewegungsablauf der im zusammengesetz ten Szenario enthaltenen Objekte wiedergibt. Die dritten Sensordaten des zusam mengesetzten Szenarios bilden somit ebenfalls eine Zeitspanne ab und können somit mehrere erhaltene Punktwolken umfassen.

Grundsätzlich können bei Sensordaten mit unterschiedlicher Zeitspanne diese unter schiedlich zusammengesetzt werden, je nachdem, wann man die Zusammenführung beginnt. In anderen Worten kann man die Sensordaten auf einer Zeitskala zueinander verschieben. Die zeitliche Relation zwischen den Momentaufnahmen derselben Sens ordaten bleibt stets erhalten. In anderen Worten werden die Sensordaten einer Zeit spanne weder zeitlich „gedehnt" noch „gestaucht", sondern werden in der zeitlichen Reihenfolge und dem zeitlichen Abstand, in dem diese aufgenommen wurden, mit anderen Sensordaten kombiniert. Die Zusammenführung ist leicht möglich, da sich die ersten Sensordaten und die zweiten Sensordaten aus mehreren Punktwolken zu ver schiedenen Zeitpunkten der jeweils abgebildeten Zeitspanne zusammensetzen, so- dass eine andere zeitliche Kombination einfach bedeutet, dass zeitlich gesehen ande re Punktwolken zusammengeführt werden.

Es müssen die Zeitspannen, die das erste Szenario und das zweite Szenario abbilden, nicht gleich lang sein. Wenn bspw. die ersten Sensordaten und die zweiten Sensorda ten unterschiedliche Zeitspannen aufweisen, kann einfach die längere Zeitspanne ge nommen werden. Beim Zusammenführen der entsprechenden Momentaufnahmen der Sensordaten kann ab dem Ende der kürzeren Zeitspanne einfach nur noch die „letzte Momentaufnahme" der Sensordaten der kürzeren Zeitspannen genommen werden. Dies entspreche dem realen Fall, dass sich ab diesem Zeitpunkt das Objekt, das in den Sensordaten mit kürzerer Zeitspanne abgebildet ist, nicht mehr bewegt. Oder es werden einfach nur noch die Momentaufnahmen der Sensordaten der länge ren Zeitspanne genommen, da keine Momentaufnahmen der Sensordaten der kürze ren Zeitspanne mehr vorliegen, sodass eigentlich keine wirkliche Zusammenführung mehr stattfindet. Gleiches kann sich auf den Anfangszeitpunkt des zusammengesetz ten Szenarios beziehen. In anderen Worten könnte ein Szenario bereits früher starten und ein anderes später „hinzugeschaltet" werden.

Beispielsweise haben die ersten Sensordaten eine Länge von 10 Sekunden und die zweiten Sensordaten eine Länge von 4 Sekunden. Man könnte nun die Zeitspannen zueinander so versetzen, wie man möchte. Beispielsweise könnten die ersten Sensor daten sofort „gestartet werden" und erst ab der dritten Sekunde die zweiten Sensor daten anfangen. Dies würde bedeuten, dass vor der dritten Sekunde lediglich die ent sprechenden Momentaufnahmen der ersten drei Sekunden der ersten Sensordaten vorliegen. In anderen Worten findet keine Zusammenführung statt. Zwischen der drit ten und der siebten Sekunde liegen zeitlich gesehen Momentaufnahmen beider Sens ordaten vor, sodass diese zusammengeführt werden. Im Detail werden die Moment- aufnahmen der vierten bis siebten Sekunde der ersten Sensordaten mit den entspre chenden Momentaufnahmen der ersten bis vierten Sekunde der zweiten Sensordaten kombiniert. Nach der siebten Sekunde gibt es zwei Möglichkeiten. Man könnte die ersten Sensordaten weiterlaufen lassen, d.h. die Momentaufnahmen der letzten drei Sekunden der ersten Sensordaten nehmen, ohne Zusammenführung, da keine ent sprechenden Momentaufnahmen der zweiten Sensordaten mehr vorliegen, oder man nimmt die „letzte Momentaufnahme" der vierten Sekunde der zweiten Sensordaten und führt diese für den Rest der Zeitspanne mit den entsprechenden Momentauf nahmen der ersten Sensordaten zusammen. Insgesamt bestehen die dritten Sensor daten somit in den ersten drei Sekunden lediglich aus den Momentaufnahmen der ersten Sensordaten, zwischen der dritten und der siebten Sekunde aus der Zusam menführung der Momentaufnahmen beider Sensordaten, und nach der siebten Se kunde entweder aus der Zusammenführung der „letzte Momentaufnahme" der zwei ten Sensordaten und den entsprechenden Momentaufnahmen der ersten Sensorda ten oder lediglich aus den Momentaufnahmen der ersten Sensordaten.

Ferner können auch erste Sensordaten, die einen Bewegungsablauf abbilden, und zweite Sensordaten, die ein statisches Objekt abbilden, und somit streng genommen „statistische" Sensordaten, zusammengeführt werden, indem verschiedene Zeitpunk te der ersten Sensordaten jeweils mit den „statischen" zweiten Sensordaten zusam mengeführt werden.

Insbesondere kann das Verfahren das Bereitstellen einer ersten Ground Truth für das erste Szenario und einer zweiten Ground Truth für das zweite Szenario umfassen. Ins besondere können die erste Ground Truth und die zweite Ground Truth mittels Refe renzdaten ermittelt werden, wobei das Verfahren das Erfassen des ersten Szenarios und des zweiten Szenarios durch mindestens einen Referenzsensor zur Erfassung die ser Referenzdaten umfassen kann. Bei den Referenzdaten handelt es sich insbesonde re um eine Punktwolke, sodass der Referenzsensor ein Lidar-Sensor ist. Auch kann es sich bei den Referenzdaten um Bilddaten oder Radardaten handeln mit einer Kamera oder einem Radarsensor als Referenzsensor.

Die erste und die zweite Ground Truth dienen insbesondere dazu, dass erste Szenario und das zweite Szenario zu validieren. Die Ground Truth gibt wieder, was in den jewei ligen Sensordaten zu erkennen sein soll. Insbesondere umfasst das Verfahren eine Validierung der ersten Sensordaten des ersten Szenarios und der zweiten Sensordaten des zweiten Szenarios.

Insbesondere umfasst das Verfahren eine Zusammenführung der ersten Ground Truth und der zweiten Ground Truth zu einer Ground Truth des zusammengesetzten Szena rios. Die Zusammenfassung umfasst insbesondere eine Zusammenfassung der ermit telten oben genannten Parameter. Die Ground Truth des zusammengesetzten Szena rios dient ebenfalls dazu, die dritten Sensordaten des zusammengesetzten Szenarios zu validieren. Ein sehr einfaches Beispiel ist wie folgt: Die Ground Truth der ersten Sensordaten kann „Auto, von links kommend" und die Ground Truth der zweiten Sen sordaten „Fahrradfahrer, von rechts kommend" sein, sodass die Ground Truth der dritten Sensordaten wäre „sowohl Auto, von links kommend, als auch Fahrradfahrer von rechts kommend".

Ferner kann das Verfahren das Testen einer Objekterkennungseinheit umfassen, wo bei das Testen das Bereitstellen der dritten Sensordaten des zusammengesetzten Szenarios und ein Vergleich der von der Objekterkennungseinheit erkannten Objekte mit der Ground Truth des zusammengesetzten Szenarios umfassen. Im Detail ist die Objekterkennungseinheit dazu ausgebildet mindestens einen, insbesondere alle der oben genannten, Parameter, vorzugsweise mindestens eine Anzahl der erkannten Objekte und eine jeweilige Objektklasse, zu bestimmen. Dieser Output der Objekter kennungseinheit kann mit der Ground Truth verglichen werden. Es kann bspw. vergli chen werden, ob die Objekterkennungseinheit die gleiche Anzahl an Objekten und/oder jeweils die richtige Objektklasse erkannt hat. Die mittels der Objekterken nung ermittelten Parameter können mit den entsprechenden Parametern der Ground Truth verglichen werden.

Unter dem Begriff „Testen" kann insbesondere ein Training der Objekterkennungs einheit verstanden werden. Insbesondere kann die Objekterkennungseinheit ein Er kennungsmodul umfassen, das ein neuronales Netzwerk mit Gewichten umfasst. So können die dritten Sensordaten dazu genutzt werden, die Gewichte zwischen den Neuronen anzupassen, indem, wie oben beschrieben, ein Output der Objekterken nungseinheit mit äquivalenten Parametern der Ground Truth verglichen wird. Ferner kann unter dem „Testen" eine Kontrolle bereits angepasster Gewichte ver standen werden. In diesem Falle werden die Gewichte nicht mehr verändert, sondern stattdessen wird auf Grundlage der bereits angepassten Gewichte aus der vorherigen Trainingsphase ein Lernfortschritt des Netzwerkes untersucht.

Das Verfahren kann zudem das Erstellen einer Bibliothek zum Erstellen von Sensorda ten zusammengesetzter Szenarien umfassen, in der die Sensordaten und optionaler weise die entsprechende Ground Truths verschiedener Szenarien abgelegt werden. Unter „Ablegen" ist insbesondere ein Speichern zu verstehen. Die abgelegten Sensor daten wurden insbesondere zuvor erfasst. Die zusammengesetzten Szenarien werden insbesondere wie oben beschrieben erstellt. Die abgelegten Szenarien durch Angabe der folgenden Parameter klassifiziert bzw. kategorisiert werden, bspw. der Objekt klasse, die in dem Szenario zu sehen ist, der Remission des Objektes, der relativen Ge schwindigkeit, der Bewegungsrichtung, des Abstandes zu einer Einheit zum Erfassen der Sensordaten, den Umweltbedingungen, bspw. Regen oder Nebel, und/oder der Position, vorzugsweise in einem Erfassungsbereich der Einheit zum Erfassen der Sze narien (bspw. oben rechts).

Das Verfahren kann die Nutzung der Bibliothek umfassen um Sensordaten definierter zusammengesetzter Szenarien zu erstellen. Ferner kann die Bibliothek dazu genutzt werden randomisiert Sensordaten zusammenzuführen um somit Sensordaten zu sammengesetzter Szenarien zu erstellen. Dies kann automatisiert oder manuell erfol gen. Beispielsweise können durch alle sinnvollen Permutationen Zusammensetzungen der Sensordaten aller zuvor abgelegten Szenarien erstellt werden. Dabei können bspw. alle sinnvollen Kombinationen von Sensordaten von zwei und/oder drei der abgelegten Szenarien erstellt werden. Es entsteht somit eine große Menge an unter schiedlichen zusammengesetzten Szenarien. Nicht sinnvoll wäre dabei insbesondere eine Kombination eines Szenarios mit sich selbst, wobei die entsprechenden Kombina tionen dafür auszuschließen wären. Die mithilfe der Bibliothek zusammengeführten Sensordaten zusammengesetzter Szenarien können dazu verwendet werden eine Ob jekterkennungseinheit automatisiert zu testen. Insbesondere werden die entspre chenden Ground Truths der zusammengesetzten Sensordaten auch zusammengesetzt und für das Testen herangezogen. Vorteilhaft ist, dass gegenüber dem Stand der Technik nicht sämtliche mögliche Sze narien „eingefahren" werden müssen. Der Begriff „Einfahren" beschreibt, dass ein Fahrzeug mit einer entsprechenden Einheit zum Erfassung und einem Referenzsensor ausgestattet ist, wobei hierbei sehr lange Fahrzeiten notwendig ist um wirklich alle Eventualitäten in einer realen Bedingung auch anzutreffen und einfangen zu können. Durch die Verwendung der Bibliothek kann dieser Aufwand zumindest zum großen Teil entfallen, da sich viele Szenarien aus abgelegten Szenarien kombinieren lassen.

In einem weiteren Aspekt bezieht sich die Erfindung auf eine Vorrichtung zum Erstel len zusammengesetzter Szenarien zum Testen einer Objekterkennungseinheit, wobei die Vorrichtung eine Einheit zum Zusammenführen der ersten Sensordaten und der zweiten Sensordaten zum Erhalten von dritten Sensordaten eines zusammengesetz ten Szenarios umfasst. Ferner umfasst die Vorrichtung eine Klassifizierungseinheit zur Klassifikation der jeweiligen Punkte der ersten Sensordaten und der jeweiligen Punkte der zweiten Sensordaten in relevant und nicht relevant. Die Vorrichtung ist vorzugs weise zur Durchführung des oben beschriebenen Verfahrens ausgebildet.

Die Vorrichtung kann ferner eine Einheit zum Erfassen der ersten und der zweiten Sensordaten umfassen, wobei es sich hierbei bevorzugt um einen Lidar-Sensor han delt. Bei den Punktwolken der ersten Sensordaten und der zweiten Sensordaten han delt es sich demnach um Lidar-Punktwolken. Die Einheit ist insbesondere dazu ausge bildet, Messpulse mittels einer Sendeeinheit umfassend mehrere Sendeelemente zu versenden und reflektierte Messpulse mittels einer Empfangseinheit umfassend meh rere Empfangselemente zu empfangen. Dabei kann jede Sendeeinheit jeweils einem Empfangselement und jeweils einem dreidimensionalen Abschnitt des Messbereichs, d.h. einem Voxel, zugeordnet werden. Der Punkt, der aus dem Empfang eines Messpulses resultiert, kann somit eindeutig einem Voxel zugeordnet werden.

Die Klassifizierungseinheit kann insbesondere einen Voxelizer für die ersten und die zweiten Sensordaten umfassen, der die entsprechenden Sensordaten in einer Voxel- Map darstellt. Die Vorrichtung kann zudem eine Freiraumerkennungseinheit umfas sen, die Freiraum in der gemeinsamen Voxel-Map erkennt.

Ferner umfasst die Klassifizierungseinheit vorzugsweise eine Objekterkennungsein heit, die auf Basis der jeweiligen Sensordaten Objekte erkennt. Ferner kann die Vor- richtung eine Objektmergingeinheit umfassen, in anderen Worten eine Einheit zum Zusammenführen der erkannten Objekte, sodass Überschneidungen und/oder Verde ckungen der Objekte erkannt werden können.

Insbesondere umfasst die Klassifizierungseinheit ferner eine Rauschpunktidentifikati onseinheit, die dazu ausgebildet ist, Rauschpunkte direkt zu identifizieren.

Ferner kann die Vorrichtung einen Point Cloud Marker umfassen, der auf Basis der identifizierten Objekte, des identifizierten Freiraumes und der identifizierten Rausch punkte Punkte der verschiedenen Sensordaten als relevant und nicht relevant mar kiert. Ferner kann die Vorrichtung eine Einheit zum Zusammenführen der ersten und der zweiten Sensordaten umfassen, die die als relevant klassifizierten Punkte der ers ten Sensordaten und der zweiten Sensordaten in ein gemeinsames Koordinatensys tem ablegen kann.

Ferner umfasst die Erfindung ein Computerprogrammprodukt, das ein computerles bares Speichermedium umfasst, auf dem ein Programm gespeichert ist, dass es einem Computer ermöglicht, nachdem es in den Speicher des Computers geladen worden ist, ein oben beschriebenes Verfahren zur Klassifizierung von Objekten und/oder zur Distanzmessung, gegebenenfalls in Zusammenspiel mit einer oben beschriebenen Vorrichtung, durchzuführen.

Zudem betrifft die Erfindung ein computerlesbares Speichermedium, auf dem ein Programm gespeichert ist, das es einem Computer ermöglicht, nachdem es in den Speicher des Computers geladen worden ist, ein oben beschriebenes Verfahren zur Klassifizierung von Objekten und/oder zur Distanzmessung, gegebenenfalls in Zu sammenspiel mit einer oben beschriebenen Vorrichtung, durchzuführen.

Kurze Beschreibung der Zeichnungen

Es zeigen schematisch:

Figur 1 ein Verfahrensschema eines erfindungsgemäßen Verfahrens; Figur 2 erste Sensordaten; Figur 3 zweite Sensordaten;

Figur 4 eine gemeinsame Voxel-Map mit den ersten Sensordaten der Figur 2 und den zweiten Sensordaten der Figur 3;

Figur 5 die gemeinsame Voxel-Map der Figur 4 nach Identifikation von Rauschpunk ten;

Figur 6 die gemeinsame Voxel-Map der Figur 5 nach Klassifikation verdeckter Punk te als nicht relevant;

Figur 7 eine Voxel-Map mit den dritten Sensordaten des zusammengesetzten Szena rios;

Figur 8 eine erfindungsgemäße Vorrichtung; und

Figur 9 ein schematischer Ablauf eines erfindungsgemäßen Verfahrens eingebunden in die Vorrichtung nach Figur 8.

Bevorzugte Ausführungsformen der Erfindung

Figur 1 zeigt ein Verfahrensschema eines erfindungsgemäßen Verfahrens 100, das die folgenden Schritte umfasst:

Das Verfahren 100 dient zum Erstellen 101 zusammengesetzter Szenarien, um eine Objekterkennungseinheit 17 zu testen 117. Insbesondere kann das Verfahren 100 das Erstellen 101 zusammengesetzter Szenarien umfassen.

Das Verfahren 100 umfasst das Bereitstellen 103 von ersten Sensordaten 11 eines ersten Szenarios und von zweiten Sensordaten 12 eines zweiten Szenarios. Das Ver fahren 100 kann das vorherige Erfassen 102 der ersten Sensordaten 11 und der zwei ten Sensordaten 12 umfassen.

Ferner kann das Verfahren 100 das Bereitstellen 105 einer ersten Ground Truth für das erste Szenario und einer zweiten Ground Truth für das zweite Szenario umfassen, wobei ferner bevorzugt das Verfahren 100 das Erfassen 104 der beiden Ground Truths umfassen kann. Auf Basis der bereitgestellten Ground Truths können die ersten Sensordaten 11 des ersten Szenarios und die zweiten Sensordaten 12 des zweiten Szenarios validiert wer den 106.

Das Verfahren 100 umfasst eine Klassifikation 107 der jeweiligen Punkte 11a der ers ten Sensordaten 11 und der jeweiligen Punkte 12a der zweiten Sensordaten 12 in re levant oder nicht relevant. Zur Klassifikation kann das Verfahren 100 die Darstellung 108 der ersten Sensordaten 11 und der zweiten Sensordaten 12 in einer gemeinsa men Voxel-Map 23 umfassen, wobei freie Voxel als Freiräume identifiziert werden können 109.

Das Verfahren 100 kann ferner die Identifikation 110 von Objekten auf Basis der ers ten Sensordaten 11 und der zweiten Sensordaten 12 umfassen. Dabei können die Po sitionen der erkannten Objekte verglichen werden 111 und somit mögliche Über schneidungen und/oder Verdeckungen der Objekte erkannt werden 112. Das Verfah ren 100 kann ferner die Identifikation 113 von Rauschpunkten 24 umfassen.

Ferner umfasst das Verfahren 100 die Zusammenführung 114 der ersten Sensordaten 11 und der zweiten Sensordaten 12 zum Erhalten von dritten Sensordaten 28 des zu sammengesetzten Szenarios. Auf diese Weise wird ein zusammengesetztes Szenario erstellt 101.

Die Zusammenführung 114 kann die Eintragung 115 der als relevant klassifizierten Punkte in einem gemeinsamen Koordinatensystem umfassen.

Ferner kann das Verfahren 100 die Zusammenführung 116 der ersten Ground Truth und der zweiten Ground Truth zu einer Ground Truth des zusammengesetzten Szena rios umfassen.

Das Verfahren kann zudem das Testen 117 einer Objekterkennungseinheit 17 umfas sen, wobei das Testen 117 das Bereitstellen 118 der dritten Sensordaten 28 des zu sammengesetzten Szenarios sowie einen Vergleich 119, der von der Objekterken nungseinheit 17 erkannten Objekte mit der Ground Truth des zusammengesetzten Szenarios umfassen kann. Figur 2 zeigt erste Sensordaten 11. Dabei stellen die ersten Sensordaten eine Punkt wolke dar, wobei die einzelnen Punkte 11a der ersten Sensordaten deutlich zu sehen sind.

Figur 3 stellt zweite Sensordaten 12 dar, die ebenfalls als Punktwolke aus einzelnen Punkten 12a besteht.

In Figur 4 ist eine gemeinsame Voxel-Map 23 gezeigt, in der die ersten Sensordaten 11 der Figur 2 und die zweiten Sensordaten 12 der Figur 3 dargestellt sind. Die gemein same Voxel-Map 23 mit Voxeln 23a umfasst 16 Spalten und 16 Reihen. Ein Voxel 23a wird eindeutig durch Angabe der Zeile/Spalte definiert.

Die ersten Sensordaten 11 und die zweiten Sensordaten 12, so wie sie in Figuren 2 und 3 gezeigt sind, haben keinen räumlichen Bezug zueinander. Erst durch die Zuord nung der Punkte zu Voxeln und dann die Zusammenführung in einer gemeinsamen Voxel-Map 23 wird eine räumliche Beziehung zueinander hergestellt.

Aus Gründen der vereinfachten Darstellung sind die ersten Sensordaten 11, die zwei ten Sensordaten 12 und die gemeinsame Voxel-Map 23 sowie die dann daraus er zeugten dritten Sensordaten 28 (siehe Figur 7) zweidimensional dargestellt, obwohl diese natürlich typischerweise dreidimensional vorliegen.

Die Punkte in der gemeinsamen Voxel-Map 23 in den Voxeln 23a an den Positionen 5/8, 6/4, 10/7, 10/8, 10/9, 11/6, 11/10, 12/11 sind Punkte 11a der ersten Punktwolke, während in den Voxeln 23a an den Positionen 6/11, 6/12, 6/13, 7/10, 8/9, 9/2, 10/15 die Punkte 12a der zweiten Sensordaten 12 eingetragen sind.

In Figur 5 ist die Voxel-Map der Figur 4 gezeigt, nachdem bereits einige Punkte als Rauschpunkte 24 identifiziert wurden. Dies betrifft die Punkte 9/2, 6/4, 5/8 und 10/15. Diese Rauschpunkte 24 werden als nicht relevante Punkte 27 klassifiziert.

In Figur 5 ist weiterhin zu sehen, wie Punkte 11a der ersten Sensordaten und Punkte 12a der zweiten Sensordaten verdeckte Bereiche 29 erzeugen. Nämlich sind alle Voxel 23a hinter den Punkten 11a an den Positionen 11/6, 10/7 und 10/8 verdeckt. Mit dem Begriff „hinter" ist radial dahinter angeordnet gemeint, was in der Voxel-Map 23 be deutet, dass die entsprechenden Voxel 23a eine höhere Zeilennummer aufweisen.

Analog erzeugen die Punkte 12a der zweiten Sensordaten 12 in den Voxeln 23a an den Positionen 8/9, 7/10, 6/11, 6/12 und 6/13 einen entsprechenden, verdeckten Be reich 29. In dem verdeckten Bereich 29 liegen drei Punkte 11a der ersten Sensordaten

11 und werden als verdeckte Punkte 25 klassifiziert. Dabei handelt es sich um die Punkte 11a in den Voxeln 23a an den Positionen 10/9, 11/10, 12/11.

Figur 6 zeigt die Voxel-Map der Figur 5, nachdem die verdeckten Punkte 25 als nicht relevant klassifiziert wurden. Ferner wurden die restlichen Punkte 11a der ersten Sen sordaten 11 und die restlichen Punkte 12a der zweiten Sensordaten 12 als relevante Punkte 26 klassifiziert.

In Figur 7 ist eine Voxel-Map mit den dritten Sensordaten 28 gezeigt, die durch Zu sammenführen der als relevant klassifizierten Punkte 26 der ersten Sensordaten 11 und der als relevant klassifizierten Punkte 26 der zweiten Sensordaten 12 resultiert. Die dritten Sensordaten 28 stellen ebenfalls eine Punktwolke mit entsprechenden Punkten 28a dar, und zwar mit den Punkten 28a in den Voxeln 23a an den Positionen 6/11, 6/12, 6/13, 7/10, 8/9, 10/7, 10/8 und 11/6.

Figur 8 zeigt eine erfindungsgemäße Vorrichtung 10, die eine Einheit 13 zum Erfassen der ersten Sensordaten 11 und der zweiten Sensordaten 12 umfassen kann. Ferner umfasst die Vorrichtung 10 eine Klassifizierungseinheit 15 und eine Einheit 14 zum Zusammenführen der ersten Sensordaten 11 und der zweiten Sensordaten 12.

Die Klassifizierungseinheit 15 kann einen Voxelizer 16, eine Freiraumidentifikations einheit 19, eine Objekterkennungseinheit 17, eine Objektmergingeinheit 18 und eine Rauschpunktidentifikationseinheit 20 sowie einen Point Cloud Marker 21 umfassen. Der Voxelizer 16 dient dazu, die ersten Sensordaten 11 und die zweiten Sensordaten

12 in einer gemeinsamen Voxel-Map 23 darzustellen, wobei die Freiraumidentifikati onseinheit 19 freie Voxel als Freiräume klassifiziert. Die Objekterkennungseinheit 17 dient dazu, Objekte zu erkennen und die Objektmergingeinheit 18 diese in räumliche Relation zueinander zu setzen, um mögliche Verdeckungen und/oder Überschneidun gen zu erkennen. Die Rauschpunktidentifikationseinheit 20 dient dazu, Rauschpunkte 24 zu identifizieren. Der Point Cloud Marker 21 dient dazu, alle Punkte der ersten Sen sordaten 11 und der zweiten Sensordaten 12 als relevant oder nicht relevant zu klassi fizieren. Nur relevante Punkte 26 werden anschließend von der Einheit 14 zum Zu sammenführen zu dritten Sensordaten 28 zusammengeführt.

In Figur 9 ist ein schematischer Ablauf des Verfahrens 100 eingebunden in die Vorrich tung 10 nach Figur 8 gezeigt. Dabei weist die Vorrichtung 10 nicht mehrere dargestell te Einheiten, wie bspw. Voxelizer oder Objekterkennungseinheiten, auf, sondern es ist in Figur 9 nur schematisch dargestellt, welche Pfade die Sensordaten innerhalb einer Vorrichtung 10 hinter sich legen.

Als Input werden erste Sensordaten 11 und zweite Sensordaten 12 bereitgestellt, die der Klassifizierungseinheit 15, und zwar zuerst dem Voxelizer 16 und anschließend der Freiraumidentifikationseinheit 19, zugeführt werden, um die ersten Sensordaten 11 und die zweiten Sensordaten 12 in einer gemeinsamen Voxel-Map 23 darzustellen und freie Voxel als Freiräume zu identifizieren.

Ferner werden die ersten Sensordaten 11 und die zweiten Sensordaten 12 der Ob jekterkennungseinheit 17 und anschließend der Objektmergingeinheit 18 zugeführt, um die Positionen der erkannten Objekte zueinander zu vergleichen und mögliche Überschneidungen und/oder Verdeckungen zu erkennen.

Außerdem werden die ersten Sensordaten und die zweiten Sensordaten der Rausch punktidentifikationseinheit 20 zugeführt, die Rauschpunkte 24 identifizieren kann.

Im Anschluss kann der Point Cloud Marker 21 die Rauschpunkte und identifizierte verdeckte oder anderweitig als nicht relevant klassifizierten Punkte als nicht relevant markieren, während die restlichen Punkte als relevant markiert werden. Die als rele vant klassifizierten Punkte 26 werden der Einheit 14 zum Zusammenführen der ersten Sensordaten 11 und der zweiten Sensordaten 12 zugeführt, die diese zu dritten Sens ordaten 28 zusammenführt. Bezugszeichenliste

100 Erfindungsgemäßes Verfahren

101 Erstellen zusammengesetzter Szenarien

102 Erfassen von ersten Sensordaten eines ersten Szenarios und von zweiten Sens ordaten eines zweiten Szenarios

103 Bereitstellen von ersten Sensordaten eines ersten Szenarios und von zweiten Sensordaten eines zweiten Szenarios

104 Erfassen einer ersten Ground Truth für das erste Szenario und einer zweiten Ground Truth für das zweite Szenario

105 Bereitstellen einer ersten Ground Truth für das erste Szenario und einer zwei ten Ground Truth für das zweite Szenario

106 Validierung der ersten Sensordaten des ersten Szenarios und der zweiten Sens ordaten des zweiten Szenarios

107 Klassifikation der jeweiligen Punkte der ersten Sensordaten und der jeweiligen Punkte der zweiten Sensordaten in relevant oder nicht relevant

108 Darstellung der ersten Sensordaten und der zweiten Sensordaten in einer ge meinsamen Voxel-Map

109 Identifikation von freien Voxel als Freiräume

110 Identifikation von Objekten auf Basis der ersten Sensordaten und der zweiten Sensordaten

111 Vergleich der Positionen der erkannten Objekte der ersten Sensordaten und der zweiten Sensordaten

112 Erkennung möglicher Überschneidungen und/oder Verdeckungen

113 Identifikation von Rauschpunkten

114 Zusammenführung der ersten Sensordaten und der zweiten Sensordaten zum Erhalten von dritten Sensordaten eines zusammengesetzten Szenarios

115 Eintragung der als relevant klassifizierten Punkte in einem gemeinsamen Koor dinatensystem

116 Zusammenführung der ersten Ground Truth und der zweiten Ground Truth zu einer Ground Truth des zusammengesetzten Szenarios

117 Testen einer Objekterkennungseinheit

118 Bereitstellen der dritten Sensordaten des zusammengesetzten Szenarios 9 Vergleich der von der Objekterkennungseinheit erkannten Objekte mit der Ground Truth des zusammengesetzten Szenarios Erfindungsgemäße Vorrichtung Erste Sensordaten a Punkt der ersten Sensordaten Zweite Sensordaten a Punkt der zweiten Sensordaten Einheit zum Erfassen der ersten Sensordaten und der zweiten Sensordaten Einheit zum Zusammenführen der ersten Sensordaten und der zweiten Sensor daten Klassifizierungseinheit Voxelizer Objekterkennungseinheit Objektmergingeinheit Freiraumidentifikationseinheit Rausch punktidentifikationsein heit Point Cloud Marker Gemeinsame Voxel-Map a Voxel Rauschpunkt Verdeckter Punkt Relevanter Punkt Nicht-Relevanter Punkt Dritte Sensordaten a Punkt der dritten Sensordaten Verdeckter Bereich

Claims

Ansprüche

1. Verfahren (100) zum Erstellen (101) zusammengesetzter Szenarien zum Testen einer Objekterkennungseinheit (17), wobei das Verfahren (100) das Bereitstellen (103) von ersten Sensordaten (11) eines ersten Szenarios und von zweiten Sensordaten (12) eines zweiten Szena rios umfasst, wobei die ersten Sensordaten (11) und die zweiten Sensordaten (12) jeweils mindestens eine Punktwolke umfassend eine Vielzahl von Punkten aufweisen, dadurch gekennzeichnet, dass das Verfahren (100) eine Klassifikation (107) der jeweiligen Punkte (11a) der ersten Sensordaten (11) und der jeweiligen Punkte (12a) der zweiten Sensorda ten (12) in relevant oder nicht relevant umfasst, wobei das Verfahren (100) die Zusammenführung (114) der ersten Sensordaten (11) und der zweiten Sensordaten (12) zum Erhalten von dritten Sensordaten (28) eines zusammengesetzten Szenarios umfasst, und wobei nur relevante Punkte (26) der ersten Sensordaten (11) und relevante Punkte (26) der zweiten Sensordaten (12) zu dritten Sensordaten (28) des zusammengesetzten Szena rios zusammengeführt werden.

2. Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass die ersten Sensordaten (11) und die zweiten Sensordaten (12) in einer gemein samen Voxel-Map (23) dargestellt werden, wobei freie Voxel (23a) als Freiräume identifiziert werden.

3. Verfahren (100) nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Verfahren (100) eine jeweilige Identifikation (110) von Objekten auf Basis der ersten Sensordaten (11) und der zweiten Sensordaten (12) umfasst, wobei die Positionen der erkannten Objekte der ersten Sensordaten (11) und der zweiten Sensordaten (12) verglichen werden (111), um mögliche Über schneidungen und/oder Verdeckungen zu erkennen.

4. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren die Identifikation (113) von Rauschpunkten (24) umfasst.

5. Verfahren (100) nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Klassifikation auf Basis von identifizierten Objekten, identifizierten Freiräu men und/oder identifizierten Rauschpunkten (24) erfolgt.

6. Verfahren (100) nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass im Rahmen der Klassifikation verdeckte Punkte (25) einer Punktwolke als nicht relevant klassifiziert werden, wobei verdeckte Punkte (25) innerhalb der gemeinsamen Voxel-Map (23a) von mindestens einem Punkt derselben und/oder der anderen Punktwolke ver deckt werden.

7. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass im Rahmen der Klassifikation Punkte einer Punktwolke als nicht relevant klassi fiziert werden, wenn die Punkte von einem Objekt der anderen Punktwolke verdeckt werden und/oder wenn die Punkte innerhalb eines Objektes der an deren Punktwolke liegen und/oder wenn die Punkte von einem ersten Objekt stammen, das sich mit einem zweiten Objekt der anderen Punktwolke über schneidet und/oder wenn die Punkte in den ersten Sensordaten und den zwei ten Sensordaten Vorkommen.

8. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Zusammenführung (114) der ersten Sensordaten (11) und der zweiten Sen sordaten (12) eine Eintragung (115) der als relevant klassifizierten Punkte (26) in einem gemeinsamen Koordinatensystem umfasst.

9. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) das Bereitstellen (105) einer ersten Ground Truth für das erste Szenario und einer zweiten Ground Truth für das zweite Szenario umfasst.

10. Verfahren (100) nach Anspruch 9, dadurch gekennzeichnet, dass das Verfahren (100) eine Zusammenführung (116) der ersten Ground Truth und der zweiten Ground Truth zu einer Ground Truth des zusammengesetzten Sze narios umfasst.

11. Verfahren (100) nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass das Verfahren das Testen (117) einer Objekterkennungseinheit (17) umfasst, wobei das Testen (117) das Bereitstellen (118) der dritten Sensordaten (28) des zusammengesetzten Szenarios und einen Vergleich (119) der von der Objekter kennungseinheit (17) erkannten Objekte mit der Ground Truth des zusammen gesetzten Szenarios umfasst.

12. Verfahren (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) das Erstellen einer Bibliothek zum Erstellen von Sensorda ten zusammengesetzter Szenarien umfasst, wobei in der Bibliothek Sensordaten verschiedener Szenarien und optionaler weise die entsprechende Ground Truths der Szenarien abgelegt werden.

13. Vorrichtung (10) zum Erstellen zusammengesetzter Szenarien zum Testen einer Objekterkennungseinheit (17), dadurch gekennzeichnet, dass die Vorrichtung (100) eine Einheit (14) zum Zusammenführen der ersten Sens ordaten (11) und der zweiten Sensordaten (12) zum Erhalten von dritten Sens ordaten (28) eines zusammengesetzten Szenarios umfasst, wobei die Vorrichtung (10) eine Klassifizierungseinheit (15) zur Klassifikation (107) der jeweiligen Punkte (11a) der ersten Sensordaten (11) und der jeweili- gen Punkte (12a) der zweiten Sensordaten (12) in relevant und nicht relevant umfasst.

14. Computerprogrammprodukt, das ein computerlesbares Speichermedium um fasst, auf dem ein Programm gespeichert ist, das es einem Computer ermög licht, nachdem es in den Speicher des Computers geladen worden ist, ein Ver fahren (100) gemäß einem der Ansprüche 1 bis 12, gegebenenfalls im Zusam menspiel mit einer Vorrichtung (10) gemäß Anspruch 13, durchzuführen.

15. Computerlesbares Speichermedium, auf dem ein Programm gespeichert ist, das es einem Computer ermöglicht, nachdem es in den Speicher des Compu ters geladen worden ist, ein Verfahren gemäß einem der Ansprüche 1 bis 12, gegebenenfalls im Zusammenspiel mit einer Vorrichtung (10) gemäß Anspruch 13, durchzuführen.