EP4107654A1 - Method and device for generating combined scenarios - Google Patents

Method and device for generating combined scenarios

Info

Publication number
EP4107654A1
EP4107654A1 EP21703723.3A EP21703723A EP4107654A1 EP 4107654 A1 EP4107654 A1 EP 4107654A1 EP 21703723 A EP21703723 A EP 21703723A EP 4107654 A1 EP4107654 A1 EP 4107654A1
Authority
EP
European Patent Office
Prior art keywords
sensor data
points
scenario
relevant
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21703723.3A
Other languages
German (de)
French (fr)
Inventor
Özgür Nurettin Püskül
Jörn BOYSEN
Jan WEIDAUER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microvision Inc
Original Assignee
Ibeo Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibeo Automotive Systems GmbH filed Critical Ibeo Automotive Systems GmbH
Publication of EP4107654A1 publication Critical patent/EP4107654A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Definitions

  • scenario is in particular a scene that was recorded by a sensor.
  • This scene primarily comprises at least one object.
  • the scene can be dynamic or static.
  • the scenario comprises at least one point in time of a movement sequence of a dynamic object
  • the sensor data can represent a time span of a movement sequence. Then the sensor data consist of temporally adjacent points in time, in other words snapshots, of the movement sequence. Each snapshot would then be provided with a time stamp.
  • sensor data could also originate from a real environment and have been "retracted” by means of a unit for capturing sensor data.
  • Reference data for the determination of a ground truth are preferably also recorded by a reference sensor appropriately arranged on the vehicle.
  • the ground truth and the sensor data can be checked by another camera.
  • Objects in the sensor data can be labeled using the ground truth.
  • points of a point cloud can be assigned to an object.
  • sensor data can also be “extracted” from the recorded data. For example, only the points of the point cloud that were assigned to an object can be extracted and then sensor data can be displayed with regard to this object only.
  • Voxels that are assigned to an object with regard to both sensor data are thus based on an overlap.
  • Voxels which are assigned to an object of a point cloud, but which are behind a voxel of an object of the other point cloud, are covered by the object of this other point cloud.
  • hidden points of a point cloud can be classified as irrelevant, the points within the voxel map being covered by at least one point of the same and / or the other point cloud.
  • the first sensor data and the second sensor data each map a time span that is used to map the motion sequence of an object
  • the above-mentioned steps are carried out for different points in time, in other words recordings, of the respective motion sequence of the sensor data.
  • the first sensor data and the second sensor data comprise a plurality of point clouds at different points in time of the time span shown in each case. These form the corresponding snapshots.
  • a point cloud of the first sensor data is thus always merged with a point cloud of the second sensor data, from which a movement sequence of the objects contained in the composite th scenario is reproduced.
  • the third sensor data of the composite scenario thus also map a period of time and can thus include several point clouds obtained.
  • the time spans that represent the first scenario and the second scenario do not have to be of the same length. If, for example, the first sensor data and the second sensor data have different time periods, the longer time period can simply be taken.
  • the “last snapshot" of the sensor data of the shorter time periods can be taken Time span is mapped, no longer moved. Or the snapshots of the sensor data of the longer time span are simply taken, since there are no more snapshots of the sensor data of the shorter time span, so that there is actually no longer any real merging. The same can apply to the initial point in time of the composite scenario. In other words, one scenario could start earlier and another "added" later.
  • the method can include providing a first ground truth for the first scenario and a second ground truth for the second scenario.
  • the first ground truth and the second ground truth can be determined by means of reference data, it being possible for the method to include the acquisition of the first scenario and the second scenario by at least one reference sensor for acquiring these reference data.
  • the reference data is in particular a point cloud, so that the reference sensor is a lidar sensor.
  • the reference data can also be image data or radar data with a camera or a radar sensor as the reference sensor.
  • the invention further comprises a computer program product which comprises a computer-readable storage medium on which a program is stored that enables a computer, after it has been loaded into the memory of the computer, a method as described above for classifying objects and / or for To carry out distance measurement, if necessary in conjunction with a device described above.
  • FIG. 5 shows the common voxel map of FIG. 4 after identification of noise points
  • FIG. 8 shows a device according to the invention.
  • a common voxel map 23 is shown in FIG. 4, in which the first sensor data 11 from FIG. 2 and the second sensor data 12 from FIG. 3 are shown.
  • the common voxel map 23 with voxels 23a comprises 16 columns and 16 rows.
  • a voxel 23a is clearly defined by specifying the row / column.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
  • Control Of Multiple Motors (AREA)
  • Electrotherapy Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method (100) for generating (101) combined scenarios for testing an object detection unit (17). The method (100) has the step of providing (103) first sensor data (11) of a first scenario and second sensor data (12) of a second scenario, said first sensor data (11) and second sensor data (12) each being a respective point cloud which comprises a plurality of points. The method (100) has a step of classifying (107) each point (11a) of the first sensor data (11) and each point (12a) of the second sensor data (12) as relevant or not relevant, and the method also has a step of combining (114) the first sensor data (11) and the second sensor data (12) in order to obtain third sensor data (28) of a combined scenario, wherein only relevant points (26) of the first sensor data (11) and relevant points (26) of the second sensor data (12) are combined in order to form the third sensor data (28) of the combined scenario.

Description

Verfahren und Vorrichtung zum Erstellen zusammengesetzter Szenarien Method and device for creating composite scenarios
Technisches Gebiet Technical area
Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zum Erstellen zusammen gesetzter Szenarien zum Testen einer Objekterkennungseinheit. The invention relates to a method and a device for creating composite scenarios for testing an object recognition unit.
Stand der Technik State of the art
In der Automobilbranche ist es bekannt, möglichst viele Szenarien in der realen Um gebung zu testen, um eine Objekterkennungseinheit, die Teil eines Fahrassistenzsys tems oder einer Vorrichtung zur fahrerlosen Navigation eines Fahrzeuges ist. Aus dem Stand der Technik ist ferner bekannt, derartige Szenarien mittels eines Umfeldsimula tionssystems künstlich herbeizuführen, um eine Reproduzierbarkeit und eine Wieder holbarkeit zu ermöglichen. In the automotive industry it is known to test as many scenarios as possible in the real environment in order to use an object recognition unit that is part of a driver assistance system or a device for driverless navigation of a vehicle. It is also known from the prior art to artificially bring about such scenarios by means of an environment simulation system in order to enable reproducibility and repeatability.
DE 20 2018 105 162 Ul beschreibt beispielsweise ein derartiges Umfeldsimulations system für einen Prüfstand zum Testen von technischen Anlagen oder Maschinen. DE 20 2018 105 162 U1 describes, for example, such an environment simulation system for a test bench for testing technical systems or machines.
Im Stand der Technik wird allerdings nicht darauf eingegangen, wie die aufgenomme nen Daten zu einer vollumfänglichen Evaluierung einer Objekterkennungseinheit füh ren können. However, the prior art does not go into how the recorded data can lead to a full evaluation of an object recognition unit.
Darstellung der Erfindung: Aufgabe, Lösung, Vorteile Presentation of the invention: task, solution, advantages
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Erstellen zusammengesetzter Szenarien zum Testen einer Objekterkennungseinheit zur Verfü gung zu stellen, das es im Vergleich zum Stand der Technik ermöglicht, aus verschie denen Szenarien kompliziertere Szenarien zusammenzufassen, um eine Objekterken nungseinheit vollumfänglich testen zu können. Ferner soll gewährleistet sein, dass sowohl die einzelnen Szenarien als auch das zusammengesetzte Szenario evaluierbar ist. Gelöst wird die oben genannte Aufgabe durch das erfindungsgemäße Verfahren zum Erstellen zusammengesetzter Szenarien zum Testen einer Objekterkennungseinheit. Die Objekterkennungseinheit ist vor allem Teil eines Fahrassistenzsystems und/oder einer Vorrichtung zur fahrerlosen Navigation eines Fahrzeuges. The present invention is based on the object of providing a method for creating composite scenarios for testing an object recognition unit which, compared to the prior art, makes it possible to combine more complicated scenarios from various scenarios in order to be able to fully test an object recognition unit . Furthermore, it should be ensured that both the individual scenarios and the composite scenario can be evaluated. The above-mentioned object is achieved by the method according to the invention for creating composite scenarios for testing an object recognition unit. The object recognition unit is primarily part of a driver assistance system and / or a device for driverless navigation of a vehicle.
Das Verfahren umfasst das Bereitstellen von ersten Sensordaten eines ersten Szena rios und von zweiten Sensordaten eines zweiten Szenarios, wobei die ersten Sensor daten und die zweiten Sensordaten jeweils mindestens eine Punktwolke umfassend eine Vielzahl von Punkten umfassen. In anderen Worten werden mindestens eine ers te Punktwolke von einem ersten Szenario und mindestens eine zweite Punktwolke von einem zweiten Szenario bereitgestellt. The method comprises the provision of first sensor data of a first scenario and of second sensor data of a second scenario, the first sensor data and the second sensor data each comprising at least one point cloud comprising a plurality of points. In other words, at least one first point cloud from a first scenario and at least one second point cloud from a second scenario are provided.
Das Verfahren umfasst die Zusammenführung der ersten Sensordaten und der zwei ten Sensordaten zum Erhalten von dritten Sensordaten eines zusammengesetzten Szenarios, wobei das Verfahren eine Klassifikation der jeweiligen Punkte der ersten Sensordaten und der jeweiligen Punkte der zweiten Sensordaten in relevant und nicht relevant umfasst, wobei nur relevante Punkte der ersten Sensordaten und relevante Punkte der zweiten Sensordaten zu Sensordaten des zusammengesetzten Szenarios zusammengeführt werden. In anderen Worten wird jeder Punkt der ersten Sensorda ten und jeder Punkt der zweiten Sensordaten als entweder relevant oder nicht rele vant klassifiziert. Der Begriff „zusammengesetzt" ist insbesondere derart zu verste hen, dass das Szenario aus einzelnen Szenarien gebildet, in anderen Worten zusam mengeführt, ist. The method comprises the merging of the first sensor data and the second sensor data to obtain third sensor data of a composite scenario, the method comprising a classification of the respective points of the first sensor data and the respective points of the second sensor data into relevant and not relevant, with only relevant ones Points of the first sensor data and relevant points of the second sensor data are combined to form sensor data of the composite scenario. In other words, each point of the first sensor data and each point of the second sensor data is classified as either relevant or not relevant. The term “composed” is to be understood in particular in such a way that the scenario is formed from individual scenarios, in other words it is brought together.
Bei dem Begriff „Szenario" handelt es sich insbesondere um eine Szene, die von einem Sensor aufgenommen wurde. Diese Szene umfasst vor allem mindestens ein Objekt. Die Szene kann dynamisch oder statisch sein. Insbesondere umfasst das Szenario mindestens einen Zeitpunkt eines Bewegungsablaufs eines dynamischen Objektes. Ferner können die Sensordaten eine Zeitspanne eines Bewegungsablaufes abbilden. Dann bestehen die Sensordaten aus zeitlich benachbarten Zeitpunkten, in anderen Worten Momentaufnahmen, des Bewegungsablaufes. Jede Momentaufnahme wäre dann mit einem Zeitstempel versehen. The term “scenario” is in particular a scene that was recorded by a sensor. This scene primarily comprises at least one object. The scene can be dynamic or static. In particular, the scenario comprises at least one point in time of a movement sequence of a dynamic object Furthermore, the sensor data can represent a time span of a movement sequence. Then the sensor data consist of temporally adjacent points in time, in other words snapshots, of the movement sequence. Each snapshot would then be provided with a time stamp.
Bei dem ersten Szenario und dem zweiten Szenario handelt es sich insbesondere um „einfache Szenarien". Insbesondere umfassen die jeweiligen Sensordaten nur wenige Objekte, bspw. nur ein Objekt. Ein zusammengesetztes Szenario würde dann mehrere Objekte umfassen. Bei dem zusammengesetzten Szenario handelt es sich insbesonde re um ein komplexes Szenario, wobei die Darstellbarkeit in einer realen Umgebung schwieriger ist als bei einem „einfachen Szenario". The first scenario and the second scenario are in particular “simple scenarios”. In particular, the respective sensor data comprise only a few Objects, for example only one object. A composite scenario would then comprise several objects. The composite scenario is, in particular, a complex scenario, where it is more difficult to represent it in a real environment than in the case of a “simple scenario”.
Insbesondere umfasst das Verfahren das Erfassen der Sensordaten des ersten Szena rios und das Erfassen der Sensordaten des zweiten Szenarios. Die Sensordaten wer den insbesondere mittels einer Einheit zum Erfassen von Sensordaten erfasst. Die ers ten Sensordaten und die zweiten Sensordaten werden insbesondere in einem Test stand, in dem sich vorzugsweise mindestens ein Objekt, bspw. ein Roboter bewegt, erfasst. In particular, the method comprises the acquisition of the sensor data of the first scenario and the acquisition of the sensor data of the second scenario. The sensor data are recorded in particular by means of a unit for recording sensor data. The first sensor data and the second sensor data are in particular recorded in a test in which at least one object, for example a robot, is preferably moving.
Ferner könnten Sensordaten auch aus einer realen Umgebung stammen und mittels einer Einheit zum Erfassen von Sensordaten „eingefahren" worden sein. In anderen Worten bedeutet dies, dass ein Fahrzeug mit einer Einheit zum Erfassen von Sensor daten ausgestattet wurde und ein entsprechendes Szenario „eingefangen", in ande ren Worten aufgenommen, hat. Dabei werden vorzugsweise auch Referenzdaten für die Bestimmung einer Ground Truth durch einen entsprechend am Fahrzeug ange ordneten Referenzsensor aufgenommen. Überprüft werden können dabei die Ground Truth und die Sensordaten durch eine weitere Kamera. Anhand der Ground Truth können Objekte in den Sensordaten gelabelt werden. . Ferner können Punkte einer Punktwolke einem Objekt zugeordnet werden. Entsprechend kann auch aus den auf genommen Daten Sensordaten „extrahiert" werden. Bspw. können nur die Punkte der Punktwolke, die einem Objekt zugeordnet wurden, entnommen werden und dann Sensordaten hinsichtlich nur dieses Objektes darstellen. Furthermore, sensor data could also originate from a real environment and have been "retracted" by means of a unit for capturing sensor data. In other words, this means that a vehicle was equipped with a unit for capturing sensor data and a corresponding scenario was “captured”, in other words, has. Reference data for the determination of a ground truth are preferably also recorded by a reference sensor appropriately arranged on the vehicle. The ground truth and the sensor data can be checked by another camera. Objects in the sensor data can be labeled using the ground truth. . Furthermore, points of a point cloud can be assigned to an object. Correspondingly, sensor data can also be “extracted” from the recorded data. For example, only the points of the point cloud that were assigned to an object can be extracted and then sensor data can be displayed with regard to this object only.
Die Ground Truth umfasst insbesondere die folgende Parameter: der Anzahl der Ob jekte in dem Szenario und/oder jeweils die Objektklasse, die Remission des Objektes, die relative Geschwindigkeit, die Bewegungsrichtung, der Abstand zu einer Einheit zum Erfassen der Sensordaten, die Umweltbedingungen, bspw. Regen oder Nebel, und/oder die Position, vorzugsweise in einem Erfassungsbereich der Einheit zum Er fassen der Szenarien (bspw. oben rechts). Diese Informationen bzw. Parameter wer den insbesondere aus den Referenzdaten ermittelt und vorzugsweise manuell über prüft. Das erste Szenario und das zweite Szenario unterscheiden sich vorzugsweise, und zwar insbesondere in mindestens einem der folgenden Parameter: der Anzahl an Ob jekten, die in dem Szenario zu sehen ist, der Objektklasse, der Remission des Objek tes, der relativen Geschwindigkeit, der Bewegungsrichtung, des Abstandes zu einer Einheit zum Erfassen der Sensordaten, den Umweltbedingungen, bspw. Regen oder Nebel, und/oder der Position, vorzugsweise in einem Erfassungsbereich der Einheit zum Erfassen der Szenarien (bspw. oben rechts). Die ersten Sensordaten und die zwei ten Sensordaten werden vorzugsweise an unterschiedlichen Orten, bspw. innerhalb eines Teststandes, und/oder zu unterschiedlichen Zeitpunkten erfasst. Bei den ersten Sensordaten des ersten Szenarios und den zweiten Sensordaten des zweiten Szena rios handelt es sich nicht um unterschiedliche Ansichten derselben Szene. Im Gegen teil beruhen die ersten Sensordaten und die zweiten Sensordaten vorzugsweise auf unterschiedlichen Szenen. Dies bedeutet, dass das zusammengesetzte Szenario nicht in Realität zur Aufnahme der ersten Sensordaten und der zweiten Sensordaten statt gefunden hat, sondern aus den verschiedenen Szenen zusammengesetzt ist. The ground truth includes in particular the following parameters: the number of objects in the scenario and / or the object class, the remission of the object, the relative speed, the direction of movement, the distance to a unit for capturing the sensor data, the environmental conditions, for example Rain or fog and / or the position, preferably in a detection area of the unit for detecting the scenarios (for example, top right). This information or parameters are determined in particular from the reference data and preferably checked manually. The first scenario and the second scenario preferably differ, in particular in at least one of the following parameters: the number of objects that can be seen in the scenario, the object class, the remission of the object, the relative speed, the direction of movement , the distance to a unit for capturing the sensor data, the environmental conditions, for example rain or fog, and / or the position, preferably in a capturing area of the unit for capturing the scenarios (for example top right). The first sensor data and the second sensor data are preferably recorded at different locations, for example within a test stand, and / or at different times. The first sensor data of the first scenario and the second sensor data of the second scenario are not different views of the same scene. On the contrary, the first sensor data and the second sensor data are preferably based on different scenes. This means that the composite scenario did not take place in reality for recording the first sensor data and the second sensor data, but is composed of the various scenes.
Als Ergebnis der Zusammenführung der ersten Sensordaten und der zweiten Sensor daten werden die dritten Sensordaten eines zusammengesetzten Szenarios erhalten, die ebenfalls mindestens eine Punktwolke darstellen. Die dritten Sensordaten sind in anderen Worten die gemeinsamen Sensordaten der ersten Sensordaten und der zwei ten Sensordaten, wobei die Klassifikation dazu dient, die Sensordaten so zusammen zuführen, dass ein sinnvolles Ergebnis erreicht wird. As a result of the merging of the first sensor data and the second sensor data, the third sensor data of a composite scenario are obtained, which likewise represent at least one point cloud. In other words, the third sensor data are the common sensor data of the first sensor data and the second sensor data, the classification serving to combine the sensor data in such a way that a meaningful result is achieved.
Der Vorteil des Verfahrens liegt darin, dass anhand von Sensordaten einfacher, leicht reproduzierbarer Szenarien Sensordaten zusammengesetzter Szenarien, das heißt in anderen Worten Sensordaten komplexer Szenarien, zusammengeführt werden kön nen, welche sich in dieser Komplexität nicht oder zumindest nur mit hohem Aufwand in einem Teststand darstellen lassen würden. Auch in der Realität lassen sich diese komplexen Szenarien nicht mit einer genügenden Wiederholbarkeit reproduzieren. Es wird somit eine höhere Abdeckung an Szenarien realisiert, ohne diese Szenarien auf öffentlicher Straße „einfahren" zu müssen, was ggfs zu risikoreichen Situationen füh ren könnte, oder aufwändig in Testständen nachstellen zu müssen. The advantage of the method is that sensor data of simple, easily reproducible scenarios, i.e. in other words sensor data of complex scenarios, can be combined with the aid of sensor data, which in this complexity are not represented in a test stand, or at least only with great effort would let. Even in reality, these complex scenarios cannot be reproduced with sufficient repeatability. A higher coverage of scenarios is thus realized without having to "run in" these scenarios on public roads, which could possibly lead to risky situations or having to be laboriously reproduced in test stands.
Im Rahmen der Klassifikation werden die ersten Sensordaten und die zweiten Sensor daten insbesondere in einer gemeinsamen Voxel-Map dargestellt. Diese wird insbe- sondere mit Hilfe eines Voxelizers erreicht, der die Punkte der Punktwolke der ersten Sensordaten und die Punkte der Punktwolke der zweiten Sensordaten in einer ge meinsamen Voxel-Map einträgt. In anderen Worten werden mittels des Voxelizers die Punkte der Punktwolken in einen dreidimensionalen Raum, der durch die Definition der Voxel segmentiert ist, eingetragen. Die Punktwolken sind nicht nur punktuell im Raum definiert, sondern können jeweils einem entsprechenden Voxel zugeordnet werden. Dies dient dazu, eine räumliche Beziehung zwischen den Punkten der ersten Sensordaten und den Punkten der zweiten Sensordaten herzustellen. As part of the classification, the first sensor data and the second sensor data are shown in particular in a common voxel map. This is especially Achieved in particular with the help of a voxelizer, which enters the points of the point cloud of the first sensor data and the points of the point cloud of the second sensor data in a common voxel map. In other words, by means of the voxelizer, the points of the point clouds are entered into a three-dimensional space that is segmented by the definition of the voxels. The point clouds are not only defined selectively in space, but can each be assigned to a corresponding voxel. This serves to establish a spatial relationship between the points of the first sensor data and the points of the second sensor data.
Es können freie Voxel als Freiräume identifiziert werden. Insbesondere kann jedem Punkt einer Punktwolke ein empfangener Messpuls zugeordnet werden. Dem Punkt und somit auch dem Messpuls kann ein Voxel zugeordnet werden, der unter anderem die Position, an der der Messpuls reflektiert wurde, abbildet. Dieser empfangene Messpuls hat eine Energie, sodass jedem Punkt der Punktwolke eine Energie zugeord net werden kann. Ferner kann jedem Voxel eine Energie der darin befindlichen Punkte zugeordnet werden. Insbesondere wird die Energie der Punkte addiert, die einem gemeinsamen Voxel zugeordnet sind. Liegt die Energie über einem vorher definierten Schwellwert, wird der Voxel als belegt und somit nicht frei identifiziert. Liegt die Ener gie unterhalb des Schwellwertes, wird der entsprechende Voxel als frei identifiziert. Free voxels can be identified as free spaces. In particular, a received measurement pulse can be assigned to each point of a point cloud. A voxel can be assigned to the point and thus also to the measurement pulse, which, among other things, depicts the position at which the measurement pulse was reflected. This received measuring pulse has an energy so that an energy can be assigned to each point of the point cloud. Furthermore, an energy of the points located therein can be assigned to each voxel. In particular, the energy of the points that are assigned to a common voxel is added. If the energy is above a previously defined threshold value, the voxel is identified as occupied and therefore not free. If the energy is below the threshold value, the corresponding voxel is identified as free.
Ein freier Voxel kann somit ein Voxel ohne Punkte mit einer Energie oberhalb des Schwellwertes sein. Mit Hilfe der gemeinsamen Darstellung innerhalb einer Voxel- Map ist es möglich, Freiräume zu identifizieren, was bei einer normalen Punktwolken darstellung nicht möglich ist. Ferner können freie Voxel identifiziert werden, die in radialer Richtung hinter einem belegten Voxel liegen, da aus diesen Voxeln resultie rende Messpulse nicht detektiert werden könnten. Es können daher bereits an dieser Stelle Punkte als nicht relevant klassifiziert werden, die jeweils in einem Voxel liegen, der radial hinter einem belegten Voxel angeordnet ist. A free voxel can thus be a voxel without points with an energy above the threshold value. With the help of the common representation within a voxel map, it is possible to identify free spaces, which is not possible with a normal point cloud representation. Furthermore, free voxels can be identified which lie behind an occupied voxel in the radial direction, since measurement pulses resulting from these voxels could not be detected. Points can therefore already be classified as irrelevant at this point, each of which lies in a voxel that is arranged radially behind an occupied voxel.
Zusätzlich können die jeweiligen Sensordaten in einzelnen Voxel-Maps dargestellt werden, wobei diese dann zu einer gemeinsamen Voxel-Map zusammengeführt wer den können. Bereits bei dieser einzelnen Darstellung können Freiräume identifiziert werden. In der Darstellung in einer gemeinsamen Voxel-Map können diese Freiräume dann validiert werden. Ferner kann das Verfahren eine jeweilige Identifikation von Objekten auf Basis der ersten Sensordaten und der zweiten Sensordaten umfassen, wobei die Position der erkannten Objekte der ersten Sensordaten und der zweiten Sensordaten verglichen wird, um mögliche Überschneidungen und/oder Verdeckungen der erkannten Objekte zu erkennen. Unter dem Begriff „Verdeckung" ist insbesondere ein durch ein Objekt verdeckter Bereich gemeint. In anderen Worten werden die jeweils erkannten Objek te in eine räumliche Beziehung zueinander gebracht. Vorzugweise werden die Objekte in einem gemeinsamen Raum dargestellt, wobei dann erkannt werden kann, ob Ob jekte sich überschneiden und/oder verdecken. In addition, the respective sensor data can be displayed in individual voxel maps, which can then be combined to form a common voxel map. Free spaces can already be identified with this individual representation. These free spaces can then be validated in the representation in a common voxel map. Furthermore, the method can include a respective identification of objects on the basis of the first sensor data and the second sensor data, the position of the detected objects of the first sensor data and the second sensor data being compared in order to detect possible overlaps and / or obscurations of the detected objects. The term "concealment" means in particular an area concealed by an object. In other words, the objects recognized are brought into a spatial relationship to one another projects overlap and / or cover one another.
Objekte werden vorzugsweise zumindest als ein Teil der Sensordaten identifiziert, der eine zusammenhängende räumliche Form bzw. Geometrie aufweist. Zur Identifikation können somit entsprechende Teile der Sensordaten mit einer zusammenhängenden Geometrie erkannt werden. Hilfsweise kann auch die Ground Truth eingesetzt wer den. Die Ground Truth kann Informationen über die Anzahl an Objekten, jeweiliger Objektklassen und/oder Positionen umfassen. Dieses Wissen aus der Ground Truth kann bei der Objekterkennung verwendet werden, indem bspw. ein Vergleich zwi schen der Form und/oder der Position eines erkannten Objektes und den entspre chenden Informationen aus der Ground Truth erfolgt. Objects are preferably identified as at least a part of the sensor data that has a coherent spatial shape or geometry. Corresponding parts of the sensor data with a coherent geometry can thus be recognized for identification. Alternatively, the ground truth can also be used. The ground truth can include information about the number of objects, respective object classes and / or positions. This knowledge from the ground truth can be used in object recognition, for example by making a comparison between the shape and / or the position of a recognized object and the corresponding information from the ground truth.
Eine Möglichkeit, die Positionen der erkannten Objekte zu vergleichen, wäre den er kannten Objekten Voxel der gemeinsamen Voxel-Map zuzuordnen. Voxel, die hin sichtlich beider Sensordaten einem Objekt zugeordnet sind, beruhen somit auf einer Überschneidung. Voxel, die einem Objekt einer Punktwolke zugeordnet werden, al lerdings hinter einem Voxel eines Objektes der anderen Punktwolke liegen, werden von dem Objekt dieser anderen Punktwolke verdeckt. One possibility of comparing the positions of the recognized objects would be to assign voxels of the common voxel map to the recognized objects. Voxels that are assigned to an object with regard to both sensor data are thus based on an overlap. Voxels which are assigned to an object of a point cloud, but which are behind a voxel of an object of the other point cloud, are covered by the object of this other point cloud.
Das Verfahren kann das Identifizieren von Rauschpunkten umfassen. Rauschpunkte stammen nicht von Objekten, sondern resultieren aus einem Rauschen. Rauschpunkte werden insbesondere durch Nachbarschaftsvergleiche benachbarter Punkte einer Punktwolke und/oder entsprechender benachbarter Voxel erkannt. Insbesondere kann durch Nachbarschaftsvergleiche ein Grundlevel der empfangenden Energie fest gestellt werden, wobei Punkte, deren Energie sich nicht wesentlich von diesem Ener- gielevel abhebt, als Rauschpunkte identifiziert werden. Im Detail hat jeder empfange ne Messpuls eine Energie, sodass jedem Punkt der Punktwolke eine Energie zugeord- net werden kann. Ferner kann jedem Voxel eine Energie der darin befindlichen Punkte zugeordnet werden. Insbesondere wird die Energie der Punkte addiert, die einem gemeinsamen Voxel zugeordnet sind. Ferner kann die Energie der unmittelbaren an grenzenden Nachbarn eines Voxels gemittelt werden (um das „Grundlevel" festzustel len) und mit der Energie des Voxels verglichen werden. Unterschreitet dessen Energie bspw. einen zuvor festgelegten Anteil der gemittelten Energie als Schwellwert, kön nen alle im Voxel befindlichen Punkte als Rauschpunkt identifiziert werden. Ferner kann auch ein Schwellwert festgelegt sein, der mehr als nur die direkt angrenzenden Voxel berücksichtigt. Bspw. können alle Voxel berücksichtigt werden, die sich unter halb einer festgelegten Entfernung zu dem Voxel befinden. The method may include identifying noise points. Noise points do not come from objects, but result from noise. Noise points are identified in particular by comparing neighboring points of a point cloud and / or corresponding neighboring voxels. In particular, a basic level of the received energy can be determined by comparing neighborhoods, with points whose energy does not differ significantly from this energy level being identified as noise points. In detail, every measurement pulse received has an energy, so that an energy is assigned to every point of the point cloud. can be net. Furthermore, an energy of the points located therein can be assigned to each voxel. In particular, the energy of the points that are assigned to a common voxel is added. In addition, the energy of the immediate neighbors of a voxel can be averaged (in order to determine the "basic level") and compared with the energy of the voxel Points located in the voxel can also be identified as a noise point. Furthermore, a threshold value can also be established which takes into account more than just the directly adjacent voxels.
Ferner kann die Klassifikation auf Basis von identifizierten Objekten, identifizierten Freiräumen und/oder identifizierten Rauschpunkten erfolgen. Insbesondere werden im Rahmen der Klassifikation relevante Punkte und nicht relevante Punkte mit Hilfe eines Point Cloud Markers markiert. Furthermore, the classification can take place on the basis of identified objects, identified free spaces and / or identified noise points. In particular, relevant points and non-relevant points are marked with the help of a point cloud marker within the scope of the classification.
Zu den nicht relevanten Punkten gehören beispielsweise identifizierte Rauschpunkte. Insbesondere werden Punkte ausgewählt und als relevant klassifiziert, auf deren Basis eine Zusammenführung verschiedener Szenarien Sinn ergibt, um dritte Sensordaten eines realistischen zusammengesetzten Szenarios zu erhalten. The points that are not relevant include, for example, identified noise points. In particular, points are selected and classified as relevant, on the basis of which a combination of different scenarios makes sense in order to obtain third sensor data of a realistic composite scenario.
Es können im Rahmen der Klassifikation verdeckte Punkte einer Punktwolke als nicht relevant klassifiziert werden, wobei die Punkte innerhalb der Voxel-Map von mindes tens einem Punkt derselben und/oder der anderen Punktwolke verdeckt werden. In the context of the classification, hidden points of a point cloud can be classified as irrelevant, the points within the voxel map being covered by at least one point of the same and / or the other point cloud.
Beispielsweise können bereits auf Basis der Freiraumerkennung die Punkte als nicht relevant klassifiziert werden, die von anderen Punkten derselben oder einer anderen Punktwolke verdeckt werden. Der somit jeweils radial erste belegte Voxel definiert, dass alle Punkte, die in radial dahinterliegenden Voxeln liegen, als nicht relevant klas sifiziert werden. For example, the points that are covered by other points of the same or another point cloud can already be classified as irrelevant on the basis of the free space detection. The radially first occupied voxel in each case defines that all points that lie in voxels located radially behind are classified as irrelevant.
Ferner können im Rahmen der Klassifikation Punkte einer Punktwolke als nicht rele vant klassifiziert werden, wenn die Punkte von einem Objekt der anderen Punktwolke verdeckt werden. Beispielsweise könnte ein Objekt, das aus der einen Punktwolke stammt, radial vor Punkten der anderen Punktwolke liegen. Diese verdeckten Punkte können beispielsweise einem Objekt dieser anderen Punkte zugeordnet sein. Diese Punkte sind jedoch durch das Objekt der anderen Punkte derart verdeckt, dass deren Berücksichtigung keinen Sinn ergibt, da die dritten Sensordaten dieses zusammenge setzten Szenarios, wenn es derart aufgenommen wäre, die Punkte, aufgrund der Ver deckung, nicht enthalten würde. Furthermore, within the scope of the classification, points of a point cloud can be classified as not relevant if the points are covered by an object in the other point cloud. For example, an object that originates from one point cloud could lie radially in front of points on the other point cloud. These hidden points can for example be assigned to an object of these other points. However, these points are covered by the object of the other points in such a way that taking them into account does not make sense, since the third sensor data of this composite scenario, if recorded in this way, would not contain the points due to the cover.
Ferner können im Rahmen der Klassifikation Punkte einer Punktwolke als nicht rele vant klassifiziert werden, wenn die Punkte innerhalb eines Objektes der anderen Punktwolke liegen. Hier gilt eine analoge Logik. Entsprechende Punkte hätten in dem zusammengesetzten Szenario aufgrund der Anwesenheit des Objektes der anderen Punktwolke, nicht detektiert werden können, sodass die Zusammenführung dieser Punkte in eine gemeinsame Punktwolke keinen Sinn ergibt. Furthermore, within the scope of the classification, points of a point cloud can be classified as not relevant if the points lie within an object of the other point cloud. An analogous logic applies here. Corresponding points could not have been detected in the composite scenario due to the presence of the object of the other point cloud, so that merging these points into a common point cloud does not make sense.
Es können im Rahmen der Klassifikation Punkte einer Punktwolke als nicht relevant klassifiziert werden, wenn die Punkte von einem ersten Objekt stammen, das sich mit einem zweiten Objekt der anderen Punktwolke überschneidet. Bei einer Überschnei dung überschneidet sich ein Objekt, das anhand der ersten Sensordaten identifiziert wurde, mit einem Objekt, das anhand der zweiten Sensordaten identifiziert wurde. Aufgrund der Überschneidung kann eine Zusammenführung aller entsprechenden Punkte der sich überschneidenden Objekte keinen Sinn ergeben. Es kann somit ent schieden werden nur die Punkte eines dieser Objekte in die dritten Sensordaten des zusammengesetzten Szenarios zu übernehmen. Dann ist es sinnvoll alle Punkte des anderen Objektes, das sich mit dem zweiten Objekt überschneidet, als nicht relevant zu klassifizieren. Within the scope of the classification, points of a point cloud can be classified as irrelevant if the points originate from a first object that overlaps with a second object of the other point cloud. In the event of an overlap, an object that was identified using the first sensor data overlaps with an object that was identified using the second sensor data. Due to the overlap, it cannot make sense to merge all the corresponding points of the overlapping objects. It can thus be decided to only adopt the points of one of these objects in the third sensor data of the composite scenario. Then it makes sense to classify all points of the other object that intersect with the second object as irrelevant.
Im Rahmen der Klassifikation können Punkte einer Punktwolke auch als nicht relevant klassifiziert werden, wenn die Punkte in beiden Sensordaten Vorkommen. Beispiels weise kann ein Objekt in beiden Sensordaten an genau der gleichen Stelle erkannt worden sein. Dann macht es Sinn, die doppelt auftretenden Punkte in nur einer der Punktwolken als nicht relevant zu klassifizieren. Within the scope of the classification, points in a point cloud can also be classified as not relevant if the points occur in both sensor data. For example, an object can have been detected in exactly the same place in both sensor data. Then it makes sense to classify the points that occur twice in only one of the point clouds as not relevant.
Als nicht relevante Punkte können somit verdeckte Punkte verstanden werden. Diese können innerhalb der Voxel-Map von mindestens einem Punkt derselben und/oder der anderen Punktwolke, von anderen Punkten derselben oder einer anderen Punkt wolke und/oder von einem Objekt der anderen Punktwolke verdeckt werden. Auch können sie verdeckt sein, weil sie innerhalb eines Objektes der anderen Punktwolke liegen und/oder von einem ersten Objekt stammen, das sich mit einem zweiten Ob jekt der anderen Punktwolke überschneidet. Hidden points can therefore be understood as irrelevant points. These can be covered within the voxel map by at least one point of the same and / or the other point cloud, by other points of the same or another point cloud and / or by an object of the other point cloud. Even they can be covered because they lie within an object of the other point cloud and / or come from a first object that overlaps with a second object of the other point cloud.
Ferner können nicht relevante Punkte als redundante Punkte verstanden werden, da sie in den ersten Sensordaten und den zweiten Sensordaten Vorkommen, und/oder als Rauschpunkte. Furthermore, points that are not relevant can be understood as redundant points, since they occur in the first sensor data and the second sensor data, and / or as noise points.
Die Zusammenführung der ersten Sensordaten und der zweiten Sensordaten umfasst insbesondere eine Eintragung der als relevant klassifizierten Punkte der ersten Sens ordaten und der zweiten Sensordaten in einem gemeinsamen Koordinatensystem. Ferner kann das Zusammenführen das Abspeichern in einem gemeinsamen Datensatz umfassen. Es wird somit eine zusammengeführte Punktwolke als Resultat erreicht, die ein zusammengesetztes Szenario der beiden Szenarien darstellt. Somit wird ein zu sammengesetztes Szenario erstellt. The merging of the first sensor data and the second sensor data includes in particular an entry of the points classified as relevant in the first sensor data and the second sensor data in a common coordinate system. Furthermore, the merging can include saving in a common data record. A merged point cloud is thus achieved as a result, which represents a composite scenario of the two scenarios. A composite scenario is thus created.
Das Verfahren kann die obigen Schritte auch für weitere Szenarien umfassen, wobei die Zusammenführung die ersten Sensordaten, die zweiten Sensordaten und weitere Sensordaten umfassen. The method can also include the above steps for further scenarios, the merging including the first sensor data, the second sensor data and further sensor data.
Wenn die ersten Sensordaten und zweiten Sensordaten jeweils eine Zeitspanne abbil den, die dazu dient, den Bewegungsablauf eines Objektes abzubilden, werden die oben genannten Schritte für verschiedene Zeitpunkte, in anderen Worten Moment aufnahmen, des jeweiligen Bewegungsablaufes der Sensordaten durchgeführt. In ei nem solchen Fall umfassen die ersten Sensordaten und die zweiten Sensordaten meh rere Punktwolken zu verschiedenen Zeitpunkten der jeweils abgebildeten Zeitspanne. Diese bilden die entsprechenden Momentaufnahmen. Es werden somit immer jeweils eine Punktwolke der ersten Sensordaten mit einer Punktwolke der zweiten Sensorda ten zusammengeführt, aus denen sich ein Bewegungsablauf der im zusammengesetz ten Szenario enthaltenen Objekte wiedergibt. Die dritten Sensordaten des zusam mengesetzten Szenarios bilden somit ebenfalls eine Zeitspanne ab und können somit mehrere erhaltene Punktwolken umfassen. If the first sensor data and the second sensor data each map a time span that is used to map the motion sequence of an object, the above-mentioned steps are carried out for different points in time, in other words recordings, of the respective motion sequence of the sensor data. In such a case, the first sensor data and the second sensor data comprise a plurality of point clouds at different points in time of the time span shown in each case. These form the corresponding snapshots. A point cloud of the first sensor data is thus always merged with a point cloud of the second sensor data, from which a movement sequence of the objects contained in the composite th scenario is reproduced. The third sensor data of the composite scenario thus also map a period of time and can thus include several point clouds obtained.
Grundsätzlich können bei Sensordaten mit unterschiedlicher Zeitspanne diese unter schiedlich zusammengesetzt werden, je nachdem, wann man die Zusammenführung beginnt. In anderen Worten kann man die Sensordaten auf einer Zeitskala zueinander verschieben. Die zeitliche Relation zwischen den Momentaufnahmen derselben Sens ordaten bleibt stets erhalten. In anderen Worten werden die Sensordaten einer Zeit spanne weder zeitlich „gedehnt" noch „gestaucht", sondern werden in der zeitlichen Reihenfolge und dem zeitlichen Abstand, in dem diese aufgenommen wurden, mit anderen Sensordaten kombiniert. Die Zusammenführung ist leicht möglich, da sich die ersten Sensordaten und die zweiten Sensordaten aus mehreren Punktwolken zu ver schiedenen Zeitpunkten der jeweils abgebildeten Zeitspanne zusammensetzen, so- dass eine andere zeitliche Kombination einfach bedeutet, dass zeitlich gesehen ande re Punktwolken zusammengeführt werden. In principle, in the case of sensor data with a different time span, these can be put together differently, depending on when the merging takes place begins. In other words, the sensor data can be shifted relative to one another on a time scale. The time relation between the snapshots of the same sensor data is always maintained. In other words, the sensor data of a period of time are neither “stretched” nor “compressed” in time, but are combined with other sensor data in the time sequence and the time interval in which they were recorded. The merging is easily possible since the first sensor data and the second sensor data are composed of several point clouds at different points in time of the respective time span shown, so that a different time combination simply means that other point clouds are merged in terms of time.
Es müssen die Zeitspannen, die das erste Szenario und das zweite Szenario abbilden, nicht gleich lang sein. Wenn bspw. die ersten Sensordaten und die zweiten Sensorda ten unterschiedliche Zeitspannen aufweisen, kann einfach die längere Zeitspanne ge nommen werden. Beim Zusammenführen der entsprechenden Momentaufnahmen der Sensordaten kann ab dem Ende der kürzeren Zeitspanne einfach nur noch die „letzte Momentaufnahme" der Sensordaten der kürzeren Zeitspannen genommen werden. Dies entspreche dem realen Fall, dass sich ab diesem Zeitpunkt das Objekt, das in den Sensordaten mit kürzerer Zeitspanne abgebildet ist, nicht mehr bewegt. Oder es werden einfach nur noch die Momentaufnahmen der Sensordaten der länge ren Zeitspanne genommen, da keine Momentaufnahmen der Sensordaten der kürze ren Zeitspanne mehr vorliegen, sodass eigentlich keine wirkliche Zusammenführung mehr stattfindet. Gleiches kann sich auf den Anfangszeitpunkt des zusammengesetz ten Szenarios beziehen. In anderen Worten könnte ein Szenario bereits früher starten und ein anderes später „hinzugeschaltet" werden. The time spans that represent the first scenario and the second scenario do not have to be of the same length. If, for example, the first sensor data and the second sensor data have different time periods, the longer time period can simply be taken. When merging the corresponding snapshots of the sensor data, from the end of the shorter period of time only the "last snapshot" of the sensor data of the shorter time periods can be taken Time span is mapped, no longer moved. Or the snapshots of the sensor data of the longer time span are simply taken, since there are no more snapshots of the sensor data of the shorter time span, so that there is actually no longer any real merging. The same can apply to the initial point in time of the composite scenario. In other words, one scenario could start earlier and another "added" later.
Beispielsweise haben die ersten Sensordaten eine Länge von 10 Sekunden und die zweiten Sensordaten eine Länge von 4 Sekunden. Man könnte nun die Zeitspannen zueinander so versetzen, wie man möchte. Beispielsweise könnten die ersten Sensor daten sofort „gestartet werden" und erst ab der dritten Sekunde die zweiten Sensor daten anfangen. Dies würde bedeuten, dass vor der dritten Sekunde lediglich die ent sprechenden Momentaufnahmen der ersten drei Sekunden der ersten Sensordaten vorliegen. In anderen Worten findet keine Zusammenführung statt. Zwischen der drit ten und der siebten Sekunde liegen zeitlich gesehen Momentaufnahmen beider Sens ordaten vor, sodass diese zusammengeführt werden. Im Detail werden die Moment- aufnahmen der vierten bis siebten Sekunde der ersten Sensordaten mit den entspre chenden Momentaufnahmen der ersten bis vierten Sekunde der zweiten Sensordaten kombiniert. Nach der siebten Sekunde gibt es zwei Möglichkeiten. Man könnte die ersten Sensordaten weiterlaufen lassen, d.h. die Momentaufnahmen der letzten drei Sekunden der ersten Sensordaten nehmen, ohne Zusammenführung, da keine ent sprechenden Momentaufnahmen der zweiten Sensordaten mehr vorliegen, oder man nimmt die „letzte Momentaufnahme" der vierten Sekunde der zweiten Sensordaten und führt diese für den Rest der Zeitspanne mit den entsprechenden Momentauf nahmen der ersten Sensordaten zusammen. Insgesamt bestehen die dritten Sensor daten somit in den ersten drei Sekunden lediglich aus den Momentaufnahmen der ersten Sensordaten, zwischen der dritten und der siebten Sekunde aus der Zusam menführung der Momentaufnahmen beider Sensordaten, und nach der siebten Se kunde entweder aus der Zusammenführung der „letzte Momentaufnahme" der zwei ten Sensordaten und den entsprechenden Momentaufnahmen der ersten Sensorda ten oder lediglich aus den Momentaufnahmen der ersten Sensordaten. For example, the first sensor data have a length of 10 seconds and the second sensor data a length of 4 seconds. You could now stagger the time spans to one another as you like. For example, the first sensor data could be "started" immediately and the second sensor data could not begin until the third second. This would mean that only the corresponding snapshots of the first three seconds of the first sensor data are available before the third second no merging takes place. Between the third and the seventh second, snapshots of both sensor data are available in terms of time, so that they are merged. Recordings from the fourth to seventh seconds of the first sensor data combined with the corresponding snapshots from the first to fourth seconds of the second sensor data. After the seventh second there are two options. You could let the first sensor data continue to run, ie take the snapshots of the last three seconds of the first sensor data, without merging, since there are no longer any corresponding snapshots of the second sensor data, or you can take the "last snapshot" of the fourth second of the second sensor data and perform this for the rest of the period of time with the corresponding snapshots of the first sensor data. Overall, the third sensor data consists of the snapshots of the first sensor data in the first three seconds, and the merging of the snapshots of both between the third and seventh seconds Sensor data, and after the seventh second either from the merging of the "last snapshot" of the second sensor data and the corresponding snapshots of the first sensor data or only from the snapshots of the first sensor data.
Ferner können auch erste Sensordaten, die einen Bewegungsablauf abbilden, und zweite Sensordaten, die ein statisches Objekt abbilden, und somit streng genommen „statistische" Sensordaten, zusammengeführt werden, indem verschiedene Zeitpunk te der ersten Sensordaten jeweils mit den „statischen" zweiten Sensordaten zusam mengeführt werden. Furthermore, first sensor data, which depict a movement sequence, and second sensor data, which depict a static object, and thus, strictly speaking, "statistical" sensor data, can be merged by combining different times of the first sensor data with the "static" second sensor data will.
Insbesondere kann das Verfahren das Bereitstellen einer ersten Ground Truth für das erste Szenario und einer zweiten Ground Truth für das zweite Szenario umfassen. Ins besondere können die erste Ground Truth und die zweite Ground Truth mittels Refe renzdaten ermittelt werden, wobei das Verfahren das Erfassen des ersten Szenarios und des zweiten Szenarios durch mindestens einen Referenzsensor zur Erfassung die ser Referenzdaten umfassen kann. Bei den Referenzdaten handelt es sich insbesonde re um eine Punktwolke, sodass der Referenzsensor ein Lidar-Sensor ist. Auch kann es sich bei den Referenzdaten um Bilddaten oder Radardaten handeln mit einer Kamera oder einem Radarsensor als Referenzsensor. In particular, the method can include providing a first ground truth for the first scenario and a second ground truth for the second scenario. In particular, the first ground truth and the second ground truth can be determined by means of reference data, it being possible for the method to include the acquisition of the first scenario and the second scenario by at least one reference sensor for acquiring these reference data. The reference data is in particular a point cloud, so that the reference sensor is a lidar sensor. The reference data can also be image data or radar data with a camera or a radar sensor as the reference sensor.
Die erste und die zweite Ground Truth dienen insbesondere dazu, dass erste Szenario und das zweite Szenario zu validieren. Die Ground Truth gibt wieder, was in den jewei ligen Sensordaten zu erkennen sein soll. Insbesondere umfasst das Verfahren eine Validierung der ersten Sensordaten des ersten Szenarios und der zweiten Sensordaten des zweiten Szenarios. The first and the second ground truth serve in particular to validate the first scenario and the second scenario. The ground truth shows what should be seen in the respective sensor data. In particular, the method comprises a Validation of the first sensor data of the first scenario and the second sensor data of the second scenario.
Insbesondere umfasst das Verfahren eine Zusammenführung der ersten Ground Truth und der zweiten Ground Truth zu einer Ground Truth des zusammengesetzten Szena rios. Die Zusammenfassung umfasst insbesondere eine Zusammenfassung der ermit telten oben genannten Parameter. Die Ground Truth des zusammengesetzten Szena rios dient ebenfalls dazu, die dritten Sensordaten des zusammengesetzten Szenarios zu validieren. Ein sehr einfaches Beispiel ist wie folgt: Die Ground Truth der ersten Sensordaten kann „Auto, von links kommend" und die Ground Truth der zweiten Sen sordaten „Fahrradfahrer, von rechts kommend" sein, sodass die Ground Truth der dritten Sensordaten wäre „sowohl Auto, von links kommend, als auch Fahrradfahrer von rechts kommend". In particular, the method comprises a merging of the first ground truth and the second ground truth to form a ground truth of the composite scenario. The summary includes, in particular, a summary of the above-mentioned parameters determined. The ground truth of the composite scenario is also used to validate the third sensor data of the composite scenario. A very simple example is as follows: The ground truth of the first sensor data can be “car, coming from the left” and the ground truth of the second sensor data “cyclist, coming from the right”, so the ground truth of the third sensor data would be “both car , coming from the left, as well as cyclists coming from the right ".
Ferner kann das Verfahren das Testen einer Objekterkennungseinheit umfassen, wo bei das Testen das Bereitstellen der dritten Sensordaten des zusammengesetzten Szenarios und ein Vergleich der von der Objekterkennungseinheit erkannten Objekte mit der Ground Truth des zusammengesetzten Szenarios umfassen. Im Detail ist die Objekterkennungseinheit dazu ausgebildet mindestens einen, insbesondere alle der oben genannten, Parameter, vorzugsweise mindestens eine Anzahl der erkannten Objekte und eine jeweilige Objektklasse, zu bestimmen. Dieser Output der Objekter kennungseinheit kann mit der Ground Truth verglichen werden. Es kann bspw. vergli chen werden, ob die Objekterkennungseinheit die gleiche Anzahl an Objekten und/oder jeweils die richtige Objektklasse erkannt hat. Die mittels der Objekterken nung ermittelten Parameter können mit den entsprechenden Parametern der Ground Truth verglichen werden. Furthermore, the method can include the testing of an object recognition unit, where the testing includes the provision of the third sensor data of the composite scenario and a comparison of the objects recognized by the object recognition unit with the ground truth of the composite scenario. In detail, the object recognition unit is designed to determine at least one, in particular all of the above-mentioned parameters, preferably at least a number of the recognized objects and a respective object class. This output of the object recognition unit can be compared with the ground truth. It can be compared, for example, whether the object recognition unit has recognized the same number of objects and / or in each case the correct object class. The parameters determined by means of the object recognition can be compared with the corresponding parameters of the ground truth.
Unter dem Begriff „Testen" kann insbesondere ein Training der Objekterkennungs einheit verstanden werden. Insbesondere kann die Objekterkennungseinheit ein Er kennungsmodul umfassen, das ein neuronales Netzwerk mit Gewichten umfasst. So können die dritten Sensordaten dazu genutzt werden, die Gewichte zwischen den Neuronen anzupassen, indem, wie oben beschrieben, ein Output der Objekterken nungseinheit mit äquivalenten Parametern der Ground Truth verglichen wird. Ferner kann unter dem „Testen" eine Kontrolle bereits angepasster Gewichte ver standen werden. In diesem Falle werden die Gewichte nicht mehr verändert, sondern stattdessen wird auf Grundlage der bereits angepassten Gewichte aus der vorherigen Trainingsphase ein Lernfortschritt des Netzwerkes untersucht. The term “testing” can in particular be understood to mean training the object recognition unit. In particular, the object recognition unit can include a recognition module that includes a neural network with weights As described above, an output of the object recognition unit is compared with equivalent parameters of the ground truth. Furthermore, “testing” can be understood to mean a check of already adjusted weights. In this case, the weights are no longer changed, but instead a learning progress of the network is examined on the basis of the already adjusted weights from the previous training phase.
Das Verfahren kann zudem das Erstellen einer Bibliothek zum Erstellen von Sensorda ten zusammengesetzter Szenarien umfassen, in der die Sensordaten und optionaler weise die entsprechende Ground Truths verschiedener Szenarien abgelegt werden. Unter „Ablegen" ist insbesondere ein Speichern zu verstehen. Die abgelegten Sensor daten wurden insbesondere zuvor erfasst. Die zusammengesetzten Szenarien werden insbesondere wie oben beschrieben erstellt. Die abgelegten Szenarien durch Angabe der folgenden Parameter klassifiziert bzw. kategorisiert werden, bspw. der Objekt klasse, die in dem Szenario zu sehen ist, der Remission des Objektes, der relativen Ge schwindigkeit, der Bewegungsrichtung, des Abstandes zu einer Einheit zum Erfassen der Sensordaten, den Umweltbedingungen, bspw. Regen oder Nebel, und/oder der Position, vorzugsweise in einem Erfassungsbereich der Einheit zum Erfassen der Sze narien (bspw. oben rechts). The method can also include the creation of a library for creating sensor data of composite scenarios, in which the sensor data and optionally the corresponding ground truths of various scenarios are stored. "Filing" is to be understood in particular as storing. The stored sensor data were in particular recorded beforehand. The composite scenarios are created in particular as described above. The stored scenarios are classified or categorized by specifying the following parameters, for example the object class, which can be seen in the scenario, the remission of the object, the relative speed, the direction of movement, the distance to a unit for capturing the sensor data, the environmental conditions, e.g. rain or fog, and / or the position, preferably in a detection area the unit for capturing the scenarios (e.g. top right).
Das Verfahren kann die Nutzung der Bibliothek umfassen um Sensordaten definierter zusammengesetzter Szenarien zu erstellen. Ferner kann die Bibliothek dazu genutzt werden randomisiert Sensordaten zusammenzuführen um somit Sensordaten zu sammengesetzter Szenarien zu erstellen. Dies kann automatisiert oder manuell erfol gen. Beispielsweise können durch alle sinnvollen Permutationen Zusammensetzungen der Sensordaten aller zuvor abgelegten Szenarien erstellt werden. Dabei können bspw. alle sinnvollen Kombinationen von Sensordaten von zwei und/oder drei der abgelegten Szenarien erstellt werden. Es entsteht somit eine große Menge an unter schiedlichen zusammengesetzten Szenarien. Nicht sinnvoll wäre dabei insbesondere eine Kombination eines Szenarios mit sich selbst, wobei die entsprechenden Kombina tionen dafür auszuschließen wären. Die mithilfe der Bibliothek zusammengeführten Sensordaten zusammengesetzter Szenarien können dazu verwendet werden eine Ob jekterkennungseinheit automatisiert zu testen. Insbesondere werden die entspre chenden Ground Truths der zusammengesetzten Sensordaten auch zusammengesetzt und für das Testen herangezogen. Vorteilhaft ist, dass gegenüber dem Stand der Technik nicht sämtliche mögliche Sze narien „eingefahren" werden müssen. Der Begriff „Einfahren" beschreibt, dass ein Fahrzeug mit einer entsprechenden Einheit zum Erfassung und einem Referenzsensor ausgestattet ist, wobei hierbei sehr lange Fahrzeiten notwendig ist um wirklich alle Eventualitäten in einer realen Bedingung auch anzutreffen und einfangen zu können. Durch die Verwendung der Bibliothek kann dieser Aufwand zumindest zum großen Teil entfallen, da sich viele Szenarien aus abgelegten Szenarien kombinieren lassen. The method can include the use of the library in order to create sensor data for defined composite scenarios. Furthermore, the library can be used to randomly merge sensor data in order to create sensor data for composite scenarios. This can be done automatically or manually. For example, all sensible permutations can be used to create compositions of the sensor data of all previously stored scenarios. For example, all sensible combinations of sensor data from two and / or three of the stored scenarios can be created. This creates a large number of different composite scenarios. In particular, it would not make sense to combine a scenario with itself, whereby the corresponding combinations would have to be ruled out. The sensor data of composite scenarios, which are merged with the help of the library, can be used to automatically test an object recognition unit. In particular, the corresponding ground truths of the combined sensor data are also combined and used for testing. It is advantageous that, compared to the prior art, not all possible scenarios have to be "run in". The term "run in" describes that a vehicle is equipped with a corresponding unit for detection and a reference sensor, with very long travel times being necessary in this case to be able to really encounter and capture all eventualities in a real condition. Using the library means that at least a large part of this effort can be omitted, as many scenarios from stored scenarios can be combined.
In einem weiteren Aspekt bezieht sich die Erfindung auf eine Vorrichtung zum Erstel len zusammengesetzter Szenarien zum Testen einer Objekterkennungseinheit, wobei die Vorrichtung eine Einheit zum Zusammenführen der ersten Sensordaten und der zweiten Sensordaten zum Erhalten von dritten Sensordaten eines zusammengesetz ten Szenarios umfasst. Ferner umfasst die Vorrichtung eine Klassifizierungseinheit zur Klassifikation der jeweiligen Punkte der ersten Sensordaten und der jeweiligen Punkte der zweiten Sensordaten in relevant und nicht relevant. Die Vorrichtung ist vorzugs weise zur Durchführung des oben beschriebenen Verfahrens ausgebildet. In a further aspect, the invention relates to a device for creating composite scenarios for testing an object recognition unit, the device comprising a unit for merging the first sensor data and the second sensor data to obtain third sensor data of a composite scenario. Furthermore, the device comprises a classification unit for classifying the respective points of the first sensor data and the respective points of the second sensor data into relevant and not relevant. The device is preferably designed to carry out the method described above.
Die Vorrichtung kann ferner eine Einheit zum Erfassen der ersten und der zweiten Sensordaten umfassen, wobei es sich hierbei bevorzugt um einen Lidar-Sensor han delt. Bei den Punktwolken der ersten Sensordaten und der zweiten Sensordaten han delt es sich demnach um Lidar-Punktwolken. Die Einheit ist insbesondere dazu ausge bildet, Messpulse mittels einer Sendeeinheit umfassend mehrere Sendeelemente zu versenden und reflektierte Messpulse mittels einer Empfangseinheit umfassend meh rere Empfangselemente zu empfangen. Dabei kann jede Sendeeinheit jeweils einem Empfangselement und jeweils einem dreidimensionalen Abschnitt des Messbereichs, d.h. einem Voxel, zugeordnet werden. Der Punkt, der aus dem Empfang eines Messpulses resultiert, kann somit eindeutig einem Voxel zugeordnet werden. The device can furthermore comprise a unit for acquiring the first and second sensor data, in which case it is preferably a lidar sensor. The point clouds of the first sensor data and the second sensor data are accordingly lidar point clouds. The unit is designed in particular to send measurement pulses by means of a transmission unit comprising a plurality of transmission elements and to receive reflected measurement pulses by means of a reception unit comprising a plurality of reception elements. Each transmission unit can be assigned to a receiving element and a three-dimensional section of the measurement area, i.e. a voxel. The point that results from the reception of a measurement pulse can thus be clearly assigned to a voxel.
Die Klassifizierungseinheit kann insbesondere einen Voxelizer für die ersten und die zweiten Sensordaten umfassen, der die entsprechenden Sensordaten in einer Voxel- Map darstellt. Die Vorrichtung kann zudem eine Freiraumerkennungseinheit umfas sen, die Freiraum in der gemeinsamen Voxel-Map erkennt. The classification unit can in particular comprise a voxelizer for the first and the second sensor data, which represents the corresponding sensor data in a voxel map. The device can also comprise a free space detection unit which detects free space in the common voxel map.
Ferner umfasst die Klassifizierungseinheit vorzugsweise eine Objekterkennungsein heit, die auf Basis der jeweiligen Sensordaten Objekte erkennt. Ferner kann die Vor- richtung eine Objektmergingeinheit umfassen, in anderen Worten eine Einheit zum Zusammenführen der erkannten Objekte, sodass Überschneidungen und/oder Verde ckungen der Objekte erkannt werden können. Furthermore, the classification unit preferably comprises an object recognition unit which recognizes objects on the basis of the respective sensor data. Furthermore, the pre direction include an object merging unit, in other words a unit for merging the recognized objects, so that overlaps and / or obscurations of the objects can be recognized.
Insbesondere umfasst die Klassifizierungseinheit ferner eine Rauschpunktidentifikati onseinheit, die dazu ausgebildet ist, Rauschpunkte direkt zu identifizieren. In particular, the classification unit further comprises a noise point identification unit which is designed to identify noise points directly.
Ferner kann die Vorrichtung einen Point Cloud Marker umfassen, der auf Basis der identifizierten Objekte, des identifizierten Freiraumes und der identifizierten Rausch punkte Punkte der verschiedenen Sensordaten als relevant und nicht relevant mar kiert. Ferner kann die Vorrichtung eine Einheit zum Zusammenführen der ersten und der zweiten Sensordaten umfassen, die die als relevant klassifizierten Punkte der ers ten Sensordaten und der zweiten Sensordaten in ein gemeinsames Koordinatensys tem ablegen kann. Furthermore, the device can comprise a point cloud marker which, on the basis of the identified objects, the identified free space and the identified noise points, marks points of the various sensor data as relevant and not relevant. Furthermore, the device can comprise a unit for merging the first and the second sensor data, which can store the points of the first sensor data and the second sensor data classified as relevant in a common coordinate system.
Ferner umfasst die Erfindung ein Computerprogrammprodukt, das ein computerles bares Speichermedium umfasst, auf dem ein Programm gespeichert ist, dass es einem Computer ermöglicht, nachdem es in den Speicher des Computers geladen worden ist, ein oben beschriebenes Verfahren zur Klassifizierung von Objekten und/oder zur Distanzmessung, gegebenenfalls in Zusammenspiel mit einer oben beschriebenen Vorrichtung, durchzuführen. The invention further comprises a computer program product which comprises a computer-readable storage medium on which a program is stored that enables a computer, after it has been loaded into the memory of the computer, a method as described above for classifying objects and / or for To carry out distance measurement, if necessary in conjunction with a device described above.
Zudem betrifft die Erfindung ein computerlesbares Speichermedium, auf dem ein Programm gespeichert ist, das es einem Computer ermöglicht, nachdem es in den Speicher des Computers geladen worden ist, ein oben beschriebenes Verfahren zur Klassifizierung von Objekten und/oder zur Distanzmessung, gegebenenfalls in Zu sammenspiel mit einer oben beschriebenen Vorrichtung, durchzuführen. In addition, the invention relates to a computer-readable storage medium on which a program is stored that enables a computer, after it has been loaded into the memory of the computer, a method as described above for classifying objects and / or for distance measurement, possibly in combination with a device described above.
Kurze Beschreibung der Zeichnungen Brief description of the drawings
Es zeigen schematisch: They show schematically:
Figur 1 ein Verfahrensschema eines erfindungsgemäßen Verfahrens; Figur 2 erste Sensordaten; Figur 3 zweite Sensordaten; FIG. 1 shows a process scheme of a process according to the invention; FIG. 2 first sensor data; FIG. 3 second sensor data;
Figur 4 eine gemeinsame Voxel-Map mit den ersten Sensordaten der Figur 2 und den zweiten Sensordaten der Figur 3; FIG. 4 shows a common voxel map with the first sensor data from FIG. 2 and the second sensor data from FIG. 3;
Figur 5 die gemeinsame Voxel-Map der Figur 4 nach Identifikation von Rauschpunk ten; FIG. 5 shows the common voxel map of FIG. 4 after identification of noise points;
Figur 6 die gemeinsame Voxel-Map der Figur 5 nach Klassifikation verdeckter Punk te als nicht relevant; FIG. 6 shows the common voxel map of FIG. 5 according to the classification of hidden points as not relevant;
Figur 7 eine Voxel-Map mit den dritten Sensordaten des zusammengesetzten Szena rios; FIG. 7 shows a voxel map with the third sensor data of the composite scenario;
Figur 8 eine erfindungsgemäße Vorrichtung; und FIG. 8 shows a device according to the invention; and
Figur 9 ein schematischer Ablauf eines erfindungsgemäßen Verfahrens eingebunden in die Vorrichtung nach Figur 8. FIG. 9 shows a schematic sequence of a method according to the invention incorporated into the device according to FIG. 8.
Bevorzugte Ausführungsformen der Erfindung Preferred embodiments of the invention
Figur 1 zeigt ein Verfahrensschema eines erfindungsgemäßen Verfahrens 100, das die folgenden Schritte umfasst: FIG. 1 shows a process diagram of a process 100 according to the invention, which comprises the following steps:
Das Verfahren 100 dient zum Erstellen 101 zusammengesetzter Szenarien, um eine Objekterkennungseinheit 17 zu testen 117. Insbesondere kann das Verfahren 100 das Erstellen 101 zusammengesetzter Szenarien umfassen. The method 100 is used to create 101 composite scenarios in order to test 117 an object recognition unit 17. In particular, the method 100 can comprise the creation 101 of composite scenarios.
Das Verfahren 100 umfasst das Bereitstellen 103 von ersten Sensordaten 11 eines ersten Szenarios und von zweiten Sensordaten 12 eines zweiten Szenarios. Das Ver fahren 100 kann das vorherige Erfassen 102 der ersten Sensordaten 11 und der zwei ten Sensordaten 12 umfassen. The method 100 comprises the provision 103 of first sensor data 11 of a first scenario and of second sensor data 12 of a second scenario. The method 100 may include the prior acquisition 102 of the first sensor data 11 and the second sensor data 12.
Ferner kann das Verfahren 100 das Bereitstellen 105 einer ersten Ground Truth für das erste Szenario und einer zweiten Ground Truth für das zweite Szenario umfassen, wobei ferner bevorzugt das Verfahren 100 das Erfassen 104 der beiden Ground Truths umfassen kann. Auf Basis der bereitgestellten Ground Truths können die ersten Sensordaten 11 des ersten Szenarios und die zweiten Sensordaten 12 des zweiten Szenarios validiert wer den 106. Furthermore, the method 100 can include providing 105 a first ground truth for the first scenario and a second ground truth for the second scenario, wherein the method 100 can furthermore preferably include the acquisition 104 of the two ground truths. The first sensor data 11 of the first scenario and the second sensor data 12 of the second scenario can be validated 106 on the basis of the provided ground truths.
Das Verfahren 100 umfasst eine Klassifikation 107 der jeweiligen Punkte 11a der ers ten Sensordaten 11 und der jeweiligen Punkte 12a der zweiten Sensordaten 12 in re levant oder nicht relevant. Zur Klassifikation kann das Verfahren 100 die Darstellung 108 der ersten Sensordaten 11 und der zweiten Sensordaten 12 in einer gemeinsa men Voxel-Map 23 umfassen, wobei freie Voxel als Freiräume identifiziert werden können 109. The method 100 comprises a classification 107 of the respective points 11a of the first sensor data 11 and of the respective points 12a of the second sensor data 12 as relevant or not relevant. For the purpose of classification, the method 100 can include the representation 108 of the first sensor data 11 and the second sensor data 12 in a common voxel map 23, with free voxels being able to be identified 109 as free spaces.
Das Verfahren 100 kann ferner die Identifikation 110 von Objekten auf Basis der ers ten Sensordaten 11 und der zweiten Sensordaten 12 umfassen. Dabei können die Po sitionen der erkannten Objekte verglichen werden 111 und somit mögliche Über schneidungen und/oder Verdeckungen der Objekte erkannt werden 112. Das Verfah ren 100 kann ferner die Identifikation 113 von Rauschpunkten 24 umfassen. The method 100 can further include the identification 110 of objects on the basis of the first sensor data 11 and the second sensor data 12. The positions of the detected objects can be compared 111 and thus possible overlaps and / or obscurations of the objects can be detected 112. The method 100 can furthermore include the identification 113 of noise points 24.
Ferner umfasst das Verfahren 100 die Zusammenführung 114 der ersten Sensordaten 11 und der zweiten Sensordaten 12 zum Erhalten von dritten Sensordaten 28 des zu sammengesetzten Szenarios. Auf diese Weise wird ein zusammengesetztes Szenario erstellt 101. The method 100 further comprises the merging 114 of the first sensor data 11 and the second sensor data 12 in order to obtain third sensor data 28 of the composite scenario. In this way a composite scenario is created 101.
Die Zusammenführung 114 kann die Eintragung 115 der als relevant klassifizierten Punkte in einem gemeinsamen Koordinatensystem umfassen. The merging 114 can include the entry 115 of the points classified as relevant in a common coordinate system.
Ferner kann das Verfahren 100 die Zusammenführung 116 der ersten Ground Truth und der zweiten Ground Truth zu einer Ground Truth des zusammengesetzten Szena rios umfassen. Furthermore, the method 100 can comprise the merging 116 of the first ground truth and the second ground truth to form a ground truth of the composite scenario.
Das Verfahren kann zudem das Testen 117 einer Objekterkennungseinheit 17 umfas sen, wobei das Testen 117 das Bereitstellen 118 der dritten Sensordaten 28 des zu sammengesetzten Szenarios sowie einen Vergleich 119, der von der Objekterken nungseinheit 17 erkannten Objekte mit der Ground Truth des zusammengesetzten Szenarios umfassen kann. Figur 2 zeigt erste Sensordaten 11. Dabei stellen die ersten Sensordaten eine Punkt wolke dar, wobei die einzelnen Punkte 11a der ersten Sensordaten deutlich zu sehen sind. The method can also include the testing 117 of an object recognition unit 17, the testing 117 including the provision 118 of the third sensor data 28 of the composite scenario and a comparison 119 of the objects recognized by the object recognition unit 17 with the ground truth of the composite scenario . FIG. 2 shows first sensor data 11. The first sensor data represent a point cloud, the individual points 11a of the first sensor data being clearly visible.
Figur 3 stellt zweite Sensordaten 12 dar, die ebenfalls als Punktwolke aus einzelnen Punkten 12a besteht. FIG. 3 shows second sensor data 12, which also consists of individual points 12a as a point cloud.
In Figur 4 ist eine gemeinsame Voxel-Map 23 gezeigt, in der die ersten Sensordaten 11 der Figur 2 und die zweiten Sensordaten 12 der Figur 3 dargestellt sind. Die gemein same Voxel-Map 23 mit Voxeln 23a umfasst 16 Spalten und 16 Reihen. Ein Voxel 23a wird eindeutig durch Angabe der Zeile/Spalte definiert. A common voxel map 23 is shown in FIG. 4, in which the first sensor data 11 from FIG. 2 and the second sensor data 12 from FIG. 3 are shown. The common voxel map 23 with voxels 23a comprises 16 columns and 16 rows. A voxel 23a is clearly defined by specifying the row / column.
Die ersten Sensordaten 11 und die zweiten Sensordaten 12, so wie sie in Figuren 2 und 3 gezeigt sind, haben keinen räumlichen Bezug zueinander. Erst durch die Zuord nung der Punkte zu Voxeln und dann die Zusammenführung in einer gemeinsamen Voxel-Map 23 wird eine räumliche Beziehung zueinander hergestellt. The first sensor data 11 and the second sensor data 12, as shown in FIGS. 2 and 3, have no spatial relationship to one another. Only by assigning the points to voxels and then bringing them together in a common voxel map 23 is a spatial relationship established.
Aus Gründen der vereinfachten Darstellung sind die ersten Sensordaten 11, die zwei ten Sensordaten 12 und die gemeinsame Voxel-Map 23 sowie die dann daraus er zeugten dritten Sensordaten 28 (siehe Figur 7) zweidimensional dargestellt, obwohl diese natürlich typischerweise dreidimensional vorliegen. For reasons of simplified representation, the first sensor data 11, the second sensor data 12 and the common voxel map 23 as well as the third sensor data 28 generated therefrom (see FIG. 7) are shown in two dimensions, although these are of course typically three-dimensional.
Die Punkte in der gemeinsamen Voxel-Map 23 in den Voxeln 23a an den Positionen 5/8, 6/4, 10/7, 10/8, 10/9, 11/6, 11/10, 12/11 sind Punkte 11a der ersten Punktwolke, während in den Voxeln 23a an den Positionen 6/11, 6/12, 6/13, 7/10, 8/9, 9/2, 10/15 die Punkte 12a der zweiten Sensordaten 12 eingetragen sind. The points in the common voxel map 23 in the voxels 23a at the positions 5/8, 6/4, 10/7, 10/8, 10/9, 11/6, 11/10, 12/11 are points 11a of the first point cloud, while the points 12a of the second sensor data 12 are entered in the voxels 23a at the positions 6/11, 6/12, 6/13, 7/10, 8/9, 9/2, 10/15.
In Figur 5 ist die Voxel-Map der Figur 4 gezeigt, nachdem bereits einige Punkte als Rauschpunkte 24 identifiziert wurden. Dies betrifft die Punkte 9/2, 6/4, 5/8 und 10/15. Diese Rauschpunkte 24 werden als nicht relevante Punkte 27 klassifiziert. The voxel map of FIG. 4 is shown in FIG. 5 after a few points have already been identified as noise points 24. This applies to points 9/2, 6/4, 5/8 and 10/15. These noise points 24 are classified as irrelevant points 27.
In Figur 5 ist weiterhin zu sehen, wie Punkte 11a der ersten Sensordaten und Punkte 12a der zweiten Sensordaten verdeckte Bereiche 29 erzeugen. Nämlich sind alle Voxel 23a hinter den Punkten 11a an den Positionen 11/6, 10/7 und 10/8 verdeckt. Mit dem Begriff „hinter" ist radial dahinter angeordnet gemeint, was in der Voxel-Map 23 be deutet, dass die entsprechenden Voxel 23a eine höhere Zeilennummer aufweisen. FIG. 5 also shows how points 11a of the first sensor data and points 12a of the second sensor data generate covered areas 29. Namely, all voxels 23a are hidden behind the points 11a at the positions 11/6, 10/7 and 10/8. With the The term “behind” is intended to be arranged radially behind it, which in the voxel map 23 means that the corresponding voxel 23a have a higher line number.
Analog erzeugen die Punkte 12a der zweiten Sensordaten 12 in den Voxeln 23a an den Positionen 8/9, 7/10, 6/11, 6/12 und 6/13 einen entsprechenden, verdeckten Be reich 29. In dem verdeckten Bereich 29 liegen drei Punkte 11a der ersten SensordatenSimilarly, the points 12a of the second sensor data 12 in the voxels 23a at the positions 8/9, 7/10, 6/11, 6/12 and 6/13 generate a corresponding, covered area 29. In the covered area 29 there are three Points 11a of the first sensor data
11 und werden als verdeckte Punkte 25 klassifiziert. Dabei handelt es sich um die Punkte 11a in den Voxeln 23a an den Positionen 10/9, 11/10, 12/11. 11 and are classified as hidden points 25. These are points 11a in voxels 23a at positions 10/9, 11/10, 12/11.
Figur 6 zeigt die Voxel-Map der Figur 5, nachdem die verdeckten Punkte 25 als nicht relevant klassifiziert wurden. Ferner wurden die restlichen Punkte 11a der ersten Sen sordaten 11 und die restlichen Punkte 12a der zweiten Sensordaten 12 als relevante Punkte 26 klassifiziert. FIG. 6 shows the voxel map of FIG. 5 after the hidden points 25 have been classified as not relevant. Furthermore, the remaining points 11a of the first sensor data 11 and the remaining points 12a of the second sensor data 12 were classified as relevant points 26.
In Figur 7 ist eine Voxel-Map mit den dritten Sensordaten 28 gezeigt, die durch Zu sammenführen der als relevant klassifizierten Punkte 26 der ersten Sensordaten 11 und der als relevant klassifizierten Punkte 26 der zweiten Sensordaten 12 resultiert. Die dritten Sensordaten 28 stellen ebenfalls eine Punktwolke mit entsprechenden Punkten 28a dar, und zwar mit den Punkten 28a in den Voxeln 23a an den Positionen 6/11, 6/12, 6/13, 7/10, 8/9, 10/7, 10/8 und 11/6. FIG. 7 shows a voxel map with the third sensor data 28, which results from merging the points 26 of the first sensor data 11 classified as relevant and the points 26 of the second sensor data 12 classified as relevant. The third sensor data 28 likewise represent a point cloud with corresponding points 28a, specifically with the points 28a in the voxels 23a at the positions 6/11, 6/12, 6/13, 7/10, 8/9, 10/7 , 10/8 and 11/6.
Figur 8 zeigt eine erfindungsgemäße Vorrichtung 10, die eine Einheit 13 zum Erfassen der ersten Sensordaten 11 und der zweiten Sensordaten 12 umfassen kann. Ferner umfasst die Vorrichtung 10 eine Klassifizierungseinheit 15 und eine Einheit 14 zum Zusammenführen der ersten Sensordaten 11 und der zweiten Sensordaten 12. FIG. 8 shows a device 10 according to the invention, which can include a unit 13 for acquiring the first sensor data 11 and the second sensor data 12. The device 10 further comprises a classification unit 15 and a unit 14 for merging the first sensor data 11 and the second sensor data 12.
Die Klassifizierungseinheit 15 kann einen Voxelizer 16, eine Freiraumidentifikations einheit 19, eine Objekterkennungseinheit 17, eine Objektmergingeinheit 18 und eine Rauschpunktidentifikationseinheit 20 sowie einen Point Cloud Marker 21 umfassen. Der Voxelizer 16 dient dazu, die ersten Sensordaten 11 und die zweiten SensordatenThe classification unit 15 can comprise a voxelizer 16, a free space identification unit 19, an object recognition unit 17, an object merging unit 18 and a noise point identification unit 20 as well as a point cloud marker 21. The voxelizer 16 is used to collect the first sensor data 11 and the second sensor data
12 in einer gemeinsamen Voxel-Map 23 darzustellen, wobei die Freiraumidentifikati onseinheit 19 freie Voxel als Freiräume klassifiziert. Die Objekterkennungseinheit 17 dient dazu, Objekte zu erkennen und die Objektmergingeinheit 18 diese in räumliche Relation zueinander zu setzen, um mögliche Verdeckungen und/oder Überschneidun gen zu erkennen. Die Rauschpunktidentifikationseinheit 20 dient dazu, Rauschpunkte 24 zu identifizieren. Der Point Cloud Marker 21 dient dazu, alle Punkte der ersten Sen sordaten 11 und der zweiten Sensordaten 12 als relevant oder nicht relevant zu klassi fizieren. Nur relevante Punkte 26 werden anschließend von der Einheit 14 zum Zu sammenführen zu dritten Sensordaten 28 zusammengeführt. 12 in a common voxel map 23, the free space identification unit 19 classifying free voxels as free spaces. The object recognition unit 17 serves to recognize objects and the object merging unit 18 to place them in spatial relation to one another in order to recognize possible occlusions and / or overlaps. The noise point identification unit 20 serves to identify noise points 24 to identify. The point cloud marker 21 is used to classify all points of the first sensor data 11 and the second sensor data 12 as relevant or not relevant. Only relevant points 26 are then merged by the unit 14 for merging into third sensor data 28.
In Figur 9 ist ein schematischer Ablauf des Verfahrens 100 eingebunden in die Vorrich tung 10 nach Figur 8 gezeigt. Dabei weist die Vorrichtung 10 nicht mehrere dargestell te Einheiten, wie bspw. Voxelizer oder Objekterkennungseinheiten, auf, sondern es ist in Figur 9 nur schematisch dargestellt, welche Pfade die Sensordaten innerhalb einer Vorrichtung 10 hinter sich legen. FIG. 9 shows a schematic sequence of the method 100 incorporated into the device 10 according to FIG. The device 10 does not have a plurality of illustrated units, such as, for example, voxelizers or object recognition units, but rather it is only shown schematically in FIG. 9 which paths are followed by the sensor data within a device 10.
Als Input werden erste Sensordaten 11 und zweite Sensordaten 12 bereitgestellt, die der Klassifizierungseinheit 15, und zwar zuerst dem Voxelizer 16 und anschließend der Freiraumidentifikationseinheit 19, zugeführt werden, um die ersten Sensordaten 11 und die zweiten Sensordaten 12 in einer gemeinsamen Voxel-Map 23 darzustellen und freie Voxel als Freiräume zu identifizieren. First sensor data 11 and second sensor data 12 are provided as input, which are fed to the classification unit 15, namely first to the voxelizer 16 and then to the free space identification unit 19, in order to display the first sensor data 11 and the second sensor data 12 in a common voxel map 23 and identify free voxels as free spaces.
Ferner werden die ersten Sensordaten 11 und die zweiten Sensordaten 12 der Ob jekterkennungseinheit 17 und anschließend der Objektmergingeinheit 18 zugeführt, um die Positionen der erkannten Objekte zueinander zu vergleichen und mögliche Überschneidungen und/oder Verdeckungen zu erkennen. Furthermore, the first sensor data 11 and the second sensor data 12 are fed to the object recognition unit 17 and then to the object merging unit 18 in order to compare the positions of the recognized objects with one another and to identify possible overlaps and / or occlusions.
Außerdem werden die ersten Sensordaten und die zweiten Sensordaten der Rausch punktidentifikationseinheit 20 zugeführt, die Rauschpunkte 24 identifizieren kann. In addition, the first sensor data and the second sensor data are fed to the noise point identification unit 20, which can identify noise points 24.
Im Anschluss kann der Point Cloud Marker 21 die Rauschpunkte und identifizierte verdeckte oder anderweitig als nicht relevant klassifizierten Punkte als nicht relevant markieren, während die restlichen Punkte als relevant markiert werden. Die als rele vant klassifizierten Punkte 26 werden der Einheit 14 zum Zusammenführen der ersten Sensordaten 11 und der zweiten Sensordaten 12 zugeführt, die diese zu dritten Sens ordaten 28 zusammenführt. Bezugszeichenliste The point cloud marker 21 can then mark the noise points and identified hidden points or points classified otherwise as not relevant as not relevant, while the remaining points are marked as relevant. The points 26 classified as relevant are fed to the unit 14 for merging the first sensor data 11 and the second sensor data 12, which merges them into third sensor data 28. List of reference symbols
100 Erfindungsgemäßes Verfahren 100 Method according to the invention
101 Erstellen zusammengesetzter Szenarien 101 Creating Compound Scenarios
102 Erfassen von ersten Sensordaten eines ersten Szenarios und von zweiten Sens ordaten eines zweiten Szenarios 102 Acquisition of first sensor data of a first scenario and of second sensor data of a second scenario
103 Bereitstellen von ersten Sensordaten eines ersten Szenarios und von zweiten Sensordaten eines zweiten Szenarios 103 Provision of first sensor data of a first scenario and of second sensor data of a second scenario
104 Erfassen einer ersten Ground Truth für das erste Szenario und einer zweiten Ground Truth für das zweite Szenario 104 Capturing a first ground truth for the first scenario and a second ground truth for the second scenario
105 Bereitstellen einer ersten Ground Truth für das erste Szenario und einer zwei ten Ground Truth für das zweite Szenario 105 Providing a first ground truth for the first scenario and a second ground truth for the second scenario
106 Validierung der ersten Sensordaten des ersten Szenarios und der zweiten Sens ordaten des zweiten Szenarios 106 Validation of the first sensor data of the first scenario and the second sensor data of the second scenario
107 Klassifikation der jeweiligen Punkte der ersten Sensordaten und der jeweiligen Punkte der zweiten Sensordaten in relevant oder nicht relevant 107 Classification of the respective points of the first sensor data and the respective points of the second sensor data as relevant or not relevant
108 Darstellung der ersten Sensordaten und der zweiten Sensordaten in einer ge meinsamen Voxel-Map 108 Representation of the first sensor data and the second sensor data in a common voxel map
109 Identifikation von freien Voxel als Freiräume 109 Identification of free voxels as free spaces
110 Identifikation von Objekten auf Basis der ersten Sensordaten und der zweiten Sensordaten 110 Identification of objects on the basis of the first sensor data and the second sensor data
111 Vergleich der Positionen der erkannten Objekte der ersten Sensordaten und der zweiten Sensordaten 111 Comparison of the positions of the detected objects of the first sensor data and the second sensor data
112 Erkennung möglicher Überschneidungen und/oder Verdeckungen 112 Detection of possible overlaps and / or occlusions
113 Identifikation von Rauschpunkten 113 Identification of Noise Points
114 Zusammenführung der ersten Sensordaten und der zweiten Sensordaten zum Erhalten von dritten Sensordaten eines zusammengesetzten Szenarios 114 Combination of the first sensor data and the second sensor data to obtain third sensor data of a composite scenario
115 Eintragung der als relevant klassifizierten Punkte in einem gemeinsamen Koor dinatensystem 115 Entry of the points classified as relevant in a common coordinate system
116 Zusammenführung der ersten Ground Truth und der zweiten Ground Truth zu einer Ground Truth des zusammengesetzten Szenarios 116 Merging of the first ground truth and the second ground truth into a ground truth of the composite scenario
117 Testen einer Objekterkennungseinheit 117 Testing an Object Recognition Unit
118 Bereitstellen der dritten Sensordaten des zusammengesetzten Szenarios 9 Vergleich der von der Objekterkennungseinheit erkannten Objekte mit der Ground Truth des zusammengesetzten Szenarios Erfindungsgemäße Vorrichtung Erste Sensordaten a Punkt der ersten Sensordaten Zweite Sensordaten a Punkt der zweiten Sensordaten Einheit zum Erfassen der ersten Sensordaten und der zweiten Sensordaten Einheit zum Zusammenführen der ersten Sensordaten und der zweiten Sensor daten Klassifizierungseinheit Voxelizer Objekterkennungseinheit Objektmergingeinheit Freiraumidentifikationseinheit Rausch punktidentifikationsein heit Point Cloud Marker Gemeinsame Voxel-Map a Voxel Rauschpunkt Verdeckter Punkt Relevanter Punkt Nicht-Relevanter Punkt Dritte Sensordaten a Punkt der dritten Sensordaten Verdeckter Bereich 118 Provision of the third sensor data of the composite scenario 9 Comparison of the objects recognized by the object recognition unit with the ground truth of the composite scenario Device according to the invention First sensor data a Point of the first sensor data Second sensor data a Point of the second sensor data Unit for acquiring the first sensor data and the second sensor data Unit for merging the first sensor data and the second Sensor data classification unit Voxelizer object recognition unit Object merging unit Free space identification unit Noise point identification unit Point cloud marker Common voxel map a voxel Noise point Concealed point Relevant point Non-relevant point Third sensor data a Point of the third sensor data Concealed area

Claims

Ansprüche Expectations
1. Verfahren (100) zum Erstellen (101) zusammengesetzter Szenarien zum Testen einer Objekterkennungseinheit (17), wobei das Verfahren (100) das Bereitstellen (103) von ersten Sensordaten (11) eines ersten Szenarios und von zweiten Sensordaten (12) eines zweiten Szena rios umfasst, wobei die ersten Sensordaten (11) und die zweiten Sensordaten (12) jeweils mindestens eine Punktwolke umfassend eine Vielzahl von Punkten aufweisen, dadurch gekennzeichnet, dass das Verfahren (100) eine Klassifikation (107) der jeweiligen Punkte (11a) der ersten Sensordaten (11) und der jeweiligen Punkte (12a) der zweiten Sensorda ten (12) in relevant oder nicht relevant umfasst, wobei das Verfahren (100) die Zusammenführung (114) der ersten Sensordaten (11) und der zweiten Sensordaten (12) zum Erhalten von dritten Sensordaten (28) eines zusammengesetzten Szenarios umfasst, und wobei nur relevante Punkte (26) der ersten Sensordaten (11) und relevante Punkte (26) der zweiten Sensordaten (12) zu dritten Sensordaten (28) des zusammengesetzten Szena rios zusammengeführt werden. 1. A method (100) for creating (101) composite scenarios for testing an object recognition unit (17), the method (100) providing (103) first sensor data (11) of a first scenario and second sensor data (12) of a second Scenario includes, wherein the first sensor data (11) and the second sensor data (12) each have at least one point cloud comprising a plurality of points, characterized in that the method (100) a classification (107) of the respective points (11a) of the first sensor data (11) and the respective points (12a) of the second sensor data (12) in relevant or not relevant, the method (100) combining (114) the first sensor data (11) and the second sensor data (12) for obtaining third sensor data (28) of a composite scenario, and wherein only relevant points (26) of the first sensor data (11) and relevant points (26) of the second sensor data (12) to the third sensor data (28) of the composite scenario can be merged.
2. Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass die ersten Sensordaten (11) und die zweiten Sensordaten (12) in einer gemein samen Voxel-Map (23) dargestellt werden, wobei freie Voxel (23a) als Freiräume identifiziert werden. 2. The method (100) according to claim 1, characterized in that the first sensor data (11) and the second sensor data (12) are displayed in a common voxel map (23), free voxels (23a) being identified as free spaces .
3. Verfahren (100) nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Verfahren (100) eine jeweilige Identifikation (110) von Objekten auf Basis der ersten Sensordaten (11) und der zweiten Sensordaten (12) umfasst, wobei die Positionen der erkannten Objekte der ersten Sensordaten (11) und der zweiten Sensordaten (12) verglichen werden (111), um mögliche Über schneidungen und/oder Verdeckungen zu erkennen. 3. The method (100) according to any one of claims 1 or 2, characterized in that the method (100) comprises a respective identification (110) of objects on the basis of the first sensor data (11) and the second sensor data (12), wherein the Positions of the detected objects of the first sensor data (11) and the second sensor data (12) are compared (111) in order to identify possible overlaps and / or occlusions.
4. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren die Identifikation (113) von Rauschpunkten (24) umfasst. 4. The method (100) according to any one of the preceding claims, characterized in that the method comprises the identification (113) of noise points (24).
5. Verfahren (100) nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Klassifikation auf Basis von identifizierten Objekten, identifizierten Freiräu men und/oder identifizierten Rauschpunkten (24) erfolgt. 5. The method (100) according to any one of claims 2 to 4, characterized in that the classification takes place on the basis of identified objects, identified free spaces and / or identified noise points (24).
6. Verfahren (100) nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass im Rahmen der Klassifikation verdeckte Punkte (25) einer Punktwolke als nicht relevant klassifiziert werden, wobei verdeckte Punkte (25) innerhalb der gemeinsamen Voxel-Map (23a) von mindestens einem Punkt derselben und/oder der anderen Punktwolke ver deckt werden. 6. The method (100) according to any one of claims 2 to 5, characterized in that hidden points (25) of a point cloud are classified as irrelevant within the scope of the classification, hidden points (25) within the common voxel map (23a) be covered by at least one point of the same and / or the other point cloud.
7. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass im Rahmen der Klassifikation Punkte einer Punktwolke als nicht relevant klassi fiziert werden, wenn die Punkte von einem Objekt der anderen Punktwolke verdeckt werden und/oder wenn die Punkte innerhalb eines Objektes der an deren Punktwolke liegen und/oder wenn die Punkte von einem ersten Objekt stammen, das sich mit einem zweiten Objekt der anderen Punktwolke über schneidet und/oder wenn die Punkte in den ersten Sensordaten und den zwei ten Sensordaten Vorkommen. 7. The method (100) according to any one of the preceding claims, characterized in that within the scope of the classification, points of a point cloud are classified as irrelevant if the points are covered by an object of the other point cloud and / or if the points are within an object which lie at their point cloud and / or if the points come from a first object that intersects with a second object in the other point cloud and / or if the points occur in the first sensor data and the second sensor data.
8. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Zusammenführung (114) der ersten Sensordaten (11) und der zweiten Sen sordaten (12) eine Eintragung (115) der als relevant klassifizierten Punkte (26) in einem gemeinsamen Koordinatensystem umfasst. 8. The method (100) according to any one of the preceding claims, characterized in that the merging (114) of the first sensor data (11) and the second sensor data (12) an entry (115) of the points classified as relevant (26) in one includes common coordinate system.
9. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) das Bereitstellen (105) einer ersten Ground Truth für das erste Szenario und einer zweiten Ground Truth für das zweite Szenario umfasst. 9. The method (100) according to any one of the preceding claims, characterized in that the method (100) comprises providing (105) a first ground truth for the first scenario and a second ground truth for the second scenario.
10. Verfahren (100) nach Anspruch 9, dadurch gekennzeichnet, dass das Verfahren (100) eine Zusammenführung (116) der ersten Ground Truth und der zweiten Ground Truth zu einer Ground Truth des zusammengesetzten Sze narios umfasst. 10. The method (100) according to claim 9, characterized in that the method (100) comprises a combination (116) of the first ground truth and the second ground truth to form a ground truth of the composite scenario.
11. Verfahren (100) nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass das Verfahren das Testen (117) einer Objekterkennungseinheit (17) umfasst, wobei das Testen (117) das Bereitstellen (118) der dritten Sensordaten (28) des zusammengesetzten Szenarios und einen Vergleich (119) der von der Objekter kennungseinheit (17) erkannten Objekte mit der Ground Truth des zusammen gesetzten Szenarios umfasst. 11. The method (100) according to any one of claims 9 or 10, characterized in that the method comprises testing (117) an object recognition unit (17), the testing (117) providing (118) the third sensor data (28) of the composite scenarios and a comparison (119) of the objects recognized by the object recognition unit (17) with the ground truth of the composite scenario.
12. Verfahren (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) das Erstellen einer Bibliothek zum Erstellen von Sensorda ten zusammengesetzter Szenarien umfasst, wobei in der Bibliothek Sensordaten verschiedener Szenarien und optionaler weise die entsprechende Ground Truths der Szenarien abgelegt werden. 12. The method (100) according to any one of the preceding claims, characterized in that the method (100) comprises creating a library for creating sensor data of composite scenarios, with sensor data from various scenarios and optionally the corresponding ground truths of the scenarios in the library be filed.
13. Vorrichtung (10) zum Erstellen zusammengesetzter Szenarien zum Testen einer Objekterkennungseinheit (17), dadurch gekennzeichnet, dass die Vorrichtung (100) eine Einheit (14) zum Zusammenführen der ersten Sens ordaten (11) und der zweiten Sensordaten (12) zum Erhalten von dritten Sens ordaten (28) eines zusammengesetzten Szenarios umfasst, wobei die Vorrichtung (10) eine Klassifizierungseinheit (15) zur Klassifikation (107) der jeweiligen Punkte (11a) der ersten Sensordaten (11) und der jeweili- gen Punkte (12a) der zweiten Sensordaten (12) in relevant und nicht relevant umfasst. 13. Device (10) for creating composite scenarios for testing an object recognition unit (17), characterized in that the device (100) has a unit (14) for merging the first sensor data (11) and the second sensor data (12) to obtain of third sensor data (28) of a composite scenario, the device (10) having a classification unit (15) for classifying (107) the respective points (11a) of the first sensor data (11) and the respective gen points (12a) of the second sensor data (12) in relevant and not relevant.
14. Computerprogrammprodukt, das ein computerlesbares Speichermedium um fasst, auf dem ein Programm gespeichert ist, das es einem Computer ermög licht, nachdem es in den Speicher des Computers geladen worden ist, ein Ver fahren (100) gemäß einem der Ansprüche 1 bis 12, gegebenenfalls im Zusam menspiel mit einer Vorrichtung (10) gemäß Anspruch 13, durchzuführen. 14. Computer program product that comprises a computer-readable storage medium on which a program is stored that allows a computer light after it has been loaded into the memory of the computer, a method (100) according to one of claims 1 to 12, possibly in cooperation with a device (10) according to claim 13 to perform.
15. Computerlesbares Speichermedium, auf dem ein Programm gespeichert ist, das es einem Computer ermöglicht, nachdem es in den Speicher des Compu ters geladen worden ist, ein Verfahren gemäß einem der Ansprüche 1 bis 12, gegebenenfalls im Zusammenspiel mit einer Vorrichtung (10) gemäß Anspruch 13, durchzuführen. 15. Computer-readable storage medium on which a program is stored which enables a computer after it has been loaded into the memory of the Compu age, a method according to one of claims 1 to 12, optionally in conjunction with a device (10) according to Claim 13 to perform.
EP21703723.3A 2020-02-20 2021-02-11 Method and device for generating combined scenarios Pending EP4107654A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20158378 2020-02-20
PCT/EP2021/053294 WO2021165129A1 (en) 2020-02-20 2021-02-11 Method and device for generating combined scenarios

Publications (1)

Publication Number Publication Date
EP4107654A1 true EP4107654A1 (en) 2022-12-28

Family

ID=69723805

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21703723.3A Pending EP4107654A1 (en) 2020-02-20 2021-02-11 Method and device for generating combined scenarios

Country Status (7)

Country Link
US (1) US20220405536A1 (en)
EP (1) EP4107654A1 (en)
KR (1) KR20220139984A (en)
CN (1) CN115516527A (en)
CA (1) CA3169989A1 (en)
IL (1) IL295643A (en)
WO (1) WO2021165129A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11915436B1 (en) * 2021-08-30 2024-02-27 Zoox, Inc. System for aligning sensor data with maps comprising covariances

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202018105162U1 (en) 2018-09-10 2018-10-18 Edag Engineering Gmbh Environmental simulation system for a test rig for testing technical installations or machines and such a test bench

Also Published As

Publication number Publication date
CA3169989A1 (en) 2021-08-26
IL295643A (en) 2022-10-01
CN115516527A (en) 2022-12-23
WO2021165129A1 (en) 2021-08-26
US20220405536A1 (en) 2022-12-22
KR20220139984A (en) 2022-10-17

Similar Documents

Publication Publication Date Title
EP3438901A1 (en) Test drive scenario database system for realistic virtual test drive scenarios
EP2546778A2 (en) Method for evaluating an object detection device of a motor vehicle
EP3393875B1 (en) Method for the improved detection of objects by a driver assistance system
DE102019213546A1 (en) Generation of synthetic lidar signals
EP3785169A1 (en) Method and device for converting an input image of a first domain into an output image of a second domain
DE102019208735A1 (en) Method for operating a driver assistance system for a vehicle and a driver assistance system for a vehicle
DE102019208733A1 (en) Method and generator for generating disturbed input data for a neural network
DE102019101405A1 (en) Method for evaluating position information of a landmark in the surroundings of a motor vehicle, evaluation system, driver assistance system and motor vehicle
EP3729213A1 (en) Behaviour model of an environment sensor
EP4107654A1 (en) Method and device for generating combined scenarios
EP4222039A1 (en) Optical railway detection
DE102011103510A1 (en) Method for creating three-dimensional CAD representation of e.g. workshop, involves detecting coherent surface elements in scatter-plot representation, and creating three-dimensional CAD representation of object arrangement
DE102017201796A1 (en) Control device for determining a self-motion of a motor vehicle and motor vehicle and method for providing the control device
DE102019211459A1 (en) Method and device for checking a calibration of environmental sensors
WO2023083620A1 (en) Testing the environment sensor system and/or environment perception of a vehicle
EP1756748B1 (en) Method for the classification of an object by means of a stereo camera
EP2940624B1 (en) Three-dimensional virtual model of an environment for applications for determining positions
EP3772017A1 (en) Rail signal detection for autonomous railway vehicles
DE19627938A1 (en) Dynamic tracking method for vehicle guidance
DE102019210518A1 (en) Method for recognizing an object in sensor data, driver assistance system and computer program
DE102020105676A1 (en) METHOD OF OPERATING A PARKING ASSISTANCE SYSTEM
WO2015024035A2 (en) Method for detecting errors for at least one image processing system
DE102020215017A1 (en) Method for testing an object detection system
DE102021207997A1 (en) Method for checking completeness of a model of traffic dynamics at a traffic junction
DE102015120927A1 (en) Method for displaying a simulation environment

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220902

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: MICROVISION, INC.

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230530