DE102019132973A1 - Method for reorganizing sampling points in a point cloud generated by a detection system of a vehicle - Google Patents

Method for reorganizing sampling points in a point cloud generated by a detection system of a vehicle Download PDF

Info

Publication number
DE102019132973A1
DE102019132973A1 DE102019132973.6A DE102019132973A DE102019132973A1 DE 102019132973 A1 DE102019132973 A1 DE 102019132973A1 DE 102019132973 A DE102019132973 A DE 102019132973A DE 102019132973 A1 DE102019132973 A1 DE 102019132973A1
Authority
DE
Germany
Prior art keywords
chain
point
points
sampling
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019132973.6A
Other languages
German (de)
Inventor
Viktor Trusov
Diana Lacatus
Ali Bassiouny
Shekhar Raheja
Mario Rojas Quinones
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102019132973.6A priority Critical patent/DE102019132973A1/en
Publication of DE102019132973A1 publication Critical patent/DE102019132973A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Umorganisieren von Abtastpunkten (16) in einer von einem Detektionssystem (1) eines Fahrzeugs erzeugten Punktwolke, wobei eine Szene mittels elektromagnetischer Wellen von einem Detektionssystem (1) eines Fahrzeugs gemessen wird und mindestens ein Abtasten der Szene mit einer Vielzahl von Abtastpunkten (16) erzeugt wird. Die Abtastpunkte (16) sind zu mindestens einer Kette (20) gruppiert, wobei die Gruppierung durch einen Abtastpunkt-zu-Kette-Zuordnungsalgorithmus erfolgt. Wenn keine Kette (20) existiert, wird eine neue Kette (20) angelegt. Wenn eine Kette (20) vorhanden ist, wird ein Abtastpunkt (16) von einer Salve (15) der Kette (20) zugeordnet, wobei die Zuordnung auf einem Abstand zwischen dem gegebenen Abtastpunkt (16) von einem Schritt k und einem letzten Abtastpunkt (16) von einem Schritt k-1 in der Kette (20) basiert, wobei der Kette (20) ein Abtastpunkt (16) zugeordnet ist, wenn der Abstand zwischen ihnen der niedrigste der Abtastpunkte (20) in der Salve (15) ist, und unterhalb eines vordefinierten Zuordnungsschwellenwerts ist. Die Kette (20) wird für den Abtastpunkt (16) übersprungen, wenn der Abstand den vorgegebenen Zuordnungsschwellenwert überschreitet, und der letzte Abtastpunkt (20) wird als Endpunkt (28) markiert. Danach wird die Kette (20) zur weiteren Verarbeitung gespeichert. Die vorliegende Erfindung bezieht sich auch auf ein Fahrassistenzsystem und ein Computerprogrammprodukt.The present invention relates to a method for reorganizing scanning points (16) in a point cloud generated by a detection system (1) of a vehicle, a scene being measured by means of electromagnetic waves by a detection system (1) of a vehicle and at least one scanning of the scene is generated with a plurality of sampling points (16). The sampling points (16) are grouped to form at least one chain (20), the grouping being carried out by a sampling point-to-chain assignment algorithm. If no chain (20) exists, a new chain (20) is created. If a chain (20) is present, a sampling point (16) from a volley (15) is assigned to the chain (20), the assignment being based on a distance between the given sampling point (16) from a step k and a last sampling point ( 16) is based on a step k-1 in the chain (20), the chain (20) being assigned a sampling point (16) if the distance between them is the lowest of the sampling points (20) in the volley (15), and is below a predefined allocation threshold. The chain (20) is skipped for the scanning point (16) if the distance exceeds the predefined allocation threshold value, and the last scanning point (20) is marked as the end point (28). The chain (20) is then saved for further processing. The present invention also relates to a driver assistance system and a computer program product.

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Umorganisation von Abtastpunkten in einer Punktwolke, die von einem Detektionssystem eines Fahrzeugs erzeugt wird. Die vorliegende Erfindung bezieht sich auch auf ein Fahrassistenzsystem. Darüber hinaus bezieht sich die vorliegende Erfindung auf ein Computerprogrammprodukt.The present invention relates to a method for reorganizing sample points in a point cloud generated by a detection system of a vehicle. The present invention also relates to a driver assistance system. The present invention also relates to a computer program product.

In Automobilanwendungen wie der Hinderniserkennung und -vermeidung bei autonomen Fahrten oder der adaptiven Frontbeleuchtung wird die dreidimensionale Umgebung um ein Fahrzeug herum erfasst. Für die Vermessung der Umgebung wird das Fahrzeug typischerweise mit geeigneten Sensoren in Form von 3D-Scannern wie z.B. so genannten Lidarsensoren (light detection and ranging) oder Radarsensoren ausgestattet. Bei der Lichtdetektion und Entfernungsmessung wird der Abstand zu Objekten bestimmt, indem die Umgebung und damit die Objekte darin mit gepulstem Laserlicht beleuchtet und das reflektierte Laserlicht erfasst wird. Die Rücklaufzeit des Laserlichts ist ein Maß für den Abstand zur Oberfläche eines Objekts in der Umgebung. Eine Intensität der Reflexion kann verarbeitet werden, um weitere Informationen über eine Oberfläche zu erhalten, die das Laserlicht reflektiert.In automotive applications such as obstacle detection and avoidance during autonomous journeys or adaptive front lighting, the three-dimensional environment around a vehicle is recorded. To measure the surroundings, the vehicle is typically equipped with suitable sensors in the form of 3D scanners such as so-called lidar sensors (light detection and ranging) or radar sensors. With light detection and distance measurement, the distance to objects is determined by illuminating the environment and thus the objects in it with pulsed laser light and capturing the reflected laser light. The return time of the laser light is a measure of the distance to the surface of an object in the vicinity. An intensity of the reflection can be processed to obtain more information about a surface that is reflecting the laser light.

Mit einem 3D-Scanner wird ein Satz von Datenpunkten im dreidimensionalen Raum erzeugt, der als Punktwolke bezeichnet wird. Eine Punktwolke ist eine geometrische Datenstruktur. Jeder (Daten-)Punkt der Punktwolke entspricht einem physikalischen Punkt auf der Außenfläche eines Objekts in der Umgebung eines Fahrzeugs und umfasst typischerweise die Koordinaten X, Y und Z des physikalischen Punktes in einem dreidimensionalen kartesischen Koordinatensystem sowie optionaler zusätzlicher Merkmale. Ein 3D-Scanner gibt die gemessene Punktwolke typischerweise als Datenstruktur oder Datendatei aus. 5 zeigt ein Beispiel für eine Punktwolke, die beim Scannen der dreidimensionalen Umgebung eines Fahrzeugs mit einem Lidarsensor erhalten wird. Im Allgemeinen sind Punktwolken nicht auf ein dreidimensionales Koordinatensystem beschränkt, sondern können von höherer oder niedrigerer Dimension sein.A 3D scanner creates a set of data points in three-dimensional space called a point cloud. A point cloud is a geometric data structure. Each (data) point of the point cloud corresponds to a physical point on the outer surface of an object in the vicinity of a vehicle and typically includes the coordinates X, Y and Z of the physical point in a three-dimensional Cartesian coordinate system as well as optional additional features. A 3D scanner typically outputs the measured point cloud as a data structure or data file. 5 shows an example of a point cloud obtained when scanning the three-dimensional surroundings of a vehicle with a lidar sensor. In general, point clouds are not limited to a three-dimensional coordinate system, but can be of higher or lower dimension.

Um die Umgebung zu verstehen, ist es wichtig, die Objekte darin zu erkennen, jeden Punkt eines Objekts semantisch zu segmentieren und die Objekte zu klassifizieren. Objekterkennung, semantische Segmentierung und Klassifizierung werden als drei grundlegende Probleme/Aufgaben für das Szenenverständnis im Bereich der Computervision bezeichnet.In order to understand the environment, it is important to recognize the objects by semantically segmenting each point of an object and classifying the objects. Object recognition, semantic segmentation and classification are identified as three basic problems / tasks for scene understanding in the field of computer vision.

Eine Aufgabe ist die Erkennung und Verfolgung von Fahrbahnmarkierungen auf der Grundlage von Lidardaten. Die Erkennung von Fahrspurmarkierungen ist sowohl für viele Fahrerassistenzsysteme als auch für autonome Fahrzeuge eine Voraussetzung.One task is the detection and tracking of road markings on the basis of lidar data. The detection of lane markings is a prerequisite for many driver assistance systems as well as for autonomous vehicles.

Das Problem bei den LIDAR-Algorithmen zur Einzelscan-basierten Spurmarkierungserkennung besteht beispielsweise darin, dass diese Algorithmen eine lineare Organisation der Abtastpunkte innerhalb der Punktwolke erfordern. Falls der LIDAR mehr als ein Echo pro Aufnahme liefert, muss die Punktwolke transformiert werden, um mit einem Algorithmus zur Erkennung von Straßenmerkmalen kompatibel zu sein.The problem with the LIDAR algorithms for single-scan-based lane marker recognition is, for example, that these algorithms require a linear organization of the scanning points within the point cloud. If the LIDAR delivers more than one echo per recording, the point cloud must be transformed in order to be compatible with an algorithm for recognizing road features.

Es ist Gegenstand der vorliegenden Erfindung, ein Verfahren zur Umorganisation von Abtastpunkten in einer Punktwolke bereitzustellen.It is an object of the present invention to provide a method for reorganizing sample points in a point cloud.

Dieses Ziel wird durch die unabhängigen Ansprüche erreicht. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen angegeben. Insbesondere stellt die vorliegende Erfindung ein Verfahren zum Umorganisieren von Abtastpunkten in einer von einem Detektionssystem eines Fahrzeugs erzeugten Punktwolke bereit, das die folgenden Schritte umfasst:

  • - Messen einer Szene mittels elektromagnetischer Wellen aus einem Detektionssystem eines Fahrzeugs und Erzeugen mindestens einer Abtastung der Szene mit einer Vielzahl von Abtastpunkten, wobei die Gesamtheit aller Abtastpunkte zusammen mit den zugehörigen Punktdaten der erzeugten Abtastung eine Punktwolke bildet, wobei elektromagnetische Wellen, die von einem Objekt innerhalb eines vorbestimmten Polarwinkels eines kugelförmigen Koordinatensystems des Detektionssystems reflektiert werden, eine Schicht von Abtastpunkten bilden, wobei elektromagnetische Wellen, die von einem Objekt unter demselben Azimutwinkel für den vorbestimmten Polarwinkel des kugelförmigen Koordinatensystems reflektiert werden, eine Salve bilden,
  • - Gruppieren der Abtastpunkte zu mindestens einer Kette, wobei die Gruppierung durch einen Abtastpunkt-zu-Kette-Zuordnungsalgorithmus erfolgt, wobei jede Kette einen Startpunkt und einen Endpunkt aufweist, wobei die Anpassung durch den Algorithmus Salve für Salve ausgehend von der Salve mit Index 0 erfolgt, wobei jede Kette bis zu einem Abtastpunkt pro Salve aufnehmen kann,
  • - wenn keine Kette vorhanden ist, Erstellen einer neuen Kette und Zuordnen eines Abtastpunktes von der Salve mit Index 0 zur neuen Kette und Markieren des Abtastpunktes als Startpunkt,
  • - wenn eine Kette vorhanden ist, Zuordnen eines Abtastpunkts von der Salve zu der Kette, wobei die Zuordnung auf einem Abstand zwischen dem gegebenen Abtastpunkt von einem Schritt k und einem letzten Abtastpunkt von einem Schritt k-1 in der Kette basiert, wobei der Kette ein Abtastpunkt zugeordnet wird, wenn der Abstand zwischen ihnen der niedrigste der Abtastpunkte in der Salve ist, und unterhalb eines vordefinierten Zuordnungsschwellenwerts ist,
  • - Überspringen der Kette n für den Abtastpunkt m, wenn der Abstand den vorgegebenen Zuordnungsschwellenwert überschreitet, und Markieren des letzten Abtastpunktes als Endpunkt,
  • - Speichern der Kette zur weiteren Verarbeitung.
This goal is achieved by the independent claims. Advantageous embodiments are specified in the dependent claims. In particular, the present invention provides a method for reorganizing sample points in a point cloud generated by a detection system of a vehicle, comprising the following steps:
  • - Measuring a scene by means of electromagnetic waves from a detection system of a vehicle and generating at least one scan of the scene with a plurality of scan points, the entirety of all scan points together with the associated point data of the generated scan forming a point cloud, with electromagnetic waves generated by an object are reflected within a predetermined polar angle of a spherical coordinate system of the detection system, form a layer of scanning points, with electromagnetic waves reflected by an object at the same azimuth angle for the predetermined polar angle of the spherical coordinate system forming a volley,
  • - Grouping of the sampling points into at least one chain, the grouping being carried out by a sampling point-to-chain assignment algorithm, each chain having a starting point and an end point, the adaptation being carried out by the algorithm salvo by salvo starting from the salvo with index 0 each chain can accommodate up to one sampling point per salvo,
  • - if there is no chain, create a new chain and assign a sampling point from the salvo with index 0 to the new chain and mark the sampling point as the starting point,
  • - if a chain is present, assigning a sample point from the volley to the chain, the assignment being based on a distance between the given sample point from step k and a last sample point from step k-1 in the chain, the chain being a sample point is assigned if the distance between them is the lowest of the sampling points in the salvo and is below a predefined assignment threshold,
  • - Skipping the chain n for the sampling point m, if the distance exceeds the predefined allocation threshold value, and marking the last sampling point as the end point,
  • - Saving the chain for further processing.

In Anbetracht der Tatsache, dass jeder Photomultiplier mehrere Abtastpunkte aus getrennten Reflektoren bereitstellen kann und dass die Komplexität der Merkmalsextraktionsalgorithmen bei Vorhandensein von Mehrdeutigkeiten bei der Zuordnung von Abtastpunkten zunimmt, wurden sogenannte Abtastpunktketten als elementarer Block der Abtastpunktschichten eingeführt. Um die Komplexität der Mustererkennungsalgorithmen zu reduzieren, können lineare Abfolgen von Abtastpunkten, die die Form der Merkmale wiederholen, als Eingabe bereitgestellt werden. Die Grundidee der Erfindung ist es daher, Abtastpunkte, die möglicherweise zur Quelle oder zum Merkmal gehören, zu gruppieren und einer Kette zuzuordnen. Der bereitgestellte Algorithmus kann als „online“ zeitlicher Datenklassifizierer interpretiert werden, bei dem die vorherige Anzahl von Klassen oder Ketten nicht bekannt ist, wobei die maximale Anzahl von Klassen oder Ketten aus den Konfigurationsparametern abgeleitet wird. Bei jedem Update kann die Anzahl der Klassen und deren Lokalisierung variieren. Der Algorithmus ist ein rekursiver Online-Algorithmus, bei dem nur eine Messung pro Klasse in einem Trainingsvektor gespeichert ist. Der Trainingsvektor wird mit den zugewiesenen Punkten und Vorhersagen aus einem vorherigen Schritt aktualisiert. Überschreitet der Abstand zum nächsten Punkt einen Schwellenwert, wird eine neue Klasse angelegt; wurde die Klasse in mehreren vordefinierten Schritten nicht mit dem neuen Punkt zugeordnet, wird sie aus dem Trainingsvektor entfernt.In view of the fact that each photomultiplier can provide several sampling points from separate reflectors and that the complexity of the feature extraction algorithms increases in the presence of ambiguities in the assignment of sampling points, so-called sampling point chains were introduced as an elementary block of the sampling point layers. To reduce the complexity of the pattern recognition algorithms, linear sequences of sample points that repeat the shape of the features can be provided as input. The basic idea of the invention is therefore to group sampling points which possibly belong to the source or to the feature and to assign them to a chain. The algorithm provided can be interpreted as an “online” temporal data classifier in which the previous number of classes or chains is not known, the maximum number of classes or chains being derived from the configuration parameters. The number of classes and their localization can vary with each update. The algorithm is a recursive online algorithm in which only one measurement per class is stored in a training vector. The training vector is updated with the assigned points and predictions from a previous step. If the distance to the next point exceeds a threshold value, a new class is created; if the class was not assigned the new point in several predefined steps, it is removed from the training vector.

Gemäß einer bevorzugten Ausführungsform der Erfindung basiert die Zuordnung von einem Abtastpunkt m zu einer Kette n auf einer MxN-Konfusionsmatrix, wobei N die Anzahl der aktiven Ketten bei Schritt k und M die Anzahl der neuen Abtastpunkte ist, die der Kette zuzuordnen sind.According to a preferred embodiment of the invention, the assignment of a sampling point m to a chain n is based on an MxN confusion matrix, where N is the number of active chains in step k and M is the number of new sampling points to be assigned to the chain.

Nach einer weiteren bevorzugten Ausführungsform der Erfindung ist der Abstand ein radialer Abstand zwischen den Abtastpunkten.According to a further preferred embodiment of the invention, the distance is a radial distance between the scanning points.

Gemäß einer bevorzugten Ausführungsform der Erfindung ist die Punktwolke eine gefilterte Punktwolke, wobei ein Abtastpunkt mit einem bestimmten Konfidenzniveau als Abtastpunkt betrachtet wird, der von einer Bodenfläche vor dem Detektionssystem reflektiert wird.According to a preferred embodiment of the invention, the point cloud is a filtered point cloud, a sampling point with a certain confidence level being regarded as a sampling point which is reflected from a floor surface in front of the detection system.

Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung umfasst der Schritt der Speicherung der Kette zur weiteren Verarbeitung den Schritt der linearen Speicherung der Kette in einem Speicher einer Recheneinheit des Fahrzeugs.According to a further preferred embodiment of the invention, the step of storing the chain for further processing comprises the step of linearly storing the chain in a memory of a computing unit of the vehicle.

In einer bevorzugten Ausführungsform der Erfindung umfasst das Verfahren den Schritt des Bereitstellens der gespeicherten Kette zu einem Extraktionsalgorithmus für Straßenmerkmale.In a preferred embodiment of the invention, the method comprises the step of providing the stored chain to an extraction algorithm for road features.

Nach einer weiteren bevorzugten Ausführungsform der Erfindung ist das Detektionssystem ein LIDAR-System.According to a further preferred embodiment of the invention, the detection system is a LIDAR system.

Gemäß einer bevorzugten Ausführungsform der Erfindung wird der azimutale Winkel durch einen Winkel eines Spiegels des LIDAR-Systems und der Polarwinkel durch eine Laserdioden- oder eine Photodiodenposition des LIDAR-Systems in Bezug auf den Spiegel definiert.According to a preferred embodiment of the invention, the azimuthal angle is defined by an angle of a mirror of the LIDAR system and the polar angle is defined by a laser diode or a photodiode position of the LIDAR system in relation to the mirror.

Die vorliegende Erfindung sieht auch ein Fahrassistenzsystem zur Durchführung des vorstehend beschriebenen Verfahrens vor.The present invention also provides a driver assistance system for carrying out the method described above.

In einer bevorzugten Ausführungsform der Erfindung umfasst das Fahrassistenzsystem ein Detektionssystem.In a preferred embodiment of the invention, the driver assistance system comprises a detection system.

Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung umfasst das Detektionssystem ein LIDAR-System.According to a further preferred embodiment of the invention, the detection system comprises a LIDAR system.

Darüber hinaus stellt die vorliegende Erfindung ein Computerprogrammprodukt bereit, das Anweisungen enthält, die, wenn das Programm von einem Computer ausgeführt wird, bewirken, dass der Computer die Schritte des vorstehend beschriebenen Verfahrens ausführt.In addition, the present invention provides a computer program product containing instructions which, when the program is executed by a computer, cause the computer to carry out the steps of the method described above.

Diese und andere Aspekte der Erfindung werden anhand der nachfolgend beschriebenen Ausführungsformen ersichtlich und erläutert. Einzelne Merkmale, die in den Ausführungsformen offenbart sind, können allein oder in Kombination einen Aspekt der vorliegenden Erfindung darstellen. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden.These and other aspects of the invention will be apparent and explained with reference to the embodiments described below. Individual features that are disclosed in the embodiments can alone or in combination constitute an aspect of the present invention. Features of the various embodiments can be transferred from one embodiment to another embodiment.

In den Zeichnungen:

  • 1 zeigt verschiedene schematische Ansichten eines Detektionssystems gemäß einer Ausführungsform der Erfindung,
  • 2 zeigt verschiedene schematische Ansichten des Sichtfeldes eines Detektionssystems gemäß einer Ausführungsform der Erfindung,
  • 3 zeigt einen r-z Querschnitt des Detektionssystems mit verschiedenen Detektionssch ichten,
  • 4 zeigt ein schematisches Schema der Indexierung einer Punktwolke,
  • 5 zeigt eine schematische Ansicht des Sichtfeldes eines Detektionssystems mit Abtastpunkten, die von einer Bodenoberfläche gemäß einer Ausführungsform der Erfindung reflektiert werden,
  • 6 zeigt ein Beispiel für eine LIDAR-Punktwolke,
  • 7 zeigt ein Beispiel für eine Punktwolke, die von einer Bodenoberfläche erzeugt wird,
  • 8 zeigt verschiedene Szenarien, die zu einer Mehrfachechoerzeugung führen,
  • 9 zeigt ein Flussdiagramm, das ein Verfahren zum Umorganisieren von Abtastpunkten in einer Punktwolke veranschaulicht, die von einem Detektionssystem eines Fahrzeugs gemäß einer Ausführungsform der Erfindung erzeugt wird,
  • 10 zeigt die Ausgabe des Verfahrens zur Umorganisation von Abtastpunkten in einer Punktwolke gemäß einer Ausführungsform der Erfindung,
  • 11 zeigt verschiedene Beispiele für übereinstimmende Ketten, wenn das Verfahren zur Umorganisation von Abtastpunkten in einer Punktwolke gemäß einer Ausführungsform der Erfindung ausgeführt wird,
  • 12 zeigt ein Speicherlayout der Ketten innerhalb einer einzelnen Schicht gemäß einer Ausführungsform der Erfindung.
In the drawings:
  • 1 shows various schematic views of a detection system according to an embodiment of the invention,
  • 2 shows various schematic views of the field of view of a detection system according to an embodiment of the invention,
  • 3rd shows a rz cross section of the detection system with different detection layers,
  • 4th shows a schematic diagram of the indexing of a point cloud,
  • 5 shows a schematic view of the field of view of a detection system with scanning points reflected from a ground surface according to an embodiment of the invention;
  • 6th shows an example of a LIDAR point cloud,
  • 7th shows an example of a point cloud generated by a ground surface,
  • 8th shows different scenarios that lead to multiple echo generation,
  • 9 FIG. 13 shows a flow diagram illustrating a method for reorganizing sample points in a point cloud generated by a detection system of a vehicle according to an embodiment of the invention.
  • 10 shows the output of the method for reorganizing sample points in a point cloud according to an embodiment of the invention,
  • 11 shows various examples of matching chains when performing the method for reorganizing sample points in a point cloud according to an embodiment of the invention,
  • 12th Figure 12 shows a memory layout of the chains within a single layer according to an embodiment of the invention.

1 zeigt verschiedene schematische Ansichten eines Detektionssystems 1 gemäß einer Ausführungsform der Erfindung. In einer Ausführungsform der Erfindung kann beispielsweise die Verwendung eines LIDAR-Systems als Detektionssystem 1 vorgesehen werden. LIDAR (range detection and ranging) ist eine Vorrichtung, die die Entfernung zum Ziel unter Verwendung der Time of Flight (ToF)-Methode misst. Ein LIDAR-System 1 besteht aus vier Hauptdetektionskomponenten, einer Laserdiode 2, die Lichtimpulse aussendet, wobei der anfänglich kollimierte Laserstrahl defokussiert wird, um einen Strahl mit einem Divergenzwinkel ungleich Null zu erzeugen, einem Drehspiegel 4, der die Richtung definiert, in der die Detektion erfolgen soll, einer Fokussierlinse 7, die das reflektierte Licht auf den Photodetektor 8 projiziert und einer Gruppe von Photodetektoren, die das reflektierte Licht sammelt und in das elektrische Signal umwandelt. 1 shows various schematic views of a detection system 1 according to one embodiment of the invention. In one embodiment of the invention, for example, the use of a LIDAR system as a detection system 1 are provided. LIDAR (range detection and ranging) is a device that measures the distance to the target using the Time of Flight (ToF) method. A lidar system 1 consists of four main detection components, a laser diode 2 , which emits light pulses, the initially collimated laser beam being defocused to produce a beam with a non-zero angle of divergence, a rotating mirror 4th , which defines the direction in which the detection is to take place, a focusing lens 7th that the reflected light hit the photodetector 8th projected and a group of photodetectors that collects the reflected light and converts it into the electrical signal.

1 a) zeigt die Projektion von Laserlicht auf ein Objekt. Eine Laserdiode 2 emittiert Laserstrahlen, die von einem rotierenden Spiegel 4 auf das Objekt gerichtet werden. In 1 a) ist das projizierte Laserlicht 5 dargestellt. 1 a) shows the projection of laser light onto an object. A laser diode 2 emits laser beams by a rotating mirror 4th be aimed at the object. In 1 a) is the projected laser light 5 shown.

1 b) zeigt die Ausbreitung des reflektierten Lichts. Das Laserlicht wird vom Objekt reflektiert und mittels einer Fokussierlinse 7 auf einen Photodetektor 8 gerichtet. In 1 b) werden die Photodetektorkomponenten des LIDAR-Systems durch eine Anordnung von Photodetektoren 8 dargestellt, die parallel zur z-Achse ausgerichtet sind. Jeder Photodetektor 8 innerhalb der Anordnung der Photodetektoren sammelt das von einem vordefinierten Polarwinkel des Sensorkoordinatensystems reflektierte Licht und bildet die sogenannte Schicht 14 der Abtastpunkte 16. Der Photodetektor 8 kann eine Lawinenphotodiode oder ein APD sein. In 1 b) ist auch der Bereich 6 dargestellt, der durch einen der Photodetektoren 8 aus der Reihe der Photodetektoren abgedeckt ist. 1 b) shows the propagation of the reflected light. The laser light is reflected from the object and by means of a focusing lens 7th on a photodetector 8th directed. In 1 b) the photodetector components of the LIDAR system are made by an array of photodetectors 8th shown, which are aligned parallel to the z-axis. Any photodetector 8th within the arrangement of the photodetectors collects the light reflected from a predefined polar angle of the sensor coordinate system and forms the so-called layer 14th the sampling points 16 . The photodetector 8th can be an avalanche photodiode or an APD. In 1 b) is also the area 6th represented by one of the photodetectors 8th from the range of photodetectors is covered.

2 zeigt verschiedene schematische Ansichten des Sichtfeldes 9 eines Detektionssystems 1 gemäß einer Ausführungsform der Erfindung. 2 a) zeigt den x-y-Querschnitt eines Sichtfeldes 9 eines LIDAR-Systems. Die x-y-Abdeckung wird durch den Einsatz eines Drehspiegels 4 erreicht. Mit jedem Laserstoß ändert der Drehspiegel 4 seine Ausrichtung, die entsprechend der azimutalen Auflösung des LIDARs vordefiniert ist. In 2 b) ist die Richtung der Spiegeldrehung 10 und die resultierende Richtung des ausgestrahlten Lichts in Abhängigkeit von der Ausrichtung des Spiegels 4 dargestellt. 2 shows various schematic views of the field of view 9 a detection system 1 according to one embodiment of the invention. 2 a) shows the xy cross-section of a field of view 9 of a LIDAR system. The xy cover is made through the use of a rotating mirror 4th reached. The rotating mirror changes with each laser burst 4th its orientation, which is predefined according to the azimuthal resolution of the LIDAR. In 2 B) is the direction of mirror rotation 10 and the resulting direction of the emitted light depending on the orientation of the mirror 4th shown.

3. zeigt einen r-z Querschnitt eines LIDAR-Systems. Das LIDAR-System tastet eine Bodenoberfläche 11, z.B. nach Fahrbahnmarkierungen, ab. Das von einem vordefinierten Polarwinkel des Sensorkoordinatensystems reflektierte Licht definiert verschiedene Schichten 14. In 3 sind die Schichten 12, die keinen Abtastpunkt 16 von der Bodenoberfläche 11 erzeugen, sowie die Schichten 13, die einen Abtastpunkt von der Bodenoberfläche 11 erzeugen, dargestellt. 3rd . shows a rz cross section of a LIDAR system. The LIDAR system scans a floor surface 11 , e.g. after road markings. The light reflected from a predefined polar angle of the sensor coordinate system defines different layers 14th . In 3rd are the layers 12th that have no sampling point 16 from the soil surface 11 generate, as well as the layers 13th having a sampling point from the ground surface 11 generate, shown.

4 zeigt ein schematisches Schema der Indexierung einer Punktwolke. Mit einem 3D-Scanner wird ein Satz von Datenpunkten im dreidimensionalen Raum erzeugt, der als Punktwolke bezeichnet wird. Eine Punktwolke ist eine geometrische Datenstruktur. Jeder (Daten-)Punkt der Punktwolke entspricht einem physikalischen Punkt auf der Außenfläche eines Objekts in der Umgebung eines Fahrzeugs und umfasst typischerweise die Koordinaten X, Y und Z des physikalischen Punktes in einem dreidimensionalen kartesischen Koordinatensystem. Elektromagnetische Wellen, die vom physikalischen Punkt auf der Außenfläche reflektiert werden, werden als Echo bezeichnet, wobei elektromagnetische Wellen, die von einem Objekt unter dem gleichen azimutalen Winkel für einen vordefinierten Polarwinkel des sphärischen Koordinatensystems reflektiert werden, eine Salve 15 bilden. Jeder Echo- oder Abtastpunkt 16 innerhalb einer Punktwolke trägt die folgenden Indizes, einen Index der Salve 15, der dem Spiegelwinkel entspricht, einen Schichtindex 14 , der dem Polarwinkel der Photomultiplier-Sichtfeldachse entspricht, und einen Echoindex. Jeder Block in dem in 4 dargestellten Schema entspricht der Anordnung der Echos, die vom gleichen Photomultiplier erzeugt werden. 4th shows a schematic diagram of the indexing of a point cloud. A 3D scanner creates a set of data points in three-dimensional space called a point cloud. A point cloud is a geometric data structure. Each (data) point of the point cloud corresponds to a physical point on the Outer surface of an object in the vicinity of a vehicle and typically includes the coordinates X, Y and Z of the physical point in a three-dimensional Cartesian coordinate system. Electromagnetic waves reflected from the physical point on the outer surface are called echoes, where electromagnetic waves reflected from an object at the same azimuthal angle for a predefined polar angle of the spherical coordinate system are called a volley 15th form. Any echo or sample point 16 within a point cloud carries the following indices, an index of the volley 15th , which corresponds to the mirror angle, a layer index 14th which corresponds to the polar angle of the photomultiplier field of view axis, and an echo index. Each block in the in 4th The scheme shown corresponds to the arrangement of the echoes generated by the same photomultiplier.

5 zeigt eine schematische Darstellung des Sichtfeldes eines Detektionssystems 1 mit Abtastpunkten 16, die von einer Bodenoberfläche gemäß einer Ausführungsform der Erfindung reflektiert werden. In 5 ist der x-y Querschnitt eines Sichtfeldes eines LIDAR-Systems dargestellt. Darüber hinaus werden verschiedene Schichten 14 von Abtastpunkten 16 dargestellt, die von der Bodenoberfläche reflektiert werden. 5 shows a schematic representation of the field of view of a detection system 1 with sampling points 16 reflected from a floor surface according to an embodiment of the invention. In 5 the xy cross-section of a field of view of a LIDAR system is shown. In addition, there are different layers 14th of sampling points 16 reflected from the ground surface.

6 zeigt ein Beispiel für eine Punktwolke, die beim Scannen der dreidimensionalen Umgebung eines Fahrzeugs mit einem LIDAR-System erhalten wird. Im Allgemeinen sind Punktwolken nicht auf ein dreidimensionales Koordinatensystem beschränkt, sondern können von höherer oder niedrigerer Dimension sein. Das Beispiel einer LIDAR generierten Punktwolke in 6 wurde innerhalb eines Spiegelrotationszyklus 4 erhalten. In 6 ist das Echo von verschiedenen Schichten 14, wie in 5 beschrieben, zu sehen. 6th shows an example of a point cloud obtained when scanning the three-dimensional surroundings of a vehicle with a LIDAR system. In general, point clouds are not limited to a three-dimensional coordinate system, but can be of higher or lower dimension. The example of a LIDAR generated point cloud in 6th was within one mirror rotation cycle 4th receive. In 6th is the echo of different layers 14th , as in 5 described to see.

7 zeigt ein Beispiel für eine Punktwolke, die von einer Bodenoberfläche erzeugt wird. Die vertikalen Linien verbinden Echos, die zur gleichen Schicht 14 und Salve 15 gehören und vom gleichen Photomultiplier für den gleichen Laserstrahl erzeugt wurden. 7th shows an example of a point cloud generated from a ground surface. The vertical lines connect echoes that come to the same layer 14th and volley 15th and were generated by the same photomultiplier for the same laser beam.

Bemerkenswert ist, dass eine Trennspurmarkierung bis zu drei Echos erzeugen kann, z.B. bei x=200cm und y=3000-3500cm, während Scanpunkte 16 von durchgehenden Fahrbahnmarkierungen als weiteste oder zweite Echos erkannt werden können.It is noteworthy that a separation lane marking can generate up to three echoes, for example at x = 200cm and y = 3000-3500cm, during scan points 16 can be recognized by continuous lane markings as the furthest or second echoes.

8 zeigt verschiedene Szenarien, die zur Erzeugung von Mehrfachechos durch einen einzigen Photomultiplier führen. Laserstrahlen werden von einem LIDAR-System emittiert und an der Bodenoberfläche reflektiert, wobei in 8 Echos im gleichen Azimutwinkel dargestellt sind. Die in 8 a) bis c) dargestellten Punkte stellen Echos unterschiedlicher Ordnung, erster, zweiter und dritter, dar. In 8 a) ist eine vertikale durchgehende Fahrbahnmarkierung 17 dargestellt, wobei die durchgehende Fahrbahnmarkierung 17 als am weitesten entferntes oder zweites Echo erkannt werden kann. In 8 a) stellen die Kreise 18 Echos erster Ordnung und die soliden Punkte 19 Echos zweiter Ordnung dar. In 8 b) sind zwei vertikale Fahrbahnmarkierungen 17 und die Echos 18, 19 erster und zweiter Ordnung dargestellt. In 8 c) sind drei horizontale Fahrbahnmarkierungen 17 dargestellt, die Echos 18, 19 erster, zweiter und dritter Ordnung erzeugen. 8th shows different scenarios that lead to the generation of multiple echoes by a single photomultiplier. Laser beams are emitted by a LIDAR system and reflected on the surface of the ground, with in 8th Echoes are shown at the same azimuth angle. In the 8 a) to c ) represent echoes of different orders, first, second and third. In 8 a) is a vertical continuous road marking 17th shown, with the continuous lane marking 17th can be recognized as the most distant or second echo. In 8 a) make the circles 18th First order echoes and the solid points 19th Second order echoes. In 8 b) are two vertical road markings 17th and the echoes 18th , 19th first and second order shown. In 8 c) are three horizontal road markings 17th shown, the echoes 18th , 19th generate first, second and third order.

9 veranschaulicht den gesamten logischen Ablauf zur Durchführung des Verfahrens gemäß einer oder mehreren Ausführungsformen der Erfindung. Das Verfahren zum Umorganisieren von Abtastpunkten 16 in einer von einem Detektionssystem 1 eines Fahrzeugs erzeugten Punktwolke beginnt mit Schritt 100. In Schritt 100 wird eine ein Fahrzeug umgebende Szene mittels elektromagnetischer Wellen aus einem Detektionssystem 1 des Fahrzeugs gemessen und erzeugt mindestens einen Scan der Szene mit einer Vielzahl von Abtastpunkten 16, wobei die Gesamtheit aller Abtastpunkte 16 zusammen mit den zugehörigen Punktdaten des erzeugten Scans eine Punktwolke bildet. Elektromagnetische Wellen, die von einem Objekt innerhalb eines vordefinierten Polarwinkels eines kugelförmigen Koordinatensystems des Detektionssystems 1 reflektiert werden, bilden eine Schicht 14 von Abtastpunkten 16, wobei elektromagnetische Wellen, die von einem Objekt unter dem gleichen azimutalen Winkel für den vordefinierten Polarwinkel des kugelförmigen Koordinatensystems reflektiert werden, eine Salve 15 bilden. 9 illustrates the entire logical sequence for performing the method according to one or more embodiments of the invention. The method of reorganizing sample points 16 in one of a detection system 1 point cloud generated by a vehicle starts with step 100 . In step 100 becomes a scene surrounding a vehicle by means of electromagnetic waves from a detection system 1 of the vehicle is measured and generates at least one scan of the scene with a plurality of sampling points 16 , where the total of all sample points 16 forms a point cloud together with the associated point data of the generated scan. Electromagnetic waves emitted by an object within a predefined polar angle of a spherical coordinate system of the detection system 1 are reflected, form a layer 14th of sampling points 16 , wherein electromagnetic waves reflected from an object at the same azimuthal angle for the predefined polar angle of the spherical coordinate system, a salvo 15th form.

In Schritt 110 werden die Abtastpunkte 16 zu mindestens einer Kette 20 gruppiert, wobei die Gruppierung durch einen Abtastpunkt-zu-Kette-Zuordnungsalgorithmus erfolgt, wobei jede Kette 20 einen Startpunkt 26 und einen Endpunkt 28 aufweist, wobei die Anpassung durch den Algorithmus Salve für Salve ausgehend von der Salve 15 mit Index 0 erfolgt, wobei jede Kette 20 bis zu einem Abtastpunkt 16 pro Salve 15 aufnehmen kann.In step 110 become the sampling points 16 to at least one chain 20th grouped, the grouping being done by a sample-point-to-chain mapping algorithm, each chain 20th a starting point 26th and an endpoint 28 having, the adaptation by the algorithm volley by volley starting from the volley 15th with index 0, with each chain 20th up to a sampling point 16 per volley 15th can accommodate.

Wenn keine Kette 20 vorhanden ist, wird in Schritt 140 eine neue Kette 20 erstellt und der neuen Kette in Schritt 150 ein Abtastpunkt 16 aus der Salve mit dem Index 0 zugeordnet und der Abtastpunkt 16 als Startpunkt 26 in Schritt 160 markiert.If no chain 20th is present in step 140 a new chain 20th created and the new chain in step 150 a sampling point 16 assigned from the salvo with index 0 and the sampling point 16 as a starting point 26th in step 160 marked.

Wenn eine Kette 20 vorhanden ist, wird der Kette 20 in Schritt 170 ein Abtastpunkt 16 aus der Salve 15 zugeordnet, wobei die Zuordnung auf einem Abstand zwischen dem gegebenen Abtastpunkt 16 aus einem Schritt k und einem letzten Abtastpunkt 16 aus einem Schritt k-1 in der Kette 20 basiert, wobei der Kette 20 in Schritt 200 ein Abtastpunkt 16 zugeordnet wird, wenn der Abstand zwischen ihnen der niedrigste der Abtastpunkte 16 in der Salve 20 ist, und unterhalb eines vordefinierten Zuordnungsschwellenwerts 190 und das Verfahren mit Schritt 170 von vorne beginnt.If a chain 20th is present, the chain becomes 20th in step 170 a sampling point 16 from the volley 15th assigned, the assignment being based on a distance between the given sampling point 16 from a step k and a last sampling point 16 from a step k-1 in the chain 20th based, being the chain 20th in step 200 a sampling point 16 is assigned when the distance between them is the lowest of the sample points 16 in the volley 20th and below a predefined allocation threshold 190 and the method with step 170 starts all over again.

Überschreitet der Abstand den vorgegebenen Zuordnungsschwellenwert 180, wird in Schritt 210 die Kette 20 für den Abtastpunkt 16 übersprungen und der letzte Abtastpunkt 16 als Endpunkt 28 markiert.If the distance exceeds the predefined allocation threshold value 180 , will be in step 210 the chain 20th for the sampling point 16 skipped and the last sampling point 16 as an end point 28 marked.

In Schritt 220 wird die Kette 20 zur weiteren Verarbeitung gespeichert. In einer Ausführungsform der Erfindung wird die Kette 20 linear in einem Speicher gespeichert. Der Speicher kann beispielsweise der Speicher einer Recheneinheit des Fahrzeugs sein, wobei die Recheneinheit beispielsweise ein Fahrassistenzsystem sein kann, das die Ketten empfängt und zur weiteren Verarbeitung in einem Speicher speichert.In step 220 becomes the chain 20th saved for further processing. In one embodiment of the invention, the chain 20th linearly stored in a memory. The memory can be, for example, the memory of a computing unit of the vehicle, wherein the computing unit can be, for example, a driver assistance system that receives the chains and stores them in a memory for further processing.

10 veranschaulicht eine Ausgabe des Algorithmus gemäß einer Ausführungsform der Erfindung. Die Salve-Indizes sind auf der X-Achse in 10 dargestellt. Die Iterationsschritte k und k-1 des Verfahrens und vier erfasste Ketten 20 werden gezeigt. Beim Iterationsschritt k erhält der Algorithmus zwei Abtastpunkte als Eingabe und hat zwei aktive Ketten 20 aus dem Iterationsschritt k-1, denen diese beiden neuen Abtastpunkte 16 zugeordnet werden können, wenn die Abgleichskriterien erfüllt sind, oder erstellt eine neue Kette 20, wenn die Abgleichskriterien nicht erfüllt sind. Die allgemeine Idee ist bei jedem Iterationsschritt k, von jeder Klasse wird bei der Zuordnung der neuen Abtastpunkte 16 nur ein Abtastpunkt 16 (letzter Abtastpunkt in der Kette 20) berücksichtigt, wobei die Zuordnung basierend auf der MxN-Konfusionssmatrix erfolgt, wobei N die Anzahl der aktiven Ketten bei Schritt k und M die Anzahl der zuzuordnenden neuen Abtastpunkte 16 ist. Ein Abtastpunkt 16 wird einer Kette 20 nur dann zugeordnet, wenn der Abstand zwischen ihnen der niedrigste in der Reihe ist und unter dem Zuordnungsschwellenwert liegt. Um die Formen der Straßenmerkmale zu erhalten, können daher Ketten 20 von Abtastpunkten 16 von Algorithmen zur Extraktion von Straßenmerkmalen anstelle der Rohpunktwolke verwendet werden. 10 Fig. 10 illustrates an output of the algorithm according to an embodiment of the invention. The volley indices are on the X-axis in 10 shown. The iteration steps k and k-1 of the method and four detected chains 20th are shown. At iteration step k, the algorithm receives two sampling points as input and has two active chains 20th from iteration step k-1 to which these two new sampling points 16 can be assigned if the matching criteria are met, or a new chain is created 20th if the matching criteria are not met. The general idea is for each iteration step k, of each class, is used when assigning the new sampling points 16 only one sampling point 16 (last sampling point in the chain 20th ) is taken into account, the assignment being based on the MxN confusion matrix, where N is the number of active chains in step k and M is the number of new sampling points to be assigned 16 is. One sampling point 16 becomes a chain 20th allocated only if the distance between them is the lowest in the series and is below the allocation threshold. Chains can therefore be used to maintain the shapes of the road features 20th of sampling points 16 algorithms used to extract road features instead of the raw point cloud.

11 zeigt verschiedene Beispiele für übereinstimmende Ketten 20, wenn das Verfahren zur Umorganisation von Abtastpunkten 16 in einer Punktwolke gemäß einer Ausführungsform der Erfindung ausgeführt wird. Die durchgezogenen Linien in 11 a) bis d) stellen die erzeugten Ketten 20 dar, gestrichelte Linien 21 zeigen Salven 15 mit mehreren Abtastpunkten 16, wobei mehr als ein Echo pro Photomultiplier aufgezeichnet wird. 11 a) und b) zeigt die Initialisierung einer neuen Kette 20 aufgrund des Vorhandenseins von zweiten Echos 19. 11 c) zeigt eine kontinuierliche Kette mit Rauschabtastpunkten, die der „eigenständigen“ Kette zugeordnet sind. Dieser Fall kann z.B. bei den Schichten 14 mit einem hohen Anteil an elektronischem Rauschen auftreten. In 11 d) und e) ist der Abschluss einer Kette 20 dargestellt. 11 shows different examples of matching chains 20th when the procedure for reorganizing sample points 16 is carried out in a point cloud according to an embodiment of the invention. The solid lines in 11 a) to d ) represent the generated chains 20th represent, dashed lines 21 show volleys 15th with multiple sampling points 16 , with more than one echo recorded per photomultiplier. 11 a) and b) shows the initialization of a new chain 20th due to the presence of second echoes 19th . 11 c) shows a continuous chain with noise sample points assigned to the "stand-alone" chain. This can be the case with shifts 14th occur with a high level of electronic noise. In 11 d) and e) is the end of a chain 20th shown.

12 zeigt ein Kettenspeicherlayout innerhalb einer einzelnen Schicht. Nachdem eine ganze Schicht 14 mit dem Algorithmus erfindungsgemäß verarbeitet wurde und die Abtastpunkte 16 den entsprechenden Ketten 20 zugeordnet sind, werden die Ketten 20 linear in einem Speicher abgelegt. Der Speicher kann beispielsweise der Speicher einer Recheneinheit des Fahrzeugs sein, wobei die Recheneinheit beispielsweise ein Fahrassistenzsystem sein kann, das die Ketten 20 empfängt und zur weiteren Verarbeitung in einem Speicher speichert. Mit diesem Layout wird eine Mehrdeutigkeit von Mehrfachechos zu möglichen Merkmalen aufgelöst und Merkmalsextraktionsalgorithmen können bei der Weiterverarbeitung der Abtastpunkte 16 alle verfügbaren Abtastpunkte 16 berücksichtigen. 12th Figure 3 shows a chain store layout within a single layer. After a whole shift 14th was processed with the algorithm according to the invention and the sampling points 16 the corresponding chains 20th are assigned to the chains 20th stored linearly in a memory. The memory can be, for example, the memory of a computing unit of the vehicle, wherein the computing unit can be, for example, a driver assistance system that includes the chains 20th receives and stores for further processing in a memory. With this layout, an ambiguity between multiple echoes and possible features is resolved and feature extraction algorithms can be used in the further processing of the sampling points 16 all available sample points 16 consider.

BezugszeichenlisteList of reference symbols

11
DetektionssystemDetection system
22
LaserdiodeLaser diode
33
LaserstrahlabweichungLaser beam deviation
44th
drehbarer Spiegelrotating mirror
55
projiziertes Laserlichtprojected laser light
66th
Bereiche, die durch den Photodetektor abgedeckt sindAreas covered by the photodetector
77th
Fokussierendes ObjektivFocusing lens
88th
PhotodetektorPhotodetector
99
SichtfeldField of view
1010
Drehrichtung des SpiegelsDirection of rotation of the mirror
1111
BodenoberflächeSoil surface
1212th
Schichten, die keine Scanpunkte von der Straße erzeugenLayers that do not generate scan points from the road
1313th
Layer, die Scan-Punkte von der Straße erzeugenLayers that generate scan points from the road
1414th
Schichtlayer
1515th
Salvevolley
1616
AbtastpunktSampling point
1717th
FahrbahnmarkierungenRoad markings
1818th
Abtastpunkt mit dem weitesten EchoSampling point with the furthest echo
1919th
Abtastpunkt mit zweitem EchoSampling point with second echo
2020th
KetteChain
2121
Salve mit mehreren AbtastpunktenSalvo with multiple sampling points
2626th
Start AbtastpunktStart sampling point
2727
verbindende Abtastpunkteconnecting sampling points
2828
End AbtastpunktEnd sampling point
100100
Messen einer SzeneMeasure a scene
110110
Gruppierung der AbtastpunkteGrouping of the sampling points
120120
wenn keine Kette existiertwhen there is no chain
130130
wenn eine Kette existiertwhen a chain exists
140140
Erstellen einer KetteCreate a chain
150150
Zuordnen eines Abtastpunktes zur KetteAssigning a sampling point to the chain
160160
Markieren des Abtastpunktes als StartMark the sampling point as the start
170170
Zuordnung des Abtastpunktes zur KetteAssignment of the scanning point to the chain
180180
Entfernung überschreitet den vorgegebenen ZuordnungsschwellenwertDistance exceeds the predefined allocation threshold
190190
Abstand liegt unter einem vordefinierten ZuordnungsschwellenwertDistance is below a predefined allocation threshold
200200
Zuordnung von Abtastpunkt zu Kette, wenn der Abstand unter einem vordefinierten Zuordnungsschwellenwert liegtAssignment of sampling point to chain if the distance is below a predefined assignment threshold
210210
die Kette überspringen und den letzten Punkt als Endpunkt markierenskip the chain and mark the last point as the end point
220220
Speichern der KetteSave the chain

Claims (12)

Verfahren zum Umorganisieren von Abtastpunkten (16) in einer von einem Detektionssystem (1) eines Fahrzeugs erzeugten Punktwolke, umfassend die folgenden Schritte: - Messen einer Szene mittels elektromagnetischer Wellen aus einem Detektionssystem (1) eines Fahrzeugs und Erzeugen mindestens einer Abtastung der Szene mit einer Vielzahl von Abtastpunkten (16), wobei die Gesamtheit aller Abtastpunkte (16) zusammen mit den zugehörigen Punktdaten der erzeugten Abtastung eine Punktwolke bildet, wobei elektromagnetische Wellen, die von einem Objekt innerhalb eines vorbestimmten Polarwinkels eines kugelförmigen Koordinatensystems des Detektionssystems (1) reflektiert werden, eine Schicht (14) von Abtastpunkten (16) bilden, wobei elektromagnetische Wellen, die von einem Objekt unter dem gleichen azimutalen Winkel für den vorbestimmten Polarwinkel des kugelförmigen Koordinatensystems reflektiert werden, eine Salve (15) bilden, - Gruppieren der Abtastpunkte (16) zu mindestens einer Kette (20), wobei die Gruppierung durch einen Abtastpunkt-zu-Kette-Zuordnungsalgorithmus erfolgt, wobei jede Kette (20) einen Startpunkt (26) und einen Endpunkt (28) aufweist, wobei die Anpassung durch den Algorithmus Salve (15) für Salve (15) ausgehend von der Salve (15) mit Index 0 erfolgt, wobei jede Kette (20) bis zu einem Abtastpunkt (16) pro Salve (15) aufnehmen kann, - wenn keine Kette (20) vorhanden ist, Anlegen einer neuen Kette (20) und Zuordnen eines Abtastpunktes (16) von der Salve (15) mit Index 0 zu der neuen Kette (20) und Markieren des Abtastpunktes (16) als Startpunkt (26), - wenn eine Kette (20) vorhanden ist, Zuordnen eines Abtastpunkts (16) von der Salve (15) zu der Kette (20), wobei die Zuordnung auf einem Abstand zwischen dem gegebenen Abtastpunkt (16) von einem Schritt k und einem letzten Abtastpunkt (16) von einem Schritt k-1 in der Kette (20) basiert, wobei der Kette (20) ein Abtastpunkt (16) zugeordnet wird, wenn der Abstand zwischen ihnen der niedrigste der Abtastpunkte (20) in der Salve (15) ist, und unterhalb eines vordefinierten Zuordnungsschwellenwerts ist, - Überspringen der Kette (20) für den Abtastpunkt (16), wenn der Abstand den vorgegebenen Zuordnungsschwellenwert überschreitet, und Markieren des letzten Abtastpunktes (20) als Endpunkt (28), - Speichern der Kette (20) zur weiteren Verarbeitung.Method for reorganizing scanning points (16) in a point cloud generated by a detection system (1) of a vehicle, comprising the following steps: - Measuring a scene by means of electromagnetic waves from a detection system (1) of a vehicle and generating at least one scan of the scene with a plurality of scan points (16), the entirety of all scan points (16) forming a point cloud together with the associated point data of the scan generated , wherein electromagnetic waves that are reflected by an object within a predetermined polar angle of a spherical coordinate system of the detection system (1) form a layer (14) of scanning points (16), wherein electromagnetic waves that are reflected by an object at the same azimuthal angle for the predetermined polar angle of the spherical coordinate system are reflected, form a volley (15), - Grouping of the sampling points (16) to form at least one chain (20), the grouping being carried out by a sampling point-to-chain assignment algorithm, each chain (20) having a starting point (26) and an end point (28), the Adaptation by the algorithm salvo (15) for salvo (15) is carried out starting from the salvo (15) with index 0, whereby each chain (20) can record up to one sampling point (16) per salvo (15), - If there is no chain (20), create a new chain (20) and assign a scanning point (16) from the volley (15) with index 0 to the new chain (20) and mark the scanning point (16) as the starting point ( 26), - If a chain (20) is present, assigning a scanning point (16) from the volley (15) to the chain (20), the assignment being based on a distance between the given scanning point (16) of a step k and a last scanning point (16) is based on a step k-1 in the chain (20), the chain (20) being assigned a sampling point (16) if the distance between them is the lowest of the sampling points (20) in the volley (15) , and is below a predefined allocation threshold, - Skipping the chain (20) for the scanning point (16) if the distance exceeds the predefined allocation threshold value, and marking the last scanning point (20) as the end point (28), - Saving the chain (20) for further processing. Verfahren nach Anspruch 1, wobei die Zuordnung von einem Abtastpunkt (16) zu einer Kette (20) auf einer MxN-Konfusionsmatrix basiert, wobei N die Anzahl der aktiven Ketten (20) bei Schritt k ist und M die Anzahl der neuen Abtastpunkte (16) ist, die der Kette zuzuordnen sind.Procedure according to Claim 1 wherein the assignment of a sample point (16) to a chain (20) is based on an MxN confusion matrix, where N is the number of active chains (20) at step k and M is the number of new sample points (16) that are to be assigned to the chain. Verfahren nach einem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der Abstand ein radialer Abstand zwischen den Abtastpunkten (16) ist.Method according to one of the preceding claims, characterized in that the distance is a radial distance between the scanning points (16). Verfahren nach einem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Punktwolke eine gefilterte Punktwolke ist, wobei ein Abtastpunkt (16) mit einem bestimmten Konfidenzniveau als Abtastpunkt (16) betrachtet wird, der von einer Bodenoberfläche (11) vor dem Detektionssystem (1) reflektiert wird.Method according to one of the preceding claims, characterized in that the point cloud is a filtered point cloud, a sampling point (16) being considered with a certain confidence level as a sampling point (16) which is reflected from a ground surface (11) in front of the detection system (1) . Verfahren nach einem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der Schritt des Speicherns der Kette (20) zur weiteren Verarbeitung den Schritt des linearen Speicherns der Kette (20) in einem Speicher einer Recheneinheit des Fahrzeugs umfasst.Method according to one of the preceding claims, characterized in that the step of storing the chain (20) for further processing comprises the step of linearly storing the chain (20) in a memory of a computer unit of the vehicle. Verfahren nach einem vorhergehenden Anspruch, wobei das Verfahren den Schritt des Bereitstellens der gespeicherten Kette (20) zu einem Extraktionsalgorithmus für Straßenmerkmale umfasst.A method according to any preceding claim, wherein the method comprises the step of providing the stored chain (20) to a road feature extraction algorithm. Verfahren nach einem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das Detektionssystem (1) ein LIDAR-System ist.Method according to one of the preceding claims, characterized in that the detection system (1) is a LIDAR system. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der azimutale Winkel durch einen Winkel eines Spiegels des LIDAR-Systems und der Polarwinkel durch eine Laserdioden- (2) oder eine Photodiodenposition (8) des LIDAR-Systems in Bezug auf den Spiegel (4) definiert ist.Procedure according to Claim 7 , characterized in that the azimuthal angle is defined by an angle of a mirror of the LIDAR system and the polar angle by a laser diode (2) or a photodiode position (8) of the LIDAR system in relation to the mirror (4). Fahrassistenzsystem zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8.Driver assistance system for performing the method according to one of the Claims 1 to 8th . Fahrassistenzsystem nach Anspruch 9, dadurch gekennzeichnet, dass das Fahrassistenzsystem ein Detektionssystem umfasst.Driver assistance system according to Claim 9 , characterized in that the driver assistance system comprises a detection system. Fahrassistenzsystem nach Anspruch 10, dadurch gekennzeichnet, dass das Detektionssystem ein LIDAR-System umfasst.Driver assistance system according to Claim 10 , characterized in that the detection system comprises a LIDAR system. Computerprogrammprodukt, umfassend Anweisungen, die, wenn das Programm von einem Computer ausgeführt wird, bewirken, dass der Computer die Schritte des Verfahrens nach den Ansprüchen 1 bis 8 ausführt.Computer program product, comprising instructions which, when the program is executed by a computer, cause the computer to carry out the steps of the method according to the Claims 1 to 8th executes.
DE102019132973.6A 2019-12-04 2019-12-04 Method for reorganizing sampling points in a point cloud generated by a detection system of a vehicle Pending DE102019132973A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019132973.6A DE102019132973A1 (en) 2019-12-04 2019-12-04 Method for reorganizing sampling points in a point cloud generated by a detection system of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019132973.6A DE102019132973A1 (en) 2019-12-04 2019-12-04 Method for reorganizing sampling points in a point cloud generated by a detection system of a vehicle

Publications (1)

Publication Number Publication Date
DE102019132973A1 true DE102019132973A1 (en) 2021-06-10

Family

ID=75962426

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019132973.6A Pending DE102019132973A1 (en) 2019-12-04 2019-12-04 Method for reorganizing sampling points in a point cloud generated by a detection system of a vehicle

Country Status (1)

Country Link
DE (1) DE102019132973A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023046617A1 (en) * 2021-09-21 2023-03-30 Valeo Schalter Und Sensoren Gmbh Road lane delimiter classification
CN116246121A (en) * 2023-05-12 2023-06-09 山东科技大学 Point cloud data processing method based on improved furthest point sampling

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023046617A1 (en) * 2021-09-21 2023-03-30 Valeo Schalter Und Sensoren Gmbh Road lane delimiter classification
CN116246121A (en) * 2023-05-12 2023-06-09 山东科技大学 Point cloud data processing method based on improved furthest point sampling
CN116246121B (en) * 2023-05-12 2023-08-11 山东科技大学 Point cloud data processing method based on improved furthest point sampling

Similar Documents

Publication Publication Date Title
EP1405100A1 (en) Method for correcting data of several opto-electronic sensors
EP1531343B1 (en) Method for tracking objects
DE102011017540B4 (en) Method and device for detecting the presence of objects
DE102009009047A1 (en) Method for object detection
DE102011117585A1 (en) Systems and methods for tracking objects
DE10258794A1 (en) Detecting/tracking objects, e.g. before vehicles, involves using object profile from image points to predict contours for objects in preceding cycle starting from respective profile in preceding cycle
DE102018120405A1 (en) FUSION OF RADAR AND IMAGE SENSORS
DE102011111440A1 (en) Method for representation of environment of vehicle, involves forming segments of same width from image points of equal distance in one of image planes, and modeling objects present outside free space in environment
DE102019215903A1 (en) Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular of a vehicle, method for training and method for actuation
DE102019132973A1 (en) Method for reorganizing sampling points in a point cloud generated by a detection system of a vehicle
DE102021002798A1 (en) Process for camera-based environment detection
EP1298012B1 (en) Method for recognizing and tracking objects
DE102019127283A1 (en) System and method for detecting an object in a three-dimensional environment of a carrier vehicle
DE112019007921T5 (en) Object recognition device and object recognition method
EP3663881A1 (en) Method for controlling an autonomous vehicle on the basis of estimated movement vectors
DE102015110649B4 (en) Method for detecting topographic properties of a surface and device for this purpose
DE102020127315B4 (en) System and method for annotating automotive radar data
DE102021208627B4 (en) Method and processor circuit for operating a radar system with multiple antennas and radar system and motor vehicle
DE102019201892A1 (en) Method for detecting movement of an object
EP3531167A1 (en) Method and device for optically measuring distances
EP3663800B1 (en) Method for detecting objects using a 3d camera
DE102020208080A1 (en) Detection of objects in images under equivariance or invariance with respect to the object size
EP3885787A1 (en) Detection of distance measurement data
DE102019216195A1 (en) Device and method for determining a spatial position and orientation
DE102006051091B4 (en) Method for object recognition in vehicles by means of close-range detection

Legal Events

Date Code Title Description
R163 Identified publications notified