DE102021205750A1 - Method and device for determining a range of a sensor - Google Patents

Method and device for determining a range of a sensor Download PDF

Info

Publication number
DE102021205750A1
DE102021205750A1 DE102021205750.0A DE102021205750A DE102021205750A1 DE 102021205750 A1 DE102021205750 A1 DE 102021205750A1 DE 102021205750 A DE102021205750 A DE 102021205750A DE 102021205750 A1 DE102021205750 A1 DE 102021205750A1
Authority
DE
Germany
Prior art keywords
sensor
point cloud
training
points
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021205750.0A
Other languages
German (de)
Inventor
Gabriela Samagaio
Joao Andrade
Carl Mueller-Roemer
Sebastien Lemetter
Juan Carlos Garza Fernandez
Farooq Ahmed Zuberi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102021205750.0A priority Critical patent/DE102021205750A1/en
Priority to PCT/EP2022/064843 priority patent/WO2022258444A1/en
Publication of DE102021205750A1 publication Critical patent/DE102021205750A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/53—Means for transforming coordinates or for evaluating data, e.g. using computers

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Ermitteln einer Reichweite eines Sensors. Das Verfahren umfasst die Schritte: Verwenden (100) einer ein Umfeld eines Sensors (10) repräsentierenden aktuellen 3D-Punktwolke, Extrahieren (200) wenigstens eines Merkmalsvektors aus der 3D-Punktwolke, wobei das dem Merkmalsvektor jeweils zugrundeliegende Merkmal mit einer aktuellen Reichweite (5) des Sensors (10) im Zusammenhang steht und Ermitteln (300) einer aktuellen Reichweite (5) des Sensors (10) auf Basis eines Regressionsverfahrens, indem der wenigstens eine Merkmalsvektor als Einflussgröße in ein Regressionsmodell (20) eingegeben wird und die aktuelle Reichweite (5) als Zielgröße aus dem Regressionsmodell (20) entnommen wird, wobei das Regressionsmodell (20) zuvor auf Basis eines Trainingsdatensatzes angepasst (trainiert) wurde, welcher eine Vielzahl vordefinierter Trainings-Merkmalsvektoren sowie die jeweils zugehörigen Trainings-Reichweiten aufweist, wobei die Trainings-Merkmalsvektoren zumindest teilweise unterschiedliche Reichweiten repräsentieren.The present invention relates to a method and a device for determining a range of a sensor. The method comprises the steps: using (100) a current 3D point cloud representing an area surrounding a sensor (10), extracting (200) at least one feature vector from the 3D point cloud, the feature on which the feature vector is based in each case having a current range (5th ) of the sensor (10) and determining (300) a current range (5) of the sensor (10) on the basis of a regression method, in that the at least one feature vector is entered into a regression model (20) as an influencing variable and the current range ( 5) is taken from the regression model (20) as a target variable, the regression model (20) having been adapted (trained) beforehand on the basis of a training data set which has a large number of predefined training feature vectors and the respectively associated training ranges, the training Feature vectors at least partially represent different ranges.

Description

Stand der TechnikState of the art

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Ermitteln einer Reichweite eines Sensors, insbesondere eines Lidar-Sensors.The present invention relates to a method and a device for determining a range of a sensor, in particular a lidar sensor.

Aus dem Stand der Technik sind Umfelderkennungssysteme bekannt, die beispielsweise in Fortbewegungsmitteln eingesetzt werden, welche auf Basis eines oder mehrerer Sensoren eingerichtet sind, ein aktuelles Umfeld zu erfassen und zu analysieren. Ein Ergebnis dieser Analyse wird beispielsweise in Hinweis- und/oder Warnsystemen solcher Fortbewegungsmittel und/oder in Systemen für einen autonomen und/oder teilautonomen Fahrbetrieb usw. verwendet.Environment recognition systems are known from the prior art, which are used, for example, in means of locomotion, which are set up on the basis of one or more sensors to record and analyze a current environment. A result of this analysis is used, for example, in notification and/or warning systems of such means of transportation and/or in systems for autonomous and/or semi-autonomous driving, etc.

Als Sensoren solcher Umfelderkennungssysteme werden beispielsweise Lidar- und/oder Radar- und/oder Ultraschallsensoren und/oder Kameras und/oder Stereokameras eingesetzt. Es ist weiterhin bekannt, aus jeweiligen Messsignalen der Sensoren eine 3D-Punktwolke zu erzeugen, welche Reflexionen von Messsignalen (z. B. Lasersignalen) im Umfeld des Sensors repräsentieren.For example, lidar and/or radar and/or ultrasonic sensors and/or cameras and/or stereo cameras are used as sensors of such environment recognition systems. It is also known to generate a 3D point cloud from the respective measurement signals of the sensors, which represent reflections of measurement signals (e.g. laser signals) in the area surrounding the sensor.

Es ist außerdem bekannt, jeweilige Punkte der 3D-Punktwolke mittels geeigneter Verfahren für eine nachgelagerte Verarbeitung in Bodenpunkte und Objektpunkte zu klassifizieren.It is also known to classify respective points of the 3D point cloud into ground points and object points by means of suitable methods for subsequent processing.

US2016154999 A1 offenbart ein Verfahren zum Erhalten einer 3D-Punktwolke bezüglich eines Objektes von Interesse, wobei zunächst mittels eines unüberwachten Segmentierungsverfahrens Bodenpunkte und/oder Objektpunkte aus der 3D-Punktwolke entfernt werden, um anschließend mittels eines überwachten Segmentierungsverfahrens vertikale Objekte zu identifizieren. US2016154999 A1 discloses a method for obtaining a 3D point cloud relating to an object of interest, wherein first ground points and/or object points are removed from the 3D point cloud using an unsupervised segmentation method, in order to then identify vertical objects using a supervised segmentation method.

US9360554 B2 offenbart ein Verfahren und eine Vorrichtung zur Objekterkennung auf Basis eines Lidar-Arrays, welches u. a. eine Information über Reflexionseigenschaften beleuchteter Ziele bereitstellt. US9360554B2 discloses a method and a device for object recognition based on a lidar array, which, among other things, provides information about the reflection properties of illuminated targets.

Offenbarung der ErfindungDisclosure of Invention

Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Ermitteln einer Reichweite eines Sensors vorgeschlagen.According to a first aspect of the present invention, a method for determining a range of a sensor is proposed.

In einem ersten Schritt des erfindungsgemäßen Verfahrens wird eine ein Umfeld eines Sensors repräsentierende aktuelle 3D-Punktwolke beispielsweise durch eine erfindungsgemäße Auswerteeinheit verwendet, welche eingerichtet ist, die erfindungsgemäßen Verfahrensschritte (z. B. mittels eines Computerprogramms) auszuführen. Die 3D-Punktwolke wird vorzugsweise durch eine Verarbeitungseinheit des Sensors (z. B. ein ASIC usw.) erzeugt, wobei ein Erzeugen der 3D-Punktwolke alternativ oder zusätzlich durch die erfindungsgemäße Auswerteeinheit und/oder eine davon abweichende Verarbeitungseinheit möglich ist. Der Sensor ist grundsätzlich nicht auf eine bestimmte Sensorgattung bzw. Sensortechnologie beschränkt, solange auf Basis des Sensors eine das Umfeld des Sensors repräsentierende 3D-Punktwolke mit einer erforderlichen örtlichen Auflösung erzeugbar ist. Vorteilhaft ist der Sensor ein Sensor eines Fahrzeugs, insbesondere eines Straßenfahrzeugs wie eines PKW oder eines LKW, ohne dadurch auf ein solches Einsatzgebiet eingeschränkt zu sein.In a first step of the method according to the invention, a current 3D point cloud representing the surroundings of a sensor is used, for example, by an evaluation unit according to the invention, which is set up to execute the method steps according to the invention (e.g. using a computer program). The 3D point cloud is preferably generated by a processing unit of the sensor (e.g. an ASIC, etc.), it being alternatively or additionally possible to generate the 3D point cloud by the evaluation unit according to the invention and/or a different processing unit. In principle, the sensor is not limited to a specific type of sensor or sensor technology, as long as a 3D point cloud representing the surroundings of the sensor can be generated with a required local resolution on the basis of the sensor. The sensor is advantageously a sensor of a vehicle, in particular a road vehicle such as a car or a truck, without being restricted to such an area of use.

In einem zweiten Schritt des erfindungsgemäßen Verfahrens wird, vorzugsweise mittels der erfindungsgemäßen Auswerteeinheit, wenigstens ein Merkmalsvektor aus der 3D-Punktwolke extrahiert, wobei das dem Merkmalsvektor jeweils zugrundeliegende Merkmal mit einer aktuellen Reichweite des Sensors im Zusammenhang steht. Es sei darauf hingewiesen, dass eine Anzahl von Elementen, aus welchen sich ein jeweiliger Merkmalsvektor zusammensetzt, nicht auf eine bestimmte Anzahl beschränkt ist. Bei einer Verwendung mehrerer Merkmalsvektoren ist es zudem möglich, dass die Anzahl von Elementen pro Merkmalsvektor voneinander abweicht.In a second step of the method according to the invention, at least one feature vector is extracted from the 3D point cloud, preferably using the evaluation unit according to the invention, the feature on which the feature vector is based in each case being related to a current range of the sensor. It should be pointed out that a number of elements from which a respective feature vector is composed is not limited to a specific number. If several feature vectors are used, it is also possible that the number of elements per feature vector differs from one another.

In einem dritten Schritt des erfindungsgemäßen Verfahrens wird eine aktuelle Reichweite des Sensors auf Basis eines Regressionsverfahrens (z. B. ein lineares oder nichtlineares Regressionsverfahren) ermittelt, indem der wenigstens eine Merkmalsvektor als Einflussgröße in ein Regressionsmodell eingegeben wird und die aktuelle Reichweite als Zielgröße aus dem Regressionsmodell entnommen wird, wobei das Regressionsmodell zuvor auf Basis eines Trainingsdatensatzes angepasst bzw. trainiert wurde, welcher eine Vielzahl vordefinierter Trainings-Merkmalsvektoren sowie die jeweils zugehörigen Trainings-Reichweiten aufweist, wobei die Trainings-Merkmalsvektoren zumindest teilweise unterschiedliche Reichweiten repräsentieren.In a third step of the method according to the invention, a current range of the sensor is determined on the basis of a regression method (e.g. a linear or non-linear regression method) by entering the at least one feature vector as an influencing variable in a regression model and the current range as a target variable from the Regression model is taken, wherein the regression model was previously adapted or trained on the basis of a training data set, which has a large number of predefined training feature vectors and the respectively associated training ranges, the training feature vectors at least partially representing different ranges.

Die auf Basis des vorstehend beschriebenen Verfahrens gewonnene Information über die aktuelle Reichweite des Sensors wird beispielsweise an ein nachgelagertes Umfelderkennungssystem und/oder an ein Hinweissystem (z. B. eines Fahrzeugs) übertragen, so dass diese in geeigneter Weise reagieren können, falls sich eine aktuelle Reichweite des Sensors verändert. Eine Reaktion wie ein Warnhinweis an einen Benutzer oder ein automatischer Eingriff in ein den Sensor umfassendes System kann beispielsweise dann erfolgen, wenn die aktuelle Reichweite um einen vordefinierten Faktor von einer maximalen Reichweite des Sensors abweicht. Eine solche Reichweitenverschlechterung kann beispielsweise durch Regen und/oder Nebel und/oder Rauch im Umfeld und/oder durch Verschmutzungen an einer Umfeldschnittstelle (z. B. ein Schutzglas) des Sensors usw. hervorgerufen werden.The information obtained on the basis of the method described above about the current range of the sensor is transmitted, for example, to a downstream environment detection system and/or to an information system (e.g. of a vehicle), so that they can react appropriately if a current Sensor range changed. A reaction such as a warning to a user or an automatic intervention in a system that includes the sensor can take place, for example, if the current range deviates from a maximum range of the sensor by a predefined factor. Such a reduction in range can be caused, for example, by rain and/or fog and/or smoke in the area and/or by dirt on an area interface (e.g. a protective glass) of the sensor, etc.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The dependent claims show preferred developments of the invention.

In einer vorteilhaften Ausgestaltung der vorliegenden Erfindung ist der Merkmalsvektor ein erster Merkmalsvektor und es wird wenigstens ein zweiter Merkmalsvektor aus der 3D-Punktwolke extrahiert, wobei der zweite Merkmalsvektor ein vom ersten Merkmalsvektor abweichendes Merkmal repräsentiert. Darüber hinaus erfolgt das Ermitteln der aktuellen Reichweite des Sensors mittels des Regressionsverfahrens wenigstens auf Basis des ersten Merkmalsvektors und des zweiten Merkmalsvektors als jeweilige Einflussgrößen, wobei das Regressionsmodell zuvor auf Basis eines Trainingsdatensatzes angepasst bzw. trainiert wurde, welcher wenigstens eine Vielzahl vordefinierter erster Trainings-Merkmalsvektoren und eine Vielzahl vordefinierter zweiter Trainings-Merkmalsvektoren sowie die jeweils zugehörigen Trainings-Reichweiten aufweist und wobei die ersten Trainings-Merkmalsvektoren und die zweiten Trainings-Merkmalsvektoren jeweils zumindest teilweise unterschiedliche Reichweiten repräsentieren. Vorteilhaft werden darüber hinaus jeweils voneinander abweichende dritte Merkmalsvektoren, ggf. vierte Merkmalsvektoren und ggf. weitere Merkmalsvektoren zum Ermitteln der aktuellen Reichweite auf Basis eines solchermaßen angepassten bzw. trainierten Regressionsmodells verwendet. Eine Verwendung einer größeren Anzahl voneinander abweichender Merkmalsvektoren trägt unter Umständen zu einer zuverlässigeren Ermittlung der aktuellen Reichweite bei, da unterschiedliche Merkmale der 3D-Punktwolke in Abhängigkeit jeweils vorliegender Umweltbedingungen für das Ermitteln der aktuellen Reichweite unterschiedlich gut geeignet sein können.In an advantageous embodiment of the present invention, the feature vector is a first feature vector and at least one second feature vector is extracted from the 3D point cloud, the second feature vector representing a feature that differs from the first feature vector. In addition, the current range of the sensor is determined by means of the regression method at least on the basis of the first feature vector and the second feature vector as the respective influencing variables, with the regression model having been previously adapted or trained on the basis of a training data set which has at least a large number of predefined first training feature vectors and has a multiplicity of predefined second training feature vectors and the respective associated training ranges, and wherein the first training feature vectors and the second training feature vectors each at least partially represent different ranges. Furthermore, mutually deviating third feature vectors, possibly fourth feature vectors and possibly further feature vectors are advantageously used to determine the current range on the basis of a regression model adapted or trained in this way. Using a larger number of feature vectors that deviate from one another may contribute to a more reliable determination of the current range, since different features of the 3D point cloud can be differently well suited for determining the current range, depending on the environmental conditions that are present at the time.

Vorzugsweise basiert das Regressionsverfahren auf einem maschinellen Lernverfahren, welches insbesondere einen Support-Vector-Machine-Algorithmus und/oder einen Random-Forest-Algorithmus und/oder einen Deep-Learning-Algorithmus und/oder einen davon abweichenden Algorithmus für ein maschinelles Lernverfahren aufweist.The regression method is preferably based on a machine learning method, which in particular has a support vector machine algorithm and/or a random forest algorithm and/or a deep learning algorithm and/or a different algorithm for a machine learning method.

In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung wird die aktuelle Reichweite des Sensors für das gesamte Sichtfeld des Sensors oder jeweils für unterschiedliche Teilbereiche des Sichtfeldes des Sensors ermittelt. Mit anderen Worten ist es möglich, einen einzelnen Reichweitenwert für das gesamte Sichtfeld des Sensors zu ermitteln. Alternativ oder zusätzlich ist es möglich, das gesamte Sichtfeld des Sensors beispielsweise zwei, drei, vier oder mehr Teilbereiche zu unterteilen, und anschließend für jeden dieser Teilbereiche eine individuelle Reichweitenermittlung auf Basis des erfindungsgemäßen Verfahrens durchzuführen. D. h., dass beispielsweise jeder dieser Teilbereiche ein bestimmtes Volumen der 3D-Punktwolke repräsentiert oder eine Fläche repräsentiert, auf welche die 3D-Punktwolke projiziert wurde (z. B. eine horizontale Fläche, auf welche die Punkte der 3D-Punktwolke in vertikaler Richtung projiziert werden), wobei die Teilbereiche disjunkt aneinandergrenzende Teilbereiche der 3D-Punktwolke oder überlappende Teilbereiche der 3D-Punktwolke sein können.In a further advantageous embodiment of the present invention, the current range of the sensor is determined for the entire field of view of the sensor or for different partial areas of the field of view of the sensor. In other words, it is possible to determine a single range value for the entire field of view of the sensor. Alternatively or additionally, it is possible to subdivide the entire field of view of the sensor into, for example, two, three, four or more sub-areas and then carry out an individual range determination for each of these sub-areas on the basis of the method according to the invention. This means that, for example, each of these sub-areas represents a specific volume of the 3D point cloud or represents a surface onto which the 3D point cloud was projected (e.g. a horizontal surface onto which the points of the 3D point cloud are projected vertically Direction are projected), wherein the sub-areas can be disjointly adjoining sub-areas of the 3D point cloud or overlapping sub-areas of the 3D point cloud.

In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung wird eine Anzahl und/oder eine Art jeweils verwendeter Merkmalsvektoren und/oder eine Anzahl und/oder eine Aufteilung jeweiliger Teilbereiche des Sichtfeldes des Sensors und/oder eine Zuordnung einer Art und/oder einer Anzahl jeweils verwendeter Merkmalsvektoren zu jeweiligen Teilbereichen des Sichtfeldes des Sensors in Abhängigkeit aktueller Randbedingungen und/oder jeweiliger Anforderungen an eine nachgelagerte Verwendung der ermittelten aktuellen Reichweite des Sensors festgelegt. Als solche Randbedingungen kommen u. a. unterschiedliche Straßenarten, Höhenprofile, Wetterbedingungen, Verkehrsbedingungen, usw. in Frage. Durch die vorstehend ausgeführten Anpassungsmöglichkeiten lässt sich eine besonders hohe Flexibilität und/oder Zuverlässigkeit beim Ermitteln der aktuellen Reichweite erzielen.In a further advantageous embodiment of the present invention, a number and/or a type of feature vectors used in each case and/or a number and/or a division of respective partial areas of the field of view of the sensor and/or an assignment of a type and/or a number of feature vectors used in each case to respective partial areas of the field of view of the sensor depending on current boundary conditions and/or respective requirements for a downstream use of the determined current range of the sensor. Such boundary conditions include different road types, elevation profiles, weather conditions, traffic conditions, etc. in question. A particularly high degree of flexibility and/or reliability when determining the current range can be achieved by the adaptation options described above.

Besonders vorteilhaft wird das Regressionsmodell zusätzlich unter Berücksichtigung eines Konfidenzwertes für jeweilige Reichweitenintervalle angepasst bzw. trainiert. Anschließend ist es auf Basis dieses Regressionsmodells möglich, zusätzlich zur aktuellen Reichweite jeweils einen mit dieser Reichweite korrespondierenden aktuellen Konfidenzwert zu ermitteln, welcher ein Maß für eine Zuverlässigkeit des ermittelten aktuellen Reichweitenwertes repräsentiert. Vorzugsweise erfolgt die Berücksichtigung des Konfidenzwertes derart, dass ein zunächst mittels Trainings-Merkmalsvektoren angepasstes bzw. trainiertes Regressionsmodell in einem nachgelagerten Schritt hinsichtlich korrespondierender Konfidenzwerte angepasst bzw. trainiert wird. Hierfür werden beispielsweise zunächst mehrere reichweitenbeeinflussende Randbedingungen im Umfeld des Sensors hergestellt, zu welchen jeweils aktuelle Reichweitenermittlungen mittels des bereits angepassten bzw. trainierten Regressionsmodells durchgeführt werden. Eine Zuverlässigkeit bzw. Genauigkeit der jeweils ermittelten aktuellen Reichweite kann nun manuell überprüft und mit jeweiligen korrespondierenden Konfidenzwerten verknüpft werden, die anschließend im nachgelagerten zweiten Trainingsschritt einsetzbar sind. Die Konfidenzwerte werden beispielsweise für vordefinierte Reichweitenintervalle von 5 m, 10 m oder davon abweichenden Intervallen festgelegt.In a particularly advantageous manner, the regression model is additionally adapted or trained, taking into account a confidence value for the respective range intervals. It is then possible on the basis of this regression model to determine, in addition to the current range, a current confidence value that corresponds to this range and represents a measure of the reliability of the determined current range value. The confidence value is preferably taken into account in such a way that a regression model that is initially adapted or trained by means of training feature vectors is adapted or trained in a subsequent step with regard to corresponding confidence values. For this purpose, for example, a number of boundary conditions influencing the range are first established in the area surrounding the sensor, for which current range determinations are carried out using the regression model that has already been adapted or trained. A reliability or accuracy of the current range determined in each case can now be checked manually and verified with the respective corresponding confidence values are linked, which can then be used in the subsequent second training step. The confidence values are established, for example, for predefined range intervals of 5 m, 10 m or intervals deviating therefrom.

Besonders vorteilhaft wird jeder Merkmalsvektor auf Basis eines der nachfolgend beschriebenen Merkmale der 3D-Punktwolke ausgebildet, wobei alternativ oder zusätzlich zu den hier beschriebenen Merkmalen abweichende Merkmale für das erfindungsgemäße Verfahren einsetzbar sind. Merkmale, welche im Wesentlichen direkt auf Basis der 3D-Punkwolke bzw. auf Basis eines aktuell zu betrachtenden Teilbereichs der 3D-Punktwolke extrahierbar sind, sind beispielsweise eine Anzahl von Pixeln einer Detektorfläche des Sensors, welche aktuell keine Punkte der 3D-Punktwolke erzeugen und/oder eine Anzahl und/oder eine vordefinierte Ausdehnung von Pixelgruppen (engl. „cluster“ genannt), welche aktuell keine Punkte der 3D-Punktwolke erzeugen und/oder eine Anzahl von Pixeln, welche wenigstens einen Punkt der 3D-Punktwolke erzeugen, während deren benachbarte Pixel keine Punkte der 3D-Punktwolke erzeugen (d. h. eine Anzahl isoliert vorliegender Pixel, welche i. d. R. einen Rauschanteil repräsentieren) und/oder eine Anzahl von Punkten der 3D-Punkwolke über die Entfernung. Die Anzahl von Punkten der 3D-Punktwolke über die Entfernung, sowie nachfolgend beschriebene Merkmale, welche sich ebenfalls auf eine Betrachtung von Punkten bzw. Punkteigenschaften über die Entfernung beziehen, werden beispielsweise derart ermittelt, dass das Sichtfeld oder der aktuell zu betrachtende Teilbereich des Sichtfeldes des Sensors in eine Vielzahl von Segmenten unterteilt wird, welche das Sichtfeld oder den Teil des Sichtfeldes ausgehend von der Sensorposition in Erfassungsrichtung des Sensors unterteilt. Eine solche Unterteilung kann vorzugsweise eine einheitliche Unterteilung sein, so dass beispielsweise ausgehend von der Sensorposition alle 10 m oder 20 m ein neues Segment begonnen wird. Die Segmentierung erfolgt beispielsweise auf Basis konzentrischer Kugelsegmente oder Kreissegmente, welche das Sichtfeld oder den zu betrachtenden Teil des Sichtfeldes unterteilen, ohne auf diese Art der Unterteilung eingeschränkt zu sein. Darüber hinaus ist es auch denkbar, dass Abstände zwischen jeweiligen Segmenten (z. B. Abstände zwischen Kugelsegmenten oder Kreissegmenten) uneinheitlich festgelegt werden und/oder in Abhängigkeit aktuell vorliegender Randbedingungen und/oder weiterer Einflussgrößen dynamisch variiert werden. Die oben beschriebene Anzahl von Punkten der 3D-Punktwolke lässt sich nach der Segmentierung beispielsweise derart berechnen, dass für jedes Segment jeweils die Anzahl der in diesem Segment vorhandenen Punkte der 3D-Punktwolke ermittelt wird und die jeweiligen Ergebniswerte in einer Reihenfolge zu einem Merkmalsvektor zusammengefasst werden, welche mit der jeweiligen Entfernung ihrer zugehörigen Segmente von der Position des Sensors korrespondiert. Nachfolgend beschriebene Merkmale beziehen sich auf solche Punkte der 3D-Punktwolke, die im Vorfeld entweder als Bodenpunkte oder als Objektpunkte klassifiziert wurden. Eine solche Klassifizierung erfolgt beispielsweise mittels aus dem Stand der Technik bekannter Vorverarbeitungsverfahren zur Klassifizierung bzw. Segmentierung der 3D-Punktwolke in Bodenpunkte und Objektpunkte. Bodenpunktbezogene Merkmale sind beispielsweise eine Dichte von Bodenpunkten der 3D-Punktwolke über die Entfernung (z. B. ermittelt, indem eine Anzahl von Punkten der 3D-Punktwolke in jedem Segment durch ein Volumen oder eine Fläche des jeweiligen Segmentes dividiert wird) und/oder eine mittlere Lichtintensität von Bodenpunkten der 3D-Punkwolke über die Entfernung und/oder eine Änderungsrate der Anzahl von Bodenpunkten der 3D-Punkwolke über die Entfernung (z. B. ermittelt, indem jeweils ein Quotient aus der Anzahl von Bodenpunkten jeweils benachbarter Segmente gebildet wird) und/oder eine Änderungsrate der Dichte von Bodenpunkten der 3D-Punkwolke über die Entfernung und/oder eine Änderungsrate der mittleren Lichtintensität von Bodenpunkten der 3D-Punkwolke über die Entfernung und/oder eine Entfernung desjenigen Bodenpunkts der 3D-Punktwolke, welcher den größten Abstand zur Sensorposition repräsentiert. Ferner beziehen sich nachfolgende Merkmale auf objektpunktbezogene Merkmale der 3D-Punktwolke und umfassen beispielsweise eine Entfernung derjenigen Gruppierung von Objektpunkten der 3D-Punktwolke, welche den größten (z. B. mittleren) Abstand zur Sensorposition repräsentiert und/oder eine mittlere Lichtintensität derjenigen Gruppierung von Objektpunkten der 3D-Punktwolke, welche den größten Abstand zur Sensorposition aufweist und/oder eine Anzahl von Punkten derjenigen Gruppierung von Objektpunkten der 3D-Punkwolke, welche den größten Abstand zur Sensorposition repräsentiert.It is particularly advantageous for each feature vector to be formed on the basis of one of the features of the 3D point cloud described below, with features that differ from the features described here being able to be used for the method according to the invention as an alternative or in addition. Characteristics which can essentially be extracted directly on the basis of the 3D point cloud or on the basis of a sub-area of the 3D point cloud to be currently observed are, for example, a number of pixels of a detector surface of the sensor which currently do not generate any points in the 3D point cloud and/ or a number and/or a predefined extent of pixel groups (called “clusters”) that currently do not generate any points of the 3D point cloud and/or a number of pixels that generate at least one point of the 3D point cloud while their neighboring ones Pixels do not generate any points of the 3D point cloud (i.e. a number of isolated pixels which usually represent a noise component) and/or a number of points of the 3D point cloud over the distance. The number of points in the 3D point cloud over the distance, as well as the features described below, which also relate to a consideration of points or point properties over the distance, are determined, for example, in such a way that the field of view or the partial area of the field of view to be currently considered Sensor is divided into a plurality of segments, which divided the field of view or the part of the field of view based on the sensor position in the detection direction of the sensor. Such a subdivision can preferably be a uniform subdivision, so that, for example, starting from the sensor position, a new segment is started every 10 m or 20 m. The segmentation takes place, for example, on the basis of concentric segments of a sphere or segments of a circle, which subdivide the field of view or the part of the field of view to be viewed, without being restricted to this type of subdivision. In addition, it is also conceivable that distances between respective segments (e.g. distances between spherical segments or circle segments) are determined non-uniformly and/or are varied dynamically depending on currently existing boundary conditions and/or other influencing variables. The number of points of the 3D point cloud described above can be calculated after the segmentation, for example, in such a way that the number of points of the 3D point cloud present in this segment is determined for each segment and the respective result values are combined in a sequence to form a feature vector , which corresponds to the respective distances of their associated segments from the position of the sensor. The features described below relate to those points in the 3D point cloud that were previously classified as either ground points or object points. Such a classification takes place, for example, using preprocessing methods known from the prior art for classifying or segmenting the 3D point cloud into ground points and object points. Ground point-related features are, for example, a density of ground points of the 3D point cloud over distance (e.g. determined by dividing a number of points of the 3D point cloud in each segment by a volume or an area of the respective segment) and/or a average light intensity of ground points of the 3D punk cloud over the distance and/or a rate of change of the number of ground points of the 3D punk cloud over the distance (e.g. determined by forming a quotient from the number of ground points of respectively adjacent segments) and /or a rate of change of the density of ground points of the 3D punk cloud over distance and/or a rate of change of the average light intensity of ground points of the 3D punk cloud over distance and/or a distance of that ground point of the 3D point cloud which is the greatest distance from the sensor position represented. Furthermore, the following features refer to object-point-related features of the 3D point cloud and include, for example, a distance from that grouping of object points in the 3D point cloud that represents the greatest (e.g. average) distance to the sensor position and/or an average light intensity of that grouping of object points the 3D point cloud that has the greatest distance from the sensor position and/or a number of points from that grouping of object points in the 3D point cloud that represents the greatest distance from the sensor position.

Vorteilhaft ist der Sensor ein Lidar-Sensor und/oder ein Radarsensor und/oder ein davon abweichender Sensor. Besonders vorteilhaft wird das erfindungsgemäße Verfahren auf Basis eines oder mehrerer Lidar-Sensoren eines Fahrzeugs durchgeführt.The sensor is advantageously a lidar sensor and/or a radar sensor and/or a different sensor. The method according to the invention is carried out particularly advantageously on the basis of one or more lidar sensors of a vehicle.

Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zum Ermitteln einer Reichweite eines Sensors vorgeschlagen, wobei die Vorrichtung einen Sensor und eine Auswerteeinheit aufweist. Die Auswerteeinheit ist beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, o. ä., ausgestaltet. Vorzugsweise ist die Auswerteeinheit informationstechnisch mit einer Speichereinheit verbunden, in welcher beispielsweise ein Computerprogramm abgelegt ist, das eingerichtet ist, das vorstehend beschriebene erfindungsgemäße Verfahren auszuführen. Alternativ oder zusätzlich ist die Speichereinheit verwendbar, um durch die Auswerteeinheit empfangene und/oder berechnete Daten abzulegen und bereitzustellen. Die Auswerteeinheit ist eingerichtet, eine ein Umfeld des Sensors repräsentierende aktuelle 3D-Punktwolke, welche durch den Sensor erfasst wurde, zu verwenden und wenigstens einen Merkmalsvektor aus der 3D-Punktwolke zu extrahieren, wobei das den Merkmalsvektor jeweils zugrundeliegende Merkmal mit einer aktuellen Reichweite des Sensors im Zusammenhang steht. Darüber hinaus ist die Auswerteeinheit eingerichtet, eine aktuelle Reichweite des Sensors auf Basis eines Regressionsverfahrens zu ermitteln, indem der wenigstens eine Merkmalsvektor als Einflussgröße in ein Regressionsmodell eingegeben wird und die aktuelle Reichweite als Zielgröße aus dem Regressionsmodell entnommen wird, wobei das Regressionsmodell auf Basis eines Trainingsdatensatzes angepasst ist, welcher eine Vielzahl vordefinierter Trainings-Merkmalsvektoren sowie die jeweils zugehörigen Trainings-Reichweiten aufweist, wobei die Trainings-Merkmalsvektoren zumindest teilweise unterschiedliche Reichweiten repräsentieren.According to a second aspect of the present invention, a device for determining a range of a sensor is proposed, the device having a sensor and an evaluation unit. The evaluation unit is designed, for example, as an ASIC, FPGA, processor, digital signal processor, microcontroller or the like. The evaluation unit is preferably connected to a storage unit in terms of information technology which, for example, stores a computer program that is set up to carry out the method according to the invention described above. Alternatively or additionally, the storage unit can be used to store and provide data received and/or calculated by the evaluation unit. The evaluation unit is set up to use a current 3D point cloud representing an environment of the sensor, which was detected by the sensor, and to extract at least one feature vector from the 3D point cloud, the feature on which the feature vector is based in each case having a current range of the sensor related. In addition, the evaluation unit is set up to determine a current range of the sensor based on a regression method by entering the at least one feature vector as an influencing variable in a regression model and taking the current range as a target variable from the regression model, the regression model being based on a training data set is adapted, which has a large number of predefined training feature vectors and the associated training ranges, the training feature vectors at least partially representing different ranges.

Die Auswerteeinheit ist allgemein eingerichtet, dass vorstehend beschriebene erfindungsgemäße Verfahren auszuführen. Die Merkmale, Merkmalskombinationen sowie die sich aus diesen ergebenden Vorteile entsprechen den in Verbindung mit dem erstgenannten Erfindungsaspekt ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.The evaluation unit is generally set up to carry out the method according to the invention described above. The features, feature combinations and the resulting advantages correspond to those stated in connection with the first-mentioned aspect of the invention in such a way that, to avoid repetition, reference is made to the above statements.

Figurenlistecharacter list

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. Dabei zeigen:

  • 1 ein Flussdiagramm repräsentierend ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens;
  • 2 eine schematische Übersicht über ein Sichtfeld und jeweilige Teilsichtfelder eines für das erfindungsgemäße Verfahren eingesetzten Sensors; und
  • 3 eine schematische Übersicht über ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung.
Exemplary embodiments of the invention are described in detail below with reference to the accompanying drawings. show:
  • 1 a flowchart representing an embodiment of a method according to the invention;
  • 2 a schematic overview of a field of view and respective partial fields of view of a sensor used for the method according to the invention; and
  • 3 a schematic overview of a vehicle with a device according to the invention.

Ausführungsformen der ErfindungEmbodiments of the invention

1 zeigt ein Flussdiagramm repräsentierend ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens. 1 shows a flowchart representing an embodiment of a method according to the invention.

Im Schritt 100 des erfindungsgemäßen Verfahrens wird eine durch einen Lidar-Sensor 10 eines Fahrzeugs 90 erzeugte 3D-Punktwolke durch eine Auswerteeinheit 70 des Fahrzeugs 90 empfangen und in dieser verwendet.In step 100 of the method according to the invention, a 3D point cloud generated by a lidar sensor 10 of a vehicle 90 is received by an evaluation unit 70 of the vehicle 90 and used therein.

Im Schritt 150 des erfindungsgemäßen Verfahrens wird die 3D-Punktwolke, welche ein gesamtes Sichtfeld 40 des Lidar-Sensors 19 repräsentiert, in mehrere Teilsichtfelder 45 unterteilt, wobei das Unterteilen in Abhängigkeit aktueller Randbedingungen erfolgt, welche hier aktuelle Wetterbedingungen umfassen.In step 150 of the method according to the invention, the 3D point cloud, which represents an entire field of view 40 of the lidar sensor 19, is divided into a number of partial fields of view 45, with the subdivision taking place depending on current boundary conditions, which include current weather conditions here.

Im Schritt 200 des erfindungsgemäßen Verfahrens werden aus den mit den jeweiligen Teilsichtfeldern 45 korrespondierenden Punkten der 3D-Punktwolke allgemeine Merkmalsvektoren der 3D-Punktwolke, bodenpunktbezogene Merkmalsvektoren und objektpunktbezogene Merkmalsvektoren der 3D-Punktwolke extrahiert, wobei die mit jedem Merkmalsvektor korrespondierenden Merkmale jeweils mit einer Reichweite des Lidar-Sensors 10 im Zusammenhang stehen. Eine Information über eine Klassifizierung jeweiliger Punkte der 3D-Punktwolke als Bodenpunkte oder als Objektpunkte wird der Auswerteeinheit 70 im Zuge der Bereitstellung der 3D-Punktwolke durch den Lidar-Sensor 10 bereitgestellt.In step 200 of the method according to the invention, general feature vectors of the 3D point cloud, ground point-related feature vectors and object point-related feature vectors of the 3D point cloud are extracted from the points of the 3D point cloud corresponding to the respective partial fields of view 45, with the features corresponding to each feature vector each having a range of Lidar sensor 10 related. Information about a classification of respective points of the 3D point cloud as ground points or as object points is made available to the evaluation unit 70 in the course of the provision of the 3D point cloud by the lidar sensor 10 .

Als allgemeine Merkmalsvektoren werden hier eine Anzahl 60 von Pixeln einer Detektorfläche des Lidar-Sensors 10, welche aktuell keine Punkte der 3D-Punktwolke erzeugen, eine Anzahl 61 von Pixeln, welche wenigstens einen Punkt der 3D-Punktwolke erzeugen, während benachbarte Pixel keine Punkte der 3D-Punktwolke erzeugen und eine Anzahl 62 von Punkten der 3D-Punkwolke über die Entfernung aus der 3D-Punktwolke extrahiert.A number 60 of pixels of a detector surface of the lidar sensor 10, which currently do not generate any points of the 3D point cloud, a number 61 of pixels, which generate at least one point of the 3D point cloud, while neighboring pixels do not generate any points of the Generate 3D point cloud and extract a number 62 of 3D point cloud points over distance from the 3D point cloud.

Als bodenpunktbezogene Merkmalsvektoren werden hier eine Dichte 63 von Bodenpunkten der 3D-Punktwolke über die Entfernung und eine Änderungsrate 64 der Anzahl von Bodenpunkten der 3D-Punkwolke über die Entfernung extrahiert.Here, a density 63 of ground points of the 3D point cloud over distance and a rate of change 64 of the number of ground points of the 3D point cloud over distance are extracted as ground point-related feature vectors.

Als objektpunktbezogene Merkmalsvektoren werden hier eine Entfernung 65 derjenigen Gruppierung von Objektpunkten der 3D-Punktwolke, welche den größten Abstand zur Lidar-Sensorposition repräsentiert und eine mittlere Lichtintensität 66 derjenigen Gruppierung von Objektpunkten der 3D-Punktwolke, welche den größten Abstand zur Lidar-Sensorposition aufweist, extrahiert.A distance 65 of that grouping of object points in the 3D point cloud that represents the greatest distance from the lidar sensor position and an average light intensity 66 of that grouping of object points in the 3D point cloud that has the greatest distance from the lidar sensor position are used here as object-point-related feature vectors. extracted.

Im Schritt 300 wird eine aktuelle Reichweite 5 des Lidar-Sensors 10 und ein mit dieser korrespondierender aktueller Konfidenzwert 50 auf Basis eines Support-Vector-Machine-Algorithmus', welcher ein Regressionsmodell 20 repräsentiert, in einer Ausführungsphase 85 (oder auch Testphase) des Support-Vector-Machine-Algorithmus' ermittelt, indem die jeweiligen extrahierten Merkmalsvektoren als Einflussgröße in den Support-Vector-Machine-Algorithmus eingegeben werden und die aktuelle Reichweite 5 und der aktuelle Konfidenzwert 50 für die aktuelle Reichweite 5 als Zielgrößen aus dem Support-Vector-Machine-Algorithmus entnommen werden.In step 300, a current range 5 of the lidar sensor 10 and a current confidence value 50 corresponding thereto are calculated on the basis of a support vector machine algorithm, which represents a regression model 20, in an embodiment tion phase 85 (or test phase) of the support vector machine algorithm' is determined by entering the respective extracted feature vectors as an influencing variable in the support vector machine algorithm and the current range 5 and the current confidence value 50 for the current range 5 can be taken as target values from the support vector machine algorithm.

In einer zuvor ausgeführten Trainingsphase 80 wurde der Support-Vector-Machine-Algorithmus auf Basis eines Trainingsdatensatzes 30 trainiert, welcher für jedes extrahierte Merkmal eine Vielzahl vordefinierter Trainings-Merkmalsvektoren sowie jeweils zugehörige Trainings-Reichweiten und Trainings-Konfidenzwerte aufweist, wobei die Trainings-Merkmalsvektoren jeweils zumindest teilweise unterschiedliche Reichweiten repräsentieren.In a previously executed training phase 80, the support vector machine algorithm was trained on the basis of a training data set 30, which has a large number of predefined training feature vectors and associated training ranges and training confidence values for each extracted feature, with the training feature vectors each at least partially represent different ranges.

Ferner ist es möglich, dass eine Anzahl und eine Art jeweils verwendeter Merkmalsvektoren zum Ermitteln der aktuellen Reichweite 5 und des aktuellen Konfidenzwertes 50 für die aktuelle Reichweite 5 in Abhängigkeit aktueller Verkehrsbedingungen festgelegt werden.Furthermore, it is possible that a number and a type of feature vectors used in each case for determining the current range 5 and the current confidence value 50 for the current range 5 are defined as a function of current traffic conditions.

2 zeigt eine schematische Übersicht über ein Sichtfeld 40 und jeweilige Teilsichtfelder 45 eines für das erfindungsgemäße Verfahren eingesetzten Sensors 10. Eine Größe der Teilsichtfelder 45 ist hier in Übereinstimmung mit einer bevorzugten Erfassungsrichtung des Sensors 10 festgelegt. Mittels des erfindungsgemäßen Verfahrens werden anschließend für jedes Teilsichtfeld 45 individuelle aktuelle Reichweiten 5 ermittelt und anschließend an ein Umfelderkennungssystem 95 übertragen. 2 shows a schematic overview of a field of view 40 and respective partial fields of view 45 of a sensor 10 used for the method according to the invention. Using the method according to the invention, individual current ranges 5 are then determined for each partial field of view 45 and then transmitted to an environment recognition system 95 .

3 zeigt eine schematische Übersicht über ein Fahrzeug 90, welches hier ein PKW ist, mit einer erfindungsgemäßen Vorrichtung. Die Vorrichtung umfasst eine Auswerteeinheit 70, welche hier als ASIC ausgebildet ist und welche informationstechnisch mit einer Speichereinheit 75 verbunden ist. Zudem ist die Auswerteeinheit 70 mit einem Lidar-Sensor 10 des Fahrzeugs 90, welcher ein Sichtfeld 40 und eine maximale Reichweite 30 aufweist, informationstechnisch verbunden, so dass die Auswerteeinheit 70 auf Basis dieser Konfiguration eingerichtet ist, das vorstehend beschriebene erfindungsgemäße Verfahren auszuführen, um eine aktuelle Reichweite 5 und einen aktuellen Konfidenzwert 50 für die aktuelle Reichweite 5 zu ermitteln. Jeweilige Ergebnisse für die aktuelle Reichweite 5 und den aktuellen Konfidenzwert 50 überträgt die Auswerteeinheit 70 an ein Umfelderkennungssystem 95 des Fahrzeugs 90, welches diese Werte bei der Analyse des Umfeldes des Fahrzeugs 90 gemeinsam mit Messwerten des Lidar-Sensors 10 berücksichtigt. 3 shows a schematic overview of a vehicle 90, which is a passenger car here, with a device according to the invention. The device includes an evaluation unit 70 which is designed here as an ASIC and which is connected to a storage unit 75 in terms of information technology. In addition, evaluation unit 70 is connected in terms of information technology to a lidar sensor 10 of vehicle 90, which has a field of view 40 and a maximum range 30, so that evaluation unit 70 is set up on the basis of this configuration to carry out the method according to the invention described above in order to to determine the current range 5 and a current confidence value 50 for the current range 5 . The evaluation unit 70 transmits the respective results for the current range 5 and the current confidence value 50 to an environment detection system 95 of the vehicle 90 , which takes these values into account in the analysis of the environment of the vehicle 90 together with measured values from the lidar sensor 10 .

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • US 2016154999 A1 [0005]US2016154999A1 [0005]
  • US 9360554 B2 [0006]US 9360554 B2 [0006]

Claims (10)

Verfahren zum Ermitteln einer Reichweite eines Sensors aufweisend die Schritte: • Verwenden (100) einer ein Umfeld eines Sensors (10) repräsentierenden aktuellen 3D-Punktwolke, • Extrahieren (200) wenigstens eines Merkmalsvektors aus der 3D-Punktwolke, wobei das dem Merkmalsvektor jeweils zugrundeliegende Merkmal mit einer aktuellen Reichweite (5) des Sensors (10) im Zusammenhang steht, und • Ermitteln (300) einer aktuellen Reichweite (5) des Sensors (10) auf Basis eines Regressionsverfahrens, indem der wenigstens eine Merkmalsvektor als Einflussgröße in ein Regressionsmodell (20) eingegeben wird und die aktuelle Reichweite (5) als Zielgröße aus dem Regressionsmodell (20) entnommen wird, wobei das Regressionsmodell (20) zuvor auf Basis eines Trainingsdatensatzes angepasst wurde, welcher eine Vielzahl vordefinierter Trainings-Merkmalsvektoren sowie die jeweils zugehörigen Trainings-Reichweiten aufweist, wobei die Trainings-Merkmalsvektoren zumindest teilweise unterschiedliche Reichweiten repräsentieren.Method for determining a range of a sensor, comprising the steps: • Using (100) a current 3D point cloud representing an environment of a sensor (10), • Extracting (200) at least one feature vector from the 3D point cloud, the feature on which the feature vector is based in each case being related to a current range (5) of the sensor (10), and • Determination (300) of a current range (5) of the sensor (10) on the basis of a regression method by entering the at least one feature vector as an influencing variable in a regression model (20) and using the current range (5) as a target variable from the regression model (20th ) is taken, the regression model (20) having been adapted beforehand on the basis of a training data set which has a large number of predefined training feature vectors and the respectively associated training ranges, the training feature vectors at least partially representing different ranges. Verfahren nach Anspruch 1, wobei • der Merkmalsvektor ein erster Merkmalsvektor ist, • wenigstens ein zweiter Merkmalsvektor, der ein vom ersten Merkmalsvektor abweichendes Merkmal repräsentiert, aus der 3D-Punktwolke extrahiert wird, • das Ermitteln der aktuellen Reichweite (5) des Sensors (10) wenigstens auf Basis des ersten Merkmalsvektors und des zweiten Merkmalsvektors als jeweilige Einflussgrößen erfolgt, und • das Regressionsmodell (20) zuvor auf Basis eines Trainingsdatensatzes angepasst wurde, welcher wenigstens eine Vielzahl vordefinierter erster Trainings-Merkmalsvektoren und eine Vielzahl vordefinierter zweiter Trainings-Merkmalsvektoren sowie die jeweils zugehörigen Trainings-Reichweiten aufweist, wobei die ersten Trainings-Merkmalsvektoren und die zweiten Trainings-Merkmalsvektoren jeweils zumindest teilweise unterschiedliche Reichweiten repräsentieren.procedure after claim 1 , where • the feature vector is a first feature vector, • at least one second feature vector, which represents a feature deviating from the first feature vector, is extracted from the 3D point cloud, • determining the current range (5) of the sensor (10) at least on the basis of the first feature vector and the second feature vector takes place as respective influencing variables, and • the regression model (20) was previously adapted on the basis of a training data set which contains at least a large number of predefined first training feature vectors and a large number of predefined second training feature vectors and the respectively associated training Has ranges, the first training feature vectors and the second training feature vectors each representing at least partially different ranges. Verfahren nach einem der vorstehenden Ansprüche, wobei das Regressionsverfahren auf einem maschinellen Lernverfahren basiert, welches insbesondere • einen Support-Vector-Machine-Algorithmus, und/oder • einen Random-Forest-Algorithmus, und/oder • einen Deep-Learning-Algorithmus aufweist.Method according to one of the preceding claims, wherein the regression method is based on a machine learning method, which in particular • a support vector machine algorithm, and/or • a random forest algorithm, and/or • Has a deep learning algorithm. Verfahren nach einem der vorstehenden Ansprüche, wobei die aktuelle Reichweite (5) des Sensors (20) für das gesamte Sichtfeld (40) des Sensors (10) oder jeweils für unterschiedliche Teilbereiche (45) des Sichtfeldes (40) des Sensors (10) ermittelt wird.Method according to one of the preceding claims, wherein the current range (5) of the sensor (20) is determined for the entire field of view (40) of the sensor (10) or for different partial areas (45) of the field of view (40) of the sensor (10). becomes. Verfahren nach einem der vorstehenden Ansprüche, wobei • eine Anzahl und/oder eine Art jeweils verwendeter Merkmalsvektoren, und/oder • eine Anzahl und/oder Aufteilung jeweiliger Teilbereiche (45) des Sichtfeldes (40) des Sensors (10), und/oder • eine Zuordnung einer Art und/oder einer Anzahl jeweils verwendeter Merkmalsvektoren zu jeweiligen Teilbereichen (45) des Sichtfeldes (40) des Sensors (10) in Abhängigkeit aktueller Randbedingungen und/oder jeweiliger Anforderungen an eine nachgelagerte Verwendung der ermittelten aktuellen Reichweite (5) des Sensors (10) festgelegt (150) wird.Method according to any one of the preceding claims, wherein • a number and/or a type of feature vectors used in each case, and/or • a number and/or division of respective partial areas (45) of the field of view (40) of the sensor (10), and/or • an assignment of a type and/or a number of feature vectors used in each case to respective partial areas (45) of the field of view (40) of the sensor (10) depending on current boundary conditions and/or respective requirements for downstream use of the determined current range (5) of the Sensor (10) is fixed (150). Verfahren nach einem der vorstehenden Ansprüche, wobei • das Regressionsmodell (20) zusätzlich unter Berücksichtigung eines Konfidenzwertes für jeweilige Reichweitenintervalle angepasst wurde, und • auf Basis dieses Regressionsmodells (20) zusätzlich zur aktuellen Reichweite (5) jeweils ein korrespondierender aktueller Konfidenzwert (50) ermittelt wird.Method according to any one of the preceding claims, wherein • the regression model (20) was additionally adjusted taking into account a confidence value for the respective range intervals, and • on the basis of this regression model (20) a corresponding current confidence value (50) is determined in addition to the current range (5). Verfahren nach einem der vorstehenden Ansprüche, wobei jeder Merkmalsvektor auf Basis eines der nachfolgenden Merkmale der 3D-Punktwolke ausgebildet wird: • Anzahl (60) von Pixeln einer Detektorfläche des Sensors (10), welche aktuell keine Punkte der 3D-Punktwolke erzeugen, • Anzahl und/oder Ausdehnung von Pixelgruppen, welche aktuell keine Punkte der 3D-Punktwolke erzeugen, • Anzahl (61) von Pixeln, welche wenigstens einen Punkt der 3D-Punktwolke erzeugen und deren benachbarte Pixel keine Punkte der 3D-Punktwolke erzeugen, • Anzahl (62) von Punkten der 3D-Punkwolke über die Entfernung, • Dichte (63) von Bodenpunkten der 3D-Punktwolke über die Entfernung, • mittlere Lichtintensität von Bodenpunkten der 3D-Punkwolke über die Entfernung, • Änderungsrate (64) der Anzahl von Bodenpunkten der 3D-Punkwolke über die Entfernung, • Änderungsrate der Dichte von Bodenpunkten der 3D-Punkwolke über die Entfernung, • Änderungsrate der mittleren Lichtintensität von Bodenpunkten der 3D-Punkwolke über die Entfernung, • Entfernung desjenigen Bodenpunktes der 3D-Punktwolke, welcher den größten Abstand zur Sensorposition (10) repräsentiert, • Entfernung (65) derjenigen Gruppierung von Objektpunkten der 3D-Punktwolke, welche den größten Abstand zur Sensorposition repräsentiert, • mittlere Lichtintensität (66) derjenigen Gruppierung von Objektpunkten der 3D-Punktwolke, welche den größten Abstand zur Sensorposition aufweist, • Anzahl von Punkten derjenigen Gruppierung von Objektpunkten der 3D-Punkwolke, welche den größten Abstand zur Sensorposition repräsentiert.Method according to one of the preceding claims, wherein each feature vector is formed on the basis of one of the following features of the 3D point cloud: • number (60) of pixels of a detector surface of the sensor (10) which currently do not produce any points in the 3D point cloud, • number and/or expansion of pixel groups which currently do not generate any points in the 3D point cloud, • number (61) of pixels which generate at least one point in the 3D point cloud and whose neighboring pixels do not generate any points in the 3D point cloud, • number (62 ) of points of the 3D punk cloud over distance, • density (63) of ground points of the 3D point cloud over distance, • average light intensity of ground points of the 3D punk cloud over distance, • rate of change (64) of the number of ground points of the 3D -Punk cloud over distance, • Rate of change of density of ground points of 3D punk cloud over distance, • Rate of change of mean light intensity of ground points of 3D punk cloud over the distance, • distance of that ground point of the 3D point cloud, which represents the greatest distance to the sensor position (10), • distance (65) of that grouping of object points of the 3D point cloud, which represents the greatest distance to the sensor position, • average light intensity (66) of that group of object points of the 3D point cloud, which has the greatest distance to the sensor position, • number of points of that group of object points of the 3D point cloud, which represents the largest distance to the sensor position. Verfahren nach einem der vorstehenden Ansprüche, wobei der Sensor (10) ein Lidar-Sensor und/oder ein Radarsensor und/oder ein Ultraschallsensor ist.Method according to one of the preceding claims, wherein the sensor (10) is a lidar sensor and/or a radar sensor and/or an ultrasonic sensor. Vorrichtung zum Ermitteln einer Reichweite eines Sensors aufweisend: • einen Sensor (10), und • eine Auswerteeinheit (70), wobei die Auswerteeinheit (70) eingerichtet ist, • eine ein Umfeld des Sensors (10) repräsentierende aktuelle 3D-Punktwolke, welche durch den Sensor (10) erfasst wurde, zu verwenden, • wenigstens einen Merkmalsvektor aus der 3D-Punktwolke zu extrahieren, wobei das dem Merkmalsvektor jeweils zugrundeliegende Merkmal mit einer aktuellen Reichweite (5) des Sensors (10) im Zusammenhang steht, und • eine aktuelle Reichweite (5) des Sensors (10) auf Basis eines Regressionsverfahrens zu ermitteln, indem der wenigstens eine Merkmalsvektor als Einflussgröße in ein Regressionsmodell (20) eingegeben wird und die aktuelle Reichweite (5) als Zielgröße aus dem Regressionsmodell (20) entnommen wird, wobei das Regressionsmodell (20) auf Basis eines Trainingsdatensatzes angepasst ist, welcher eine Vielzahl vordefinierter Trainings-Merkmalsvektoren sowie die jeweils zugehörigen Trainings-Reichweiten aufweist, wobei die Trainings-Merkmalsvektoren zumindest teilweise unterschiedliche Reichweiten repräsentieren.Device for determining a range of a sensor having: • a sensor (10), and • an evaluation unit (70), the evaluation unit (70) being set up, • to use a current 3D point cloud representing the surroundings of the sensor (10), which was recorded by the sensor (10), • to extract at least one feature vector from the 3D point cloud, the feature on which the feature vector is based in each case being related to a current range (5) of the sensor (10), and • to determine a current range (5) of the sensor (10) on the basis of a regression method by entering the at least one feature vector as an influencing variable in a regression model (20) and taking the current range (5) as a target variable from the regression model (20). is, wherein the regression model (20) is adapted on the basis of a training data set, which has a large number of predefined training feature vectors and the respectively associated training ranges, the training feature vectors at least partially representing different ranges. Vorrichtung nach Anspruch 9, wobei die Auswerteeinheit (70) eingerichtet ist, ein Verfahren nach einem der Ansprüche 2 bis 8 auszuführen.device after claim 9 , wherein the evaluation unit (70) is set up, a method according to one of claims 2 until 8th to execute.
DE102021205750.0A 2021-06-08 2021-06-08 Method and device for determining a range of a sensor Pending DE102021205750A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021205750.0A DE102021205750A1 (en) 2021-06-08 2021-06-08 Method and device for determining a range of a sensor
PCT/EP2022/064843 WO2022258444A1 (en) 2021-06-08 2022-06-01 Method and device for determining a range of a sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021205750.0A DE102021205750A1 (en) 2021-06-08 2021-06-08 Method and device for determining a range of a sensor

Publications (1)

Publication Number Publication Date
DE102021205750A1 true DE102021205750A1 (en) 2022-12-08

Family

ID=82258480

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021205750.0A Pending DE102021205750A1 (en) 2021-06-08 2021-06-08 Method and device for determining a range of a sensor

Country Status (2)

Country Link
DE (1) DE102021205750A1 (en)
WO (1) WO2022258444A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160154999A1 (en) 2014-12-02 2016-06-02 Nokia Technologies Oy Objection recognition in a 3d scene
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
DE102018008442A1 (en) 2018-10-26 2019-03-28 Daimler Ag Method for weather and / or visibility detection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018209595A1 (en) * 2018-06-14 2019-12-19 Robert Bosch Gmbh Method for automatically determining a road condition
CN112417757B (en) * 2020-11-18 2022-10-14 中国汽车技术研究中心有限公司 Vehicle-mounted radar signal level simulation method, device, equipment and readable storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US20160154999A1 (en) 2014-12-02 2016-06-02 Nokia Technologies Oy Objection recognition in a 3d scene
DE102018008442A1 (en) 2018-10-26 2019-03-28 Daimler Ag Method for weather and / or visibility detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HEINZLER, R. u.a.: Weather Influence and Classification with Automotive Lidar Sensors. In: IEEE Intelligent Vehicles Symposium, June 2019, S. 1527-1534

Also Published As

Publication number Publication date
WO2022258444A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
DE102011117585B4 (en) Systems and methods for tracking objects
EP3540457A1 (en) Identification of objects by means of radar data
DE102006005512B4 (en) System and method for measuring the distance of a preceding vehicle
DE102009006113A1 (en) Vehicle's surrounding representation providing method, involves subjecting sensor objects to fusion to generate fusion objects, and fusing existence possibilities of fusion objects based on existence possibilities of sensor objects
DE102018008442A1 (en) Method for weather and / or visibility detection
DE102016209810A1 (en) Method for detecting at least one parking space for a vehicle
WO2018202552A1 (en) Method and device for classifying objects in the environment of a motor vehicle
DE102018132805A1 (en) Procedure for improved object detection
DE102014212216A1 (en) Method and driver assistance system for detecting a Fahrzeugumfel des
DE102019209846A1 (en) Method of operating a 3D distance sensor device
DE102019210767A1 (en) Method and device for fusing a plurality of signals from an ultrasonic sensor system of a means of locomotion
DE102020214596A1 (en) Method for generating training data for a recognition model for recognizing objects in sensor data of an environment sensor system of a vehicle, method for generating such a recognition model and method for controlling an actuator system of a vehicle
DE102020119954A1 (en) Method for generating an occupancy grid map for at least one static object, computer program product, computer-readable storage medium and assistance system
EP3663881B1 (en) Method for controlling an autonomous vehicle on the basis of estimated movement vectors
DE102020105192A1 (en) Method for detecting moving objects in a vehicle environment and motor vehicle
DE102019127283A1 (en) System and method for detecting an object in a three-dimensional environment of a carrier vehicle
DE102021205750A1 (en) Method and device for determining a range of a sensor
DE102019201892A1 (en) Method for detecting movement of an object
DE102018119632A1 (en) Method for determining the detection range of an environmental sensor
WO2021239326A1 (en) Method for estimating an intrinsic speed
WO2022129266A1 (en) Method for detecting at least one object in surroundings by means of reflection signals of a radar sensor system
DE102020206001A1 (en) Method and device for classifying the height of an object detected by ultrasound
DE102019116100A1 (en) Method for differentiating between precipitation and spray in one based on a point cloud
DE102018126506A1 (en) Rain detection with an environment sensor for point-by-point detection of an environment of a vehicle, in particular with a LiDAR-based environment sensor
DE102019107396A1 (en) Detection and classification of raised road markings using LIDAR

Legal Events

Date Code Title Description
R163 Identified publications notified