DE102018128511A1

DE102018128511A1 - Method for tracking objects in a vehicle environment and computing device for executing such a method

Info

Publication number: DE102018128511A1
Application number: DE102018128511.6A
Authority: DE
Inventors: Tobias Hirscher; Jens Honer
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2018-11-14
Filing date: 2018-11-14
Publication date: 2020-05-14

Abstract

Die Erfindung betrifft ein Verfahren zum Verfolgen von einem ausgedehnten Objekten (3), welche sich in einer Umgebung (4) eines Fahrzeugs (1) befinden, mit den folgenden Schritten - Bereitstellen einer Punktwolke, welche die Umgebung (4) eines Fahrzeugs (1) repräsentiert, - Abbilden der in der Umgebung (4) des Fahrzeug (1) vorhandenen und in der bereitgestellten Punktwolke durch Punkte repräsentierten einen ausgedehnten Objekte (3) jeweils durch einen Stack von zweidimensionalen mathematischen Modellen, durch welchen Form und Kinematik der einen oder mehreren ausgedehnten Objekte (3) geschätzt werden, - Verfolgen des ausgedehnten Objekts (3) durch Schätzung des Zustands des ausgedehnten Objekts (3) mittels eines Zielverfolgungsfilters, welcher den Stack der zweidimensionalen mathematischen Modelle verwendet. Die Erfindung betrifft ferner eine Recheneinrichtung (11) zur Ausführung des erfindungsgemäßen Verfahrens.

The invention relates to a method for tracking an extended object (3), which is located in an environment (4) of a vehicle (1), with the following steps - providing a point cloud that shows the environment (4) of a vehicle (1) represents, - Representation of the extended objects (3) present in the surroundings (4) of the vehicle (1) and in the provided point cloud by points each represented by a stack of two-dimensional mathematical models, by which form and kinematics the one or more extended ones Objects (3) are estimated, - tracking the expanded object (3) by estimating the state of the expanded object (3) using a target tracking filter that uses the stack of two-dimensional mathematical models. The invention further relates to a computing device (11) for executing the method according to the invention.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Verfolgen von einem ausgedehnten Objekt, welches sich in einer Umgebung eines Fahrzeugs befindet, und eine Recheneinrichtung zum Ausführen eines solchen Verfahrens. Des Weiteren betrifft die vorliegende Erfindung ein Fahrunterstützungssystem mit einer solchen Recheneinrichtung und ein Fahrzeug mit einem derartigen Fahrunterstützungssystem.The present invention relates to a method for tracking an extended object, which is located in the surroundings of a vehicle, and a computing device for executing such a method. Furthermore, the present invention relates to a driving support system with such a computing device and a vehicle with such a driving support system.

In Fahrzeugen werden häufig optoelektronische Sensoren, beispielsweise sogenannte Lidar-Sensoren (Lidar - Light detection and ranging) oder Radar-Sensoren zur Erfassung von sich in einer Fahrzeugumgebung befindenden Objekten eingesetzt. Ein derartiger Laserscanner ist beispielsweise der Valeo Scala Generation 2. Mit Hilfe derartiger optoelektronischer Sensoren können Abstands- und zumindest teilweise auch Geschwindigkeitsdaten in Bezug auf Objekte wie beispielsweise entgegenkommende oder vorausfahrende Fahrzeuge oder Abstandsdaten in Bezug auf unbewegliche Objekte wie beispielsweise fahrbahnbegrenzende Leitplanken sehr zuverlässig und effizient ermittelt werden. Die Ermittlung eines Abstandes zwischen dem Fahrzeug und dem betreffenden Objekt erfolgt dabei in der Regel auf der Grundlage einer Laufzeit eines von dem optoelektronischen Sensor ausgesendeten Lichtpulses, welcher an dem jeweiligen Objekt reflektiert wird, wobei die Reflektion des Lichtpulses von dem optoelektronischen Sensor empfangen wird. Die Bestimmung des Abstandes zwischen Fahrzeug und Objekt erfolgt somit nach dem sogenannten Time-of-Flight-Prinzip.Optoelectronic sensors are often used in vehicles, for example so-called lidar sensors (lidar - light detection and ranging) or radar sensors for detecting objects in a vehicle environment. Such a laser scanner is, for example, the Valeo Scala Generation 2. With the help of such optoelectronic sensors, distance and at least partially also speed data relating to objects such as, for example, oncoming vehicles or vehicles traveling in front, or distance data relating to immovable objects such as, for example, road-bounding guardrails can be determined very reliably and efficiently will. The determination of a distance between the vehicle and the object in question is generally carried out on the basis of a transit time of a light pulse emitted by the optoelectronic sensor, which is reflected on the respective object, the reflection of the light pulse being received by the optoelectronic sensor. The distance between vehicle and object is thus determined according to the so-called time-of-flight principle.

Abstands- und Geschwindigkeitsdaten der mit dem optoelektronischen Sensor erfassten Objekte können einem im Fahrzeug vorgesehenen Fahrunterstützungssystem zur Verfügung gestellt werden. Bei einer Kollisionsgefahr mit einem anderen Verkehrsteilnehmer, zum Beispiel einem Fußgänger oder einem anderen Fahrzeug, kann das Fahrunterstützungssystem in eine Steuerung des Fahrzeugs entweder durch einen menschlichen Fahrer oder durch ein autonome oder teil-autonomes Fahrsystem derart eingreifen, dass eine Kollision möglichst vermieden oder zumindest eine Schadensbegrenzung herbeigeführt werden kann. Ferner kann das Fahrunterstützungssystem - insbesondere im Betriebsmodus des autonomen Fahrens - das Fahrzeug derart steuern, dass es einem vorausfahrenden Fahrzeug folgt. Hierzu kann das Fahrunterstützungssystem zum Beispiel in eine Querführung des Fahrzeugs, also die Lenkung, oder eine Längsführung des Fahrzeugs, also das Bremssystem und/oder das Antriebssystem, eingreifen.Distance and speed data of the objects detected with the optoelectronic sensor can be made available to a driving support system provided in the vehicle. If there is a risk of collision with another road user, for example a pedestrian or another vehicle, the driving support system can intervene in controlling the vehicle either by a human driver or by an autonomous or partially autonomous driving system in such a way that a collision is avoided as far as possible or at least one Limitation of damage can be brought about. Furthermore, the driving support system - in particular in the operating mode of autonomous driving - can control the vehicle in such a way that it follows a preceding vehicle. For this purpose, the driving support system can intervene, for example, in a transverse guidance of the vehicle, that is to say the steering, or a longitudinal guidance of the vehicle, that is to say the braking system and / or the drive system.

Lidar-Sensoren und Radar-Sensoren erzeugen also als Ausgangsdaten üblicherweise eine Punktwolke der erfassten Umgebung des Fahrzeugs, die abhängig von dem verwendeten Sensor eine dreidimensionale oder sogar eine vierdimensionale Punktwolke sein kann. Die vierdimensionale Punktwolke kann beispielsweise von einem Radar-Sensor erzeugt werden, wobei die Punktwolke drei Raum-Dimensionen plus eine Entfernungsänderung (Range-Rate) als vierte Dimension umfasst. Die Punktwolke umfasst somit zumindest drei Dimensionen.Lidar sensors and radar sensors therefore usually generate a point cloud of the detected surroundings of the vehicle as output data, which can be a three-dimensional or even a four-dimensional point cloud, depending on the sensor used. The four-dimensional point cloud can be generated, for example, by a radar sensor, the point cloud comprising three space dimensions plus a range change as the fourth dimension. The point cloud thus comprises at least three dimensions.

Die Punktwolke repräsentiert somit eine Fahrzeugumgebung. Diese Punktwolke wird dann in Bezug auf in der Fahrzeugumgebung befindliche Objekte ausgewertet. Zur Detektion von in der Fahrzeugumgebung befindlichen Objekten können beispielsweise auf neuronalen Netzen basierende Verfahren eingesetzt werden. Zur semantischen Segmentierung und Objektklassifikation können ebenfalls neurale Netze eingesetzt werden.The point cloud thus represents a vehicle environment. This point cloud is then evaluated in relation to objects in the vehicle environment. For example, methods based on neural networks can be used to detect objects in the vehicle environment. Neural networks can also be used for semantic segmentation and object classification.

Zur Zielverfolgung von in einer Punktwolke und somit der Fahrzeugumgebung detektierten dynamischen/beweglichen Objekten, wie beispielsweise anderen Verkehrsteilnehmern, werden in Automobilanwendungen typische Zielverfolgungsfilter eingesetzt. Die Zielverfolgungsfilter basieren entweder auf der sogenannten Punktzielannahme, d.h. auf der Annahme, dass das verfolgte Ziel durch einen Punkt der Punktwolke approximiert/repräsentiert werden kann, der keinerlei räumliche Ausdehnung hat, oder die eines der in den letzten Jahren entwickelten Zielverfolgungsmodelle für ausgedehnte Ziele (sogenannte Extended Target Tracking Models) verwenden, d.h. Modelle für Ziele, die eine gewisse körperliche/räumliche Ausdehnung haben. Die Objekte können prinzipiell auch nicht-dynamische bzw. statische Objekte sein.In automotive applications, typical target tracking filters are used for target tracking of dynamic / moving objects, such as other road users, detected in a point cloud and thus the vehicle surroundings. The tracking filters are based either on the so-called point target assumption, i.e. on the assumption that the tracked target can be approximated / represented by a point of the point cloud that has no spatial extension, or that use one of the target tracking models developed in recent years for extended targets (so-called extended target tracking models), i.e. Models for goals that have a certain physical / spatial extent. In principle, the objects can also be non-dynamic or static objects.

In dem wissenschaftlichen Artikel „An extended target tracking model with multiple random matrices and unified kinematics“ von Karl Granström, archiv: 1406.2135v1, 9. Juni 2014, https://arxiv.org/pdf/1406.2135.pdf, wird beispielsweise ein Modell zum Verfolgen von ausgedehnten Zielen beschrieben, bei welchem jedes Ziel durch eine bestimmte Anzahl von zweidimensionalen elliptischen Subobjekten repräsentiert wird.For example, in the scientific article "An extended target tracking model with multiple random matrices and unified kinematics" by Karl Granström, archive: 1406.2135v1, June 9, 2014, https://arxiv.org/pdf/1406.2135.pdf described for tracking extended targets, in which each target is represented by a certain number of two-dimensional elliptical sub-objects.

In „EM approach for tracking star-convex extended objects“ von Hauke Kaulbersch et al., Proceedings der 20. International Conference on Information Fusion, 10.-13. Juli 2017 , DOI: 10.23919/ICIF.2017.8009884, wird die Verwendung eines sogenannten Expectation-Maximation-Algorithmus für die simultane Verfolgung und Formschätzung eines zweidimensionalen sternkonvexen Objekts basierend auf mehreren räumlich verteilten Messwerten vorgestellt.In "EM approach for tracking star-convex extended objects" by Hauke Kaulbersch et al., Proceedings of the 20th International Conference on Information Fusion, 10-13. July 2017 , DOI: 10.23919 / ICIF.2017.8009884, the use of a so-called expectation-maximization algorithm for the simultaneous tracking and shape estimation of a two-dimensional star convex object based on several spatially distributed measured values is presented.

In „Tracking rectangular and elliptical extended targets using laser measurements“ von Karl Granström et al., Proceedings der 14. International Conference on Information Fusion, 5-8. Juli 2011 , werden zweidimensionale rechteckige und elliptische Formen ausgedehnter Ziele betrachtet. Es wird ein Verfahren zur Berechnung von vorhergesagten Messwerten und Innovationskovarianzen vorgeschlagen, welches zur Zielverfolgung mit einem Extended-Kalman-Filter integriert werden kann. Um neben einer Schätzung von Position, Orientierung und Größe der ausgedehnten Ziele auch eine Schätzung der Art des ausgedehnten Ziels (rechteckig oder elliptisch) zu ermöglichen, wird eine Kombination mit einem GM-PHD-Filter (GM-PHD: Gaussian Mixture Probability Hypothesis Density) vorgeschlagen. In "Tracking rectangular and elliptical extended targets using laser measurements" by Karl Granström et al., Proceedings of the 14th International Conference on Information Fusion, 5-8. July 2011 , two-dimensional rectangular and elliptical shapes of extended targets are considered. A method for calculating predicted measured values and innovation covariances is proposed, which can be integrated with an Extended Kalman filter for target tracking. In order to allow an estimation of the position, orientation and size of the extended targets as well as an estimate of the type of the extended target (rectangular or elliptical), a combination with a GM-PHD filter (GM-PHD: Gaussian Mixture Probability Hypothesis Density) suggested.

In „A direct scattering model for tracking vehicles with high-resolution radars“ von Christina Knill et al., Proceedings des IEEE Intelligent Vehicles Symposium (IV), 19.-22. Juni 2016 , DOI: 10.1109/IVS.2016.7535401, wird ein Modell zum Verfolgen von Fahrzeugen von annähernd rechteckiger Form in willkürlichen Verkehrsszenarien vorgeschlagen, bei welchem Doppler-Informationen von Radar-Sensoren in das Modell einfließen. Für die Zielverfolgung wird ein an das Modell angepasster RBPF (Rao-Blackwellized Particle Filter) eingesetzt.In "A direct scattering model for tracking vehicles with high-resolution radars" by Christina Knill et al., Proceedings of the IEEE Intelligent Vehicles Symposium (IV), 19.-22. June 2016 , DOI: 10.1109 / IVS.2016.7535401, a model for tracking vehicles of approximately rectangular shape in arbitrary traffic scenarios is proposed, in which Doppler information from radar sensors flow into the model. An RBPF (Rao-Blackwellized Particle Filter) adapted to the model is used for target tracking.

In „Level-set random hypersurface models for tracking nonconvex extended objects“ von Antonio Zea et al., IEEE Transactions on Aerospace and Electronic Systems, Vol. 52, Ausgabe 6, Dezember 2016 , DOI: 10.1109/TAES.2016.130704, wird ein sogenanntes Level-set RHM (RHM - Random Hypersurface Model) vorgestellt, welches das Innere einer Form mittels Levelmengen/Niveaumengen (Level Sets) einer impliziten Funktion abbildet. Bei den behandelten Objektformen handelt es sich um Polygone. Ein standardmäßiger Gauß-Zustandsgrößenschätzer kann für die Verfolgung eines ausgedehnten Ziels eingesetzt werden.In "Level-set random hypersurface models for tracking nonconvex extended objects" by Antonio Zea et al., IEEE Transactions on Aerospace and Electronic Systems, Vol. 52, Edition 6, December 2016 , DOI: 10.1109 / TAES.2016.130704, a so-called level set RHM (RHM - Random Hypersurface Model) is presented, which maps the inside of a shape using level sets / level sets (level sets) of an implicit function. The treated object shapes are polygons. A standard Gaussian state size estimator can be used to pursue an extended goal.

In „Extended Object Tracking with Random Hypersurface Models“ von Markus Baum und Uwe D. Hanebeck, IEEE Transactions on Aerospace and Electronic Systems, Vol. 50, Ausgabe 1, Januar 2014 , DOI: 10.1109/TAES.2013.120107, wird ein RHM (Random Hypersurface Model) zum Schätzen einer Form eines ausgedehnten Objekts und seines kinematischen Zustands vorgestellt. Ein Gauß-Zustandsgrößenschätzer kann zur Zielverfolgung eingesetzt werden. Spezifische Zustandsgrößenschätzer werden für elliptische und sternkonvexe Formen hergeleitet.In "Extended Object Tracking with Random Hypersurface Models" by Markus Baum and Uwe D. Hanebeck, IEEE Transactions on Aerospace and Electronic Systems, Vol. 50, Issue 1, January 2014 , DOI: 10.1109 / TAES.2013.120107, an RHM (Random Hypersurface Model) for estimating a shape of an extended object and its kinematic state is presented. A Gaussian state quantity estimator can be used for target tracking. Specific state quantity estimates are derived for elliptical and star convex shapes.

Der wissenschaftliche Artikel ”Occupancy grid map-based extended object tracking“ von Markus Schütz et al., Proceedings des IEEE Intelligent Vehicles Symposium, 8-11. Juni 2014 , DOI: 10.1109/IVS.2014.6856504, schlägt vor, die Ausdehnung dynamischer Objekt basierend auf objektlokalen Belegtheitskarten (occupancy grid maps) zu schätzen.The scientific article "Occupancy grid map-based extended object tracking" by Markus Schütz et al., Proceedings of the IEEE Intelligent Vehicles Symposium, 8-11. June 2014 , DOI: 10.1109 / IVS.2014.6856504, suggests estimating the extent of dynamic objects based on occupancy grid maps.

In „Extended Target Tracking Using Gaussian Processes“ von Niklas Wahlström und Emre Özkan, IEEE Transactions on Signal Processing, Vol. 63, Ausgabe 16, 15. August 2015 , DOI: 10.1109/TSP.2015.2424194, wird vorgeschlagen, Form und Kinematik von ausgedehnten Objekten simultan zu schätzen, wobei die Form online mittels eines Gauß'schen Prozesses erlernt wird. Eine effiziente rekursive Implementierung durch ein Zustandsraummodell wird vorgestellt, bei welchem das Regressionsproblem des Gauß'schen Prozesses als Zustandsschätzproblem formuliert ist.In "Extended Target Tracking Using Gaussian Processes" by Niklas Wahlström and Emre Özkan, IEEE Transactions on Signal Processing, Vol. 63, Issue 16, August 15, 2015 , DOI: 10.1109 / TSP.2015.2424194, it is proposed to estimate the shape and kinematics of extended objects simultaneously, the shape being learned online using a Gaussian process. An efficient recursive implementation using a state space model is presented, in which the regression problem of the Gaussian process is formulated as a state estimation problem.

In „Tracking Multiple Vehicles Using a Variational Radar Model“ von Alexander Scheel und Klaus Dietmayer, https://arxiv.org/abs/1711.03799, 10. November 2017 , wird ein Variationsmodell für von Radar-Sensoren kommende Messdaten einer Fahrzeugumgebung vorgestellt. Das Variationsmodell wird aus Gauß'schen Variationsvermischungen erlernt und in einen Zielverfolger für mehrere Objekte integriert.In "Tracking Multiple Vehicles Using a Variational Radar Model" by Alexander Scheel and Klaus Dietmayer, https://arxiv.org/abs/1711.03799, November 10, 2017 , a variation model for measurement data coming from radar sensors of a vehicle environment is presented. The variation model is learned from Gaussian mixture of variations and integrated into a target tracker for several objects.

Die in den obigen wissenschaftlichen Artikeln vorgeschlagenen Modelle basieren sämtlich auf der Annahme, dass von den Zielen/Objekten entweder Messdaten von deren Oberfläche oder von deren Innerem erzeugt werden. Beim Einsatz von 2D-Modellen macht es die Dreidimensionalität der von modernen Hochleistungssensoren wie dem eingangs genannten Laserscanner Valeo Scala® Generation 2 bereitgestellten Daten, die typischerweise in Form einer wenigstens räumlichen/dreidimensionalen Punktwolke bereitgestellt werden, erforderlich, zusätzliche zu Oberflächendaten auch Daten, die aus Reflektionen im Inneren der Objekte resultieren, im Modell abzubilden. Dieser Ansatz benötigt zwar wenig Rechnerkapazität und Rechnerressourcen, hat sich jedoch als verbesserungsfähig erwiesen, wenn mit Hilfe der 2D-Modelle zum Beispiel Fahrzeuge von anderen Objekten/Hindernissen unterschieden werden sollen. Auf der anderen Seite benötigt der Einsatz vollständiger 3D-Modelle wesentlich mehr Rechnerkapazität und und ist zumindest momentan wenig wirtschaftlich.The models proposed in the above scientific articles are all based on the assumption that the targets / objects either generate measurement data from their surface or from their interior. When using 2D models, the three-dimensionality of the data provided by modern high-performance sensors such as the laser scanner Valeo Scala® Generation 2 mentioned at the outset, which is typically provided in the form of an at least spatial / three-dimensional point cloud, makes it necessary, in addition to surface data, also data from Reflections in the interior of the objects result in mapping in the model. Although this approach requires little computing capacity and computing resources, it has proven to be capable of improvement if, for example, vehicles are to be distinguished from other objects / obstacles with the aid of the 2D models. On the other hand, the use of complete 3D models requires considerably more computing capacity and is at least currently not very economical.

Ausgehend hiervon liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein Verfahren zum Verfolgen von einem ausgedehnten Objekt für die Anwendung im Automobilbereich bereitzustellen, mit welchem sich auf einfache Weise Fahrzeuge von anderen Verkehrsteilnehmern unterscheiden lassen und welches relativ wenig Rechenleistung benötigt. Es ist ferner Aufgabe der vorliegenden Erfindung, eine Recheneinrichtung bereitzustellen, welche ausgestaltet ist, das erfindungsgemäße Verfahren auszuführen.Proceeding from this, the present invention is based on the object of providing a method for tracking an extended object for use in the automotive sector, with which vehicles can be easily distinguished from other road users and which requires relatively little computing power. It is also an object of the present invention to provide a computing device which is designed to carry out the method according to the invention.

Diese Aufgabe wird durch ein Verfahren und eine Recheneinrichtung mit den Merkmalen der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen angegeben.This object is achieved by a method and a computing device with the features of the independent claims. Advantageous embodiments of the invention are specified in the dependent claims.

Das erfindungsgemäße Verfahren zum Verfolgen von einem ausgedehnten Objekt, welches sich in einer Umgebung eines Fahrzeugs befindet, umfasst die Schritte: Bereitstellen einer Punktwolke, welche die Umgebung eines Fahrzeugs repräsentiert, Abbilden des in der Umgebung des Fahrzeug vorhandenen und in der bereitgestellten Punktwolke durch Punkte repräsentierten ausgedehnten, Objekts jeweils durch einen Stack von zweidimensionalen mathematischen Modellen, durch welchen Form und Kinematik des einen ausgedehnten Objekts geschätzt werden, und Verfolgen des ausgedehnten Objekts durch Schätzung des Zustands des ausgedehnten Objekts mittels eines Zielverfolgungsfilters, welcher den Stack der zweidimensionalen mathematischen Modelle verwendet.The method according to the invention for tracking an extended object which is located in the surroundings of a vehicle comprises the steps: providing a point cloud which represents the surroundings of a vehicle, imaging the point cloud which is present in the surroundings of the vehicle and represented by points in the provided cloud extended object, each through a stack of two-dimensional mathematical models by which shape and kinematics of the one extended object are estimated, and tracking the expanded object by estimating the state of the expanded object using a tracking filter that uses the stack of two-dimensional mathematical models.

Die Punktwolke, welche die Umgebung des Fahrzeugs repräsentiert wird, vorzugsweise von einem der eingangs beschriebenen optoelektronischen Sensor, wie beispielsweise einem Lidar-Sensor, einem Radar-Sensor und/oder einem 3D Scanner bereitgestellt, der am bzw. im Fahrzeug vorgesehen ist, um die Umgebung des Fahrzeugs zu erfassen. Die Punktwolke ist eine wenigstens drei-dimensionale Punktwolke. Abhängig von dem verwendeten Sensor kann die Punktwolke aber auch eine vier-dimensionale Punktwolke sein, wobei die Punktwolke drei Raum-Dimensionen plus eine Entfernungsänderung (Range-Rate) als vierte Dimension umfasst. Dies betrifft beispielsweise einen Radar-Sensor, der entsprechende Daten zur Verfügung stellen kann.The point cloud, which represents the surroundings of the vehicle, is preferably provided by one of the optoelectronic sensors described at the outset, such as a lidar sensor, a radar sensor and / or a 3D scanner, which is provided on or in the vehicle to detect the Detect the surroundings of the vehicle. The point cloud is an at least three-dimensional point cloud. Depending on the sensor used, the point cloud can also be a four-dimensional point cloud, the point cloud comprising three spatial dimensions plus a change in distance (range rate) as the fourth dimension. This applies, for example, to a radar sensor that can provide corresponding data.

Bei einem ausgedehnten Objekt handelt es sich insbesondere um andere Verkehrsteilnehmer, wie beispielsweise Personenkraftwagen, Lastkraftwagen, Motorräder, Radfahrer und Fußgänger. Sofern diese anderen Verkehrsteilnehmer ihre Position verändern, handelt es sich um dynamische Objekte. Dabei umfasst der Begriff „dynamisch“ auch einen temporären Stillstand.An extended object is particularly other road users, such as cars, trucks, motorcycles, cyclists and pedestrians. If these other road users change their position, they are dynamic objects. The term “dynamic” also includes a temporary standstill.

Insbesondere handelt es sich bei den ausgedehnten Objekten um Fahrzeuge, die beispielsweise in einer Richtung vor dem Fahrzeug befindlich und damit vorausfahrende Fahrzeuge sind. Allerdings ist auch eine Erfassung von ausgedehnten Objekten in anderen Richtungen möglich, beispielsweise bei einer Überwachung eines 360° Umfelds des Fahrzeugs, so dass die ausgedehnten Objekte prinzipiell auch nachfolgende oder seitlich befindliche Fahrzeuge sein können. Mit dem Begriff „ausgedehnt“ soll angegeben werden, dass die jeweiligen Objekte eine räumliche/körperliche Ausdehnung haben, und es sich nicht um bloße Punkte handelt. Ausgedehnte Objekte erzeugen also bei einem gegebenen Sensor mehrere Messungen bzw. Punkte in der Punktwolke. Dabei kann es abhängig von Sensor und Objekt sein, ob ein Objekt als „ausgedehnt“ betrachtet werden kann/muss. Werden also mehrere Messungen bzw. Punkte von einem solchen ausgedehnten Objekt in der Punktwolke generiert, kann man bei typischen automotiven Sensoren im allgemeinen auch eine Formschätzung des entsprechenden Objekts abgeben.In particular, the extended objects are vehicles that are, for example, in one direction in front of the vehicle and are therefore vehicles in front. However, detection of extended objects in other directions is also possible, for example when monitoring a 360 ° environment of the vehicle, so that the extended objects can in principle also be vehicles behind or to the side. The term "extended" is intended to indicate that the respective objects have a spatial / physical extension and are not mere points. Extended objects therefore generate several measurements or points in the point cloud for a given sensor. It can depend on the sensor and object whether an object can / must be viewed as "extended". If several measurements or points are generated by such an extended object in the point cloud, one can generally also give a shape estimate of the corresponding object in typical automotive sensors.

Der Stack (auch als Stapel bezeichnet) der zweidimensionalen mathematischen Modelle, mit welchem ein in der Umgebung des Fahrzeug vorhandenes und in der Punktwolke durch entsprechende Punkte repräsentiertes Objekt, abgebildet wird, stellt ein mehrschichtiges zweidimensionales Zielmodell zum Verfolgen von anderen Verkehrsteilnehmern, insbesondere von vorausfahrenden Fahrzeugen, dar, welches vorteilhafterweise weniger Rechenleistung und Rechnerressourcen benötigt als ein komplett dreidimensionales oder gar vierdimensionales Modell, wobei es dennoch mit dem mehrschichtigen zweidimensionalen Zielmodell der Erfindung möglich ist, formmäßig unterschiedliche Verkehrsteilnehmer voneinander zu unterscheiden. Insbesondere lassen sich (Kraft-)Fahrzeuge zum Beispiel von Fußgängern, Radfahrern und ähnlichem unterscheiden. Der Stack der zweidimensionalen mathematischen Modelle kann in diskretisierter oder kontinuierlicher Form aus der Punktwolke gebildet werden.The stack (also referred to as a stack) of the two-dimensional mathematical models, with which an object that is present in the vicinity of the vehicle and represented in the point cloud by corresponding points, is represented, represents a multi-layered two-dimensional target model for tracking other road users, in particular vehicles in front , which advantageously requires less computing power and computing resources than a completely three-dimensional or even four-dimensional model, although it is still possible with the multi-layered two-dimensional target model of the invention to distinguish differently different road users from one another. In particular, (motor) vehicles can be distinguished, for example, from pedestrians, cyclists and the like. The stack of two-dimensional mathematical models can be formed from the point cloud in a discretized or continuous form.

Gemäß bevorzugter Ausgestaltung ist jedes zweidimensionale mathematische Modell des Stacks der zweidimensionalen mathematischen Modelle ein stochastisches Modell. Insbesondere werden die zweidimensionalen mathematischen Modelle des Stacks der zweidimensionalen mathematischen Modelle mittels Gauß'schem Prozess bzw. Gauß'scher Prozessfunktionen gebildet. Ein einzelnes derartiges zweidimensionales mathematisches Modell, das mit Hilfe von Gauß'schen Prozessen gebildet wird, ist beispielsweise in „Extended Target Tracking Using Gaussian Processes“ von Niklas Wahlström und Emre Özkan, IEEE Transactions on Signal Processing, Vol. 63, Ausgabe 16, 15. August 2015 , DOI: 10.1109/TSP.2015.2424194, und wird durch Bezugnahme auf den vorgenannten Artikel Bestandteil hiervon.According to a preferred embodiment, each two-dimensional mathematical model of the stack of the two-dimensional mathematical models is a stochastic model. In particular, the two-dimensional mathematical models of the stack of two-dimensional mathematical models are formed by means of the Gaussian process or Gaussian process functions. A single such two-dimensional mathematical model, which is formed with the help of Gaussian processes, is for example in "Extended Target Tracking Using Gaussian Processes" by Niklas Wahlström and Emre Özkan, IEEE Transactions on Signal Processing, Vol. 63, Issue 16, August 15, 2015 , DOI: 10.1109 / TSP.2015.2424194, and becomes part of it by reference to the aforementioned article.

Vorteilhafterweise ist der Stack der zweidimensionalen mathematischen Modelle des erfindungsgemäßen Verfahrens jedoch nicht auf eine bestimmte Art von zweidimensionalen Modellen bzw. einen bestimmten mathematischen Berechnungsprozess beschränkt.Advantageously, however, the stack of the two-dimensional mathematical models of the method according to the invention is not restricted to a specific type of two-dimensional models or a specific mathematical calculation process.

In einer bevorzugten Ausführungsform ist der Stack der zweidimensionalen mathematischen Modelle bzw. das mehrschichtige zweidimensionale Zielmodell der Erfindung von einem Störparameter (Nuisance-Parameter s) abhängig. D.h. über den Störparameter wird der Stack der zweidimensionalen mathematischen Modelle gesteuert. Als Störparameter kann beispielsweise die Höhe (der z-Wert) eines Punkts der dreidimensionalen Punktwolke eines durch den Stack der zweidimensionalen mathematischen Modelle abgebildeten ausgedehnten, dynamischen Objekts gewählt werden. Dabei wird angenommen, dass jeder Punkt der Punktwolke durch seinen x-Wert, seinen y-Wert und seinen z-Wert in einem dreidimensionalen kartesischen Koordinatensystem definiert ist. Wie bereits erwähnt ist die Punktwolke eine wenigstens dreidimensionale Punktwolke. In a preferred embodiment, the stack of the two-dimensional mathematical models or the multilayer two-dimensional target model of the invention is dependent on an interference parameter (nuance parameter s). That is, the stack of two-dimensional mathematical models is controlled via the disturbance parameter. For example, the height (the z-value) of a point of the three-dimensional point cloud of an extended, dynamic object represented by the stack of the two-dimensional mathematical models can be selected as the interference parameter. It is assumed that each point of the point cloud is defined by its x value, its y value and its z value in a three-dimensional Cartesian coordinate system. As already mentioned, the point cloud is an at least three-dimensional point cloud.

Bei dem Punkt, dessen Höhe gemäß bevorzugter Ausgestaltung den Störparameter definiert, handelt sich vorzugsweise um den Schwerpunkt, insbesondere den geometrischen Schwerpunkt, des abgebildeten ausgedehnten Objekts. Vorzugsweise ist eine Wahrscheinlichkeit (Likelihood), insbesondere Mittelwert und Varianz, des Stacks der zweidimensionalen mathematischen Modelle von dem so definierten/gewählten Störparameter abhängig, sodass Veränderungen im Streubild über dem Stack berücksichtigt werden können. Auf diese Weise kann in dem Stack der zweidimensionalen mathematischen Modelle die Annahme berücksichtigt/modelliert werden, so dass beispielsweise ein Fahrzeug, welches auf einer Höhe von ungefähr 80 cm über dem Boden von dem optoelektronischen Sensor erfasst wird, einen Stack zweidimensionaler mathematischer Modelle mit relativ scharfer Kontur erzeugt, während ein Fahrzeug, welches auf einer Höhe von ungefähr 150 cm über dem Boden von dem optoelektronischen Sensor erfasst wird, einen Stack mit einem stark variierenden Streubild erzeugt. Mit Hilfe des der Höhe des durch den Stack abgebildeten Objekts entsprechenden Störparameters können durch das mehrschichtige zweidimensionale Zielmodell vorteilhafterweise unterschiedliche Arten von Fahrzeugen (vorzugsweise alle Arten von Fahrzeugen) abgebildet werden. D.h. mit dem Stack der zweidimensionalen mathematischen Modelle kann das Durchschnittsscanmuster möglichst aller Fahrzeugarten abgebildet werden.The point, the height of which, according to a preferred embodiment, defines the disturbance parameter, is preferably the center of gravity, in particular the geometric center of gravity, of the extended object depicted. A probability (likelihood), in particular mean value and variance, of the stack of the two-dimensional mathematical models is dependent on the interference parameter defined / selected in this way, so that changes in the scatter pattern over the stack can be taken into account. In this way, the assumption can be taken into account / modeled in the stack of the two-dimensional mathematical models, so that, for example, a vehicle which is detected by the optoelectronic sensor at a height of approximately 80 cm above the ground, a stack of two-dimensional mathematical models with relatively sharp Contour generated, while a vehicle, which is detected at a height of approximately 150 cm above the ground by the optoelectronic sensor, generates a stack with a widely varying scatter pattern. With the aid of the interference parameter corresponding to the height of the object imaged by the stack, different types of vehicles (preferably all types of vehicles) can advantageously be represented by the multilayer two-dimensional target model. I.e. With the stack of two-dimensional mathematical models, the average scan pattern of all types of vehicles can be mapped.

Werden Mittelwert und Varianz des insbesondere mittels Gauß'schem Prozess bzw. Gauß'scher Prozessfunktionen ermittelten mehrschichtigen zweidimensionalen Zielmodells des erfindungsgemäßen Verfahrens in Abhängigkeit von dem als Höhe gewählten Störparameter eingestellt, wie es oben beschrieben wurde, so lassen sich insbesondere für normalverteilte Messungen, d.h. Punkte in der Punktwolke, an der Oberfläche eines sich in der Fahrzeugumgebung befindlichen Objekts Änderungen im Scanmuster auf einfache Weise durch entsprechendes Einstellen/Skalieren des jeweiligen Mittelwerts und der jeweiligen Varianz der einzelnen zweidimensionalen mathematischen Modelle des Stacks berücksichtigen. Bei nicht normalverteilte Messungen können diese durch eine Normalverteilung approximiert werden.If the mean and variance of the multilayer two-dimensional target model of the method according to the invention, determined in particular by means of the Gaussian process or Gaussian process functions, are set as a function of the interference parameter selected as the height, as described above, then in particular for normally distributed measurements, i.e. Points in the point cloud, on the surface of an object in the vehicle environment, take changes in the scan pattern into account in a simple manner by appropriately setting / scaling the respective mean value and the respective variance of the individual two-dimensional mathematical models of the stack. If measurements are not normally distributed, they can be approximated by a normal distribution.

Gemäß weiterer bevorzugter Ausgestaltung wird als Zielverfolgungsfilter ein rekursiver Zielverfolgungsfilter eingesetzt, insbesondere ein Bayes'scher Zielverfolgungsfilter, der von Natur aus rekursiv ist. Bei einem rekursiven Zielverfolgungsfilter wird aus einer vorhandenen A-priori-Verteilung unter Verwendung der empfangenen Messwerte, d.h. der bereitgestellten Punktwolke, eine A-posteriori-Verteilung berechnet. Wie eingangs erwähnt verwendet der Zielverfolgungsfilter den Stack der zweidimensionalen mathematischen Modelle, d.h. das mehrschichtige zweidimensionale Zielmodell, mit welchem ein sich in der Fahrzeugbewegung befindliche ausgedehnte Objekt modelliert wird. Insbesondere wird der Stack der zweidimensionalen mathematischen Modelle von dem Bayes'schen Zielverfolgungsfilter zur Berechnung der A-posteriori-Verteilung, d.h. in dem Schritt der Berechnung der A-posteriori-Verteilung, eingesetzt.According to a further preferred embodiment, a recursive targeting filter is used as the targeting filter, in particular a Bayesian targeting filter which is inherently recursive. In the case of a recursive targeting filter, an existing a priori distribution is converted using the received measured values, i.e. of the provided point cloud, an a posteriori distribution is calculated. As mentioned at the outset, the tracking filter uses the stack of two-dimensional mathematical models, i.e. the multilayered two-dimensional target model, with which an extended object in the vehicle movement is modeled. In particular, the stack of two-dimensional mathematical models is used by the Bayesian tracking filter to calculate the a posteriori distribution, i.e. in the step of calculating the posterior distribution.

Vorzugsweise während dieses Schritts der Berechnung der A-posteriori-Verteilung wird der Stack der zweidimensionalen mathematischen Modelle, d.h. dessen Messgleichung(en), mittels eines zusätzlichen Skalierparameters modifiziert, wobei der Skalierparameter von der Höhe eines jeweiligen Messwerts bzw. Punktes der Punktwolke abhängig ist. Auf diese Weise können Messwerte/Punkte aus dem Inneren eines ausgedehnten, dynamischen Objekts, wie sie insbesondere in oberen und unteren Schichten des mehrschichtigen zweidimensionalen Modells des erfindungsgemäßen Verfahrens auftreten können, und von der Oberfläche des ausgedehnten, dynamischen Objekts für dazwischen liegende Schichten geeignet modelliert werden. Die oberen und unteren Schichten des mehrschichtigen zweidimensionalen Modells modellieren bei einem Fahrzeug insbesondere dessen Fahrzeugkabine und Fahrwerk, welche jedoch beispielsweise für eine Zielverfolgung von geringerer Bedeutung sind. Durch entsprechende Wahl des Skalierparameters können Messwerte/Punkte des Inneren z.B. der Fahrzeugkabine und des Fahrwerks entweder unberücksichtigt bleiben (Skalierparameter = 0) oder an die Außenkontur des Fahrzeugs gezogen werden. D.h. mit dem skalierbaren Parameter werden Messwerte/Punkte aus dem Inneren des ausgedehnten, dynamischen Objekts bei der Bildung des Stacks der zweidimensionalen mathematischen Modelle kompensiert/ausgeglichen. Für ein zweidimensionales mathematisches Modell mit nur einer Schicht ist eine derartige Skalierung mit einem entsprechenden Skalierparameter in „Extended Target Tracking Using Gaussian Processes“ von Niklas Wahlström und Emre Özkan, IEEE Transactions on Signal Processing, Vol. 63, Ausgabe 16, 15. August 2015 , DOI: 10.1109/TSP.2015.2424194, beschrieben. Die in dem vorgenannten Artikel beschriebene Skalierung mit Skalierparameter wird durch Bezugnahme auf den vorgenannten Artikel Bestandteil hiervon.Preferably during this step of calculating the a posteriori distribution, the stack of two-dimensional mathematical models, ie its measurement equation (s), is modified by means of an additional scaling parameter, the scaling parameter being dependent on the height of a respective measured value or point of the point cloud. In this way, measured values / points from the interior of an extended, dynamic object, as can occur in particular in upper and lower layers of the multilayer two-dimensional model of the method according to the invention, and from the surface of the extended, dynamic object can be suitably modeled for layers lying in between . The upper and lower layers of the multi-layer two-dimensional model model a vehicle, in particular its vehicle cabin and chassis, which, however, are of less importance, for example, for target tracking. By appropriately selecting the scaling parameter, measured values / points of the interior, for example of the vehicle cabin and the chassis, can either be disregarded (scaling parameter = 0) or can be drawn to the outside contour of the vehicle. This means that the scalable parameter compensates / compensates measured values / points from the interior of the extended, dynamic object when the stack of the two-dimensional mathematical models is formed. For a two-dimensional mathematical model with only one layer, such scaling with a corresponding scaling parameter is in "Extended Target Tracking Using Gaussian Processes ”by Niklas Wahlström and Emre Özkan, IEEE Transactions on Signal Processing, Vol. 63, Issue 16, August 15, 2015 , DOI: 10.1109 / TSP.2015.2424194. The scaling with scaling parameters described in the aforementioned article becomes part of this by reference to the aforementioned article.

Die vorliegende Erfindung betrifft ferner eine Recheneinrichtung, welche ausgestaltet ist, das erfindungsgemäße Verfahren auszuführen. Die erfindungsgemäße Recheneinrichtung ist vorzugsweise in einem Fahrunterstützungssystem für ein Fahrzeug vorgesehen. Die Erfindung betrifft ferner ein Fahrzeug mit einem solchen Fahrunterstützungssystem, wobei das Fahrzeug zum autonomen Fahren ausgestaltet sein kann. Grundsätzlich kann die Recheneinrichtung der Erfindung auch separat von einem Fahrunterstützungssystem in einem Fahrzeug vorgesehen sein.The present invention further relates to a computing device which is designed to carry out the method according to the invention. The computing device according to the invention is preferably provided in a driving support system for a vehicle. The invention further relates to a vehicle with such a driving support system, wherein the vehicle can be designed for autonomous driving. In principle, the computing device of the invention can also be provided separately from a driving support system in a vehicle.

Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegenden Zeichnungen anhand bevorzugter Ausführungsbeispiele näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.The invention is explained in more detail below with reference to the attached drawings using preferred exemplary embodiments. The features shown can represent an aspect of the invention both individually and in combination. Features of various exemplary embodiments can be transferred from one exemplary embodiment to another.

Es zeigen:

1 eine schematische Darstellung eines Fahrzeugs mit einem Fahrunterstützungssystem, welches eine Recheneinrichtung zur Ausführung des erfindungsgemäßen Verfahrens aufweist, gemäß einer ersten, bevorzugten Ausführungsform;
2 ein Flussdiagramm des erfindungsgemäßen Verfahrens, das mit der Recheneinrichtung des Fahrunterstützungssystems aus 1 durchgeführt wird;
3 eine dreidimensionale Darstellung eines beispielhaften mehrschichtigen zweidimensionalen Zielmodells gemäß der Erfindung; und
4 ein Diagramm der äußeren Drei-Sigma-Grenze (4a) und ein Diagramm der inneren Drei-Sigma-Grenze (4b) eines mehrschichtigen zweidimensionalen Zielmodells gemäß der Erfindung für unterschiedliche Skalierparameter.

Show it:

1 a schematic representation of a vehicle with a driving support system, which has a computing device for performing the method according to the invention, according to a first preferred embodiment;
2nd a flowchart of the method according to the invention, which with the computing device of the driving support system 1 is carried out;
3rd a three-dimensional representation of an exemplary multi-layer two-dimensional target model according to the invention; and
4th a diagram of the outer three sigma limit ( 4a) and a diagram of the inner three sigma limit ( 4b) of a multilayer two-dimensional target model according to the invention for different scaling parameters.

1 zeigt ein Fahrzeug 1 mit einem Fahrunterstützungssystem 2, welches den Fahrer in bestimmten Fahrsituationen wie beispielsweise bei der Vermeidung von Kollisionen mit anderen Verkehrsteilnehmern beim Führen des Fahrzeugs 1 unterstützt, gemäß einer ersten, bevorzugten Ausführungsform der Erfindung. 1 shows a vehicle 1 with a driving support system 2nd , which helps the driver in certain driving situations such as avoiding collisions with other road users while driving the vehicle 1 supports, according to a first preferred embodiment of the invention.

Das Fahrunterstützungssystem 2 ist entsprechend ausgeführt, eine Quer- bzw. Längsführung durchzuführen, indem entsprechend die Lenkung bzw. das Bremssystem und/oder der Antriebsmotor entsprechend gesteuert werden. Die Quer- bzw. Längsführung wird von dem Fahrunterstützungssystem 2 durchgeführt, sodass eine Kollision mit einem ausgedehnten Objekt 3, welches sich in der Umgebung 4 des Fahrzeugs befindet, vermieden oder zumindest eine Aufprallkraft beim Zusammenstoß mit dem ausgedehnten Objekt 3 verringert werden kann.The driving support system 2nd is designed to carry out a transverse or longitudinal guidance by controlling the steering or the braking system and / or the drive motor accordingly. The lateral or longitudinal guidance is provided by the driving support system 2nd performed, causing a collision with an extended object 3rd which is in the area 4th of the vehicle is avoided, or at least an impact force when colliding with the extended object 3rd can be reduced.

Bei dem ausgedehnten Objekt 3 handelt es sich insbesondere um ein dynamisches/bewegliches Objekt, wie einen anderen Verkehrsteilnehmer. Insbesondere beim autonomen Fahren kann das Fahrunterstützungssystem 2 das Fahrzeug 1 bzw. dessen Lenkung, Bremssystem und/oder Antriebsmotor auch derart steuern, dass es einem das Objekt 3 repräsentierenden, vorausfahrenden Fahrzeug folgt.With the extended object 3rd it is in particular a dynamic / moving object, like another road user. The driving support system can be particularly useful for autonomous driving 2nd the vehicle 1 or control the steering, braking system and / or drive motor in such a way that the object 3rd representing vehicle in front follows.

Das Fahrunterstützungssystem 2 weist einen optoelektronischen Sensor 5 auf, der ausgestaltet ist, ein oder mehrere sich in der Umgebung 4 des Fahrzeugs 1 befindliche ausgedehnte Objekte 3 zu erfassen, die gemeinsam eine Punktwolke bilden. Der optoelektronische Sensor 5 erfasst die ausgedehnten Objekte 3 mit ihrem Abstand zum Fahrzeug 1, d.h. deren relative Position in drei Raumdimensionen. In einer alternativen Ausführungsform kann zusätzlich eine Geschwindigkeit der ausgedehnten Objekte 3 erfasst werden, beispielsweise bei Verwendung eines Radar-Sensors, oder durch eine Betrachtung eines Veränderung einer Position der ausgedehnten Objekte 3 in zeitlich nachfolgenden Messungen mit dem optoelektronischen Sensor 5. Bei der erfassten Geschwindigkeit handelt es sich insbesondere um die relative Geschwindigkeit des ausgedehnten Objekts 3 bezogen auf das Fahrzeug 1.The driving support system 2nd has an optoelectronic sensor 5 on, which is designed one or more in the area 4th of the vehicle 1 extensive objects located 3rd to be recorded, which together form a point cloud. The optoelectronic sensor 5 captures the extended objects 3rd with their distance from the vehicle 1 , ie their relative position in three spatial dimensions. In an alternative embodiment, a speed of the expanded objects can additionally 3rd are detected, for example when using a radar sensor, or by observing a change in a position of the extended objects 3rd in subsequent measurements with the optoelectronic sensor 5 . The detected speed is in particular the relative speed of the extended object 3rd related to the vehicle 1 .

Der optoelektronische Sensor 5 umfasst eine Sendeeinrichtung 6, mittels welcher Lichtpulse als Sendesignale in einem vorbestimmten Winkelbereich 12 ausgesendet werden, wie durch den Pfeil 8 in 1 dargestellt ist. Der optoelektronische Sensor 5 umfasst ferner eine Empfangseinrichtung 7, mittels welcher Reflektionen der ausgesendeten Lichtpulse an dem Objekt 3 empfangen werden, wie durch den Pfeil 9 in 1 dargestellt ist. Weiter umfasst der optoelektronische Sensor 5 eine Ausgabeeinheit 10, mittels welcher der optoelektronische Sensor 5 Messwerte an das Fahrunterstützungssystem 2 bzw. an eine vorzugsweise in dem Fahrunterstützungssystem 2 vorgesehene Recheneinrichtung 11 ausgibt. Dazu sind der optoelektronische Sensor 5 und die in dem Fahrunterstützungssystem 2 vorgesehene Recheneinrichtung 11 über einen Kommunikationsbus, der beispielsweise ein CAN-Bus ist, miteinander verbunden.The optoelectronic sensor 5 includes a transmitter 6 , by means of which light pulses as transmission signals in a predetermined angular range 12th be sent out as by the arrow 8th in 1 is shown. The optoelectronic sensor 5 further comprises a receiving device 7 , by means of which reflections of the emitted light pulses on the object 3rd be received as by the arrow 9 in 1 is shown. The optoelectronic sensor also includes 5 an output unit 10th , by means of which the optoelectronic sensor 5 Measured values to the driving support system 2nd or to a preferably in the driving support system 2nd provided computing device 11 issues. For this are the optoelectronic sensor 5 and those in the driving support system 2nd provided computing device 11 connected to each other via a communication bus, which is, for example, a CAN bus.

Der optoelektronische Sensor 5 ist in diesem Ausführungsbeispiel als Lidar-Sensor ausgebildet. Der optoelektronische Sensor 5 stellt seine Messwerte somit als dreidimensionale Punktwolke, welche die Umgebung 4 des Fahrzeugs 1 und somit die in dieser enthaltenen Objekte 3 repräsentiert, der Recheneinrichtung 11 zur Verfügung. Dies entspricht dem ersten Schritt S1 des das erfindungsgemäße Verfahren darstellenden Flussdiagramms von 2. In Schritt S1 des erfindungsgemäßen Verfahrens wird also der Recheneinrichtung 11 eine dreidimensionale Punktwolke bereitgestellt, welche die Fahrzeugumgebung 4 einschließlich der in dieser vorhandenen Objekte 3 repräsentiert. In einer alternativen Ausführungsform ist der optoelektronische Sensor 5 als Radar-Sensor ausgeführt. The optoelectronic sensor 5 is designed as a lidar sensor in this embodiment. The optoelectronic sensor 5 thus represents its measured values as a three-dimensional point cloud representing the surroundings 4th of the vehicle 1 and thus the objects contained in it 3rd represents the computing device 11 to disposal. This corresponds to the first step S1 of the flowchart of the method according to the invention of 2nd . In step S1 the method of the invention is the computing device 11 a three-dimensional point cloud is provided which represents the vehicle environment 4th including the objects present in this 3rd represents. In an alternative embodiment, the optoelectronic sensor 5 designed as a radar sensor.

Im sich daran anschließenden Schritt S2 des erfindungsgemäßen Verfahrens werden die in der Umgebung 4 des Fahrzeug 1 vorhandenen und in der von dem optoelektronischen Sensor 5 bereitgestellten dreidimensionalen Punktwolke durch Punkte repräsentierten einen oder mehreren ausgedehnten Objekte 3 jeweils durch einen Stack von zweidimensionalen mathematischen Modellen abgebildet, d.h. jeweils durch ein mehrschichtiges zweidimensionales Zielmodell. Durch das mehrschichtige zweidimensionale Zielmodell können Form und Kinematik der ausgedehnten Objekte 3 geschätzt werden. Das Verfahren kann dabei sowohl für dynamische wie auch für nicht dynamische, also statische Objekte 3 durchgeführt werden. Schritt S2 wird von der Recheneinrichtung 11 ausgeführt.In the subsequent step S2 of the method according to the invention are those in the environment 4th of the vehicle 1 existing and in that of the optoelectronic sensor 5 provided three-dimensional point cloud by points represented one or more extended objects 3rd each represented by a stack of two-dimensional mathematical models, ie in each case by a multi-layer two-dimensional target model. The multi-layered two-dimensional target model enables the shape and kinematics of the extended objects 3rd to be appreciated. The method can be used for both dynamic and non-dynamic, i.e. static objects 3rd be performed. step S2 is from the computing device 11 executed.

Das mehrschichtige zweidimensionale Zielmodell wird vorzugsweise mittels Gauß'schem Prozess bzw. Gauß'scher Prozessfunktionen realisiert. 3 zeigt ein entsprechendes beispielhaftes mehrschichtiges zweidimensionales Zielmodell gemäß der Erfindung, welches ein ausgedehntes Objekt 3 in der Fahrzeugumgebung 4 darstellt. Die durchgezogenen Linien stellen die erwarteten Mittelwerte der radialen Gauß'schen Prozessfunktionen für die jeweiligen Schichten des mehrschichtigen zweidimensionalen Zielmodells dar. Die gepunkteten Linien stellen die entsprechenden äußeren drei-Sigma-Grenzen (Three-Sigma Limits, Three-Sigma Bounds) der Kovarianzen der Gauß'schen Prozessfunktionen dar, die auch als Kernel bezeichnet werden. Dabei ist mit dem Begriff „Sigma“ die Standardabweichung gemeint. Wie aus 3 erkennbar ist, modelliert jede Schicht des mehrschichtigen zweidimensionalen Zielmodells vorzugsweise eine horizontale Ebene/einen horizontalen Schnitt des abgebildeten ausgedehnten Objekts 3, wobei die einzelnen Schichten in vertikaler Richtung, d.h. in Richtung der Höhe des Objekts 3, übereinander angeordnet sind.The multilayered two-dimensional target model is preferably implemented by means of the Gaussian process or Gaussian process functions. 3rd shows a corresponding exemplary multi-layer two-dimensional target model according to the invention, which is an extended object 3rd in the vehicle environment 4th represents. The solid lines represent the expected mean values of the radial Gaussian process functions for the respective layers of the multilayer two-dimensional target model. The dotted lines represent the corresponding outer three-sigma limits (three-sigma limits, three-sigma bounds) of the covariances of the Gaussian '' represent process functions, which are also referred to as kernels. The term “sigma” means the standard deviation. How out 3rd is recognizable, each layer of the multilayered two-dimensional target model preferably models a horizontal plane / a horizontal section of the expanded object depicted 3rd , with the individual layers in the vertical direction, ie in the direction of the height of the object 3rd , are arranged one above the other.

In Schritt S3 des in 2 als Flussdiagramm dargestellten erfindungsgemäßen Verfahrens wird wenigstens eines der ausgedehnten Objekte 3 durch Schätzung von dessen Zustand mit Hilfe eines vorzugsweise Bayes'schen Zielverfolgungsfilters verfolgt, welcher den für das jeweilige Objekt 3 gebildeten Stack der zweidimensionalen mathematischen Modelle verwendet. D.h. das in dem vorhergehenden Schritt S2 gebildete mehrschichtige zweidimensionale Zielmodell, wie es beispielhaft in 3 dargestellt ist, wird zur Verfolgung von dem entsprechenden ausgedehnten Objekt 3 mittels eines Bayes'schen Zielverfolgungsfilters eingesetzt. Dabei wird das mehrschichtige zweidimensionale Zielmodell von dem Bayes'schen Zielverfolgungsfilter vorzugsweise in dem Berechnungsschritt zur Berechnung der A-Posteriori-Verteilung eingesetzt. Verfahrensschritt S3 wird von der Recheneinrichtung 11 ausgeführt.In step S3 of in 2nd At least one of the extended objects becomes at least one of the extended objects 3rd by estimating its state with the aid of a preferably Bayesian targeting filter which tracks that for the respective object 3rd formed stack of two-dimensional mathematical models used. That is in the previous step S2 formed multilayered two-dimensional target model, as exemplified in 3rd is shown for tracking the corresponding expanded object 3rd using a Bayesian tracking filter. The multilayered two-dimensional target model from the Bayesian tracking filter is preferably used in the calculation step for calculating the posterior distribution. Procedural step S3 is from the computing device 11 executed.

Um Messwerte/Punkte der dreidimensionalen Punktwolke, die einem Inneren eines ausgedehnten Objekts 3 entsprechen und die für die Zielverfolgung von geringer Relevanz sind, zu kompensieren, wird das mehrschichtige zweidimensionale Zielmodell der Erfindung vorzugsweise mittels eines zusätzlichen Skalierparameters modifiziert. Der Skalierparameter kann für jede Schicht des mehrschichtigen zweidimensionalen Zielmodells unterschiedlich gewählt werden. So treten beispielsweise in oberen Schichten, die beispielsweise eine Fahrerkabine modellieren, und in unteren Schichten, die beispielsweise ein Fahrwerk modellieren, naturgemäß mehr ein Inneres/einen Innenraum betreffende Messwerte/Punkte auf, als in dazwischenliegenden Schichten. D.h. der Skalierparameter ist vorzugsweise von der Höhe eines Punktes der Punktwolke, die von dem optoelektronischen Sensor 5 der Recheneinrichtung 11 bereitgestellt wird, abhängig.To measured values / points of the three-dimensional point cloud, the interior of an extended object 3rd correspond and which are of little relevance for target tracking, the multilayer two-dimensional target model of the invention is preferably modified by means of an additional scaling parameter. The scaling parameter can be selected differently for each layer of the multi-layer two-dimensional target model. For example, in upper layers, which model a driver's cabin, for example, and in lower layers, which model a chassis, for example, there are naturally more measured values / points relating to an interior than to layers in between. Ie the scaling parameter is preferably the height of a point of the point cloud, that of the optoelectronic sensor 5 the computing device 11 is provided depending.

4a) und 4b) zeigen die äußeren Drei-Sigma-Grenzen (4a)) und die inneren Drei-Sigma-Grenzen (4b)) für unterschiedliche Skalierparameter. 4a) and 4b) show the outer three sigma limits ( 4a) ) and the inner three sigma limits ( 4b) ) for different scaling parameters.

BezugszeichenlisteReference symbol list

11: Fahrzeugvehicle
22nd: FahrunterstützungssystemDriving support system
33rd: ausgedehntes Objektextended object
44th: UmgebungSurroundings
55: optoelektronischer Sensoroptoelectronic sensor
66: SendeeinrichtungSending device
77: EmpfangseinrichtungReceiving device
88th: Pfeil, Aussenderichtung LichtstrahlArrow, direction of light beam
99: Pfeil, Richtung reflektierter LichtstrahlArrow, direction of reflected light beam
10 10th: AusgabeeinheitOutput unit
1111: RecheneinrichtungComputing device
1212: vorbestimmter Winkelbereichpredetermined angular range

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturNon-patent literature cited

"EM approach for tracking star-convex extended objects" by Hauke Kaulbersch et al., Proceedings of the 20th International Conference on Information Fusion, 10-13. July 2017 [0008]
"Tracking rectangular and elliptical extended targets using laser measurements" by Karl Granström et al., Proceedings of the 14th International Conference on Information Fusion, 5-8. July 2011 [0009]
"A direct scattering model for tracking vehicles with high-resolution radars" by Christina Knill et al., Proceedings of the IEEE Intelligent Vehicles Symposium (IV), 19.-22. June 2016 [0010]
"Level-set random hypersurface models for tracking nonconvex extended objects" by Antonio Zea et al., IEEE Transactions on Aerospace and Electronic Systems, Vol. 52, Edition 6, December 2016 [0011]
"Extended Object Tracking with Random Hypersurface Models" by Markus Baum and Uwe D. Hanebeck, IEEE Transactions on Aerospace and Electronic Systems, Vol. 50, Issue 1, January 2014 [0012]
"Occupancy grid map-based extended object tracking" by Markus Schütz et al., Proceedings of the IEEE Intelligent Vehicles Symposium, 8-11. June 2014 [0013]
"Extended Target Tracking Using Gaussian Processes" by Niklas Wahlström and Emre Özkan, IEEE Transactions on Signal Processing, Vol. 63, Issue 16, August 15, 2015 [0014, 0024, 0030]
"Tracking Multiple Vehicles Using a Variational Radar Model" by Alexander Scheel and Klaus Dietmayer, https://arxiv.org/abs/1711.03799, November 10, 2017 [0015]

Claims

Method for tracking an extended object (3) which is located in an environment (4) of a vehicle (1), with the following steps: - Providing a point cloud, which represents the surroundings (4) of a vehicle (1), - Representation of the extended objects (3) present in the surroundings (4) of the vehicle (1) and represented in the provided point cloud by points, each by a stack of two-dimensional mathematical models, by which shape and kinematics of the one or more extended objects ( 3) be estimated - Tracking the expanded object (3) by estimating the state of the expanded object (3) using a tracking filter that uses the stack of two-dimensional mathematical models.

Procedure according to Claim 1 , characterized in that each two-dimensional mathematical model of the stack of two-dimensional mathematical models is a stochastic model.

Procedure according to Claim 1 or 2nd , characterized in that the stack of two-dimensional mathematical models is dependent on an interference parameter.

Procedure according to Claim 3 , characterized in that the interference parameter is the height of an extended, dynamic object (3) represented by the stack of the two-dimensional mathematical models.

Procedure according to Claim 3 or 4th , characterized in that a probability, in particular mean value and variance, of the stack of the two-dimensional mathematical models is dependent on the interference parameter.

Method according to one of the preceding claims, characterized in that the two-dimensional mathematical models of the stack of two-dimensional mathematical models are formed by means of a Gaussian process or a spline model.

Method according to one of the preceding claims, characterized in that a recursive targeting filter is used as the targeting filter.

Procedure according to Claim 7 , characterized in that a Bayesian tracking filter is used as the tracking filter.

Procedure according to Claim 8 , characterized in that the stack of two-dimensional mathematical models is used by the Bayesian tracking filter to calculate the a posteriori distribution.

Procedure according to Claim 9 , characterized in that the stack of the two-dimensional mathematical models is modified by means of an additional scaling parameter, the scaling parameter being dependent on the height of a point of the point cloud.

Method according to one of the preceding claims, characterized in that at least the extended object (3) is a preceding, following or laterally located vehicle.

Method according to one of the preceding claims, characterized in that the method comprises tracking a plurality of extended objects (3) which are located in an environment (4) of a vehicle (1).

Computing device (11) which is designed to carry out the method according to one of the preceding claims.

Driving support system (2) for a vehicle (1) with a computing device (11) Claim 13 .

Vehicle with a driving support system (2) Claim 14 .