DE102020203828A1 - Method for recognizing the surroundings of a vehicle - Google Patents

Method for recognizing the surroundings of a vehicle Download PDF

Info

Publication number
DE102020203828A1
DE102020203828A1 DE102020203828.7A DE102020203828A DE102020203828A1 DE 102020203828 A1 DE102020203828 A1 DE 102020203828A1 DE 102020203828 A DE102020203828 A DE 102020203828A DE 102020203828 A1 DE102020203828 A1 DE 102020203828A1
Authority
DE
Germany
Prior art keywords
hypotheses
vehicle
sensor
sensor data
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020203828.7A
Other languages
German (de)
Inventor
Stephan Reuter
Thomas Gussner
Andreas Heyl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102020203828.7A priority Critical patent/DE102020203828A1/en
Publication of DE102020203828A1 publication Critical patent/DE102020203828A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6288Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/04Architectures, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/08Learning methods

Abstract

Die vorliegende Erfindung betrifft ein Verfahren (400) zum Erkennen einer Umgebung eines Fahrzeugs (100), wobei das Fahrzeug (100) eine Sensorik mit mindestens zwei Sensoreinheiten (104, 106, 108) zum Erfassen der Umgebung des Fahrzeugs (100) und eine Auswerteeinheit (110) zum Auswerten von Sensordaten (112) der Sensorik aufweist. Das Verfahren (400) umfasst die folgenden Schritte: Empfangen (410) von durch die mindestens zwei Sensoreinheiten (104, 106, 108) erzeugten Sensordaten (112) in der Auswerteeinheit (110); Eingeben (420) der Sensordaten (112) in einen Fusionsalgorithmus, der konfiguriert ist, um basierend auf den Sensordaten (112) Wahrscheinlichkeitsverteilungen in Bezug auf Merkmale von Objekten (113) in der Umgebung des Fahrzeugs (100) zu bestimmen und basierend auf den Wahrscheinlichkeitsverteilungen den Objekten (113) zugeordnete erste Objekthypothesen (204) zu erzeugen und auszugeben; Eingeben (420) der Sensordaten (112) in einen Machine-Learning-Algorithmus, der darauf trainiert wurde, basierend auf den Sensordaten (112) den Objekten (113) zugeordnete zweite Objekthypothesen (206) zu erzeugen und auszugeben; Entscheiden (430), ob die ersten Objekthypothesen (204) verworfen werden sollen oder nicht; wenn die ersten Objekthypothesen (204) nicht verworfen werden sollen: Verwenden (440) der ersten Objekthypothesen (204) zum Aktualisieren eines die Umgebung des Fahrzeugs (100) repräsentierenden Umgebungsmodells; wenn die ersten Objekthypothesen (204) verworfen werden sollen: Verwenden (450) der zweiten Objekthypothesen (206) zum Aktualisieren des Umgebungsmodells.The present invention relates to a method (400) for detecting the surroundings of a vehicle (100), the vehicle (100) having a sensor system with at least two sensor units (104, 106, 108) for detecting the surroundings of the vehicle (100) and an evaluation unit (110) for evaluating sensor data (112) of the sensor system. The method (400) comprises the following steps: receiving (410) sensor data (112) generated by the at least two sensor units (104, 106, 108) in the evaluation unit (110); Inputting (420) the sensor data (112) into a fusion algorithm which is configured to determine probability distributions with respect to features of objects (113) in the vicinity of the vehicle (100) based on the sensor data (112) and based on the probability distributions to generate and output first object hypotheses (204) assigned to the objects (113); Inputting (420) the sensor data (112) into a machine learning algorithm which has been trained to generate and output second object hypotheses (206) assigned to the objects (113) based on the sensor data (112); Deciding (430) whether or not to reject the first object hypotheses (204); if the first object hypotheses (204) are not to be discarded: using (440) the first object hypotheses (204) to update an environment model representing the environment of the vehicle (100); if the first object hypotheses (204) are to be rejected: using (450) the second object hypotheses (206) to update the environment model.

Description

  • Gebiet der ErfindungField of invention
  • Die Erfindung betrifft ein Verfahren zum Erkennen einer Umgebung eines Fahrzeugs. Des Weiteren betrifft die Erfindung eine Auswerteeinheit, ein Computerprogramm und ein computerlesbares Medium zum Ausführen des Verfahrens sowie ein entsprechendes Fahrzeugsystem.The invention relates to a method for recognizing the surroundings of a vehicle. The invention also relates to an evaluation unit, a computer program and a computer-readable medium for carrying out the method, as well as a corresponding vehicle system.
  • Stand der TechnikState of the art
  • Zum Erkennen einer Umgebung eines Fahrzeugs können Sensordaten unterschiedlicher Sensoren des Fahrzeugs mittels geeigneter Algorithmen in einer gemeinsamen Repräsentation der Umgebung zusammengeführt werden, was auch als Sensordatenfusion bezeichnet wird. Ziel der Sensordatenfusion ist es, die jeweiligen Sensordaten so zusammenzuführen, dass jeweilige Stärken der Sensoren gewinnbringend miteinander kombiniert bzw. jeweilige Schwächen der Sensoren reduziert werden. Bei einer solchen Sensordatenfusion kann beispielsweise ein Kalman-Filter verwendet werden, dessen Erkennungsleistung in bestimmten Situationen eingeschränkt sein kann.In order to identify the surroundings of a vehicle, sensor data from different sensors of the vehicle can be merged by means of suitable algorithms in a common representation of the surroundings, which is also referred to as sensor data fusion. The aim of the sensor data fusion is to merge the respective sensor data in such a way that respective strengths of the sensors are profitably combined with one another or respective weaknesses of the sensors are reduced. In such a sensor data fusion, for example, a Kalman filter can be used, the detection performance of which can be restricted in certain situations.
  • Offenbarung der ErfindungDisclosure of the invention
  • Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, eine Auswerteeinheit, ein Computerprogramm und ein computerlesbares Medium gemäß den unabhängigen Ansprüchen vorgestellt. Vorteilhafte Weiterbildungen und Verbesserungen des hier vorgestellten Ansatzes ergeben sich aus der Beschreibung und sind in den abhängigen Ansprüchen beschrieben.Against this background, the approach presented here presents a method, an evaluation unit, a computer program and a computer-readable medium according to the independent claims. Advantageous developments and improvements of the approach presented here emerge from the description and are described in the dependent claims.
  • Vorteile der ErfindungAdvantages of the invention
  • Ausführungsformen der vorliegenden Erfindung ermöglichen es in vorteilhafter Weise, die Robustheit einer Sensordatenfusion zu erhöhen, indem ein auf einem probabilistischen Modell beruhender Fusionsalgorithmus mit einem Machine-Learning-Algorithmus zur Mustererkennung kombiniert wird. Dadurch können beispielsweise falsch positive oder falsch negative Erkennungsergebnisse vermieden werden.Embodiments of the present invention advantageously make it possible to increase the robustness of a sensor data fusion by combining a fusion algorithm based on a probabilistic model with a machine learning algorithm for pattern recognition. In this way, for example, false positive or false negative recognition results can be avoided.
  • Ein weiterer Vorteil ist, dass der Machine-Learning-Algorithmus beispielsweise nur dann zum Einsatz kommen kann, wenn die Erkennungsleistung des Fusionsalgorithmus an ihre Grenzen stößt, d. h., wenn dieser ungewisse, zweideutige oder widersprüchliche Ergebnisse liefert. In diesem Fall braucht der Machine-Learning-Algorithmus nur mit einem vergleichsweise kleinen Satz an Trainingsdaten trainiert zu werden.Another advantage is that the machine learning algorithm can only be used, for example, when the detection performance of the fusion algorithm reaches its limits, i.e. that is, if this produces uncertain, ambiguous or contradicting results. In this case, the machine learning algorithm only needs to be trained with a comparatively small set of training data.
  • Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Erkennen einer Umgebung eines Fahrzeugs, wobei das Fahrzeug eine Sensorik mit mindestens zwei Sensoreinheiten zum Erfassen der Umgebung des Fahrzeugs und eine Auswerteeinheit zum Auswerten von Sensordaten der Sensorik aufweist. Das Verfahren umfasst folgende Schritte, die insbesondere in der angegebenen Reihenfolge ausgeführt werden können: Empfangen von durch die mindestens zwei Sensoreinheiten erzeugten Sensordaten in der Auswerteeinheit; Eingeben der Sensordaten in einen Fusionsalgorithmus, der konfiguriert ist, um basierend auf den Sensordaten Wahrscheinlichkeitsverteilungen in Bezug auf Merkmale von Objekten in der Umgebung des Fahrzeugs zu bestimmen und basierend auf den Wahrscheinlichkeitsverteilungen den Objekten zugeordnete erste Objekthypothesen zu erzeugen und auszugeben; Eingeben der Sensordaten in einen Machine-Learning-Algorithmus, der darauf trainiert wurde, basierend auf den Sensordaten den Objekten zugeordnete zweite Objekthypothesen zu erzeugen und auszugeben; Entscheiden, ob die ersten Objekthypothesen verworfen werden sollen oder nicht; wenn die ersten Objekthypothesen nicht verworfen werden sollen: Verwenden der ersten Objekthypothesen zum Aktualisieren eines die Umgebung des Fahrzeugs repräsentierenden Umgebungsmodells; wenn die ersten Objekthypothesen verworfen werden sollen: Verwenden der zweiten Objekthypothesen zum Aktualisieren des Umgebungsmodells.A first aspect of the invention relates to a computer-implemented method for recognizing the surroundings of a vehicle, the vehicle having a sensor system with at least two sensor units for detecting the surroundings of the vehicle and an evaluation unit for evaluating sensor data from the sensor system. The method comprises the following steps, which can in particular be carried out in the specified sequence: receiving sensor data generated by the at least two sensor units in the evaluation unit; Inputting the sensor data into a fusion algorithm which is configured to determine probability distributions with respect to features of objects in the vicinity of the vehicle based on the sensor data and to generate and output first object hypotheses assigned to the objects based on the probability distributions; Inputting the sensor data into a machine learning algorithm which has been trained to generate and output second object hypotheses assigned to the objects based on the sensor data; Deciding whether or not to reject the first object hypotheses; if the first object hypotheses are not to be discarded: using the first object hypotheses to update an environment model representing the environment of the vehicle; if the first object hypotheses are to be rejected: using the second object hypotheses to update the environment model.
  • Unter einem Fahrzeug kann im Allgemeinen eine sich teil- oder vollautomatisiert bewegende Maschine verstanden werden. Beispielsweise kann das Fahrzeug ein Pkw, Lkw, Bus, ein Motorrad, ein Roboter oder Ähnliches sein.A vehicle can generally be understood as a partially or fully automated moving machine. For example, the vehicle can be a car, truck, bus, motorcycle, robot or the like.
  • Das Fahrzeug kann ein Fahrzeugsystem umfassen, das ausgeführt ist, um das Fahrzeug teil- oder vollautomatisiert zu steuern. Hierzu kann das Fahrzeugsystem eine entsprechende Aktorik des Fahrzeugs, wie Lenk- oder Bremsaktoren oder ein Motorsteuergerät, ansteuern.The vehicle can include a vehicle system that is designed to control the vehicle in a partially or fully automated manner. For this purpose, the vehicle system can control corresponding actuators in the vehicle, such as steering or brake actuators or an engine control unit.
  • Eine Sensoreinheit kann beispielsweise ein Radar-, Lidar-, Ultraschallsensor oder eine Kamera sein. Die Sensorik kann gleichartige (beispielsweise redundante) oder verschiedenartige (beispielsweise komplementäre) Sensoreinheiten umfassen. Denkbar ist beispielsweise eine Kombination eines Radarsensors mit einer Kamera oder eine Kombination mehrerer Radarsensoren mit unterschiedlichen Erfassungsrichtungen. Beispielsweise kann die Sensorik auch drei oder mehr Sensoreinheiten bzw. Sensortypen umfassen.A sensor unit can be, for example, a radar, lidar, ultrasonic sensor or a camera. The sensor system can include similar (for example redundant) or different (for example complementary) sensor units. For example, a combination of a radar sensor with a camera or a combination of several radar sensors with different detection directions is conceivable. For example, the sensor system can also include three or more sensor units or sensor types.
  • Die Sensordaten können durch die jeweilige Sensoreinheit erkannte Merkmale wie etwa Position, Geschwindigkeit, Beschleunigung, Ausdehnung oder Objektkategorie von Objekten in der Umgebung des Fahrzeugs umfassen. Die Merkmale können aus Rohdaten der jeweiligen Sensoreinheit extrahiert worden sein.The sensor data can recognize features such as position, speed, acceleration, expansion by the respective sensor unit or object category of objects in the vicinity of the vehicle. The features can have been extracted from raw data of the respective sensor unit.
  • Zur Erkennung der Umgebung des Fahrzeugs können die Sensordaten miteinander fusioniert werden. Unter einer solchen Sensordatenfusion kann ein Vorgang verstanden werden, bei dem Informationen unterschiedlicher Sensoreinheiten bzw. Sensortypen genutzt werden, um Objekte in der Umgebung des Fahrzeugs zu detektieren und zu klassifizieren (auch Objekt-Diskriminierung genannt) und jeweilige Zustände der Objekte zu schätzen, d. h. mit einer gewissen Wahrscheinlichkeit vorherzusagen (auch Track-Schätzung genannt).The sensor data can be merged with one another to identify the surroundings of the vehicle. Such a sensor data fusion can be understood as a process in which information from different sensor units or sensor types is used to detect and classify objects in the vicinity of the vehicle (also called object discrimination) and to estimate the respective states of the objects, i.e. H. predict with a certain probability (also called track estimation).
  • Unter einer Objekthypothese kann ein Modell eines realen, in der Umgebung des Fahrzeugs befindlichen Objekts, etwa ein beobachtetes Fahrzeug, eine Straßenmarkierung, ein Fußgänger oder Ähnliches, verstanden werden. Die Objekthypothesen können in einem die Umgebung des Fahrzeugs repräsentierenden Umgebungsmodell hinterlegt sein. Das Umgebungsmodell kann basierend auf den Sensordaten fortlaufend aktualisiert werden, indem prädizierte Zustände der Objekte mit aktuellen Messungen abgeglichen werden. An object hypothesis can be understood to be a model of a real object located in the vicinity of the vehicle, for example an observed vehicle, a road marking, a pedestrian or the like. The object hypotheses can be stored in an environment model representing the environment of the vehicle. The environment model can be continuously updated based on the sensor data by comparing the predicted states of the objects with current measurements.
  • Bei dem Fusionsalgorithmus kann es sich beispielsweise um einen Bayes-Filter, Kalman-Filter oder Partikelfilter oder eine Kombination aus mindestens zwei der genannten Beispiele handeln. Beispielsweise kann der Fusionsalgorithmus konfiguriert sein, um eine Mehrzahl von Zuordnungsmatrizen, die jeweils mögliche Zuordnungen zwischen Merkmalen, genauer Merkmalhypothesen, und Objekthypothesen beschreiben und gewichten, zu generieren und aus diesen Zuordnungsmatrizen eine geeignete Zuordnungsmatrix zum Aktualisieren des Umgebungsmodells auszuwählen (auch Multihypothesenansatz genannt).The fusion algorithm can be, for example, a Bayesian filter, Kalman filter or particle filter or a combination of at least two of the examples mentioned. For example, the fusion algorithm can be configured to generate a plurality of assignment matrices that describe and weight possible assignments between features, more precisely feature hypotheses, and object hypotheses, and to select a suitable assignment matrix for updating the environment model from these assignment matrices (also called multi-hypothesis approach).
  • Der Machine-Learning-Algorithmus kann einen Klassifikator umfassen, in den die Sensordaten eingegeben werden können, um Merkmale der Objekte bestimmten Objektklassen zuzuordnen.The machine learning algorithm can include a classifier into which the sensor data can be entered in order to assign features of the objects to specific object classes.
  • Bei dem Machine-Learning-Algorithmus kann es sich um ein künstliches neuronales Netz wie etwa ein mehrschichtiges Perzeptron, ein rekurrentes neuronales Netz, ein neuronales Netz mit Long short-term memory oder ein Convolutional Neural Network handeln. Es kann sich dabei jedoch auch um einen Bayes-Klassifikator, eine Support Vector Machine, einen k-Nearest-Neighbor-Algorithmus, einen Entscheidungsbaum, einen Random Forest oder um eine Kombination aus mindestens zwei der genannten Beispiele handeln.The machine learning algorithm can be an artificial neural network such as a multilayer perceptron, a recurrent neural network, a neural network with long short-term memory or a convolutional neural network. However, it can also be a Bayesian classifier, a support vector machine, a k-nearest neighbor algorithm, a decision tree, a random forest or a combination of at least two of the examples mentioned.
  • Der Machine-Learning-Algorithmus kann beispielsweise nur dann aktiviert werden, wenn der Fusionsalgorithmus ungewisse, zweideutige oder widersprüchliche Ergebnisse liefert.For example, the machine learning algorithm can only be activated if the fusion algorithm delivers uncertain, ambiguous or contradicting results.
  • Anders ausgedrückt kann der Fusionsalgorithmus für einen Großteil zu erkennender Situationen verwendet werden, während der Machine-Learning-Algorithmus nur in besonderen Fällen zum Einsatz kommen kann, etwa bei Situationen, die der Fusionsalgorithmus nicht eindeutig erkennen kann. Dies hat den Vorteil, dass der Machine-Learning-Algorithmus mit verhältnismäßig geringem Aufwand trainiert werden kann. Zudem kann das System dadurch einfach erweitert werden.In other words, the fusion algorithm can be used for a large number of situations to be recognized, while the machine learning algorithm can only be used in special cases, for example in situations that the fusion algorithm cannot clearly recognize. This has the advantage that the machine learning algorithm can be trained with relatively little effort. In addition, the system can be easily expanded as a result.
  • Es ist möglich, dass der Machine-Learning-Algorithmus den Fusionsalgorithmus in entsprechender Weise beeinflusst, etwa durch Auswählen oder Ändern von Objekthypothesen, die durch den Fusionsalgorithmus erzeugt werden, oder durch Hinzufügen neuer Objekthypothesen.It is possible for the machine learning algorithm to influence the fusion algorithm in a corresponding manner, for example by selecting or changing object hypotheses that are generated by the fusion algorithm, or by adding new object hypotheses.
  • Auch ist es möglich, dass die Sensordaten in mindestens zwei verschiedene Machine-Learning-Algorithmen eingegeben werden. Dabei können die mindestens zwei Machine-Learning-Algorithmen mit voneinander abweichenden Trainingsdaten trainiert worden sein.It is also possible for the sensor data to be entered into at least two different machine learning algorithms. The at least two machine learning algorithms can have been trained with training data that differ from one another.
  • Ob die ersten Objekthypothesen verworfen werden sollen oder nicht, kann beispielsweise anhand einer jeweiligen Vertrauenswürdigkeit der ersten Objekthypothesen bestimmt werden. Die Vertrauenswürdigkeit kann abhängig von statistischen Parametern wie etwa einer Kovarianz, einem Vertrauensniveau oder einer (mittleren) Existenzwahrscheinlichkeit oder auch davon, ob die Sensoreinheiten miteinander übereinstimmende oder voneinander abweichende Ergebnisse liefern, ermittelt werden. Prinzipiell kann die Vertrauenswürdigkeit als ein Maß für eine Übereinstimmung der jeweiligen ersten Objekthypothese mit einem realen Objekt aufgefasst werden.Whether or not the first object hypotheses should be discarded can be determined, for example, on the basis of the respective trustworthiness of the first object hypotheses. The trustworthiness can be determined as a function of statistical parameters such as, for example, a covariance, a level of confidence or a (average) probability of existence, or also on whether the sensor units provide results that match or differ from one another. In principle, the trustworthiness can be understood as a measure of a match between the respective first object hypothesis and a real object.
  • Beispielsweise können die ersten Objekthypothesen hierzu mit den zweiten Objekthypothesen verglichen werden.For example, the first object hypotheses can be compared with the second object hypotheses for this purpose.
  • Wenn die ersten Objekthypothesen verworfen werden sollen, können die zweiten Objekthypothesen insbesondere unter Ausschluss der ersten Objekthypothesen zum Aktualisieren des Umgebungsmodells verwendet werden. Umgekehrt ist es möglich, dass die ersten Objekthypothesen unter Ausschluss der zweiten Objekthypothesen zum Aktualisieren des Umgebungsmodells verwendet werden, wenn die ersten Objekthypothesen nicht verworfen werden sollen.If the first object hypotheses are to be discarded, the second object hypotheses can be used, in particular with the exclusion of the first object hypotheses, to update the environment model. Conversely, it is possible for the first object hypotheses to be used to update the environment model, excluding the second object hypotheses, if the first object hypotheses are not to be discarded.
  • Ein zweiter Aspekt der Erfindung betrifft eine Auswerteeinheit, die konfiguriert ist, um das Verfahren, wie es oben und im Folgenden beschrieben wird, auszuführen. Merkmale dieses Verfahrens können auch Merkmale der Auswerteeinheit sein und umgekehrt.A second aspect of the invention relates to an evaluation unit which is configured to carry out the method as described above and below. Features of this method can also be features of the evaluation unit and vice versa.
  • Ein dritter Aspekt der Erfindung betrifft ein Fahrzeugsystem, das konfiguriert ist, um das Verfahren, wie es oben und im Folgenden beschrieben wird, auszuführen. Merkmale dieses Verfahrens können auch Merkmale des Fahrzeugsystems sein und umgekehrt.A third aspect of the invention relates to a vehicle system that is configured to carry out the method as described above and below. Features of this method can also be features of the vehicle system and vice versa.
  • Weitere Aspekte der Erfindung betreffen ein Computerprogramm, das, wenn es durch einen Computer, wie etwa die weiter oben erwähnte Auswerteeinheit, ausgeführt wird, das Verfahren, wie es oben und im Folgenden beschrieben wird, ausführt, sowie ein computerlesbares Medium, auf dem ein derartiges Computerprogramm gespeichert ist.Further aspects of the invention relate to a computer program which, when executed by a computer such as the evaluation unit mentioned above, executes the method as described above and below, and a computer-readable medium on which such a Computer program is stored.
  • Das computerlesbare Medium kann ein flüchtiger oder nicht flüchtiger Datenspeicher sein. Beispielsweise kann es sich bei dem computerlesbaren Medium um eine Festplatte, ein USB-Speichergerät, einen RAM, ROM, EPROM oder Flash-Speicher handeln. Das computerlesbare Medium kann auch ein einen Download eines Programmcodes ermöglichendes Datenkommunikationsnetzwerk wie etwa das Internet oder eine Datenwolke (Cloud) sein.The computer readable medium can be volatile or non-volatile data storage. For example, the computer-readable medium can be a hard disk, a USB storage device, a RAM, ROM, EPROM or flash memory. The computer-readable medium can also be a data communication network that enables a program code to be downloaded, such as the Internet or a data cloud.
  • Merkmale des Verfahrens, wie es oben und im Folgenden beschrieben wird, können auch Merkmale des Computerprogramms und/oder des computerlesbaren Mediums sein und umgekehrt.Features of the method, as described above and below, can also be features of the computer program and / or the computer-readable medium, and vice versa.
  • Ideen zu Ausführungsformen der vorliegenden Erfindung können unter anderem als auf den nachfolgend beschriebenen Gedanken und Erkenntnissen beruhend angesehen werden.Ideas for embodiments of the present invention can be viewed, inter alia, as being based on the thoughts and findings described below.
  • Gemäß einer Ausführungsform wird basierend auf den ersten Objekthypothesen und den zweiten Objekthypothesen mindestens eine weitere Objekthypothese erzeugt. Dabei wird die mindestens eine weitere Objekthypothese zum Aktualisieren des Umgebungsmodells verwendet.According to one embodiment, at least one further object hypothesis is generated based on the first object hypotheses and the second object hypotheses. The at least one further object hypothesis is used to update the environment model.
  • Anders ausgedrückt können die jeweiligen Ausgaben des Fusionsalgorithmus und des Machine-Learning-Algorithmus miteinander fusioniert werden, um geeignete Aktualisierungsdaten zum Aktualisieren des Umgebungsmodells bereitzustellen. Die mindestens eine weitere Objekthypothese kann beispielsweise durch einen weiteren Fusionsalgorithmus und/oder einen weiteren Machine-Learning-Algorithmus erzeugt werden.In other words, the respective outputs of the fusion algorithm and of the machine learning algorithm can be merged with one another in order to provide suitable update data for updating the environment model. The at least one further object hypothesis can be generated, for example, by a further fusion algorithm and / or a further machine learning algorithm.
  • Die mindestens eine weitere Objekthypothese kann beispielsweise dann zum Aktualisieren des Umgebungsmodells verwendet werden, wenn die ersten Objekthypothesen verworfen werden sollen. Insbesondere kann die mindestens eine weitere Objekthypothese unter Ausschluss der ersten Objekthypothesen zum Aktualisieren des Umgebungsmodells verwendet werden.The at least one further object hypothesis can then be used, for example, to update the environment model if the first object hypotheses are to be discarded. In particular, the at least one further object hypothesis can be used to update the environment model, excluding the first object hypotheses.
  • Gemäß einer Ausführungsform wird durch Vergleichen der ersten Objekthypothesen mit den zweiten Objekthypothesen festgestellt, ob die ersten Objekthypothesen falsch sind oder nicht. Wenn die ersten Objekthypothesen falsch sind, wird entschieden, dass die ersten Objekthypothesen verworfen werden sollen. Zusätzlich oder alternativ wird entschieden, dass die ersten Objekthypothesen nicht verworfen werden sollen, wenn die ersten Objekthypothesen nicht falsch sind.According to one embodiment, it is determined by comparing the first object hypotheses with the second object hypotheses whether the first object hypotheses are false or not. If the first object hypotheses are wrong, it is decided that the first object hypotheses should be rejected. Additionally or alternatively, it is decided that the first object hypotheses should not be discarded if the first object hypotheses are not false.
  • Beispielsweise kann anhand der zweiten Objekthypothesen festgestellt werden, ob die ersten Objekthypothesen ein falsch positives oder falsch negatives Ergebnis darstellen.For example, it can be determined on the basis of the second object hypotheses whether the first object hypotheses represent a false positive or false negative result.
  • Gemäß einer Ausführungsform ist der Fusionsalgorithmus konfiguriert, um die ersten Objekthypothesen zu gewichten. Dabei wird basierend auf den zweiten Objekthypothesen eine Gewichtung mindestens einer der ersten Objekthypothesen geändert.According to one embodiment, the fusion algorithm is configured to weight the first object hypotheses. In this case, a weighting of at least one of the first object hypotheses is changed based on the second object hypotheses.
  • Anders ausgedrückt können die zweiten Objekthypothesen dazu verwendet werden, den Fusionsalgorithmus in geeigneter Weise zu beeinflussen. Dadurch kann die Erkennungsgenauigkeit des Fusionsalgorithmus verbessert werden.In other words, the second object hypotheses can be used to influence the fusion algorithm in a suitable manner. This can improve the detection accuracy of the fusion algorithm.
  • Gemäß einer Ausführungsform wurde der Machine-Learning-Algorithmus mit Trainingsdaten trainiert, die zumindest größtenteils Merkmale von für den Fusionsalgorithmus schwer erkennbaren Objekten umfassen.According to one embodiment, the machine learning algorithm was trained with training data which at least for the most part comprise features of objects that are difficult to recognize for the fusion algorithm.
  • Anders ausgedrückt kann der Machine-Learning-Algorithmus darauf trainiert worden sein, nur eine bestimmte Art von Situationen, in denen sich das Fahrzeug befinden kann, zu erkennen. Insbesondere kann es sich dabei um Situationen handeln, in denen die Fusion der Sensordaten mittels des Fusionsalgorithmus ein ungewisses, zweideutiges oder widersprüchliches Ergebnis liefern würde. Als mögliches Beispiel sei ein Kanaldeckel genannt, aus dem Dampf aufsteigt. In diesem Fall könnte beispielsweise der Kanaldeckel anhand der Sensordaten eines Radarsensors, dessen Radarstrahlen vom Kanaldeckel reflektiert werden, fälschlicherweise als (für das Fahrzeug potenziell gefährliches) Objekt erkannt werden (falsch positive Erkennung). Anhand der Sensordaten eines Lidarsensors, dessen Laserstrahlen vom Dampf reflektiert werden, könnte ebenfalls auf das Vorhandensein des Objekts geschlossen werden. Hingegen könnte anhand der Sensordaten einer Kamera korrekt erkannt werden, dass kein (für das Fahrzeug potenziell gefährliches) Objekt vorhanden ist. Die einander widersprechenden Erkennungen können dazu führen, dass der Fusionsalgorithmus die Situation nicht korrekt erkennt.In other words, the machine learning algorithm may have been trained to only recognize a certain type of situation in which the vehicle can find itself. In particular, these can be situations in which the fusion of the sensor data by means of the fusion algorithm would produce an uncertain, ambiguous or contradicting result. A possible example is a manhole cover from which steam rises. In this case, for example, the manhole cover could be falsely recognized as an object (potentially dangerous for the vehicle) based on the sensor data of a radar sensor, the radar beams of which are reflected by the manhole cover (false positive recognition). Using the sensor data of a lidar sensor, the laser beams of which are reflected by the steam, could the existence of the object can also be deduced. On the other hand, the sensor data of a camera could correctly identify that no object (potentially dangerous for the vehicle) is present. The contradicting detections can lead to the fusion algorithm not correctly detecting the situation.
  • Gemäß einer Ausführungsform umfasst der Fusionsalgorithmus einen Kalman-Filter. Zusätzlich oder alternativ umfasst der Machine-Learning-Algorithmus ein mehrschichtiges Perzeptron, beispielsweise en Convolutional Neural Network oder Ähnliches.According to one embodiment, the fusion algorithm comprises a Kalman filter. Additionally or alternatively, the machine learning algorithm includes a multilayer perceptron, for example en convolutional neural network or the like.
  • FigurenlisteFigure list
  • Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, wobei weder die Zeichnungen noch die Beschreibung als die Erfindung einschränkend auszulegen sind.
    • 1 zeigt ein Fahrzeug mit einem Fahrzeugsystem gemäß einem Ausführungsbeispiel der Erfindung.
    • 2 zeigt ein Blockschaltbild einer Auswerteeinheit aus 1.
    • 3 zeigt ein Blockschaltbild einer Auswerteeinheit gemäß einem weiteren Ausführungsbeispiel der Erfindung.
    • 4 zeigt ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung.
    Embodiments of the invention are described below with reference to the accompanying drawings, wherein neither the drawings nor the description are to be interpreted as restricting the invention.
    • 1 shows a vehicle with a vehicle system according to an embodiment of the invention.
    • 2 shows a block diagram of an evaluation unit from 1 .
    • 3 shows a block diagram of an evaluation unit according to a further embodiment of the invention.
    • 4th shows a flow chart of a method according to an embodiment of the invention.
  • Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen bezeichnen in den Figuren gleiche oder gleichwirkende Merkmale.The figures are only schematic and not true to scale. In the figures, the same reference symbols denote the same or equivalent features.
  • Ausführungsformen der ErfindungEmbodiments of the invention
  • 1 zeigt ein Fahrzeug 100 mit einem Fahrzeugsystem 102, das eine Sensorik mit einer ersten Sensoreinheit 104, hier einem Radarsensor, einer zweiten Sensoreinheit 106, hier einem Lidarsensor, und einer dritten Sensoreinheit 108, hier einer Kamera, zum Erfassen von Objekten in einer Umgebung des Fahrzeugs 100 sowie eine Auswerteeinheit 110 zum Auswerten von jeweiligen Sensordaten 112 der drei Sensoreinheiten 104, 106, 108 umfasst. Beispielhaft erfasst die Sensorik in 1 ein vorausfahrendes Fahrzeug 113. 1 shows a vehicle 100 with a vehicle system 102 , a sensor system with a first sensor unit 104 , here a radar sensor, a second sensor unit 106 , here a lidar sensor, and a third sensor unit 108 , here a camera, for capturing objects in the vicinity of the vehicle 100 as well as an evaluation unit 110 for evaluating the respective sensor data 112 of the three sensor units 104 , 106 , 108 includes. The sensors in 1 a vehicle in front 113 .
  • Zusätzlich kann das Fahrzeugsystem 102 eine Aktorik 114 umfassen, etwa Lenk- oder Bremsaktoren oder eine Motorsteuerung des Fahrzeugs 100. Die Auswerteeinheit 110 kann die Aktorik 114 basierend auf den Sensordaten 112 in geeigneter Weise ansteuern, etwa um das Fahrzeug 100 vollautomatisiert zu steuern.In addition, the vehicle system 102 an actuator system 114 include, for example, steering or brake actuators or an engine control of the vehicle 100 . The evaluation unit 110 can the actuators 114 based on the sensor data 112 drive in a suitable manner, for example around the vehicle 100 fully automated control.
  • Um das vorausfahrende Fahrzeug 113 als Objekt zu erkennen, werden die Sensordaten 112 der verschiedenen Sensoreinheiten 104, 106, 108 in der Auswerteeinheit 110 geeignet miteinander fusioniert. Das erkannte Objekt wird dabei in einem Umgebungsmodell abgespeichert und basierend auf den Sensordaten 112 fortlaufend aktualisiert, was auch als Tracking bezeichnet wird. Hierbei werden in jedem Zeitschritt zukünftige Zustände des erkannten Objekts in dem Umgebungsmodell geschätzt und mit den jeweils aktuellen Sensordaten 112 abgeglichen.To the vehicle in front 113 to be recognized as an object, the sensor data 112 of the various sensor units 104 , 106 , 108 in the evaluation unit 110 suitably fused together. The recognized object is saved in an environment model and based on the sensor data 112 continuously updated, which is also known as tracking. Here, future states of the recognized object are estimated in the environment model in each time step and with the respective current sensor data 112 matched.
  • 2 zeigt die Auswerteeinheit 110 aus 1 als Blockschaltbild. Die im Folgenden beschriebenen Module können jeweils Hardware- und/oder Softwaremodule sein. 2 shows the evaluation unit 110 the end 1 as a block diagram. The modules described below can each be hardware and / or software modules.
  • Die Auswerteeinheit 110 umfasst ein Fusionsmodul 200 und ein Machine-Learning-Modul 202, in die jeweils die Sensordaten 112 der drei Sensoreinheiten 104, 106, 108 eingegeben werden. Das Fusionsmodul 200 führt einen Fusionsalgorithmus aus, etwa einen Kalman-Filter, der basierend auf den Sensordaten 112 Wahrscheinlichkeitsverteilungen in Bezug auf Merkmale von Objekten in der Umgebung des Fahrzeugs 100, beispielsweise in Bezug auf das vorausfahrende Fahrzeug 113, bestimmt und abhängig davon erste Objekthypothesen 204 generiert. Eine der ersten Objekthypothesen 204 repräsentiert beispielsweise das vorausfahrende Fahrzeug 113. Je nach Situation können die ersten Objekthypothesen 204 mehr oder weniger vertrauenswürdig sein.The evaluation unit 110 includes a fusion module 200 and a machine learning module 202 , in each of which the sensor data 112 of the three sensor units 104 , 106 , 108 can be entered. The fusion module 200 executes a fusion algorithm, such as a Kalman filter, based on the sensor data 112 Probability distributions in relation to features of objects in the vicinity of the vehicle 100 , for example in relation to the vehicle in front 113 , determines and depending on the first object hypotheses 204 generated. One of the first object hypotheses 204 represents, for example, the vehicle in front 113 . Depending on the situation, the first object hypotheses 204 be more or less trustworthy.
  • Beispielsweise kann der Fusionsalgorithmus mehrere alternative Zuordnungsvarianten in Form von Zuordnungsmatrizen ermitteln, wobei in jeder Zuordnungsmatrix einem Merkmal, genauer einer Merkmalhypothese, genau eine Objekthypothese zugeordnet wird und jede dieser Zuordnungen gewichtet wird. Aus der Menge der Zuordnungsmatrizen kann nun je nach Gewichtung eine geeignete Zuordnungsmatrix zum Aktualisieren des Umgebungsmodells ausgewählt werden.For example, the fusion algorithm can determine several alternative assignment variants in the form of assignment matrices, with exactly one object hypothesis being assigned to a feature, more precisely a feature hypothesis, in each assignment matrix, and each of these assignments being weighted. From the set of assignment matrices, depending on the weighting, a suitable assignment matrix for updating the environment model can now be selected.
  • Das Umgebungsmodell kann beispielsweise in einem Planer-Modul 208 implementiert sein, das eine Trajektorie des Fahrzeugs 100 basierend auf digitalen Kartendaten und einer aktuellen geografischen Position des Fahrzeugs 100 unter Berücksichtigung des Umgebungsmodells plant.The environment model can, for example, be in a planner module 208 be implemented that is a trajectory of the vehicle 100 based on digital map data and a current geographical position of the vehicle 100 plans taking into account the environmental model.
  • Die Merkmale können beispielsweise im Rahmen einer Vorverarbeitung von Sensorrohdaten durch die jeweilige Sensoreinheit 104, 106 bzw. 108 extrahiert worden sein und damit bereits in den Sensordaten 112 enthalten sein. Alternativ oder zusätzlich kann die Vorverarbeitung der Sensorrohdaten durch die Fusionseinheit 200 und/oder das Machine-Learning-Modul 202 erfolgen.The features can, for example, as part of a preprocessing of raw sensor data by the respective sensor unit 104 , 106 respectively. 108 have been extracted and thus already in the sensor data 112 be included. Alternatively or additionally, the preprocessing of the Raw sensor data through the fusion unit 200 and / or the machine learning module 202 take place.
  • Das Machine-Learning-Modul 202 führt einen Machine-Learning-Algorithmus aus, etwa ein Convolutional Neural Network oder eine Support Vector Machine. Der Machine-Learning-Algorithmus wurde darauf trainiert, bestimmte Merkmale oder Merkmalskombinationen, die in den Sensordaten 112 enthalten sind, bestimmten Objektklassen zuzuordnen, hier unter anderem etwa einer Objektklasse „vorausfahrendes Fahrzeug“. Basierend auf dieser Zuordnung generiert der Machine-Learning-Algorithmus entsprechende zweite Objekthypothesen 206, die jeweils ein erkanntes Objekt in der Umgebung des Fahrzeugs 100 repräsentieren. Eine der zweiten Objekthypothesen 206 repräsentiert beispielsweise das vorausfahrende Fahrzeug 113.The machine learning module 202 executes a machine learning algorithm, such as a convolutional neural network or a support vector machine. The machine learning algorithm was trained to identify certain features or combinations of features that are contained in the sensor data 112 are included to be assigned to certain object classes, here among other things an object class "vehicle in front". Based on this assignment, the machine learning algorithm generates corresponding second object hypotheses 206 each with a detected object in the vicinity of the vehicle 100 represent. One of the second object hypotheses 206 represents, for example, the vehicle in front 113 .
  • Ein Überwachungsmodul 210 ist konfiguriert, um ein Ergebnis der im Fusionsmodul 200 ausgeführten Sensordatenfusion hinsichtlich seiner Vertrauenswürdigkeit zu bewerten. Beispielsweise kann das Ergebnis als wenig vertrauenswürdig eingestuft werden, wenn es ungewiss ist, d. h. etwa eine geringe Kovarianz oder ein geringes Vertrauensniveau aufweist, zweideutig ist, d. h., wenn mindestens eine der Sensoreinheiten 104, 106, 108 ein von den beiden anderen Sensoreinheiten abweichendes Ergebnis liefert, oder eine (mittlere) Existenzwahrscheinlichkeit in Bezug auf die erkannten Objekte zu gering ist.A monitoring module 210 is configured to be a result of the fusion module 200 to evaluate the executed sensor data fusion with regard to its trustworthiness. For example, the result can be classified as not very trustworthy if it is uncertain, ie has a low covariance or a low level of confidence, is ambiguous, ie if at least one of the sensor units 104 , 106 , 108 delivers a result that differs from the other two sensor units, or an (average) probability of existence with regard to the detected objects is too low.
  • Es ist möglich, dass die Vertrauenswürdigkeit zusätzlich oder alternativ in dem Machine-Learning-Modul 202 bewertet wird. Das Machine-Learning-Modul 202 kann in diesem Fall eine entsprechende Bewertungsinformation an das Überwachungsmodul 210 senden.It is possible that the trustworthiness is additionally or alternatively in the machine learning module 202 Is evaluated. The machine learning module 202 In this case, a corresponding evaluation information can be sent to the monitoring module 210 send.
  • Die ersten Objekthypothesen 204 und die zweiten Objekthypothesen 206 können zusätzlich in ein weiteres Fusionsmodul 212 eingegeben werden, das einen weiteren Fusionsalgorithmus, etwa einen weiteren Kalman-Filter, ausführt. Der weitere Fusionsalgorithmus ist konfiguriert, um durch Fusionieren der ersten Objekthypothesen 204 mit den zweiten Objekthypothesen 206 eine oder mehrere weitere Objekthypothesen 214 zu erzeugen. Die weiteren Objekthypothesen 214 können eine höhere Vertrauenswürdigkeit als die Objekthypothesen 204, 206 aufweisen. Eine der weiteren Objekthypothesen 214 kann beispielsweise das vorausfahrende Fahrzeug 113 repräsentieren.The first object hypotheses 204 and the second object hypotheses 206 can also be used in a further fusion module 212 can be entered, which executes a further fusion algorithm, such as another Kalman filter. The further fusion algorithm is configured by fusing the first object hypotheses 204 with the second object hypotheses 206 one or more further object hypotheses 214 to create. The other object hypotheses 214 can be more trustworthy than the object hypotheses 204 , 206 exhibit. One of the other object hypotheses 214 can for example be the vehicle in front 113 represent.
  • Stellt das Überwachungsmodul 210 eine zu geringe Vertrauenswürdigkeit fest, so werden die ersten Objekthypothesen 204 verworfen. In diesem Fall verhindert das Überwachungsmodul 210, dass die ersten Objekthypothesen 204 an das Planer-Modul 208 weitergeleitet werden, und veranlasst, dass stattdessen die weiteren Objekthypothesen 214 in das Planer-Modul 208 eingegeben werden. Alternativ veranlasst das Überwachungsmodul 210, dass statt der ersten Objekthypothesen 204 die zweiten Objekthypothesen 206 in das Planer-Modul 208 eingegeben werden, wie es in 3 gezeigt ist.Provides the monitoring module 210 If the trustworthiness is too low, the first object hypotheses become 204 discarded. In this case the monitoring module prevents 210 that the first object hypotheses 204 to the planner module 208 are forwarded, and causes the further object hypotheses instead 214 into the planner module 208 can be entered. Alternatively, the monitoring module initiates 210 that instead of the first object hypotheses 204 the second object hypotheses 206 into the planner module 208 can be entered as it is in 3 is shown.
  • Zusätzlich kann das Überwachungsmodul 210 eine Information über seine jeweilige Entscheidung an ein Sicherheitsmodul 216 senden. Das Sicherheitsmodul 216 kann beispielsweise abhängig von einer Entscheidung des Überwachungsmoduls 210 das Planer-Modul 208 beeinflussen, etwa insofern, als bei einer zu geringen Vertrauenswürdigkeit eine Trajektorie des Fahrzeugs 100 entsprechend geändert wird oder das Fahrzeug 100 abgebremst oder angehalten wird.In addition, the monitoring module 210 information about its respective decision to a security module 216 send. The security module 216 can, for example, depend on a decision by the monitoring module 210 the planner module 208 influence, for example, to the extent that if the trustworthiness is too low, a trajectory of the vehicle 100 is changed accordingly or the vehicle 100 braked or stopped.
  • Beispielsweise kann das Überwachungsmodul 210 die ersten Objekthypothesen 204 und die zweiten Objekthypothesen 206 miteinander vergleichen, um festzustellen, ob es sich bei den ersten Objekthypothesen 204 jeweils um falsch positive oder falsch negative Erkennungen handelt oder nicht. Wird eine falsch positive oder falsch negative Erkennung festgestellt, so werden die entsprechenden ersten Objekthypothesen 204 verworfen. Andernfalls werden die ersten Objekthypothesen 204 an das Planer-Modul 208 weitergeleitet.For example, the monitoring module 210 the first object hypotheses 204 and the second object hypotheses 206 Compare with each other to see if they are the first object hypotheses 204 whether it is false positives or false negatives. If a false positive or false negative detection is determined, the corresponding first object hypotheses are made 204 discarded. Otherwise the first object hypotheses 204 to the planner module 208 forwarded.
  • Das Machine-Learning-Modul 202 kann beispielsweise konfiguriert sein, um Gewichtungen einzelner der ersten Objekthypothesen 204 zu ändern und so die Vertrauenswürdigkeit der Sensordatenfusion zu erhöhen.The machine learning module 202 can be configured, for example, to include weightings of individual ones of the first object hypotheses 204 to change and thus to increase the trustworthiness of the sensor data fusion.
  • 3 zeigt eine mögliche Variante der Auswerteeinheit 110 ohne das weitere Fusionsmodul 212. Dabei können entweder die ersten Objekthypothesen 204 oder die zweiten Objekthypothesen 206 in das Planer-Modul 208 eingegeben werden. 3 shows a possible variant of the evaluation unit 110 without the further fusion module 212 . Either the first object hypotheses 204 or the second object hypotheses 206 into the planner module 208 can be entered.
  • Die Entscheidung darüber, ob der Machine-Learning-Algorithmus zum Einsatz kommen soll oder nicht, kann beispielsweise durch einen weiteren Machine-Learning-Algorithmus getroffen werden. Dieser kann beispielsweise in dem Überwachungsmodul 210 oder in dem Machine-Learning-Modul 202 implementiert sein. Beispielsweise kann der weitere Machine-Learning-Algorithmus darauf trainiert worden sein, basierend auf den Sensordaten 112 bestimmte, für den Fusionsalgorithmus nicht eindeutig erkennbare Schlüsselsituationen zu erkennen. Wird eine solche Schlüsselsituation erkannt, so kann beispielsweise ein Eingang des Planer-Moduls 208 automatisch auf einen Ausgang des Machine-Learning-Moduls 202 oder des weiteren Fusionsmoduls 212 umgeschaltet werden.The decision as to whether the machine learning algorithm should be used or not can be made, for example, by another machine learning algorithm. This can, for example, in the monitoring module 210 or in the machine learning module 202 be implemented. For example, the further machine learning algorithm can have been trained on this, based on the sensor data 112 to recognize certain key situations that are not clearly recognizable for the fusion algorithm. If such a key situation is recognized, an input of the planner module, for example 208 automatically to an output of the machine learning module 202 or the further fusion module 212 be switched.
  • Der Machine-Learning-Algorithmus kann beispielsweise mit Trainingsdaten trainiert worden sein, die überwiegend oder ausschließlich solche Schlüsselsituationen enthalten.The machine learning algorithm can, for example, have been trained with training data that predominantly or exclusively contain such key situations.
  • Es ist möglich, dass die Auswerteeinheit 110 zusätzlich zum Machine-Learning-Modul 202 mindestens ein weiteres Machine-Learning-Modul aufweist, das beispielsweise andere Situationen als das Machine-Learning-Modul 202 erkennen kann. Eine Entscheidung darüber, welche der jeweiligen Ausgaben der Machine-Learning-Module zum Aktualisieren des Umgebungsmodells verwendet werden soll, kann beispielsweise abhängig von einer jeweiligen Vertrauenswürdigkeit der Ausgaben getroffen werden.It is possible that the evaluation unit 110 in addition to the machine learning module 202 has at least one further machine learning module that, for example, has different situations than the machine learning module 202 can recognize. A decision about which of the respective outputs of the machine learning modules is to be used to update the environment model can be made, for example, depending on the respective trustworthiness of the outputs.
  • 4 zeigt ein Ablaufdiagramm eines Verfahrens 400, wie es von der Auswerteeinheit 110 aus den 1 bis 3 ausgeführt werden kann. 4th shows a flow chart of a method 400 as it is from the evaluation unit 110 from the 1 until 3 can be executed.
  • In einem ersten Schritt 410 werden die durch die drei Sensoreinheiten 104, 106, 108 erzeugten Sensordaten 112 in der Auswerteeinheit 110 empfangen.In a first step 410 are the through the three sensor units 104 , 106 , 108 generated sensor data 112 in the evaluation unit 110 receive.
  • In einem zweiten Schritt 420 werden die Sensordaten 112 in den Fusionsalgorithmus des Fusionsmoduls 200 eingegeben, der basierend auf den Sensordaten 112 die ersten Objekthypothesen 204 erzeugt und ausgibt. Ferner werden die Sensordaten 112 in den Machine-Learning-Algorithmus des Machine-Learning-Moduls 202 eingegeben, der basierend auf den Sensordaten 112 die zweiten Objekthypothesen 206 erzeugt und ausgibt.In a second step 420 are the sensor data 112 into the fusion algorithm of the fusion module 200 entered based on the sensor data 112 the first object hypotheses 204 generates and outputs. Furthermore, the sensor data 112 into the machine learning algorithm of the machine learning module 202 entered based on the sensor data 112 the second object hypotheses 206 generates and outputs.
  • In einem dritten Schritt 430 wird entschieden, ob die ersten Objekthypothesen 204 verworfen werden sollen oder nicht.In a third step 430 it is decided whether the first object hypotheses 204 should be discarded or not.
  • Wenn ja, werden in einem Schritt 440 die zweiten Objekthypothesen 206 bzw. die weiteren Objekthypothesen 214 in das Planer-Modul 208 eingegeben. Wenn nein, werden in einem Schritt 450 die ersten Objekthypothesen 204 in das Planer-Modul 208 eingegeben.If so, be in one step 440 the second object hypotheses 206 or the other object hypotheses 214 in the planner module 208 entered. If not, be in one step 450 the first object hypotheses 204 into the planner module 208 entered.
  • Abschließend wird darauf hingewiesen, dass Begriffe wie „aufweisend“, „umfassend“ etc. keine anderen Elemente oder Schritte ausschließen und Begriffe wie „eine“ oder „ein“ keine Vielzahl ausschließen. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.Finally, it is pointed out that terms such as “having”, “comprising” etc. do not exclude any other elements or steps and that terms such as “a” or “an” do not exclude a plurality. Reference signs in the claims are not to be regarded as a restriction.

Claims (10)

  1. Verfahren (400) zum Erkennen einer Umgebung eines Fahrzeugs (100), wobei das Fahrzeug (100) eine Sensorik mit mindestens zwei Sensoreinheiten (104, 106, 108) zum Erfassen der Umgebung des Fahrzeugs (100) und eine Auswerteeinheit (110) zum Auswerten von Sensordaten (112) der Sensorik aufweist, wobei das Verfahren (400) umfasst: Empfangen (410) von durch die mindestens zwei Sensoreinheiten (104, 106, 108) erzeugten Sensordaten (112) in der Auswerteeinheit (110); Eingeben (420) der Sensordaten (112) in einen Fusionsalgorithmus, der konfiguriert ist, um basierend auf den Sensordaten (112) Wahrscheinlichkeitsverteilungen in Bezug auf Merkmale von Objekten (113) in der Umgebung des Fahrzeugs (100) zu bestimmen und basierend auf den Wahrscheinlichkeitsverteilungen den Objekten (113) zugeordnete erste Objekthypothesen (204) zu erzeugen und auszugeben; Eingeben (420) der Sensordaten (112) in einen Machine-Learning-Algorithmus, der darauf trainiert wurde, basierend auf den Sensordaten (112) den Objekten (113) zugeordnete zweite Objekthypothesen (206) zu erzeugen und auszugeben; Entscheiden (430), ob die ersten Objekthypothesen (204) verworfen werden sollen oder nicht; wenn die ersten Objekthypothesen (204) nicht verworfen werden sollen: Verwenden (440) der ersten Objekthypothesen (204) zum Aktualisieren eines die Umgebung des Fahrzeugs (100) repräsentierenden Umgebungsmodells; wenn die ersten Objekthypothesen (204) verworfen werden sollen: Verwenden (450) der zweiten Objekthypothesen (206) zum Aktualisieren des Umgebungsmodells. Method (400) for recognizing the surroundings of a vehicle (100), wherein the vehicle (100) has a sensor system with at least two sensor units (104, 106, 108) for detecting the surroundings of the vehicle (100) and an evaluation unit (110) for evaluation of sensor data (112) of the sensor system, the method (400) comprising: Receiving (410) in the evaluation unit (110) sensor data (112) generated by the at least two sensor units (104, 106, 108); Inputting (420) the sensor data (112) into a fusion algorithm which is configured to determine probability distributions with respect to features of objects (113) in the vicinity of the vehicle (100) based on the sensor data (112) and based on the probability distributions to generate and output first object hypotheses (204) assigned to the objects (113); Inputting (420) the sensor data (112) into a machine learning algorithm which has been trained to generate and output second object hypotheses (206) assigned to the objects (113) based on the sensor data (112); Deciding (430) whether or not to reject the first object hypotheses (204); if the first object hypotheses (204) are not to be discarded: using (440) the first object hypotheses (204) to update an environment model representing the environment of the vehicle (100); if the first object hypotheses (204) are to be rejected: using (450) the second object hypotheses (206) to update the environment model.
  2. Verfahren (400) nach Anspruch 1, wobei basierend auf den ersten Objekthypothesen (204) und den zweiten Objekthypothesen (206) mindestens eine weitere Objekthypothese (214) erzeugt wird; wobei die mindestens eine weitere Objekthypothese (214) zum Aktualisieren des Umgebungsmodells verwendet wird.Method (400) according to Claim 1 wherein at least one further object hypothesis (214) is generated based on the first object hypotheses (204) and the second object hypotheses (206); wherein the at least one further object hypothesis (214) is used to update the environment model.
  3. Verfahren (400) nach einem der vorhergehenden Ansprüche, wobei durch Vergleichen der ersten Objekthypothesen (204) mit den zweiten Objekthypothesen (206) festgestellt wird, ob die ersten Objekthypothesen (204) falsch sind oder nicht; wenn die ersten Objekthypothesen (204) falsch sind: Entscheiden, dass die ersten Objekthypothesen (204) verworfen werden sollen; und/oder wenn die ersten Objekthypothesen (204) nicht falsch sind: Entscheiden, dass die ersten Objekthypothesen (204) nicht verworfen werden sollen.Method (400) according to one of the preceding claims, wherein it is determined by comparing the first object hypotheses (204) with the second object hypotheses (206) whether the first object hypotheses (204) are false or not; if the first object hypotheses (204) are false: deciding that the first object hypotheses (204) should be discarded; and / or if the first object hypotheses (204) are not false: deciding that the first object hypotheses (204) should not be rejected.
  4. Verfahren (400) nach einem der vorhergehenden Ansprüche, wobei der Fusionsalgorithmus konfiguriert ist, um die ersten Objekthypothesen (204) zu gewichten; wobei basierend auf den zweiten Objekthypothesen (206) eine Gewichtung mindestens einer der ersten Objekthypothesen (204) geändert wird.The method (400) according to any one of the preceding claims, wherein the fusion algorithm is configured to weight the first object hypotheses (204); wherein a weighting of at least one of the first object hypotheses (204) is changed based on the second object hypotheses (206).
  5. Verfahren (400) nach einem der vorhergehenden Ansprüche, wobei der Machine-Learning-Algorithmus mit Trainingsdaten trainiert wurde, die zumindest größtenteils Merkmale von für den Fusionsalgorithmus schwer erkennbaren Objekten umfassen.Method (400) according to one of the preceding claims, wherein the machine learning algorithm was trained with training data which at least for the most part comprise features of objects that are difficult to recognize for the fusion algorithm.
  6. Verfahren (400) nach einem der vorhergehenden Ansprüche, wobei der Fusionsalgorithmus einen Kalman-Filter umfasst; und/oder wobei der Machine-Learning-Algorithmus ein mehrschichtiges Perzeptron umfasst.Method (400) according to one of the preceding claims, wherein the fusion algorithm comprises a Kalman filter; and or wherein the machine learning algorithm comprises a multilayer perceptron.
  7. Auswerteeinheit (110), die konfiguriert ist, um das Verfahren (400) nach einem der vorhergehenden Ansprüche auszuführen.Evaluation unit (110) which is configured to carry out the method (400) according to one of the preceding claims.
  8. Fahrzeugsystem (102), umfassend: eine Sensorik mit mindestens zwei Sensoreinheiten (104, 106, 108) zum Erfassen einer Umgebung eines Fahrzeugs (100); und die Auswerteeinheit (110) nach Anspruch 7.Vehicle system (102), comprising: a sensor system with at least two sensor units (104, 106, 108) for detecting the surroundings of a vehicle (100); and the evaluation unit (110) according to Claim 7 .
  9. Computerprogramm, umfassend Befehle, die bei Ausführung des Computerprogramms durch einen Computer den Computer dazu veranlassen, das Verfahren (400) nach einem der Ansprüche 1 bis 6 auszuführen.Computer program, comprising instructions which, when the computer program is executed by a computer, cause the computer to carry out the method (400) according to one of the Claims 1 until 6th to execute.
  10. Computerlesbares Medium, auf dem das Computerprogramm nach Anspruch 9 gespeichert ist.Computer-readable medium on which the computer program is based Claim 9 is stored.
DE102020203828.7A 2020-03-25 2020-03-25 Method for recognizing the surroundings of a vehicle Pending DE102020203828A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020203828.7A DE102020203828A1 (en) 2020-03-25 2020-03-25 Method for recognizing the surroundings of a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020203828.7A DE102020203828A1 (en) 2020-03-25 2020-03-25 Method for recognizing the surroundings of a vehicle
CN202110312295.6A CN113447921A (en) 2020-03-25 2021-03-24 Method for identifying a vehicle environment

Publications (1)

Publication Number Publication Date
DE102020203828A1 true DE102020203828A1 (en) 2021-09-30

Family

ID=77658503

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020203828.7A Pending DE102020203828A1 (en) 2020-03-25 2020-03-25 Method for recognizing the surroundings of a vehicle

Country Status (2)

Country Link
CN (1) CN113447921A (en)
DE (1) DE102020203828A1 (en)

Also Published As

Publication number Publication date
CN113447921A (en) 2021-09-28

Similar Documents

Publication Publication Date Title
DE102016212700A1 (en) Method and system for controlling a vehicle
DE102011119767A1 (en) APPEARANCE-BASED ASSOCIATION OF CAMERA AND DISTANCE SENSORS FOR MULTIPLE OBJECTS
DE102008013366B4 (en) Method for providing information for driver assistance systems
DE102017200562A1 (en) OBJECT DETECTION INTEGRATION DEVICE AND OBJECT DETECTION INTEGRATION METHOD
DE102018117660A1 (en) METHOD AND SYSTEM FOR DETERMINING A POSITION OF A VEHICLE
DE102016215314A1 (en) Driver assistance system, means of transportation and method for predicting a traffic situation
DE102017217733A1 (en) Checking a neural network
EP3526624A1 (en) Automated open space identification by means of difference analysis for vehicles
DE102018220024B3 (en) Method for fusing sensor data from several sensors and fusion device for fusing sensor data from several sensors
DE102018215055A1 (en) Method for determining a lane change indication of a vehicle, a computer-readable storage medium and a vehicle
DE102020203828A1 (en) Method for recognizing the surroundings of a vehicle
DE102019216206A1 (en) Device and method for determining a U-turn strategy of an autonomous vehicle
DE102020203829A1 (en) Method for monitoring a vehicle system for recognizing the surroundings of a vehicle
EP3772017A1 (en) Rail signal detection for autonomous railway vehicles
DE102021002798A1 (en) Process for camera-based environment detection
DE102019209463A1 (en) Method for determining the trust value of an object of a class
DE102020208878A1 (en) Process for curve detection
DE102018213132A1 (en) Unmonitored or partially supervised learning of a classifier for the environment detection of a vehicle
DE102019219750B4 (en) Driver assistance system and method for detecting object barriers in 3D point clouds
DE102020206639A1 (en) Detection and / or location of objects based on radar data
DE102019219894A1 (en) Device and method for generating verified training data for a self-learning system
DE102020200169B3 (en) Method for merging several data sets for the generation of a current lane model of a roadway and device for data processing
DE102019208233A1 (en) Method and device for automatically executing a control function of a vehicle
DE102020200911B3 (en) Method for recognizing objects in the surroundings of a vehicle
DE102020202305A1 (en) Method for recognizing the surroundings of a vehicle and method for training a fusion algorithm for a vehicle system