DE102021214105A1 - Device for fusing sensor data - Google Patents

Device for fusing sensor data Download PDF

Info

Publication number
DE102021214105A1
DE102021214105A1 DE102021214105.6A DE102021214105A DE102021214105A1 DE 102021214105 A1 DE102021214105 A1 DE 102021214105A1 DE 102021214105 A DE102021214105 A DE 102021214105A DE 102021214105 A1 DE102021214105 A1 DE 102021214105A1
Authority
DE
Germany
Prior art keywords
quality
sensor data
sensor
merged
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021214105.6A
Other languages
German (de)
Inventor
Ahmad Adee
Roman Gansch
Andreas Heyl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102021214105.6A priority Critical patent/DE102021214105A1/en
Publication of DE102021214105A1 publication Critical patent/DE102021214105A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung zum Fusionieren von Sensordaten eines ersten Sensors und eines zweiten Sensors, aufweisend eine Datenschnittstelle mit der erste Sensordaten des ersten Sensors, eine erste Güte der ersten Sensordaten, zweite Sensordaten des zweiten Sensors und eine zweite Güte der zweiten Sensordaten eingelesen werden können. Die Vorrichtung ist ferner eingerichtet, fusionierte Sensordaten aus den ersten Sensordaten und den zweiten Sensordaten zu erzeugen und eingerichtet, aus der ersten Güte und der zweiten Güte eine fusionierte Güte zu ermitteln.The invention relates to a device for merging sensor data from a first sensor and a second sensor, having a data interface with which first sensor data from the first sensor, a first quality of the first sensor data, second sensor data from the second sensor and a second quality of the second sensor data can be read . The device is also set up to generate merged sensor data from the first sensor data and the second sensor data and set up to determine a merged quality from the first quality and the second quality.

Description

Die Erfindung betrifft eine Vorrichtung zum Fusionieren von Sensordaten sowie ein Fahrzeug mit einer solchen Vorrichtung.The invention relates to a device for fusing sensor data and a vehicle with such a device.

Stand der TechnikState of the art

Es sind Sensoren bekannt, deren Sensordaten in Fahrzeugen mit Fahrerassistenzsystemen beziehungsweise mit Vorrichtungen zum automatisierten Ausführen von Fahrfunktionen zur Steuerung des Fahrerassistenzsystems beziehungsweise der Vorrichtung zum automatisierten Ausführen von Fahrfunktionen genutzt werden. Dabei ist es notwendig, potentiell gefährliche Situationen zu erkennen. Insbesondere kann es notwendig sein, zu erkennen, inwieweit aktuell den vorliegenden Sensordaten vertraut werden sollte oder ob die aktuell vorliegenden Sensordaten gegebenenfalls fehlerbehaftet sind. Ferner ist es notwendig, sofern mehr als ein Sensor genutzt werden soll, die Sensordaten zu fusionieren. Auch hier ist es notwendig, abzuschätzen, inwieweit den fusionierten Sensordaten vertraut werden sollte.Sensors are known whose sensor data are used in vehicles with driver assistance systems or with devices for the automated execution of driving functions to control the driver assistance system or the device for the automated execution of driving functions. It is necessary to recognize potentially dangerous situations. In particular, it may be necessary to recognize the extent to which the currently available sensor data should be trusted or whether the currently available sensor data may contain errors. Furthermore, if more than one sensor is to be used, it is necessary to merge the sensor data. Here, too, it is necessary to assess the extent to which the merged sensor data should be trusted.

Offenbarung der ErfindungDisclosure of Invention

Eine Aufgabe der Erfindung ist es, eine verbesserte Vorrichtung zum Fusionieren von Sensordaten anzugeben. Eine weitere Aufgabe der Erfindung ist es, ein Fahrzeug mit einer solchen Vorrichtung anzugeben.An object of the invention is to specify an improved device for fusing sensor data. A further object of the invention is to specify a vehicle with such a device.

Diese Aufgaben werden mit den Gegenständen der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Patentansprüchen angegeben.These objects are solved with the subject matter of the independent patent claims. Advantageous developments are specified in the dependent patent claims.

Eine Vorrichtung zum Fusionieren von Sensordaten eines ersten Sensors und eines zweiten Sensors weist eine Datenschnittstelle auf, mit der erste Sensordaten des ersten Sensors, eine erste Güte der ersten Sensordaten, zweite Sensordaten des zweiten Sensors und eine zweite Güte der zweiten Sensordaten eingelesen werden können. Die Vorrichtung ist ferner eingerichtet, fusionierte Sensordaten aus den ersten Sensordaten und den zweiten Sensordaten zu erzeugen. Darüber hinaus ist die Vorrichtung eingerichtet, aus der ersten Güte und der zweiten Güte eine fusionierte Güte zu ermitteln.A device for merging sensor data from a first sensor and a second sensor has a data interface with which first sensor data from the first sensor, a first quality of the first sensor data, second sensor data from the second sensor and a second quality of the second sensor data can be read. The device is also set up to generate merged sensor data from the first sensor data and the second sensor data. In addition, the device is set up to determine a merged quality from the first quality and the second quality.

Die fusionierte Güte gibt also an, wie zuverlässig die fusionierten Sensordaten sind. Die fusionierte Güte beinhaltet also ein Maß dafür, inwieweit sich ein Fahrerassistenzsystem beziehungsweise eine Vorrichtung zum automatisierten Ausführen von Fahrfunktionen auf die fusionierten Sensordaten verlassen darf.The merged quality therefore indicates how reliable the merged sensor data is. The merged quality thus contains a measure of the extent to which a driver assistance system or a device for the automated execution of driving functions may rely on the merged sensor data.

In einer Ausführungsform umfasst die erste Güte eine Wahrscheinlichkeit für eine Korrektheit der ersten Sensordaten. Die zweite Güte umfasst eine Wahrscheinlichkeit für eine Korrektheit der zweiten Sensordaten. Bei der Ermittlung der fusionierten Güte wird eine Wahrscheinlichkeit für eine Korrektheit der fusionierten Sensordaten ermittelt. Je wahrscheinlicher die fusionierten Sensordaten korrekt sind, desto mehr darf sich ein Fahrerassistenzsystem beziehungsweise eine Vorrichtung zum automatisierten Ausführen von Fahrfunktionen auf die fusionierten Sensordaten verlassen.In one embodiment, the first quality includes a probability that the first sensor data is correct. The second quality includes a probability that the second sensor data is correct. When determining the merged quality, a probability of correctness of the merged sensor data is determined. The more likely it is that the merged sensor data is correct, the more a driver assistance system or a device for the automated execution of driving functions can rely on the merged sensor data.

In einer Ausführungsform umfassen die ersten Sensordaten und die zweiten Sensordaten erkannte Objekte. Die erste Güte umfasst eine erste Wahrscheinlichkeit für einen falsch positiven Wert für ein erkanntes Objekt der ersten Sensordaten und eine zweite Wahrscheinlichkeit für einen falsch negativen Wert für ein nicht-erkanntes Objekt der ersten Sensordaten. Die zweite Güte umfasst eine dritte Wahrscheinlichkeit für einen falsch positiven Wert für ein erkanntes Objekt der zweiten Sensordaten und eine vierte Wahrscheinlichkeit für einen falsch negativen Wert für ein nicht-erkanntes Objekt der zweiten Sensordaten. Dies ermöglicht die Fusion von auf Objekterkennung basierenden Sensordaten inklusive der Betrachtung der Wahrscheinlichkeiten für falsch positive erkannte Objekte und für falsch negativ erkannte Objektfreiheit innerhalb der fusionierten Sensordaten.In one embodiment, the first sensor data and the second sensor data include detected objects. The first quality includes a first probability of a false positive value for a recognized object in the first sensor data and a second probability of a false negative value for a non-recognized object in the first sensor data. The second quality includes a third probability of a false positive value for a recognized object in the second sensor data and a fourth probability of a false negative value for a non-recognized object in the second sensor data. This enables the fusion of sensor data based on object recognition, including the consideration of the probabilities for false positive recognized objects and for false negative recognized object freedom within the merged sensor data.

In einer Ausführungsform ist die Vorrichtung eingerichtet, einzulesen, welcher erste Parameter die erste Güte der ersten Sensordaten am stärksten negativ beeinflusst hat und welcher zweite Parameter die zweite Güte der zweiten Sensordaten am stärksten negativ beeinflusst hat. Ferner ist die Vorrichtung eingerichtet, bei der Ermittlung der fusionierten Güte zu berücksichtigen ob der erste Parameter und der zweite Parameter unterschiedlich oder gleich sind. Dadurch kann berücksichtigt werden, dass eine fusionierte Güte gegebenenfalls schlechter ist, wenn der erste Parameter und der zweite Parameter identisch sind, die beiden Sensoren also vom selben Parameter negativ beeinflusst wurden. Ferner kann vorgesehen sein, dass mehrere erste Parameter und mehrere zweite Parameter betrachtet werden, die jeweils den stärksten Einfluss auf die ersten Güte des ersten Sensors beziehungsweise die zweite Güte des zweiten Sensors haben, und berücksichtigt wird, ob einer der ersten Parameter identisch zu einem der zweiten Parameter identisch ist. Beispielsweise können für jeden Sensor drei Parameter ausgewertet werden, wobei die drei Parameter den stärksten, den zweitstärksten und den drittstärksten Einfluss auf den jeweiligen Sensor haben.In one embodiment, the device is set up to read in which first parameter has had the most negative influence on the first quality of the first sensor data and which second parameter has had the most negative influence on the second quality of the second sensor data. Furthermore, the device is set up to take into account whether the first parameter and the second parameter are different or the same when determining the merged quality. As a result, it can be taken into account that a merged quality may be worse if the first parameter and the second parameter are identical, ie the two sensors were negatively influenced by the same parameter. Furthermore, it can be provided that several first parameters and several second parameters are considered, which each have the strongest influence on the first quality of the first sensor or the second quality of the second sensor, and it is taken into account whether one of the first parameters is identical to one of the second parameter is identical. For example, three parameters can be evaluated for each sensor, with the three parameters having the strongest, the second strongest and the third strongest influence on the respective sensor.

Der oder die Parameter können aus den folgenden Parametern ausgewählt sein:

  • - Umgebungsparameter wie beispielsweise Wetterbedingungen, Beleuchtungsstärken und Tageszeit,
  • - Straßenbedingungen wie eine Reflektivität der Straßenoberfläche (beispielsweise durch einen Wasserfilm) oder Wasserbenetzung mit daraus folgender Gischt, die Kamera- und/oder Lidar-Messungen beeinträchtigen kann,
  • - Straßengeometrie und -topologie, beispielsweise die Art der Straße (Autobahn, Schnellstraße, Landstraße allgemein und Ortsstraße) oder der Straßenverlauf (gerade, kurvig),
  • - Dynamische Konditionen wie Radar- oder LIDAR-Störungen aufgrund der Sensorik anderer Fahrzeuge oder hohe Verkehrsdichte, da hierdurch die Bewertung der Fahrsituation komplexer wird.
The parameter or parameters can be selected from the following parameters:
  • - environmental parameters such as weather conditions, illuminance and time of day,
  • - Road conditions such as road surface reflectivity (e.g. from a water film) or water wetting with consequent spray, which may affect camera and/or lidar measurements,
  • - Road geometry and topology, for example the type of road (motorway, expressway, country road in general and local road) or the course of the road (straight, winding),
  • - Dynamic conditions such as radar or LIDAR interference due to the sensors of other vehicles or high traffic density, as this makes the assessment of the driving situation more complex.

In einer Ausführungsform wird bei der Ermittlung der fusionierten Güte ein Korrelationsfaktor des ersten Parameters und des zweiten Parameters berücksichtigt. Dies kann insbesondere dann vorteilhaft sein, wenn der erste Parameter und der zweite Parameter korrelieren. Beispielsweise könnte der erste Parameter ein Wetter umfassen und der zweite Parameter eine Gischt. Wenn der erste Parameter dabei Regen umfasst, ist eine Wahrscheinlichkeit für eine Gischt deutlich erhöht, so dass der erste Parameter und der zweite Parameter korrelieren, selbst wenn sie nicht identisch sind.In one embodiment, a correlation factor of the first parameter and the second parameter is taken into account when determining the merged quality. This can be particularly advantageous when the first parameter and the second parameter correlate. For example, the first parameter could include weather and the second parameter could include spray. If the first parameter thereby includes rain, a probability of a spray is significantly increased, so that the first parameter and the second parameter correlate even if they are not identical.

In einer Ausführungsform wird bei der Ermittlung der fusionierten Güte berücksichtigt, ob der erste Parameter die zweite Güte der zweiten Sensordaten negativ beeinflusst und ob der zweite Parameter die erste Güte der ersten Sensordaten negativ beeinflusst. Für den Fall, dass der erste Parameter die zweite Güte der zweiten Sensordaten negativ beeinflusst oder der zweite Parameter die erste Güte der ersten Sensordaten negativ beeinflusst, wird die fusionierte Güte reduziert.In one embodiment, when determining the merged quality, it is taken into account whether the first parameter negatively influences the second quality of the second sensor data and whether the second parameter negatively influences the first quality of the first sensor data. In the event that the first parameter negatively affects the second quality of the second sensor data or the second parameter negatively affects the first quality of the first sensor data, the merged quality is reduced.

In einer Ausführungsform umfasst die erste Güte zumindest zwei räumlich unterschiedliche Gütewerte für verschiedene Messrichtungen des ersten Sensors. Die zweite Güte umfasst zumindest zwei räumlich unterschiedliche Gütewerte für verschiedene Messrichtungen des zweiten Sensors. Bei der Ermittlung der fusionierten Güte werden die erste Güte und die zweite Güte hinsichtlich der räumlich unterschiedlichen Gütewerte ausgewertet und das Ergebnis der Auswertung berücksichtigt.In one embodiment, the first quality includes at least two spatially different quality values for different measurement directions of the first sensor. The second quality includes at least two spatially different quality values for different measurement directions of the second sensor. When determining the merged quality, the first quality and the second quality are evaluated with regard to the spatially different quality values and the result of the evaluation is taken into account.

In einer Ausführungsform ist die Vorrichtung in einem ersten Sensorgehäuse des ersten Sensors angeordnet.In one embodiment, the device is arranged in a first sensor housing of the first sensor.

Die Erfindung betrifft ferner ein Fahrzeug mit einer solchen Vorrichtung zum Fusionieren von Sensordaten und einer Vorrichtung zum automatisierten Ausführen einer Fahrfunktion. Die Vorrichtung zum automatisierten Ausführen der Fahrfunktion umfasst eine Steuereinheit. Die Vorrichtung zum Fusionieren von Sensordaten gibt die fusionierten Sensordaten und die fusionierte Güte an die Steuereinheit aus. Die Steuereinheit berücksichtigt die fusionierten Sensordaten und die fusionierte Güte beim automatisierten Ausführen der Fahrfunktion berücksichtigt.The invention also relates to a vehicle having such a device for fusing sensor data and a device for automatically executing a driving function. The device for automatically executing the driving function includes a control unit. The device for merging sensor data outputs the fused sensor data and the fused quality to the control unit. The control unit takes into account the merged sensor data and the merged quality when automatically executing the driving function.

Ausführungsbeispiele der Erfindung werden anhand der folgenden Zeichnungen erläutert. In der schematischen Zeichnung zeigen:

  • 1 eine Vorrichtung zum Fusionieren von Sensordaten;
  • 2 eine weitere Vorrichtung zum Fusionieren von Sensordaten;
  • 3 erste Sensordaten, zweite Sensordaten und fusionierte Sensordaten; und
  • 4 ein Fahrzeug.
Exemplary embodiments of the invention are explained using the following drawings. In the schematic drawing show:
  • 1 a device for fusing sensor data;
  • 2 another device for fusing sensor data;
  • 3 first sensor data, second sensor data, and fused sensor data; and
  • 4 a vehicle.

1 zeigt eine Vorrichtung 100 zum Fusionieren von Sensordaten eines ersten Sensors 120 und eines zweiten Sensors 130, aufweisend eine Datenschnittstelle 110 und eine Recheneinheit. Die Datenschnittstelle 110 weist eine erste Datenschnittstelle 111 auf, mit der erste Sensordaten des ersten Sensors 120 und eine erste Güte der ersten Sensordaten eingelesen werden können. Ferner weist die Datenschnittstelle 110 eine zweite Datenschnittstelle 112 auf, mit der zweite Sensordaten des zweiten Sensors 130 und eine zweite Güte der zweiten Sensordaten eingelesen werden können. Die Vorrichtung 100 ist ferner eingerichtet, beispielsweise mittels der Recheneinheit 115, fusionierte Sensordaten aus den ersten Sensordaten und den zweiten Sensordaten zu erzeugen und darüber hinaus eingerichtet, aus der ersten Güte und der zweiten Güte eine fusionierte Güte zu ermitteln. Die erste Datenschnittstelle 111 und die zweite Datenschnittstelle 112 können alternativ als eine gemeinsame Datenschnittstelle 110, beispielsweise zum Anschluss an einen Datenbus, ausgestaltet sein. Die Vorrichtung 100 weist ferner eine zur Datenschnittstelle 110 gehörende dritte Datenschnittstelle 113 auf, mit der die fusionierten Sensordaten und die fusionierte Güte ausgegeben werden können. Auch die dritte Datenschnittstelle 113 kann Teil einer gemeinsamen Datenschnittstelle 110 sein und die fusionierten Sensordaten und die fusionierte Güte beispielsweise an einen Datenbus ausgeben. 1 shows a device 100 for fusing sensor data from a first sensor 120 and a second sensor 130, having a data interface 110 and a computing unit. The data interface 110 has a first data interface 111, with which first sensor data of the first sensor 120 and a first quality of the first sensor data can be read. Furthermore, the data interface 110 has a second data interface 112, with which second sensor data of the second sensor 130 and a second quality of the second sensor data can be read. The device 100 is also set up, for example by means of the computing unit 115, to generate merged sensor data from the first sensor data and the second sensor data and is also set up to determine a merged quality from the first quality and the second quality. The first data interface 111 and the second data interface 112 can alternatively be designed as a common data interface 110, for example for connection to a data bus. Device 100 also has a third data interface 113, which is part of data interface 110 and can be used to output the merged sensor data and the merged quality. The third data interface 113 can also be part of a common data interface 110 and output the merged sensor data and the merged quality to a data bus, for example.

Der erste Sensor 120 weist ein erstes Sensorelement 121, eine erste Sensorelektronik 122, eine erste Sensorschnittstelle 123 sowie ein erstes Sensorgehäuse 124 auf. Der zweite Sensor 120 weist ein zweites Sensorelement 131, eine zweite Sensorelektronik 132, eine zweite Sensorschnittstelle 133 sowie ein zweites Sensorgehäuse 134 auf. Der erste Sensor 120 und/oder der zweite Sensor 130 können dabei insbesondere Kameras, LIDAR-Vorrichtungen und/oder RADAR-Vorrichtungen umfassen.First sensor 120 has a first sensor element 121 , first sensor electronics 122 , a first sensor interface 123 and a first sensor housing 124 . The second sensor 120 has a second sensor element 131, second sensor electronics 132, a second sensor interface 133 and a second sensor housing 134. The first sensor 120 and/or the second sensor 130 can in particular include cameras, LIDAR devices and/or RADAR devices.

2 zeigt eine weitere Vorrichtung 100 zum Fusionieren von Sensordaten, die der Vorrichtung 100 zum Fusionieren von Sensordaten entspricht, sofern im Folgenden keine Unterschiede beschrieben sind. Die Vorrichtung 100 zum Fusionieren von Sensordaten ist innerhalb des ersten Sensorgehäuses 124 angeordnet. Das bedeutet, dass der erste Sensor 120 zusätzlich die Vorrichtung 100 zum Fusionieren von Sensordaten umfasst und der zweite Sensor 130 die zweiten Sensordaten und die zweite Güte an den ersten Sensor 120 ausgibt. 2 12 shows a further device 100 for fusing sensor data, which corresponds to device 100 for fusing sensor data, provided that no differences are described below. The device 100 for fusing sensor data is arranged within the first sensor housing 124 . This means that the first sensor 120 additionally includes the device 100 for fusing sensor data and the second sensor 130 outputs the second sensor data and the second quality to the first sensor 120 .

Sowohl in 1 als auch in 2 können analog weitere Sensoren vorgesehen werden, die ihre Sensordaten und ihre Güte jeweils an die Vorrichtung 100 zum Fusionieren von Sensordaten ausgeben. Ferner kann in den Ausgestaltungen der 1 und 2 optional im ersten Sensor 120 eine erste Bewertungsvorrichtung 125 und um zweiten Sensor 130 eine zweite Bewertungsvorrichtung 135 vorgesehen sein, die jeweils eingerichtet sind, anhand zumindest eines Parameters eine erste Güte der ersten Sensordaten beziehungsweise eine zweite Güte der zweiten Sensordaten zu ermitteln und über die erste Sensorschnittstelle 123 beziehungsweise die zweite Sensorschnittstelle 133 auszugeben. Dies kann jeweils anhand eines Parameters erfolgen. Der Parameter kann dabei beispielsweise jeweils aus der physikalischen Messgröße beziehungsweise den Sensordaten bestimmt oder über die jeweilige Sensorschnittstelle 123, 133 eingelesen werden. Mittels der Bewertungsvorrichtungen 125, 135 wird also bestimmt, wie zuverlässig die aktuell vorliegenden ersten Sensordaten beziehungsweise zweiten Sensordaten sind. Werden die Parameter über die Sensorschnittstellen 125, 135 eingelesen, können diese beispielsweise mittels weiterer Sensoren eines Fahrzeugs ermittelt werden oder Parameter umfassen, die über eine Cloud oder mittels Mobilem Internet bereitgestellt werden.As well in 1 as well as in 2 further sensors can be provided analogously, which output their sensor data and their quality to the device 100 for merging sensor data. Furthermore, in the configurations of 1 and 2 A first evaluation device 125 can optionally be provided in first sensor 120 and a second evaluation device 135 can be provided around second sensor 130, which are each set up to determine a first quality of the first sensor data or a second quality of the second sensor data using at least one parameter and via the first sensor interface 123 or the second sensor interface 133 to output. This can be done using a parameter in each case. The parameter can be determined, for example, from the physical measurement variable or the sensor data, or can be read in via the respective sensor interface 123, 133. The evaluation devices 125, 135 are used to determine how reliable the currently available first sensor data or second sensor data is. If the parameters are read in via the sensor interfaces 125, 135, they can be determined, for example, by means of additional sensors in a vehicle or can include parameters that are provided via a cloud or via mobile internet.

Sowohl für die Vorrichtung 100 zum Fusionieren von Sensordaten der 1 als auch für die Vorrichtung 100 zum Fusionieren von Sensordaten der 2 kann vorgesehen sein, dass die erste Güte eine Wahrscheinlichkeit für eine Korrektheit der ersten Sensordaten umfasst und die zweite Güte eine Wahrscheinlichkeit für eine Korrektheit der zweiten Sensordaten umfasst. Bei der Ermittlung der fusionierten Güte wird eine Wahrscheinlichkeit für eine Korrektheit der fusionierten Sensordaten ermittelt wird.Both for the device 100 for fusing sensor data 1 as well as for the device 100 for fusing sensor data 2 it can be provided that the first quality includes a probability of correctness of the first sensor data and the second quality includes a probability of correctness of the second sensor data. When determining the merged quality, a probability of correctness of the merged sensor data is determined.

Dabei kann beispielsweise ein erster Wahrscheinlichkeitswert p_1 für die Korrektheit der ersten Sensordaten und ein zweiter Wahrscheinlichkeitswert p_2 für die Korrektheit der ersten Sensordaten vorgesehen sein. Als fusionierte Güte kann dann beispielsweise der kleineren der beiden Wahrscheinlichkeitswerte p_1 oder p_2 gewählt werden. Alternativ könnte als fusionierte Güte ein Mittelwert aus p_1 und p_2 gewählt werden.For example, a first probability value p_1 for the correctness of the first sensor data and a second probability value p_2 for the correctness of the first sensor data can be provided. For example, the smaller of the two probability values p_1 or p_2 can then be selected as the merged quality. Alternatively, a mean value from p_1 and p_2 could be selected as the merged quality.

Sowohl für die Vorrichtung 100 zum Fusionieren von Sensordaten der 1 als auch für die Vorrichtung 100 zum Fusionieren von Sensordaten der 2 kann vorgesehen sein, dass die ersten Sensordaten und die zweiten Sensordaten erkannte Objekte umfassen. Die erste Güte umfasst eine erste Wahrscheinlichkeit für einen falsch positiven Wert für ein erkanntes Objekt der ersten Sensordaten und eine zweite Wahrscheinlichkeit für einen falsch negativen Wert für ein nicht-erkanntes Objekt der ersten Sensordaten. Die zweite Güte umfasst eine dritte Wahrscheinlichkeit für einen falsch positiven Wert für ein erkanntes Objekt der zweiten Sensordaten und eine vierte Wahrscheinlichkeit für einen falsch negativen Wert für ein nicht-erkanntes Objekt der zweiten Sensordaten umfasst. Die erste Wahrscheinlichkeit kann den ersten Wahrscheinlichkeitswert p_1_fp umfassen. Die zweite Wahrscheinlichkeit kann den zweiten Wahrscheinlichkeitswert p_1_fn umfassen. Die dritte Wahrscheinlichkeit kann den dritten Wahrscheinlichkeitswert p_2_fp umfassen. Die vierte Wahrscheinlichkeit kann den vierten Wahrscheinlichkeitswert p_2_fn umfassen.Both for the device 100 for fusing sensor data 1 as well as for the device 100 for fusing sensor data 2 it can be provided that the first sensor data and the second sensor data include detected objects. The first quality includes a first probability of a false positive value for a recognized object in the first sensor data and a second probability of a false negative value for a non-recognized object in the first sensor data. The second quality includes a third probability of a false positive value for a recognized object in the second sensor data and a fourth probability of a false negative value for a non-recognized object in the second sensor data. The first probability may include the first probability value p_1_fp. The second probability may include the second probability value p_1_fn. The third probability may include the third probability value p_2_fp. The fourth probability can include the fourth probability value p_2_fn.

Wird beispielsweise ein Objekt mittels beider Sensoren 120, 130 an einer bestimmten Stelle ermittelt, enthalten die fusionierten Sensordaten ein Objekt an dieser Stelle. Die fusionierte Güte kann dann dahingehend berechnet werden, wie groß die Wahrscheinlichkeit ist, dass beide Sensoren an dieser Stelle ein Objekt fälschlicherweise erkennen, beispielsweise mittels der Formel 1 - p_1_fp * p_2_fp. Wird beispielsweise nur mittels des ersten Sensors 120 ein Objekt an einer bestimmten Stelle ermittelt, mittels des zweiten Sensors130 jedoch nicht, kann vorgesehen sein, dass die fusionierten Sensordaten das Objekt beinhalten und die Güte mittels der Formel 1- p_1_fp berechnet wird. Alternativ kann vorgesehen sein, dass die fusionierten Sensordaten das Objekt nicht beinhalten und die Güte mittels der Formel 1- p_2_fn berechnet wird. Analog kann vorgegangen werden, wenn das Objekt mittels des zweiten Sensors 130 an einer bestimmten Stelle ermittelt wird, mittels des ersten Sensors 120 jedoch nicht. Die fusionierten Sensordaten können dann das Objekt beinhalten und die Güte mittels der Formel 1- p_2_fp berechnet werden. Alternativ kann vorgesehen sein, dass die fusionierten Sensordaten das Objekt nicht beinhalten und die Güte mittels der Formel 1-p_1_fn berechnet wird. Wird an einer bestimmten Stelle mittels beiden Sensoren 120, 130 kein Objekt ermittelt, enthalten die fusionierten Sensordaten kein Objekt an dieser Stelle. Die fusionierte Güte kann dann dahingehend berechnet werden, wie groß die Wahrscheinlichkeit ist, dass beide Sensoren an dieser Stelle fälschlicherweise kein Objekt erkennen, beispielsweise mittels der Formel 1 - p_1_fn * p_2_fn.If, for example, an object is determined at a specific location using both sensors 120, 130, the merged sensor data contain an object at this location. The merged quality can then be calculated as to how great the probability is that both sensors incorrectly detect an object at this point, for example using the formula 1−p_1_fp*p_2_fp. For example, if an object is determined at a specific location using only the first sensor 120, but not using the second sensor 130, it can be provided that the merged sensor data contain the object and the quality is calculated using the formula 1−p_1_fp. Alternatively, it can be provided that the merged sensor data does not contain the object and the quality is calculated using the formula 1−p_2_fn. The procedure can be analogous if the object is determined at a specific point by means of the second sensor 130 , but not by means of the first sensor 120 . The merged sensor data can then contain the object and the quality can be calculated using the formula 1-p_2_fp. Alternatively, it can be provided that the merged sensor data does not contain the object and the quality is calculated using the formula 1-p_1_fn. Will be at a certain If no object is determined at the tenth point by means of both sensors 120, 130, the merged sensor data do not contain any object at this point. The merged quality can then be calculated according to how great the probability is that both sensors incorrectly detect no object at this point, for example using the formula 1−p_1_fn*p_2_fn.

Sowohl für die Vorrichtung 100 zum Fusionieren von Sensordaten der 1 als auch für die Vorrichtung 100 zum Fusionieren von Sensordaten der 2 kann vorgesehen sein, dass die Vorrichtung 100 ferner eingerichtet ist, einzulesen, welcher erste Parameter die erste Güte der ersten Sensordaten am stärksten negativ beeinflusst hat und welcher zweite Parameter die zweite Güte der zweiten Sensordaten am stärksten negativ beeinflusst hat. Die Vorrichtung 100 ist ferner eingerichtet, bei der Ermittlung der fusionierten Güte zu berücksichtigen ob der erste Parameter und der zweite Parameter unterschiedlich oder gleich sind. Sind die Parameter unterschiedlich, kann die Güte beispielsweise erhöht werden, da eine Beeinflussung der beiden Sensoren 120, 130 weniger wahrscheinlich ist als wenn die Parameter gleich wären.Both for the device 100 for fusing sensor data 1 as well as for the device 100 for fusing sensor data 2 it can be provided that the device 100 is further set up to read in which first parameter has had the most negative influence on the first quality of the first sensor data and which second parameter has had the most negative influence on the second quality of the second sensor data. The device 100 is also set up, when determining the merged quality, to take into account whether the first parameter and the second parameter are different or the same. If the parameters are different, the quality can be increased, for example, since an influence on the two sensors 120, 130 is less likely than if the parameters were the same.

Dadurch kann berücksichtigt werden, dass eine fusionierte Güte gegebenenfalls schlechter ist, wenn der erste Parameter und der zweite Parameter identisch sind, die beiden Sensoren 120, 130 also vom selben Parameter negativ beeinflusst wurden. Ferner kann vorgesehen sein, dass mehrere erste Parameter und mehrere zweite Parameter betrachtet werden, die jeweils den stärksten Einfluss auf die ersten Güte des ersten Sensors 120 beziehungsweise die zweite Güte des zweiten Sensors 130 haben, und berücksichtigt wird, ob einer der ersten Parameter identisch zu einem der zweiten Parameter identisch ist. Beispielsweise können für jeden Sensor drei Parameter ausgewertet werden, wobei die drei Parameter den stärksten, den zweitstärksten und den drittstärksten Einfluss auf den jeweiligen Sensor haben.As a result, it can be taken into account that a merged quality may be worse if the first parameter and the second parameter are identical, ie the two sensors 120, 130 were negatively influenced by the same parameter. Furthermore, it can be provided that a plurality of first parameters and a plurality of second parameters are considered, which each have the strongest influence on the first quality of the first sensor 120 or the second quality of the second sensor 130, and it is taken into account whether one of the first parameters is identical to is identical to one of the second parameters. For example, three parameters can be evaluated for each sensor, with the three parameters having the strongest, the second strongest and the third strongest influence on the respective sensor.

Der oder die Parameter können aus den folgenden Parametern ausgewählt sein:

  • - Umgebungsparameter wie beispielsweise Wetterbedingungen, Beleuchtungsstärken und Tageszeit,
  • - Straßenbedingungen wie eine Reflektivität der Straßenoberfläche (beispielsweise durch einen Wasserfilm) oder Wasserbenetzung mit daraus folgender Gischt, die Kamera- und/oder Lidar-Messungen beeinträchtigen kann,
  • - Straßengeometrie und -topologie, beispielsweise die Art der Straße (Autobahn, Schnellstraße, Landstraße allgemein und Ortsstraße) oder der Straßenverlauf (gerade, kurvig),
  • - Dynamische Konditionen wie Radar- oder LIDAR-Störungen aufgrund der Sensorik anderer Fahrzeuge oder hohe Verkehrsdichte, da hierdurch die Bewertung der Fahrsituation komplexer wird.
The parameter or parameters can be selected from the following parameters:
  • - environmental parameters such as weather conditions, illuminance and time of day,
  • - Road conditions such as road surface reflectivity (e.g. from a water film) or water wetting with consequent spray, which may affect camera and/or lidar measurements,
  • - Road geometry and topology, for example the type of road (motorway, expressway, country road in general and local road) or the course of the road (straight, winding),
  • - Dynamic conditions such as radar or LIDAR interference due to the sensors of other vehicles or high traffic density, as this makes the assessment of the driving situation more complex.

Sowohl für die Vorrichtung 100 zum Fusionieren von Sensordaten der 1 als auch für die Vorrichtung 100 zum Fusionieren von Sensordaten der 2 kann vorgesehen sein, dass bei der Ermittlung der fusionierten Güte ein Korrelationsfaktor des ersten Parameters und des zweiten Parameters berücksichtigt wird. Der erste Parameter und der zweite Parameter können voneinander abhängen. Dies kann beispielsweise der Fall sein, wenn der erste Parameter ein Wetter ist und beinhaltet, dass regnerisches Wetter vorherrscht und der zweite Parameter eine Gischt ist, also aufgewirbelte Feuchtigkeit auf der Straße. Da bei regnerischem Wetter die Wahrscheinlichkeit für Gischt erhöht ist, korrelieren hier die Parameter und die fusionierte Güte sollte reduziert werden.Both for the device 100 for fusing sensor data 1 as well as for the device 100 for fusing sensor data 2 it can be provided that a correlation factor of the first parameter and the second parameter is taken into account when determining the merged quality. The first parameter and the second parameter can depend on each other. This can be the case, for example, when the first parameter is weather and implies that rainy weather is prevalent and the second parameter is spray, i.e. moisture thrown up on the road. Since the probability of spray is increased in rainy weather, the parameters here correlate and the fused quality should be reduced.

Sowohl für die Vorrichtung 100 zum Fusionieren von Sensordaten der 1 als auch für die Vorrichtung 100 zum Fusionieren von Sensordaten der 2 kann vorgesehen sein, dass bei der Ermittlung der fusionierten Güte berücksichtigt wird, ob der erste Parameter die zweite Güte der zweiten Sensordaten negativ beeinflusst und ob der zweite Parameter die erste Güte der ersten Sensordaten negativ beeinflusst. Für den Fall, dass der erste Parameter die zweite Güte der zweiten Sensordaten negativ beeinflusst oder der zweite Parameter die erste Güte der ersten Sensordaten negativ beeinflusst wird die fusionierte Güte reduziert. Beispielsweise können Lichtverhältnisse die Güte eines Kamerasensors reduzieren. Beinhaltet der erste Parameter die Lichtverhältnisse und ist der zweite Sensor 130 ein Kamerasensor, sollte die fusionierte Güte reduziert werden.Both for the device 100 for fusing sensor data 1 as well as for the device 100 for fusing sensor data 2 it can be provided that when determining the merged quality, it is taken into account whether the first parameter negatively influences the second quality of the second sensor data and whether the second parameter negatively influences the first quality of the first sensor data. In the event that the first parameter negatively affects the second quality of the second sensor data or the second parameter negatively affects the first quality of the first sensor data, the merged quality is reduced. For example, lighting conditions can reduce the quality of a camera sensor. If the first parameter includes the lighting conditions and if the second sensor 130 is a camera sensor, the merged quality should be reduced.

Sowohl für die Vorrichtung 100 zum Fusionieren von Sensordaten der 1 als auch für die Vorrichtung 100 zum Fusionieren von Sensordaten der 2 kann vorgesehen sein, dass die erste Güte zumindest zwei räumlich unterschiedliche Gütewerte für verschiedene Messrichtungen des ersten Sensors 120 umfasst und die zweite Güte zumindest zwei räumlich unterschiedliche Gütewerte für verschiedene Messrichtungen des zweiten Sensors 130 umfasst. Bei der Ermittlung der fusionierten Güte die erste Güte und die zweite Güte hinsichtlich der räumlich unterschiedlichen Gütewerte ausgewertet und das Ergebnis der Auswertung berücksichtigt werden. Dies kann beispielsweise anhand der oben angegebenen Methoden erfolgen.Both for the device 100 for fusing sensor data 1 as well as for the device 100 for fusing sensor data 2 it can be provided that the first quality includes at least two spatially different quality values for different measurement directions of the first sensor 120 and the second quality includes at least two spatially different quality values for different measurement directions of the second sensor 130. When determining the merged quality, the first quality and the second quality are evaluated with regard to the spatially different quality values and the result of the evaluation is taken into account. This can be done, for example, using the methods given above.

Es kann vorgesehen sein, dass mehr als zwei Messrichtungen für die Sensoren 120, 130 vorgesehen sind. Ferner kann vorgesehen sein, dass die Messrichtungen ein zweidimensionales Raster aufspannen. Dies kann beispielsweise beinhalten, dass ein Blickfeld des erstem Sensors 120 beziehungsweise des zweiten Sensors 130 jeweils in ein Raster unterteilt wird und für jeden Punkt des Rasters eine Information über ein gegebenenfalls erkanntes Objekt und einen Abstand des Objekts ermittelt wird. Die Richtungen der erkannten Objekte ergeben sich aus der Anordnung der Punkte des Rasters. Ferner kann für jeden Punkt des Rasters eine erste Güte und eine zweite Güte angegeben werden. Die fusionierten Sensordaten können dann Daten über die erkannten Objekte sowohl des ersten Sensors 120 als auch des zweiten Sensors 130 mit den zugehörigen Abständen beinhalten und die fusionierte Güte jeweils wie oben beschrieben für die verschiedenen Messrichtungen ermittelt werden. Daraus ergibt sich eine Übersicht der fusionierten Güten der verschiedenen Messrichtungen. Dies kann beispielsweise als Messgenauigkeitskarte bezeichnet werden.Provision can be made for more than two measurement directions for the sensors 120, 130 are seen. Furthermore, it can be provided that the measurement directions span a two-dimensional grid. This can include, for example, dividing a field of view of the first sensor 120 or the second sensor 130 into a grid and determining for each point of the grid information about an object that may have been detected and a distance from the object. The directions of the detected objects result from the arrangement of the grid points. Furthermore, a first quality and a second quality can be specified for each point of the grid. The merged sensor data can then contain data about the detected objects of both the first sensor 120 and the second sensor 130 with the associated distances and the merged quality can be determined as described above for the different measurement directions. This results in an overview of the merged qualities of the different measurement directions. This can be referred to as a measurement accuracy map, for example.

3 zeigt drei Raster 150, ein erstes Raster 151 mit ersten Sensordaten, ein zweites Raster 152 mit zweiten Sensordaten und ein fusioniertes Raster 153 mit aus den ersten Sensordaten und den zweiten Sensordaten ermittelten fusionierten Sensordaten. Die Raster 8 umfassen jeweils acht Bereich in einer zwei mal vier Anordnung. Im ersten Raster 151 ist ein erstes Objekt 161 und ein zweites Objekt 162 erkannt worden, die jeweils in einem der Bereiche angeordnet sind. Im zweiten Raster 152 ist ebenfalls das erste Objekt 161 und ein drittes Objekt 163 erkannt worden, die jeweils in einem der Bereiche angeordnet sind. Betrachtet man das erste Raster 151 und das zweite Raster 152 gemeinsam, so ergibt sich, dass das erste Objekt 161 übereinstimmend für beide Raster 151, 152 in einem ersten Bereich 155 übereinstimmend ermittelt wurde. Das zweite Objekt 162 und das dritte Objekt 163 sind jeweils in unterschiedlichen zweiten Bereichen 156 angeordnet. In dritten Bereichen 157 wurde übereinstimmend kein Objekt erkannt. Somit ergibt sich das dritte Raster 153 mit den fusionierten Sensordaten derart, dass das erste Objekt im ersten Bereich 155 und jeweils kein Objekt in den dritten Bereichen 157 angeordnet ist. In den zwei zweiten Bereichen 156 sind das zweite Objekt 162 und das dritte Objekt 163 angeordnet. Die zweiten Bereiche 156 sind also diejenigen Bereiche, in denen der erste Sensor 120 und der zweiten Sensor 130 unterschiedliche Sensordaten aufweisen. In den fusionierten Sensordaten kann, wie in 3 gezeigt, vorgesehen sein, dass sowohl das zweite Objekt 162 als auch das dritte Objekt 163 beinhaltet sind, da eine Vorrichtung zum automatisierten Ausführen der Fahrfunktion beispielsweise besser ein fälschlich erkanntes Objekt berücksichtigen sollte, als durch ein weggelassenes Objekt einen in der Realität nicht vorhandenen freien Bereich anzunehmen. 3 shows three grids 150, a first grid 151 with first sensor data, a second grid 152 with second sensor data and a merged grid 153 with merged sensor data determined from the first sensor data and the second sensor data. The grids 8 each comprise eight areas in a two by four arrangement. A first object 161 and a second object 162 have been detected in the first grid 151, which are each arranged in one of the areas. In the second grid 152, the first object 161 and a third object 163 have also been detected, which are each arranged in one of the areas. If the first raster 151 and the second raster 152 are considered together, then the result is that the first object 161 has been determined consistently for both rasters 151, 152 in a first region 155. The second object 162 and the third object 163 are each arranged in different second areas 156 . In third areas 157, no object was consistently detected. The third grid 153 with the merged sensor data is thus obtained in such a way that the first object is arranged in the first area 155 and no object is arranged in the third areas 157 . The second object 162 and the third object 163 are arranged in the two second regions 156 . The second areas 156 are therefore those areas in which the first sensor 120 and the second sensor 130 have different sensor data. In the merged sensor data, as in 3 shown, it can be provided that both the second object 162 and the third object 163 are included, since a device for the automated execution of the driving function should, for example, better consider an incorrectly recognized object than a free area that does not exist in reality due to an omitted object to accept

Sowohl für das erste Raster 151 als auch für das zweite Raster 152 ist jedem Bereich 155, 156, 157 eine Güte zugeordnet, wobei die Güte jeweils eine Prozentzahl umfasst, die eine Wahrscheinlichkeit beinhaltet, dass die Sensordaten in diesem Bereich 155, 156, 157 falsch sind. Dies bedeutet insbesondere, dass für die Bereiche, in denen jeweils ein Objekt 161, 162, 163 vorhanden ist, eine Wahrscheinlichkeit für ein falsch positives Ergebnis und für die Bereiche, in denen jeweils kein Objekt vorhanden ist, eine Wahrscheinlichkeit für ein falsch negatives Ergebnis angegeben ist. Für das dritte Raster 153 der fusionierten Sensordaten ist für jeden Bereich auch jeweils eine Wahrscheinlichkeit für ein falsch positives Ergebnis beziehungsweise ein falsch negatives Ergebnis angegeben. Im ersten Bereich 155 beträgt die Wahrscheinlichkeit für ein falsch positives Ergebnis im ersten Raster 151 und im zweiten Raster beispielhaft 10 Prozent. Eine Wahrscheinlichkeit für ein falsch positives Ergebnis des ersten Bereichs 155 der fusionierten Sensordaten beträgt also p_1_fp * p_2_fp, was einem Prozent entspricht. Die fusionierten Sensordaten sind also bezüglich des ersten Bereichs 155 relativ sicher. In den dritten Bereichen 157 ist jeweils eine Wahrscheinlichkeit für ein falsch negatives Ergebnis der dritten Bereiche 157 der fusionierten Sensordaten angegeben, wobei diese mittels der Formel p_1_fn * p_2_fn berechnet sind. In den zweiten Bereichen 156 hingegen werden die Wahrscheinlichkeiten für falsch positive Ergebnisse jeweils für den Sensor übernommen, mit dem das Objekt 162, 163 erkannt wurde. Somit ist die Wahrscheinlichkeit für falsch positive Ergebnisse in den zweiten Bereichen 156 deutlich größer als im ersten Bereich 155 beziehungsweise deutlich größer als die Wahrscheinlichkeit für ein falsch negatives Ergebnis in den dritten Bereichen 157.A quality is assigned to each area 155, 156, 157 both for the first grid 151 and for the second grid 152, the quality in each case including a percentage that includes a probability that the sensor data in this area 155, 156, 157 is incorrect are. This means in particular that a probability of a false positive result is given for the areas in which an object 161, 162, 163 is present, and a probability of a false negative result is given for the areas in which no object is present in each case is. For the third grid 153 of the merged sensor data, a probability of a false positive result or a false negative result is also given for each area. In the first area 155, the probability of a false positive result in the first grid 151 and in the second grid is 10 percent, for example. A probability of a false positive result of the first area 155 of the merged sensor data is therefore p_1_fp*p_2_fp, which corresponds to one percent. The merged sensor data are therefore relatively reliable with regard to the first area 155 . A probability for a false negative result of the third areas 157 of the merged sensor data is indicated in each of the third areas 157, with these being calculated using the formula p_1_fn*p_2_fn. In the second areas 156, on the other hand, the probabilities for false positive results are adopted for the sensor with which the object 162, 163 was detected. The probability of false positive results in the second areas 156 is therefore significantly greater than in the first area 155 or significantly greater than the probability of a false negative result in the third areas 157.

Wird bei der Fusion der Sensordaten jedoch erkannt, dass der erste Sensor 120 und der zweite Sensor 130 durch den gleichen Parameter beziehungsweise gleiche Parameter beziehungsweise korrelierende Parameter negativ beeinflusst werden, kann vorgesehen sein, im ersten Bereich 155 die Wahrscheinlichkeit für ein falsch positives Ergebnis mit einem vorbestimmten Wert zu multiplizieren und beispielsweise auf den fünffachen Wert zu erhöhen und den dritten Bereichen 157 die Wahrscheinlichkeiten für die falsch negativen Ergebnisse ebenfalls mit einem vorbestimmten Wert zu multiplizieren und beispielsweise auf den fünffachen Wert zu erhöhen.However, if it is recognized during the fusion of the sensor data that the first sensor 120 and the second sensor 130 are negatively influenced by the same parameter or the same parameters or correlating parameters, the probability of a false positive result in the first area 155 can be given a to multiply the predetermined value and to increase it to five times the value, for example, and to also multiply the probabilities for the false negative results in the third areas 157 by a predetermined value and to increase it to five times the value, for example.

4 zeigt ein Fahrzeug 200, in das die Vorrichtung 100 zum Fusionieren von Sensordaten der 1 sowie der erste Sensor 120 und de zweite Sensor 130 integriert ist. Alternativ können die Vorrichtung 100 zum Fusionieren von Sensordaten und die Sensoren 120, 130 wie in 2 gezeigt ausgestaltet sein. Die Datenschnittstelle 110 ist mit einer Vorrichtung 210 zum automatisierten Ausführen einer Fahrfunktion verbunden. Die Vorrichtung 210 zum automatisierten Ausführen der Fahrfunktion umfasst eine Steuereinheit 211. Der Sensor 100 gibt die fusionierten Sensordaten und die fusionierte Güte über die Datenschnittstelle 110 an die Steuereinheit 211 aus. Die Steuereinheit 211 berücksichtigt die fusionierten Sensordaten und die fusionierte Güte beim automatisierten Ausführen der Fahrfunktion. Die Fahrfunktion kann dabei eine Beschleunigung oder ein Bremsen und/oder ein Lenken des Fahrzeugs 200 umfassen. 4 shows a vehicle 200, in which the device 100 for merging sensor data 1 and the first sensor 120 and the second sensor 130 are integrated. Alternatively, the device 100 for fusing sensor data and the sensors 120, 130 as in 2 shown to be configured. The data interface 110 is connected to a device 210 for the automated execution of a driving function. The device 210 for the automated execution of the driving function includes a control unit 211. The sensor 100 outputs the merged sensor data and the merged quality via the data interface 110 to the control unit 211. The control unit 211 takes into account the merged sensor data and the merged quality when executing the driving function in an automated manner. The driving function can include acceleration or braking and/or steering of vehicle 200 .

Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele beschrieben wurde, ist die Erfindung nicht auf die offenbarten Beispiele eingeschränkt und andere Variationen hieraus können vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.Although the invention has been described in detail by the preferred embodiments, the invention is not limited to the disclosed examples and other variations can be derived therefrom by those skilled in the art without departing from the scope of the invention.

Claims (9)

Vorrichtung (100) zum Fusionieren von Sensordaten eines ersten Sensors (120) und eines zweiten Sensors (130), aufweisend eine Datenschnittstelle (110) mit der erste Sensordaten des ersten Sensors (120), eine erste Güte der ersten Sensordaten, zweite Sensordaten des zweiten Sensors (130) und eine zweite Güte der zweiten Sensordaten eingelesen werden können, wobei die Vorrichtung (100) ferner eingerichtet ist, fusionierte Sensordaten aus den ersten Sensordaten und den zweiten Sensordaten zu erzeugen, wobei die Vorrichtung ferner eingerichtet ist, aus der ersten Güte und der zweiten Güte eine fusionierte Güte zu ermitteln.Device (100) for fusing sensor data from a first sensor (120) and a second sensor (130), having a data interface (110) with the first sensor data from the first sensor (120), a first quality of the first sensor data, second sensor data from the second Sensor (130) and a second quality of the second sensor data can be read in, the device (100) also being set up to generate merged sensor data from the first sensor data and the second sensor data, the device also being set up to generate from the first quality and the second quality to determine a fused quality. Vorrichtung (100) nach Anspruch 1, wobei die erste Güte eine Wahrscheinlichkeit für eine Korrektheit der ersten Sensordaten umfasst, die zweite Güte eine Wahrscheinlichkeit für eine Korrektheit der zweiten Sensordaten umfasst und wobei bei der Ermittlung der fusionierten Güte eine Wahrscheinlichkeit für eine Korrektheit der fusionierten Sensordaten ermittelt wird.Device (100) according to claim 1 , wherein the first quality includes a probability of correctness of the first sensor data, the second quality includes a probability of correctness of the second sensor data and wherein when determining the merged quality, a probability of correctness of the merged sensor data is determined. Vorrichtung (100) nach Anspruch 1 oder 2, wobei die ersten Sensordaten und die zweiten Sensordaten erkannte Objekte (161, 162, 163) umfassen, wobei die erste Güte eine erste Wahrscheinlichkeit für einen falsch positiven Wert für ein erkanntes Objekt (161, 162) der ersten Sensordaten umfasst, wobei die erste Güte eine zweite Wahrscheinlichkeit für einen falsch negativen Wert für ein nicht-erkanntes Objekt der ersten Sensordaten umfasst, wobei die zweite Güte eine dritte Wahrscheinlichkeit für einen falsch positiven Wert für ein erkanntes Objekt (161, 163) der zweiten Sensordaten umfasst, wobei die zweite Güte eine vierte Wahrscheinlichkeit für einen falsch negativen Wert für ein nicht-erkanntes Objekt der zweiten Sensordaten umfasst.Device (100) according to claim 1 or 2 , wherein the first sensor data and the second sensor data include detected objects (161, 162, 163), wherein the first quality includes a first probability of a false positive value for a detected object (161, 162) of the first sensor data, the first quality includes a second probability of a false negative value for a non-detected object of the first sensor data, the second quality includes a third probability of a false positive value for a detected object (161, 163) of the second sensor data, the second quality a fourth probability of a false negative value for an undetected object of the second sensor data. Vorrichtung (100) nach einem der Ansprüche 1 bis 3, wobei die Vorrichtung (100) ferner eingerichtet ist, einzulesen, welcher erste Parameter die erste Güte der ersten Sensordaten am stärksten negativ beeinflusst hat und welcher zweite Parameter die zweite Güte der zweiten Sensordaten am stärksten negativ beeinflusst hat, und bei der Ermittlung der fusionierten Güte zu berücksichtigen ob der erste Parameter und der zweite Parameter unterschiedlich oder gleich sind.Device (100) according to one of Claims 1 until 3 , wherein the device (100) is further set up to read in which first parameter has had the most negative influence on the first quality of the first sensor data and which second parameter has had the most negative influence on the second quality of the second sensor data, and when determining the merged quality to consider whether the first parameter and the second parameter are different or the same. Vorrichtung (100) nach Anspruch 4, wobei bei der Ermittlung der fusionierten Güte ein Korrelationsfaktor des ersten Parameters und des zweiten Parameters berücksichtigt wird.Device (100) according to claim 4 , wherein a correlation factor of the first parameter and the second parameter is taken into account when determining the merged quality. Vorrichtung (100) nach Anspruch 4 oder 5, wobei bei der Ermittlung der fusionierten Güte berücksichtigt wird, ob der erste Parameter die zweite Güte der zweiten Sensordaten negativ beeinflusst und ob der zweite Parameter die erste Güte der ersten Sensordaten negativ beeinflusst, wobei für den Fall, dass der erste Parameter die zweite Güte der zweiten Sensordaten negativ beeinflusst oder der zweite Parameter die erste Güte der ersten Sensordaten negativ beeinflusst die fusionierte Güte reduziert wird.Device (100) according to claim 4 or 5 , wherein when determining the merged quality, it is taken into account whether the first parameter negatively influences the second quality of the second sensor data and whether the second parameter negatively influences the first quality of the first sensor data, wherein in the event that the first parameter has the second quality of the second sensor data negatively influenced or the second parameter negatively affects the first quality of the first sensor data the merged quality is reduced. Vorrichtung (100) nach einem der Ansprüche 1 bis 6, wobei die erste Güte zumindest zwei räumlich unterschiedliche Gütewerte für verschiedene Messrichtungen des ersten Sensors (120) umfasst, wobei die zweite Güte zumindest zwei räumlich unterschiedliche Gütewerte für verschiedene Messrichtungen des zweiten Sensors (130) umfasst, wobei bei der Ermittlung der fusionierten Güte die erste Güte und die zweite Güte hinsichtlich der räumlich unterschiedlichen Gütewerte ausgewertet und das Ergebnis der Auswertung berücksichtigt werden.Device (100) according to one of Claims 1 until 6 , wherein the first quality includes at least two spatially different quality values for different measuring directions of the first sensor (120), wherein the second quality includes at least two spatially different quality values for different measuring directions of the second sensor (130), wherein when determining the merged quality, the first Quality and the second quality are evaluated with regard to the spatially different quality values and the result of the evaluation is taken into account. Vorrichtung (100) nach einem der Ansprüche 1 bis 7, wobei die Vorrichtung in einem ersten Sensorgehäuse (124) des ersten Sensors (120) angeordnet ist.Device (100) according to one of Claims 1 until 7 , wherein the device is arranged in a first sensor housing (124) of the first sensor (120). Fahrzeug (200) mit einer Vorrichtung (100) zum Fusionieren von Sensordaten nach einem der Ansprüche 1 bis 8 und einer Vorrichtung (210) zum automatisierten Ausführen einer Fahrfunktion, wobei die Vorrichtung (210) zum automatisierten Ausführen der Fahrfunktion eine Steuereinheit (211) umfasst, wobei die Vorrichtung (100) zum Fusionieren von Sensordaten die fusionierten Sensordaten und die fusionierte Güte an die Steuereinheit (211) ausgibt und wobei die Steuereinheit (211) die fusionierten Sensordaten und die fusionierte Güte beim automatisierten Ausführen der Fahrfunktion berücksichtigt.Vehicle (200) with a device (100) for merging sensor data according to one of Claims 1 until 8th and a device (210) for automatically executing a driving function, the device (210) for automatically executing the driving function comprising a control unit (211), the device (100) for merging sensor data sending the fused sensor data and the fused quality to the control unit (211) outputs and wherein the control unit (211) takes into account the merged sensor data and the merged quality in the automated execution of the driving function.
DE102021214105.6A 2021-12-10 2021-12-10 Device for fusing sensor data Pending DE102021214105A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021214105.6A DE102021214105A1 (en) 2021-12-10 2021-12-10 Device for fusing sensor data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021214105.6A DE102021214105A1 (en) 2021-12-10 2021-12-10 Device for fusing sensor data

Publications (1)

Publication Number Publication Date
DE102021214105A1 true DE102021214105A1 (en) 2023-06-15

Family

ID=86498260

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021214105.6A Pending DE102021214105A1 (en) 2021-12-10 2021-12-10 Device for fusing sensor data

Country Status (1)

Country Link
DE (1) DE102021214105A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019215902A1 (en) 2019-10-16 2021-05-20 Robert Bosch Gmbh Method for determining a quality level of data sets from sensors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019215902A1 (en) 2019-10-16 2021-05-20 Robert Bosch Gmbh Method for determining a quality level of data sets from sensors

Similar Documents

Publication Publication Date Title
DE19650863C1 (en) Method of detecting distance sensor vertical adjustment error
EP1612580A1 (en) Object recognition method for vehicles
DE102016214045A1 (en) Method and device for determining a roadway model for a vehicle environment
DE102019132150A1 (en) Method for automatically calibrating an environment sensor, in particular a lidar sensor, of a vehicle on the basis of occupancy cards and computing device
EP3667359A1 (en) Method for determining the misalignment of at least one sensor within a set of sensors
DE102017207441A1 (en) Method for checking a digital environment map for a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle
DE102020118318A1 (en) Method and device for identifying a traffic junction on the basis of trajectory data
DE102017208692A1 (en) Method for providing training data for a functional test of a recognition device and database system
DE102021214105A1 (en) Device for fusing sensor data
DE102023001750A1 (en) Method and system for measuring vehicle distance, vehicle and program product
DE102019208507A1 (en) Method for determining the degree of overlap between an object and a lane
EP3759517A1 (en) Method and device for estimating the height of a reflector of a vehicle
DE102022108842A1 (en) Online validation of LIDAR-LIDAR alignment and LIDAR-vehicle alignment
DE102018211240A1 (en) Method for classifying an object's relevance
DE102019211006B4 (en) Evaluation of sensor data from a vehicle
WO2021239326A1 (en) Method for estimating an intrinsic speed
WO2022063900A1 (en) Method for fusing environment-related parameters
DE102019003238B4 (en) Vehicle location by map comparison taking into account a street profile
DE102022200151A1 (en) sensor
DE102016223290A1 (en) Method and device for calibrating a sensor for a vehicle
DE102019132151A1 (en) Method for calibrating an environment sensor of a vehicle on the basis of data from a reference environment sensor, taking into account occupancy cards, computing device and sensor system
DE112020001870T5 (en) In-vehicle system, externality detection sensor, electronic control device
EP3871006A1 (en) Rain detection by means of an environment sensor for capturing the environment of a vehicle point by point, in particular by means of a lidar-based environment sensor
DE102019213776A1 (en) Method for calibrating sensors and detecting decalibration
DE102022131849A1 (en) Method for providing driving side information

Legal Events

Date Code Title Description
R163 Identified publications notified