DE102021208349B3

DE102021208349B3 - Verfahren und Sensorsystem zum Zusammenführen von Sensordaten sowie Fahrzeug mit einem Sensorsystem zum Zusammenführen von Sensordaten

Info

Publication number: DE102021208349B3
Application number: DE102021208349.8A
Authority: DE
Inventors: Matthias Schreier
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2021-08-02
Filing date: 2021-08-02
Publication date: 2022-12-15
Anticipated expiration: 2041-08-03
Also published as: US20230031825A1

Abstract

Die Erfindung betrifft ein Verfahren (1) zum Zusammenführen von Sensordaten. Dabei wird ein Sensordatensatz, der erste Sensordaten (3.1; 3.2; 12.1) umfasst, bereitgestellt. Des Weiteren werden die ersten Sensordaten (3.1; 3.2; 12.1) analysiert und ein erstes Sensorergebnis (5.1) erzeugt, wobei das erste Sensorergebnis (5.1) auf der Analyse der ersten Sensordaten (3.1; 3.2; 12.1) basiert. Ferner wird ein erstes Sensormodell (6.1) erzeugt, wobei das erste Sensormodell (6.1) dem ersten Sensorergebnis (5.1) zugeordnet ist und von einem ersten Unsicherheitsdatensatz abhängt, wobei der erste Unsicherheitsdatensatz eine Teilmenge des Sensordatensatzes ist. Es wird auch ein zweites Sensorergebnis (5.2) und ein zweites Sensormodell (6.2) erzeugt, wobei das zweite Sensormodell (6.2) dem zweiten Sensorergebnis (5.2) zugeordnet ist. Schließlich werden das erste Sensorergebnis (5.1) und das zweite Sensorergebnis (5.2) zu einem Fusionsergebnis (8) zusammengeführt, wobei das Zusammenführen in Abhängigkeit vom ersten Sensormodell (6.1) und vom zweiten Sensormodell (6.2) erfolgt. Ferner betrifft die Erfindung ein Sensorsystem (15) sowie ein Fahrzeug (14) mit einem Sensorsystem (15).

Description

Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren und ein Sensorsystem zum Zusammenführen von Sensordaten sowie ein Fahrzeug mit einem Sensorsystem zum Zusammenführen von Sensordaten. Das Verfahren und das Sensorsystem können in vielfältigen Bereichen eingesetzt werden, in denen verschiedene Sensordaten zusammengeführt werden müssen. Insbesondere können das Verfahren und das Sensorsystem zum Zusammenführen von Sensordaten zu einem Umfeldmodell, ganz insbesondere eines Roboters oder eines Fahrzeugs, verwendet werden.
Hintergrund
In vielen Bereichen werden verschiedene Sensordaten mit Hilfe von Sensormodellen zu einem Fusionsergebnis zusammengeführt. So werden beispielweise bei Fahrzeugen, insbesondere bei teilautonomen oder autonomen Fahrzeugen, die Sensordaten von verschiedenen Sensoren wie beispielsweise einer Kamera, einem Radar und einem Lidar zu einem Fahrzeugumfeldmodell zusammengeführt. Das Fahrzeugumfeldmodell umfasst dann beispielsweise den Verlauf der Fahrbahn und die Positionen von ortsfesten Objekten wie z.B. Gebäuden und Bäumen sowie die Positionen von anderen Verkehrsteilnehmern.
Die Sensormodelle beschreiben dabei Unsicherheiten, beispielsweise in der Detektion von Objekten. Diese Unsicherheiten können zum Beispiel Unsicherheiten in der Position der Objekte, Unsicherheiten der Art der Objekte, Detektionsunsicherheiten, das heißt, ob ein Objekt überhaupt erkannt wird, oder Falschalarmwahrscheinlichkeiten sein. Das Zusammenführen der Sensordaten erfolgt unter Berücksichtigung der Sensormodelle, das heißt, je größer die Unsicherheit von Sensordaten, desto geringer die Gewichtung dieser Sensordaten beim Zusammenführen.
Aus der Druckschrift DE102018122092A1 ist ein Verfahren zum Bestimmen eines Positionsparameters eines Objekts in einer Umgebung eines Kraftfahrzeugs auf der Basis von fusionierten Sensordaten bekannt.
Die Druckschrift DE102018207194A1 offenbart ein Verfahren zum Bestimmen eines Umgebungszustands eines Fahrzeugs. Hierbei werden Sensordaten von wenigstens einem Umgebungssensor empfangen und wenigstens ein erster Teil der Sensordaten in wenigstens einen ersten Klassifikator eingespeist.
Die Druckschrift DE102013208709A1 beschreibt ein Verfahren zum Ermitteln von Eingangsdaten einer Fahrerassistenzeinheit. Hierfür werden Informationsdaten bereitgestellt, die abhängig von einem Messsignal eines ersten Sensors mittels einer vorgegebenen Berechnungsvorschrift ermittelt werden.
Zusammenfassung
Es ist die Aufgabe der Erfindung, ein Verfahren und ein Sensorsystem zum Zusammenführen von Sensordaten bereitzustellen, die eine verbesserte Bestimmung der Sensormodelle aufweisen. Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen und der folgenden Beschreibung.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Zusammenführen von Sensordaten. Bei dem Verfahren wird ein Sensordatensatz bereitgestellt, der erste Sensordaten umfasst. Bei dem Sensordatensatz handelt es sich insbesondere um in regelmäßigen Abständen oder kontinuierlich von Sensoren erfasste Sensordaten, die von dem Verfahren zusammengeführt werden. Beispielsweise werden diese Daten bei der Fahrt eines Fahrzeugs erfasst und in Echtzeit zusammengeführt.
Mittels einer ersten Analyseeinheit werden die ersten Sensordaten analysiert. Die Analyse der ersten Sensordaten umfasst dabei beispielsweise eine Objekterkennung. Die erste Analyseeinheit erzeugt dabei, basierend auf der Analyse der ersten Sensordaten, ein erstes Sensorergebnis, das beispielsweise die Art und Position der erkannten Objekte umfasst. Das erste Sensorergebnis kann allerdings auch Rohdaten von Sensoren umfassen. Des Weiteren wird von der ersten Analyseeinheit ein erstes Sensormodell erzeugt. Das erste Sensormodell ist dabei dem ersten Sensorergebnis zugeordnet. Das erste Sensormodell beschreibt dabei Unsicherheiten, beispielsweise in der Detektion von Objekten. Diese Unsicherheiten können zum Beispiel Unsicherheiten in der Position der Objekte, Unsicherheiten der Art der Objekte, Detektionsunsicherheiten, das heißt, ob ein Objekt überhaupt erkannt wird, oder Falschalarmwahrscheinlichkeiten sein. Insbesondere kann verschiedenen Teilen des ersten Sensorergebnisses, beispielsweise verschiedenen erkannten Objekten, eine unterschiedliche Unsicherheit zugeordnet werden. Das erste Sensormodell hängt von einem ersten Unsicherheitsdatensatz ab, der eine Teilmenge des Sensordatensatzes ist. Das erste Sensormodell ist also nicht statisch, sondern wird dynamisch in Abhängigkeit von Sensordaten bestimmt. Das Sensormodell wird also laufend an die aktuelle, von Sensoren erfasste, Situation angepasst. Ein solches dynamisches, situationsadaptives Sensormodell beschreibt die Unsicherheiten und Wahrscheinlichkeiten in der Detektion besser als ein statisches Sensormodell, da es noch weitere Informationen verarbeitet.
Mittels einer zweiten Analyseeinheit wird ein zweites Sensorergebnis erzeugt. Dieses zweite Sensorergebnis kann ebenfalls auf der Analyse der ersten Sensordaten basieren, kann aber auch auf der Analyse von anderen Sensordaten basieren. Des Weiteren wird von der zweiten Analyseeinheit ein zweites Sensormodell erzeugt, das dem zweiten Sensorergebnis zugeordnet ist. Auch das zweite Sensormodell beschreibt Unsicherheiten, beispielsweise in der Detektion von Objekten. Diese Unsicherheiten können zum Beispiel Unsicherheiten in der Position der Objekte, Unsicherheiten der Art der Objekte, Detektionsunsicherheiten, das heißt, ob ein Objekt überhaupt erkannt wird, oder Falschalarmwahrscheinlichkeiten sein. Insbesondere kann verschiedenen Teilen des zweiten Sensorergebnisses, beispielsweise verschiedenen erkannten Objekten, eine unterschiedliche Unsicherheit zugeordnet werden.
Das so erhaltene erste Sensorergebnis und zweite Sensorergebnis werden von einer Fusionseinheit zu einem Fusionsergebnis zusammengeführt. Das Zusammenführen erfolgt dabei in Abhängigkeit vom ersten Sensormodell und vom zweiten Sensormodell. Dadurch, dass das erste Sensormodell dynamisch und situationsadaptiv ist und somit im Vergleich zu einem statischen Sensormodell verbessert wurde, wird auch das Fusionsergebnis verbessert.
In einigen Ausführungsformen umfassen die ersten Sensordaten Rohdaten von einem ersten Sensor. Es werden also Rohdaten, die der erste Sensor liefert, analysiert und hieraus das erste Sensorergebnis erzeugt. Diese Analyse erfolgt beispielsweise mittels künstlicher Intelligenz, insbesondere mittels maschinellem Lernen wie tiefen neuronalen Netzen, die mit entsprechenden Trainingsdaten trainiert wurden. Beispielsweise werden aus den Rohdaten Objekte im Umfeld eines Fahrzeugs oder eines Roboters erkannt. Alternativ oder zusätzlich umfassen die ersten Sensordaten verarbeitete Rohdaten von zumindest dem ersten Sensor. So können die ersten Sensordaten beispielsweise schon Ergebnisse einer Objekterkennung sein. Das Verwenden von bereits verarbeiteten Rohdaten ermöglicht eine höhere Modularität sowie eine geringere Komplexität. Ferner ist bei verarbeiteten Rohdaten eine bessere Testbarkeit gegeben. Auch wird zur Übertragung der verarbeiteten Rohdaten eine niedrigere Bandbreite benötigt. Ferner sind verarbeitete Rohdaten weniger anfällig gegenüber einer Fehlkalibrierung und Fehlern bei Zeitstempeln. Als weiteres Beispiel kann aus Rohdaten der Sensoren ein Belegungsgitter erzeugt worden sein. Ein solches Belegungsgitter umfasst die Belegung von Raumpunkten mit Objekten, beispielsweise stationären Objekten oder anderen Verkehrsteilnehmern. Dieses Belegungsgitter kann nun wiederum analysiert werden, beispielsweise um Objekte in dem Belegungsgitter zu identifizieren. So entspricht das Belegungsgitter, das eben aus Rohdaten von Sensoren erzeugt wurde, den ersten Sensordaten. Als erste Sensordaten können also verschiedenste Daten von Rohdaten bis zu aufwendig verarbeiteten Daten verwendet werden, was das Verfahren besonders flexibel für viele Anwendungen anwendbar macht.
In einigen Ausführungsformen umfasst der Sensordatensatz zweite Sensordaten. Diese zweiten Sensordaten werden von der zweiten Analyseeinheit analysiert, so dass das zweite Sensorergebnis auf der Analyse der zweiten Sensordaten basiert. Dabei können die zweiten Sensordaten Rohdaten von einem zweiten Sensor umfassen. Diese Analyse dieser Rohdaten erfolgt beispielsweise mittels künstlicher Intelligenz, insbesondere mittels maschinellem Lernen wie tiefen neuronalen Netzen, die mit entsprechenden Trainingsdaten trainiert wurden. Beispielsweise werden aus den Rohdaten Objekte im Umfeld eines Fahrzeugs oder eines Roboters erkannt. Alternativ oder zusätzlich können die zweiten Sensordaten verarbeitete Rohdaten von zumindest dem zweiten Sensor umfassen. So können auch die zweiten Sensordaten schon Ergebnisse einer Objekterkennung sein. Die Vorteile des Verwendens von bereits verarbeiteten Rohdaten sind dabei analog zu den Vorteilen des Verwendens von verarbeiteten Rohdaten bei den ersten Sensordaten.
In einigen Ausführungsformen sind der erste Sensor und/oder der zweite Sensor eine Kamera, ein Radar, ein Lidar und/oder ein Ultraschallsensor. Solche Sensoren können direkt zur Ermittlung des Umfelds beispielsweise eines Roboters oder eines Fahrzeugs beitragen. Es sind jedoch auch weitere Sensoren denkbar, beispielsweise eine digitale Karte, aus der Informationen zum Fahrbahnverlauf gewonnen werden können.
In einigen Ausführungsformen ist der erste Unsicherheitsdatensatz von den ersten Sensordaten verschieden. Die Bestimmung des ersten Sensormodells erfolgt also nicht auf Basis der ersten Sensordaten, die zur Erzeugung des ersten Sensorergebnisses verwendet werden. So können zur Bestimmung des ersten Sensormodells solche Sensordaten verwendet werden, die beispielsweise einen großen Hinweis auf die Unsicherheit des ersten Sensorergebnisses liefern. Es wird also die Bestimmung des ersten Sensormodells durch das Heranziehen von weiteren Sensordaten verbessert.
In einigen Ausführungsformen umfasst der erste Unsicherheitsdatensatz Rohdaten von dem ersten Sensor. Die Rohdaten vom ersten Sensor liefern dabei mehr Informationen als die beispielsweise schon verarbeitete Rohdaten des ersten Sensors. Alternativ oder zusätzlich kann der erste Unsicherheitsdatensatz Rohdaten von dem zweiten Sensor umfassen. So können von dem zweiten Sensor gewonnene Informationen zur Bestimmung des ersten Sensormodells verwendet werden. Alternativ oder zusätzlich kann der erste Unsicherheitsdatensatz auch verarbeitete Rohdaten von zumindest dem ersten Sensor und/oder von zumindest dem zweiten Sensor umfassen. Vorzugsweise sind die Rohdaten dann in einer Weise verarbeitet, die das Bestimmen des ersten Sensormodells verbessert.
In einigen Ausführungsformen hängt das zweite Sensormodell von einem zweiten Unsicherheitsdatensatz ab. Dabei ist der zweite Unsicherheitsdatensatz eine, insbesondere von den zweiten Sensordaten verschiedene, Teilmenge des Sensordatensatzes. Die Bestimmung des zweiten Sensormodells erfolgt also identisch zur Bestimmung des ersten Sensormodells, so dass auch das zweite Sensormodell dynamisch, situationsadaptiv und damit verbessert ist. Das Zusammenführen des ersten Sensorergebnisses mit dem zweiten Sensorergebnis kann also noch besser durchgeführt werden. Der zweite Unsicherheitsdatensatz kann dabei Rohdaten von dem ersten Sensor, Rohdaten von dem zweiten Sensor und/oder verarbeitete Rohdaten von zumindest dem ersten Sensor und/oder dem zweiten Sensor umfassen.
In einigen Ausführungsformen umfasst das Sensormodell eine statistische Messunsicherheit. Alternativ oder zusätzlich umfasst das Sensormodell eine Klassifikationsunsicherheit, eine Detektionswahrscheinlichkeit und/oder eine Falschalarmrate. Diese verschiedenen Ausprägungen des Sensormodells können einzeln oder zusammen von der Fusionseinheit zum Zusammenführen der ersten und zweiten Sensorergebnisse verwendet werden.
In einigen Ausführungsformen erfolgt die Erzeugung des ersten Sensormodells und/oder des zweiten Sensormodells mittels eines vom ersten Unsicherheitsdatensatz bzw. zweiten Unsicherheitsdatensatz abhängigen Algorithmus. Ein solcher Algorithmus ist insbesondere dann vorteilhaft, wenn der erste bzw. zweite Unsicherheitsdatensatz verarbeitete Rohdaten umfasst, die einen direkten Rückschluss auf das erste bzw. zweite Sensormodell erlauben.
In einigen Ausführungsformen erfolgt die Erzeugung des ersten Sensormodells und/oder des zweiten Sensormodells mittels eines trainierten ersten maschinellen Lernsystems bzw. eines trainierten zweiten maschinellen Lernsystems. Dies ist insbesondere dann vorteilhaft, wenn der erste bzw. zweite Unsicherheitsdatensatz Rohdaten von Sensoren umfasst. Das maschinelle Lernsystem kann dann auch Zusammenhänge lernen, die nicht offensichtlich aus den Sensordaten hervorgehen. Das Lernen des maschinellen Lernsystems kann dabei als überwachtes Lernen erfolgen. Als Trainingsdatensätze werden beispielsweise Datensätze verwendet, die mit Hilfe einer Referenzsensorik erstellt wurden und/oder Datensätze, die mit Labeln versehen wurden. Das Lernen des maschinellen Lernsystems erfolgt dabei insbesondere offline, während das trainierte maschinelle Lernsystem dann online auf aktuelle Sensordaten angewandt wird. Die Inferenz des Sensormodells erfolgt also online auf der Basis von aktuellen Unsicherheitsdatensätzen und dem offline trainierten maschinellen Lernsystem.
In einigen Ausführungsformen ist das erste maschinelles Lernsystem und/oder das zweite maschinelle Lernsystem ein tiefes neuronales Netz. Dies zeichnet sich dadurch aus, dass auch versteckte Zusammenhänge zwischen dem Unsicherheitsdatensatz und dem Unsicherheitsmaß gut erkannt werden. Alternativ können als erstes und/oder zweites maschinelles Lernsystem probabilistische graphische Modelle, Bayes'sche Netze oder Markov-Felder verwendet werden.
In einigen Ausführungsformen basiert die Fusionseinheit auf einer Bayes'schen Fusionsmethode, insbesondere einem Kalmanfilter, beispielsweise einem Extended oder Unscented Kalmanfilter, einem Mehrmodellfilter, beispielsweise einem Interacting-Multiple-Model Filter, einem Filter auf Basis endlicher Zufallsmengen oder einem Partikelfilter . Diese Filter sind ihrerseits insbesondere mit einer adäquaten Datenassoziationsmethode gekoppelt, beispielweise mit einer probabilistischen Datenassoziationsmethode. So können die inferierten Sensormodelle direkt von der Fusionseinheit verwendet werden. Bayes'sche Fusionsmethoden sind dabei sehr flexibel verwendbar und somit auch leicht für neue Sensordaten anpassbar. Alternativ dazu basiert die Fusionseinheit auf einer Dempster-Shafer Fusionsmethode, auf Fuzzy-Logik, auf probabilistischen Logiken, auf der Random-Finite Set Methode oder auf tiefen neuronalen Netzen.
In einigen Ausführungsformen ist ein erstes Rückfall-Sensormodell definiert. Dieses erste Rückfall-Sensormodell basiert nur auf den ersten Sensordaten und kann sogar ganz unabhängig vom Sensordatensatz sein. Im letzteren Fall ist das erste Rückfall-Sensormodell statisch und damit situationsunabhängig. Das erste Rückfall-Sensormodell wird anstatt des ersten Sensormodells verwendet, wenn der erste Unsicherheitsdatensatz fehlerhaft und/oder unvollständig ist. Eine solche Fehlerhaftigkeit bzw. Unvollständigkeit des ersten Unsicherheitsdatensatzes kann beispielsweise dann auftreten, wenn einer der Sensoren, auf dem der erste Unsicherheitsdatensatz basiert, eine Fehlfunktion aufweist oder ganz ausfällt. In so einem Fall wird das erste Sensormodell ebenfalls mit Fehlern behaftet sein oder eine Erzeugung des ersten Sensormodells unmöglich sein. Um dennoch die Funktion der Fusionseinheit sicherzustellen, wird dann das erste Rückfall-Sensormodell verwendet. Da dieses nur auf den ersten Sensordaten basiert, die auch zum Erzeugen des ersten Sensorergebnisses verwendet werden, oder ganz unabhängig vom Sensordatensatz ist, ist eine Erzeugung bzw. Verwendung des Rückfall-Sensormodells immer möglich. Die ersten und zweiten Sensorergebnisse können also weiterhin zum Fusionsergebnis zusammengeführt werden, so dass Systeme, die auf dem Fusionsergebnis basieren, weiterhin ausgeführt werden können.
In einigen Ausführungsformen ist das Fusionsergebnis ein Umfeldmodell, insbesondere ein Fahrzeugumfeldmodell. Umfeldmodelle umfassen dabei die Art und Position von Objekten im Umfeld einer Vorrichtung, der der erste und/oder zweite Sensor zugeordnet ist. Diese Vorrichtung ist beispielsweise ein Roboter oder ein Fahrzeug, insbesondere ein teilautonomes oder autonomes Fahrzeug. Damit ein Roboter bzw. ein teilautonomes oder autonomes Fahrzeug sicher operieren können, benötigen sie eine genaue Kenntnis der Objekte in ihrem Umfeld, beispielsweise einer Fahrbahn, von stationären Objekten oder anderen Verkehrsteilnehmern, also ein genaues Umfeldmodell. Durch das verbesserte erste und/oder zweite Sensormodell ergibt sich ein verbessertes Fusionsergebnis und somit ein verbessertes Umfeldmodell. Dies führt zu einem verbesserten und insbesondere sichereren Operieren des Roboters bzw. des teilautonomen oder autonomen Fahrzeugs.
Ein weiterer Aspekt der Erfindung betrifft ein Sensorsystem zum Zusammenführen von Sensordaten. Das Sensorsystem umfasst einen ersten Sensor und eine Signalverarbeitungseinrichtung. Die Signalverarbeitungseinrichtung empfängt einen Sensordatensatz, der erste Sensordaten umfasst.
Ferner umfasst die Signalverarbeitungseinrichtung eine erste Analyseeinheit, eine zweite Analyseeinheit und eine Fusionseinheit. Diese Einheiten können auf verschiedenen Prozessoren laufen, können aber auch ein Teil einer Recheneinheit sein.
Die erste Analyseeinheit ist dazu ausgebildet, die ersten Sensordaten zu analysieren. Die Analyse der ersten Sensordaten umfasst dabei beispielsweise eine Objekterkennung. Des Weiteren ist die erste Analyseeinheit zum Erzeugen eines ersten Sensorergebnisses ausgebildet, wobei das erste Sensorergebnis auf der Analyse der ersten Sensordaten basiert und beispielsweise die Art und Position der erkannten Objekte umfasst. Ferner ist die erste Analyseeinheit dazu ausgebildet, ein dem ersten Sensorergebnis zugeordnetes erstes Sensormodell zu erzeugen. Das erste Sensormodell hängt dabei von einem ersten Unsicherheitsdatensatz abhängt, der eine Teilmenge des Sensordatensatzes ist. Das erste Sensormodell ist also nicht statisch, sondern wird dynamisch in Abhängigkeit von Sensordaten bestimmt. Das Sensormodell wird also laufend an die aktuelle, von Sensoren erfasste, Situation angepasst. Ein solches dynamisches, situationsadaptives Sensormodell beschreibt die Unsicherheiten und Wahrscheinlichkeiten in der Detektion besser als ein statisches Sensormodell, da es noch weitere Informationen verarbeitet.
Die zweite Analyseeinheit ist zum Erzeugen eines zweiten Sensorergebnisses ausgebildet, wobei das zweite Sensorergebnis auf der Analyse der ersten Sensordaten oder auf der Analyse von weiteren Sensordaten basieren kann. Des Weiteren ist die zweite Analyseeinheit zum Erzeugen eines dem zweiten Sensorergebnis zugeordneten zweiten Sensormodells ausgebildet.
Die Fusionseinheit ist zum Zusammenführen des ersten Sensorergebnisses und des zweiten Sensorergebnisses zu einem Fusionsergebnis ausgebildet. Dieses Zusammenführen erfolgt dabei in Abhängigkeit vom ersten Sensormodell und vom zweiten Sensormodell. Dadurch, dass das erste Sensormodell dynamisch, situationsadaptiv und damit verbessert ist, wird auch das Fusionsergebnis verbessert.
In einigen Ausführungsformen ist das Sensorsystem zum Ausführen des Verfahrens zum Zusammenführen von Sensordaten gemäß der vorangegangenen Beschreibung ausgebildet. Vorteilhafte Ausführungsformen des Sensorsystems ergeben sich dabei aus den Ausführungsformen des Verfahrens.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug, das ein Sensorsystem gemäß der vorangegangenen Beschreibung umfasst. Bei dem Fahrzeug handelt es sich insbesondere um ein teilautonomes oder autonomes Fahrzeug und bei dem Fusionsergebnis um ein Fahrzeugumfeldmodell. Durch die Verbesserung des Fusionsergebnisses ergibt sich auch eine Verbesserung der Kenntnis des Umfelds des Fahrzeugs, so dass Funktionen des Fahrzeugs, insbesondere des teilautonomen oder autonomen Fahrens, besser und insbesondere sicherer ausgeführt werden können.
Zur weiteren Verdeutlichung wird die Erfindung anhand von in den Figuren abgebildeten Ausführungsformen beschrieben. Diese Ausführungsformen sind nur als Beispiel, nicht aber als Einschränkung zu verstehen.
Figurenliste
Dabei zeigt:

1a einen Flowchart eines Ausführungsbeispiels eines Verfahrens zum Zusammenführen von Sensordaten;
1b ein Beispiel eines Verfahrens zum Zusammenführen von Sensordaten;
1c ein weiteres Beispiel eines Verfahrens zum Zusammenführen von Sensordaten;
2a einen Flowchart eines weiteren Ausführungsbeispiels eines Verfahrens zum Zusammenführen von Sensordaten;
2b ein nochmals weiteres Beispiel eines Verfahrens zum Zusammenführen von Sensordaten;
3 einen Flowchart eines nochmals weiteren Ausführungsbeispiels eines Verfahrens zum Zusammenführen von Sensordaten;
4 einen Flowchart eines nochmals weiteren Ausführungsbeispiels eines Verfahrens zum Zusammenführen von Sensordaten; und
5 eine schematische Ansicht eines Fahrzeugs.

Detaillierte Beschreibung von Ausführungsformen
1a zeigt einen Flowchart eines Verfahrens 1 zum Zusammenführen von Sensordaten. Dabei erfasst ein erster Sensor 2.1 Rohdaten 3.1 und ein zweiter Sensor 2.2 Rohdaten 3.2.
Die Rohdaten 3.1 werden von einer ersten Analyseeinheit 4.1 analysiert. Das Ergebnis dieser Analyse ist ein erstes Sensorergebnis 5.1. Ferner erzeugt die erste Analyseeinheit 4.1 ein erstes Sensormodell 6.1, das die Unsicherheit im ersten Sensorergebnis 5.1 quantifiziert. Zur Erzeugung dieses ersten Sensormodells 6.1 wird zudem auf die Rohdaten 3.2 des zweiten Sensors 2.2 zurückgegriffen. Dadurch werden wertvolle Informationen verarbeitet, die das erste Sensormodell 6.1 verbessern. Das erste Sensorergebnis 5.1 und das erste Sensormodell 6.1 werden sodann an eine Fusionseinheit 7 übertragen.
Ferner werden die Rohdaten 3.2 des zweiten Sensors 2.2 von einer zweiten Analyseeinheit 4.2 analysiert. Das Ergebnis dieser Analyse ist ein zweites Sensorergebnis 5.2. Des Weiteren erzeugt die zweite Analyseeinheit 4.2 ein zweites Sensormodell 6.2. Zur Erzeugung des zweiten Sensormodells 6.2 wird in diesem Ausführungsbeispiel lediglich auf die Rohdaten 3.2 des zweiten Sensors 2.2 zurückgegriffen. In einem alternativen, hier nicht dargestellten Ausführungsbeispiel kann aber zur Erzeugung des zweiten Sensormodells 6.2 auch auf die Rohdaten 3.1 des ersten Sensors 2.1 zurückgegriffen werden. Das zweite Sensorergebnis 5.2 und das zweite Sensormodell 6.2 werden ebenfalls an die Fusionseinheit 7 übertragen.
Die Fusionseinheit 7 erzeugt aus dem ersten Sensorergebnis 5.1 und dem zweiten Sensorergebnis 5.2 ein Fusionsergebnis 8. Dabei werden die ersten und zweiten Sensorergebnisse 5.1 und 5.2 in Abhängigkeit von dem jeweiligen Sensormodell 6.1 bzw. 6.2 gewichtet. Da das erste Sensormodell 6.1 durch das Heranziehen der Rohdaten 3.2 des zweiten Sensors 2.2 verbessert wurde, ist auch das Fusionsergebnis 8 genauer.
Als Beispiel zeigt 1 b ein Kamerabild 9, wie es von einem Fahrzeug während der Fahrt aufgenommen wird. In dem Kamerabild 9 sind ein landwirtschaftliches Feld, eine Fahrbahn mit einem weiteren Verkehrsteilnehmer sowie einige Bäume zu erkennen. Das Kamerabild 9 kann als Rohdaten 3.2 des zweiten Sensors 2.2 betrachtet werden. Für einen Radar, der als erster Sensor 2.1 betrachtet werden kann, liefern die unterschiedlichen Bereiche, die im Kamerabild 9 zu sehen sind, unterschiedliche Unsicherheiten im Sensormodell. Beispielsweise ist die Erfassung von Verkehrsteilnehmern auf der Fahrbahn im Vergleich zur Erfassung des landwirtschaftlichen Feldes oder der Bäume viel genauer. Diese Informationen, die aus dem Kamerabild 9 gewonnen werden, beeinflussen damit das erste Sensormodell 6.1 des Radars 2.1.
Als ein weiteres Beispiel zeigt 1c ein weiteres Kamerabild 10, wie es von einem Fahrzeug während der Fahrt aufgenommen wird. In dem Kamerabild 10 sind zwei weitere Verkehrsteilnehmer zu erkennen. Der erste Verkehrsteilnehmer ist ein weißes Fahrzeug, der zweite Verkehrsteilnehmer ein schwarzes Fahrzeug. Das Kamerabild 10 kann wiederum als Rohdaten 3.2 des zweiten Sensors 2.2 betrachtet werden. Für einen Lidar, der als erster Sensor 2.1 betrachtet werden kann, sind für die beiden Fahrzeuge unterschiedliche Unsicherheiten im Sensormodell zu erwarten, da ein weißes Fahrzeug Licht viel besser reflektiert als ein schwarzes Fahrzeug. Somit beeinflussen die Farbinformationen, die aus dem Kamerabild 10 gewonnen werden, das erste Sensormodell des Lidars 2.1.
Als ein weiteres Beispiel, das hier nicht gezeigt ist, können aus einem Kamerabild Informationen über die Sichtqualität gewonnen werden. Für einen Lidar ergeben sich damit unterschiedliche Sensormodelle, beispielsweise für einen klaren Tag und einen nebligen Tag.
Als ein nochmals weiteres Beispiel, das hier ebenfalls nicht gezeigt ist, können aus einem Kamerabild Rückschlüsse auf die Beschaffenheit, insbesondere Materialien, von Objekten gewonnen werden und diese für die Erzeugung des ersten Sensormodells 6.1 eines Radars 2.1 verwendet werden, da unterschiedliche Materialien die Radiowellen des Radars 2.1 unterschiedlich reflektieren.
Ein Flowchart eines weiteren Ausführungsbeispiels eines Verfahrens zum Zusammenführen von Sensordaten ist in 2a gezeigt. Zur besseren Übersichtlichkeit wurde hier auf die explizite Darstellung der Rohdaten 3, Sensorergebnisse 5 und Sensormodelle 6 verzichtet.
Die Rohdaten 3.1 des ersten Sensors 2.1 werden von Verarbeitungseinheiten 11.1 und 11.2 verarbeitet. Die von der Verarbeitungseinheit 11.1 verarbeiteten Rohdaten 3.1 werden als erste Sensordaten 12.1 an die erste Analyseeinheit 4.1 übertragen und von dieser analysiert. Zur Erzeugung des ersten Sensormodells 6.1 greift die erste Analyseeinheit 4.1 zudem auf die von der Verarbeitungseinheit 11.2 verarbeiteten Rohdaten 3.1 zurück. Auch hierdurch wird das Sensormodell 6.1 verbessert, was zu einer Verbesserung des Fusionsergebnisses 8 führt.
Als ein Beispiel zeigt 2b ein weiteres Kamerabild 13, wie es von einem Fahrzeug während der Fahrt aufgenommen wird. Im Vergleich zum Kamerabild 9 ist hier noch die tiefstehende Sonne zu erkennen. Die erste Verarbeitungseinheit 11.1 ist beispielsweise ein Detektor für weitere Verkehrsteilnehmer und die zweite Verarbeitungseinheit 11.2 ein Detektor für die tiefstehende Sonne. Die Ergebnisse des Detektors 11.2 für die tiefstehende Sonne werden zur Erzeugung des ersten Sensormodells 6.1 verwendet. Ist, wie in diesem Beispiel, die tiefstehende Sonne im Bild zu sehen, so ist die Unsicherheit bei der Detektion von Verkehrsteilnehmern durch die Kamera 2.1 erhöht. Die tiefstehende Sonne beeinflusst hingegen einen Radar 2.2 nicht. Bei der Fusion werden also die ersten Sensorergebnisse 5.1 im Vergleich zu den zweiten Sensorergebnissen 5.2 geringer gewichtet sein.
Während in den hier gezeigten Beispielen stets ein Kamerabild zur Erzeugung des ersten Sensormodells 6.1 herangezogen wird, können auch Daten von anderen Sensoren, wie Radar, Lidar oder Ultraschall, zur Erzeugung des ersten Sensormodells 6.1 herangezogen werden. Durch das Heranziehen des Kamerabildes kann das Verfahren jedoch am intuitivsten veranschaulicht werden.
Ein Flowchart eines nochmals weiteren Ausführungsbeispiels eines Verfahrens zum Zusammenführen von Sensordaten ist in 3 gezeigt. Dabei wird das erste Sensorergebnis 5.1 von der ersten Analyseeinheit 4.1 auf Basis der von der Verarbeitungseinheit 11.1 verarbeiteten Rohdaten 3.1 des ersten Sensors 2.1 erzeugt. Zur Erzeugung des ersten Sensormodells 6.1 werden zusätzlich die Rohdaten 3.1 des ersten Sensors 2.1, die Rohdaten 3.2 des zweiten Sensors 2.2 sowie die von einer weiteren Verarbeitungseinheit 11.3 verarbeiteten Rohdaten 3.2 des zweiten Sensors 2.2 herangezogen.
Ebenso wird das zweite Sensorergebnis 5.2 von der zweiten Analyseeinheit 4.2 auf Basis der von der Verarbeitungseinheit 11.3 verarbeiteten Rohdaten 3.2 des zweiten Sensors 2.2 erzeugt. Zur Erzeugung des zweiten Sensormodells 6.2 werden zusätzlich die Rohdaten 3.2 des zweiten Sensors 2.2, die Rohdaten 3.1 des ersten Sensors 2.2 sowie die von der Verarbeitungseinheit 11.1 verarbeiteten Rohdaten 3.1 des ersten Sensors 2.1 herangezogen. Die so verbesserten Sensormodelle 6.1 und 6.2 führen zu einem weiter verbesserten Fusionsergebnis 8.
Während sich dieses Ausführungsbeispiel auf zwei Sensoren 2.1 und 2.2 beschränkt, ist das Verfahren unkompliziert auch auf eine größere Anzahl an Sensoren 2 erweiterbar. So können als Sensoren beispielsweise Kameras, Radar, Lidar oder Ultraschallsensoren verwendet werden.
Ein Flowchart eines nochmals weiteren Ausführungsbeispiels eines Verfahrens zum Zusammenführen von Sensordaten ist in 4 gezeigt. Dabei verarbeitet eine Verarbeitungseinheit 11.4 die Rohdaten 3.1 und 3.2 der Sensoren 2.1 und 2.2. Eine solche Verarbeitungseinheit 11.4 kann beispielsweise als Zwischenschritt ein Belegungsgitter erzeugen, das die Belegung von Raumpunkten mit Objekten beschreibt. Aus diesem Belegungsgitter können wiederum die einzelnen Objekte detektiert werden, beispielsweise andere Verkehrsteilnehmer, Fahrstreifen oder Freiräume. Zur Bestimmung des Sensormodells 6.1 bzw. 6.2 wird jedoch auf die Rohdaten 3.1 und 3.2 der Sensoren 2.1 und 2.2 zurückgegriffen.
5 zeigt ein Fahrzeug 14 mit einem Sensorsystem 15. Das Sensorsystem 15 umfasst dabei den ersten Sensor 2.1, den zweiten Sensor 2.2 und eine Signalverarbeitungseinrichtung 16, die das zuvor beschriebene Verfahren ausführt. Ein derartig ausgestattetes Fahrzeug 14 bietet durch die verbesserten Fusionsergebnisse 8 eine erhöhte Sicherheit, insbesondere beim teilautonomen oder autonomen Fahren.
Bezugszeichenliste

1: Verfahren zum Zusammenführen von Sensordaten
2.1: erster Sensor
2.2: zweite Sensor
3.1: Rohdaten des ersten Sensors 2.1
3.2: Rohdaten des zweiten Sensors 2.2
4.1: erste Analyseeinheit
4.2: zweite Analyseeinheit
5.1: erstes Sensorergebnis
5.2: zweites Sensorergebnis
6.1: erstes Sensormodell
6.2: zweites Sensormodell
7: Fusionseinheit
8: Fusionsergebnis
9: Kamerabild
10: Kamerabild
11: Verarbeitungseinheiten
12.1: erste Sensordaten
13: Kamerabild
14: Fahrzeug
15: Sensorsystem
16: Signalverarbeitungseinrichtung

Claims

Verfahren zum Zusammenführen von Sensordaten, umfassend: Bereitstellen eines Sensordatensatzes, der erste Sensordaten (3.1; 3.2; 12.1) umfasst; Analysieren der ersten Sensordaten (3.1; 3.2; 12.1), Erzeugen eines ersten Sensorergebnisses (5.1) und Erzeugen eines ersten Sensormodells (6.1) von einer ersten Analyseeinheit (4.1), wobei das erste Sensorergebnis (5.1) auf der Analyse der ersten Sensordaten (3.1; 3.2; 12.1) basiert und wobei das erste Sensormodell (6.1) dem ersten Sensorergebnis (5.1) zugeordnet ist und von einem ersten Unsicherheitsdatensatz abhängt, wobei der erste Unsicherheitsdatensatz eine Teilmenge des Sensordatensatzes ist; Erzeugen eines zweiten Sensorergebnisses (5.2) und Erzeugen eines zweiten Sensormodells (6.2) von einer zweiten Analyseeinheit (4.2), wobei das zweite Sensormodell (6.2) dem zweiten Sensorergebnis (5.2) zugeordnet ist; Zusammenführen des ersten Sensorergebnisses (5.1) und des zweiten Sensorergebnisses (5.2) zu einem Fusionsergebnis (8) von einer Fusionseinheit (7), wobei das Zusammenführen in Abhängigkeit vom ersten Sensormodell (6.1) und vom zweiten Sensormodell (6.2) erfolgt.
Verfahren nach Anspruch 1, wobei die ersten Sensordaten (3.1; 3.2; 12.1) Rohdaten (3.1) von einem ersten Sensor (2.1) und/oder verarbeitete Rohdaten (3) von zumindest dem ersten Sensor (2.1) umfassen.
Verfahren nach Anspruch 1 oder 2, wobei der Sensordatensatz zweite Sensordaten (3.2) umfasst und das Verfahren (1) ferner umfasst: Analysieren der zweiten Sensordaten (3.2), wobei das zweite Sensorergebnis (5.2) auf der Analyse der zweiten Sensordaten (3.2) basiert und insbesondere die zweiten Sensordaten (3.2) Rohdaten (3.2) von einem zweiten Sensor (2.2) und/oder verarbeitete Rohdaten (3) von zumindest dem zweiten Sensor (2.2) umfassen.
Verfahren nach einem der Ansprüche 1 bis 3, wobei der erste Sensor (2.1) und/oder der zweite Sensor (2.2) eines aus einer Gruppe bestehend aus Kamera, Radar, Lidar und Ultraschallsensor sind.
Verfahren nach einem der Ansprüche 1 bis 4, wobei der erste Unsicherheitsdatensatz von den ersten Sensordaten (3.1; 3.2; 12.1)verschieden ist und/oder wobei der erste Unsicherheitsdatensatz zumindest eines aus einer Gruppe umfasst, wobei die Gruppe aus Rohdaten (3.1) von dem ersten Sensor (2.1), Rohdaten (3.2) von dem zweiten Sensor (2.2), verarbeiteten Rohdaten (3) von zumindest dem ersten Sensor (2.1) und verarbeiteten Rohdaten (3) von zumindest dem zweiten Sensor (2.2) besteht.
Verfahren nach einem der Ansprüche 1 bis 5, wobei das zweite Sensormodell (6.2) von einem zweiten Unsicherheitsdatensatz abhängt, wobei der zweite Unsicherheitsdatensatz eine, insbesondere von den zweiten Sensordaten (3.2) verschiedene, Teilmenge des Sensordatensatzes ist und ganz insbesondere zumindest eines aus einer Gruppe umfasst, wobei die Gruppe aus Rohdaten (3.1) von dem ersten Sensor (2.1), Rohdaten (3.2) von dem zweiten Sensor (2.2), verarbeiteten Rohdaten (3) von zumindest dem ersten Sensor (2.1) und verarbeiteten Rohdaten (3) von zumindest dem zweiten Sensor (2.2) besteht.
Verfahren nach einem der Ansprüche 1 bis 6, wobei das erste Sensormodell (6.1) und/oder das zweite Sensormodell (6.2) zumindest eines aus einer Gruppe umfassen, die aus einer statistischen Messunsicherheit, einer Klassifikationsunsicherheit, einer Detektionswahrscheinlichkeit und einer Falschalarmrate besteht.
Verfahren nach einem der Ansprüche 1 bis 7, wobei die Erzeugung des ersten Sensormodells (6.1) und/oder des zweiten Sensormodells (6.2) mittels eines vom ersten Unsicherheitsdatensatz bzw. zweiten Unsicherheitsdatensatz abhängigen Algorithmus erfolgt.
Verfahren nach einem der Ansprüche 1 bis 8, wobei die Erzeugung des ersten Sensormodells (6.1) mittels eines trainierten ersten maschinellen Lernsystems und/oder die Erzeugung des zweiten Sensormodells (6.2) mittels eines trainierten zweiten maschinellen Lernsystems erfolgt.
Verfahren nach Anspruch 9, wobei das erste maschinelles Lernsystem und/oder das zweite maschinelle Lernsystem eines aus einer Gruppe ist, die ein tiefes neuronales Netz, probabilistische graphische Modelle, Bayes'sche Netze und Markov-Felder umfasst.
Verfahren nach einem der Ansprüche 1 bis 10, wobei die Fusionseinheit (7) auf einer Bayes'schen Fusionsmethode, insbesondere einem Kalmanfilter, einem Mehrmodellfilter, einem Filter auf Basis endlicher Zufallsmengen oder einem Partikelfilter, ganz insbesondere in Verbindung mit einer Datenassoziationsmethode, auf einer Dempster-Shafer Fusionsmethode, auf Fuzzy-Logik, auf probabilistischen Logiken, auf der Random-Finite Set Methode oder auf tiefen neuronalen Netzen basiert.
Verfahren nach einem der Ansprüche 1 bis 11, wobei ein erstes Rückfall-Sensormodell definiert ist, das vom Sensordatensatz unabhängig ist und/oder nur auf den ersten Sensordaten (3.1; 3.2; 12.1) basiert, und falls der erste Unsicherheitsdatensatz fehlerhaft und/oder unvollständig ist, das erste Rückfall-Sensormodell anstatt des ersten Sensormodells (6.1) verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 12, wobei das Fusionsergebnis (8) ein Umfeldmodell, insbesondere ein Fahrzeugumfeldmodell, ist.
Sensorsystem zum Zusammenführen von Sensordaten, umfassend einen ersten Sensor (2.1) und eine Signalverarbeitungseinrichtung (16), umfassend: eine erste Analyseeinheit (4.1), die zum Analysieren von ersten Sensordaten (3.1; 3.2; 12.1), zum Erzeugen eines ersten Sensorergebnisses (5.1) und eines dem ersten Sensorergebnis (5.1) zugeordneten ersten Sensormodells (6.1) ausgebildet ist, wobei das erste Sensormodell (6.1) von einem ersten Unsicherheitsdatensatz abhängt, der eine Teilmenge eines Sensordatensatzes ist; eine zweite Analyseeinheit (4.2), die zum Erzeugen eines zweiten Sensorergebnisses (5.2) und eines dem zweiten Sensorergebnis (5.2) zugeordneten zweiten Sensormodells (6.2) ausgebildet ist; und ein Fusionseinheit (7), die zum Zusammenführen des ersten Sensorergebnisses (5.1) und des zweiten Sensorergebnisses (5.2), in Abhängigkeit vom ersten Sensormodell (6.1) und vom zweiten Sensormodell (6.2), zu einem Fusionsergebnis (8) ausgebildet ist.
Fahrzeug, umfassend ein Sensorsystem (15) nach Anspruch 14.