-
Die vorliegende Erfindung betrifft ein Verfahren zur Datenfusion für ein Kraftfahrzeug, wobei dem Kraftfahrzeug wenigstens eine Sensorvorrichtung zugeordnet ist, und eine Datenverarbeitungsvorrichtung, die ausgestaltet ist, um das Verfahren zumindest teilweise auszuführen. Ferner wird ein automatisiertes Kraftfahrzeug mit der Datenverarbeitungsvorrichtung bereitgestellt. Zusätzlich oder alternativ wird ein Computerprogramm bereitgestellt, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren zumindest teilweise auszuführen. Zusätzlich oder alternativ wird ein computerlesbares Medium bereitgestellt, das Befehle umfasst, die bei der Ausführung der Befehle durch einen Computer diesen veranlassen, das Verfahren zumindest teilweise auszuführen.
-
Verfahren zur Datenfusion für ein Fahrzeug sind aus dem Stand der Technik bekannt.
-
DE 10 2019 102 769 A1 offenbart ein Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug.
-
Zur Erkennung von Objekten in einer Umgebung eines Fahrzeugs, insbesondere zur Erkennung anderer Verkehrsteilnehmer und relevanter Eigenschaften derer, sowie von Fahrspuren beziehungsweise Fahrstreifen, im Folgenden Spuren genannt, werden oftmals heterogene Sensorvorrichtungen eingesetzt. Erkannte Objekte und Fahrspuren im Fahrzeugumfeld können zur sicheren Umsetzung von Assistenzfunktionen herangezogen werden, insbesondere für längsregelnde Funktionen wie Active Cruise Control oder einen Kreuzungsassistent und für querregelnde Funktionen wie Lateral Collision Avoidance, Lenk- und Spurführungsassistent.
-
Bedingt durch unterschiedliche Messprinzipien der eingesetzten Sensorvorrichtungen können die durch die Sensorvorrichtungen erfassten Informationen über die Objekte und/oder Spuren unterschiedlich sein. Aufgrund beschränkter Rechenleistung in Fahrzeugen werden die durch die Sensorvorrichtungen bereitgestellten Informationen üblicherweise auf High-Level-Ebene fusioniert. Das bedeutet, dass die Sensorvorrichtungen jeweils anhand der erfassten Informationen separat Objekte und/oder Spuren erkennen und diese in einer abstrakten, sensorunabhängigen Objektrepräsentation beziehungsweise Spurrepräsentation als Informationen bereitstellen (sogenannte „Sensorobjekte“ beziehungsweise „Sensorspuren“); die bereitgestellten Informationen bezüglich der Sensorobjekte beziehungsweise der Sensorspuren werden dann durch eine separate Sensordatenfusionseinheit zu jeweils einer Objektrepräsentation beziehungsweise Spurrepräsentation je tatsächlichem Objekt beziehungsweise Spur zusammengeführt bzw. fusioniert (sogenannte „Fusionsobjekte“ beziehungsweise „Fusionsspuren“; im Folgenden „Fusionsdaten“).
-
Übliche High-Level-Fusionssysteme erhalten von einer Mehrzahl von Sensoren, wie beispielsweise Kamera, Lidar oder Radar beispielsweise Objektlisten, die Informationen über Verkehrsteilnehmer enthalten, oder Spurinformationen, die auf erkannten Spurmarkierungen beruhen. Damit werden gemeinsame, standardisierte Schnittstellen bedient, befüllt von Erkennungsalgorithmen, die für die jeweilige Sensorart, Sensorleistung und Anwendungszwecke optimiert sind. Fusionsalgorithmen konsumieren solche Schnittstellen von mehreren Sensoren und versuchen, daraus höherwertige Information zu generieren.
-
Ein alternativer Ansatz liegt in der Verwendung ungetrackter, also weitgehend unverarbeiteter Informationen wie beispielsweise Kamera-Rohdaten (Pixel) oder Daten von punktförmiger Lidar- oder Radar-Detektionen (aber auch Radar-Cubes, single-frame detections etc.). Diese können in einem Low-Level-Fusionssystem verarbeitet werden. Aus den in dem Low-Level-Fusionssystem verarbeiteten Daten können Informationen wie Objekte oder Spuren extrahiert werden. Dabei gibt es zahlreiche Möglichkeiten, Algorithmen an Gegebenheiten wie Hardwareressourcen oder Anwendungszwecke anzupassen.
-
Sobald man sich für Low-Level-Fusion oder High-Level-Fusion entscheidet, kann die Fusion der Daten des Gesamtsystems insgesamt gezielt optimiert werden. Dabei geht allerdings die Flexibilität, den geeignetsten algorithmischen Ansatz für die jeweilige Situation und Anwendung verwenden zu können, verloren. Dies führt dazu, dass die eigentlichen Fähigkeiten des Gesamtsystems nicht ausgereizt werden. Gleichzeitig setzt man sich dem Risiko aus, dass aufgrund unvorhergesehener Probleme die durch die Optimierung angestrebte Nominalperformance nicht erreicht werden kann.
-
Vor dem Hintergrund dieses Standes der Technik besteht die Aufgabe der vorliegenden Erfindung darin, ein Verfahren anzugeben, welches geeignet ist, zumindest die oben genannten Nachteile des Standes der Technik zu überwinden.
-
Gelöst wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
-
Danach wird die Aufgabe durch ein Verfahren zur Datenfusion für ein Kraftfahrzeug gelöst, wobei dem Kraftfahrzeug wenigstens eine Sensorvorrichtung zugeordnet ist.
-
Das Verfahren weist die Schritte auf: Bereitstellen von Sensorobjektdaten, die repräsentativ sind für ein durch die jeweilige Sensorvorrichtung in der Umgebung des Fahrzeugs ermittelten Sensorobjektes, und/oder von Sensorspurdaten, die repräsentativ sind für eine durch die jeweilige Sensorvorrichtung in der Umgebung des Fahrzeugs ermittelte Sensorspur; Bereitstellen von Extraktionsdaten, die repräsentativ sind für ein in der Umgebung ermitteltes Objekt und/oder für eine in der Umgebung ermittelte Spur; Bereitstellen einer veränderbaren Fusionsparametrierung; Durchführen einer Datenfusion anhand der Fusionsparametrierung, wobei die Sensorobjektdaten und/oder die Sensorspurdaten mit den Extraktionsdaten anhand der Fusionsparametrierung fusioniert werden.
-
Gemäß dem Verfahren erfasst mindestens eine Sensorvorrichtung ein Objekt und/oder eine Spur in der Umgebung des Fahrzeugs. Anhand des erfassten Objekts und/oder der erfassten Spur werden die Sensorobjektdaten beziehungsweise Sensorspurdaten ermittelt und bereitgestellt. Ferner werden Extraktionsdaten ermittelt und bereitgestellt. Die Extraktionsdaten betreffen dasselbe Objekt beziehungsweise dieselbe Spur oder ein anderes Objekt beziehungsweise eine andere Spur in der Umgebung. Die Extraktionsdaten können anhand von durch die mindestens eine Sensorvorrichtung erfassten Daten ermittelt werden. Alternativ oder zusätzlich können die Extraktionsdaten sensorunabhängig ermittelt werden, beispielsweise aus einer mit dem Kraftfahrzeug verbindbaren und/oder umfassten Datenbank, wobei die Datenbank Daten zum Ermitteln von einem Objekt und/oder einer Spur beziehungsweise Informationen diesbezüglich umfassen.
-
Die Datenfusion erfolgt unter Berücksichtigung einer Fusionsparametrierung. Die Fusionsparametrierung ist veränderbar, womit die Datenfusion in Abhängigkeit von der Fusionsparametrierung selbst bei identischen miteinander zu fusionierenden Sensorobjektdaten beziehungsweise Sensorspurdaten und Extraktionsdaten zu veränderlichen Fusionsdaten führt. Bevor die jeweilige Datenfusion stattfindet wird die Fusionsparametrierung für die konkrete Datenfusion festgelegt. Für eine weitere Datenfusion kann eine andere Fusionsparametrierung definiert werden. Die Veränderlichkeit der Fusionsparametrierung kann durch eine vorbestimmte Abhängigkeit von durch das Fahrzeug ermittelbarer und/oder abrufbarer Größen gegeben sein. Durch die veränderliche Fusionsparametrierung ist eine gezielte Einstellung der Datenfusion auf eine bestimmte Anwendung möglich. Eine Festlegung auf High-Level-Fusion oder Low-Level-Fusion ist entbehrlich, da durch die Parametrierung und die Berücksichtigung der Extraktionsdaten verschiedenartigste Daten zur Datenfusion herangezogen werden können.
-
Mit anderen Worten beschreibt das Verfahren eine Datenfusion basierend auf einem universellen Architekturprinzip, was zur Grundlage eine veränderliche Fusionsparametrierung aufweist. Die Fusionsparametrierung gibt an, wie verschiedene Daten fusioniert werden. Die Fusionsparametrierung kann somit als Hub oder Knoten bezeichnet werden, aus dem sich die Datenfusion ergibt.
-
Die Fusionsparametrierung kann kontextbezogen und/oder und geo-lokationsbezogen (z.B. Autobahn-Auffahrten, enge Straßen, bestimmte Kreuzungen etc.) veränderlich sein. Die Fusionsparametrierung kann somit von einem Kontext abhängen. Der Kontext ist dabei eine von dem Kraftfahrzeug ermittelbare und/oder abrufbare Größe. Beispielsweise kann ein Kontext durch das Verkehrsaufkommen definiert werden, wobei beispielsweise „Stau“ und „fließender Verkehr“ jeweils ein Beispiel für den Kontext sein kann. Der Kontext kann beispielsweise anhand einer in der Umgebung des Kraftfahrzeugs ermittelten Anzahl von Fußgängern definiert sein. Dafür kann eine der Sensorvorrichtungen des Kraftfahrzeugs beispielsweise durch eine Kamera und/oder Lidar Bilddaten mit einem oder mehreren Fußgängern erfassen, um daraus die Anzahl der Fußgänger in der Umgebung des Fahrzeugs zu ermitteln. Die Abhängigkeit der Fusionsparametrierung von dem Kontext kann beispielsweise offline, also fahrzeugextern, ermittelt worden und in einer für das Kraftfahrzeug zugänglichen Datenbank hinterlegt sein. Dabei kann die Abhängigkeit heuristisch ermittelt worden sein, um eine vorbestimmte Fusionsperformance zu erzielen. Alternativ kann die Abhängigkeit der Fusionsparametrierung von dem Kontext online ermittelt werden, um während des Betriebs des Fahrzeugs eine Verbesserung der Datenfusion zu erzielen.
-
Eine kontextbezogene Fusionsparametrierung kann aus einer von für eine Menge von Kontexten vorbestimmte Menge von Fusionsparametrierungen ausgewählt werden. Die Menge von Kontexten umfasst eine Mehrzahl von Kontexten. Jedem Kontext der Mehrzahl der Kontexte ist eine Fusionsparametrierung zugeordnet, um eine für den jeweiligen Kontext geeignete Fusionsparametrierung zu definieren. Die Zuordnung einer bestimmten Fusionsparametrierung zu einem jeweiligen Kontext kann beispielsweise heuristisch und/oder empirisch erfolgen.
-
Die Fusionsparametrierung kann eine Gewichtung umfassen, anhand derer die Sensorobjektdaten und/oder die Sensorspurdaten mit den Extraktionsdaten fusioniert werden. Damit können die von einem jeweiligen Sensor stammenden Sensorobjektdaten und/oder Sensorspurdaten sowie die Extraktionsdaten entsprechend der Gewichtung bei der Datenfusion berücksichtigt werden oder unberücksichtigt bleiben. Die Extraktionsdaten können in eine Menge von Extraktionsdaten unterteilt werden, wobei verschiedene Teilmengen der Extraktionsdaten unterschiedlich gewichtet sein können, um bei der Datenfusion verschiedenartige Extraktionsdaten differenziert berücksichtigen zu können.
-
Die Extraktionsdaten können wenigstens zweite Sensorobjektdaten umfassen, die repräsentativ sind für ein durch die jeweilige Sensorvorrichtung in der Umgebung des Fahrzeugs ermittelten Sensorobjektes. Damit ist die Datenfusion von verschiedenen Sensorobjektdaten möglich. Die verschiedenen Sensorobjektdaten können von verschiedenen Sensorvorrichtungen stammen und/oder anhand von verschiedenen Algorithmen anhand von von einer Sensorvorrichtung erfassten Daten ermittelt worden sein. Analog können die Extraktionsdaten alternativ oder zusätzlich zweite Sensorspurdaten umfassen, die repräsentativ sind für eine durch die jeweilige Sensorvorrichtung in der Umgebung des Fahrzeugs ermittelte Spur. Alternativ oder zusätzlich können die Extraktionsdaten Low-Level-Fusionsobjektdaten umfassen, also Fusionsobjektdaten, die anhand von Low-Level-fusionierten Sensordaten ermittelt worden. Alternativ oder zusätzlich können die Extraktionsdaten Kartendaten umfassen, um beispielsweise mit Sensorspurdaten fusioniert zu werden. Alternativ oder zusätzlich können die Extraktionsdaten auf künstliche Intelligenz basierende Extraktionsdaten umfassen. Sämtliche der zuvor genannten Extraktionsdaten können auf künstlicher Intelligenz basieren.
-
Die Fusionsparametrierung kann durch maschinelles Lernen und/oder oder andere Optimierungsmechanismen veränderbar sein. Damit kann die Veränderlichkeit der Fusionsparametrierung verbessert werden. Das maschinelle Lernen kann dabei online, also fahrzeugseitig erfolgen. Beispielsweise navigiert das Kraftfahrzeug anhand einer hochgenauen Karte anhand von Kartendaten. Befährt das Kraftfahrzeug eine nicht in den Kartendaten verzeichnete Baustelle, kann eine Sensorvorrichtung des Fahrzeugs die Baustelle erfassen. Durch maschinelles Lernen kann die Fusionsparametrierung derart angepasst werden, dass die Kartendaten als Extraktionsdaten bei einer Datenfusion weniger stark berücksichtigt beziehungsweise gewichtet werden.
-
Die Fusionsparametrierung kann derart veränderbar sein, dass die eine die Datenfusion charakterisierende Fusionsperformance maximiert wird. Die Fusionsperformance ist eine insbesondere algorithmisch ermittelbare Größe. Beispielsweise kann die Fusionsperformance angeben, ob und/oder wie viele Objekte und/oder Spuren fusioniert werden können. Die Fusionsperformance kann auch eine Genauigkeit und/oder ein Fehler einer Fusion eines Objektes und/oder einer Spur angeben. Die Fusionsparametrierung kann online, also fahrzeugintern, veränderlich sein, um eine verbesserte Fusionsperformance durch eine veränderte Datenfusion zu erzielen.
-
Die Schritte des Verfahrens lassen sich auch in einer anderen als der beschriebenen Reihenfolge durchführe. Insbesondere die Reihenfolge der Schritte Bereitstellen von Sensorobjektdaten, die repräsentativ sind für ein durch die jeweilige Sensorvorrichtung in der Umgebung des Fahrzeugs ermittelten Sensorobjektes, und/oder von Sensorspurdaten, die repräsentativ sind für eine durch die jeweilige Sensorvorrichtung in der Umgebung des Fahrzeugs ermittelte Sensorspur; Bereitstellen von Extraktionsdaten, die repräsentativ sind für ein in der Umgebung ermitteltes Objekt und/oder für eine in der Umgebung ermittelte Spur; und Bereitstellen einer veränderbaren Fusionsparametrierung sind in einer beliebigen Reihenfolge und/oder simultan durchführbar.
-
Das oben Beschriebene lässt sich mit anderen Worten und auf eine konkrete Ausgestaltung bezogen, die als für die vorliegende Offenbarung nicht limitierend beschrieben wird, wie folgt zusammenfassen: Die Offenbarung betrifft eine Innovationsbefähigung und Risikominimierung durch Performance Balancing als Architekturprinzip in Erkennungs- und Fusionssystemen. Übliche Fusionssysteme erhalten von Sensoren wie zB Kamera, Lidar oder Radar beispielsweise Objektlisten, die Informationen über Verkehrsteilnehmer enthalten, oder Spurinformationen, die auf erkannten Spurmarkierungen beruhen. Damit werden kommunale, standardisierte Schnittstellen bedient, befüllt von Erkennungsalgorithmen, die für die jeweilige Sensorart, Sensorleistung und Anwendungszwecke optimiert sind. Fusionsalgorithmen konsumieren solche Schnittstellen von mehreren Sensoren und versuchen, daraus höherwertige Information zu generieren. Ein alternativer Ansatz liegt in der Verwendung ungetrackter Informationen wie zB KameraRohdaten (Pixel) oder punktförmiger Lidar- oder Radar-Detektionen (aber auch Radar-Cubes, single-frame detections etc., s. auch oben). Diese können in LowLevel-Fusionssysteme verarbeitet werden und daraus Informationen wie Objekte oder Spuren extrahiert werden. Auch hier gibt es viele Möglichkeiten, Algorithmen an Gegebenheiten wie HW-Resourcen (z.B. Compute-Power (FLOPS, TOPS, ...), RAM und (ggf. applizierbarer) Verfügbarkeit von HW-Beschleunigern) oder andere Anwendungszwecke anzupassen. Sobald man sich für den einen und gegen den anderen Ansatz entscheidet, kann man zwar das Gesamtsystem gezielt optimieren, aber man verliert die Flexibilität, die jeweils besten algorithmischen Ansatz für die jeweilige Situation und Anwendung verwenden zu können. Dies führt dazu, dass die eigentlichen Fähigkeiten des Gesamtsystems nicht ausgereizt werden. Gleichzeitig setzt man sich dem Risiko aus, dass aufgrund unvorhergesehener Probleme die angestrebte Nominalperformance nicht erreicht werden kann. Daher wird eine spezielle Systemarchitektur vorgeschlagen, die es erlaubt, verschiedene Arten von Erkennungs- und Fusionsalgorithmen in einem System zu vereinen, und zum Ausgleich der Nachteile der jeweiligen Sub-Systeme („performance balancing“) spezielle Kontenpunkte in der Architektur vorzusehen. Dies ermöglicht nicht nur eine höhere Performance des Gesamtsystems, die über derjenigen der jeweiligen Sub-Systeme liegt, sondern auch eine sukzessive Verbesserung des Gesamtsystems, ohne das Risiko von Regressionen in Kauf nehmen zu müssen. Diese Architektur erlaubt es, ein solides System auf etablierter sensor-inhärenter Objekt- bzw. Spurerkennung (eine Säule) aufzubauen, womit die Performance nach Stand der Sensor-Technik sichergestellt ist. Gleichzeitig können anspruchsvollere neue Algorithmen (weitere Säule) bereitgestellt werden, die für das Nominalverhalten des Systems u.U. gar nicht erforderlich sind, sondern geeignet sind, um Sondersituationen (corner cases) oder höhere Anforderungen zu beherrschen. Darüber hinaus können beispielsweise Al-basierte Algorithmen (weitere Säule) einen weiteren Performance Hub beisteuern in Situationen, die mit anderen Lösungsansätzen nicht zu beherrschen sind. Die Punkte in der Architektur, die für das „Performance Balancing“ zuständig sind, können unterschiedlich ausgestaltet sein: 1. In einfachster Version schalten sie zwischen den verschiedenen Säulen um; 2. In einer weiteren Ausbaustufe verwenden sie die Inputs mehrere Säulen, gewichten oder fusionieren sie jedoch situativ unterschiedlich stark; 3. In einem nächsten Schritt lernt das System, welche Säule in welcher Situation in welcher Weise am besten genutzt werden kann. Im Zuge der Serienentwicklung ist es wichtig, die Robustheit des Gesamtsystems bei Veränderungen von Teilsystemen sicherstellen zu können und damit Projektrisiken zu beschränken: 1. Bei Weiterentwicklungen der Algorithmen der einzelnen Säulen (zB durch mehr Trainingsdaten für die AI-Säule) müssen lediglich Anpassung am Performance Balancing-Punkt erfolgen. Der Rest des Systems kann stabil gehalten werden, während gleichzeitig Innovationen mit geringem Gesamtrisiko umgesetzt werden können. 2. Bei nicht vorhergesehenen drohenden Regressionen (zB kann der Tausch eines Sensors durch ein anderes Modell oder der Wechsel des Zulieferers ein geändertes Sensorverhalten oder gar eine Verschlechterung mit sich bringen) kann das „performance balancing“ Defizite kompensieren und somit das Gesamtrisiko eines Projektes minimieren.
-
Ferner wird ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zumindest teilweise aus- bzw. durchzuführen, bereitgestellt.
-
Ein Programmcode des Computerprogramms kann in einem beliebigen Code vorliegen, insbesondere in einem Code, der für Steuerungen von Kraftfahrzeugen geeignet ist.
-
Das oben mit Bezug zum Verfahren Beschriebene gilt analog auch für das Computerprogramm und umgekehrt.
-
Ferner wird eine Datenverarbeitungsvorrichtung, z.B. ein Steuergerät, für ein automatisiertes Kraftfahrzeug bereitgestellt, wobei die Datenverarbeitungsvorrichtung dazu eingerichtet ist, das oben beschriebene Verfahren zumindest teilweise aus- bzw. durchzuführen. Damit ist das Verfahren ein computerimplementiertes Verfahren.
-
Die Datenverarbeitungsvorrichtung kann Teil eines Fahrassistenzsystems sein oder dieses darstellen. Bei der Datenverarbeitungsvorrichtung kann es sich beispielsweise um eine elektronische Steuereinheit (engl. ECU = electronic control unit) handeln. Das elektronische Steuergerät kann eine intelligente prozessor-gesteuerte Einheit sein, die z.B. über ein Central Gateway (CGW) mit anderen Modulen kommunizieren kann und die ggf. über Feldbusse, wie den CAN-Bus, LIN-Bus, MOST-Bus und FlexRay oder über Automotive-Ethernet, z.B. zusammen mit Telematiksteuergeräten das Fahrzeugbordnetz bilden kann. Denkbar ist, dass das Steuergerät für das Fahrverhalten des Kraftfahrzeugs relevante Funktionen, wie die Motorsteuerung, die Kraftübertragung, das Bremssystem und/oder das Reifendruck-Kontrollsystem, steuert. Außerdem können Fahrerassistenzsysteme, wie beispielsweise ein Parkassistent, eine angepasste Geschwindigkeitsregelung (ACC, engl. adaptive cruise control), ein Spurhalteassistent, ein Spurwechselassistent, eine Verkehrszeichenerkennung, eine Lichtsignalerkennung, ein Anfahrassistent, ein Nachtsichtassistent und/oder ein Kreuzungsassistent, von dem Steuergerät gesteuert werden.
-
Das oben mit Bezug zum Verfahren und zum Computerprogramm Beschriebene gilt analog auch für die Datenverarbeitungsvorrichtung und umgekehrt.
-
Ferner wird ein elektrisch antreibbares Kraftfahrzeug, umfassend die oben beschriebene Datenverarbeitungsvorrichtung bereitgestellt.
-
Bei dem Kraftfahrzeug kann es sich um einen Personenkraftwagen, insbesondere ein Automobil, handeln. Das automatisierte Kraftfahrzeug kann ausgestaltet sein, um eine Längsführung und/oder eine Querführung bei einem automatisierten Fahren des Kraftfahrzeugs zumindest teilweise und/oder zumindest zeitweise zu übernehmen. Das automatisierte Fahren kann so erfolgen, dass die Fortbewegung des Kraftfahrzeugs (weitgehend) autonom erfolgt. Das automatisierte Fahren kann zumindest teilweise und/oder zeitweise durch die Datenverarbeitungsvorrichtung gesteuert werden.
-
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 0 sein, d.h. der Fahrer übernimmt die dynamische Fahraufgabe, auch wenn unterstützende Systeme (z. B. ABS oder ESP) vorhanden sind.
-
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 1 sein, d.h. bestimmte Fahrerassistenzsysteme aufweisen, die den Fahrer bei der Fahrzeugbedienung unterstützen, wie beispielsweise der Abstandsregeltempomat (ACC).
-
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 2 sein, d.h. so teilautomatisiert sein, dass Funktionen wie automatisches Einparken, Spurhalten bzw. Querführung, allgemeine Längsführung, Beschleunigen und/oder Abbremsen von Fahrerassistenzsystemen übernommen werden.
-
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 3 sein, d.h. so bedingungsautomatisiert, dass der Fahrer das System Fahrzeug nicht durchgehend überwachen muss. Das Kraftfahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und/oder Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert die Führung zu übernehmen.
-
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 4 sein, d.h. so hochautomatisiert, dass die Führung des Fahrzeugs dauerhaft vom System Fahrzeug übernommen wird. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen.
-
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 5 sein, d.h. so vollautomatisiert, dass der Fahrer zum Erfüllen der Fahraufgabe nicht erforderlich ist. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich. Das Kraftfahrzeug kann ohne Lenkrad und Pedale auskommen.
-
Das oben mit Bezug zum Verfahren, zur Datenverarbeitungsvorrichtung und zum Computerprogramm Beschriebene gilt analog auch für das Kraftfahrzeug und umgekehrt.
-
Ferner wird ein computerlesbares Medium, insbesondere ein computerlesbares Speichermedium, bereitgestellt. Das computerlesbare Medium umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zumindest teilweise auszuführen.
-
Das heißt, es kann ein computerlesbares Medium bereitgestellt werden, das ein oben definiertes Computerprogramm umfasst. Bei dem computerlesbaren Medium kann es sich um ein beliebiges digitales Datenspeichergerät handeln, wie zum Beispiel einen USB-Stick, eine Festplatte, eine CD-ROM, eine SD-Karte oder eine SSD-Karte. Das Computerprogramm muss nicht zwingend auf einem solchen computerlesbarem Speichermedium gespeichert sein, um dem Kraftfahrzeug zur Verfügung gestellt zu werden, sondern kann auch über das Internet oder anderweitig extern bezogen werden.
-
Das oben mit Bezug zum Verfahren, zur Datenverarbeitungsvorrichtung, zum Computerprogramm und zum automatisierten Kraftfahrzeug Beschriebene gilt analog auch für das computerlesbare Medium und umgekehrt.
-
Nachfolgend wird eine Ausführungsform mit Bezug zu 1 beschrieben.
- 1 zeigt schematisch ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung;
- 2 zeigt schematisch ein Ablaufdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung; und
- 3 zeigt schematisch ein Architekturprinzip zur Datenfusion gemäß dem Stand der Technik und zwei Architekturprinzipien gemäß einem Verfahren gemäß einer Ausführungsform der Erfindung.
-
1 zeigt schematisch ein Kraftfahrzeug 200 gemäß einer Ausführungsform der Erfindung.
-
Das Kraftfahrzeug 200 befindet sich in einer Umgebung 205 des Kraftfahrzeugs 200. In der Umgebung 205 befindet sich ein Objekt 215, beispielsweise ein Hindernis, ein anderes Kraftfahrzeug und/oder ein Fußgänger. Das Kraftfahrzeug 200 befährt eine durch Spur 216, deren Begrenzung exemplarisch durch zwei gekrümmte Linien angedeutet ist.
-
Das Kraftfahrzeug 200 ist dazu eingerichtet, das mit Bezug zu 2 gezeigte Verfahren 100 durchzuführen. Dafür umfasst das Kraftfahrzeug 200 eine Datenverarbeitungsvorrichtung 211 und eine Sensorvorrichtung 210.
-
Die Sensorvorrichtung 210 ist dazu eingerichtet, Information über das Objekt 215 und/oder die Spur 216 als Sensordaten 219 zu erfassen, beispielsweise anhand von bildgebenden Verfahren. Dafür ist die Sensorvorrichtung 210 beispielsweise basierend auf Kamera, Lidar und/oder Radar. Die Sensorvorrichtung 210 ist dazu eingerichtet, anhand der erfassten Informationen separat Objekte 215 und/oder Spuren 216 zu erkennen und diese in einer abstrakten, sensorunabhängigen Objektrepräsentation beziehungsweise Spurrepräsentation als Informationen, als sogenannte Sensorobjekte 217 beziehungsweise Sensorspuren 218 zur Datenfusion an die Datenverarbeitungsvorrichtung 211 zu übermitteln. Zusätzlich ist die Sensorvorrichtung 210 dazu eingerichtet, die Sensordaten 219 an die Datenverarbeitungsvorrichtung 211 zur Datenfusion übermitteln.
-
Die Datenverarbeitungsvorrichtung 211 weist einen nichtgezeigten Prozessor und einen nichtgezeigten Speicher zum Verarbeiten und Speichern der von der Sensorvorrichtung 210 empfangen Sensorobjekte 217, Sensorspuren 218 und Sensordaten 219 auf. In dem Speicher ist eine Fusionsparametrierung 220 gespeichert, die zur Datenfusion abrufbar ist.
-
2 zeigt schematisch ein Ablaufdiagramm eines Verfahrens 100 gemäß einer Ausführungsform der Erfindung.
-
Das Verfahren 100 ist durch ein Kraftfahrzeug 200 wie mit Bezug zu 1 gezeigt durchführbar. 2 wird mit Bezug zu der Beschreibung von 1 beschrieben. Das Verfahren 100 ist ein Datenfusionsverfahren.
-
Das Verfahren 100 beginnt mit dem Bereitstellen 110 von Sensorobjektdaten, die repräsentativ sind für ein durch die Sensorvorrichtung 210 in der Umgebung 205 des Fahrzeugs 200 ermittelten Sensorobjektes 217. Damit werden bei einer Datenfusion Fusionsobjekte 230 erzeugt. Zusätzlich oder alternativ erfolgt ein Bereitstellen 110 von Sensorspurdaten, die repräsentativ sind für eine durch die Sensorvorrichtung 210 in der Umgebung 205 des Fahrzeugs 200 ermittelte Sensorspur 218. Damit werden bei einer Datenfusion Fusionsspuren 231 erzeugt. Das Bereitstellen 110 der Sensorobjektdaten und/oder der Sensorpurdaten erfolgt wie mit Bezug zu 1 beschrieben.
-
Daraufhin folgt in der in 2 gezeigten Ausführungsform das Bereitstellen 120 von Extraktionsdaten, die repräsentativ sind für ein in der Umgebung 205 ermitteltes Objekt 215 und/oder für eine in der Umgebung 205 ermittelte Spur 216. Die Extraktionsdaten können dabei verschiedener Natur sein und/oder von verschiedenen Quellen stammen, beispielsweise von verschiedenen Sensorvorrichtungen 210, von der Sensorvorrichtung 210 gemäß 1 unter Verwendung verschiedener Extraktionsalgorithmen und/oder aus einer Datenbank, mit der die Datenverarbeitungsvorrichtung 211 verbunden und/oder verbindbar ist. Die Extraktionsdaten umfassen optional zweite Sensorobjektdaten, die repräsentativ sind für ein durch die Sensorvorrichtung 210 in der Umgebung 205 des Fahrzeugs 200 ermittelten Sensorobjektes 217 (siehe 3 (b)), zweite Sensorspurdaten, die repräsentativ sind für eine durch die Sensorvorrichtung 210 in der Umgebung 205 des Fahrzeugs 200 ermittelte Sensorspur 218 (siehe 3 (c), Low-Level-Fusionsobjektdaten 240 (siehe 3 (b)), Kartendaten 241 (siehe 3 (c) und/oder auf künstliche Intelligenz basierende Extraktionsdaten 242 (siehe 3 (b) und 3 (c)).
-
Daraufhin folgt in der in 2 gezeigten Ausführungsform das Bereitstellen 130 einer veränderbaren Fusionsparametrierung 220. Die Fusionsparametrierung 220 umfasst eine Gewichtung, anhand derer die Sensorobjektdaten und/oder Sensorspurdaten mit den Extraktionsdaten fusioniert werden. Damit gibt Fusionsparametrierung 220 die Gewichtung der Sensorobjektdaten und/oder der Sensorspurdaten bei der Datenfusion mit den Extraktionsdaten an. Die Fusionsparametrierung 220 ist kontextbezogen veränderlich. Der Kontext 225, von dem die Fusionsparametrierung 220 abhängig ist, wird fahrzeugintern oder fahrzeugextern ermittelt. Dabei werden von dem Kraftfahrzeug 200 ermittelbare und/oder von einem Server bereitgestellte Informationen berücksichtigt, um den Kontext 225 zu ermitteln. Eine kontextbezogene Fusionsparametrierung 220 wird aus einer von für eine Menge von Kontexten 225 vorbestimmte Menge von Fusionsparametrierungen 220 ausgewählt.
-
Es folgt das Durchführen 140 einer Datenfusion anhand der Fusionsparametrierung 220, wobei die Sensorobjektdaten und/oder die Sensorspurdaten mit den Extraktionsdaten anhand der Fusionsparametrierung 220 fusioniert werden. Die Fusionsparametrierung 220 ist dabei für eine Datenfusion konstant und kann für eine folgende Datenfusion angepasst werden.
-
Die Fusionsparametrierung 220 ist durch maschinelles Lernen veränderbar. Beispielsweise kann die kontextbezogene Wahl der Fusionsparametrierung 220 bestimmten durch maschinelles Lernen erkennbare Muster umfassen, und so ein Lernen der Veränderlichkeit der Fusionsparametrierung 220 ermöglichen. Die Fusionsparametrierung 220 ist derart veränderbar, dass die eine die Datenfusion charakterisierende Fusionsperformance maximiert wird. Eine die Datenfusion charakterisierende Größe wird optional nach jedem Durchführen 140 der Datenfusion ermittelt und kann die Fusionsperformance angeben. Ist die Fusionsperformance unterhalb eines vorgegebenen Schwellwerts, kann eine Anpassung der Fusionsparametrierung 220 erfolgen. Die Anpassung der Fusionsparametrierung 220 kann graduell sein, um die Fusionsparametrierung 220 um einen Balance-Point zu verbessern, also um eine spezifische Fusionsparametrierung 220, die sich für einen bestimmten Kontext 235 als geeignet erwiesen hat.
-
3 zeigt schematisch ein Architekturprinzip (3 (a)) zur Datenfusion gemäß dem Stand der Technik und zwei Architekturprinzipien (3(b) und 3(c)) gemäß einem Verfahren 100 gemäß einer Ausführungsform der Erfindung. 3 wird mit Bezug zu der Beschreibung von 1 und 2 beschrieben.
-
3 (a) zeigt eine High-Level-Datenfusion gemäß dem Stand der Technik. Dabei stellen zwei aufrechte Säulen Sensorobjekte 217.1, 217.2 dar. Die Sensorobjekte 217.1, 217.2 sind von verschiedenen Sensorvorrichtungen 210 erfasste Sensorobjekte 217.1, 217.2. Anhand der Sensorobjekte 217.1, 217.2 wird eine Datenfusion durchgeführt und so Fusionsobjekte 230 erzeugt. Eine Anpassung der Datenfusion ist nicht möglich. Die Sensorobjekte 217.1, 217.2 werden fusioniert.
-
3 (b) zeigt eine Datenfusion beziehungsweise ein Architekturprinzip einer Datenfusion gemäß einer Ausführungsform der Erfindung. Dabei stellen zwei aufrechte Säulen Sensorobjekte 217.1, 217.2 dar, eine aufrechte Säule stellt Low-Level-Fusionsobjektdaten 240 dar, und eine aufrechte Säule stelle auf künstlicher Intelligenz basierende Extraktionsdaten 242 dar. Die Sensorobjekte 217.1, 217.2 können von verschiedenen Sensorvorrichtungen 210 erfasste Sensorobjekte 217.1, 217.2 oder von einer Sensorvorrichtungen 210 anhand von verschiedenen Algorithmen erfasste Sensorobjekte 217.1, 217.2 sein. Die Low-Level-Fusionsobjektdaten 240 sind Extraktionsdaten, die beispielsweise resultieren aus einer Low-Level-Datenfusion von Sensordaten 219 mehrerer Sensorvorrichtung 210 und einer anschließenden Objekt- und/oder Spurerkennung. Die auf künstlicher Intelligenz basierende Extraktionsdaten 242 sind Extraktionsdaten, die insbesondere auf den Sensordaten 219 basieren und mittels künstlicher Intelligenz ermittelte Informationen bezüglich des Objekts 215 und/oder der Spur 216 umfassen.
-
Ein Kontext 225 bestimmt eine Fusionsparametrierung 220. Die Fusionsparametrierung 220 gibt die Gewichtung der einzelnen Säulen („Performance Hubs“) bei der Datenfusion an. Anhand der Fusionsparametrierung 220 werden die Sensorobjekte 217.1, 217 die Low-Level-Fusionsobjektdaten 240 und die auf künstlicher Intelligenz basierende Extraktionsdaten 242 zu Fusionsobjekten 230 fusioniert.
-
3 (c) zeigt eine Datenfusion beziehungsweise ein Architekturprinzip einer Datenfusion gemäß einer Ausführungsform der Erfindung. Dabei stellen zwei aufrechte Säulen Sensorspuren 218.1, 218.2 dar, eine aufrechte Säule stellt Kartendaten 241 dar, und eine aufrechte Säule stelle auf künstlicher Intelligenz basierende Extraktionsdaten 242 dar. Die Kartendaten 241 sind Extraktionsdaten, die beispielsweise aus einer mit der Datenverarbeitungsvorrichtung 211 verbundenen und/oder verbindbaren Datenbank abrufbar sind. Die auf künstlicher Intelligenz basierende Extraktionsdaten 242 sind Extraktionsdaten, die insbesondere auf den Sensordaten 219 basieren und mittels künstlicher Intelligenz ermittelte Informationen bezüglich des Objekts 215 und/oder der Spur 216 umfassen.
-
Ein Kontext 225 bestimmt eine Fusionsparametrierung 220. Die Fusionsparametrierung 220 gibt die Gewichtung der einzelnen Säulen („Performance Hubs“) bei der Datenfusion an. Anhand der Fusionsparametrierung 220 werden die Sensorobjekte 217.1, 217 die Kartendaten 241 und die auf künstlicher Intelligenz basierende Extraktionsdaten 242 zu Fusionsspuren 231 fusioniert.
-
In beiden Fällen können die auf künstliche Intelligenz basierende Extraktionsdaten 242 einen Performance Hub beisteuern, in denen die Datenfusion für bestimmte Kontexte 235 beziehungsweise Situationen mit anderen Fusionsansätzen nicht oder schlecht beherrschbar sind.
-
Bezugszeichenliste
-
- 100
- Verfahren
- 110
- Bereitstellen von Sensorobjektdaten und/oder Sensorspurdaten
- 120
- Bereitstellen von Extraktionsdaten
- 130
- Bereitstellen einer Fusionsparametrierung
- 140
- Durchführen einer Datenfusion
- 200
- Fahrzeug
- 205
- Umgebung
- 210
- Sensorvorrichtung
- 211
- Datenverarbeitungsvorrichtung
- 215
- Objekt
- 216
- Spur
- 217
- Sensorobjekt
- 217.1
- Sensorobjekt
- 217.2
- Sensorobjekt
- 218
- Sensorspur
- 218.1
- Sensorspur
- 218.2
- Sensorspur
- 219
- Sensordaten
- 220
- Fusionsparametrierung
- 225
- Kontext
- 230
- Fusionsobjekte
- 231
- Fusionsspuren
- 240
- Low-Level-Fusionsobjektdaten
- 241
- Kartendaten
- 242
- auf künstlicher Intelligenz basierende Extraktionsdaten
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019102769 A1 [0003]
