DE102022116052A1 - Verfahren und Vorrichtung zur Erkennung von Objekten anhand von Sensorfusion - Google Patents

Verfahren und Vorrichtung zur Erkennung von Objekten anhand von Sensorfusion Download PDF

Info

Publication number
DE102022116052A1
DE102022116052A1 DE102022116052.1A DE102022116052A DE102022116052A1 DE 102022116052 A1 DE102022116052 A1 DE 102022116052A1 DE 102022116052 A DE102022116052 A DE 102022116052A DE 102022116052 A1 DE102022116052 A1 DE 102022116052A1
Authority
DE
Germany
Prior art keywords
detection
objects
individual
fusion
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022116052.1A
Other languages
English (en)
Inventor
Daniel Meissner
Dominik Kellner
Carola Schroeter
Sascha Steyer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102022116052.1A priority Critical patent/DE102022116052A1/de
Publication of DE102022116052A1 publication Critical patent/DE102022116052A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird eine Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs beschrieben. Die Vorrichtung ist eingerichtet, auf Basis von Sensordaten einer Vielzahl von Umfeldsensoren des Fahrzeugs unter Verwendung einer Basis-Fusionseinheit eine Basis-Menge von Objekten zu ermitteln, und auf Basis der Sensordaten der Vielzahl von Umfeldsensoren des Fahrzeugs unter Verwendung einer Nachweis-Fusionseinheit eine Nachweis-Menge von Objekten zu ermitteln. Die Vorrichtung ist ferner eingerichtet, auf Basis der Basis-Menge von Objekten und auf Basis der Nachweis-Menge von Objekten eine Kombi-Menge von Objekten zu ermitteln.

Description

  • Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Erkennung von Umfeld-Objekten im Umfeld eines Fahrzeugs, etwa im Rahmen einer Fahrfunktion zum zumindest teilweise automatisierten Fahren.
  • Ein Fahrzeug kann zumindest eine Fahrfunktion aufweisen, die ausgebildet ist, eine zumindest teilweise oder vollständig automatisierte Längs- und/oder Querführung des Fahrzeugs zu bewirken. Zu diesem Zweck können die Sensordaten von unterschiedlichen Umfeldsensoren des Fahrzeugs fusioniert werden, um eine Menge von Objekten im Umfeld des Fahrzeugs zu detektieren. Die Längs- und/oder Querführung des Fahrzeugs kann in sicherer Weise unter Berücksichtigung der detektierten Menge von Objekten bewirkt werden.
  • Eine hochautomatisierte Fahrfunktionen (z.B. SAE-Level 3 und höher) sollte ein Sicherheitsniveau erreichen, das mindestens so gut ist, wie das eines menschlichen Fahrers (d.h. es sollte eine positive Risikobilanz vorliegen). Um dies zu erreichen, ist typischerweise eine relativ hohe Erkennungsgüte von Objekten im Umfeld des Fahrzeugs bereitzustellen. Diese True-Positive und/oder False-Negative Anforderungen an die Objekterkennung müssen typischerweise nicht nur theoretisch erfüllt werden, sondern sie müssen auch durch Fahrversuche (experimentell) nachgewiesen werden. Ein derartiger Nachweis durch Fahrversuche ist ggf. gar nicht oder nur mit einem hohen Aufwand zu erbringen.
  • Das vorliegende Dokument befasst sich mit der technischen Aufgabe, eine Objekterkennung auf Basis der Sensordaten von unterschiedlichen Umfeldsensoren bereitzustellen, die eine effizient und zuverlässig nachweisbare Objekterkennungsrate aufweist.
  • Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
  • Gemäß einem Aspekt wird eine Vorrichtung zur Erkennung von (Umfeld-) Objekten in einem Umfeld eines (Kraft-) Fahrzeugs beschrieben. Die erkannten Objekte, insbesondere eine durch die Vorrichtung ermittelte Kombi-Menge von Umfeld-Objekten, kann für den Betrieb einer Fahrfunktion des Fahrzeugs verwendet werden.
  • Das Fahrzeug umfasst eine Vielzahl von Umfeldsensoren, die jeweils eingerichtet sind, Sensordaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen. Beispielhafte Umfeldsensoren sind: ein oder mehrere Radarsensoren, ein oder mehrere Lidarsensoren, ein oder mehrere Kameras, ein oder mehrere Ultraschallsensoren, etc. Die Umfeldsensoren der Vielzahl von Umfeldsensoren können sich in Bezug auf das Messprinzip des jeweiligen Umfeldsensors und/oder in Bezug auf den Erfassungsbereich des jeweiligen Umfeldsensors unterscheiden.
  • Die Sensordaten der einzelnen Umfeldsensoren können ggf. separat voneinander ausgewertet werden. Zu diesem Zweck kann jeweils eine Einzel-Erkennungsmethode verwendet werden, um auf Basis der Sensordaten eines (einzelnen) Umfeldsensors eine Einzel-Menge von Umfeld-Objekten zu detektieren.
  • Typischerweise kann durch eine Fusion der Sensordaten der Vielzahl von Umfeldsensoren die Güte (z.B. die Genauigkeit, die Robustheit, die Erkennungsrate, etc.) der Objekterkennung erhöht werden. Dabei kann die Fusion auf Basis der Vielzahl von Einzel-Mengen von Objekten erfolgen, die (jeweils dediziert und/oder separat) auf Basis der Sensordaten der entsprechenden Vielzahl von Umfeldsensoren ermittelt wurden. Alternativ oder ergänzend kann die Fusion direkt auf Basis der Sensordaten der Vielzahl von Umfeldsensoren erfolgen (noch vor der eigentlichen Erkennung von Objekten). Die Sensordaten-Fusion kann z.B. anhand eines Belegungsrasters (Occupancy Grid) bewirkt werden. Dabei ist die Güte der Objekterkennung typischerweise höher, wenn die Fusion direkt auf Basis der Sensordaten erfolgt, als wenn die Fusion auf Basis der Objekte aus den Einzel-Mengen erfolgt.
  • Andererseits ist der Aufwand zum experimentellen und/oder statistischen Nachweis der Objekterkennungsrate (insbesondere der False-Negative-Rate) typischerweise wesentlich höher, wenn die Fusion direkt auf Basis der Sensordaten der Vielzahl von Umfeldsensoren erfolgt, als wenn die Fusion auf Basis der Objekte aus den Einzel-Mengen erfolgt.
  • Die Vorrichtung ist eingerichtet, auf Basis der Sensordaten der Vielzahl von Umfeldsensoren des Fahrzeugs unter Verwendung einer Basis-Fusionseinheit eine Basis-Menge von Objekten zu ermitteln. Die Basis-Fusionseinheit kann z.B. eine Fusion direkt auf Basis der Sensordaten durchführen, um die Basis-Menge von Objekten zu ermitteln.
  • Die Vorrichtung ist ferner eingerichtet, auf Basis der (gleichen) Sensordaten der Vielzahl von Umfeldsensoren des Fahrzeugs unter Verwendung einer Nachweis-Fusionseinheit eine Nachweis-Menge von Objekten zu ermitteln. Die Nachweis-Fusionseinheit kann z.B. eine Fusion auf Basis der Einzel-Mengen von Objekten durchführen (die separat auf Basis der Sensordaten der einzelnen Umfeldsensoren ermittelt wurden), um die Nachweis-Menge von Objekten zu ermitteln.
  • Insbesondere können die Basis-Fusionseinheit und die Nachweis-Fusionseinheit derart ausgebildet sein, dass der Aufwand (z.B. gemessen in der Anzahl von erforderlichen Messungen) zur Erbringung des Nachweises der Objekterkennungsrate (insbesondere der False-Negative-Rate) für die Nachweis-Funktionseinheit niedriger (z.B. um den Faktor 10 oder mehr, oder 100 oder mehr, oder 1000 oder mehr, niedriger) ist als für die Basis-Fusionseinheit. Insbesondere kann die Nachweis-Fusionsmethode derart ausgebildet sein, dass die Gesamt-Objekterkennungsrate der Nachweis-Fusionseinheit (und damit der Gesamt-Vorrichtung) durch experimentelle Nachweise der Vielzahl von Einzel-Objekterkennungsraten der entsprechenden Vielzahl von Einzel-Objekterkennungsmethoden experimentell nachweisbar ist. Die Nachweis-Fusionseinheit kann dabei basierend auf den Einzel-Objekterkennungsmethoden entwickelt worden sein, sodass gewährleistet werden kann, dass die Einzel-Objekterkennungsraten der Einzel-Obj ekterkennungsmethoden direkt auf die Gesamt-Objekterkennungsrate propagiert werden können (ggf. ohne die Nachweisfusions-Einheit ausführen zu müssen). So kann ein besonders effizienter Nachweis der Objekterkennungsrate der Gesamt-Vorrichtung ermöglicht werden.
  • Andererseits ist die Vorrichtung typischerweise derart ausgebildet, dass die Basis-Fusionseinheit eine höhere Objekterkennungsgüte aufweist als die Nachweis-Fusionseinheit. Die Objekterkennungsgüte kann sich dabei auf Objekt-Parameter wie die Position, die Geschwindigkeit, die Bewegungsrichtung und/oder die Klassifizierung eines erkannten Objektes beziehen. Dabei kann die Objekterkennungsgüte die Genauigkeit, die Robustheit und/oder die Zuverlässigkeit beschrieben, mit der ein Objekt-Parameter ermittelt werden kann.
  • Die Güte der Objekterkennung (der Gesamt-Vorrichtung) kann somit primär durch die Basis-Fusionseinheit beeinflusst werden (während die Nachweis-Fusionseinheit auf einen effizienten Nachweis der Objekterkennungsrate (der Gesamt-Vorrichtung) gerichtet ist). Bevorzugt erfolgt die Objekterkennung dabei im Normalfall immer anhand der Basis-Fusionseinheit während die Nachweis-Fusionseinheit nur greift, wenn die Basis-Fusionseinheit eine fehlerhafte Detektion (insbesondere einen False-Negative) aufweist.
  • Die Vorrichtung ist ferner eingerichtet, auf Basis der Basis-Menge von (Umfeld-) Objekten und auf Basis der Nachweis-Menge von (Umfeld-) Objekten eine Kombi-Menge von (Umfeld-) Objekten zu ermitteln. Dabei kann die Ermittlung der Kombi-Menge derart erfolgen, dass eine für die Nachweis-Fusionseinheit ermittelte und/oder nachgewiesene Objekterkennungsrate auch (als untere bzw. die obere Grenze) für die Objekterkennungsrate der Gesamt-Vorrichtung gilt. Die für die Nachweis-Fusionseinheit nachgewiesene False-Negative-Rate kann z.B. die obere Grenze für die False-Negative-Rate der Gesamt-Vorrichtung darstellen.
  • Die Vorrichtung kann insbesondere eingerichtet sein, die Kombi-Menge von Objekten derart zu ermitteln, dass die Kombi-Menge alle Objekte aus der Nachweis-Menge umfasst (sodass die Objekterkennungsrate der Gesamt-Vorrichtung nicht schlechter sein kann als die Objekterkennungsrate der Nachweis-Fusionseinheit). Dabei kann die Kombi-Menge anhand einer OR-Verknüpfung der Basis-Menge und der Nachweis-Menge ermittelt werden (sodass die Kombi-Menge alle Objekte aus der Basis-Menge und der Nachweis-Menge abdeckt).
  • Ferner kann die Vorrichtung eingerichtet sein, die Kombi-Menge von Objekten derart zu ermitteln, dass die Position und/oder der Positionsfehlerbereich eines Objekts aus der Kombi-Menge auf Basis der Position und/oder des Positionsfehlerbereichs des entsprechenden Objektes aus der Nachweis-Menge und des entsprechenden Objektes aus der Basis-Menge ermittelt wird. So kann eine besonders hohe Objekterkennungs-Güte (in Bezug auf ein oder mehrere Objekt-Parameter, wie z.B. Position, Geschwindigkeit, Orientierung, etc.) erreicht werden.
  • Die Vorrichtung kann ferner eingerichtet sein, eine Fahrfunktion zur automatisierten Längs- und/oder Querführung des Fahrzeugs (insbesondere eine Fahrfunktion gemäß SAE-Level 3 oder höher) auf Basis der Kombi-Menge von Objekten zu betreiben.
  • Durch die in diesem Dokument beschriebenen Maßnahmen kann der experimentelle Nachweis der Objekterkennungsrate einer Objekterkennungs-Vorrichtung in effizienter und zuverlässiger Weise ermittelt werden.
  • Die Nachweis-Fusionseinheit kann eine Nachweis-Fusionsmethode zur Ermittlung der Nachweis-Menge von Objekten verwenden. Dabei kann die Nachweis-Fusionsmethode eine Vielzahl von Einzel-Objekterkennungsmethoden für die entsprechende Vielzahl von Umfeldsensoren verwenden, wobei die Einzel-Objekterkennungsmethode für einen Umfeldsensor ausgebildet ist, eine Einzel-Menge von Objekten (ggf. ausschließlich) auf Basis der Sensordaten dieses Umfeldsensors zu ermitteln (dies kann für jede einzelne der Vielzahl von Einzel-Objekterkennungsmethoden gelten).
  • Die Nachweis-Fusionsmethode kann ausgebildet sein, die Nachweis-Menge von Objekten derart auf Basis der Vielzahl von Einzel-Mengen von Objekten der Vielzahl von Einzel-Objekterkennungsmethoden zu ermitteln, dass die Gesamt-Objekterkennungsrate der Nachweis-Fusionseinheit auf Basis der Einzel-Objekterkennungsraten der Vielzahl von Einzel-Objekterkennungsmethoden ermittelbar ist (z.B. durch Multiplikation der Einzel-Objekterkennungsraten). So kann ein besonders effizienter experimenteller Nachweis der Objekterkennungsrate (der Gesamt-Vorrichtung) erbracht werden.
  • Die Nachweis-Fusionsmethode kann ausgebildet sein, ein erstes Objekt aus einer ersten Einzel-Menge von Objekten und ein zweites Objekt aus einer zweiten Einzel-Menge von Objekten als einzelnes, fusioniertes, Objekt (d.h. als ein einziges Objekt) in die Nachweis-Menge aufzunehmen, wenn sich der Positionsfehlerbereich der Position des ersten Objekts und der Positionsfehlerbereich der Position des zweiten Objekts überschneiden. Andererseits kann die Nachweis-Fusionsmethode ausgebildet sein, ein erstes Objekt aus einer ersten Einzel-Menge von Objekten und ein zweites Objekt aus einer zweiten Einzel-Menge von Objekten als separate Objekte in die Nachweis-Menge aufzunehmen, wenn sich der Positionsfehlerbereich der Position des ersten Objekts und der Positionsfehlerbereich der Position des zweiten Objekts nicht überschneiden. So kann in besonders effizienter und zuverlässiger Weise eine Daten-Fusion bewirkt werden, die einen effizienten experimentellen Nachweis der Objekterkennungsrate ermöglicht.
  • Allgemeiner ausgedrückt kann die Nachweis-Fusionsmethode ausgebildet sein, ein erstes Objekt aus einer ersten Einzel-Menge von Objekten und ein zweites Objekt aus einer zweiten Einzel-Menge von Objekten als einzelnes, fusioniertes, Objekt in die Nachweis-Menge aufzunehmen, wenn sich der Fehlerbereich von ein oder mehreren Objekt-Parametern des ersten Objekts und der Fehlerbereich der ein oder mehreren Objekt-Parameter des zweiten Objekts überschneiden. Beispielhafte Objekt-Parameter sind die Position, die Geschwindigkeit, die Orientierung, die Beschleunigung und/oder die Bewegungsrichtung.
  • Andererseits kann die Nachweis-Fusionsmethode ausgebildet sein, das erste Objekt aus der ersten Einzel-Menge von Objekten und das zweite Objekt aus der zweiten Einzel-Menge von Objekten als separate Objekte in die Nachweis-Menge aufzunehmen, wenn sich der Fehlerbereich der ein oder mehreren Objekt-Parameter des ersten Objekts und der Fehlerbereich der ein oder mehreren Objekt-Parameter des zweiten Objekts nicht überschneiden.
  • Die Nachweis-Fusionsmethode kann ausgebildet sein, ein Objekt in die Nachweis-Menge aufzunehmen, wenn das Objekt in M oder mehr der Vielzahl von Einzel-Mengen enthalten ist (z.B. M gleich 2 oder mehr, etwa M=2 oder M=3). Andererseits kann die Nachweis-Fusionsmethode ausgebildet sein, ein Objekt nicht in die Nachweis-Menge aufzunehmen, wenn das Objekt in weniger als M der Vielzahl von Einzel-Mengen enthalten ist. Die Vielzahl von Umfeldsensoren kann z.B. N=3 oder mehr, oder N=4 oder mehr unterschiedliche Umfeldsensoren umfassen.
  • Eine derartige M aus N Fusionsregel ermöglicht einen besonders effizienten experimentellen Nachweis der Objekterkennungsrate.
  • Die Vorrichtung kann ausgebildet sein, in einer Sequenz von zeitlich aufeinanderfolgenden Rechenzyklen jeweils eine (jeweils aktuelle) Kombi-Menge von Objekten zu ermitteln (auf Basis der jeweils aktuellen Sensordaten). So kann eine dauerhaft präzise und zuverlässige Erfassung des Umfelds des Fahrzeugs bewirkt werden (für einen dauerhaft stabilen Betrieb der Fahrfunktion).
  • Die Daten-Fusion kann in rekursiver Weise durchgeführt werden, sodass die Kombi-Menge von Objekten aus einem vorhergehenden Rechenzyklus (n-1) als Basis für die Ermittlung der Kombi-Menge von Objekten in dem aktuellen Rechenzyklus (n) verwendet wird. Eine derart rekursive Objekterkennung (und ein damit verbundenes Objekt-Tracking) kann insbesondere innerhalb der Basis-Fusionseinheit erfolgen, um eine besonders hohe Objekterkennungs-Güte zu erzielen.
  • Andererseits kann die Nachweis-Fusionsmethode ausgebildet sein, die Nachweis-Menge von Objekten in einem Rechenzyklus unabhängig von der in dem vorhergehenden Rechenzyklus ermittelten Nachweis-Menge von Objekten zu ermitteln. Insbesondere kann die Nachweis-Menge von Objekten in einem Rechenzyklus ggf. ohne Rekursion ermittelt werden. Beispielsweise kann die Nachweis-Menge von Objekten in einem Rechenzyklus allein auf Basis der Sensordaten der Vielzahl von Umfeldsensoren für diesen Rechenzyklus ermittelt werden.
  • Zur Ermittlung der Basis-Menge und/oder der Nachweis-Menge können die Sensordaten der Vielzahl von Umfeldsensoren (oder davon abgeleitete Daten) auf einen gemeinsamen Zeitpunkt prädiziert werden. Zu diesem Zweck kann die Eigenbewegung des Fahrzeugs und/oder die Bewegung eines Umfeld-Objektes berücksichtigt werden. Die Objekte (und die Objekt-Parameter der Objekte) können dann mit erhöhter Genauigkeit auf Basis der zeitlich synchronisierten Daten ermittelt werden.
  • Eine derart non-rekursive Durchführung der Daten-Fusion ermöglicht einen besonders effizienten experimentellen Nachweis der Objekterkennungsrate der Nachweis-Fusionseinheit (und damit der Gesamt-Vorrichtung).
  • Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.
  • Gemäß einem weiteren Aspekt wird ein Verfahren zur Erkennung von Objekten in dem Umfeld eines (Kraft-) Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln, auf Basis von Sensordaten einer Vielzahl von Umfeldsensoren des Fahrzeugs und unter Verwendung einer Basis-Fusionseinheit, einer Basis-Menge von Objekten, sowie das Ermitteln, auf Basis der Sensordaten der Vielzahl von Umfeldsensoren des Fahrzeugs und unter Verwendung einer Nachweis-Fusionseinheit, einer Nachweis-Menge von Objekten. Die Nachweis-Fusionseinheit kann dafür vorgesehen sein, einen effizienten Nachweis der Objekterkennungsrate des Gesamt-Verfahrens zu ermöglichen. Insbesondere kann der Aufwand zum Nachweis der Objekterkennungsrate der Nachweis-Fusionseinheit geringer sein (z.B. um ein oder mehrere Größenordnungen geringer sein) als der Nachweis der Objekterkennungsrate der Basis-Fusionseinheit.
  • Das Verfahren umfasst ferner das Ermitteln, auf Basis der Basis-Menge von Objekten und auf Basis der Nachweis-Menge von Objekten, einer Kombi-Menge von Objekten (zur Verwendung in einer Fahrfunktion des Fahrzeugs).
  • Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
  • Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
  • Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
  • Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. Ferner sind in Klammern aufgeführte Merkmale als optionale Merkmale zu verstehen.
  • Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
    • 1 ein beispielhaftes Fahrzeug mit einer Fahrfunktion zur automatisierten Längs- und/oder Querführung eines Fahrzeugs;
    • 2 eine beispielhafte Vorrichtung zur Ermittlung einer (Kombi-) Menge von Umfeld-Obj ekten;
    • 3a und 3b beispielhafte Umfeld-Objekte, die von unterschiedlichen Umfeldsensoren erkannt wurden; und
    • 4 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Ermittlung einer Menge von Umfeld-Objekten.
  • Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Erkennung von Umfeld-Objekten mit einer Erkennungsrate, die in effizienter und zuverlässiger Weise experimentell nachweisbar ist. In diesem Zusammenhang zeigt 1 ein beispielhaftes Fahrzeug 100, das ein oder mehrere Umfeldsensoren 102 aufweist, die jeweils eingerichtet sind, Umfelddaten (d.h. Sensordaten) in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Beispielhafte Umfeldsensoren 102 sind ein Radarsensor, ein Lidarsensor, eine Kamera, ein Ultraschallsensor, etc.
  • Das Fahrzeug 100 umfasst ferner ein oder mehrere Längs- und/oder Querführungsaktoren 103 (z.B. einen Antriebsmotor, eine Lenkvorrichtung und/oder eine Bremsvorrichtung), die jeweils eingerichtet sind, auf die Längs- und/oder die Querführung des Fahrzeugs 100 einzuwirken.
  • Eine (Steuer-) Vorrichtung 101 des Fahrzeugs 100 kann eingerichtet sein, auf Basis der Umfelddaten der ein oder mehreren Umfeldsensoren 102 ein oder mehrere Objekte im Umfeld des Fahrzeugs 100 zu detektieren. Auf Basis der Umfelddaten kann insbesondere ein Umfeldmodell des Umfelds des Fahrzeugs 100 erstellt werden, wobei das Umfeldmodell die Position, die Größe und/oder die Form einer Menge von Umfeld-Objekten im Umfeld des Fahrzeugs 100 anzeigt. Die (Steuer-) Vorrichtung 101 kann eingerichtet sein, die ein oder mehreren Aktoren 103 des Fahrzeugs 100 in Abhängigkeit von dem Umfeldmodell, insbesondere in Abhängigkeit von der Menge von detektierten Objekten, zu betreiben, um eine Fahrfunktion zur automatisierten Längs- und/oder Querführung des Fahrzeugs 100 bereitzustellen.
  • Im Rahmen der Erkennung von Umfeld-Objekten können die Sensordaten (d.h. die Umfelddaten) von mehreren Umfeldsensoren 102 fusioniert werden. Die unterschiedlichen Umfeldsensoren 102 können sich unterscheiden, in Bezug auf
    • • das von dem jeweiligen Umfeldsensor 102 verwendete Messprinzip; und/oder
    • • den Erfassungsbereich des jeweiligen Umfeldsensoren 102.
  • 2 zeigt eine beispielhafte Vorrichtung 200 zur Erkennung von Umfeld-Objekten anhand der Fusion von Sensordaten 201, 202 von mehreren unterschiedlichen Umfeldsensoren 102. Es kann eine Fusionseinheit 210 verwendet werden, um erste Sensordaten 201 von einem ersten Umfeldsensor 102 und um zweite Sensordaten 202 von einem zweiten Umfeldsensor 102 auszuwerten, und um basierend darauf eine Menge 211 von Umfeld-Objekten bereitzustellen. Dabei kann für ein Umfeld-Objekt jeweils ermittelt werden,
    • • die (Referenz-) Position des jeweiligen Umfeld-Objekts (relativ zu dem Fahrzeug 100);
    • • die räumliche Ausbreitung des Umfeld-Objekts (z.B. in Form einer Bounding Box um die Referenz-Position); und/oder
    • • ein räumlicher Positionsfehler der ermittelten Position des Umfeld-Objekts (z.B. in Form eines Fehlerbereichs um die Referenz-Position des Umfeld-Objekts).
  • Die Fusionseinheit 210 kann z.B. eine Raster- bzw. Grid-basierte Fusion der Sensorsdaten 201, 202 bewirken, um die Menge 211 von Umfeld-Objekten zu ermitteln. Alternativ oder ergänzend können Methoden der künstlichen Intelligenz (z.B. Maschinen-erlernte neuronale Netze) verwendet werden, um die Menge 211 von Umfeld-Objekten zu ermitteln. Die Fusionseinheit 210 kann darauf ausgelegt sein, Umfeld-Objekte in besonders zuverlässiger und robuster Weise zu erkennen. Die von der Vorrichtung 200 verwendete (Performance-orientierte) Fusionseinheit 210 wird in diesem Dokument auch als Basis-Fusionseinheit 210 bezeichnet, und die von der Basis-Fusionseinheit 210 ermittelte Objektmenge wird als Basis-Menge 211 bezeichnet.
  • Wie eingangs dargelegt, kann es für die Zulassung einer Fahrfunktion zur automatisierten Längs- und/oder Querführung eines Fahrzeugs 100 (insbesondere für eine Fahrfunktion gemäß SAE-Level 3 oder höher) erforderlich sein, dass die Objekterkennungsrate (insbesondere die False-Negative-Rate) der von der Fahrfunktion verwendeten Objekterkennungs-Vorrichtung 200 durch Fahrversuche experimentell nachgewiesen wird. Die False-Negative-Rate zeigt z.B. die Rate von nicht erkannten tatsächlich existierenden Objekten an (und sollte möglichst klein sein).
  • Die Zielvorgabe für die False-Negative-Rate kann in einem Beispiel 1/20000 (oder weniger) sein (typische Zielvorgaben sind bei 1/1000000 oder weniger). Ein statistischer Nachweis einer derartigen False-Negative-Rate würde die Durchführung einer Anzahl von Fahrversuchen erfordern, die signifikant (z.B. um den Faktor 3 oder mehr) über 20000 liegt, was meist nicht mit einem vertretbaren Aufwand erbracht werden kann (bei einer typischen Zielvorgabe von 1/1000000 wären mehr als mehrere (z.B. 3) Millionen Fahrversuche erforderlich).
  • Die Objekterkennungs-Vorrichtung 200 kann (wie beispielhaft in 2 dargestellt) neben der Basis-Fusionseinheit 210 eine Nachweis-Fusionseinheit 220 aufweisen, die ausgebildet ist, die Sensordaten 201, 202 von mehreren Umfeldsensoren 102 (d.h. die gleichen Sensordaten 201, 202 wie die Basis-Fusionseinheit 210) anhand einer Nachweis-Fusionsmethode zu fusionieren, um eine Nachweis-Menge 221 von Umfeld-Objekten zu ermitteln. Die Nachweis-Fusionsmethode kann dabei darauf ausgerichtet sein, die Sensordaten 201, 202 derart zu fusionieren, dass die Objekterkennungsrate (insbesondere die False-Negative-Rate) der Nachweis-Fusionseinheit 220 in effizienter und zuverlässiger Weise experimentell (durch Fahrversuche) nachgewiesen werden kann.
  • Die Objekterkennungs-Vorrichtung 200 umfasst ferner eine Kombinationseinheit 230, die eingerichtet ist, die Basis-Menge 211 von Objekten mit der Nachweis-Menge 221 von Objekten zu kombinieren, um eine Kombi-Menge 231 von Objekten bereitzustellen, die dann für den Betrieb der Fahrfunktion verwendet wird. Die Zusammenführung der Basis-Menge 211 und der Nachweis-Menge 221 kann derart erfolgen, dass die Kombi-Menge 231,
    • • alle Objekte aufweist, die sowohl in der Basis-Menge 211 als auch in der Nachweis-Menge 221 enthalten sind; und/oder
    • • alle Objekte aus der Nachweis-Menge 221 aufweist, auch wenn diese nicht in der Basis-Menge 211 enthalten sind.
  • Dabei können Objekte aus der Basis-Menge 211 und der Nachweis-Menge 221 paarweise miteinander assoziiert werden, sodass für jedes assoziierte Paar von Objekten jeweils nur ein Objekt in die Kombi-Menge 231 aufgenommen wird.
  • Durch eine derartige Kombination der Basis-Menge 211 und der Nachweis-Menge 221 kann sichergestellt werden, dass die für die Nachweis-Fusionseinheit 220 nachgewiesene Objekterkennungsrate (insbesondere False-Negative-Rate) auch für die Objekterkennungs-Vorrichtung 200 gültig ist (als obere Grenze in Bezug auf eine False-Negative Rate oder als untere Grenze in Bezug auf eine True-Positive Rate).
  • Die Nachweis-Fusionsmethode kann derart ausgebildet sein, dass die Objekterkennungsrate der Gesamtmethode auf Einzel-Erkennungsraten für die Objekterkennung auf Basis der Sensordaten 201, 202 der einzelnen Umfeldsensoren 102 zerlegt werden kann. Die Nachweis-Fusionsmethode kann z.B. derart ausgebildet sein, dass die Objekterkennungen der unterschiedlichen Umfeldsensoren 102 im Wesentlichen unabhängig voneinander sind. Als Folge daraus kann die Gesamt-Objekterkennungsrate Rg der Nachweis-Fusionsmethode als Produkt der Einzel-Objekterkennungsraten Ri der Einzel-Erkennungsmethoden der einzelnen Umfeldsensoren 102 ermittelt werden, d.h. Rg = R1* R2*... * RN, bei Verwendung von N Umfeldsensoren 102.
  • Die o.g. Zielvorgabe von 1/20000 für die Gesamt-Objekterkennungsrate Rg könnte bei Verwendung von N=2 Umfeldsensoren 102 durch Einzel-Objekterkennungsraten der Sensoren 102 von R1=1/100 und R2=1/200 erreicht werden (wobei dabei angenommen wurde, dass keine Korrelation der Erkennungsfehler vorliegt). Korrelation zwischen den Umfeldsensoren 102 können berücksichtigt werden. Diese Korrelationen können z.B. aus Fahrversuchen und/oder Expertenwissen ermittelt werden. Die o.g. beispielhaften Einzel-Objekterkennungsraten können in effizienter und zuverlässiger Weise experimentell (durch Fahrversuche) nachgewiesen werden.
  • In einem weiteren Beispiel können drei Umfeldsensoren 102 betrachtet werden (mit Objekterkennungsraten R1, R2, und R3). Es können dann z.B. 2-aus-3 Kombinationen evaluiert werden (R1 AND R2) OR (R1 AND R3) OR (R2 AND R3) evaluieren. Das wäre dann (R1 AND R2) = 1 / (1 - (99/100 * 199/200) = 1/67. Werden andererseits alle 3 Kombinationen kombiniert, erhält man eine sehr hohe Objekterkennungsrage (z.B., wenn alle drei Raten gleich sind: 1/67 * 1/67 * 1/67 = 1/300.000).
  • In den 3a und 3b ist eine beispielhafte Nachweis-Fusionsmethode beschrieben, durch die eine (annähernd) unabhängige Objekterkennung der einzelnen Umfeldsensoren 102 bewirkt werden kann. Wie bereits weiter oben dargelegt, kann für ein Objekt jeweils eine Objekt-Position (z.B. die Position einer Bounding-Box des Objektes) 310, 320 und jeweils ein Positionsfehlerbereich 311, 321 ermittelt werden. In dem dargestellten Beispiel wurde auf Basis der ersten Sensordaten 201 eines ersten Umfeldsensors 102 ein Objekt an der ersten Position 310 mit einem ersten Positionsfehlerbereich 311 detektiert. Auf Basis der zweiten Sensordaten 202 eines zweiten Umfeldsensors 102 wurde ein Objekt an der zweiten Position 320 mit einem zweiten Positionsfehlerbereich 321 detektiert.
  • Die Nachweis-Fusionsmethode kann derart ausgebildet sein, dass
    • • Objekte von unterschiedlichen Umfeldsensoren 102, deren Positionsfehlerbereiche 311, 321 überlappen, im Rahmen der Fusion als ein einziges Objekt betrachtet werden (mit einer fusionierten Position und einem fusionierten Positionsfehlerbereich); dies ist beispielhaft in 3a dargestellt; und/oder
    • • Objekte von unterschiedlichen Umfeldsensoren 102, deren Positionsfehlerbereiche 311, 321 sich nicht überlappen, im Rahmen der Fusion als separate Objekte betrachtet werden; dies ist beispielhaft in 3b dargestellt.
  • Die Nachweis-Fusionsmethode kann z.B. ein oder mehrere der folgenden Fusionsregeln verwenden,
    • • ein Objekt wird als erkannt betrachtet, wenn das Objekt von mindestens zwei aus drei Umfeldsensoren 102 erkannt wurde (2 aus 3 Fusion); oder
    • • ein Objekt wird als erkannt betrachtet, wenn das Objekt von mindestens zwei aus vier Umfeldsensoren 102 erkannt wurde (2 aus 4 Fusion).
  • Die Fusion in der Nachweis-Fusionseinheit 220 kann pro Rechenzyklus (separat) ausgeführt werden. Auf eine Rekursion und/oder auf ein Objekt-Tracking (entlang der Zeitachse) kann verzichtet werden.
  • Die Gesamt-Objekterkennungsrate der Nachweis-Fusionsmethode kann typischerweise durch eine Wahrscheinlichkeitsfunktion (für die Wahrscheinlichkeit eines False-Negatives) beschrieben werden, wobei die Wahrscheinlichkeitsfunktion neben den Einzel-Objekterkennungsraten der einzelnen Umfeldsensoren 102 meist auch Abhängigkeiten und/oder Korrelationen zwischen den Objekterkennungen der unterschiedlichen Umfeldsensoren 102 beschreibt. Diese Abhängigkeiten und/oder Korrelationen können typischerweise mit einem relativ geringen Aufwand experimentell (durch Fahrversuche) ermittelt und bei der Ermittlung der Gesamt-Objekterkennungsrate der Nachweis-Fusionsmethode berücksichtigt werden.
  • Die Einzel-Objekterkennungsraten können auf Basis der Fehlerbereiche 311,321 der jeweiligen Einzel-Erkennungsmethode bestimmt werden. Beinhaltet der Fehlerbereich 311,321 nicht die wahre Position eines Objektes (oder nicht den wahren Wert eines Objekt-Parameters), handelt es sich um ein False-Negative. Auf diese Weise kann garantiert werden, dass die Nachweis-Fusion (der Nachweis-Fusionseinheit 220) die entsprechende Erkennungsrate aufweist, denn wenn beide Einzel-Erkennungsmethoden kein False-Negativ aufweisen, garantiert werden kann, dass sich die Fehlerbereiche 311, 321 überlappen.
  • 4 zeigt ein Ablaufdiagramm eines (ggf. Computer-implementierten) Verfahrens 400 zur Erkennung von Objekten in dem Umfeld eines (Kraft-) Fahrzeugs 100. Das Fahrzeug 100 umfasst eine Vielzahl von Umfeldsensoren 102 (z.B. zwei oder mehr, oder drei oder mehr Umfeldsensoren 102), die jeweils eingerichtet sind, Sensordaten 201, 202 in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Die Sensordaten 201, 202 eines jeden einzelnen Umfeldsensors 102 können dazu verwendet werden (anhand einer Einzel-Objekterkennungsmethode) eine Einzel-Menge von Objekten im Umfeld des Fahrzeugs 100 zu detektieren.
  • Das Verfahren 400 umfasst das Ermitteln 401, auf Basis der Sensordaten 201, 202 der Vielzahl von Umfeldsensoren 102 des Fahrzeugs 100 und unter Verwendung einer Basis-Fusionseinheit 210, einer Basis-Menge 211 von Objekten. Die Basis-Fusionseinheit 210 kann darauf ausgerichtet sein, eine besonders präzise und zuverlässige Objekterkennung zu bewirken. Die Basis-Fusionseinheit 210 kann z.B. eine Fusion der Sensordaten 201, 202 anhand eines Belegungsrasters (d.h. eines occupancy grids) bewirken.
  • Das Verfahren 400 umfasst ferner das Ermitteln 402, auf Basis der (gleichen) Sensordaten 201, 202 der Vielzahl von Umfeldsensoren 102 des Fahrzeugs 100 und unter Verwendung einer Nachweis-Fusionseinheit 220, einer Nachweis-Menge 221 von Objekten. Es wird somit eine zweite Fusionseinheit 220 verwendet, um auf Basis der gleichen Sensordaten 201, 202 wie für die erste (Basis-) Fusionseinheit 210, eine weitere Menge 221 von Objekten zu ermitteln. Die zweite (Nachweis-) Fusionseinheit 220 ist dabei dafür vorgesehen, den (experimentellen) Nachweis für die Objekterkennungsrate des gesamten Verfahrens 400 zu erbringen (inklusive der Basis-Fusionseinheit 210).
  • Die Nachweis-Fusionseinheit 220 kann eine Nachweis-Fusionsmethode zur Ermittlung der Nachweis-Menge 221 von Objekten verwenden. Die Nachweis-Fusionsmethode ist dabei bevorzugt derart ausgebildet, dass sich die Nachweis-Fusionsmethode für einen besonders effizienten Nachweis der Objekterkennungsrate (insbesondere der False-Negative-Rate) eignet.
  • Die Nachweis-Fusionsmethode kann z.B. eine Vielzahl von Einzel-Objekterkennungsmethoden für die entsprechende Vielzahl von Umfeldsensoren 102 verwenden. Dabei kann die Einzel-Objekterkennungsmethode für einen Umfeldsensor 102 jeweils ausgebildet sein, eine Einzel-Menge von Objekten, insbesondere ausschließlich, auf Basis der Sensordaten 201, 202 dieses Umfeldsensors 102 zu ermitteln. Es kann somit eine Sensorfusion bewirkt werden, bei der zunächst die einzelnen Umfeldsensoren 102 jeweils separat dazu verwendet werden (anhand einer jeweiligen Einzel-Obj ekterkennungsmethode) jeweils eine Einzel-Menge von Objekten zu ermitteln. So kann ein besonders effizienter Nachweis der Objekterkennungsrate ermöglicht werden.
  • Die Einzel-Objekterkennungsmethoden (für die entsprechenden Umfeldsensoren) können jeweils eine Einzel-Objekterkennungsrate aufweisen. Die Gesamt-Objekterkennungsrate der Nachweis-Fusionseinheit 220 (und des gesamten Verfahrens 400) kann dann in effizienter Weise auf Basis der Einzel-Objekterkennungsraten ermittelt werden. Zu diesem Zweck kann die Nachweis-Fusionsmethode ausgebildet sein, die Nachweis-Menge 221 von Objekten derart auf Basis der Vielzahl von Einzel-Mengen von Objekten der Vielzahl von Einzel-Objekterkennungsmethoden zu ermitteln (d.h. zu fusionieren), dass die Gesamt-Objekterkennungsrate der Nachweis-Fusionseinheit 220 auf Basis der Einzel-Objekterkennungsraten der Vielzahl von Einzel-Objekterkennungsmethoden ermittelbar ist. Es kann somit eine Objektfusion der Vielzahl von Einzel-Mengen von Objekten erfolgen, die eine effiziente Ermittlung der Gesamt-Objekterkennungsrate auf Basis der Vielzahl von Einzel-Objekterkennungsraten ermöglicht.
  • Das Verfahren 400 umfasst ferner das Ermitteln 403, auf Basis der Basis-Menge (211) von Objekten und auf Basis der Nachweis-Menge 221 von Objekten, einer Kombi-Menge 231 von Objekten. Die Kombi-Menge 231 kann zur Bereitstellung einer Fahrfunktion des Fahrzeugs 100 verwendet werden.
  • Die in diesem Dokument beschriebenen Maßnahmen ermöglichen die Bereitstellung einer zuverlässigen Objekterkennung mit einer Objekterkennungsrate, die in effizienter und präziser Weise nachgewiesen werden kann.
  • Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.

Claims (10)

  1. Vorrichtung (101, 200) zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs (100); wobei die Vorrichtung (101, 200) eingerichtet ist, - auf Basis von Sensordaten (201, 202) einer Vielzahl von Umfeldsensoren (102) des Fahrzeugs (100) unter Verwendung einer Basis-Fusionseinheit (210) eine Basis-Menge (211) von Objekten zu ermitteln; - auf Basis der Sensordaten (201, 202) der Vielzahl von Umfeldsensoren (102) des Fahrzeugs (100) unter Verwendung einer Nachweis-Fusionseinheit (220) eine Nachweis-Menge (221) von Objekten zu ermitteln; wobei - die Nachweis-Fusionseinheit (220) eine Nachweis-Fusionsmethode zur Ermittlung der Nachweis-Menge (221) von Objekten verwendet; - die Nachweis-Fusionsmethode eine Vielzahl von Einzel-Objekterkennungsmethoden für die entsprechende Vielzahl von Umfeldsensoren (102) verwendet; - eine Einzel-Objekterkennungsmethode für einen Umfeldsensor (102) ausgebildet ist, eine Einzel-Menge von Objekten, insbesondere ausschließlich, auf Basis der Sensordaten (201, 202) dieses Umfeldsensors (102) zu ermitteln; - die Einzel-Obj ekterkennungsmethoden jeweils eine Einzel-Objekterkennungsrate aufweisen; und - die Nachweis-Fusionsmethode ausgebildet ist, die Nachweis-Menge (221) von Objekten derart auf Basis der Vielzahl von Einzel-Mengen von Objekten der Vielzahl von Einzel-Objekterkennungsmethoden zu ermitteln, dass eine Gesamt-Objekterkennungsrate der Nachweis-Fusionseinheit (220) auf Basis der Einzel-Objekterkennungsraten der Vielzahl von Einzel-Objekterkennungsmethoden ermittelbar ist; und - auf Basis der Basis-Menge (211) von Objekten und auf Basis der Nachweis-Menge (221) von Objekten eine Kombi-Menge (231) von Objekten zu ermitteln.
  2. Vorrichtung (101, 200) gemäß Anspruch 1, wobei die Nachweis-Fusionsmethode ausgebildet ist, - ein erstes Objekt aus einer ersten Einzel-Menge von Objekten und ein zweites Objekt aus einer zweiten Einzel-Menge von Objekten als einzelnes, fusioniertes, Objekt in die Nachweis-Menge (221) aufzunehmen, wenn sich ein Fehlerbereich (311) zumindest eines Objekt-Parameters (310) des ersten Objekts und ein Fehlerbereich (321) des zumindest einen Objekt-Parameters (320) des zweiten Objekts überschneiden; und/oder - ein erstes Objekt aus einer ersten Einzel-Menge von Objekten und ein zweites Objekt aus einer zweiten Einzel-Menge von Objekten als separate Objekte in die Nachweis-Menge (221) aufzunehmen, wenn sich ein Fehlerbereich (311) zumindest eines Objekt-Parameters (310) des ersten Objekts und ein Fehlerbereich (321) des zumindest einen Objekt-Parameters (320) des zweiten Objekts nicht überschneiden.
  3. Vorrichtung (101, 200) gemäß Anspruch 2, wobei der zumindest eine Objekt-Parameter umfasst, - eine Position; - eine Geschwindigkeit; - eine Orientierung; - eine Beschleunigung; und/oder - eine Bewegungsrichtung.
  4. Vorrichtung (101, 200) gemäß einem der vorhergehenden Ansprüche, wobei die Nachweis-Fusionsmethode ausgebildet ist, - ein Objekt in die Nachweis-Menge (221) aufzunehmen, wenn das Objekt in M oder mehr der Vielzahl von Einzel-Mengen enthalten ist; wobei M gleich 2 oder mehr ist; und/oder - ein Objekt nicht in die Nachweis-Menge (221) aufzunehmen, wenn das Objekt in weniger als M der Vielzahl von Einzel-Mengen enthalten ist.
  5. Vorrichtung (101, 200) gemäß einem der vorhergehenden Ansprüche, wobei die Nachweis-Fusionsmethode ausgebildet ist, - die Nachweis-Menge (221) von Objekten in einem Rechenzyklus unabhängig von einer in einem vorhergehenden Rechenzyklus ermittelten Nachweis-Menge (221) von Objekten zu ermitteln; und/oder - die Nachweis-Menge (221) von Objekten in einem Rechenzyklus ohne Rekursion zu ermitteln; und/oder - die Nachweis-Menge (221) von Objekten in einem Rechenzyklus allein auf Basis der Sensordaten (201, 202) der Vielzahl von Umfeldsensoren (102) für diesen Rechenzyklus zu ermitteln.
  6. Vorrichtung (101, 200) gemäß einem der vorhergehenden Ansprüche, wobei die Nachweis-Fusionsmethode derart ausgebildet ist, dass die Gesamt-Objekterkennungsrate der Nachweis-Fusionseinheit (220) durch experimentelle Nachweise der Vielzahl von Einzel-Objekterkennungsraten experimentell nachweisbar ist.
  7. Vorrichtung (101, 200) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101, 200) eingerichtet ist, die Kombi-Menge (231) von Objekten derart zu ermitteln, dass - die Kombi-Menge (231) alle Objekte aus der Nachweis-Menge (221) umfasst; und/oder - eine Position und/oder ein Positionsfehlerbereich eines Objekts aus der Kombi-Menge (231) auf Basis einer Position und/oder eines Positionsfehlerbereichs des entsprechenden Objektes aus der Nachweis-Menge (221) und aus der Basis-Menge (211) ermittelt wird.
  8. Vorrichtung (101, 200) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101, 200) eingerichtet ist, eine Fahrfunktion zur automatisierten Längs- und/oder Querführung des Fahrzeugs (100) auf Basis der Kombi-Menge (231) von Objekten zu betreiben.
  9. Vorrichtung (101, 200) gemäß einem der vorhergehenden Ansprüche, wobei sich die Umfeldsensoren (102) der Vielzahl von Umfeldsensoren (102) unterscheiden, in Bezug auf - ein Messprinzip des jeweiligen Umfeldsensors (102); und/oder - einen Erfassungsbereich des jeweiligen Umfeldsensors (102).
  10. Verfahren (400) zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs (100); wobei das Verfahren (400) umfasst, - Ermitteln (401), auf Basis von Sensordaten (201, 202) einer Vielzahl von Umfeldsensoren (102) des Fahrzeugs (100) und unter Verwendung einer Basis-Fusionseinheit (210), einer Basis-Menge (211) von Objekten; - Ermitteln (402), auf Basis der Sensordaten (201, 202) der Vielzahl von Umfeldsensoren (102) des Fahrzeugs (100) und unter Verwendung einer Nachweis-Fusionseinheit (220), einer Nachweis-Menge (221) von Objekten; wobei - die Nachweis-Fusionseinheit (220) eine Nachweis-Fusionsmethode zur Ermittlung der Nachweis-Menge (221) von Objekten verwendet; - die Nachweis-Fusionsmethode eine Vielzahl von Einzel-Objekterkennungsmethoden für die entsprechende Vielzahl von Umfeldsensoren (102) verwendet; - eine Einzel-Objekterkennungsmethode für einen Umfeldsensor (102) ausgebildet ist, eine Einzel-Menge von Objekten, insbesondere ausschließlich, auf Basis der Sensordaten (201, 202) dieses Umfeldsensors (102) zu ermitteln; - die Einzel-Objekterkennungsmethoden jeweils eine Einzel-Objekterkennungsrate aufweisen; und - die Nachweis-Fusionsmethode ausgebildet ist, die Nachweis-Menge (221) von Objekten derart auf Basis der Vielzahl von Einzel-Mengen von Objekten der Vielzahl von Einzel-Objekterkennungsmethoden zu ermitteln, dass eine Gesamt-Objekterkennungsrate der Nachweis-Fusionseinheit (220) auf Basis der Einzel-Objekterkennungsraten der Vielzahl von Einzel-Objekterkennungsmethoden ermittelbar ist; und - Ermitteln (403), auf Basis der Basis-Menge (211) von Objekten und auf Basis der Nachweis-Menge (221) von Objekten, einer Kombi-Menge (231) von Objekten.
DE102022116052.1A 2022-06-28 2022-06-28 Verfahren und Vorrichtung zur Erkennung von Objekten anhand von Sensorfusion Pending DE102022116052A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022116052.1A DE102022116052A1 (de) 2022-06-28 2022-06-28 Verfahren und Vorrichtung zur Erkennung von Objekten anhand von Sensorfusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022116052.1A DE102022116052A1 (de) 2022-06-28 2022-06-28 Verfahren und Vorrichtung zur Erkennung von Objekten anhand von Sensorfusion

Publications (1)

Publication Number Publication Date
DE102022116052A1 true DE102022116052A1 (de) 2023-12-28

Family

ID=89075682

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022116052.1A Pending DE102022116052A1 (de) 2022-06-28 2022-06-28 Verfahren und Vorrichtung zur Erkennung von Objekten anhand von Sensorfusion

Country Status (1)

Country Link
DE (1) DE102022116052A1 (de)

Similar Documents

Publication Publication Date Title
DE102014200987B4 (de) Verfahren zur Ermittlung der Lage des Schwerpunkts eines Fahrzeugs
WO2020061603A1 (de) Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
DE102020112825A1 (de) Verfahren zum Erfassen von relevanten statischen Objekten innerhalb einer Fahrspur sowie Recheneinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs
DE102019217723A1 (de) Fahrsicherheits-steuersystem unter verwendung von umgebungsgeräuschen und steuerverfahren dafür
DE102018222195A1 (de) Ortung und/oder KIassifikation von Objekten aus Radardaten mit maschinellem Lernen
WO2019120709A1 (de) Verfahren und steuereinheit zur steuerung einer funktion eines zumindest teilweise automatisiert fahrenden fahrzeugs
EP1671297B1 (de) Verfahren zur bewertung und zeitlichen stabilisierung von klassifizierungsergebnissen
DE102017208692A1 (de) Verfahren zum Bereitstellen von Trainingsdaten für eine Funktionsprüfung einer Erkennungseinrichtung sowie Datenbanksystem
DE102019216805A1 (de) Verfahren zum Verfolgen eines entfernten Zielfahrzeugs in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Kollisionserkennungsvorrichtung
WO2019211293A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines egofahrzeugs mit wenigstens einem umfeldsensor zum erfassen eines umfelds des egofahrzeugs, computer-lesbares medium, system, und fahrzeug
DE102022116052A1 (de) Verfahren und Vorrichtung zur Erkennung von Objekten anhand von Sensorfusion
DE102021005053A1 (de) Verfahren zum Fusionieren von einer Vielzahl von Sensordaten mittels einer elektronischen Recheneinrichtung, sowie ein Fahrerassistenzsystem
EP4027245A1 (de) Computerimplementiertes verfahren zur bestimmung von ähnlichkeitswerten von verkehrsszenarien
WO2022090015A1 (de) Verfahren zum analysieren eines umfelds eines kraftfahrzeugs
DE102020131766A1 (de) Fahrzeugsystem und Verfahren zur Ermittlung eines Parkbereichs für ein Fahrzeug
DE102020214203A1 (de) Verfahren zum Bestimmen einer Spurwechselintention eines sich in einer unmittelbaren Umgebung eines Kraftfahrzeugs befindlichen weiteren Kraftfahrzeugs, sowie Assistenzsystem
DE102020118640A1 (de) Verfahren und Fahrzeugsystem zur Ermittlung eines Fahr-Korridors für ein Fahrzeug
DE102020116027A1 (de) Verfahren und Vorrichtung zur Ermittlung von Belegungsinformation für einen Umfeldpunkt auf Basis von Radardetektionen
DE102020109757A1 (de) System zur Umfelderkennung eines Fahrzeugs
DE102019210128A1 (de) Verfahren zum Bewerten von erfassten Sensordaten eines Sensors
DE102020107282B4 (de) Verfahren zur Entscheidungsfindung für ein Fahrassistenzsystem zum automatisierten Fahren eines Fahrzeugs
DE102022002325B4 (de) Verfahren zur Aktivierung einer Parkfunktion eines Fahrzeugs und zum Auffinden potenzieller Parklücken
DE102022116054A1 (de) Verfahren und Vorrichtung zur Erkennung und/oder zur Nachverfolgung von Objekten
DE102022116055A1 (de) Verfahren und Vorrichtung zur Bereitstellung von unterschiedlichen Fahrfunktionen
DE102021202334A1 (de) Filterung von betriebsszenarien im betrieb eines fahrzeugs

Legal Events

Date Code Title Description
R163 Identified publications notified