-
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Erkennung von Umfeld-Objekten im Umfeld eines Fahrzeugs, etwa im Rahmen einer Fahrfunktion zum zumindest teilweise automatisierten Fahren.
-
Ein Fahrzeug kann zumindest eine Fahrfunktion aufweisen, die ausgebildet ist, eine zumindest teilweise oder vollständig automatisierte Längs- und/oder Querführung des Fahrzeugs zu bewirken. Zu diesem Zweck können die Sensordaten von unterschiedlichen Umfeldsensoren des Fahrzeugs fusioniert werden, um eine Menge von Objekten im Umfeld des Fahrzeugs zu detektieren. Die Längs- und/oder Querführung des Fahrzeugs kann in sicherer Weise unter Berücksichtigung der detektierten Menge von Objekten bewirkt werden.
-
Eine hochautomatisierte Fahrfunktionen (z.B. SAE-Level 3 und höher) sollte ein Sicherheitsniveau erreichen, das mindestens so gut ist, wie das eines menschlichen Fahrers (d.h. es sollte eine positive Risikobilanz vorliegen). Um dies zu erreichen, ist typischerweise eine relativ hohe Erkennungsgüte von Objekten im Umfeld des Fahrzeugs bereitzustellen. Diese True-Positive und/oder False-Negative Anforderungen an die Objekterkennung müssen typischerweise nicht nur theoretisch erfüllt werden, sondern sie müssen auch durch Fahrversuche (experimentell) nachgewiesen werden. Ein derartiger Nachweis durch Fahrversuche ist ggf. gar nicht oder nur mit einem hohen Aufwand zu erbringen.
-
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, eine Objekterkennung auf Basis der Sensordaten von unterschiedlichen Umfeldsensoren bereitzustellen, die eine effizient und zuverlässig nachweisbare Objekterkennungsrate aufweist.
-
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Gemäß einem Aspekt wird eine Vorrichtung zur Erkennung von (Umfeld-) Objekten in einem Umfeld eines (Kraft-) Fahrzeugs beschrieben. Die erkannten Objekte, insbesondere eine durch die Vorrichtung ermittelte Kombi-Menge von Umfeld-Objekten, kann für den Betrieb einer Fahrfunktion des Fahrzeugs verwendet werden.
-
Das Fahrzeug umfasst eine Vielzahl von Umfeldsensoren, die jeweils eingerichtet sind, Sensordaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen. Beispielhafte Umfeldsensoren sind: ein oder mehrere Radarsensoren, ein oder mehrere Lidarsensoren, ein oder mehrere Kameras, ein oder mehrere Ultraschallsensoren, etc. Die Umfeldsensoren der Vielzahl von Umfeldsensoren können sich in Bezug auf das Messprinzip des jeweiligen Umfeldsensors und/oder in Bezug auf den Erfassungsbereich des jeweiligen Umfeldsensors unterscheiden.
-
Die Sensordaten der einzelnen Umfeldsensoren können ggf. separat voneinander ausgewertet werden. Zu diesem Zweck kann jeweils eine Einzel-Erkennungsmethode verwendet werden, um auf Basis der Sensordaten eines (einzelnen) Umfeldsensors eine Einzel-Menge von Umfeld-Objekten zu detektieren.
-
Typischerweise kann durch eine Fusion der Sensordaten der Vielzahl von Umfeldsensoren die Güte (z.B. die Genauigkeit, die Robustheit, die Erkennungsrate, etc.) der Objekterkennung erhöht werden. Dabei kann die Fusion auf Basis der Vielzahl von Einzel-Mengen von Objekten erfolgen, die (jeweils dediziert und/oder separat) auf Basis der Sensordaten der entsprechenden Vielzahl von Umfeldsensoren ermittelt wurden. Alternativ oder ergänzend kann die Fusion direkt auf Basis der Sensordaten der Vielzahl von Umfeldsensoren erfolgen (noch vor der eigentlichen Erkennung von Objekten). Die Sensordaten-Fusion kann z.B. anhand eines Belegungsrasters (Occupancy Grid) bewirkt werden. Dabei ist die Güte der Objekterkennung typischerweise höher, wenn die Fusion direkt auf Basis der Sensordaten erfolgt, als wenn die Fusion auf Basis der Objekte aus den Einzel-Mengen erfolgt.
-
Andererseits ist der Aufwand zum experimentellen und/oder statistischen Nachweis der Objekterkennungsrate (insbesondere der False-Negative-Rate) typischerweise wesentlich höher, wenn die Fusion direkt auf Basis der Sensordaten der Vielzahl von Umfeldsensoren erfolgt, als wenn die Fusion auf Basis der Objekte aus den Einzel-Mengen erfolgt.
-
Die Vorrichtung ist eingerichtet, auf Basis der Sensordaten der Vielzahl von Umfeldsensoren des Fahrzeugs unter Verwendung einer Basis-Fusionseinheit eine Basis-Menge von Objekten zu ermitteln. Die Basis-Fusionseinheit kann z.B. eine Fusion direkt auf Basis der Sensordaten durchführen, um die Basis-Menge von Objekten zu ermitteln.
-
Die Vorrichtung ist ferner eingerichtet, auf Basis der (gleichen) Sensordaten der Vielzahl von Umfeldsensoren des Fahrzeugs unter Verwendung einer Nachweis-Fusionseinheit eine Nachweis-Menge von Objekten zu ermitteln. Die Nachweis-Fusionseinheit kann z.B. eine Fusion auf Basis der Einzel-Mengen von Objekten durchführen (die separat auf Basis der Sensordaten der einzelnen Umfeldsensoren ermittelt wurden), um die Nachweis-Menge von Objekten zu ermitteln.
-
Insbesondere können die Basis-Fusionseinheit und die Nachweis-Fusionseinheit derart ausgebildet sein, dass der Aufwand (z.B. gemessen in der Anzahl von erforderlichen Messungen) zur Erbringung des Nachweises der Objekterkennungsrate (insbesondere der False-Negative-Rate) für die Nachweis-Funktionseinheit niedriger (z.B. um den Faktor 10 oder mehr, oder 100 oder mehr, oder 1000 oder mehr, niedriger) ist als für die Basis-Fusionseinheit. Insbesondere kann die Nachweis-Fusionsmethode derart ausgebildet sein, dass die Gesamt-Objekterkennungsrate der Nachweis-Fusionseinheit (und damit der Gesamt-Vorrichtung) durch experimentelle Nachweise der Vielzahl von Einzel-Objekterkennungsraten der entsprechenden Vielzahl von Einzel-Objekterkennungsmethoden experimentell nachweisbar ist. Die Nachweis-Fusionseinheit kann dabei basierend auf den Einzel-Objekterkennungsmethoden entwickelt worden sein, sodass gewährleistet werden kann, dass die Einzel-Objekterkennungsraten der Einzel-Obj ekterkennungsmethoden direkt auf die Gesamt-Objekterkennungsrate propagiert werden können (ggf. ohne die Nachweisfusions-Einheit ausführen zu müssen). So kann ein besonders effizienter Nachweis der Objekterkennungsrate der Gesamt-Vorrichtung ermöglicht werden.
-
Andererseits ist die Vorrichtung typischerweise derart ausgebildet, dass die Basis-Fusionseinheit eine höhere Objekterkennungsgüte aufweist als die Nachweis-Fusionseinheit. Die Objekterkennungsgüte kann sich dabei auf Objekt-Parameter wie die Position, die Geschwindigkeit, die Bewegungsrichtung und/oder die Klassifizierung eines erkannten Objektes beziehen. Dabei kann die Objekterkennungsgüte die Genauigkeit, die Robustheit und/oder die Zuverlässigkeit beschrieben, mit der ein Objekt-Parameter ermittelt werden kann.
-
Die Güte der Objekterkennung (der Gesamt-Vorrichtung) kann somit primär durch die Basis-Fusionseinheit beeinflusst werden (während die Nachweis-Fusionseinheit auf einen effizienten Nachweis der Objekterkennungsrate (der Gesamt-Vorrichtung) gerichtet ist). Bevorzugt erfolgt die Objekterkennung dabei im Normalfall immer anhand der Basis-Fusionseinheit während die Nachweis-Fusionseinheit nur greift, wenn die Basis-Fusionseinheit eine fehlerhafte Detektion (insbesondere einen False-Negative) aufweist.
-
Die Vorrichtung ist ferner eingerichtet, auf Basis der Basis-Menge von (Umfeld-) Objekten und auf Basis der Nachweis-Menge von (Umfeld-) Objekten eine Kombi-Menge von (Umfeld-) Objekten zu ermitteln. Dabei kann die Ermittlung der Kombi-Menge derart erfolgen, dass eine für die Nachweis-Fusionseinheit ermittelte und/oder nachgewiesene Objekterkennungsrate auch (als untere bzw. die obere Grenze) für die Objekterkennungsrate der Gesamt-Vorrichtung gilt. Die für die Nachweis-Fusionseinheit nachgewiesene False-Negative-Rate kann z.B. die obere Grenze für die False-Negative-Rate der Gesamt-Vorrichtung darstellen.
-
Die Vorrichtung kann insbesondere eingerichtet sein, die Kombi-Menge von Objekten derart zu ermitteln, dass die Kombi-Menge alle Objekte aus der Nachweis-Menge umfasst (sodass die Objekterkennungsrate der Gesamt-Vorrichtung nicht schlechter sein kann als die Objekterkennungsrate der Nachweis-Fusionseinheit). Dabei kann die Kombi-Menge anhand einer OR-Verknüpfung der Basis-Menge und der Nachweis-Menge ermittelt werden (sodass die Kombi-Menge alle Objekte aus der Basis-Menge und der Nachweis-Menge abdeckt).
-
Ferner kann die Vorrichtung eingerichtet sein, die Kombi-Menge von Objekten derart zu ermitteln, dass die Position und/oder der Positionsfehlerbereich eines Objekts aus der Kombi-Menge auf Basis der Position und/oder des Positionsfehlerbereichs des entsprechenden Objektes aus der Nachweis-Menge und des entsprechenden Objektes aus der Basis-Menge ermittelt wird. So kann eine besonders hohe Objekterkennungs-Güte (in Bezug auf ein oder mehrere Objekt-Parameter, wie z.B. Position, Geschwindigkeit, Orientierung, etc.) erreicht werden.
-
Die Vorrichtung kann ferner eingerichtet sein, eine Fahrfunktion zur automatisierten Längs- und/oder Querführung des Fahrzeugs (insbesondere eine Fahrfunktion gemäß SAE-Level 3 oder höher) auf Basis der Kombi-Menge von Objekten zu betreiben.
-
Durch die in diesem Dokument beschriebenen Maßnahmen kann der experimentelle Nachweis der Objekterkennungsrate einer Objekterkennungs-Vorrichtung in effizienter und zuverlässiger Weise ermittelt werden.
-
Die Nachweis-Fusionseinheit kann eine Nachweis-Fusionsmethode zur Ermittlung der Nachweis-Menge von Objekten verwenden. Dabei kann die Nachweis-Fusionsmethode eine Vielzahl von Einzel-Objekterkennungsmethoden für die entsprechende Vielzahl von Umfeldsensoren verwenden, wobei die Einzel-Objekterkennungsmethode für einen Umfeldsensor ausgebildet ist, eine Einzel-Menge von Objekten (ggf. ausschließlich) auf Basis der Sensordaten dieses Umfeldsensors zu ermitteln (dies kann für jede einzelne der Vielzahl von Einzel-Objekterkennungsmethoden gelten).
-
Die Nachweis-Fusionsmethode kann ausgebildet sein, die Nachweis-Menge von Objekten derart auf Basis der Vielzahl von Einzel-Mengen von Objekten der Vielzahl von Einzel-Objekterkennungsmethoden zu ermitteln, dass die Gesamt-Objekterkennungsrate der Nachweis-Fusionseinheit auf Basis der Einzel-Objekterkennungsraten der Vielzahl von Einzel-Objekterkennungsmethoden ermittelbar ist (z.B. durch Multiplikation der Einzel-Objekterkennungsraten). So kann ein besonders effizienter experimenteller Nachweis der Objekterkennungsrate (der Gesamt-Vorrichtung) erbracht werden.
-
Die Nachweis-Fusionsmethode kann ausgebildet sein, ein erstes Objekt aus einer ersten Einzel-Menge von Objekten und ein zweites Objekt aus einer zweiten Einzel-Menge von Objekten als einzelnes, fusioniertes, Objekt (d.h. als ein einziges Objekt) in die Nachweis-Menge aufzunehmen, wenn sich der Positionsfehlerbereich der Position des ersten Objekts und der Positionsfehlerbereich der Position des zweiten Objekts überschneiden. Andererseits kann die Nachweis-Fusionsmethode ausgebildet sein, ein erstes Objekt aus einer ersten Einzel-Menge von Objekten und ein zweites Objekt aus einer zweiten Einzel-Menge von Objekten als separate Objekte in die Nachweis-Menge aufzunehmen, wenn sich der Positionsfehlerbereich der Position des ersten Objekts und der Positionsfehlerbereich der Position des zweiten Objekts nicht überschneiden. So kann in besonders effizienter und zuverlässiger Weise eine Daten-Fusion bewirkt werden, die einen effizienten experimentellen Nachweis der Objekterkennungsrate ermöglicht.
-
Allgemeiner ausgedrückt kann die Nachweis-Fusionsmethode ausgebildet sein, ein erstes Objekt aus einer ersten Einzel-Menge von Objekten und ein zweites Objekt aus einer zweiten Einzel-Menge von Objekten als einzelnes, fusioniertes, Objekt in die Nachweis-Menge aufzunehmen, wenn sich der Fehlerbereich von ein oder mehreren Objekt-Parametern des ersten Objekts und der Fehlerbereich der ein oder mehreren Objekt-Parameter des zweiten Objekts überschneiden. Beispielhafte Objekt-Parameter sind die Position, die Geschwindigkeit, die Orientierung, die Beschleunigung und/oder die Bewegungsrichtung.
-
Andererseits kann die Nachweis-Fusionsmethode ausgebildet sein, das erste Objekt aus der ersten Einzel-Menge von Objekten und das zweite Objekt aus der zweiten Einzel-Menge von Objekten als separate Objekte in die Nachweis-Menge aufzunehmen, wenn sich der Fehlerbereich der ein oder mehreren Objekt-Parameter des ersten Objekts und der Fehlerbereich der ein oder mehreren Objekt-Parameter des zweiten Objekts nicht überschneiden.
-
Die Nachweis-Fusionsmethode kann ausgebildet sein, ein Objekt in die Nachweis-Menge aufzunehmen, wenn das Objekt in M oder mehr der Vielzahl von Einzel-Mengen enthalten ist (z.B. M gleich 2 oder mehr, etwa M=2 oder M=3). Andererseits kann die Nachweis-Fusionsmethode ausgebildet sein, ein Objekt nicht in die Nachweis-Menge aufzunehmen, wenn das Objekt in weniger als M der Vielzahl von Einzel-Mengen enthalten ist. Die Vielzahl von Umfeldsensoren kann z.B. N=3 oder mehr, oder N=4 oder mehr unterschiedliche Umfeldsensoren umfassen.
-
Eine derartige M aus N Fusionsregel ermöglicht einen besonders effizienten experimentellen Nachweis der Objekterkennungsrate.
-
Die Vorrichtung kann ausgebildet sein, in einer Sequenz von zeitlich aufeinanderfolgenden Rechenzyklen jeweils eine (jeweils aktuelle) Kombi-Menge von Objekten zu ermitteln (auf Basis der jeweils aktuellen Sensordaten). So kann eine dauerhaft präzise und zuverlässige Erfassung des Umfelds des Fahrzeugs bewirkt werden (für einen dauerhaft stabilen Betrieb der Fahrfunktion).
-
Die Daten-Fusion kann in rekursiver Weise durchgeführt werden, sodass die Kombi-Menge von Objekten aus einem vorhergehenden Rechenzyklus (n-1) als Basis für die Ermittlung der Kombi-Menge von Objekten in dem aktuellen Rechenzyklus (n) verwendet wird. Eine derart rekursive Objekterkennung (und ein damit verbundenes Objekt-Tracking) kann insbesondere innerhalb der Basis-Fusionseinheit erfolgen, um eine besonders hohe Objekterkennungs-Güte zu erzielen.
-
Andererseits kann die Nachweis-Fusionsmethode ausgebildet sein, die Nachweis-Menge von Objekten in einem Rechenzyklus unabhängig von der in dem vorhergehenden Rechenzyklus ermittelten Nachweis-Menge von Objekten zu ermitteln. Insbesondere kann die Nachweis-Menge von Objekten in einem Rechenzyklus ggf. ohne Rekursion ermittelt werden. Beispielsweise kann die Nachweis-Menge von Objekten in einem Rechenzyklus allein auf Basis der Sensordaten der Vielzahl von Umfeldsensoren für diesen Rechenzyklus ermittelt werden.
-
Zur Ermittlung der Basis-Menge und/oder der Nachweis-Menge können die Sensordaten der Vielzahl von Umfeldsensoren (oder davon abgeleitete Daten) auf einen gemeinsamen Zeitpunkt prädiziert werden. Zu diesem Zweck kann die Eigenbewegung des Fahrzeugs und/oder die Bewegung eines Umfeld-Objektes berücksichtigt werden. Die Objekte (und die Objekt-Parameter der Objekte) können dann mit erhöhter Genauigkeit auf Basis der zeitlich synchronisierten Daten ermittelt werden.
-
Eine derart non-rekursive Durchführung der Daten-Fusion ermöglicht einen besonders effizienten experimentellen Nachweis der Objekterkennungsrate der Nachweis-Fusionseinheit (und damit der Gesamt-Vorrichtung).
-
Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.
-
Gemäß einem weiteren Aspekt wird ein Verfahren zur Erkennung von Objekten in dem Umfeld eines (Kraft-) Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln, auf Basis von Sensordaten einer Vielzahl von Umfeldsensoren des Fahrzeugs und unter Verwendung einer Basis-Fusionseinheit, einer Basis-Menge von Objekten, sowie das Ermitteln, auf Basis der Sensordaten der Vielzahl von Umfeldsensoren des Fahrzeugs und unter Verwendung einer Nachweis-Fusionseinheit, einer Nachweis-Menge von Objekten. Die Nachweis-Fusionseinheit kann dafür vorgesehen sein, einen effizienten Nachweis der Objekterkennungsrate des Gesamt-Verfahrens zu ermöglichen. Insbesondere kann der Aufwand zum Nachweis der Objekterkennungsrate der Nachweis-Fusionseinheit geringer sein (z.B. um ein oder mehrere Größenordnungen geringer sein) als der Nachweis der Objekterkennungsrate der Basis-Fusionseinheit.
-
Das Verfahren umfasst ferner das Ermitteln, auf Basis der Basis-Menge von Objekten und auf Basis der Nachweis-Menge von Objekten, einer Kombi-Menge von Objekten (zur Verwendung in einer Fahrfunktion des Fahrzeugs).
-
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
-
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. Ferner sind in Klammern aufgeführte Merkmale als optionale Merkmale zu verstehen.
-
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
- 1 ein beispielhaftes Fahrzeug mit einer Fahrfunktion zur automatisierten Längs- und/oder Querführung eines Fahrzeugs;
- 2 eine beispielhafte Vorrichtung zur Ermittlung einer (Kombi-) Menge von Umfeld-Obj ekten;
- 3a und 3b beispielhafte Umfeld-Objekte, die von unterschiedlichen Umfeldsensoren erkannt wurden; und
- 4 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Ermittlung einer Menge von Umfeld-Objekten.
-
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Erkennung von Umfeld-Objekten mit einer Erkennungsrate, die in effizienter und zuverlässiger Weise experimentell nachweisbar ist. In diesem Zusammenhang zeigt 1 ein beispielhaftes Fahrzeug 100, das ein oder mehrere Umfeldsensoren 102 aufweist, die jeweils eingerichtet sind, Umfelddaten (d.h. Sensordaten) in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Beispielhafte Umfeldsensoren 102 sind ein Radarsensor, ein Lidarsensor, eine Kamera, ein Ultraschallsensor, etc.
-
Das Fahrzeug 100 umfasst ferner ein oder mehrere Längs- und/oder Querführungsaktoren 103 (z.B. einen Antriebsmotor, eine Lenkvorrichtung und/oder eine Bremsvorrichtung), die jeweils eingerichtet sind, auf die Längs- und/oder die Querführung des Fahrzeugs 100 einzuwirken.
-
Eine (Steuer-) Vorrichtung 101 des Fahrzeugs 100 kann eingerichtet sein, auf Basis der Umfelddaten der ein oder mehreren Umfeldsensoren 102 ein oder mehrere Objekte im Umfeld des Fahrzeugs 100 zu detektieren. Auf Basis der Umfelddaten kann insbesondere ein Umfeldmodell des Umfelds des Fahrzeugs 100 erstellt werden, wobei das Umfeldmodell die Position, die Größe und/oder die Form einer Menge von Umfeld-Objekten im Umfeld des Fahrzeugs 100 anzeigt. Die (Steuer-) Vorrichtung 101 kann eingerichtet sein, die ein oder mehreren Aktoren 103 des Fahrzeugs 100 in Abhängigkeit von dem Umfeldmodell, insbesondere in Abhängigkeit von der Menge von detektierten Objekten, zu betreiben, um eine Fahrfunktion zur automatisierten Längs- und/oder Querführung des Fahrzeugs 100 bereitzustellen.
-
Im Rahmen der Erkennung von Umfeld-Objekten können die Sensordaten (d.h. die Umfelddaten) von mehreren Umfeldsensoren 102 fusioniert werden. Die unterschiedlichen Umfeldsensoren 102 können sich unterscheiden, in Bezug auf
- • das von dem jeweiligen Umfeldsensor 102 verwendete Messprinzip; und/oder
- • den Erfassungsbereich des jeweiligen Umfeldsensoren 102.
-
2 zeigt eine beispielhafte Vorrichtung 200 zur Erkennung von Umfeld-Objekten anhand der Fusion von Sensordaten 201, 202 von mehreren unterschiedlichen Umfeldsensoren 102. Es kann eine Fusionseinheit 210 verwendet werden, um erste Sensordaten 201 von einem ersten Umfeldsensor 102 und um zweite Sensordaten 202 von einem zweiten Umfeldsensor 102 auszuwerten, und um basierend darauf eine Menge 211 von Umfeld-Objekten bereitzustellen. Dabei kann für ein Umfeld-Objekt jeweils ermittelt werden,
- • die (Referenz-) Position des jeweiligen Umfeld-Objekts (relativ zu dem Fahrzeug 100);
- • die räumliche Ausbreitung des Umfeld-Objekts (z.B. in Form einer Bounding Box um die Referenz-Position); und/oder
- • ein räumlicher Positionsfehler der ermittelten Position des Umfeld-Objekts (z.B. in Form eines Fehlerbereichs um die Referenz-Position des Umfeld-Objekts).
-
Die Fusionseinheit 210 kann z.B. eine Raster- bzw. Grid-basierte Fusion der Sensorsdaten 201, 202 bewirken, um die Menge 211 von Umfeld-Objekten zu ermitteln. Alternativ oder ergänzend können Methoden der künstlichen Intelligenz (z.B. Maschinen-erlernte neuronale Netze) verwendet werden, um die Menge 211 von Umfeld-Objekten zu ermitteln. Die Fusionseinheit 210 kann darauf ausgelegt sein, Umfeld-Objekte in besonders zuverlässiger und robuster Weise zu erkennen. Die von der Vorrichtung 200 verwendete (Performance-orientierte) Fusionseinheit 210 wird in diesem Dokument auch als Basis-Fusionseinheit 210 bezeichnet, und die von der Basis-Fusionseinheit 210 ermittelte Objektmenge wird als Basis-Menge 211 bezeichnet.
-
Wie eingangs dargelegt, kann es für die Zulassung einer Fahrfunktion zur automatisierten Längs- und/oder Querführung eines Fahrzeugs 100 (insbesondere für eine Fahrfunktion gemäß SAE-Level 3 oder höher) erforderlich sein, dass die Objekterkennungsrate (insbesondere die False-Negative-Rate) der von der Fahrfunktion verwendeten Objekterkennungs-Vorrichtung 200 durch Fahrversuche experimentell nachgewiesen wird. Die False-Negative-Rate zeigt z.B. die Rate von nicht erkannten tatsächlich existierenden Objekten an (und sollte möglichst klein sein).
-
Die Zielvorgabe für die False-Negative-Rate kann in einem Beispiel 1/20000 (oder weniger) sein (typische Zielvorgaben sind bei 1/1000000 oder weniger). Ein statistischer Nachweis einer derartigen False-Negative-Rate würde die Durchführung einer Anzahl von Fahrversuchen erfordern, die signifikant (z.B. um den Faktor 3 oder mehr) über 20000 liegt, was meist nicht mit einem vertretbaren Aufwand erbracht werden kann (bei einer typischen Zielvorgabe von 1/1000000 wären mehr als mehrere (z.B. 3) Millionen Fahrversuche erforderlich).
-
Die Objekterkennungs-Vorrichtung 200 kann (wie beispielhaft in 2 dargestellt) neben der Basis-Fusionseinheit 210 eine Nachweis-Fusionseinheit 220 aufweisen, die ausgebildet ist, die Sensordaten 201, 202 von mehreren Umfeldsensoren 102 (d.h. die gleichen Sensordaten 201, 202 wie die Basis-Fusionseinheit 210) anhand einer Nachweis-Fusionsmethode zu fusionieren, um eine Nachweis-Menge 221 von Umfeld-Objekten zu ermitteln. Die Nachweis-Fusionsmethode kann dabei darauf ausgerichtet sein, die Sensordaten 201, 202 derart zu fusionieren, dass die Objekterkennungsrate (insbesondere die False-Negative-Rate) der Nachweis-Fusionseinheit 220 in effizienter und zuverlässiger Weise experimentell (durch Fahrversuche) nachgewiesen werden kann.
-
Die Objekterkennungs-Vorrichtung 200 umfasst ferner eine Kombinationseinheit 230, die eingerichtet ist, die Basis-Menge 211 von Objekten mit der Nachweis-Menge 221 von Objekten zu kombinieren, um eine Kombi-Menge 231 von Objekten bereitzustellen, die dann für den Betrieb der Fahrfunktion verwendet wird. Die Zusammenführung der Basis-Menge 211 und der Nachweis-Menge 221 kann derart erfolgen, dass die Kombi-Menge 231,
- • alle Objekte aufweist, die sowohl in der Basis-Menge 211 als auch in der Nachweis-Menge 221 enthalten sind; und/oder
- • alle Objekte aus der Nachweis-Menge 221 aufweist, auch wenn diese nicht in der Basis-Menge 211 enthalten sind.
-
Dabei können Objekte aus der Basis-Menge 211 und der Nachweis-Menge 221 paarweise miteinander assoziiert werden, sodass für jedes assoziierte Paar von Objekten jeweils nur ein Objekt in die Kombi-Menge 231 aufgenommen wird.
-
Durch eine derartige Kombination der Basis-Menge 211 und der Nachweis-Menge 221 kann sichergestellt werden, dass die für die Nachweis-Fusionseinheit 220 nachgewiesene Objekterkennungsrate (insbesondere False-Negative-Rate) auch für die Objekterkennungs-Vorrichtung 200 gültig ist (als obere Grenze in Bezug auf eine False-Negative Rate oder als untere Grenze in Bezug auf eine True-Positive Rate).
-
Die Nachweis-Fusionsmethode kann derart ausgebildet sein, dass die Objekterkennungsrate der Gesamtmethode auf Einzel-Erkennungsraten für die Objekterkennung auf Basis der Sensordaten 201, 202 der einzelnen Umfeldsensoren 102 zerlegt werden kann. Die Nachweis-Fusionsmethode kann z.B. derart ausgebildet sein, dass die Objekterkennungen der unterschiedlichen Umfeldsensoren 102 im Wesentlichen unabhängig voneinander sind. Als Folge daraus kann die Gesamt-Objekterkennungsrate Rg der Nachweis-Fusionsmethode als Produkt der Einzel-Objekterkennungsraten Ri der Einzel-Erkennungsmethoden der einzelnen Umfeldsensoren 102 ermittelt werden, d.h. Rg = R1* R2*... * RN, bei Verwendung von N Umfeldsensoren 102.
-
Die o.g. Zielvorgabe von 1/20000 für die Gesamt-Objekterkennungsrate Rg könnte bei Verwendung von N=2 Umfeldsensoren 102 durch Einzel-Objekterkennungsraten der Sensoren 102 von R1=1/100 und R2=1/200 erreicht werden (wobei dabei angenommen wurde, dass keine Korrelation der Erkennungsfehler vorliegt). Korrelation zwischen den Umfeldsensoren 102 können berücksichtigt werden. Diese Korrelationen können z.B. aus Fahrversuchen und/oder Expertenwissen ermittelt werden. Die o.g. beispielhaften Einzel-Objekterkennungsraten können in effizienter und zuverlässiger Weise experimentell (durch Fahrversuche) nachgewiesen werden.
-
In einem weiteren Beispiel können drei Umfeldsensoren 102 betrachtet werden (mit Objekterkennungsraten R1, R2, und R3). Es können dann z.B. 2-aus-3 Kombinationen evaluiert werden (R1 AND R2) OR (R1 AND R3) OR (R2 AND R3) evaluieren. Das wäre dann (R1 AND R2) = 1 / (1 - (99/100 * 199/200) = 1/67. Werden andererseits alle 3 Kombinationen kombiniert, erhält man eine sehr hohe Objekterkennungsrage (z.B., wenn alle drei Raten gleich sind: 1/67 * 1/67 * 1/67 = 1/300.000).
-
In den 3a und 3b ist eine beispielhafte Nachweis-Fusionsmethode beschrieben, durch die eine (annähernd) unabhängige Objekterkennung der einzelnen Umfeldsensoren 102 bewirkt werden kann. Wie bereits weiter oben dargelegt, kann für ein Objekt jeweils eine Objekt-Position (z.B. die Position einer Bounding-Box des Objektes) 310, 320 und jeweils ein Positionsfehlerbereich 311, 321 ermittelt werden. In dem dargestellten Beispiel wurde auf Basis der ersten Sensordaten 201 eines ersten Umfeldsensors 102 ein Objekt an der ersten Position 310 mit einem ersten Positionsfehlerbereich 311 detektiert. Auf Basis der zweiten Sensordaten 202 eines zweiten Umfeldsensors 102 wurde ein Objekt an der zweiten Position 320 mit einem zweiten Positionsfehlerbereich 321 detektiert.
-
Die Nachweis-Fusionsmethode kann derart ausgebildet sein, dass
- • Objekte von unterschiedlichen Umfeldsensoren 102, deren Positionsfehlerbereiche 311, 321 überlappen, im Rahmen der Fusion als ein einziges Objekt betrachtet werden (mit einer fusionierten Position und einem fusionierten Positionsfehlerbereich); dies ist beispielhaft in 3a dargestellt; und/oder
- • Objekte von unterschiedlichen Umfeldsensoren 102, deren Positionsfehlerbereiche 311, 321 sich nicht überlappen, im Rahmen der Fusion als separate Objekte betrachtet werden; dies ist beispielhaft in 3b dargestellt.
-
Die Nachweis-Fusionsmethode kann z.B. ein oder mehrere der folgenden Fusionsregeln verwenden,
- • ein Objekt wird als erkannt betrachtet, wenn das Objekt von mindestens zwei aus drei Umfeldsensoren 102 erkannt wurde (2 aus 3 Fusion); oder
- • ein Objekt wird als erkannt betrachtet, wenn das Objekt von mindestens zwei aus vier Umfeldsensoren 102 erkannt wurde (2 aus 4 Fusion).
-
Die Fusion in der Nachweis-Fusionseinheit 220 kann pro Rechenzyklus (separat) ausgeführt werden. Auf eine Rekursion und/oder auf ein Objekt-Tracking (entlang der Zeitachse) kann verzichtet werden.
-
Die Gesamt-Objekterkennungsrate der Nachweis-Fusionsmethode kann typischerweise durch eine Wahrscheinlichkeitsfunktion (für die Wahrscheinlichkeit eines False-Negatives) beschrieben werden, wobei die Wahrscheinlichkeitsfunktion neben den Einzel-Objekterkennungsraten der einzelnen Umfeldsensoren 102 meist auch Abhängigkeiten und/oder Korrelationen zwischen den Objekterkennungen der unterschiedlichen Umfeldsensoren 102 beschreibt. Diese Abhängigkeiten und/oder Korrelationen können typischerweise mit einem relativ geringen Aufwand experimentell (durch Fahrversuche) ermittelt und bei der Ermittlung der Gesamt-Objekterkennungsrate der Nachweis-Fusionsmethode berücksichtigt werden.
-
Die Einzel-Objekterkennungsraten können auf Basis der Fehlerbereiche 311,321 der jeweiligen Einzel-Erkennungsmethode bestimmt werden. Beinhaltet der Fehlerbereich 311,321 nicht die wahre Position eines Objektes (oder nicht den wahren Wert eines Objekt-Parameters), handelt es sich um ein False-Negative. Auf diese Weise kann garantiert werden, dass die Nachweis-Fusion (der Nachweis-Fusionseinheit 220) die entsprechende Erkennungsrate aufweist, denn wenn beide Einzel-Erkennungsmethoden kein False-Negativ aufweisen, garantiert werden kann, dass sich die Fehlerbereiche 311, 321 überlappen.
-
4 zeigt ein Ablaufdiagramm eines (ggf. Computer-implementierten) Verfahrens 400 zur Erkennung von Objekten in dem Umfeld eines (Kraft-) Fahrzeugs 100. Das Fahrzeug 100 umfasst eine Vielzahl von Umfeldsensoren 102 (z.B. zwei oder mehr, oder drei oder mehr Umfeldsensoren 102), die jeweils eingerichtet sind, Sensordaten 201, 202 in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Die Sensordaten 201, 202 eines jeden einzelnen Umfeldsensors 102 können dazu verwendet werden (anhand einer Einzel-Objekterkennungsmethode) eine Einzel-Menge von Objekten im Umfeld des Fahrzeugs 100 zu detektieren.
-
Das Verfahren 400 umfasst das Ermitteln 401, auf Basis der Sensordaten 201, 202 der Vielzahl von Umfeldsensoren 102 des Fahrzeugs 100 und unter Verwendung einer Basis-Fusionseinheit 210, einer Basis-Menge 211 von Objekten. Die Basis-Fusionseinheit 210 kann darauf ausgerichtet sein, eine besonders präzise und zuverlässige Objekterkennung zu bewirken. Die Basis-Fusionseinheit 210 kann z.B. eine Fusion der Sensordaten 201, 202 anhand eines Belegungsrasters (d.h. eines occupancy grids) bewirken.
-
Das Verfahren 400 umfasst ferner das Ermitteln 402, auf Basis der (gleichen) Sensordaten 201, 202 der Vielzahl von Umfeldsensoren 102 des Fahrzeugs 100 und unter Verwendung einer Nachweis-Fusionseinheit 220, einer Nachweis-Menge 221 von Objekten. Es wird somit eine zweite Fusionseinheit 220 verwendet, um auf Basis der gleichen Sensordaten 201, 202 wie für die erste (Basis-) Fusionseinheit 210, eine weitere Menge 221 von Objekten zu ermitteln. Die zweite (Nachweis-) Fusionseinheit 220 ist dabei dafür vorgesehen, den (experimentellen) Nachweis für die Objekterkennungsrate des gesamten Verfahrens 400 zu erbringen (inklusive der Basis-Fusionseinheit 210).
-
Die Nachweis-Fusionseinheit 220 kann eine Nachweis-Fusionsmethode zur Ermittlung der Nachweis-Menge 221 von Objekten verwenden. Die Nachweis-Fusionsmethode ist dabei bevorzugt derart ausgebildet, dass sich die Nachweis-Fusionsmethode für einen besonders effizienten Nachweis der Objekterkennungsrate (insbesondere der False-Negative-Rate) eignet.
-
Die Nachweis-Fusionsmethode kann z.B. eine Vielzahl von Einzel-Objekterkennungsmethoden für die entsprechende Vielzahl von Umfeldsensoren 102 verwenden. Dabei kann die Einzel-Objekterkennungsmethode für einen Umfeldsensor 102 jeweils ausgebildet sein, eine Einzel-Menge von Objekten, insbesondere ausschließlich, auf Basis der Sensordaten 201, 202 dieses Umfeldsensors 102 zu ermitteln. Es kann somit eine Sensorfusion bewirkt werden, bei der zunächst die einzelnen Umfeldsensoren 102 jeweils separat dazu verwendet werden (anhand einer jeweiligen Einzel-Obj ekterkennungsmethode) jeweils eine Einzel-Menge von Objekten zu ermitteln. So kann ein besonders effizienter Nachweis der Objekterkennungsrate ermöglicht werden.
-
Die Einzel-Objekterkennungsmethoden (für die entsprechenden Umfeldsensoren) können jeweils eine Einzel-Objekterkennungsrate aufweisen. Die Gesamt-Objekterkennungsrate der Nachweis-Fusionseinheit 220 (und des gesamten Verfahrens 400) kann dann in effizienter Weise auf Basis der Einzel-Objekterkennungsraten ermittelt werden. Zu diesem Zweck kann die Nachweis-Fusionsmethode ausgebildet sein, die Nachweis-Menge 221 von Objekten derart auf Basis der Vielzahl von Einzel-Mengen von Objekten der Vielzahl von Einzel-Objekterkennungsmethoden zu ermitteln (d.h. zu fusionieren), dass die Gesamt-Objekterkennungsrate der Nachweis-Fusionseinheit 220 auf Basis der Einzel-Objekterkennungsraten der Vielzahl von Einzel-Objekterkennungsmethoden ermittelbar ist. Es kann somit eine Objektfusion der Vielzahl von Einzel-Mengen von Objekten erfolgen, die eine effiziente Ermittlung der Gesamt-Objekterkennungsrate auf Basis der Vielzahl von Einzel-Objekterkennungsraten ermöglicht.
-
Das Verfahren 400 umfasst ferner das Ermitteln 403, auf Basis der Basis-Menge (211) von Objekten und auf Basis der Nachweis-Menge 221 von Objekten, einer Kombi-Menge 231 von Objekten. Die Kombi-Menge 231 kann zur Bereitstellung einer Fahrfunktion des Fahrzeugs 100 verwendet werden.
-
Die in diesem Dokument beschriebenen Maßnahmen ermöglichen die Bereitstellung einer zuverlässigen Objekterkennung mit einer Objekterkennungsrate, die in effizienter und präziser Weise nachgewiesen werden kann.
-
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.