-
Die Erfindung betrifft ein Verfahren zur Detektion, Klassifikation, Verfolgung und Prädiktion von Objekten auf Basis der Auswertung einer oder mehrerer Kameras sowie optional weiterer Sensoren, die zum Zwecke der Umfelderfassung in einem Fahrzeug verbaut sind.
-
In Kraftfahrzeugen kommen vermehrt Fahrerassistenzsysteme zum Einsatz. Einige dieser Fahrerassistenzsysteme dienen dem Schutz von Fahrzeuginsassen und weiterer Verkehrsteilnehmer, beispielsweise Fußgänger, Radfahrer oder anderer Fahrzeuge. Die Fahrerassistenzsysteme umfassen hierzu in der Regel elektronische Zusatzeinrichtungen zur Umfelderfassung, um den Fahrer in bestimmten Fahrsituationen geeignet unterstützen zu können, beispielweise mittels Bremsunterstützung, Notbremsung oder Ausweichmanöver.
-
Nachteilig bei bekannten Systemen ist die Tatsache, dass insbesondere Fußgänger nicht immer robust erkannt werden können, beispielsweise aufgrund deren Erscheinungsvielfalt oder wenn diese durch andere Objekte im Umfeld teilweise verdeckt sind.
-
Der Erfindung liegt demnach die Aufgabe zugrunde, ein Verfahren anzugeben, insbesondere für Fahrerassistenzsysteme, wobei das Verfahren eine robuste Erkennung von relevanten Objekten im Umfeld eines Kraftfahrzeugs ermöglicht.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen nach Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.
-
Der dieser Erfindung zugrunde liegende Ansatz umfasst eine komponenten-basierte Darstellung der Objekte im Umfeld eines Kraftfahrzeugs bzw. ein Verfahren, das auf Basis einer solchen Darstellung eine robuste Detektion, Klassifikation, Verfolgung Prädiktion von Objekten ermöglicht. Die Motivation für diesen komponenten-basierten Ansatz ist insbesondere die Schwierigkeit, trotz partieller Verdeckungen durch andere Objekte und trotz der enormen Erscheinungsvielfalt der Objekte eine robuste Detektion, Klassifikation, Verfolgung und Prädiktion zu ermöglichen. Ist ein Objekt partiell verdeckt, kann das Sensorsystem eventuell auf Basis der sichtbaren Komponenten des Objektes dieses dennoch detektieren und optional auf dessen Zustand schließen. Die enorme Erscheinungsvielfalt zeigt sich in einer hohen Komplexität des möglichen Zustandsraums der Objekte. Dies ist insbesondere bei ”artikulierten” Objekten wie Menschen und Tieren der Fall, die aus mehreren (Körper-)Teilen bestehen, welche sich teilweise unabhängig bewegen können, trifft aber auch generell auf starre Objekte zu, die lokal unabhängige Variationen von charakteristischen Merkmalen aufweisen. Der komponenten-basierte Ansatz adressiert dieses Problem durch Zerlegung des Zustandsraums eines Objekts in mehrere partiell unabhängige Unterzustandsräume der Komponenten, aus denen es besteht.
-
Das erfindungsgemäße Verfahren umfasst die Detektion, Klassifikation, Verfolgung und Prädikation von Objekten im Umfeld eines Kraftfahrzeugs, insbesondere zur Durchführung wenigstens einer Assistenzfunktion. Bekannte Assistenzfunktionen von Fahrerassistenzsystemen sind beispielsweise Antiblockiersystem (ABS), Antriebsschlupfregelung (ASR), Autonomer Halt, Elektronisches Stabilitätsprogramm (ESP), Lichtautomatik, Adaptives Kurvenlicht, Adaptiver Fernlichtassistent, Nachtsicht-Assistent oder auch Night Vision, Head-Up-Display (HUD), Bremsassistent (BAS), Automatische Notbremsung (ANB), Tempomat (Geschwindigkeitsregelanlage), Abstandsregeltempomat, Adaptive Cruise Control (ACC), Abstandswarner, Totwinkel-Überwachung, Stauassistent, Spurerkennungssystem, Spurhalteassistent/Spurassistent (Querführungsunterstützung, lane departure warning), Spurhalteunterstützung (lane keeping support)), Spurwechselassistent (lane change assistance), Spurwechselunterstützung (lane change support), Intelligent Speed Adaption (ISA), Car2Car Communication (Funkgestütze Kommunikation zwischen Fahrzeugen), Einparkhilfe (Ultraschallsensoren zur Hindernis- und Abstandserkennung), Fahrerzustandserkennung (driver drowsiness detection). Vorzugsweise erfolgt die Detektion, Klassifikation, Verfolgung und Prädikation eines Objektes auf Basis einer oder mehrerer Komponenten und/oder auf Basis eines oder mehrerer Zusatzobjekte des Objektes, wobei die eine oder mehreren Komponenten und/oder das eine oder die mehreren Zusatzobjekte mittels wenigstens einer Umfeldsensorik erfasst werden. Bei der Umfeldsensorik kann es sich beispielsweise um eine Kamera handeln.
-
In einer bevorzugten Ausführungsvariante des Verfahrens handelt es sich bei dem Objekt um einen Fußgänger bzw. einen Passanten. Unter Fußgänger kann insbesondere auch ein Radfahrer oder Rollstuhlfahrer verstanden werden.
-
In einer weiteren bevorzugten Ausführungsvariante des Verfahrens handelt es sich bei den Komponenten eines Objektes um menschliche Körperteile, wie beispielsweise Oberkörper, Unterkörper, Arme, Beine, Kopf, Hände, Füße und Rumpf.
-
In einer vorteilhaften Ausführungsvariante des Verfahrens handelt es sich bei den Zusatzobjekten um Gegenstände, die ein Objekt bzw. ein Fußgänger mit sich führt und/oder die mit einem Objekt assoziiert werden können, wie beispielsweise ein Regenschirm, Kinderwagen, Rucksack, Fahrrad, Einkaufswage und/oder eine Tasche.
-
In einer weiteren vorteilhaften Ausführungsvariante des Verfahrens, handelt es sich
- – bei der Detektion von Objekten um eine Erkennung eines oder mehrerer relevanter Objekte im Umfeld eines Kraftfahrzeugs,
- – bei der Klassifikation um eine Zuordnung eines relevanten Objektes zu einer bestimmten Objektklasse,
- – bei der Verfolgung um eine Erfassung eines relevanten Objektes zu mehreren aufeinanderfolgenden Zeitpunkten und
- – bei der Prädikation um eine Vorhersage von möglichen Zustandsänderungen und/oder eine Vorhersage von möglichen Positionsänderungen eines relevanten Objektes.
-
In einer besonderen Ausgestaltung des Verfahrens erfolgt während oder nach der Detektion, Klassifikation, Verfolgung und/oder Prädikation eines relevanten Objektes eine Bestimmung des aktuellen Zustands des relevanten Objektes.
-
In einer bevorzugten Ausführungsvariante des Verfahrens umfasst die Bestimmung des aktuellen Zustands eines relevanten Objektes, die Bestimmung wenigstens einer der folgenden Parameter zu dem Objekt:
- a. Orientierung
- b. Bewegungsrichtung
- c. Geschwindigkeit
- d. Größe
- e. Blickrichtung
- f. Laufzustand
- g. Haltung
- h. Bewegungspotenzial
- i. Reaktionspotenzial
-
In einer vorteilhaften Ausgestaltung des Verfahrens umfasst die Vorhersage von möglichen Positionsänderungen eines relevanten Objektes, eine Abschätzung von Erreichbarkeitsregionen bzw. des Bewegungspotenzials des Objektes.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens umfasst die Durchführung wenigstens einer Assistenzfunktion wenigstens eine der folgenden Maßnahmen:
- a. Warnung des Fahrers des Kraftfahrzeugs
- b. Durchführung eines Bremsmanövers
- c. Durchführung eines Ausweichmanövers
-
In einer bevorzugten Ausführungsvariante des Verfahrens dient die wenigstens eine Assistenzfunktion der Erfüllung eines oder mehrerer Systemziele, wobei es sich bei den Systemzielen um zumindest eines der folgenden Ziele handeln kann:
- a. Schutzziel
- b. Komfortziel
- c. Effizienzziel
-
Weitere Vorteile sowie bevorzugten Ausgestaltungen des Verfahrens gehen aus den nachfolgenden Ausführungsbeispielen und Zeichnungen hervor. Die Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.
-
Es zeigt
-
1: eine Komponenten-Darstellung eines Fußgängers.
-
2: einen Komponenten-Graph eines Fußgängers.
-
3: einen Fußgänger mit assoziiertem Zusatzobjekt.
-
4: ein Beispiel für die Detektion bzw. Prädikation eines verdeckten Fußgängers anhand eines Kinderwagens als Zusatzobjekt.
-
5: ein Beispiel für die Detektion bzw. Prädikation eines verdeckten Fußgängers bzw. Kindes anhand eines Balls als Zusatzobjekt.
-
6: eine Komponenten-Darstellung eines älteren Fußgängers mit gebückter Haltung.
-
7: eine Komponenten-Darstellung eines Fußgängers mit Sichtkontakt.
-
8: die Vorhersage möglicher Positionsänderungen mehrerer Objekte.
-
Unter Fahrzeug wird jegliches für den Verkehr zugelassene Fortbewegungsmittel, wie zum Beispiel PkW, LkW, Motorrad, oder Fahrrad verstanden. Das Fahrzeug, in welchem das System bzw. das erfindungsgemäße Verfahren zum Einsatz kommt, wird in der Folge mit Egofahrzeug bezeichnet, das System zur Detektion, Klassifikation, Verfolgung und Prädiktion von Objekten als Sensorsystem, die Menge der im Erfassungsbereich des Sensorsystems befindlichen Objekte als Umfeld, und die Vereinigung von Egofahrzeug und Umfeld als Gesamtsystem.
-
Unter Detektion wird insbesondere eine Ermittlung der Existenz zumindest eines Objekts im Umfeld auf Basis von Sensordaten verstanden. Dies umfasst vorzugsweise zumindest eine grobe Schätzung eines Zustands des jeweiligen Objekts. Unter Klassifikation wird eine Zuordnung eines Objekts zu einer diskreten Klasse von Objekten verstanden. Unter Verfolgung (engl. ”tracking”) wird eine Assoziation von Messungen eines Objekts, beispielsweise zu verschiedenen Zeitpunkten, verstanden. Dies umfasst insbesondere eine Verfeinerung der Schätzung des Zustands eines Objekts. Unter Prädiktion wird eine Voraussage möglicher Zustandsänderungen eines Objekts, vorzugsweise inklusive einer Bewertung der Wahrscheinlichkeiten dieser Zustandsänderungen, verstanden.
-
Zur Auslösung verschiedener Warn-, Brems-, Ausweich-, und/oder Schutzmechanismen wertet das Sensorsystem Kamerabilder einer oder mehrerer Kameras und optional anderer Sensoren aus, extrahiert aus diesen Informationen vorzugsweise eine Liste von im Umfeld befindlichen Objekten und deren Zustände, bewertet insbesondere die Wahrscheinlichkeit verschiedener möglicher Zustandsänderungen dieser Objekte, beispielsweise in Relation zum Egofahrzeug und/oder zu anderen Verkehrsteilnehmern, und generiert daraus im Besonderen eine Handlungsempfehlung, die beispielsweise ein definiertes Gesamtsystemziel erfüllt. Das Gesamtsystemziel kann hierbei als Optimierung geeignet definierter Kriterien über den Zustand des Gesamtsystems bzw. seiner Teile verstanden werden. Das Systemziel kann zum Beispiel aus Schutzzielen, Komfortzielen und/oder Effizienzzielen des Gesamtsystems bestehen. Ein Schutzziel ist zum Beispiel eine Vermeidung und/oder Minimierung von Schäden am Egofahrzeug, an dessen Insassen und/oder an Objekten im Umfeld. Für diesen Zweck kann das Sensorsystem vorzugsweise sowohl stationäre als auch dynamische Objekte detektieren. Von besonderer Wichtigkeit hierfür ist die Fähigkeit des Sensorsystems, neben Fahrzeugen und anderen starren Objekten auch im Umfeld befindliche Fußgänger, Radfahrer, Motorradfahrer, sowie Tiere zu erkennen, da diese besonders schutzbedürftig sind und/oder aufgrund ihres Gewichts und/oder ihrer Größe ein Schadenpotential für das Egofahrzeug und dessen Insassen darstellen. Komfort- und Effizienzziele können die Erreichung von gewissen erwünschten Zuständen des Gesamtsystems betreffen, wie zum Beispiel eine ruckelfreies Fahren, ein optimierter Verkehrsfluss und/oder ein geringer Kraftstoffverbrauch.
-
Entsprechend 1 kann sich der für die Betrachtung relevante Zustand eines Fußgängers 1 insbesondere aus dessen Position, Größe, Orientierung, Postur und/oder Bewegungsrichtung zusammensetzen. Diese setzen sich beispielsweise wiederum aus der voneinander partiell unabhängigen Position und Orientierung des Kopfes 2, des Oberkörpers 3 und Unterkörpers 5 zusammen, der Oberkörper 3 aus denen des Rumpfs 4 und der Arme, der Unterkörper 5 aus denen der Beine. Die Tiefe dieser Zerlegung hängt von dem Auflösungsvermögen der eingesetzten Sensoren ab, von der situationsabhängigen Möglichkeit die Komponenten zu trennen und von der anwendungsbezogenen Notwendigkeit diese trennen zu müssen.
-
Außer Komponenten, die beispielsweise in einer typischen Teile-Ganzes Beziehung zu dem Hauptobjekt stehen, können aber auch andere Zusatzobjekte 14 oder 16 mit dem Hauptobjekt assoziiert sein. Assoziation bedeutet in diesem Falle vorzugsweise eine Kopplung der Zustände des Hauptobjekts und des Zusatzobjekts, analog zur Kopplung einer Unterkomponente zum Hauptobjekt. Es wird beispielsweise entsprechend 3 mit einem Fußgänger 1 ein Schirm den er in der Hand hält assoziiert, ein Rucksack den er auf dem Rücken trägt, ein Kinderwagen 14 den er vor sich her schiebt oder ein Fahrrad, auf dem er fährt. Solche Zusatzobjekte 14 oder 16 werden bei Vorhandensein nach Bedarf vorzugsweise dynamisch mit dem Hauptobjekt assoziiert. Ist beispielsweise die Kopplung zwischen Hauptobjekt und Zusatzobjekt 14 oder 16 sehr häufig und/oder besonders anwendungsrelevant, dann kann das Sensorsystem von der Existenz des einen auf die Existenz des anderen schließen, insbesondere wenn Letzteres noch gar nicht detektiert wurde. Der Vorteil solcher Assoziationen ist ganz allgemein, dass das Sensorsystem diese bei der Lösung seiner Hauptaufgabe vorteilhaft nutzen kann, nämlich Objekte zu detektieren, zu klassifizieren, zu verfolgen und zu prädizieren. Zum Beispiel kann ein assoziiertes Objekt 14 oder 16 helfen, das Hauptobjekt trotz Verdeckung zu verfolgen. Ein Fußgänger 1 wird beispielsweise entsprechend 4 anhand des Kinderwagens 14 verfolgt, den er schiebt. Außerdem kann die Klasse des Hauptobjekts und/oder dessen Bewegungsmodell mit Hilfe eines erkannten Zusatzobjektes 14 oder 16 bestimmt werden. Ein detektiertes Fahrrad beispielsweise macht den Fußgänger 1 zum Fahrradfahrer und vererbt ihm insbesondere sein Bewegungsmodell. Eine Assoziation erfordert zudem nicht unbedingt eine unmittelbare räumliche oder mechanische Kopplung, sondern kann auch eine lose Kopplung darstellen. Ein über die Straße rollender Ball 16 prädiziert entsprechend 5 beispielsweise mit gewisser Wahrscheinlichkeit ein ihm hinterher rennendes Kind 15.
-
Jede Komponente ist insbesondere durch ihren Eigenzustand und/oder durch ihre Relationen zu anderen Komponenten definiert. Der Eigenzustand ist vorzugsweise durch eine Menge von Parametern und/oder deren gemeinsamen Zustandsraum definiert. Für jeden Parameter wird beispielweise ein Wertebereich angegeben welcher diskret und/oder kontinuierlich sein kann. Der gemeinsame Zustandsraum aller Parameter einer Komponente kann außerdem eine Untermenge des kartesischen Produkts der Wertebereiche der Parameter sein, insbesondere wenn Abhängigkeiten zwischen den Parametern vorliegen. Die Bedeutung und Art der Parameter wird vorzugsweise durch die Anwendung festgelegt. Zum Beispiel könnte der Komponententyp Fußgänger 1 die Parameter Position (beispielsweise in der dreidimensionalen Welt und/oder in der zweidimensionalen Ebene, die z. B. durch die Straße 23 definiert ist), Orientierung (beispielsweise Richtung in die sein Oberkörper 3 zeigt), Bewegungsrichtung (beispielsweise Richtung in die er läuft), Geschwindigkeit, Blickrichtung (beispielsweise Richtung in die er schaut – vorzugsweise gegeben durch die Richtung in die der Kopf 2 gedreht ist), Größe, Laufzustand (beispielsweise stehend, laufend, rennend) und/oder Haltung (beispielsweise aufrecht, gebückt, sitzend, liegend) besitzen.
-
Das Gesamtsystem kann durch einen Graphen beschrieben werden, dessen Knoten die Komponenten sind und dessen Verbindungen die Relationen sind. Eine Relation hat insbesondere einen Typ und/oder einen Zustand. Wie im Vorangegangenen beschrieben, gibt es vorzugsweise zwei Typen von Relationen zwischen zwei Komponenten: Unterkomponente und Assoziation. Bei einer Unterkomponentenrelation ist eine Komponente eine Unterkomponente der anderen. Jeder Unterkomponente ist zudem insbesondere eine eindeutige Rolle zugeordnet. Zum Beispiel ist entsprechend 2 eine Komponente der Klasse ”Arm” eine Unterkomponente der Komponente ”Oberkörper” 3 mit der Rolle ”rechter Arm” 6 oder ”linker Arm” 7. Diese Rolle ist Teil des Zustands der Unterkomponentenrelation. Der Gesamtzustand einer Komponente ist vorzugsweise durch ihren Eigenzustand, die Zustände ihrer Relationen, die Gesamtzustände ihrer Unterkomponenten und/oder die Referenzen auf die mit ihr assoziierten Komponenten gegeben. Bei einer Assoziationsrelation gehört insbesondere und im Gegensatz zu einer Kompositionsrelation der Zustand der assoziierten Komponente nicht zum Zustand der Komponente. Der Zustand der assoziierten Komponente kann aber den Zustand der Hauptkomponente einschränken und/oder die Wahrscheinlichkeitsverteilung der Zustände der Hauptkomponente beeinflussen.
-
Das Sensorsystem hat die wesentliche Aufgabe den aktuellen Zustand des Gesamtsystems zu schätzen und/oder den zukünftigen Zustand zu prädizieren. Wie bereits beschrieben kann der Zustandsraum insbesondere für artikulierte Objekte aufgrund der hohen Erscheinungsvielfalt theoretisch sehr groß sein. Generell ist der praktisch mögliche Zustandsraum aber viel kleiner, da es zwischen den Unterkomponenten eines Objekts vielfältige Abhängigkeiten geben kann. Beispielsweise führen mechanische Einschränkungen und/oder typische Bewegungs- und Verhaltensmuster eines Objekts zu einer Reduktion der Freiheitsgrade der Objektbewegung. Außerdem können Assoziationsrelationen mit anderen Objekten den Zustandsraum eines Objekts einschränken.
-
Diese Abhängigkeiten sind vorzugsweise durch eine Verbundwahrscheinlichkeit des Zustands des Gesamtsystems und der Zustandsübergänge definiert. Aus praktischer Sicht kann aber auch eine Approximation davon verwendet werden. Das Sensorsystem nutzt diese Darstellung beispielsweise um eine robustere Zustandsschätzung und/oder eine verlässlichere Prädiktion durchzuführen, indem es insbesondere die unter Berücksichtigung aller Abhängigkeiten wahrscheinlichsten Zustände selektiert.
-
Darüber hinaus analysiert das Sensorsystem optional den Gesamtzustand jedes Objekts, um es hinsichtlich seines Bewegungspotentials zu bewerten. Das Bewegungspotential wird insbesondere durch eine Erreichbarkeitsregion 19, 20 bzw. 21 des Objekts spezifiziert. Diese ist als eine Region des dreidimensionalen Raums oder dessen Beschränkung auf die zweidimensionale Fahrbahnebene 23 definiert, den das Objekt, beispielsweise in einer gegebenen Zeit, erreichen kann. In 8 sind beispielhaft Erreichbarkeitsregionen bzw. Bewegungspotenziale 19, 20 und 21 für Fußgänger und Radfahrer dargestellt.
-
Das Bewegungspotential 19, 20 oder 21 eines Objekts wird vorzugsweise einerseits aus seinem Bewegungszustand und/oder andererseits aus einer Klassifikation des Objekts, beispielsweise hinsichtlich seiner Bewegungsmöglichkeiten, bestimmt. Dazu sind insbesondere im System verschiedene Bewegungsklassen definiert. Das Sensorsystem ordnet die Objekte diesen Klassen beispielsweise anhand ihres Gesamtzustands bzw. anhand ihrer Komponentenkonstellation zu. Auf Basis dieser Zuordnung können dann zum Beispiel verschiedene Kollisionsszenarien bewertet werden. Beispielsweise hätte ein Fußgänger 1 mit einem großen Rucksack auf dem Rücken ein reduziertes Bewegungspotential 19, 20 oder 21, ebenso eine ältere Person. die entsprechend 6 anhand ihrer gebückten Haltung erkannt wurde.
-
Zusätzlich zum eigentlichen Bewegungspotential 19, 20 bzw. 21 kann das System ein Reaktionspotential von sich autonom bewegenden Objekten klassifizieren. Anhand der Blick- und/oder Laufrichtung eines Fußgängers 1 entsprechend 7 und/oder anhand Fahrtrichtung eines Radfahrers bewertet das Sensorsystem beispielsweise, ob dieser das Egofahrzeug 22 potentiell wahrnimmt oder nicht bzw. ob dieser entsprechend reagieren kann oder nicht. Diese Information kann in die Entscheidung bezüglich der Handlungsempfehlung mit aufgenommen werden.
-
Bezugszeichenliste
-
- 1
- Fußgänger
- 2
- Kopf
- 3
- Oberkörper
- 4
- Rumpf
- 5
- Unterkörper
- 6
- Arm (links)
- 7
- Arm (rechts)
- 8
- Oberarm (links)
- 9
- Unterarm (rechts)
- 10
- Bein (links)
- 11
- Bein (rechts)
- 12
- Oberschenkel (links)
- 13
- Unterschenkel (links)
- 14
- Zusatzobjekt (Kinderwagen)
- 15
- verdeckter Fußgänger
- 16
- Zusatzobjekt (Ball)
- 17
- geparktes Fahrzeug
- 18
- Bewegungsrichtung (Ball)
- 19
- Bewegungspotenzial/Erreichbarkeitsregionen eines stehenden Fußgängers
- 20
- Bewegungspotenzial/Erreichbarkeitsregionen eines kreuzenden Fußgängers
- 21
- Bewegungspotenzial/Erreichbarkeitsregionen eines kreuzenden Radfahrers
- 22
- Kraftfahrzeug/Egofahrzeug
- 23
- Straße
- L
- Links
- R
- Rechts
