DE102016219503A1

DE102016219503A1 - Verfahren und Fahrerassistenzsystem zur Erkennung der Intention eines Fußgängers zur Querung einer Ego-Fahrspur

Info

Publication number: DE102016219503A1
Application number: DE102016219503.4A
Authority: DE
Inventors: Friederike Schneemann
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2016-10-07
Filing date: 2016-10-07
Publication date: 2018-04-12

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und Fahrerassistenzsystem 1 zur Erkennung der Intention eines Fußgängers 8 zur Querung einer Ego-Fahrspur 4. Verfahrensgemäß werden neben der Position und Geschwindigkeit eines Fußgängers 8 auch Informationen aus dem Szenen-Kontext berücksichtigt, wie die Bewegung und Körperorientierung des Fußgängers 8 in Relation zu Fahrbahnrändern, sowie die aktuelle Position in Relation zu Fußgängerüberwegen, wie etwa Zebrastreifen, Ampeln, Verkehrsinseln, Kreuzungen, und zu Wartebereichen für Fußgänger 8, wie etwa solche von öffentlichen Verkehrsmitteln. Fahrerassistenzsysteme 1 zum Fußgängerschutz, die unter Verwendung des Verfahrens gemäß der vorliegenden Erfindung betrieben werden, können einen querungswilligen Fußgänger 8 erkennen, bevor dieser die Ego-Fahrspur 4 betritt oder unmittelbar dazu ansetzt, können Fahrer frühzeitig vor einem querungswilligen Fußgänger 8 warnen und/oder frühzeitig mit einem querungswilligen Fußgänger 8 in Interaktion treten.

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein Fahrerassistenzsystem zur Erkennung der Intention eines Fußgängers zur Querung einer Ego-Fahrspur.
In den vergangenen Jahren wurde eine bedeutende Anzahl an Fahrerassistenzsystemen zur Unterstützung eines Fahrers beim Betrieb eines Kraftfahrzeugs entwickelt. Fahrerassistenzsysteme können etwa zur Verbesserung des Komforts vorgesehen sein oder der Erhöhung der Sicherheit im Straßenverkehr dienen.
Ein Beispiel für ein die Sicherheit im Straßenverkehr erhöhendes Fahrerassistenzsystem ist ein Fußgängerschutzsystem. Bei einem solchen System ist in der Regel eine kamera-(mono- oder stereo-) und/oder radarbasierte Fußgängererkennung vorgesehen, um einen in einen Fahrkorridor (Fahrspur, Fahrschlauch) des Kraftfahrzeugs hineinlaufenden Fußgänger erkennen zu können und gegebenenfalls wenigstens eine kollisionsverhindernde oder doch die Auswirkungen einer möglichen Kollision verringernde Maßnahme automatisch auslösen zu können. Beispiele für derartige Maßnahmen sind etwa die Ausgabe einer Warnung an den Fahrer, die Durchführung eines Notbremsvorgangs und/oder die Veränderung der Trajektorie des Kraftfahrzeugs.
Auch sind Erweiterungen und Verbesserungen dieses grundlegenden Prinzips zur automatischen Fußgängererkennung bekannt.
So beschreibt etwa die DE 10 2014 005 186 A1 ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftwagens, mit einem Erfassen eines bestimmten örtlichen Bereichs einer Umgebung des Kraftwagens durch zumindest einen Umgebungssensor, einem Erkennen von Objekten in dem erfassten örtlichen Bereich durch eine Auswerteeinheit, einem Berechnen von Bewegungsparametern der erkannten Objekte durch die Auswerteeinheit, einem Erfassen derjenigen Objekte durch eine Analyseeinheit als kollisionsträchtig, deren Bewegungsparameter in einem bestimmten abstrakten Bereich liegen, und einem Ergreifen einer unfallverhindernden Maßnahme, insbesondere durch ein Ausgeben einer Warnung oder durch ein Aktivieren einer Notbremsassistenzeinheit, wobei zumindest ein Erfassungsbereich aus einer Gruppe von Erfassungsbereichen, welche von dem örtlichen Erfassungsbereich des zumindest einen Umgebungssensors und dem abstrakten Erfassungsbereich der Analyseeinheit gebildet wird, ortsabhängig eingestellt wird, um ein besonders effizientes und effektives Ergreifen von unfallverhindernden Maßnahmen zu ermöglichen.
Aus der DE 10 2015 015 021 A1 ist ein Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs bekannt, wobei mittels zumindest einer Erfassungseinheit eine Fahrzeugumgebung erfasst wird. Mittels der Erfassungseinheit wird zumindest eine auf eine Überquerung einer Fahrbahn wartende Gruppe von Fußgängern erfasst. Weiterhin werden Bewegungen, Gesten und Fersenbewegungen zumindest einer Anzahl von Fußgängern der zumindest einen Gruppe anhand mittels der Erfassungseinheit erfasster Bilddaten überwacht und analysiert, wobei anhand der Bewegungen, Gesten und Fersenbewegungen zumindest eines Fußgängers ein Beginn der Überquerung der Fahrbahn der zumindest einen Gruppe ermittelt wird. Ferner wird eine Kollisionsgefahr zwischen dem Fahrzeug und zumindest einem Fußgänger ermittelt, wobei bei Überschreitung eines vorgegebenen Grenzwerts der Kollisionsgefahr kollisionsvermeidende Maßnahmen eingeleitet werden.
Und Köhler, S. et al.: „Early Detection of the Pedestrian’s Intention to Cross the Street"; IEEE International Conference on Intelligent Transportation Systems (ITSC), Anchorage, AK, USA, 16.09.2012, S. 1759–1764, beschreibt ein Verfahren zur möglichst frühen Erkennung, dass ein Fußgänger eine Fahrbahn betritt, auf Grundlage der Erfassung und Auswertung insbesondere der Körperbeugung und der Verbreiterung des Abstands der Beine, die einem eigentlichen Geh-Vorgang unmittelbar vorausgehen.
Verfahren und Fahrerassistenzsysteme zur automatischen Vorhersage des Fußgängerverhaltens werden bzw. müssen ein essentielles Funktionselement im Bereich des teil-, hoch und voll automatisierten Fahrens sein. Teil-, hoch und voll automatisiertes Fahren hat das Potential, die Mobilität der Zukunft äußerst sicher, komfortabel und effizient zu gestalten. Erste prototypische Systeme übernehmen bereits in speziellen Situationen, wie etwa auf der Autobahn oder im Parkhaus ohne Mischverkehr, die Fahraufgabe komplett. Diese Systeme sind bisher jedoch auf Situationen in stark strukturierter Umgebung und mit begrenzten Umgebungsvariablen beschränkt.
Es ist Aufgabe der vorliegenden Erfindung, ein im Vergleich zum vorbekannten Stand der Technik verbessertes Verfahren zur Erkennung von Fußgängerverhalten zur Verfügung zu stellen, das insbesondere auch für ein teil-, hoch oder voll automatisiertes Fahren in einem städtischen Umfeld geeignet ist, bei dem im Vergleich zu den bereits beherrschbaren Szenarien eine deutlich komplexere Verkehrssituation gegeben ist.
Diese Aufgabe wird gelöst durch das Verfahren gemäß Anspruch 1 und das Fahrerassistenzsystem für ein Kraftfahrzeug gemäß Anspruch 6. Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche und können der nachfolgenden Beschreibung und den Figuren entnommen werden.
Erfindungsgemäß wird ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs vorgeschlagen, umfassend die Schritte:

a) Erfassen eines vorgebbaren Bereichs im Umfeld des Kraftfahrzeugs mittels einer fahrzeugseitigen und/oder infrastrukturseitigen Umfeld-Erfassungseinrichtung in zeitlicher Abfolge, und
b) Detektion von wenigstens einem Fußgänger im erfassten Umfeld des Kraftfahrzeugs mittels Daten der fahrzeugseitigen und/oder infrastrukturseitigen Umfeld-Erfassungseinrichtung.

Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass weiter

c) Fahrbahnränder sowie Fußgängerüberwege, wie etwa Zebrastreifen, Ampeln, Verkehrsinseln, Kreuzungen, und Wartebereiche für Fußgänger, wie etwa solche von öffentlichen Verkehrsmitteln, in dem erfassten Umfeld des Kraftfahrzeugs ermittelt werden;
d) wenigstens ein relevanter Fahrbahnrand in dem erfassten Umfeld des Kraftfahrzeugs festgelegt wird;
e) eine Beschreibung der Bewegung und Körperorientierung des wenigstens einen Fußgängers während eines vorgebbaren Zeitraums bis zum aktuellen Zeitpunkt und seiner aktuellen Endposition relativ zu einem in dem erfassten Umfeld des Kraftfahrzeugs als relevant festgelegten Fahrbahnrand erstellt wird;
f) eine Beschreibung der aktuellen Position und Körperorientierung des wenigstens einen Fußgängers relativ zu wenigstens einem in dem erfassten Umfeld des Kraftfahrzeugs ermittelten Fußgängerüberweg, wie etwa einem Zebrastreifen, einer Ampel, einer Verkehrsinsel, einer Kreuzung, oder einem Wartebereich für Fußgänger, insbesondere einem von öffentlichen Verkehrsmitteln, im erfassten Umfeld des Kraftfahrzeugs erstellt wird;
g) die Beschreibungen gemäß der Schritte e) und f) zu einem Merkmalsvektor kombiniert werden;
h) der Merkmalsvektor gemäß Schritt g) dahin klassifiziert wird, ob dieser das Verhalten eines Fußgängers mit oder ohne Intention zur Querung der Ego-Fahrspur beschreibt; und
i) für den Fall, dass der Merkmalsvektor das Verhalten eines Fußgängers mit Intention zur Querung der Ego-Fahrspur beschreibt, an einen Fahrer des Kraftfahrzeugs eine Warnung in Bezug auf den Fußgänger mit Intention zur Querung der Ego-Fahrspur ausgegeben wird, bei dem Kraftfahrzeug eine Geschwindigkeitsanpassung vorgenommen wird, und/oder wenigstens ein Lichtsignal in das Umfeld des Kraftfahrzeugs abgegeben wird.

Aus dem Stand der Technik bekannte Fahrerassistenzsysteme, insbesondere auch solche zur Fußgängererkennung, sind bereits in der Lage, Objekte im Umfeld eines Kraftfahrzeugs mit fahrzeugseitiger Sensorik zu erkennen und deren zukünftige Position vorherzusagen. Die derzeit bekannten Fahrerassistenzsysteme zur Fußgängererkennung (Fußgängerschutzsysteme) basieren jedoch auf der physikalischen Korrelation von kinematischen Größen, wie Position, Geschwindigkeit und Beschleunigung. Im Vergleich zur Vorhersage des Bewegungsverhaltens anderer Kraftfahrzeuge oder Radfahrer bildet die Verhaltensvorhersage von Fußgängern jedoch eine besondere Herausforderung. Fußgänger können ihre Bewegungszustände sehr dynamisch ändern, wodurch die auf Basis kinematischer Parameter erreichbaren Prädiktionshorizonte auf etwa 0,5 bis 1,5 Sekunden begrenzt sind. Daher sind aktuelle Fußgängerschutzsysteme nur in der Lage, auf Fußgänger zu reagieren, die den Verkehrsraum des Kraftfahrzeugs bereits betreten haben oder gerade dabei sind, dieses zu tun.
Im Gegensatz zum vorbekannten Stand der Technik stellt die vorliegende Erfindung auf die „Intention“ des Fußgängers ab. Unter dem Begriff „Intention“ ist im Kontext der vorliegenden Erfindung die „prinzipielle Absicht“ eines Fußgängers zur Querung der Fahrspur eines sich nähernden Kraftfahrzeugs zu verstehen, unabhängig davon, ob dieser die Querung durchführt oder nicht.
Abweichend zum vorbekannten Stand der Technik wird bei dem Verfahren gemäß der vorliegenden Erfindung nicht nur die Position und Geschwindigkeit eines Fußgängers herangezogen, sondern es werden auch Informationen aus dem Szenen-Kontext erfasst und bewertet, d. h. insbesondere die Position und Bewegung des Fußgängers in Relation zu einem relevanten Fahrbahnrand sowie zu Fußgängerüberwegen, wie etwa Zebrastreifen, Verkehrsinseln und Fußgängerampeln, oder zu Wartebereichen, wie etwa Bus- und Trambahnhaltestellen.
Hierdurch kann, ähnlich wie dazu ein menschlicher Beobachter in der Lage ist, die Intention eines Fußgängers, eine Ego-Fahrspur queren zu wollen, frühzeitig auch automatisiert erkannt werden. Durch das erfindungsgemäße Verfahren (sowie durch das erfindungsgemäße Fahrerassistenzsystem) besteht somit die Möglichkeit, die Aufmerksamkeit eines, insbesondere eines abgelenkten Fahrers auf einen potenziell relevanten Fußgänger, d. h. auf einen Fußgänger mit einer Intention zur Querung der Ego-Fahrspur zu lenken, noch deutlich bevor dieser Fußgänger die Ego-Fahrspur tatsächlich betritt. Dadurch kann einer anderenfalls später erforderlichen Notbremsung vorgebeugt werden, da der Fahrer frühzeitig genug gewarnt wurde und die Situation selbst bewältigen kann.
Die Ausgabe einer Warnung an den Fahrer kann auf jede erdenkliche Art und Weise erfolgen, bspw. durch die Ausgabe eines optisch, akustisch und/oder haptisch wahrnehmbaren Signals, etwa unter Verwendung von Lichterzeugenden Elementen, eines Bildschirms, einem Head-up-Display, einem Lautsprecher und/oder Vibration erzeugenden Elementen.
Und insbesondere bei teil-, hoch und voll automatisierten Fahrzeugen besteht die Möglichkeit, auf Grundlage des erfindungsgemäßen Verfahrens bzw. des erfindungsgemäßen Fahrerassistenzsystems frühzeitig mit querungswilligen Fußgängern in Interaktion zu treten, etwa durch Geschwindigkeitsanpassung, eine Kommunikation über Lichtzeichen, etc.
Gemäß einer ersten vorteilhaften Weiterbildung des Verfahrens wird weiter auch

j) eine Beschreibung der Kopfbewegung(en) und/oder Körperpose(n) des wenigstens einen Fußgängers in dem vorgebbaren Zeitraum bis zum aktuellen Zeitpunkt erstellt und
k) die Beschreibungen gemäß der obigen Schritte e) und f) sowie von Schritt j) zu einem Merkmalsvektor kombiniert.

Der so gebildete Merkmalsvektor wird dann – wie bei dem erfindungsgemäßen Verfahren – dahin klassifiziert, ob dieser das Verhalten eines Fußgängers mit oder ohne Intention zur Querung der Ego-Fahrspur beschreibt und es wird entsprechend dem Klassifizierungsergebnis der obige Schritt i) durchgeführt.
Durch diese erste vorteilhafte Weiterbildung des Verfahrens kann eine nochmals verbesserte Vorhersage in Bezug auf die Intention eines Fußgängers, eine Ego-Fahrspur queren zu wollen, erreicht werden.
Das als allgemeingültig anzusehende Ziel eines Fußgängers bei der Querung einer Fahrbahn ist deren sichere Überquerung bei Unversehrtheit von Leib und Leben. Aus diesem Grund sichern Fußgänger die eigentliche Querung vor Querungsbeginn durch ein bewusst ausgeführtes Sicherungsverhalten ab. Die Sicherung dient dabei der Wahrnehmung der aktuellen Situation zur Abschätzung, ob die Straße sicher überquert werden kann.
Die zur Verkehrserziehung vorgegebenen Verhaltensrichtlinien zur Straßenquerung (bei Rechtsverkehr) sehen eine visuelle Querungssicherung mit mindestens drei Blicken eines stehenden Fußgängers vor: einen ersten Blick nach links, einen zweiten nach rechts und einen dritten Blick wieder nach links. Aufgrund empirischer Untersuchungen ist bekannt, dass ein Fußgänger zur Ausführung einer solchen visuellen Querungsvorbereitung zwischen 2,4 s und 3,2 s benötigt.
Ebenfalls wurde ermittelt, dass die meisten Erwachsenen ein den Verhaltensrichtlinien entsprechendes Blickverhalten zur Querungssicherung durchführen, Kinder ebenfalls ein sicherndes Blickverhalten zeigen, jedoch im Vergleich zu Erwachsenen mit einer geringeren Anzahl an Kopfbewegungen, und dass Fußgänger sich bereits vor dem Erreichen des Fahrbahnrandes (der Fahrbahnkante, des Bordsteins), noch während des Gehens, visuell absichern und sich die Kopfpositionsdaten eines querungswilligen Fußgängers schon mehrere Sekunden vor dem Abbiegen in Richtung Fahrbahnrand signifikant von denen eines Fußgängers ohne Querungsintention unterscheiden. Auch steigt die Kopfdrehfrequenz gleichmäßig an, je näher der Fußgänger an die gewählte Querungsstelle kommt.
Gemäß einer zweiten vorteilhaften Weiterbildung des Verfahrens werden die Fahrbahnränder sowie Fußgängerüberwege, wie etwa Zebrastreifen, Ampeln, Verkehrsinseln, Kreuzungen, und Wartebereiche für Fußgänger, insbesondere solche von öffentlichen Verkehrsmitteln, im erfassten Bereich im Umfeld des Kraftfahrzeugs ergänzend oder alternativ zu einer Auswertung von Daten der fahrzeugseitigen und/oder infrastrukturseitigen Umfeld-Erfassungseinrichtung auch auf Grundlage von mittels einer Positionsbestimmungseinrichtung ermittelter aktueller Koordinaten des Kraftfahrzeugs und Abgleich dieser Koordinaten mit entsprechenden Informationen in zur Verfügung stehenden digitalen Kartendaten umfassend die aktuell gegebenen Koordinaten des Kraftfahrzeugs ermittelt.
Das Verfahren kann auch dahin in vorteilhafter Weise weitergebildet sein, dass die Ausgabe einer Warnung an den Fahrer des Kraftfahrzeugs nur erfolgt, wenn mittels eines Systems zur Aufmerksamkeitsdetektion und/oder zur Detektion der Blickrichtung des Fahrers festgestellt wird, dass der Grad an Aufmerksamkeit des Fahrers einen vorgebbaren Wert unterschreitet und/oder der wenigstens eine Fußgänger mit Intention zur Querung der Ego-Fahrspur sich nicht im Blickfeld des Fahrers befindet.
Ebenfalls ist es von Vorteil, wenn verfahrensgemäß die Abgabe von wenigstens einem Lichtsignal in das Umfeld des Kraftfahrzeugs die Projektion eines Stopp-Zeichens auf den Boden im Bereich vor dem wenigstens einen Fußgänger mit Intention zur Querung der Ego-Fahrspur (d.h. Kraftfahrzeug hat nicht vor zu halten, da bspw. die Weiterfahrt durch ein grünes Ampelsignal legitimiert ist) und/oder ein gezieltes Anleuchten des wenigstens einen Fußgängers mit Intention zur Querung der Ego-Fahrspur umfasst (um so den betreffenden Fußgänger auf das sich nähernde Kraftfahrzeug hinzuweisen).
Die Projektion eines Stopp-Zeichens auf den Boden sowie das gezielte Anleuchten eines Fußgängers (etwa in Form eines „Leuchtfingers“) kann bspw. mittels matrixartiger oder strahlgeführter Beleuchtungseinrichtungen (Scheinwerfereinrichtungen) erfolgen, wobei eine entsprechende Nachführung des Lichtsignals in Abhängigkeit von der Bewegung des Kraftfahrzeugs und/oder des Fußgängers möglich ist.
Die vorliegende Erfindung betrifft auch ein Fahrerassistenzsystem für ein Kraftfahrzeug, umfassend

a) eine fahrzeugseitige und/oder eine infrastrukturseitige Umfeld-Erfassungseinrichtung zum Erfassen eines vorgebbaren Bereichs im Umfeld eines Kraftfahrzeugs in zeitlicher Abfolge, und
b) eine Erkennungseinrichtung zur Detektion von wenigstens einem Fußgänger im erfassten Umfeld des Kraftfahrzeugs mittels Daten der fahrzeugseitigen und/oder infrastrukturseitigen Umfeld-Erfassungseinrichtung.

Das Fahrerassistenzsystem ist dadurch gekennzeichnet, dass die Erkennungseinrichtung weiter dazu eingerichtet ist,

1) Fahrbahnränder sowie Fußgängerüberwege, wie etwa Zebrastreifen, Ampeln, Verkehrsinseln, Kreuzungen, und Wartebereiche für Fußgänger, insbesondere solche von öffentlichen Verkehrsmitteln, in dem erfassten Umfeld des Kraftfahrzeugs zu ermitteln;
2) wenigstens einen relevanten Fahrbahnrand in dem erfassten Umfeld des Kraftfahrzeugs festzulegen;
3) eine Beschreibung der Bewegung und Körperorientierung des wenigstens einen Fußgängers während eines vorgebbaren Zeitraums bis zum aktuellen Zeitpunkt und seiner aktuellen Endposition relativ zu einem als relevant festgelegten Fahrbahnrand zu erstellen;
4) eine Beschreibung der aktuellen Position und Körperorientierung des wenigstens einen Fußgängers relativ zu wenigstens einem in dem erfassten Umfeld des Kraftfahrzeugs ermittelten Fußgängerüberweg, wie etwa einem Zebrastreifen, einer Ampel, einer Verkehrsinsel, einer Kreuzung, oder zu einem Wartebereich für Fußgänger, insbesondere einem von öffentlichen Verkehrsmitteln, zu erstellen;
5) die Beschreibungen gemäß der Punkte 3) und 4) zu einem Merkmalsvektor zu kombinieren;
6) den Merkmalsvektor dahin zu klassifizieren, ob dieser das Verhalten eines Fußgängers mit oder ohne Intention zur Querung der Ego-Fahrspur beschreibt; und
7) für den Fall, dass der Merkmalsvektor das Verhalten eines Fußgängers mit Intention zur Querung der Ego-Fahrspur beschreibt, einen Steuerbefehl zur Ausgabe einer Warnung in Bezug auf den Fußgänger mit Intention zur Querung der Ego-Fahrspur an einen Fahrer des Kraftfahrzeugs, zur Anpassung der Geschwindigkeit des Kraftfahrzeugs und/oder zur Abgabe von wenigstens einem Lichtzeichen in das Umfeld des Kraftfahrzeugs auszugeben.

Das Fahrerassistenzsystem kann in vorteilhafter Weise dahin weitergebildet sein, dass die Erkennungseinrichtung weiter dazu eingerichtet ist,

8) eine Beschreibung der Kopfbewegung(en) und/oder Körperpose(n) des wenigstens einen Fußgängers während des vorgebbaren Zeitraums bis zum aktuellen Zeitpunkt zu erstellen; und
9) die Beschreibungen gemäß der obigen Schritte 3) und 4) sowie von Schritt 8) zu einem Merkmalsvektor zu kombinieren.

Auch gemäß dieser vorteilhaften Weiterbildung ist die Erkennungseinrichtung dazu eingerichtet, den so gebildeten Merkmalsvektor dann dahin zu klassifizieren, ob dieser das Verhalten eines Fußgängers mit oder ohne Intention zur Querung der Ego-Fahrspur beschreibt und gegebenenfalls einen Steuerbefehl gemäß dem obigen Schritt 7) auszugeben.
Das erfindungsgemäße Fahrerassistenzsystem oder eine seiner vorteilhaften Weiterbildungen kann

c) weiter eine Positionsbestimmungseinrichtung zur Bestimmung der aktuellen Koordinaten des Kraftfahrzeugs und digitale Kartendaten, umfassend die aktuellen Koordinaten des Kraftfahrzeugs, aufweisen oder darauf Zugriff haben, und

10) Fahrbahnränder sowie Fußgängerüberwege, wie etwa Zebrastreifen, Ampeln, Verkehrsinseln, Kreuzungen, und Wartebereiche für Fußgänger, insbesondere solche von öffentlichen Verkehrsmitteln, im erfassten Umfeld des Kraftfahrzeugs ergänzend oder alternativ zu einer Auswertung von Daten der fahrzeugseitigen und/oder infrastrukturseitigen Umfeld-Erfassungseinrichtung auch auf Grundlage der mittels der Positionsbestimmungseinrichtung ermittelten aktuellen Koordinaten des Kraftfahrzeugs und Abgleich dieser mit entsprechenden Informationen in den digitalen Kartendaten, umfassend die aktuell gegebenen Koordinaten des Kraftfahrzeugs, zu ermitteln.

Gemäß noch einer weiteren vorteilhaften Weiterbildung des Fahrerassistenzsystems kann dieses auch

d) weiter ein System zur Aufmerksamkeitsdetektion bei dem Fahrer des Kraftfahrzeugs und/oder zur Detektion der Blickrichtung des Fahrers aufweisen oder darauf Zugriff haben, und

11) den Steuerbefehl für die Ausgabe einer Warnung an den Fahrer des Kraftfahrzeugs nur auszugeben, wenn festgestellt wird, dass der Grad an Aufmerksamkeit des Fahrers einen vorgebbaren Wert unterschreitet und/oder der wenigstens eine Fußgänger mit Intention zur Querung der Ego-Fahrspur sich nicht im Blickfeld des Fahrers befindet.

Schließlich kann bei dem Fahrerassistenzsystem die Erkennungseinrichtung weiter auch dazu eingerichtet sein,

12) einen Steuerbefehl zur Abgabe von wenigstens einem Lichtsignal in das Umfeld des Kraftfahrzeugs in Form einer Projektion eines Stopp-Zeichens auf den Boden im Bereich vor dem Fußgänger mit Intention zur Querung der Ego-Fahrspur und/oder zum gezielten Anleuchten des Fußgängers mit Intention zur Querung der Ego-Fahrspur auszugeben.

Die vorliegende Erfindung wird anhand der beigefügten Zeichnungen näher erläutert.
Dabei zeigen:
1 eine schematischen Überblick über eine mögliche Ausgestaltung eines Fahrerassistenzsystems gemäß der vorliegenden Erfindung;
2 ein Beispiel für eine segmentierte Szene mit Ego-Fahrspur, Straßen-Zone, Gemischt-Zone und Gehweg-Zone;
3 Beispiele für schematische Darstellungen von Bildern der kontextbasierten Bewegungshistorie.
Die Darstellungen in den Figuren sind rein schematisch und nicht maßstabsgerecht. Innerhalb der Figuren sind gleiche oder ähnliche Elemente mit gleichen Bezugszeichen versehen.
Die nachfolgend erläuterten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar. Die vorliegende Erfindung ist selbstverständlich nicht auf diese Ausführungsformen beschränkt.
Die in der obigen Beschreibung genannten Merkmale und Merkmalskombinationen sowie die in der nachfolgenden Beschreibung von Ausführungsformen, Ausführungsbeispielen und der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Das erfindungsgemäße Verfahren sowie das erfindungsgemäße Fahrerassistenzsystem können sowohl in herkömmlichen Kraftfahrzeugen Verwendung finden als auch in zukünftigen Kraftfahrzeugen, mit denen ein teil-, hoch oder voll automatisiertes Fahren möglich sein wird. Bei einem „automatisierten“ Fahren übernehmen fahrzeugseitige Systeme die Fahraufgabe für mindestens einen vorgebbaren Zeitraum vom Fahrer und bewegt sich das Kraftfahrzeug vollautomatisch. Hierbei muss der Fahrer nach der derzeitigen Gesetzeslage jedoch jederzeit die Möglichkeit haben, die Fahraufgabe wieder zu übernehmen bzw. das automatisierte Fahren jederzeit zu unterbrechen. Bei einem hoch oder voll automatisierten Fahren ist letztere Option nicht notwendigerweise erforderlich.
In der nachfolgenden Beschreibung wird ganz überwiegend lediglich der Begriff „automatisiert“ verwendet. Dieser Begriff umfasst im Kontext der vorliegenden Anmeldung die Zustände „teilautomatisiert“, „hoch automatisiert“ und „voll automatisiert“, soweit sich aus dem Zusammenhang nicht eindeutig etwas anderes ergibt.
Lediglich zur besseren Veranschaulichung der Erfindung wird diese im nachfolgenden überwiegend unter Bezugnahme auf automatisiert gesteuerte Kraftfahrzeuge beschrieben, ohne dass die vorliegende Erfindung jedoch hierauf in irgendeiner Weise beschränkt wäre.
Sicherheitsrelevante Fahrerassistenzsysteme eines automatisiert gesteuerten Kraftfahrzeugs sollten idealerweise in ähnlicher oder identischer Weise wie ein menschlicher Fahrer die Verkehrssituation einschätzen können. Daher sind die derzeit bekannten, rein reaktiven Fußgängerschutzsysteme für ein automatisiert gesteuertes Kraftfahrzeug nur unzureichend geeignet. Ein aufmerksamer, menschlicher Fahrer ist nämlich in der Lage, deutlich bevor ein Fußgänger die Fahrspur des eigenen Kraftfahrzeugs (Ego-Fahrspur) betritt, die Intention des Fußgängers, die Ego-Fahrspur queren zu wollen, zu erkennen.
Vor diesem Hintergrund stellt die vorliegende Erfindung ein Verfahren und ein Fahrerassistenzsystem zur Verfügung, welche auf der Erkennung der Intention von Fußgängern zur Querung einer Ego-Fahrspur beruhen und damit der Erkenntnisfähigkeit eines menschlichen Fahrers jedenfalls deutlich näher kommen, als dies bei den rein reaktiven Fußgängerschutzsystemen nach dem Stand der Technik der Fall ist.
Intention kann definiert werden als die Ursache menschlicher Aktionen und somit ermöglicht deren Erkennung die Projektion der zukünftigen Situation mittels der erwarteten Aktionen. Im Bereich von automatisiert gesteuerten Kraftfahrzeugen kann die Erkennung der Intention eines Fußgängers auf die Erkennung beschränkt werden, ob der Fußgänger beabsichtigt, eine Ego-Fahrspur zu überqueren, wohingegen die Durchführung der Überquerung, die durch das Betreten der Ego-Fahrspur initiiert wird, als eine Aktion angesehen wird, die durch die Querungsintention verursacht wurde.
Die Klassifizierung von Fußgängern in Gruppen mit und ohne Querungsintention erlaubt es einem automatisiert gesteuerten Kraftfahrzeug, jene Fußgänger zu identifizieren, deren beabsichtigte Aktionen für die Planung des eigenen Verhaltens von Relevanz sein könnten. Daher ist ein automatisiert gesteuertes Fahrzeug auf Grundlage der vorliegenden Erfindung nicht nur dazu in der Lage, auf relevante Fußgänger frühzeitig zu reagieren, es ist auch dazu in der Lage, mit diesen in Interaktion zu treten, um Querungssituationen sicher und effizient zu lösen.
Die vorliegende Erfindung beruht auf der Erkenntnis, dass die Erkennung der Querungsintention eines Fußgängers auf Grundlage von zwei Elementen möglich ist:

– zum einen auf Grundlage der Bewegung und Körperorientierung eines Fußgängers relativ zu einem als relevant festgelegten Fahrbahnrand; und
– zum anderen auf Grundlage der aktuellen Position eines Fußgängers relativ zu relevanten Infrastruktureinrichtungen (Szenen-Elementen), insbesondere zu Fußgängerüberwegen, wie Zebrastreifen, Ampeln, Verkehrsinseln, Kreuzungen, und zu Wartebereichen, wie etwa solchen von öffentlichen Verkehrsmitteln, etc.

Eine nochmals verbesserte Erkennung der Querungsintention kann erreicht werden, wenn – wie dies gemäß einer vorteilhaften Weiterbildung des Verfahrens und des Fahrerassistenzsystems vorgesehen ist – zusätzlich noch eine Beschreibung der Kopfbewegung(en) und/oder Körperpose(n) des wenigstens einen Fußgängers während des vorgebbaren Zeitraums bis zum aktuellen Zeitpunkt erstellt wird und mit in die Bildung des Merkmalsvektors einbezogen wird.
1 zeigt einen Überblick über ein Beispiel einer möglichen Ausführungsform eines Fahrerassistenzsystems 1 gemäß der vorliegenden Erfindung. Anhand der Erläuterung der Elemente von 1 sowie anhand der 2 und 3 werden im nachfolgenden ein bevorzugtes Ausführungsbeispiel sowohl des Fahrerassistenzsystems 1 als auch des Verfahrens gemäß der vorliegenden Erfindung veranschaulicht.
Wie in 1 dargestellt ist, weist das Fahrerassistenzsystem 1 eine Umfeld-Erfassungseinrichtung 2 zum Erfassen eines vorgebbaren Bereichs im Umfeld eines Kraftfahrzeugs 9 in zeitlicher Abfolge auf. Umfeld-Erfassungseinrichtungen 2, mit denen Bildinformationen bezüglich des Umfelds eines Kraftfahrzeugs 9 in zeitlicher Abfolge (etwa Frames/s, wobei bspw. Frames einen Wert 5, 10, 15, 18, 20, 25, 30, 40 oder 50, sowie einen beliebigen Wert zwischen den konkret angegebenen Werten aufweisen kann) erhalten werden können, etwa unter Verwendung von einer oder mehreren Kameraeinrichtungen für (für einen Menschen) sichtbares Licht, für einen Menschen unsichtbares Licht, von Radareinrichtungen, Lidareinrichtungen, Time-of-Flight-Einrichtungen, etc., sind dem Fachmann aus dem Stand der Technik hinlänglich bekannt, sodass auf derartige (fahrzeugseitige und/oder infrastrukturseitige) Umfeld-Erfassungseinrichtungen 2 in der vorliegenden Anmeldung nicht näher eingegangen zu werden braucht. Auch wird und kann ein Fachmann aufgrund der hier erläuterten Ziele und Zwecke der vorliegenden Erfindung aus den zum jeweiligen Zeitpunkt zur Verfügung stehenden Umfeld-Erfassungseinrichtungen 2 eine oder mehrere geeignete auswählen.
Der vorgebbare Bereich im Umfeld des Kraftfahrzeugs 9 wird regelmäßig einer sein, der sich von der Front des Kraftfahrzeugs 9 aus nach vorne erstreckt, wobei der Bereich mit zunehmenden Abstand zur Front des Kraftfahrzeugs 9 eine größere Breite einnimmt oder einen vorgebbaren Bereich links vor und rechts vor der Front des Kraftfahrzeugs 9 umfasst. Die Aufweitung des Bereichs sowie die Größe des vorgebbaren Bereichs können gegebenenfalls in Abhängigkeit von der Geschwindigkeit des Fahrzeugs, einer gegebenen Geschwindigkeitsbegrenzung, einem Straßentyp, etc. veränderlich sein.
Neben einer oder mehreren Umfeld-Erfassungseinrichtungen 2 kann das Fahrerassistenzsystem 1 auch eine (in 1 nicht dargestellte) Positionsbestimmungseinrichtung zur Bestimmung der aktuellen Koordinaten des Kraftfahrzeugs 9 und digitale Kartendaten, umfassend die aktuellen Koordinaten des Kraftfahrzeugs 9, aufweisen oder darauf Zugriff haben. Bei einer solchen Positionsbestimmungseinrichtung kann es sich bspw. um eine satellitengestützte Positionsbestimmungseinrichtung unter Nutzung eines Global Navigation Satellite System (GNSS) (etwa GPS oder GLONASS) und/oder um eine Positionsbestimmungseinrichtung unter Nutzung von Mobilfunksignalen und/oder von WLAN-Sendeeinrichtungen handeln. Auch derartige Positionsbestimmungseinrichtungen und die damit durchgeführt Verfahren zur Positionsbestimmung sind einem Fachmann auf dem vorliegenden Gebiet bekannt.
Bei den digitalen Kartendaten kann es sich bspw. um solche handeln, die bei einer fahrzeugseitigen Navigationseinrichtung oder dem Fahrerassistenzsystem 1 vorhanden sind oder auf die die Navigationseinrichtung und/oder das Fahrerassistenzsystem 1 (gegebenenfalls online) Zugriff hat.
Weiter weist das Fahrerassistenzsystem 1 eine Erkennungseinrichtung 3 auf, bei der es sich bspw. um eine oder mehrere eigenständige digitale Recheneinrichtungen des Kraftfahrzeugs 9 handeln kann oder um eine oder mehrere Recheneinrichtungen, die auch andere Aufgaben im Kraftfahrzeug 9 übernehmen. Auch kann bspw. die Umfeld-Erfassungseinrichtung 2 bereits eine digitale Recheneinrichtung aufweisen, die dann insoweit auch als Element der Erkennungseinrichtung 3 angesehen werden kann. Auf der Erkennungseinrichtung 3 sind ein oder mehrere Programme ablauffähig installiert, bei deren Ausführung die für die vorliegende Erfindung erforderlichen Verfahrensschritte durchgeführt werden. Die Erkennungseinrichtung 3 weist selbstverständlich die erforderlichen Ein- und Ausgänge, Speichereinrichtungen, etc. auf und ist in geeigneter Weise mit den anderen Elementen des Fahrerassistenzsystems 1 sowie gegebenenfalls erforderlichen Einrichtungen des Kraftfahrzeugs 9 operativ und/oder in Signalverbindung verbunden.
Da einem Fachmann eine solche Erkennungseinrichtung 3, deren mögliche Aufbau, sowie deren mögliches Zusammenwirken mit der/den Umfeld-Erfassungseinrichtung(en) 2, der optionalen Positionsbestimmungseinrichtung, den optionalen digitalen Kartendaten sowie fahrzeugseitigen Einrichtungen bekannt sind, braucht auch diesbezüglich in der vorliegenden Anmeldung nicht näher eingegangen zu werden.
Bei dem Verfahren und dem Fahrerassistenzsystem kann mit der Erfassung des wenigstens einen Fußgängers 8 begonnen werden, sobald dieser in den Erfassungsbereich der Umfeld-Erfassungseinrichtung(en) 2 gelangt. Der vorgebbare Zeitraum bis zum aktuellen Zeitraum, in dem die Bewegung und Körperorientierung des wenigstens einen Fußgängers, ermittelt wird, muss selbstverständlich ausreichend lang bemessen sein, um mit hinreichender Sicherheit eine zutreffende Einschätzung der Intention des Fußgängers 8 zu erhalten. Nach dem derzeitigen Kenntnisstand der Erfinderin kann für den „Beobachtungszeitraum“ bis zum aktuellen Zeitpunkt eine Zeitdauer im Bereich von 0,1 s, 0,2 s, 0,3 s, 0,4 s oder 0,6 s ausreichend sein, oder anders ausgedrückt können eine Abfolge von etwa 3, 4, 5, 6, 7, 8, 9 oder 10 Frames in zeitlicher Abfolge ausreichend sein. Bei einer mittleren Framerate von 18/s bis 20/s entspräche dies einer Zeitdauer im Bereich von 0,15 s bis 0,55 s.
Bezüglich der nachfolgenden Beschreibung wird davon ausgegangen, dass aufgrund von Daten der Umfeld-Erfassungseinrichtung 2 sowie optional mit Hilfe einer Positionsbestimmungseinrichtung und digitalen Kartendaten die aktuelle Position des hier betrachteten einen Fußgängers, die Position und der Verlauf der Fahrspur des eigenen Kraftfahrzeugs 9 (Ego-Fahrspur 4) und die Fahrbahnränder, bspw. in Kraftfahrzeug-zentrierten Koordinaten bekannt sind. Es wird weiter davon ausgegangen, dass die Position von Infrastruktur-Elementen, wie bspw. Fußgängerüberwege und Wartebereiche für Fußgänger bekannt sind. Diese Informationen können mittels (aus dem Stand der Technik bekannter) Bilderfassung und -auswertung und/oder aus zur Verfügung stehenden digitalen Straßenkarten erhalten werden.
Ein Indikator zur Ermittlung der Erkennung der Intention eines Fußgängers, einen Ego-Fahrspur 4 zu überqueren, ist seine Bewegung in Bezug auf die Ego-Fahrspur 4. Diese Bewegung kann bspw. mittels eines Bildes der kontextbasierten Bewegungshistorie beschrieben werden (siehe 1).
Hierzu wird in einem ersten Schritt der vorgegebene Bereich im Umfeld des Kraftfahrzeugs 9 in geeignete Bereiche segmentiert. Diese geeigneten Bereiche umfassen bei dem in 2 dargestellten Beispiel eine „Ego-Fahrspur“ 4, die durch den Bereich der eigenen Fahrspur des Kraftfahrzeugs 9 definiert ist; eine „Straßen-Zone“ 5 die alle nicht-eigenen Fahrspuren umfasst; eine „Gemischt-Zone“ 6, die Bereiche zwischen den Fahrspuren und dem Gehsteig umfassen, wie bspw. Standstreifen oder Haltestellen und Einfahrten von Bussen; und „Gehsteig-Zonen“ 7, die von den Fahrspuren (Ego-Fahrspur 4 und Straßen-Zone 5) oder der Gemischt-Zone 6 bspw. durch einen Randstein separiert sein können.
Die hier betrachteten vier verschiedenen Bereiche sind durch die in 2 beispielhaft dargestellten Spurbegrenzungen begrenzt und können als Klothoide mit Positionsattributen (bspw. ego-links, ego-rechts) und Typattributen (bspw. durchgezogene Linie, Randstein) modelliert sein.
In einem nächsten Schritt werden die relevanten Fahrbahnränder ermittelt. In Abhängigkeit von der Position des Fußgängers sowie der Lage der Gehsteig-Zone(n) 7 und der übrigen Zonen 4, 5, 6, können unterschiedliche Fahrbahnränder für die Beschreibung der Bewegung eines Fußgängers 8 relevant sein. Wenn bspw. sich der Fußgänger 8 auf der rechtsseitigen Gehsteig-Zone 7 befindet und sich die Ego-Fahrspur 4 benachbart zur Gehsteig-Zone 7 (ohne eine dazwischenliegende Gemischt-Zone 6) anschließt, ist die Bewegung des Fußgängers 8 zum rechten Rand der Ego-Fahrspur 4 die expressivste zur Beschreibung der Bewegung des Fußgängers 8 zu der Ego-Fahrspur 4. Befindet sich eine Gemischt-Zone 6 zwischen der Ego-Fahrspur 4 und der Gehsteig-Zone 7, kann der relevante Rand bspw. ein Bordstein sein, der die Gemischt-Zone 6 von der Gehsteig-Zone 7 separiert, da die Bewegung des Fußgängers 8 zu der Gemischt-Zone 6 bereits ein Indikator für seine Intention ist, die benachbarte Ego-Fahrspur 4 zu überqueren.
Danach wird ein normalisierter Ausschnitt der relevanten Fahrbahnränder generiert, und anschließend normalisiert bezüglich der Körperorientierung und der Fahrbahnseite des Fußgängers 8. Hierzu werden in vorgegebenen Zeitabständen kontextbasierte Bildausschnitte (Fahrbahnrandbilder) erzeugt, die eine Vogelperspektiv-Ansicht der ermittelten relevanten Fahrbahnränder repräsentieren und auf die Position des Fußgängers 8 zentriert sind. Das Rechteck im rechten Bereich von 2 stellt die Konturen eines auf die Position des Fußgängers 8 zentrierten kontextbasierten Bildausschnitts dar.
Nachdem alle relevanten Fahrbahnränder aufgezeichnet sind, wird der kontextbasierte Bildausschnitt um die gegebene Körperorientierung des Fußgängers 8 gedreht und gegebenenfalls horizontal gewendet, um für die Fälle, bei denen ein Fußgänger 8 rechts oder links vom (vor dem) Fahrzeug positioniert ist, die gleiche graphische Darstellung zu erhalten. So wird zum Beispiel die Situation eines Fußgängers 8, der auf eine gerade Straße blickt durch einen kontextbasierten Bildausschnitt mit einer horizontalen Linie beschrieben. Ein Fußgänger 8, der parallel zur Straße orientiert ist erhält einen kontextbasierten Bildausschnitt mit einer vertikalen Linie, wohingegen die Seite der Linie davon abhängt, ob der Fußgänger 8 in Richtung des sich nähernden Fahrzeugs orientiert ist (Linie befindet sich auf der rechten Seite) oder diesem den Rücken zugekehrt (Linie befindet sich auf der linken Seite). Eine Linie, die sich nahe dem Zentrum des kontextbasierten Bildausschnitts befindet zeigt immer einen Fußgänger 8 an, der sich nahe dem Fahrbahnrand befindet.
In einem weiteren Schritt wird eine Aktualisierung der Bewegungshistorie vorgenommen. Um die Bewegung des Fußgängers 8 darzustellen, wird der aktuelle Fahrbahnrand-Bildausschnitt mit der Sequenz von vorhergehenden Bildausschnitten zu einem kontextbasierten Bild der Bewegungshistorie (Context-Based Movement History Image = CMHI) kombiniert. Wird das Delta zwischen zwei Zeitschritten konstant gehalten, umfasst das CMHI auch die Geschwindigkeit der Bewegung des Fußgängers 8 kodiert durch den Abstand von aufeinanderfolgenden Rändern.
Beispielhafte Darstellungen von Bildern der kontextbasierten Bewegungshistorie sind in 3 für verschiedene typische Bewegungen des Fußgängers 8 dargestellt. (In 3 sind lediglich der Übersichtlichkeit halber nur in der linken Abbildung Bezugszeichen für den Fußgänger 8 und das Kraftfahrzeug 9 eingefügt.) Der Fußgänger 8 startet jeweils an der linienhaft dargestellten Position und bewegt sich entlang der gestrichelten Linie zu der mit durchgezogener Linie dargestellten Position. Die in 3 dargestellte Situation zeigt beispielhaft eine „Einbahnstraßensituation“ mit einer Ego-Fahrspur 4 und einem Ego-Kraftfahrzeug 9.
In einem nächsten Schritt wird ein Merkmalsvektor erzeugt, der die Bewegungs-Information des Bilds der kontextbasierten Bewegungshistorie erfasst. Beispielsweise kann hierzu, ähnlich wie in Köhler S., et al.: „Stationary Detection of the Pedestrian‘s Intention at Intersections", IEEE Intelligent Transportation Systems Magazine, Band 5, Nr. 4, Seiten 87–99, 2013, beschrieben ist, ein Deskriptor, ähnlich dem Histogramm an orientierten Gradienten (HOG) verwendet werden (MCHOG – Motion Contour Image based HOG), mit geeigneten Anpassungen an die ursprüngliche, in Dalal N., et al.: „Histograms of oriented gradients for human detection", Computer Vision and Pattern Recognition, IEEE Computer Society Conference, Band 1, Seiten 886–893, 2005, beschriebene Implementierung.
In Abweichung von dem ursprünglich beschriebenen HOG-Deskriptor werden nur die Zellen-Histogramme durch Anwenden einer L2-Norm normalisiert, eine weitere Normalisierung über Zellblöcke entfällt. Schließlich werden alle normalisierten Zellen-Histogramme miteinander verknüpft und es wird die durch die Szenensegmentierung bestimmte Zonenzugehörigkeit des Fußgängers 8 in Form einer Ganzzahl vorangestellt.
Da die Bilder der kontextbasierten Bewegungshistorie von Fußgängern 8 mit einem konstanten Abstand und Körperorientierung zu ihren relevanten Straßenrändern (bspw. stehende Fußgänger 8 oder solche die parallel zu einem Rands gehen) keine Information bezüglich der Länge des beobachteten Verhaltens aufweisen, kann optional die Zeit zu dem Deskriptor hinzugefügt werden, die seit dem Erscheinen des Fußgängers 8 vergangenen ist.
Wie 1 weiter entnommen werden kann, wird durch die Erkennungseinrichtung 3 weiter auch ein Merkmalsvektor bezüglich Fußgängerüberwege erzeugt.
Um die Anwesenheit von Fußgängerüberwegen, wie bspw. Fußgängerampeln, Zebrastreifen und Verkehrsinseln abzubilden, kann ein sogenannter Fußgängerüberwegemerkmalsvektor (Crosswalk Occupancy Descriptor = COD) erzeugt werden, der die Position dieser Szenenelemente in Bezug auf die aktuelle Position und Körperorientierung des Fußgängers 8 beschreibt.
Der COD ist beschränkt auf die Beschreibung des gegenwärtigen räumlichen Layouts. Da die Ränder der Übergänge jedoch stets mit Fahrbahnrändern korrespondieren ist die Historie der Bewegung des Fußgängers 8 zu dem Übergang bereits in dem Bild der kontextbasierten Bewegungshistorie erfasst.
Um den COD zu erzeugen, können wiederum kontextbasierte Bildausschnitte erzeugt werden, die in diesem Fall eine Vogelperspektiv-Ansicht des gegebenen Fußgängerüberwegebereichs repräsentieren, zentriert auf die Position des Fußgängers 8. Analog zu dem Straßenrand-Bildausschnitt wird auch der Fußgängerüberwege-Bildausschnitt gedreht und gegebenenfalls horizontal gewendet.
Dann wird der Bildausschnitt in Zellen mit einer vorgebbaren Anzahl an Pixel aufgeteilt und es wird der prozentuale Anteil an Pixeln bei jeder Zelle ermittelt, der durch den Fußgängerüberwegebereich belegt ist. Schließlich werden alle Zellbelegungs-Werte miteinander verknüpft und der Typ an Fußgängerüberweg wird in Form einer Ganzzahl vorangestellt, was den COD ergibt.
Weiter wird ein Wartebereichsmerkmalsvektor erstellt.
Um das Verhalten von Fußgängern 8 darzustellen, während diese bspw. auf einem Bus warten, kann das räumliche Layout von Wartebereichen in Bezug auf die Position und Körperorientierung des Fußgängers 8 durch Erzeugen eines Wartebereichsmerkmalsvektors (Waiting Area Occupancy Descriptor = WOD) beschrieben werden. Der WOD kann analog zu dem COD gebildet werden, mit der einzigen Abweichung dahin, dass keine Ganzzahl vorangestellt wird, die den Wartebereich definiert.
Für die merkmalbasierte Klassifikation kann bspw. eine zweiklassen Support Vector Machine (SVM) verwendet werden mit einer radialen Basisfunktion als Kernel. Ebenso kann hierfür ein anderer geeigneter Algorithmus verwendet werden, etwa ein Random Forest- oder AdaBoost-Algorithmus. Der jeweils verwendete Algorithmus wird mit Beispieldaten, die sowohl Fußgänger 8 mit einer Querungsintention, als auch solche ohne Querungsintention beinhalten, trainiert.
Mit einem Kontext-basierten Merkmals-Deskriptor in Kombination mit einem geeigneten und trainierten (Lern)Algorithmus ist es gemäß der vorliegenden Erfindung möglich, die Intention eines Fußgängers 8 zum Überqueren einer Ego-Fahrspur 4 mit großer Sicherheit und frühzeitig zu erkennen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102014005186 A1 [0005]
DE 102015015021 A1 [0006]

Zitierte Nicht-Patentliteratur

Köhler, S. et al.: „Early Detection of the Pedestrian’s Intention to Cross the Street“; IEEE International Conference on Intelligent Transportation Systems (ITSC), Anchorage, AK, USA, 16.09.2012, S. 1759–1764 [0007]
Köhler S., et al.: „Stationary Detection of the Pedestrian‘s Intention at Intersections“, IEEE Intelligent Transportation Systems Magazine, Band 5, Nr. 4, Seiten 87–99, 2013 [0070]
Dalal N., et al.: „Histograms of oriented gradients for human detection“, Computer Vision and Pattern Recognition, IEEE Computer Society Conference, Band 1, Seiten 886–893, 2005 [0070]

Claims

Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, umfassend die Schritte: a) Erfassen eines vorgebbaren Bereichs im Umfeld des Kraftfahrzeugs mittels einer fahrzeugseitigen und/oder infrastrukturseitigen Umfeld-Erfassungseinrichtung in zeitlicher Abfolge, und b) Detektion von wenigstens einem Fußgänger im erfassten Umfeld des Kraftfahrzeugs mittels Daten der fahrzeugseitigen und/oder infrastrukturseitigen Umfeld-Erfassungseinrichtung; dadurch gekennzeichnet, dass weiter c) Fahrbahnränder sowie Fußgängerüberwege, wie etwa Zebrastreifen, Ampeln, Verkehrsinseln, Kreuzungen, und Wartebereiche für Fußgänger, wie etwa solche von öffentlichen Verkehrsmitteln, in dem erfassten Umfeld des Kraftfahrzeugs ermittelt werden; d) wenigstens ein relevanter Fahrbahnrand in dem erfassten Umfeld des Kraftfahrzeugs festgelegt wird; e) eine Beschreibung der Bewegung und Körperorientierung des wenigstens einen Fußgängers während eines vorgebbaren Zeitraums bis zum aktuellen Zeitpunkt und seiner aktuellen Endposition relativ zu einem in dem erfassten Umfeld des Kraftfahrzeugs als relevant festgelegten Fahrbahnrand erstellt wird; f) eine Beschreibung der aktuellen Position und Körperorientierung des wenigstens einen Fußgängers relativ zu wenigstens einem in dem erfassten Umfeld des Kraftfahrzeugs ermittelten Fußgängerüberweg, wie etwa einem Zebrastreifen, einer Ampel, einer Verkehrsinsel, einer Kreuzung, oder einem Wartebereich für Fußgänger, insbesondere einem von öffentlichen Verkehrsmitteln, erstellt wird; g) die Beschreibungen gemäß der Schritte e) und f) zu einem Merkmalsvektor kombiniert werden; h) der Merkmalsvektor gemäß Schritt g) dahin klassifiziert wird, ob dieser das Verhalten eines Fußgängers mit oder ohne Intention zur Querung der Ego-Fahrspur beschreibt; und i) für den Fall, dass der Merkmalsvektor das Verhalten eines Fußgängers mit Intention zur Querung der Ego-Fahrspur beschreibt, an einen Fahrer des Kraftfahrzeugs eine Warnung in Bezug auf den Fußgänger mit Intention zur Querung der Ego-Fahrspur ausgegeben wird, bei dem Kraftfahrzeug eine Geschwindigkeitsanpassung vorgenommen wird, und/oder wenigstens ein Lichtsignal in das Umfeld des Kraftfahrzeugs abgegeben wird.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass weiter auch j) eine Beschreibung der Kopfbewegung(en) und/oder Körperpose(n) des wenigstens einen Fußgängers in dem vorgebbaren Zeitraum bis zum aktuellen Zeitpunkt erstellt wird; und k) die Beschreibungen gemäß der Schritte e) und f) von Anspruch 1 sowie von Schritt j) zu einem Merkmalsvektor kombiniert werden.
Verfahren gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass Fahrbahnränder sowie Fußgängerüberwege, wie etwa Zebrastreifen, Ampeln, Verkehrsinseln, Kreuzungen, und Wartebereiche für Fußgänger, insbesondere solche von öffentlichen Verkehrsmitteln, im erfassten Bereich im Umfeld des Kraftfahrzeugs ergänzend oder alternativ zu einer Auswertung von Daten der fahrzeugseitigen und/oder infrastrukturseitigen Umfeld-Erfassungseinrichtung auch auf Grundlage von mittels einer Positionsbestimmungseinrichtung ermittelter aktueller Koordinaten des Kraftfahrzeugs und Abgleich dieser Koordinaten mit entsprechenden Informationen in zur Verfügung stehenden digitalen Kartendaten, umfassend die aktuell gegebenen Koordinaten des Kraftfahrzeugs, ermittelt werden.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausgabe einer Warnung an den Fahrer des Kraftfahrzeugs nur erfolgt, wenn mittels eines Systems zur Aufmerksamkeitsdetektion und/oder zur Detektion der Blickrichtung des Fahrers festgestellt wird, dass der Grad an Aufmerksamkeit des Fahrers einen vorgebbaren Wert unterschreitet und/oder der wenigstens eine Fußgänger mit Intention zur Querung der Ego-Fahrspur sich nicht im Blickfeld des Fahrers befindet.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Abgabe von wenigstens einem Lichtsignal in das Umfeld des Kraftfahrzeugs die Projektion eines Stopp-Zeichens auf den Boden im Bereich vor dem wenigstens einen Fußgänger mit Intention zur Querung der Ego-Fahrspur und/oder ein gezieltes Anleuchten des wenigstens einen Fußgängers mit Intention zur Querung der Ego-Fahrspur umfasst.
Fahrerassistenzsystem (1) für ein Kraftfahrzeug (9), umfassend a) eine fahrzeugseitige und/oder infrastrukturseitige Umfeld-Erfassungseinrichtung (2) zum Erfassen eines vorgebbaren Bereichs im Umfeld eines Kraftfahrzeugs (9) in zeitlicher Abfolge, und b) eine Erkennungseinrichtung (3) zur Detektion von wenigstens einem Fußgänger (8) im erfassten Umfeld des Kraftfahrzeugs (9) mittels Daten der fahrzeugseitigen und/oder infrastrukturseitigen Umfeld-Erfassungseinrichtung (2); dadurch gekennzeichnet, dass die Erkennungseinrichtung (3) weiter dazu eingerichtet ist, 1) Fahrbahnränder sowie Fußgängerüberwege, wie etwa Zebrastreifen, Ampeln, Verkehrsinseln, Kreuzungen, und Wartebereiche für Fußgänger (8), insbesondere solche von öffentlichen Verkehrsmitteln, in dem erfassten Umfeld des Kraftfahrzeugs (9) zu ermitteln; 2) wenigstens einen relevanten Fahrbahnrand in dem erfassten Umfeld des Kraftfahrzeugs (9) festzulegen; 3) eine Beschreibung der Bewegung und Körperorientierung des wenigstens einen Fußgängers (8) während eines vorgebbaren Zeitraums bis zum aktuellen Zeitpunkt und seiner aktuellen Endposition relativ zu einem in dem erfassten Umfeld des Kraftfahrzeugs (9) als relevant festgelegten Fahrbahnrand zu erstellen; 4) eine Beschreibung der aktuellen Position des Fußgängers (8) relativ zu wenigstens einem in dem erfassten Umfeld des Kraftfahrzeugs (9) ermittelten Fußgängerüberweg, wie etwa einem Zebrastreifen, einer Ampel, einer Verkehrsinsel, einer Kreuzung, oder zu einem Wartebereich für Fußgänger (8), insbesondere einem von öffentlichen Verkehrsmitteln, zu erstellen; 5) die Beschreibungen gemäß der Punkte 3) und 4) zu einem Merkmalsvektor zu kombinieren; 6) den Merkmalsvektor dahin zu klassifizieren, ob dieser das Verhalten eines Fußgängers (8) mit oder ohne Intention zur Querung einer Ego-Fahrspur (4) beschreibt; und 7) für den Fall, dass der Merkmalsvektor das Verhalten eines Fußgängers (8) mit Intention zur Querung der Ego-Fahrspur (4) beschreibt, einen Steuerbefehl zur Ausgabe einer Warnung in Bezug auf den Fußgänger (8) mit Intention zur Querung der Ego-Fahrspur (4) an einen Fahrer des Kraftfahrzeugs (9), zur Anpassung der Geschwindigkeit des Kraftfahrzeugs (9) und/oder zur Abgabe von wenigstens einem Lichtzeichen in das Umfeld des Kraftfahrzeugs (9) auszugeben.
Fahrerassistenzsystem (1) gemäß Anspruch 6, dadurch gekennzeichnet, dass die Erkennungseinrichtung (3) weiter dazu eingerichtet ist, 8) eine Beschreibung der Kopfbewegung(en) und/oder Körperpose(n) des wenigstens einen Fußgängers (8) während des vorgebbaren Zeitraums bis zum aktuellen Zeitpunkt zu erstellen; und 9) die Beschreibungen gemäß der Schritte 3) und 4) von Anspruch 6 sowie von Schritt 8) zu einem Merkmalsvektor zu kombinieren.
Fahrerassistenzsystem (1) gemäß Anspruch 6 oder 7, dadurch gekennzeichnet, dass es c) weiter eine Positionsbestimmungseinrichtung zur Bestimmung der aktuellen Koordinaten des Kraftfahrzeugs (9) und digitale Kartendaten, umfassend die aktuellen Koordinaten des Kraftfahrzeugs (9), aufweist oder darauf Zugriff hat, und die Erkennungseinrichtung (3) weiter dazu eingerichtet ist, 10) Fahrbahnränder sowie Fußgängerüberwege, wie etwa Zebrastreifen, Ampeln, Verkehrsinseln, Kreuzungen, und Wartebereiche für Fußgänger, insbesondere solche von öffentlichen Verkehrsmitteln, im erfassten Umfeld des Kraftfahrzeugs (9) ergänzend oder alternativ zu einer Auswertung von Daten der fahrzeugseitigen und/oder infrastrukturseitigen Umfeld-Erfassungseinrichtung (2) auch auf Grundlage der mittels der Positionsbestimmungseinrichtung ermittelten aktuellen Koordinaten des Kraftfahrzeugs (9) und Abgleich dieser mit entsprechenden Informationen in den digitalen Kartendaten, umfassend die aktuell gegebenen Koordinaten des Kraftfahrzeugs (9), zu ermitteln.
Fahrerassistenzsystem (1) gemäß einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass es d) weiter ein System zur Aufmerksamkeitsdetektion bei dem Fahrer des Kraftfahrzeugs (9) und/oder zur Detektion der Blickrichtung des Fahrers aufweist oder darauf Zugriff hat, und die Erkennungseinrichtung (3) weiter dazu eingerichtet ist, 11) den Steuerbefehl für die Ausgabe einer Warnung an den Fahrer des Kraftfahrzeugs (9) nur auszugeben, wenn festgestellt wird, dass der Grad an Aufmerksamkeit des Fahrers einen vorgebbaren Wert unterschreitet und/oder der wenigstens eine Fußgänger (8) mit Intention zur Querung der Ego-Fahrspur (4) sich nicht im Blickfeld des Fahrers befindet.
Fahrerassistenzsystem (1) gemäß einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass die Erkennungseinrichtung (3) weiter dazu eingerichtet ist, 12) einen Steuerbefehl zur Abgabe von wenigstens einem Lichtsignal in das Umfeld des Kraftfahrzeugs (9) in Form einer Projektion eines Stopp-Zeichens auf den Boden im Bereich vor dem Fußgänger (8) mit Intention zur Querung der Ego-Fahrspur (4) und/oder zum gezielten Anleuchten des Fußgängers (8) mit Intention zur Querung der Ego-Fahrspur (4) auszugeben.