-
Die
Erfindung betrifft eine Auswerteeinheit für ein Fahrzeug, welche von
einem Sensor erfasste Informationen auswertet. Die Informationen
betreffen hierbei in der Umgebung des Fahrzeugs befindliche Objekte,
insbesondere Personen, wie Fußgänger u. ä.
-
Im
Straßenverkehr,
insbesondere im Stadtverkehr, kann es zu Zusammenstößen zwischen Fahrzeugen
und Fußgängern kommen.
Erfolgt ein solcher Zusammenstoß,
so zieht dies in vielen Fällen schwerwiegende
Verletzungen des Fußgängers nach
sich, die mitunter tödlich
sein können.
Häufig schlägt der Fußgänger nach
dem Zusammenstoß mit dem
Kopf auf der Motorhaube auf, wobei er sich ernsthafte Schädel- und
Gehirnverletzungen zuziehen kann. Um derartige Primärfolgen
für den
Fußgänger zu
vermeiden, können
Schutzsysteme am Fahrzeug eingesetzt werden, wie z. B. Airbags,
auf welche der Fußgänger auftrifft,
oder eine aktive Motorhaube. Derartige Systeme dienen dem Schutz
des Fußgängers zu
einem Zeitpunkt, zu welchem die Kollision mit dem Fahrzeug bereits
stattgefunden hat. Auch die Sekundärfolgen, welche aus dem anschließenden Aufschlag
des Fußgängers auf
den Boden resultieren, haben gravierende Auswirkungen. Entsprechendes
gilt nicht nur für
Fußgänger, sondern beispielsweise
auch für
Radfahrer oder Tiere.
-
Es
ist vorteilhaft, wenn ein System des Fahrzeugs das Risiko einer
Kollision mit einem Fußgänger zu
erkennen vermag und bei entsprechend hoher Kollisionswahrscheinlichkeit
entsprechende Schutzmaßnahmen
einleiten kann. Hierzu ist eine Erfassung und Beurteilung der jeweiligen
Verkehrssituation notwendig. Es kann einerseits ein Bewegungszustand
des Fahrzeugs und andererseits ein Bewegungszustand der jeweils
beobachteten Person ermittelt werden. Anhand einer Extrapolation
kann das weitere Bewegungsverhalten der beiden Verkehrsteilnehmer
ermittelt werden. Durch eine Kombination der Aufenthaltswahrscheinlichkeiten
der beiden Verkehrsteilnehmer kann ein Kol lisionsrisiko abgeschätzt und
entsprechende Maßnahmen
zur Vermeiden eines Zusammenpralls ergriffen werden.
-
Voraussetzung
hierfür
ist jedoch, dass Personen, insbesondere Fußgänger als relevante Objekte
sicher erkannt werden, bzw. eine sichere Unterscheidung zwischen
nicht relevanten Objekten und relevanten Objekten, wie Fußgängern, Radfahrern Skateboard-Fahrern,
Tieren o. ä.
getroffen werden kann.
-
Es
ist bekannt, eine Personenerkennung beispielsweise aus Bildern von
Mono-Kameras über
die Methode der Silhouetten-Extraktion
und des Vergleichs dieser extrahierten Silhouetten mit in einem Speicher
abgelegten Objekt-Mustern, insbesondere Personen-Mustern durchzuführen. Bei
entsprechender Übereinstimmung
wird das unbekannte Objekt klassifiziert und als Person bzw. Fußgänger erkannt.
-
Der
Erfindung liegt die Aufgabe zugrunde, eine effiziente Auswerteeinheit
für ein
Fahrzeug aufzuzeigen, welche die Erkennung von Objekten im Straßenverkehr,
insbesondere von Personen bzw. Fußgängern eindeutig und schnell
erkennt, sowie ein entsprechendes Verfahren und ein Computerprogrammprodukt.
-
Diese
Aufgabe wird durch eine Auswerteeinheit mit den Merkmalen des Anspruchs
1, sowie durch ein Verfahren und ein Computerprogrammprodukt mit
Merkmalen von nebengeordneten Ansprüchen gelöst. Vorteilhafte Ausgestaltungen
und Weiterbildungen sind Gegenstand von Unteransprüchen.
-
Die
erfindungsgemäße Auswerteeinheit
umfasst einen Eingang zum Empfangen von von einem Sensor erfassten
Objektinformationen, welche ein in der Umgebung des Fahrzeugs befindliches
Objekt betreffen und einen Erkennungsbestandteil zum Erkennen mindestens
eines eine Person anzeigenden Indikators durch Auswertung der Objektinformationen,
wobei dieser Indikator eine menschliche Bewegung charakterisiert.
-
In
einer Weiterbildung der Erfindung umfasst die Auswerteeinheit einen
Vergleichsbestandteil zum Vergleichen der Objektinformationen mit
in einem Speicher abgelegten menschliche Bewegungen charakterisierende
Muster sowie einen Identifizierungsbestandteil zum Identifizieren
des Objekts als Person, falls die Objektinformationen als Indikator
mit wenigstens einem in dem Speicher abgelegten, menschliche Bewegungen
charakterisierenden Muster übereinstimmen.
-
Bei
den Objektinformationen handelt es sich vorzugsweise um Bildinformationen,
beispielsweise aufgenommen von einer Kamera im Bereich des sichtbaren
Lichts und/oder der Infrarot-Strahlung.
Zusätzlich
oder alternativ können
die Informationen auch Abstandsinformationen oder Relativgeschwindigkeitsinformationen
enthalten. Vorzugsweise werden von dem Sensor Informationen zu mehreren Zeitpunkten
erfasst und zur Verfügung
gestellt, so dass der Auswerteeinheit eine zeitliche Abfolge von Informationen
betreffend das Objekt zur Verfügung steht.
-
Die
von dem Sensor erfassten Informationen können der Auswerteeinheit unverarbeitet
zur Verfügung
gestellt werden. Alternativ hierzu kann der Sensor bereits Verarbeitungsschritte
durchführen
und diese verarbeiteten Daten der Auswerteeinheit zukommen lassen.
Anstelle der Verwendung eines einzelnen Sensors kann auch eine Mehrzahl
von Sensoren zum Einsatz kommen, welche die Fahrzeugumgebung detektieren
und die erfassten Informationen der Auswerteeinheit zur Verfügung stellen.
-
Die
Informationen betreffen ein Objekt, wobei diese Objektinformationen
aus den Bildinformationen des Sensors als sogenannte „Regions
of Interest” ermittelt
werden. Relevante Objekte sind vorzugsweise Personen bzw. Fußgänger, können auch Radfahrer
darstellen, welche sich in der Umgebung des Fahrzeugs befinden.
Diese Fahrzeugumgebung wird durch den Erfassungsbereich des Sensors
vorgegeben. Der Sensor kann z. B. in Vorwärtsrichtung aus dem Fahrzeug
blickend ausgerichtet sein.
-
Auch
die Verwendung eines in Rück-
oder Seitwärtsrichtung
ausgerichteten Sensors ist möglich.
-
Aus
den Bildinformationen der Umgebung werden zunächst Objekte ermittelt, die
Personen bzw. Fußgänger sein
können.
Solche „Regions
of Interest” können auch
durch weitere Sensordaten, insbesondere von komplementären Sensoren
gestützt werden.
-
Anschließend werden
aus diesen Objektinformationen von der Auswerteeinheit ein Indikator oder
mehrere Indikatoren erkannt, indem die Informationen ausgewertet
werden. Ein Indikator zeigt hierbei eine charakteristische menschliche
Bewegung einer Person bzw. eines Fußgängers an, d. h. typische Auffälligkeiten
die ein solches menschliches Bewegungsmuster charakterisieren. Das
sind solche Bewegungsmerkmale, welche eine bevorstehende oder beginnende
Bewegungsänderung
anzeigen, also bevor sie von einer Person bzw. einem Fußgänger durchgeführt wird
bzw. wenn sie zu Beginn der Bewegungsänderung erfolgt.
-
Vorteilhaft
ist die Verwendung eines Indikators oder mehrerer Indikatoren, welche
eine zwingend, also mit Sicherheit eine bevorstehende Bewegungsänderung
anzeigen. Zwingend kann die Bewegungsänderung hierbei aufgrund physikalischer
Gesetze sein: wenn sich z. B. der Körper einer Person bzw. eines
Fußgängers neigt,
muss sich der Fußgänger in
die jeweilige Richtung bewegen, da er ansonsten umfallen würde.
-
Zur
Erkennung, ob ein solcher Indikator oder mehrerer solcher Indikatoren
vorliegt, vergleicht die Auswerteeinheit die Objektinformationen
mit in einem Speicher abgelegte menschliche Bewegungen charakterisierende
Muster. Wird dabei eine Übereinstimmung
mit wenigstens einer der abgelegten Muster festgestellt, wird das
zu identifizierende Objekt als Person bzw. Fußgänger erkannt.
-
Beispielhafte
Möglichkeiten
für Indikatoren werden
im Folgenden erläutert,
wobei diese einzeln oder in beliebiger Kombination miteinander einsetzbar
sind:
Der mindestens eine Indikator kann eine Bewegung eines
bestimmten Körperteils
einer Person bzw. eines Fußgängers umfassen.
Die Auswerteeinheit analysiert in diesem Fall, ob ein detektiertes
Bewegungsmuster der Bewegung eines bestimmten Körperteils einer Person, also
eines Fußgängers entsprechen
kann und erkennt dann auf das Vorhandensein des Indikators, wenn
ein einer bestimmten Bewegung dieses Körperteils entsprechendes Muster
detektiert wird.
-
Der
mindestens eine Indikator kann eine Haltungsänderung einer Person bzw. eines
Fußgängers umfassen.
Falls die Auswerteeinheit das der Haltung des Körpers entsprechende Muster
detektiert, wird auf das Vorhandensein des Indikators erkannt, also das
Objekt als Person bzw. Fußgänger identifiziert.
-
Der
mindestens eine Indikator kann eine Änderung von Schwerpunktlage
und/oder Körperhöhe einer
Person bzw. eines Fußgängers umfassen.
Die Auswerteeinheit vergleicht die Objektinformationen des zu identifizierenden
Objekts mit dem eine Änderung
der Lage des Schwerpunktes und/oder die Körperhöhe einer Person charakterisierende
Muster und erkennt dann auf das Vorhandensein des Indikators, falls
eine Übereinstimmung
vorliegt.
-
Ferner
kann der mindestens eine Indikator eine Änderung eines Neigungswinkels
einer Person umfassen. Die Auswerteeinheit vergleicht in diesem Fall
das eine Änderung
des Neigungswinkel einer Person bzw. eines Fußgängers charakterisierende Muster
und erkennt dann auf das Vorhandensein des Indikators, falls eine Übereinstimmung
vorliegt. Ein Beispiel hierfür
ist in Bezug auf eine Person bzw. einen Fußgänger ein Lehnen in eine bestimmte
Richtung, wodurch die Körperlängsachse
sich dem Erdboden zuneigt.
-
Der
mindestens eine Indikator kann eine Änderung einer Arm- und/oder Beinbewegung
einer Person bzw. eines Fußgängers umfassen.
Die Auswerteeinheit vergleicht in diesem Fall die Objektinformationen
mit dem der Bewegung von Armen und/oder Beinen entsprechenden Muster
und erkennt dann auf das Vorhandensein des Indikators, falls eine Übereinstimmung
vorliegt.
-
Schließlich kann
der mindestens eine Indikator eine Änderung einer Kopfhaltung einer
Person bzw. eines Fußgängers umfassen.
Die Auswerteeinheit vergleicht in diesem Fall die Objektinformationen mit
einem die Drehung des Kopfes relativ zum restlichen Körper einer
Person charakterisierenden Muster und erkennt dann auf das Vorhandensein
des Indikators, falls eine Übereinstimmung
festgestellt wird.
-
Das
erfindungsgemäße Fahrzeug
umfasst eine Auswerteeinheit der beschriebenen Art, sowie den Sensor.
-
Das
erfindungsgemäße Computerprogrammprodukt
verfügt über die
Funktionalität
eines Eingangs zum Empfangen von von einem Sensor erfassten Objektinformationen,
welche ein in der Umgebung des Fahrzeugs befindliches Objekt betreffen, sowie über die
Funktionalität
eines Erkennungsbestandteils zum Erkennen mindestens eines eine
Person bzw. Fußgänger anzeigenden
Indikators durch Auswertung der Objektinformationen, wobei dieser Indikator
eine menschliche Bewegung charakterisiert; vorzugsweise über die
Funktionalität
eines Vergleichsbestandteils zum Vergleichen der Objektinformationen
mit in einem Speicher abgelegten menschliche Bewegungen charakterisierende
Muster sowie der Funktionalität
eines Identifizierungsbestandteils zum Identifizieren des Objekts
als Person, falls die Objektinformationen mit wenigstens einem in
dem Speicher abgelegten, menschliche Bewegungen charakterisierenden
Muster übereinstimmt.
-
Unter
einem Computerprogrammprodukt kann im Zusammenhang mit der vorliegenden
Erfindung neben dem eigentlichen Computerprogramm (mit seinem über das
normale physikalische Zusammenspiel zwischen Programm und Recheneinheit
hinausgehenden technischen Effekt) insbesondere ein Aufzeichnungsträger für das Computerprogramm, eine
Dateisammlung, eine konfigurierte Recheneinheit, aber auch beispielsweise
eine Speichervorrichtung oder ein Server, auf der bzw. dem zum Computerprogramm
gehörende
Dateien gespeichert sind, verstanden werden.
-
Bei
dem erfindungsgemäßen Verfahren
stehen von einem Sensor erfasste Informationen zur Verfügung, welche
ein in der Umgebung des Fahrzeugs befindliches Objekt betreffen.
Durch Auswertung der Informationen wird mindestens ein eine Person
bzw. einen Fußgänger anzeigender
Indikator erkannt, wobei dieser Indikator eine menschliche Bewegung
charakterisiert. Vorzugsweise wird durch Vergleichen der Objektinformationen
mit in einem Speicher abgelegten menschliche Bewegungen charakterisierende
Muster das Objekts als Person bzw. als Fußgänger erkannt, falls die Objektinformationen mit
wenigstens einem in dem Speicher abgelegten, menschliche Bewegungen
charakterisierenden Muster übereinstimmen.
-
Das
erfindungsgemäße Computerprogrammprodukt
und das erfindungsgemäße Verfahren eignen
sich insbesondere für
die erfindungsgemäße Auswerteeinheit,
wobei dies auch auf die Ausgestaltungen und Weiterbildungen zutreffen
kann. Hierzu können
sie weitere geeignete Schritte bzw. Funktionalitäten umfassen.
-
Im
Folgenden wird die Erfindung anhand eines Ausführungsbeispiels näher erläutert. Dabei
zeigen:
-
1:
eine Fahrsituation mit einem Fußgänger und
einem Kraftfahrzeug,
-
2:
eine Auswerteeinheit für
ein Kraftfahrzeug.
-
1 zeigt
ein Kraftfahrzeug F, welches mit einem Sensor SENS ausgestattet
ist. Der Sensor SENS dient der Erfassung der vor dem Fahrzeug F liegenden
Fahrzeugumgebung. Bei dem Sensor SENS handelt es sich vorzugsweise
um eine Videokamera, welche Bilder der Fahrzeugumgebung aufnimmt.
Es kann auch eine Mehrzahl von Sensoren SENS zur Erfassung der Fahrzeugumgebung
vorgesehen sein. Beispielsweise ist der Einsatz eines oder mehrerer
Sensoren möglich,
welche Daten zur Erfassung des Abstandes zwischen dem Fahrzeug F
und Objekten und/oder der Relativgeschwindigkeit zwischen dem Fahrzeug
F und Objekten aufnimmt.
-
Im
Erfassungsbereich des Sensors SENS befindet sich ein Fußgänger PED
als zu identifizierendes Objekt. Hierzu ist die in 2 dargestellte Auswerteeinheit
RM im Fahrzeug F vorgesehen. Von dem Sensor SENS erfasste Daten
IN werden an die Auswerteeinheit RM weitergeleitet. Diese wertet
die Daten IN aus und entscheidet aufgrund dieser Auswertung, ob
dieses Objekt ein relevantes Objekt, also ein Fußgänger PED darstellt. Ist dies
der Fall, wird über
eine Schnittstelle I ein Ausgangssignal SIG ausgegeben, damit beispielsweise
das zu erwartende Bewegungsverhalten dieses Fußgängers analysiert wird, um hieraus
eine Kollisionswahrscheinlichkeit mit dem Fahrzeug F zu bestimmen
und um ggf. rechtzeitig Fußgängerschutzeinrichtungen
des Fahrzeugs F zu aktivieren.
-
Bei
der Schnittstelle I kann es sich um eine Mensch-Maschine-Schnittstelle handeln. Über die Mensch-Maschine-Schnittstelle
kann der Fahrer des Fahrzeugs F gewarnt werden, z. B. auf akustische, optische
oder haptische Weise. Ziel dieser Warnung ist es, den Fahrer auf
den Fußgänger PED
aufmerksam zu machen, so dass durch eine darauffolgende Aktion des
Fahrers eine mögliche
Kollision mit dem Fußgänger PED
vermieden oder die Schwere der Kollision vermindert werden kann.
-
Über diese
Schnittstelle I kann auch eine Informationsdarstellung auf einem
Display erfolgen und dort der identifizierte Fußgänger in einer hervorgehobenen
Darstellung dem Fahrer angezeigt werden.
-
Zur
Identifizierung des Objektes PED als Fußgänger werden die Daten IN zunächst daraufhin untersucht,
ob ein relevantes Objekt vorhanden ist, also in den Daten sogenannte „Region
of Interest (ROI)” ermittelt.
Im Folgenden wird das noch nicht identifizierte Objekt PED als relevantes
Objekt erkannt. Die Auswerteeinheit RM verfügt über einen Speicher mit menschliche
Bewegungen charakterisierenden Mustern, also vorher ermittelte bekannte Bewegungsmerkmale
von Personen, die typische Auffälligkeiten
aufweisen und damit geeignet sind, als Indikatoren zur Identifizierung
von Fußgängern zu dienen.
Durch einen Vergleich der Daten IN mit den gespeicherten Mustern
wird entschieden, ob aktuell dieses zu identifizierende Objekt PED
ein Fußgänger ist.
-
Die
Auswerteeinheit RM kann durch eine Extraktion der Bewegungscharakteristiken
aus den Daten IN anhand der vorliegenden Indikatoren eine schnelle
Identifizierung eines unbekannten Objektes PED durchführen, indem
dieses Objekt PED mit hoher Aufzeichnungsrate in Form von Videosequenzen über einen
bestimmten Zeitraum erfasst wird. Mittels bekannter Bildverarbeitungsverfahren
wird die Silhouette des unbekannten Objekts extrahiert und beispielsweise
mit dem bekannten Verfahren des Motion History Images (MHI) die
einzelnen Bilder der Sequenzen in ein Überlagerungsbild eingeblendet,
indem die hintereinander aufgezeichneten Silhouetten mit unterschiedlichen
Grauwerten überlagert
werden.
-
Dieses
MHI-Bild wird anschießend
bezüglich der
chronologischen Veränderungen
zwischen Silhouetten hinsichtlich der Indikatoren ausgewertet, indem
hierzu die abgespeicherten Bewegungsmuster verwendet werden.
-
Bei
der Silouettenextraktion aus dem fahrenden Fahrzeug ist für das MHI-Verfahren
eine Bewegungskompensation des Hintergrundes und der Bildtiefe zu
berücksichtigen.
-
Beispiele
für solche
Indikatoren, welche sich zur Charakterisierung von typischen menschlichen Bewegungsmustern
eignen, sind:
- • Veränderung der Schwerpunktslage
oder der sichtbaren Körperhöhe des Fußgängers PED:
Bei
einer plötzlichen
Richtungsänderung
oder einer plötzlichen
Beschleunigung eines Fußgängers PED
kommt es in der Regel anfänglich
zu einem auffälligen
Absenken des Schwerpunktes des Körpers
bzw. zu einem Abducken des Körpers.
- • Veränderung
des Neigungswinkels des Körpers:
Speziell
bei raschen Richtungswechseln kommt es anfänglich zu deutlichen Neigungsänderungen des
Körpers
in Richtung der späteren
Bewegungsrichtung.
- • Veränderung
der Armbewegung:
Speziell bei einer Beschleunigung werden Armbewegungen
eines Fußgängers PED
in der Regel merklich raumgreifender und erfolgen mit einer höheren Frequenz.
- • Veränderung
der Beinbewegung:
Speziell bei einer Beschleunigung verändert sich die
Schrittlänge
und die Schrittfrequenz eines Fußgängers PED. Auch Änderungen
im Knickwinkel der Knie und der Beinanhebung treten häufig auf.
- • Veränderung
der Orientierung des Kopfes und der Blickrichtung:
Kopfdrehungen
erfolgen in der Regel dann, wenn im Anschluss eine Bewegungsänderung
in die jeweilige Richtung geplant ist; daher ermöglichen Kopfdrehungen Rückschlüs se über eine
bevorstehende Richtungsänderung.
Auch bei Geschwindigkeitsänderungen
treten oftmals Änderungen
der Kopfhaltung auf.
- • Zusätzlich sind
auch die Körperhöhe, das
Breite-zu-Höhe-Verhältnis des
Körpers,
die Fläche der
Silhouette, Umfang, Exzentrizität,
sowie Lage der Hauptachsen des Körpers
als Indikatoren geeignet und schließlich auch die Bewegungsgeschwindigkeit
und die Bewegungsorientierung einer Person.
-
Die
genannten Indikatoren sind spezifisch für einen Fußgänger PED. Werden andere Personen
betrachtet, so z. B. Fahrradfahrer oder Rollstuhlfahrer, können andere
Arten von Indikatoren herangezogen werden.
-
Die
Zuordnung von charakteristischen Merkmalsmustern zu diesen Indikatoren
kann mit Hilfe statistischer Klassifikationsmethoden erfolgen.
-
Die
Auswerteeinheit RM berücksichtigt
einen oder mehrere der Indikatoren bei der Extraktion von Bewegungscharakteristiken
aus den Objektinformationen zur Identifizierung eines unbekannten
Objektes PED, wie einen Fußgänger.
-
Hierdurch
kann die Identifizierung eines Fußgängers PED als unbekanntes Objekt
mit deutlich erhöhter
Zuverlässigkeit
vorgenommen werden.
-
Nach
Erkennen des Objekts PED als Fußgänger wird
versucht, das Kollisionsrisiko zwischen dem Fahrzeug F und dem Fußgänger PED
einzuschätzen.
Hierzu wird der aktuelle Bewegungszustand des Fahrzeugs F und des
Fußgängers PED
ermittelt und in die Zukunft extrapoliert. In Bezug auf die Bewegung
des Fahrzeugs F empfängt
die Auswerteeinheit RM die Informationen INF, welche z. B. aktuelle
Geschwindigkeit, Lenkradeinschlag usw. umfassen. In Bezug auf die
Bewegung des Fußgängers PED werden
die Informationen IN des Sensors SENS ausgewertet. Auf diese Weise
werden die wahrscheinlichen zukünftigen
Bewegungstrajektorien, d. h. die zu erwartenden Aufenthaltsorte,
oder die wahrscheinlichen zukünftigen
Aufenthaltsbereiche der beiden Verkehrsteilnehmer ermittelt. Diese
werden miteinander kombiniert, so dass festgestellt werden kann,
ob eine Kollision – entsprechend
einem Schnittpunkt der beiden Bewegungstrajektorien oder einer Schnittmenge
der beiden Aufenthaltsbereiche – droht.
-
Die
Erfindung wurde voranstehend an einem Ausführungsbeispiel beschrieben.
Es versteht sich, dass zahlreiche Änderungen und Modifikationen möglich sind,
ohne dass der Rahmen der Erfindung verlassen wird.