-
Die Erfindung betrifft ein Verfahren zum Betreiben eine Fahrerassistenzsystems eines Kraftfahrzeugs, bei welchem eine Bewegung zumindest eines lebenden Objekts in einer Umgebung des Kraftfahrzeugs prädiziert wird. Ferner betrifft die Erfindung eine Einrichtung zum Durchführen des Verfahrens sowie ein Fahrerassistenzsystem und ein Kraftfahrzeug.
-
Heutige Kraftfahrzeuge sind häufig mit Fahrerassistenzsystemen ausgestattet, wie beispielsweise ein Navigationssystem oder ein Tempomat. Einige dieser Fahrerassistenzsysteme sind darüber hinaus für den Schutz von Fahrzeuginsassen und weiteren Verkehrsteilnehmern ausgebildet. Diese können einen Fahrer des Kraftfahrzeugs in bestimmten Gefahrensituationen unterstützen. So erkennt ein Auffahrwarner meist per Kamera oder auch via Radar- oder Lidarsensor, den Abstand, in Grenzen auch die Geschwindigkeitsdifferenz, zu anderen Fahrzeugen und warnt den Fahrer, wenn die Gefahr einer Kollision erkannt wird. Ferner gibt es Fahrerassistenzsysteme, welche dazu ausgebildet sind, das Kraftfahrzeug zumindest teilautonom oder in bestimmen Fällen sogar autonom zu fahren. Dabei sind aktuell die Einsatzszenarien des autonomen Fahrens sehr begrenzt, beispielsweise auf das Einparken oder Fahrsituationen mit sehr gut definierten Rahmenbedingungen wie auf Autobahnen. Je autonomer ein Kraftfahrzeug werden soll, desto höher sind die Anforderungen beim Erfassung und Überwachen der Umgebung des Kraftfahrzeugs. Das Kraftfahrzeug muss, mittels Sensoreinheiten, die Umgebung möglichst genau erfassen, um Objekte in der Umgebung zu erkennen. Je genauer das Kraftfahrzeug die Umgebung „kennt“, desto besser können beispielsweise Unfälle vermieden werden.
-
Beispielsweise zeigt die
DE 10 2014 215 372 A1 ein Fahrerassistenzsystem eines Kraftfahrzeugs mit einer Umfeldkamera und einer Bildaufbereitungseinheit, welche für eine Aufbereitung der Bilddaten der Umfeldkamera eingerichtet ist. Ferner umfasst das Fahrerassistenzsystem eine Bildauswerteeinheit, welche zur Auswertung der aufbereiteten Bilddaten ausgebildet ist.
-
Ferner zeigt die
DE 10 2013 202 463 A1 ein Verfahren zum Ermitteln eines Bewegungsmodells eines verletzlichen Verkehrsteilnehmers, bei welchem ermittelt wird, ob sich ein verletzlicher Verkehrsteilnehmer in einer Umgebung eines Fahrzeugs befindet. Falls ermittelt wurde, dass sich ein verletzlicher Verkehrsteilnehmer in der Umgebung des Fahrzeugs befindet, wird die Position des verletzlichen Verkehrsteilnehmers ermittelt. Es werden Bewegungseinflusskenngrößen ermittelt, die repräsentativ sind für eine vorgegebene Situation und/oder eine vorgegebene Vorrichtung und/oder einen vorgegebenen signifikanten Punkt, die einen Einfluss auf eine Bewegung des detektierten verletzlichen Verkehrsteilnehmers haben können. Abhängig von den ermittelten Bewegungseinflusskenngrößen und der ermittelten Position des verletzlichen Verkehrsteilnehmers wird das Bewegungsmodell des verletzlichen Verkehrsteilnehmers ermittelt, mittels dessen eine prädizierte Position des verletzlichen Verkehrsteilnehmers ermittelbar ist.
-
Die Aufgabe der vorliegenden Erfindung besteht darin, eine Möglichkeit bereitzustellen, um die Gefahr von Unfällen weiter zu reduzieren.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
-
Die vorliegende Erfindung basiert auf der Erkenntnis, dass zwar im Stand der Technik große und/oder statische Objekte gut erkannt werden, die Erkennung und Überwachung von dynamischen Objekten, wie Fußgängern, jedoch schwierig ist. Insbesondere sind die sich daraus ergebenden positiven Folgen beim Betrieb eines Fahrerassistenzsystems noch nicht ausgeschöpft. Gelingt es also die Bewegung von Fußgängern zu prädizieren und beim Betrieb eines Fahrerassistenzsystems zu berücksichtigen, lässt sich die Gefahr von Unfällen deutlich senken.
-
Um eine Überwachung dynamischer, lebender Objekte, wie beispielweise Fußgänger, möglichst gut durchführen zu können, ist es hilfreich, wenn eine Prädiktion ihrer Bewegung getroffen, das heißt ihr zukünftiges Verhalten abgeschätzt werden kann. Für statische Überwachungskameras gibt es bereits Ansätze für die Überwachung. So wurde von Helbing für eine Simulation der Bewegungen von Fußgängern das sogenannte „Social Force Model“ entwickelt [HELBING, Dirk; MOLNAR, Peter. Social force model for pedestrian dynamics. Physical review E, 1995, 51. Jg., Nr. 5, S. 4282.]. In diesem Modell befindet sich jeder Fußgänger in einem Kraftfeld, aus dem sich durch Addition der Kräfte eine Gesamtkraft ergibt, welche auf den Fußgänger wirkt. Dieses Modell hat sich bei der Simulation von Menschenmassen bewährt, weswegen es bereits in der Vergangenheit für das Tracking von Menschenmassen verwendet wurde.
-
Gegenwärtig werden Implementierungen des „Social Force Models“ bespielweise bei der Überwachung von Fußgängern mittels statischer Überwachungskameras angewendet, nicht jedoch bei Fahrerassistenzsystemen. Beispiele hierfür in der gegenwärtigen Literatur sind: [K. Yamaguchi, A. C. Berg, L. E. Ortiz, T. L. Berg, „Who are you with and where are you going?“ in Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. IEEE, 2011, pp. 1345-1352.] oder [S. Yi, H. Li, X. Wang, „Understanding pedestrian behaviors from stationary crowd groups,“ in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 3488-3496.].
-
Die Erfindung basiert darauf, dass sich die Erkenntnisse beim Prädizieren der Bewegung von Menschenmassen auf die Bewegung einzelner Menschen anwenden lassen und damit besonders vorteilhaft beim Betrieb eines Fahrerassistenzsystems ausnutzen lassen.
-
Durch die Erfindung ist dementsprechend ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs bereitgestellt, mittels welchem eine Bewegung zumindest eines lebenden Objekts, insbesondere eines Fußgängers, in einer Umgebung des Kraftfahrzeugs prädiziert wird. In einem Schritt a) des Verfahrens werden Bewegungsmodelle hinterlegt, wobei ein jeweiliges Bewegungsmodell zumindest eine von einem weiteren Objekt abhängige Änderung der Bewegung des lebenden Objekts beschreibt. Das lebende Objekt und das zumindest eine weitere Objekt gehören jeweils einer Objektklasse an. Die Bewegungsmodelle sind für Kombinationen der Objektklassen hinterlegt, wobei das jeweilige Bewegungsmodell mittels eines jeweiligen Potentialfelds beschrieben wird. In einem Schritt b) des Verfahrens werden Messdaten betreffend die Umgebung des Kraftfahrzeugs empfangen. In einem Schritt c) des Verfahrens werden das zumindest eine lebende Objekt und das zumindest einen weiteren Objekt in der Umgebung des Kraftfahrzeugs erkannt sowie eine Relativposition der Objekte zueinander anhand der empfangenen Messdaten bestimmt. In einem Schritt d) des Verfahrens werden die Objektklassen der erkannten Objekte identifiziert. In einem Schritt e) des Verfahrens wird für das zumindest eine erfasste, lebende Objekt in einem ersten Teilschritt e) i. eine Bewegungsgleichung des lebenden Objekts erstellt. Dabei hängt die Bewegungsgleichung zumindest von der jeweiligen Relativposition des lebenden Objekts relativ zu dem zumindest einen weiteren Objekt sowie dem zumindest einen für die Kombination der in Schritt d) identifizierten Objektklassen des lebenden Objekts und des zumindest einen weiteren Objekts hinterlegten Bewegungsmodells ab. In einem zweiten Teilschritt e) ii. wird eine Bewegung des lebenden Objekts anhand der im ersten Teilschritt e) i. erstellten Bewegungsgleichung prädiziert. In einem Schritt f) des Verfahren wird das Fahrerassistenzsystem unter Einbeziehen der in Schritt e) prädizierten Bewegung des wenigsten einen lebenden Objekts betrieben, das heißt die Prädiktion der Bewegung nimmt Einfluss auf ein Verhalten des Fahrerassistenzsystems. So kann beispielsweise in Situationen, in welchen mittels des erfindungsgemäßen Verfahrens prädiziert wird, dass ein sich bewegender Fußgänger mit dem fahrendem Kraftfahrzeug kollidieren wird, beispielsweise eine Bremsunterstützung und/oder eine Kurskorrektur bei einem zumindest teilautonomen Fahren erfolgen.
-
Unter dem zumindest einen lebenden Objekt ist insbesondere ein Fußgänger zu verstehen, dabei kann beispielsweise unterschieden zwischen einem Kind, einer erwachsenen Person und einer greisen Person werden. Auch kann beispielsweise eine Person mit einer körperlichen Beeinträchtigung, welche die Mobilität der Person einschränkt, berücksichtigt werden. Darüber hinaus kann berücksichtigt werden, ob beispielsweise das Kind auf einem Roller und/oder der Erwachsener mit einem Fahrrad oder dergleichen unterwegs ist. Dabei sind beliebige Kombinationen möglich. Ferner kann ein lebendes Objekt ein Tier, wie beispielsweise ein Hund sein.
-
Das zumindest eine weitere Objekt kann eines der bisher genannten Objekte, also ein lebendes Objekt und/oder eine Gruppe von lebenden Objekten oder ein anderes Objekt wie beispielsweise ein Kraftfahrzeug, ein Ball, ein Roboter, ein Geldautomat und/oder eine Eingangstür sein. Insbesondere wird bei dem weiteren Objekt von einem dynamischen, also einem welches sich selbst bewegen kann ausgegangen. Jedoch kann das weitere Objekt ein semistatisches oder ein statisches Objekte sein. Jedes einzelne der genannten Objekte kann jeweils einer Objektklasse zugeordnet beziehungsweise in diese klassifiziert werden. Beispiele für Objektklassen sind: „erwachsener Fußgänger“, „Hund“ oder „Kraftfahrzeug“.
-
Die in Schritt a) hinterlegten Bewegungsmodelle enthalten zumindest Informationen, wie das lebendes Objekt auf eines der weiteren Objekte reagiert, das heißt, welchen Einfluss das jeweilige weitere Objekt auf die Bewegung des lebenden Objekts ausübt beziehungsweise ausüben kann. Im Bild des „Social Force Model“ gesprochen, welche Kraft das weitere Objekt auf das lebende Objekt ausübt. Mit anderen Worten charakterisiert das Bewegungsmodell den Einfluss eines Objekts, beispielsweise eines Hundes, auf das lebende Objekt, beispielsweise einen Fußgänger. Dazu werden jeweilige Bewegungsmodelle für Kombinationen hinterlegt, beispielsweise für die Kombination „Fußgänger-Hund“. Kurz gesagt, findet in Schritt a) ein Hinterlegen von Bewegungsmodellen für Kombinationen einer Objektklasse zumindest eines lebenden Objekts und einer Objektklasse zumindest eines weiteren Objekts satt, wobei die Bewegungsmodelle jeweils eine Bewegungsänderung des der Objektklasse des jeweiligen Bewegungsmodells zugeordneten lebenden Objekts aufgrund des der Objektklasse des jeweiligen Bewegungsmodells zugeordneten weiteren Objekts beschreiben.
-
Das jeweilige Bewegungsmodell wird mittels eines jeweiligen Potentialfelds beschrieben, welches insbesondere ein skalares Feld eines Potentials beschreibt. Mit anderen Worten wird die Einflussnahme des weiteren Objekts auf das lebende Objekt durch ein Potentialfeld beziehungsweise Potential bestimmt beziehungsweise beschrieben, welches beispielsweise attraktiven oder abstoßenden Charakter gegenüber dem lebenden Objekt aufweisen kann. Durch die Verwendung eines Potentialfelds kann das jeweilige Bewegungsmodell besonders einfach und dadurch beispielsweise leicht berechenbar in die Bewegungsgleichung eingearbeitet werden.
-
Ferner kann in dem jeweiligen Bewegungsmodell eine Information hinterlegt sein, welche beispielsweise bestimmte Grenzwerte in der Bewegung des lebenden Objekts vorgibt, wie beispielsweise eine Maximalgeschwindigkeit des lebenden Objekts und/oder eine maximal mögliche Bremsverzögerung und/oder eine freie beziehungsweise kräftefreie Bewegung des lebenden Objekts beschreibende Parameter. Dabei ist frei beziehungsweise kräftefrei hier so zu verstehen, dass keine Einflussnahme auf die Bewegung des lebenden Objekts durch ein anderes Objekt erfolgt, das heißt, es wirkt keine Kraft durch ein anderes Objekt auf das lebende Objekt. Diese zusätzlichen die Bewegung des lebenden Objekts charakterisierenden Informationen kann man zusammenfassend als eine Dynamik des lebenden Objekts bezeichnen. Diese Dynamik wird durch das zumindest eine weitere Objekt beeinflusst. Die Beeinflussung des lebenden Objekts, beispielsweise des Fußgängers, beruht auf der Kenntnis des lebenden Objekts über das jeweilige andere Objekt, und dient dem Fußgänger somit als jeweilige Informationsquelle, welche seine Dynamik beeinflusst.
-
Durch die hinterlegten Bewegungsmodelle kann die jeweilige Informationsquelle einzeln, das heißt ohne gegenseitige Einflussnahme, modelliert und parametriert werden. Durch das Verfahren findet eine Trennung der Dynamik und der Informationsquellen statt, was als eine Randbedingung des erfindungsgemäßen Verfahrens bezeichenbar ist. Dem lebenden Objekt wird eine Intention zugeschrieben, welche seine Bewegung charakterisiert beziehungsweise beeinflusst, beispielsweise ein Zielort, welchen es zu erreichen gilt. Es erfolgt eine Parametrisierung der Dynamik und der wenigsten einen weiteren Informationsquelle, das heißt der Einflussnahme des wenigstens einen weiteren Objekts durch das Bewegungsmodell, wodurch sich besonders vorteilhaft wenige Parameter ergeben. Dies ist im Schritt e) des erfindungsgemäßen Verfahrens bei dem Erstellen der Bewegungsgleichung vorteilhaft, weil das Verfahren dadurch beispielsweise besonders leicht skalierbar ist.
-
In dem Schritt b) des erfindungsgemäßen Verfahrens werden Messdaten, welche die Umgebung des Kraftfahrzeugs betreffen, empfangen. Dies kann beziehungsweise können beispielsweise ein Bild beziehungsweise mehrere, insbesondere zeitlich aufeinander folgende, Bilder wenigsten einer Kamera sein.
-
In Schritt c) werden, beispielsweise durch wenigstens einen geeigneten Algorithmus, Objekte in den Messdaten, beispielsweise auf wenigstens einem Bild, erkannt. Dabei wird beim Erkennen das Objekt, insbesondere das zumindest eine lebende Objekt und eine Position des Objekts in der Umgebung des Kraftfahrzeugs erfasst. Damit im Schritt e) eine Bewegungsgleichung erstellt werden kann, welche eine Änderung der Bewegung des lebenden Objekts aufgrund zumindest eines weiteren Objekts berücksichtigt, soll zumindest ein weiteres Objekt erkannt werden. Bei der Erkennung dieses weiteren Objekts wird dessen Position erfasst. Um mittels der Bewegungsgleichung im Schritt e) besonders vorteilhaft eine Einflussnahme auf die Bewegung des lebenden Objekts durch das weitere Objekt beschreiben zu können, wird aus den erkannten Positionen eine Relativposition der Objekte zueinander bestimmt.
-
Das Identifizieren der Objektklassen der erkannten Objekte findet in Schritt d) statt. Dazu wird beispielsweise, mittels einem geeigneten, als Klassifikator ausgebildeten Algorithmus, ein Abgleich der erkannten Objekte beziehungsweise von Merkmalen der erkannten Objekte mit den charakterisierenden Merkmalen einer Objektklasse durchgeführt.
-
Im Schritt e) wird für das zumindest eine erfasste lebende Objekt, dessen Bewegung überwacht werden soll, in einem ersten Teilschritt die Bewegungsgleichung erstellt. Dies erfolgt in Abhängigkeit von der jeweiligen Relativposition des lebenden Objekts zu dem zumindest einen weiteren Objekt und der für die Kombination der Objektklassen der Objekte hinterlegten Bewegungsmodelle.
-
In einem zweiten Teilschritt des Schritts e) wird die Bewegung des lebenden Objekts anhand der erstellten Bewegungsgleichung prädiziert, das heißt es wird eine, insbesondere dynamische, Bewegungsrichtung gegebenenfalls mit einer Geschwindigkeit und/oder Beschleunigung ausgegeben.
-
Angemerkt sei an dieser Stelle, dass das jeweilige Bewegungsmodell beispielsweise aus Erfahrungswerten von vorhergehenden Beobachtungen entwickelt wurde und keine allgemeine Gültigkeit haben muss. So ist es in der Realität möglich, dass Fußgänger vereinzelt von einem Hund angezogen werden, obwohl das Bewegungsmodell vorhersagt, dass Fußgänger generell Abstand von einem Hund halten. Daher kann das jeweilige Bewegungsmodell zusätzlich eine Wahrscheinlichkeit für das Auftreten der Reaktion des lebenden Objekts auf das weitere Objekt enthalten. Mittels dieser Wahrscheinlichkeit kann ein jeweiliger Gewichtungsfaktor in der Bewegungsgleichung berücksichtigt werden, sodass die auf die Bewegung einwirkenden jeweiligen Bewegungsmodelle in Abhängigkeit ihres statistischen Auftretens erfasst werden.
-
Im Schritt f) des Verfahrens wird das Fahrerassistenzsystem unter Einbeziehung der in dem Schritt e) prädizierten Bewegung des wenigstens einen lebenden Objekts betrieben. Dadurch kann das Fahrerassistenzsystem beispielsweise besonders sicher betrieben und Kollisionen des Kraftfahrzeugs mit den erkannten Objekten vermieden werden. Mittels des erfindungsgemäßen Verfahrens ist die Bewegungsgleichung und damit die Prädiktion der Bewegung des lebenden Objekts, insbesondere eines Fußgängers, besonders vorteilhaft möglich und das Fahrerassistenzsystem besonders vorteilhaft betreibbar.
-
Somit liefert das erfindungsgemäße Verfahren den Vorteil, dass für das lebende Objekt eine eigene Dynamik, welche durch die verschiedenen Informationsquellen beeinflusst wird, berücksichtigt wird. Das Verfahren ist besonders effizient und skalierbar, da beispielsweise die jeweilige Informationsquelle einzeln modelliert und parametriert wird. Insbesondere im Gegensatz zum Stand der Technik werden durch die Inbezugnahme der Informationsquellen zu einer Intention, das heißt einer gewünschten Bewegungsrichtung des lebenden Objekts, die Anzahl der Parameter minimiert und verständlich dargestellt. Des Weiteren wird die Dynamik unabhängig von jeweiligen anderen Informationsquellen berechnet, wodurch das Verfahren, insbesondere hinsichtlich der zu verwendenden Informationsquellen beziehungsweise Bewegungsmodelle, skalierbar ist. Durch eine geschickte Wahl der Bewegungsmodelle folgt eine besonders gute Parametrisierungsmöglichkeit, welche insbesondere zu einem verbesserten Gesamtergebnis bei der Prädiktion der Bewegung des lebenden Objekts führt. Ein weiterer Vorteil des Verfahrens ist, dass eine Prädiktion der Bewegung des lebenden Objekts bereits mit einem einzigen Satz Messdaten, welche die Umgebung des Kraftfahrzeugs charakterisieren, beispielsweise einem Bild zu einem ersten Zeitpunkt, möglich ist.
-
In vorteilhafter Ausgestaltung des erfindungsgemäßen Verfahrens wird die Bewegungsgleichung in Schritt e) zusätzlich in Abhängigkeit von einer jeweiligen Objektorientierung bestimmt, wobei diese dazu in Schritt c) mit bestimmt wird. Unter der Objektorientierung ist eine Orientierung des Objekts im Raum beziehungsweise eine räumliche Ausrichtung des Objekts in der Umgebung zu verstehen. Anhand der Objektorientierung des lebenden Objekts ist seine Intention durch das Verfahren besonders gut abschätzbar. Durch Einbeziehen der Objektorientierung kann die Bewegungsgleichung derart verändert werden, sodass eine besonders gute Prädiktion der Bewegung des lebenden Objekts möglich ist. Wird beispielsweise im Schritt c) erkannt, dass das lebende Objekt, beispielsweise der Fußgänger, in eine Richtung schaut, in welcher das weitere Objekt, beispielsweise der Hund, nicht sichtbar ist, nimmt der Hund keinen Einfluss auf die Bewegung des Fußgängers. Mit anderen Worten fehlt es dem Fußgänger dabei an einer Informationsquelle, welche Einfluss auf seine Dynamik nehmen könnte. Das zumindest eine erkannte weitere Objekt, welches sich in einem dem lebenden Objekt zugeordneten Sichtbereich beziehungsweise Blickfeld befindet, dient als Informationsquelle, aufgrund welcher das lebende Objekt seine Dynamik ändern kann. Die für die dem lebenden Objekt bekannten Objekte hinterlegten jeweiligen Bewegungsmodelle werden in die Bewegungsgleichung mit aufgenommen. Bewegungsmodelle von dem lebenden Objekt nicht bekannten Objekten können verworfen werden. Darüber hinaus kann die Objektorientierung des weiteren Objekts ebenso eine Rolle bei der Bestimmung der Bewegungsgleichung spielen.
-
In vorteilhafter Ausgestaltung des erfindungsgemäßen Verfahrens wird die Bewegungsgleichung in Schritt e) zusätzlich in Abhängigkeit von einer jeweiligen Bewegungsrichtung und/oder Geschwindigkeit und/oder Beschleunigung des lebenden Objekts und/oder des wenigstens einen weiteren Objekts erstellt. Dazu werden aus den Messdaten zu einem ersten Zeitpunkt ermittelte, jeweilige Positionen der erkannten Objekte mit aus Messdaten zu zumindest einem weiteren Zeitpunkt ermittelten, jeweiligen Positionen verglichen, wodurch eine jeweilige Bewegungsrichtung und/oder eine jeweilige Geschwindigkeit und/oder eine jeweilige Beschleunigung des jeweiligen Objekts bestimmbar wird. Zusätzlich zur jeweiligen Position kann dabei die jeweilige bestimmte Objektorientierung herangezogen werden, wodurch die Ermittlung der jeweiligen Bewegungsrichtung und/oder Geschwindigkeit und/oder Beschleunigung verbessert werden kann. Durch die Einbeziehung der ermittelten Bewegungsrichtungen und/oder Geschwindigkeiten und/oder Beschleunigungen aufgrund von Messdaten von zumindest zwei unterschiedlichen Zeitpunkten ist eine Verfeinerung der Bewegungsgleichung möglich, wodurch die Prädiktion der Bewegung besonders genau wird.
-
In weiterer vorteilhafter Ausgestaltung wird ein jeweiliger Gradient aus dem jeweiligen Potentialfeld gebildet und die Bewegungsgleichung in Abhängigkeit von zumindest dem jeweiligen Gradienten erstellt. Mittels des jeweiligen Gradienten kann beispielsweise ein jeweiliger Beschleunigungsvektor des jeweiligen Potentialfelds ermittelt werden. Der jeweilige Beschleunigungsvektor kann besonders einfach zur Bildung der Bewegungsgleichung beziehungsweise zur Prädiktion der Bewegung verwendet werden. Je nach gewählten Bewegungsmodellen, wenn diese beispielsweise analog zu den Kräften des bekannten „Social Force Models“ gewählt werden, kann durch Verwendung von Potenzialfeldern und Gradienten das Modell zu einem Potenzialansatz verallgemeinert werden. Dazu wird für jede Informationsquelle, das heißt jedes weitere Objekt, welches insbesondere durch das lebende Objekt wahrgenommen wird, ein Potenzial berechnet. Der jeweilige Beschleunigungsvektor ist aus dem Potentialfeld beziehungsweise dem Gradienten des jeweiligen Potentialfelds ermittelbar. Dazu wird der Gradient des jeweiligen Potentialfelds an der Position des lebenden Objekts bestimmt. Die Beschleunigungsvektoren und die daraus prädizierbare Bewegung können somit als sogenannte Steuergröße bei der Überwachung, das heißt dem Tracking des lebenden Objekts, verwendet werden. Das jeweilige Potentialfeld kann beispielsweise unter Verwendung der Erkenntnisse des „Social Force Models“ definierbar beziehungsweise abschätzbar sein. Durch die den Potentialfeldern zugrundeliegenden Potentiale erfolgt eine besonders einfache Parametrisierung der Dynamik des lebenden Objekts und des zumindest einen weiteren Objekts, der Informationsquelle, relativ zu einer von dem lebenden Objekt vorhandenen Intention. Dabei ist die Intention das eigentliche Ziel des lebenden Objekts, welches es mittels seiner Bewegung erreichen will. Ferner ist durch die Verwendung von wenigstens einem Potentialfeld und dem zugehörigen Gradienten eine besonders einfache Trennung von Dynamik und Informationsquelle möglich.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung ist im Schritt e) des Verfahrens ein weiterer Teilschritt durchführbar. Bei diesem weiteren Teilschritt wird die Bewegungsgleichung mit einer Karte der Umgebung des Kraftfahrzeugs abgeglichen und falls mittels der in Schritt e) i. ermittelten Bewegungsgleichung die in Schritt e) ii. prädizierte Bewegung aufgrund der Karteninformationen als nicht ausführbar erkannt wird, wird die Bewegungsgleichung und die Prädiktion der Bewegung anhand der Karteinformationen korrigiert. Mit anderen Worten findet ein Kartenabgleich statt, wobei in der Karte Informationen enthalten sein können, welche nicht mittels der Messdaten erfassbar sind beziehungsweise aus den Messdaten abgeleitet werden können. Beispielsweise können Informationen über Objekte in der Karte enthalten sein, welche außerhalb der Reichweite wenigstens einer die Messdaten erfassenden Sensoreinheit sind oder durch Objekte, welche durch ein erfasstes Objekt verdeckt werden. Solche Karteninformationen können beispielsweise Hindernisse wie Flüsse und/oder Straßensperrungen und dergleichen enthalten. Ferner können beispielsweise Informationen zu dem oben genannten Geldautomat und/oder beispielsweise Sehenswürdigkeiten, welche insbesondere attraktiv auf das lebende Objekt wirken können, enthalten sein. Dadurch kann beispielsweise die Intention des lebenden Objekts besonders gut abschätzbar sein. Diese Informationen der Karte können zusätzlich bei der Ermittlung der Bewegungsgleichung beziehungsweise bei der Prädiktion berücksichtigt werden. Durch den Abgleich der prädizierten Bewegung beziehungsweise der Bewegungsgleichung mit der Karte kann die Prädiktion besonders gute Ergebnisse liefern.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung ist für den Fall, dass wenigstens zwei weitere Objekte erfasst und klassifiziert werden, eine jeweilige Änderung der jeweiligen Bewegung des jeweiligen weiteren Objekts aufgrund einer gegenseitigen Wechselwirkung zwischen den wenigstens zwei weiteren Objekten und der Bewegungsgleichung des wenigstens einen lebenden Objekts berücksichtigt. Dabei wird die Wechselwirkung aus dem jeweiligen hinterlegten Bewegungsmodell und der jeweiligen Relativposition bestimmt. Das den geringsten Abstand zum Kraftfahrzeug aufweisende lebende Objekt kann das zu überwachende sein. Befinden sich beispielsweise zwei weitere Objekte in der Umgebung, deren Abstand zum Kraftfahrzeug größer ist, kann deren wechselseitiger Einfluss auf die jeweilige Bewegung des jeweils anderen Objekts ermittelt werden. Diese für die wenigstens zwei weiteren Objekte, insbesondere zusätzlich, ermittelten Bewegungen können bei der Bestimmung der Bewegungsgleichung berücksichtigt werden. Eines der beiden Objekte kann beispielsweise ein Kind und das andere Objekt ein Erwachsener sein. Für jedes dieser Objekte kann durch das jeweilige hinterlegte Bewegungsmodell mittels des Verfahrens eine Bewegung prädiziert werden. Damit kann der Einfluss auf die Bewegungsgleichung des lebenden Objekts durch die wenigsten zwei weiteren Objekte besonders realitätsnah berücksichtig werden und eine besonders guten Prädiktion der jeweiligen Bewegung der Objekte bestimmt werden. Dadurch ergibt sich der Vorteil, dass die Präzision der Prädiktion des zumindest einen lebenden Objekts weiter erhöht werden kann. Darüber hinaus besteht dadurch die Möglichkeit, mehrere Menschen zu einer Menschengruppe zusammen zu fassen. Ist eine Objektklasse, welche das Bewegungsmodell für beziehungsweise gegenüber einer Menschengruppe beschreibt hinterlegt, kann die Änderung der Bewegung aufgrund einer Menschengruppe in der Bewegungsgleichung erfasst werden. Menschengruppen können eine andere Bewegungsänderung des Fußgängers verursachen als mehrere einzelne Personen. Kann dies berücksichtigt werde, wird die Prädiktion dadurch verbessert.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung ist das zumindest eine weitere Objekt das Kraftfahrzeug selbst. Das heißt, das Kraftfahrzeug selbst wird als Einflussfaktor auf die Bewegung des lebenden Objekts berücksichtigt. Das Verfahren kennt die Objektklasse sowie Position und Bewegung des Kraftfahrzeugs. Dadurch ergibt sich ebenfalls eine verbesserte Prädiktion der Bewegung des lebenden Objekts. Dadurch kann beispielsweise ein unnötiges Bremsmanöver durch das Fahrerassistenzsystem vermieden werden, da das Kraftfahrzeug in der Regel abstoßend auf das lebende Objekt wirkt, wodurch das lebende Objekt von sich aus versucht zumindest einen Mindestabstand zu Kraftfahrzeug einzuhalten. Ohne die Einbeziehung des Kraftfahrzeugs als Objekt könnte diese Informationen nicht in die Bewegungsgleichung einfließen, wodurch das Fahrerassistenzsystem Informationen enthält, welche eine Kollision als wahrscheinlicher vorhersagen, was zu dem Bremsmanöver führen könnte.
-
Ferner umfasst die Erfindung eine Einrichtung zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, wobei die dem Fahrerassistenzsystem zugeordnete Einrichtung über wenigstens eine signalübertragende Schnittstelle mit wenigsten einer Sensoreinheit verbindbar ist. Die Einrichtung ist dazu ausgebildet, zumindest ein lebendes Objekt sowie zumindest ein weiteres Objekt in einer Umgebung des Kraftfahrzeugs und deren jeweilige Objektposition anhand von durch die mindestens eine Sensoreinheit erzeugten und an der Schnittstelle empfangenen Messdaten zu erfassen. Die Einrichtung ist dazu ausgebildet die anhand der Messdaten erfassten Objekte in Objektklassen einzuteilen, wobei für eine jeweilige Kombination einer Objektklasse des lebenden Objekts und des weiteren Objekts ein jeweiliges Bewegungsmodell in der Einrichtung hinterlegt und/oder von dieser abrufbar ist. Das jeweilige Bewegungsmodell charakterisiert eine Bewegungsänderung eines Objekts der Objektklasse des lebenden Objekts aufgrund eines Objekts der Objektklasse des weiteren Objekts, wobei das jeweilige Bewegungsmodell mittels eines jeweiligen Potentialfelds beschrieben ist. Die Einrichtung ist dazu ausgebildet, eine Bewegungsgleichung des wenigstens einen lebenden Objekts in Abhängigkeit zumindest des der Kombination der Objektklassen zugeordneten Bewegungsmodells und der Objektposition des lebenden Objekts und des wenigstens einen weiteren Objekts zu erstellen. Ferner ist die Einrichtung dazu ausgebildet, die Bewegung des wenigstens einen lebenden Objekts anhand der Bewegungsgleichung zu prädizieren und die prädizierte Bewegung des lebenden Objekts charakterisierende Daten dem Fahrerassistenzsystems an einer weiteren Schnittstelle bereitzustellen.
-
In weiterer Ausgestaltung der Erfindung sind die Messdaten wenigstens ein Bild wenigstens einer Kamera. Das heißt über die signalübertragende Schnittstelle empfängt die Einrichtung wenigstens ein Bild wenigstens einer als Kamera ausgebildeten Sensoreinheit. Vorteil davon ist, dass ein Bild leicht zu erzeugen ist und viele Informationen enthalten kann, das heißt mit einem Bild können auf einfache Weise viele Objekte erfasst werden.
-
In weiterer Ausgestaltung der Erfindung ist die Einrichtung dazu ausgebildet, bei einem Erfassen von Messdaten durch mehr als eine Sensoreinheit, die jeweiligen Messdaten der jeweiligen Sensoreinheit durch Fusion mit den jeweiligen anderen Messdaten der jeweiligen anderen Sensoreinheiten zu einem gemeinsamen Satz fusionierter Messdaten zusammenzufassen. Für die Überwachung des lebenden Objekts ist es von Vorteil alle verfügbaren Informationen des lebenden Objekts bestmöglich in vorhandenen Fusionsalgorithmen, wie z.B. Kalmanfilter oder Partikelfilter einfließen zu lassen. Durch die Fusion, beispielweise mittels Kalmanfilter, können Fehler unterschiedlicher Messdaten in dem gemeinsamen Satz fusionierter Messdaten möglichst klein gehalten werden. Gerade beispielsweise in Mehrkameraszenarien ist dies vorteilhaft, um die eindeutige Zuordnung beispielsweise von Fußgängern in Fußgängermengen zu gewährleisten.
-
Ferner umfasst die Erfindung ein Fahrerassistenzsystem, welches die erfindungsgemäße Einrichtung aufweist und/oder dazu ausgebildet ist das erfindungsgemäße Verfahren durchzuführen.
-
Darüber hinaus umfasst die Erfindung ein Kraftfahrzeug, welches die erfindungsgemäße Einrichtung und/oder das Fahrerassistenzsystem aufweist.
-
Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Einrichtung, des Fahrerassistenzsystems und des Kraftfahrzeugs die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Einrichtung, dem Fahrerassistenzsystem und dem Kraftfahrzeug hier nicht noch einmal beschrieben. Ferner umfasst die Erfindung auch Weiterbildungen des erfindungsgemäßen Verfahrens, des Fahrerassistenzsystems und des Kraftfahrzeugs die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen der erfindungsgemäßen Einrichtung beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens, dem Fahrerassistenzsystem und dem Kraftfahrzeug hier nicht noch einmal beschrieben.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 schematische Draufsicht auf ein Kraftfahrzeug mit einem Fahrerassistenzsystem und einer erfindungsgemäßen Einrichtung, welche das erfindungsgemäße Verfahren durchführen kann, in einer Umgebung des Kraftfahrzeugs, in welcher sich zumindest ein lebendes Objekt sowie weitere Objekte befinden; und
- 2 schematisches Diagramm eines Zusammenwirkens einzelner Komponenten des Verfahrens bei einer Überwachung des lebenden Objekts.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
-
1 zeigt eine schematische Draufsicht auf ein Kraftfahrzeug 10 mit einem Fahrerassistenzsystem 12 und einer Einrichtung 14. Die Einrichtung 14 ist dazu ausgebildet ein Verfahren durchzuführen, mittels welchem das Fahrerassistenzsystem 12 des Kraftfahrzeugs 10 betrieben werden kann. Bei dem Verfahren wird eine Bewegung zumindest eines lebenden Objekts 16 in einer Umgebung 17 des Kraftfahrzeugs 10 prädiziert. Durch die Prädiktion lässt sich das Fahrerassistenzsystem besonders vorteilhaft betreiben, da beispielsweise eine Kollision mit dem lebenden Objekt 16 vermeidbar ist. Dafür ist die Einrichtung 14 so ausgebildet, dass das zumindest eine lebende Objekt 16 sowie zumindest ein weiteres Objekt 18, 20, 22 in der Umgebung 17 des Kraftfahrzeugs 10 und deren jeweilige Objektposition anhand von Messdaten erfasst werden können. Die durch wenigstens eine Sensoreinheit 24 bereitgestellten Messdaten sind von der Einrichtung 14 an einer Schnittstelle 26 empfangbar.
-
In einem Schritt a) des Verfahrens erfolgt ein hinterlegen von Bewegungsmodellen, wobei ein jeweiliges Bewegungsmodell eine von zumindest einem weiteren Objekt 18, 20, 22 abhängige Änderung der Bewegung des lebenden Objekts 16 beschreibt, wobei das lebende Objekt 16 und das zumindest eine weitere Objekt 18, 20, 22 jeweils einer Objektklasse angehören und die Bewegungsmodelle für Kombinationen der Objektklassen hinterlegt sind, wobei das jeweilige Bewegungsmodell mittels eines jeweiligen Potentialfelds beschrieben wird.
-
Für eine Durchführung des Schritts a) ist die Einrichtung 14 derart ausgebildet, dass sie beispielsweise eine Speichereinrichtung aufweist, auf welcher die Bewegungsmodelle der Objektklassen beziehungsweise der Kombination der Objektklassen hinterlegt sind und/oder die Einrichtung kann über eine weitere Schnittstelle die hinterlegten Bewegungsmodelle abrufen. In einem Schritt b) des Verfahrens werden Messdaten betreffend die Umgebung 17 des Kraftfahrzeugs 10 empfangen, dazu weist die Einrichtung 14 die Schnittstelle 26 auf. In einem Schritt c) des Verfahrens erfolgt ein Erkennen des zumindest einen lebenden Objekts 16 und des zumindest einen weiteren Objekts 18, 20, 22 in der Umgebung 17 des Kraftfahrzeugs 10 sowie ein bestimmen einer Relativposition wenigstens des zumindest einen lebenden Objekts zu dem zumindest einen weiteren Objekt 18, 20, 22 anhand der über die Schnittstelle 26 empfangenen Messdaten. Zusätzlich sind die Relativpositionen der weiteren Objekte 18, 20, 22 untereinander sowie eine jeweilige Objektorientierung der Objekte 16 bis 22 ebenfalls mittels des Verfahrens erfassbar beziehungsweis bestimmbar. In einem weiteren Schritt d) des Verfahrens werden die Objektklassen der erkannten Objekte 16, 18, 20, 22 identifiziert.
-
In einem Schritt e), welcher in wenigstens zwei Teilschritte unterteilt ist, erfolgt für das erfasste, lebende Objekt 16 in dem ersten Teilschritt ein Erstellen einer Bewegungsgleichung zumindest in Abhängigkeit von der jeweiligen Relativposition des lebenden Objekts 16 zu dem zumindest einem weiteren Objekt 18, 20, 22. Darüber hinaus ist die Bewegungsgleichung abhängig von dem für die Kombination der in Schritt d) identifizierten Objektklassen des lebenden Objekts 16 und des zumindest einen weiteren Objekts 18, 20, 22 jeweils hinterlegten Bewegungsmodell. Ferner können die jeweiligen Orientierungen der Objekte 16 bis 22 als zusätzliche Abhängigkeit in die Bewegungsgleichung einfließen. Im zweiten Teilschritt des Schritts e) erfolgt eine Prädiktion der Bewegung des lebenden Objekts 16 anhand der erstellten Bewegungsgleichung.
-
Im in 1 gezeigten Beispiel ist das weitere Objekte 18 ein Hund, das Objekt 20 ein Fahrradfahrer und das Objekt 22 eine Menschengruppe. Im Beispiel gehört der Hund der Objektklasse „Hund“ und der Fahrradfahrer der Objektklasse „Fahrradfahrer“ an. Die einzelnen Personen der Menschengruppe können als eine Gesamtheit der Objektklasse „Menschengruppe“ zugeordnet werden. Die Menschen könnten aber auch einzeln als jeweils ein Objekt einer Objektklasse „Fußgänger“, welcher auch das lebende Objekt 16 angehört, zugeordnet werden. Auch könnte sich ihr Zustand zwischen zwei zu jeweils einem unterschiedlichen Zeitpunkt aufgenommen Messdaten ändern, falls sich die Menschengruppe beispielsweise auflöst.
-
Im Schritt f) wird das Fahrerassistenzsystem 12 unter Einbeziehung der in Schritt e) prädizierten Bewegung des wenigstens einen lebenden Objekts 16, dem Fußgänger betrieben, sodass beispielsweise eine Kollision mit dem Fußgänger, aufgrund der im Verfahren prädizierten Bewegung, durch das Fahrerassistenzsystem 12 verhindert werden kann.
-
Die Sensoreinheit 24 der gezeigten Ausführungsform ist als eine Kamera ausgebildet. Es können mehrere Sensoreinheiten 24 verwendet werden, um beispielweise einen größeren Ausschnitt der Umgebung 17 zu erfassen und/oder bei widrigen Sichtverhältnissen möglichst viele Informationen über die Objekte in den Messdaten zu erfassen, beispielsweise durch die Verwendung von mehreren Kameras, welche jeweils in unterschiedlichen Lichtspektren Messdaten aufzeichnen. Bei der Verwendung mehrerer Sensoreinheiten können die Messdaten fusionierte werden, beispielsweise mittels Kalmanfilter, um beispielsweise Fehler in den Messdaten gering zu halten.
-
Damit die einzelnen Schritte a) bis f) des Verfahrens von der Einrichtung 14 durchgeführt werden können, weist diese beispielsweise eine elektronische Recheneinrichtung auf, auf welcher eine Auswertesoftware für die über die Schnittstelle 26 empfangenen Messdaten ausführbar ist, sodass die Objekte 16 bis 22 in den Messdaten erfasst werden und darüber hinaus deren Position und deren Objektorientierung im Raum beziehungsweise der Umgebung 17 des Fahrzeugs ermittelt werden. Zusätzlich ist mittels der elektronischen Recheneinrichtung beispielsweise ein Klassifikator ausführbar, welcher das Ermitteln beziehungsweise Klassifizieren der Objekte 16 bis 22 in die Objektklassen übernimmt. Darüber hinaus kann die Einrichtung 14 eine weitere Schnittstelle 28 aufweisen, welche Informationen über die prädizierte Bewegung dem Fahrerassistenzsystem 12 bereitstellen kann, sodass dieses beispielsweise besonders verkehrssicher betreibbar ist.
-
Das lebende Objekt 16, der Fußgänger, ist derart orientiert, dass seine Blickrichtung, welche mit der Objektorientierung gleichgesetzt werden kann, auf einen rechten Bürgersteig 30 der Umgebung 17 gerichtet ist. Die Objektorientierung ist durch die Blickrichtung 32 dargestellt. Durch diese Objektorientierung erfasst das lebende Objekt 16, der Fußgänger, alle in der Umgebung befindlichen weiteren Objekte 18 bis 22, den Hund, den Fahrradfahrer und die Menschengruppe. Das heißt, ein jeweiliges dieser Objekte 18 bis 22 bildet eine Informationsquelle für den Fußgänger, das lebende Objekt 16, durch welche er sich in seiner Bewegung beeinflussen lässt beziehungsweise ablenkbar ist. Falls die Sensoreinheit 24 diesen Zustand der Umgebung 17 in den Messdaten erfasst, fließt jeweils ein Bewegungsmodell, für die Kombination „Fußgänger-Hund“, „Fußgänger-Fahrradfahrer“ und „Fußgänger-Menschengruppe“ in die Bewegungsgleichung ein.
-
So kann beispielsweise das Bewegungsmodell „Fußgänger-Hund“ die Reaktion eines Fußgängers auf einen Hund beschreiben, beispielsweise wirkt der Hund abstoßend auf einen Fußgänger. Mit anderen Worten wirkt auf den Fußgänger eine durch den Hund vermittelte abstoßende Kraft, insbesondere wenn beispielsweise ein Potentialfeldansatz auf Grundlage einer Variante des „Social Force Models“ für die Bewegungsmodelle angenommen wird. Der Hund nimmt beispielsweise derart Einfluss auf die Bewegung des Fußgängers, dass dieser eine gewissen Mindestabstand zu dem Hund einhalten wird. Befindet sich der Hund also zumindest in der Nähe einer Route, entlang welcher sich der Fußgänger bewegt, wird dieser seine Route korrigieren und beispielsweise einen Bogen mit zumindest dem Mindestabstand um den Hund machen, bevor er wieder der ursprünglichen Route zu seinem Ziel folgt. Dieser Mindestabstand könnte unterschritten werden, beispielsweise falls der Fußgänger mit großer Geschwindigkeit unterwegs ist und/oder den Hund nicht rechtzeitig bemerkt. Das jeweilige Bewegungsmodell ist vorteilhafterweise so ausgebildet, dass solche Situationen mit berücksichtigt werden können. Soll ein Hund als lebendes Objekt überwacht werden und der Einfluss eines Objekts der Objektklasse „Fußgänger“ auf den Hund in die Bewegungsgleichung mit einfließen, sollte ein „Hund-Fußgänger“ Bewegungsmodell hinterlegt sein.
-
Das jeweilige Bewegungsmodelle wird durch ein jeweiliges Potentialfelds beschrieben. Aus dem jeweiligen Potentialfeld wird beispielsweise ein jeweiliger Gradient des Potentialfelds an der Position des Fußgängers bestimmt, wozu die Relativpositionen verwendet werden können. Das heißt, im gezeigten Beispiel die Relativpositionen zu dem lebenden Objekt 16: „Fußgänger zu Hund“, „Fußgänger zu Fahrradfahrer“ und „Fußgänger zu Menschengruppen“. Aus dem jeweiligen Gradienten kann ein jeweiliger Beschleunigungsvektor, welcher einen jeweiligen Teil der Bewegungsänderung des lebenden Objekts 16 charakterisiert, ermittelt werden. Der jeweilige Bescheinigungsvektor wird in der Bewegungsgleichung für die Prädiktion der Bewegung verwendet. Aufgrund des Verfahrens ist eine intuitive Parametrisierung eines Potentialfeldansatzes zur Verbesserung der Überwachung der Bewegung von lebenden Objekten, insbesondere Fußgängern, möglich.
-
Es gilt, je besser die hinterlegten Bewegungsmodelle und/oder die Messdaten, desto besser die Prädiktion der Bewegung des lebenden Objekts 16. Die Bewegungsmodelle können beispielsweise aus dem bekannten „Social Force Model“ oder aus einem ähnlichen Modell zur Beschreibung von Fußgängerbewegungen abgeleitet werden. Die Bewegungsmodelle können Feinheiten berücksichtigen, wie beispielweise, dass ein Kind in der Nähe zumindest eines Erwachsenen von diesen angezogen wird, da es sich dabei häufig um zumindest einen Elternteil des Kindes handelt.
-
Um die Prädiktion der Bewegung zu verbessern ist es von Vorteil, dass Messdaten von unterscheidbaren, aufeinanderfolgenden Zeitpunkten ausgewertet werden und anhand dieser Messdaten das Verfahren zu jedem dieser Zeitpunkte wiederholt wird. Je nach Abstand der Zeitpunkte ist eine quasi-kontinuierliche Überwachung des Fußgängers, ein sogenanntes Fußgängertracking, möglich. Um bei solch einem kontinuierlichen Fußgängertracking die Genauigkeit der Prädiktion zu verbessern, kann, mittels des Verfahrens anhand einer Auswertung der Messdaten, eine jeweilige Position des jeweiligen erkannten Objekts kontrolliert werden. Darüber hinaus können beispielsweise durch eine Differenzbildung zeitlich aufeinanderfolgender Messdaten Bewegungen der jeweiligen Objekte bestimmt werden. Woraus eine jeweilige Geschwindigkeit und/oder Beschleunigung und/oder Bewegungsrichtung des jeweiligen Objekts bestimmbar ist, welche in die Bewegungsgleichung einfließen können. So kann beispielsweise zu einem ersten Zeitpunkt der Hund ruhen und dadurch wenig Einfluss auf die Bewegung des Fußgängers, dem lebenden Objekt 16, nehmen. Setzt sich der Hund jedoch Richtung Fußgänger in Bewegung wird dessen Einfluss größer, dies kann von dem Verfahren berücksichtigt werden.
-
Vorteilhafterweise wird eine Karte der Umgebung, welche beispielsweise ebenfalls in der Vorrichtung 14 hinterlegt sein kann, mit der ermittelten Bewegungsgleichung abgeglichen. So kann für den Fall, dass auf der Karte beispielsweise Hindernisse und/oder Objekte von Interesse für den Fußgänger, wie beispielsweise ein Geldautomat erkannt werden, dies in die Prädiktion der Bewegung mittels der Bewegungsgleichung einfließen. So kann im Beispiel die Bewegung des Fußgängers unabhängig von der Kenntnis seines tatsächlichen Ziels, dem rechten Bürgersteig 30, bestimmt werden. Jedoch ist unter Zuhilfenahme von Karteninformationen deutlich, dass der Fußgänger, das lebende Objekt 16, die Straßen überqueren will, was aus der Blickrichtung 32 ableitbar ist. Somit kann eine Intention des Fußgängers, das heißt das von ihm erreichbare Ziel, besser bestimmt werden.
-
Vorteilhafterweise, insbesondere bei einer wie der in 1 gezeigten Situation, wenn der für das lebenden Objekts 16 prädizierte Weg die Fahrtrichtung 34 des Kraftfahrzeugs 10 kreuzt, wird das Kraftfahrzeug 10 selbst als weiteres Objekt in das Verfahren mit aufgenommen.
-
Die Menschengruppe, das weitere Objekt 22, ist ein Beispiel dafür, dass, wenn wenigstens zwei weitere Objekte erfasst und klassifiziert werden, eine jeweilige Änderung der jeweiligen Bewegung des jeweiligen weiteren Objekts, aufgrund einer gegenseitigen Wechselwirkung zwischen den wenigstens zwei weiteren Objekten, hier den gezeigten vier Fußgängern die die Menschengrupp bilden, ermittelt und in der Bewegungsgleichung des wenigstens einen lebenden Objekts 16 berücksichtigt wird. Dabei wird die Wechselwirkung aus dem jeweiligen hinterlegten Bewegungsmodelle und von der jeweiligen Relativposition bestimmt. Das heißt, mehrere nahe beieinander seiende Fußgänger, wie in der Menschengruppe, können eine gemeinsame Dynamik in ihrer Bewegung entwickeln und sind dadurch vorteilhafterweise nicht mehr als sich frei bewegende einzelne Objekte zu betrachten. In dem ihre gegenseitige Wechselwirkung berücksichtigt wird, verbessert sich somit die Bewegungsgleichung des lebenden Objekts 16. Bei dem gezeigten Verfahren können folgende, sogenannte Rahmenbedingungen eingehalten werden: eine Trennung von Dynamik und Informationsquellen; eine Parametrierung der Dynamik und der Informationsquellen relativ zu der Intention des lebenden Objekts; Verwendung der Erkenntnisse des „Social Force Model“ bei der Definition der einzelnen Potentialfelder. Dadurch können sich beispielsweise besonders wenige dafür intuitive Parameter ergeben.
-
2 zeigt ein schematisches Diagramm eines Zusammenwirkens einzelner Komponenten des Verfahrens für die Überwachung des lebenden Objekts 16. Dabei erfolgt die Überwachung, das sogenannte Tracking 36, beispielsweise auf Grundlage von Karteninformationen 38, einer Intention 40 des lebenden Objekts 16 sowie den, insbesondere dynamischen, weiteren Objekten, beispielsweise den Objekten 18, 20 und 22, welche in dem Block 42 zusammengefasst sind. Dabei können dynamische Objekte Fußgänger, Hunde, Fahrradfahrer und/oder Kraftfahrzeuge sein. Des Weiteren könnten statt der dynamischen Objekte semistatische Objekte, wie beispielsweise mobile Ampeln und/oder statische Objekte wie eine Telefonzelle oder Ähnliches im Verfahren berücksichtigt werden. Aus der Intention 40 des lebenden Objekts 16 ist dessen Bewegung ableitbar, diese weist eine Dynamik 44 auf. Beispielsweise kann die Dynamik eines Fußgängers dessen maximal erreichbare Geschwindigkeit und/oder ein Abbremsen und/oder seine Geschwindigkeit bei Richtungswechseln beschreiben. Diese Informationen sind vorteilhafterweise in dem jeweiligen Bewegungsmodelle hinterlegt, welches einen Einfluss auf die Änderung der Bewegung des lebenden Objekts 16 aufgrund eines weiteren Objekts aus Block 42 beschreibt, enthalten. Um die Bewegungsgleichung des Fußgängers möglichst einfach bestimmen zu können, erfolgt jeweils eine Parametrisierung beispielsweise der Karteninformationen 38 und/oder der im Block 42 zusammen gefassten weiteren Objekte. Die Parametrisierung ist durch die Pfeile 44 angedeutet, und soll deren mögliche, jeweilige Unabhängigkeit der jeweiligen Parameter darstellen. Ferner können die Karteninformationen 38 sowie die Objekte des Blocks 42 jeweils eine eigene Dynamik 46 aufweisen. Solch eine Dynamik 46 können im Fall der Karteninformationen 38 beispielsweise Echtzeitinformationen der Verkehrslage sein, wodurch beispielsweise Straßensperrungen berücksichtigt werden können.
-
Insgesamt zeigen die Beispiele, wie durch die Erfindung ein Verfahren und/oder eine Einrichtung 14 und/oder ein Fahrerassistenzsystem 12 und/oder ein Kraftfahrzeug 10 bereitgestellt wird, mittels jeweils welchem beziehungsweise welcher eine Bewegung zumindest eines lebenden Objekts 16 in besonders vorteilhafter Weise prädiziert und dadurch insbesondere das Fahrerassistenzsystem 12 unter Einbeziehung dieser Prädiktion besonders vorteilhaft betrieben werden kann.
