DE102014204383B4

DE102014204383B4 - Fahrerassistenzsystem zur Objekterkennung und Verfahren

Info

Publication number: DE102014204383B4
Application number: DE102014204383.2A
Authority: DE
Inventors: Robert Thiel
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2014-03-11
Filing date: 2014-03-11
Publication date: 2022-12-29
Anticipated expiration: 2034-03-12
Also published as: DE102014204383A1

Abstract

Die Erfindung betrifft ein Fahrerassistenzsystem (501) für ein Fahrzeug zur Objekterkennung in der Umgebung des Fahrzeugs. Dabei weist das Fahrerassistenzsystem einen Sensor zum Aufnehmen von Einzelbildern der Umgebung des Fahrzeuges sowie einen Prozessor auf. Der Prozessor ist dabei ausgeführt, aus einer simulierten Kritikalitätskarte Bereiche von Interesse zum Untersuchen auf kritische Objekte auszuwählen. Diese Auswahl von Bereichen von Interesse erfolgt auf Basis einer Latenzzeit, die den einzelnen Bereichen zugeordnet ist. Diese Latenzzeit entspricht einer Maximaldauer, wie lange das Fahrerassistenzsystem den jeweiligen Bereich der Kritikalitätskarte nicht untersuchen muss. Ferner betrifft die Erfindung ein Verfahren zur Objekterkennung.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft die Objekterkennung für Fahrzeuge. Insbesondere betrifft die vorliegende Erfindung ein Fahrerassistenzsystem und ein Verfahren zur Objekterkennung.
Technischer Hintergrund
Für die Fußgängererkennung in Kamerabildern werden unter anderem Detektoren verwendet, die über Bildbereiche der Kamerabilder scannen und dort Fußgänger in verschiedenen Größen erkennen und lokalisieren können. Aus diesen Daten kann dann über Informationen wie Fußpunkt und/oder Größe im Bild und ihrem zeitlichen Verlauf abhängig von der Egobewegung eine Qualität und die wahre Position beziehungsweise Geschwindigkeit des Fußgängers vor dem Fahrzeug bestimmt werden. Die Generierung der Bildbereiche von Interesse (region of interest, ROI), in denen Fußgänger bestimmter Größe im Bild gesucht werden sollen, kann typischerweise anhand der Kamerakalibrierung, bereits vorhandener bekannter Fußgänger und der Fahrzeugdynamik bestimmt werden. Trotzdem kann sich teilweise eine nötige Abdeckung ergeben, die viele Skalen über weite Bildbereiche generieren kann. Typischerweise kann es für die Notbremsfunktion erforderlich sein, Bereiche von direkt vor dem Fahrzeug bis ca. 30 m vor dem Fahrzeug sowie einige Meter rechts und links neben dem Fahrzeug zu überprüfen. Das kann ein hohes Maß an Rechenzeit erfordern, welche nicht zwingendermaßen verfügbar sein muss.
Eine mögliche Lösung ist es, die verschiedenen Bildbereiche auf mehrere aufeinanderfolgende Einzelbilder (Frames) aufzuteilen. Bei der Aufteilung eines Bildes in beispielsweise vier Bildbereiche kann so die benötigte Rechenleistung um ca. den Faktor 4 reduziert werden. Allerdings kann sich auf diese Weise auch die Latenz, mit welcher ein Fußgänger initial erkannt werden kann, auf maximal drei Einzelbilder erhöhen. Mit anderen Worten kann es erforderlich sein, drei Einzelbilder abzuwarten, bis ein bestimmter Bildbereich auf Fußgänger untersucht wird. Da die Fußgängererkennung typischerweise dazu verwendet wird, vor unerwarteten und drohenden Zusammenstößen mit einem Fußgänger das Fahrzeug automatisch abzubremsen, kann eine solche erhöhte Latenz problematisch sein.
Des Weiteren können auf den Kameras häufig weitere Funktionen laufen, die mal mehr, mal weniger Rechenzeit erfordern, so dass dynamisch unterschiedlich viel Rechenzeit für die Fußgängererkennung zur Verfügung stehen kann. Bei der Aufteilung der Bildbereiche auf verschiedene Einzelbilder könnte eine solche dynamische Änderung der Rechenzeit problematisch sein. So könnte es beispielsweise erforderlich sein, abhängig von der verfügbaren Rechenzeit die Anzahl der Teilbereiche, die auf unterschiedliche Einzelbilder aufgeteilt werden, anzupassen. Dies wiederum kann zu einer erhöhten Latenz bei abnehmender verfügbarer Rechenzeit führen, was ein Risiko bei der Fußgängererkennung darstellen kann.
DE10148069A1 beschreibt ein Verfahren zum Erkennen und Verfolgen von Objekten unter Verwendung eines Sensors zur Erfassung elektromagnetischer Strahlung und auf Basis von Priorisierungskriterien betreffend Eigenschaften der Objekte.
DE4423966A1 offenbart ein Hinderniserfassungssystem für ein Kraftfahrzeug, welches die dynamische Relativität zwischen dem Fahrzeug und Hindernis sucht und anhand dieser eine Information bezüglich eines Gefahrenniveaus und eine Gefahrenbeurteilung berechnet.
DE102012103847A1 betrifft eine Vorrichtung zur Berechnung einer Kollisionswahrscheinlichkeit, wobei eine Position eines Objekts und eine Fahrgeschwindigkeit und Fahrtrichtung des jeweiligen Fahrzeugs erfasst wird. Auf Basis dieser Größen wird eine Karte der Kollisionswahrscheinlichkeit erzeugt.
Zusammenfassung der Erfindung
Es kann als Aufgabe der Erfindung angesehen werden, ein Fahrerassistenzsystem mit einer zuverlässigen Objekterkennung bereitzustellen.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weiterbildungen und Ausführungsformen sind den abhängigen Ansprüchen, der nachfolgenden Beschreibung sowie den
Figuren zu entnehmen.
Ein Aspekt der Erfindung betrifft ein Fahrerassistenzsystem zur Objekterkennung für ein Fahrzeug, welches einen Prozessor sowie einen Sensor zum Aufnehmen von mehreren Einzelbildern einer Umgebung des Fahrzeugs aufweist. Der Prozessor ist dazu ausgeführt, aus einer simulierten Kritikalitätskarte einen Bereich als Bereich von Interesse zum Untersuchen auf kritische Objekte auszuwählen, wobei die simulierte Kritikalitätskarte mehrere Bereiche aufweist und in der Kritikalitätskarte jedem dieser Bereiche jeweils eine Latenzzeit zugeordnet ist. Die Latenzzeit entspricht dabei einer Dauer, wie lange das Fahrerassistenzsystem den jeweiligen Bereich der Kritikalitätskarte maximal nicht untersucht lassen kann. Der Prozessor ist dazu ausgeführt, den Bereich von Interesse basierend auf der zugehörigen Latenzzeit auszuwählen. Unter der Latenzzeit kann mit anderen Worten die Dauer verstanden werden, wie lange das Fahrerassistenzsystem den jeweiligen Bereich der Kritikalitätskarte maximal ununtersucht lassen kann.
Der Prozessor ist ferner dazu ausgeführt, für die vom Sensor aufgenommenen Einzelbilder jeweils eine aktualisierte Kritikalitätskarte zu erzeugen; wobei Bereichen der simulierten Kritikalitätskarte und Bereichen der aktualisierten Kritikalitätskarten jeweils eine zur Latenzzeit invers proportionale Wahrscheinlichkeit zugeordnet ist; die Wahrscheinlichkeiten der aktualisierten Kritikalitätskarte für ein erstes aufgenommenes Einzelbild durch Addieren der Wahrscheinlichkeiten der simulierten Kritikalitätskarte mit den Wahrscheinlichkeiten einer aktualisierten Kritikalitätskarte eines dem ersten Einzelbild vorangehenden Einzelbildes zu ermitteln; und für ein zweites Einzelbild den Bereich mit der höchsten Wahrscheinlichkeit gemäß der aktualisierten Kritikalitätskarte des zweiten Einzelbildes als Bereich von Interesse auszuwählen und die Wahrscheinlichkeit für den ausgewählten Bereich in der aktualisierten Kritikalitätskarte des zweiten Einzelbilds auf null zu setzen.
Ein Fahrerassistenzsystem gemäß der vorliegenden Erfindung ist beispielsweise anhand des in 5 gezeigten Ausführungsbeispiels der Erfindung beschrieben. Ausführungsbeispiele zu Latenzzeiten und Kritikalitätskarten sind beispielsweise anhand der Ausführungsbeispiele von der 1 und der 2 im Detail beschrieben.
Mit anderen Worten kann das Fahrerassistenzsystem Bereiche von Interesse zum Untersuchen auf kritische Objekte basierend auf einer oder mehrerer simulierten Kritikalitätskarten ermitteln. Den einzelnen Bereichen der Kritikalitätskarte kann jeweils ein Wert zugeordnet sein, der angibt, wie schnell es mit einem in diesem Bereich befindlichen Objekt zu einem Unfall kommen kann. Das heißt, die zu untersuchenden Bereiche können so ausgewählt werden, dass diej enigen Bereiche zuerst als Bereich von Interesse ausgewählt werden, die ein Objekt enthalten können, mit welchem es schnell zu einem Unfall kommen kann. Es wird also eine bereichsspezifische Gewichtung bei der Bestimmung der Bereichen von Interesse (ROI) berücksichtigt.
Unter dem Fahrzeug kann beispielsweise ein Personenkraftwagen, ein Lastkraftwagen oder ein Motorrad verstanden werden. Das Fahrerassistenzsystem kann jedoch auch für andere Fahrzeuge, bei denen die Objekterkennung wichtig ist, eingesetzt werden. Der Prozessor des Fahrerassistenzsystems kann beispielsweise ein Mikrocontroller oder ein anderes elektronisches Bauteil sein, mit welchem Informationen, Daten und oder elektronische Datenpakete verarbeitet werden können. Der Sensor des Fahrerassistenzsystems kann beispielsweise als eine Videokamera und/oder eine Infrarotkamera ausgeführt sein. Dabei kann der Sensor dazu ausgeführt sein, mehrere Einzelbilder aufzunehmen. Beispielsweise kann ein vom Sensor aufgenommenes Video mehrere Einzelbilder enthalten. Im Kontext der vorliegenden Erfindung können dabei unter Einzelbildern auch Frames verstanden werden. Der Sensor kann derart am Fahrzeug angebracht sein beziehungsweise derart an das Fahrzeug anbringbar sein, dass er Einzelbilder von der Umgebung des Fahrzeuges aufnimmt. Beispielsweise kann der Sensor derart an das Fahrzeug angebracht werden, dass er Einzelbilder eines in Fahrtrichtung befindlichen Bereichs der Umgebung aufnehmen kann.
Die simulierte Kritikalitätskarte kann eine zwei- oder mehrdimensionale Karte bezeichnen, die mehrere Bereiche aufweist. Unter der simulierten Kritikalitätskarte kann dabei auch ein Datensatz verstanden werden, der mehrere Elemente aufweist, die jeweils einem Bildbereich eines Einzelbildes der Umgebung des Fahrzeuges entsprechen. Dabei kann ein Bereich der Kritikalitätskarte ein Pixel, ein rechteckiger Ausschnitt, ein hexagonaler Ausschnitt und/oder ein anders geformter Ausschnitt der Karte sein. Den einzelnen Bereichen der Kritikalitätskarte können jeweils Bildbereiche eines Einzelbildes der Umgebung des Fahrzeugs entsprechen. Beispielsweise können den Bereichen der simulierten Kritikalitätskarte jeweils Koordinaten eines Bildbereiches eines Einzelbildes zugeordnet sein. Die simulierte Kritikalitätskarte kann auf Basis eines oder mehrerer Modelle, welche kritische Objekte beschreiben, simuliert werden. Beispielsweise kann die simulierte Kritikalitätskarte bei der Herstellung des Fahrerassistenzsystems simuliert werden und ab Werk im Fahrerassistenzsystem gespeichert sein. Es besteht jedoch auch die zusätzliche oder alternative Möglichkeit, dass die simulierte Kritikalitätskarte dynamisch vom Fahrerassistenzsystem während der Fahrt und/oder im Standby Betrieb simuliert wird.
Unter einem Bereich von Interesse kann im Kontext der vorliegenden Erfindung eine Region of Interest (ROI) verstanden werden. Dieser Bereich von Interesse kann dann auf kritische Objekte untersucht werden. Beispielsweise kann der Bereich von Interesse von dem Prozessor des Fahrerassistenzsystems oder eines Prozessors einer anderen Fahrzeugsteuerung auf kritische Objekte untersucht werden. Dabei können beispielsweise Mustererkennungsalgorithmen eingesetzt werden, um kritische Objekte zu erkennen. Ferner kann auch ein weiterer Detektor des Fahrerassistenzsystems die vom Prozessor ausgewählten Bereiche von Interesse der Umgebung des Fahrzeugs auf kritische Objekte scannen. Dabei können im Kontext der vorliegenden Erfindung unter kritischen Objekten Fußgänger, Tiere, andere Verkehrsteilnehmer, andere Fahrzeuge oder im Allgemeinen Hindernisse verstanden werden.
Unter der Latenzzeit kann die einem Bereich der Umgebung des Fahrzeuges zugeordnete Zeit verstanden werden, in welcher es mit einem in diesem Bereich befindlichen Objekt zu einem Unfall kommen kann. Beispielsweise kann einem Bereich, der sich in der Nähe des Fahrzeugs befindet, eine niedrigere Latenzzeit zugeordnet sein als einem Bereich, der sich weit entfernt vom Fahrzeug befindet, da es mit einem Objekt, welches sich näher am Fahrzeug befindet, schneller zum Unfall kommen kann als mit einem weit entfernten Objekt. Mit anderen Worten kann die Latenzzeit ein Maß bezeichnen, welches die Kritikalität eines Bereiches der Umgebung des Fahrzeugs bezeichnet. Anders formuliert kann die Latenzzeit den maximalen Zeitraum bezeichnen, während dem der jeweilige Bereich der Kritikalitätskarte unberücksichtigt gelassen werden darf. Dies kann bedeuten, dass der Prozessor den jeweiligen Bereich nicht auf kritische Objekte untersuchen muss, dass der jeweilige Bereich durch den Sensor nicht aufgenommen werden muss und/oder dass ein weiterer Detektor des Fahrerassistenzsystems den jeweiligen Bereich nicht auf kritische Objekte scannen muss. Das Fahrerassistenzsystem kann dazu ausgeführt sein, gewisse Bereiche auch länger als die zugeordnete Latenzzeit nicht zu untersuchen. Zum Beispiel kann das Fahrerassistenzsystem einen Bereich mit einer hohen Latenzzeit nicht untersucht lassen, weil der Prozessor dafür zu wenig Rechenleistung zur Verfügung hat. Mit anderen Worten kann unter der Latenzzeit die Dauer verstanden werden, innerhalb welcher der jeweilige Bereich idealerweise untersucht wird. Die Zuordnung der Latenzzeiten zu den jeweiligen Bereichen kann beispielsweise in einer Datenbank gespeichert sein. Die Latenzzeiten der jeweiligen Bereiche der simulierten Kritikalitätskarte können durch Simulation ermittelt werden. Beispielsweise können alle möglichen Bewegungen der kritischen Objekte simuliert werden, auf dessen Grundlage dann die jeweiligen Latenzzeiten berechnet werden können. Die Latenzzeit kann daher auch einen Maximalwert darstellen, der nicht überschritten werden darf.
Auf diese Weise können kritischere Bereiche, das heißt Bereiche mit niedriger Latenzzeit, präferiert als Bereich von Interesse zur Untersuchung auf kritische Objekte ausgewählt werden. Mit anderen Worten kann das Fahrerassistenzsystem zuerst die Bereiche der Umgebung des Fahrzeugs auf kritische Objekte untersuchen, bei denen die Gefahr besteht, dass es mit einem Objekt aus diesen Bereichen schnell zu einem Unfall kommen kann.
Gemäß einer beispielhaften Ausführungsform der Erfindung ist ein Fahrerassistenzsystem angegeben, wobei das Fahrerassistenzsystem eine Speichereinheit aufweist, auf welcher die simulierte Kritikalitätskarte gespeichert ist und/oder wobei der Prozessor ausgeführt ist, die Kritikalitätskarte während der Fahrt des Fahrzeuges dynamisch zu simulieren.
Unter der Speichereinheit kann beispielsweise eine elektronische Speichereinheit, ein Speicherchip oder eine Festplatte verstanden werden. Die simulierte Kritikalitätskarte kann beispielsweise bei der Herstellung des Fahrerassistenzsystems werkseitig simuliert werden und auf der Speichereinheit gespeichert sein. Ferner kann die simulierte Kritikalitätskarte auch während dem Betrieb des Fahrerassistenzsystems oder während eines Standby Zustandes des Fahrerassistenzsystems simuliert und auf der Speichereinheit gespeichert werden. Ferner kann auch der Prozessor ausgeführt sein, die Kritikalitätskarte während der Fahrt des Fahrzeuges dynamisch zu simulieren. Beispielsweise kann der Prozessor dazu ausgeführt sein, für jedes Einzelbild eine neue simulierte Kritikalitätskarte dynamisch zu simulieren. Der Prozessor kann jedoch auch dazu ausgeführt sein, nur für jedes zehnte, jedes hundertste oder jedes tausendste Einzelbild eine neue simulierte Kritikalitätskarte zu simulieren. Das heißt, die simulierte Kritikalitätskarte kann in regelmäßigen, vorgegebenen Abständen dynamisch simuliert werden. Auf diese Weise kann die simulierte Kritikalitätskarte an eine aktuelle Umgebung und/oder an einen aktuellen Zustand des Fahrzeuges adaptiert werden.
Gemäß einer weiteren beispielhaften Ausführungsform der Erfindung ist der Prozessor dazu ausgeführt, das Auswählen eines Bereichs von Interesse aus der simulierten Kritikalitätskarte so oft zu wiederholen und damit weitere Bereiche von Interesse auszuwählen, bis die Rechenleistung, welche der Prozessor für das Untersuchen der bereits ausgewählten Bereiche von Interesse benötigt, eine für den Prozessor aktuell verfügbare Rechenleistung erreicht. Darunter kann verstanden werden, dass der Prozessor ausgeführt ist, das Auswählen so oft zu wiederholen, bis die Rechenleistung, die der Prozessor für das Untersuchen der bereits ausgewählten Bereiche von Interesse benötigt, eine für den Prozessor in der aktuellen Situation verfügbare Rechenleistung erreicht. Ferner kann der Prozessor auch dazu ausgeführt sein, das Auswählen eines Bereiches von Interesse aus der Kritikalitätskarte so oft zu wiederholen, bis die Rechenleistung, die der Prozessor für das Untersuchen der ausgewählten Bereiche von Interesse benötigt, eine statisch vorgegebene Rechenleistung erreicht.
Mit anderen Worten kann die Auswahl von Bereichen von Interesse und die Untersuchung von Bereichen von Interesse solange wiederholt werden, bis die maximale Rechenleistung des Prozessors erreicht ist. Das heißt, es können schrittweise und/oder sequentiell so viele Bereiche von Interesse ausgewählt werden, wie der Prozessor sie mit der aktuell verfügbaren Rechenleistung untersuchen kann. Die Anzahl der ausgewählten Bereiche von Interesse kann dabei dynamisch an die in der aktuellen Situation verfügbare Rechenleistung angepasst werden. Beispielsweise kann die Auslastung des Prozessors wegen eines anderen, nicht detaillierter beschriebenen Prozesses relativ hoch sein, so dass weniger Bereiche von Interesse untersucht werden können. Wenn jedoch die Auslastung des Prozessors gering ist, können mehr Bereiche von Interesse untersucht werden. Die Generierung der Bereiche von Interesse kann somit, falls gewünscht, dynamisch an die aktuell verfügbare Rechenleistung des Prozessors angepasst werden.
Es kann unter den mehreren vom Sensor aufgenommenen Einzelbildern auch ein Video verstanden werden. Die aktualisierte Kritikalitätskarte eines vom Sensor aufgenommenen Einzelbildes kann beispielsweise basierend auf der simulierten Kritikalitätskarte und/oder einer aktualisierten Kritikalitätskarte eines vorangehenden Einzelbildes erzeugt werden. Dabei kann die simulierte Kritikalitätskarte auch nach dem Erzeugen der aktualisierten Kritikalitätskarte bestehen bleiben. Im Kontext der vorliegenden Erfindung kann unter der aktualisierten Kritikalitätskarte auch eine Online-Kritikalitätskarte verstanden werden. Ferner kann der Prozessor dazu ausgeführt sein, für jedes vom Sensor aufgenommene Einzelbild jeweils eine aktualisierte Kritikalitätskarte zu erzeugen. Der Prozessor kann jedoch auch dazu ausgeführt sein, für jedes zehnte oder hundertste vom Sensor aufgenommene Einzelbild oder in anderen Abständen eine aktualisierte Kritikalitätskarte zu erzeugen. Auf diese Weise können für vom Sensor aufgenommene Einzelbilder jeweils separate aktualisierte Kritikalitätskarten zur Verfügung gestellt werden. Ferner können die aktualisierten Kritikalitätskarten Bereiche aufweisen, welche jeweils den Bereichen der simulierten Kritikalitätskarte entsprechen. Die aktualisierten Kritikalitätskarten können unter anderem darauf beruhen, wie oft gewisse Bereiche schon untersucht worden sind. Auf diese Weise kann sichergestellt werden, dass gewisse Bereiche nicht vernachlässigt werden.
Die Erzeugung von aktualisierten Kritikalitätskarten ist beispielsweise im Kontext des in 3 gezeigten Ausführungsbeispiels im Detail beschrieben.
Die Wahrscheinlichkeit kann beispielsweise eine Wahrscheinlichkeit bezeichnen, dass in dem jeweiligen Bereich ein kritisches Objekt erkannt werden muss, um einen Unfall verhindern zu können. Unter dem Addieren der Wahrscheinlichkeiten der simulierten Kritikalitätskarte mit den Wahrscheinlichkeiten der aktualisierten Kritikalitätskarte kann verstanden werden, dass die Wahrscheinlichkeiten der einzelnen Bereiche der simulierten Kritikalitätskarte mit den Wahrscheinlichkeiten der einzelnen Bereiche der aktualisierten Kritikalitätskarte jeweils pro Bereich addiert werden. Mit anderen Worten kann die Addition der Wahrscheinlichkeiten ortsspezifisch erfolgen. Dabei kann unter der Addition der Wahrscheinlichkeiten auch eine Integration der Wahrscheinlichkeiten der simulierten Kritikalitätskarte mit den Wahrscheinlichkeiten der aktualisierten Kritikalitätskarte verstanden werden. Ferner kann auch ein Normieren der Wahrscheinlichkeiten nach dem Addieren der Wahrscheinlichkeiten erfolgen, so dass die Summe der Wahrscheinlichkeiten wieder 100% ergibt. Unter dem dem ersten Einzelbild vorangehenden Einzelbild kann das Einzelbild verstanden werden, das direkt vor dem ersten Einzelbild aufgenommen wurde. Es kann jedoch ein Einzelbild verstanden werden, das nicht direkt vor dem ersten Einzelbild aufgenommen wurde. Beispielsweise kann es sich beim vorangehenden Einzelbild um ein Einzelbild handeln, das zehn Einzelbilder vor dem ersten Einzelbild aufgenommen wurde. Das erste Einzelbild und das zweite Einzelbild können gleiche oder unterschiedliche Einzelbilder bezeichnen.
Auf diese Weise kann sichergestellt werden, dass auch Bereiche mit einer kleinen Wahrscheinlichkeit, das heißt mit einer großen Latenzzeit, untersucht werden. Je mehr Iterationen beziehungsweise Durchläufe das Verfahren macht, desto mehr fallen auch Bereiche ins Gewicht, die in der simulierten Kritikalitätskarte eine niedrige Wahrscheinlichkeit aufweisen.
Gemäß einer weiteren beispielhaften Ausführungsform der Erfindung ist der Prozessor ausgeführt, das Auswählen eines Bereichs als Bereich von Interesse aus der aktualisierten Kritikalitätskarte des zweiten Einzelbildes und das auf null Setzen des ausgewählten Bereiches so oft zu wiederholen, bis die Rechenleistung, die der Prozessor für das Untersuchen der bereits ausgewählten Bereiche von Interesse benötigt, die dem Prozessor in der aktuellen Situation verfügbare Rechenleistung erreicht. Auf diese Weise kann die Generierung der Bereiche von Interesse dynamisch an die aktuelle Auslastung des Prozessors angepasst werden.
Gemäß einer weiteren beispielhaften Ausführungsform der Erfindung ist ein Fahrerassistenzsystem zur Fußgängererkennung angegeben. Das Simulieren der Kritikalitätskarte erfolgt dabei auf Grundlage eines Elementes, welches ausgewählt ist aus der Gruppe bestehend aus einer momentanen Geschwindigkeit des Fahrzeugs, möglichen Geschwindigkeiten von Fußgängern, möglichen Geschwindigkeiten von Fahrzeugen, möglichen Bewegungsabläufen von Fußgängern, möglichen Bewegungsabläufen von Fahrzeugen, Bewegungsmodellen von Fußgängern, Entfernungen von Fußgängern vom Fahrzeug, Verteilungen von Unfällen bezüglich eines Fahrzeugverhaltens, und jede Kombination hiervon.
Das Simulieren kann ein Teil eines im Kontext der vorliegenden Erfindung beschriebenen Verfahrens sein. Unfälle mit Fußgängern können verschiedene Abläufe aufweisen. Zur Simulation können daher alle denkbaren Geschwindigkeiten und/oder Bewegungsabläufe von Fußgängern und/oder vom Fahrzeug vor einem Zusammenstoß simuliert werden. Dabei kann jeweils für jeden Zeitpunkt vor der Kollision bestimmt werden, wie wichtig es ist, den Fußgänger zu diesem Zeitpunkt auch sehen zu können. Beispielsweise kann ein weit entfernter Fußgänger mit einer hohen TTC (time to collision) als weniger relevant eingestuft werden als ein naher Fußgänger, bei dem unverzüglich ein Eingriff notwendig sein kann. Zusätzlich können die aktuellen Bewegungsvarianten über ein Fußgängerbewegungsmodell mit gewichtet werden, so dass ein Fußgänger mit einer Geschwindigkeit von 5 km/h zum Beispiel wahrscheinlicher ist als ein Fußgänger mit einer Geschwindigkeit von 25 km/h oder von 1 km/h. Unter der TTC kann dabei die Zeit verstanden werden, die vergeht, bis es zu einer Kollision zwischen dem Fahrzeug und einem erkanntem Objekt kommt. Dabei können das modellierte Verhalten des Fahrzeugs und/oder des Objekts sowie der aktuell bestimmte Bewegungszustand des Objekts berücksichtigt werden. Ferner können aus Unfallberichten Informationen über die Verteilung von Unfällen bezüglich des Fahrzeugverhaltens mit hinein gewichtet werden. Auf diese Weise kann man auf eine Verteilung kommen, wie sie in 1 dargestellt ist. Auf diese Weise kann eine realistische simulierte Kritikalitätskarte erstellt werden.
Gemäß einer weiteren beispielhaften Ausführungsform der Erfindung ist der Prozessor dazu ausgeführt, in einem Bildbereich eines aufgenommenen Einzelbildes kritische Objekte zu detektieren, wobei der Bildbereich des aufgenommenen Einzelbildes einem ausgewählten Bereich von Interesse in der simulierten und/oder aktualisierten Kritikalitätskarte entspricht.
Mit anderen Worten kann mittels einer Funktion einem ausgewählten Bereich von Interesse ein Bildbereich eines aufgenommenen Einzelbildes zugeordnet sein. Beispielsweise kann mittels einer Koordinatentransformation einem Bereich aus der aktualisierten Kritikalitätskarte oder der simulierten Kritikalitätskarte ein Bildbereich eines aufgenommenen Einzelbildes zugeordnet sein. Die Zuordnung von Bereichen der Kritikalitätskarte zu Bildbereichen der aufgenommenen Einzelbilder ist beispielsweise anhand von dem in 4 gezeigten Ausführungsbeispiel der Erfindung im Detail beschrieben. Ferner kann der Prozessor dazu ausgeführt sein, ein Signal zu erzeugen, wenn im Bildbereich des aufgenommenen Einzelbildes ein kritisches Objekt detektiert wird. Beispielsweise kann dieses Signal dazu führen, dass im Fahrzeug eine Warnung in Form von Lichtern, Tönen und/oder haptischen Signalen erzeugt wird. Auf diese Weise können die Bildbereiche untersucht werden, die gemäß der Kritikalitätskarte kritisch sind, so dass der Fahrer rechtzeitig gewarnt werden kann.
Gemäß einer weiteren beispielhaften Ausführungsform der Erfindung ist der Prozessor dazu ausgeführt, ein Signal zu erzeugen, wenn in einem untersuchten Bildbereich eines aufgenommenen Einzelbildes ein kritisches Objekt detektiert wird, wobei das vom Prozessor erzeugte Signal eine Fahrzeugsteuerung anleitet, eine Geschwindigkeitsanpassung, eine Bremsung und/oder eine Vollbremsung des Fahrzeuges durchzuführen.
Das Signal kann beispielsweise ein elektrisches Signal und/oder ein Funksignal bezeichnen, welches einen Befehl zur Bremsung oder zur Vollbremsung für die Fahrzeugsteuerung beinhaltet. Die Fahrzeugsteuerung kann dabei eine Steuerungseinheit des Fahrzeuges bezeichnen. Auf diese Weise kann eine schnelle Reaktion des Fahrzeugs auf detektierte kritische Objekte bewirkt werden.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem im Kontext der vorliegenden Erfindung beschriebenen Fahrerassistenzsystem.
Das Fahrzeug kann somit mit Merkmalen, die das Fahrerassistenzsystem betreffen, sowie mit Merkmalen, die ein Verfahren, welches das Fahrerassistenzsystem durchführen kann, betreffen, charakterisiert werden. Dabei kann das Fahrzeug einen Personenkraftwagen, einen Lastkraftwagen, ein Motorrad oder auch ein anderes Fahrzeug sein.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Objekterkennung in einer Umgebung eines Fahrzeuges, welches Verfahren den Schritt des Aufnehmens von Einzelbildern in einer Umgebung des Fahrzeuges aufweist. Ferner umfasst das Verfahren den Schritt des Simulierens einer Kritikalitätskarte, die mehrere Bereiche aufweist, denen jeweils eine Latenzzeit zugeordnet ist. Ein weiterer Schritt des Verfahrens ist das Auswählen eines Bereiches aus der simulierten Kritikalitätskarte als Bereich von Interesse zum Untersuchen auf kritische Objekte basierend auf der dem Bereich zugehörigen Latenzzeit. Dabei entspricht die Latenzzeit einer Maximaldauer, wie lange das Fahrerassistenzsystem den jeweiligen Bereich der Kritikalitätskarte maximal nicht untersucht lassen kann.
Das Verfahren kann von einem Fahrerassistenzsystem, welches im Kontext der vorliegenden Erfindung beschrieben ist, durchgeführt werden. Daher kann das Verfahren auch mit Merkmalen charakterisiert werden, welche ein im Kontext der vorliegenden Erfindung beschriebenes Fahrerassistenzsystem charakterisieren. Die einzelnen Schritte des Verfahrens können entweder in der angegebenen Reihenfolge oder auch in einer anderen Reihenfolge oder parallel zueinander durchgeführt werden.
Ein weiterer Aspekt der Erfindung betrifft ein Programmelement, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, ein Verfahren, welches im Kontext der vorliegenden Erfindung beschrieben ist, durchzuführen. Das Programmelement kann ein Teil eines Computerprogramms sein. Ferner kann das Programmelement auch selbst ein selbstständiges Computerprogramm sein. Beispielsweise kann das Programmelement als Update ein bereits bestehendes Computerprogramm zum Ausführen des erfindungsgemäßen Verfahrens befähigen.
Gemäß einer weiteren beispielhaften Ausführungsform der Erfindung sind Bereichen der simulierten Kritikalitätskarte jeweils zur Latenzzeit invers proportionale Wahrscheinlichkeiten zugeordnet. Ferner weist das Verfahren den Schritt des Generierens einer aktualisierten Kritikalitätskarte für ein vom Sensor aufgenommenes erstes Einzelbild durch Addieren der Wahrscheinlichkeiten der simulierten Kritikalitätskarte mit Wahrscheinlichkeiten einer aktualisierten Kritikalitätskarte eines dem ersten Einzelbild vorangehenden Einzelbildes auf. Das Verfahren weist ferner den Schritt des Auswählens eines Bereiches mit der höchsten Wahrscheinlichkeit aus einer aktualisierten Kritikalitätskarte eines zweiten Einzelbildes als Bereich von Interesse auf. Außerdem umfasst das Verfahren den Schritt des Auf-Null-Setzens der Wahrscheinlichkeit des ausgewählten Bereiches der aktualisierten Kritikalitätskarte des zweiten Einzelbildes.
Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, auf dem ein Programmelement gespeichert ist, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, ein Verfahren, welches im Kontext der vorliegenden Erfindung beschrieben ist, durchzuführen. Das computerlesbare Medium kann als Speichermedium, beispielsweise als USB-Stick, als CD, als DVD, als Festplatte oder als sonstiges Speichermedium angesehen werden. Ferner kann das computerlesbare Medium auch als Mikrochip ausgeführt sein, der ein Fahrerassistenzsystem befähigt, das erfindungsgemäße Verfahren durchzuführen.
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung der Ausführungsbeispiele und Figuren. Dabei bilden alle beschriebenen und/oder bildlich dargestellten Merkmale für sich und in beliebiger Kombination den Gegenstand der Erfindung auch unabhängig von ihrer Zusammensetzung in den einzelnen Ansprüchen oder deren Rückbezügen.
Figurenliste

1 zeigt ein Beispiel für eine Kritikalitätskarte.
2 zeigt ein weiteres Beispiel für eine Kritikalitätskarte.
3 zeigt simulierte und aktualisierte Kritikalitätskarten gemäß der Erfindung.
4 zeigt ein Einzelbild sowie eine Kritikalitätskarte.
5 zeigt ein Fahrzeug gemäß einem Ausführungsbeispiel der Erfindung.
6 zeigt ein Flussdiagramm für ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung.

Dabei sind die Figuren schematisch und nicht maßstabsgetreu dargestellt. Sind in der nachfolgenden Beschreibung in verschiedenen Figuren die gleichen Bezugszeichen angegeben, so können diese gleiche oder ähnliche Elemente bezeichnen. Gleiche oder ähnliche Elemente können aber auch mit unterschiedlichen Bezugszeichen bezeichnet sein.
Detaillierte Beschreibung von Ausführungsbeispielen
In 1 ist ein Beispiel für eine Kritikalitätskarte 110 dargestellt. Dabei kann es sich bei der in 1 dargestellten Kritikalitätskarte um eine simulierte und/oder um eine aktualisierte Kritikalitätskarte, wie sie im Kontext der vorliegenden Erfindung beschrieben ist, handeln. Das Simulieren der Kritikalitätskarte kann dabei auf Grundlage eines Elementes erfolgen, welches ausgewählt ist aus der Gruppe bestehend aus einer momentanen Geschwindigkeit des Fahrzeugs, möglichen Geschwindigkeiten von Fußgängern, möglichen Geschwindigkeiten von Fahrzeugen, möglichen Bewegungsabläufen von Fußgängern, möglichen Bewegungsabläufen von Fahrzeugen, Bewegungsmodellen von Fußgängern, Entfernungen von Fußgängern vom Fahrzeug, Verteilungen von Unfällen bezüglich eines Fahrzeugverhaltens, und jede Kombination hiervon.
In der Kritikalitätskarte 110 ist dabei ein Fahrzeug 100 dargestellt, welches sich mit einer Geschwindigkeit, die mittels des Pfeils 101 eingezeichnet ist, bewegt. Ferner sind in der Kritikalitätskarte Isolinien beziehungsweise Isarithmen 103, 104 und 105 eingezeichnet. Die Isolinien beziehungsweise Isarithmen 103, 104 und 105 stellen dabei Regionen in der Kritikalitätskarte 110 dar, die die gleiche Latenzzeit beziehungsweise Wahrscheinlichkeit haben. Das heißt, dass beispielsweise in den Bereichen auf der Linie 103 die Zeit, wie lange das Fahrerassistenzsystem diesen Bereich maximal nicht untersucht lassen kann, gleich lange ist. Die Bereiche 106 und 107 bezeichnen dabei Bereiche, wo die Latenzzeit besonders niedrig, das heißt die Wahrscheinlichkeit hoch ist. Mit anderen Worten ist die Dauer, wie lange das Fahrerassistenzsystem die Bereiche 107 und 106 unberücksichtigt lassen kann, kürzer als in Bereichen auf der Linie 103. Eine solche Karte 100 mit Isolinien beziehungsweise Isarithmen kann beispielsweise auf einer Speichereinheit des Fahrerassistenzsystems gespeichert sein oder von einem Prozessor des Fahrerassistenzsystems simuliert werden. Aus Übersichtlichkeitsgründen sind dabei die einzelnen Bereiche der Kritikalitätskarte in 1 nicht explizit dargestellt. Die einzelnen Bereiche der Kritikalitätskarte werden jedoch in den folgenden Figuren im Detail dargestellt und beschrieben.
In 2 ist ein weiteres Beispiel für eine Kritikalitätskarte dargestellt. Die Kritikalitätskarte 200 umfasst eine Vielzahl von quadratförmigen Bereichen 201, 202 und 203. Die quadratische Form der Bereiche ist jedoch rein beispielhaft und nicht als Einschränkung anzusehen. Die Bereiche können auch andere Formen, zum Beispiel eine hexagonale Form, aufweisen. Ferner können die einzelnen Bereiche auch unterschiedlich geformt sein. Beispielsweise können die Formen der Bereiche an die in 1 gezeigten Isolinien angepasst sein. Den einzelnen Bereichen 201, 202, 203 und auch anderen Bereichen der Kritikalitätskarte 200 können jeweils eine Latenzzeit und/oder eine Wahrscheinlichkeit zugeordnet sein. Die Latenzzeit entspricht dabei einer Maximaldauer, wie lange das Fahrerassistenzsystem den jeweiligen Bereich der Kritikalitätskarte maximal nicht untersucht lassen kann beziehungsweise unberücksichtigt lassen kann. Die Wahrscheinlichkeit ist jeweils invers proportional zur Latenzzeit. Beispielsweise können die den Bereichen zugeordneten Latenzzeiten beziehungsweise Wahrscheinlichkeiten eine Verteilung mit Isolinien, wie sie im Kontext von 1 beschrieben ist, wiedergeben. Die Bereiche 201 und 202 entsprechen dabei den Bereichen 106 und 107 der Karte 110, die eine tiefe Latenzzeit beziehungsweise eine hohe Wahrscheinlichkeit aufweisen. Der Bereich 203 kann dabei einem Bereich auf der Isolinie 103 entsprechen, der eine hohe Latenzzeit beziehungsweise eine niedrige Wahrscheinlichkeit aufweist. Bei der Kritikalitätskarte 200 kann es sich einerseits um eine simulierte Kritikalitätskarte handeln. Diese kann beispielsweise auf einer Speichereinheit eines Fahrerassistenzsystems gespeichert sein und/oder von einem Prozessor des Fahrerassistenzsystems simuliert werden. Beispielsweise kann die Kritikalitätskarte 200 in Form eines oder mehrerer Datensätze auf der Speichereinheit gespeichert sein oder vom Prozessor simuliert werden. Die in 2 gezeigte zweidimensionale Darstellung der Kritikalitätskarte 200 kann, muss aber nicht, gespeichert sein und/oder simuliert werden. Ferner kann es sich bei der Kritikalitätskarte 200 auch um eine aktualisierte Kritikalitätskarte handeln, die einem Einzelbild, welches von einem Sensor eines Fahrzeugs aufgenommen wurde, zugeordnet ist. Beispielsweise wird der Bereich 202 der Kritikalitätskarte 200 als Bereich von Interesse zur Untersuchung auf kritische Objekte ausgewählt. Anschließend wird dem Bereich 202 der aktualisierten Kritikalitätskarte eine Wahrscheinlichkeit mit dem Wert Null zugeordnet. Je mehr Iterationen beziehungsweise Durchläufe das Verfahren macht, desto mehr fallen auch Bereiche ins Gewicht, die in der simulierten Kritikalitätskarte eine niedrige Wahrscheinlichkeit aufweisen.
In 3 ist die Generierung einer simulierten Kritikalitätskarte 301 sowie von aktualisierten Kritikalitätskarten 302, 303, 304, 305 und 306 gemäß der Erfindung dargestellt. Dies ist anhand von einem einfachen, eindimensionalen Modell beschrieben. Jedoch ist es für den Fachmann ohne Weiteres erkennbar, wie dieses einfache, eindimensionale Modell auf zwei- oder mehrdimensionale Kritikalitätskarten angewendet werden kann. Die Kritikalitätskarte 301 stellt eine simulierte Kritikalitätskarte dar. Die simulierte Kritikalitätskarte 301 weist eine Raumdimension 307 auf. Entlang der Raumdimension 307 sind Bereiche 309 bis 315 angeordnet. Ferner ist jedem Bereich 309 bis 315 jeweils eine Wahrscheinlichkeit 316 bis 322 zugeordnet, die entlang der Achse 308, welche in diesem Ausführungsbeispiel der Erfindung zufällige Einheiten aufweist, dargestellt ist. Das heißt, die Höhe des jeweiligen Bereichs 309 bis 315 entlang der Achse 308 stellt die Größe der jeweiligen Wahrscheinlichkeit dar.
Die Kritikalitätskarte 302 stellt eine initiale aktualisierte Kritikalitätskarte dar. Diese initiale aktualisierte Kritikalitätskarte 302 kann beispielsweise einer aktualisierten Kritikalitätskarte entsprechen, zu einem Zeitpunkt, zu dem noch kein Einzelbild aufgenommen wurde. Die aktualisierte Kritikalitätskarte 302 weist entlang der Raumdimension 307 Bereiche 323 bis 329 auf, die den Bereichen der simulierten Kritikalitätskarte 301 entsprechen. Die Bereiche 323 bis 329 weisen in der initialen aktualisierten Kritikalitätskarte 302 alle die Wahrscheinlichkeit Null auf, so dass die Bereiche 316 bis 322 entlang der Achse 308 keine Ausdehnung haben.
Die Kritikalitätskarte 303 stellt eine aktualisierte Kritikalitätskarte für ein erstes vom Sensor aufgenommenes Einzelbild dar. Die aktualisierte Kritikalitätskarte des ersten vom Sensor aufgenommenen Einzelbildes 303 weist Bereiche 330 bis 336 auf, die den Bereichen der simulierten Kritikalitätskarte 301 entsprechen und jeweils eine Wahrscheinlichkeit 337 bis 343 aufweisen. Die Wahrscheinlichkeiten 337 bis 343, die den Bereichen 330 bis 336 zugeordnet sind, ergeben sich aus der Addition der Wahrscheinlichkeiten 316 bis 322 der einzelnen Bereiche 309 bis 315 der simulierten Kritikalitätskarte 301 sowie aus den Wahrscheinlichkeiten der Bereiche der aktualisierten Kritikalitätskarte des vorangehenden Einzelbildes. In diesem Fall ist die aktualisierte Kritikalitätskarte des vorangehenden Einzelbildes die initiale aktualisierte Kritikalitätskarte 302. Somit werden die Wahrscheinlichkeiten 316 bis 322 der Bereiche 309 bis 315 von der simulierten Kritikalitätskarte 301 jeweils mit den Wahrscheinlichkeiten der Bereiche 323 bis 329 der initialen aktualisierten Kritikalitätskarte 302, die alle den Wert Null betragen, addiert. Die Wahrscheinlichkeiten 337 bis 343 der Bereiche 330 bis 336 der aktualisierten Kritikalitätskarte 303 des ersten Einzelbildes entsprechen daher den Wahrscheinlichkeiten 316 bis 322 der Bereiche 309 bis 315 der simulierten Kritikalitätskarte 301.
In der Karte 304 ist die erste aktualisierte Kritikalitätskarte des ersten vom Sensor aufgenommenen Einzelbildes dargestellt, nachdem der Prozessor des Fahrerassistenzsystems den Bereich 332 als Bereich von Interesse ausgewählt hat, der die höchste Wahrscheinlichkeit 339 aufweist. Anschließend wird die Wahrscheinlichkeit des Bereichs 332 auf den Wert Null 344 gesetzt. In Karte 305 ist die aktualisierte Kritikalitätskarte des ersten Einzelbildes nach einem zweiten Iterationsschritt dargestellt, bei welchem der Prozessor analog zur Karte 304 den zweiten Bereich von Interesse 330 ausgewählt hat und dessen Wahrscheinlichkeit auf den Wert Null 345 gesetzt hat.
In Karte 306 ist die aktualisierte Kritikalitätskarte eines dem ersten Einzelbild nachfolgenden Einzelbildes dargestellt. Die aktualisierte Kritikalitätskarte 306 des dem ersten Einzelbild nachfolgenden Einzelbildes weist die Bereiche 346 bis 352 auf, die den Bereichen der simulierten Kritikalitätskarte 301 entsprechen. Die Wahrscheinlichkeiten der Bereiche 346 bis 352 ergeben sich aus der Summe der Wahrscheinlichkeiten der Bereiche 309 bis 315 der simulierten Kritikalitätskarte 301 und den Wahrscheinlichkeiten der Bereiche 330 bis 336 der aktualisierten Kritikalitätskarte 305 des vorangehenden Einzelbildes, nachdem die Wahrscheinlichkeiten den ausgewählten Bereiche von Interesse 330 und 332 den Wert Null erhalten haben. Somit entspricht beispielsweise die Wahrscheinlichkeit des Bereiches 347 der Summe der Wahrscheinlichkeiten 317 des Bereichs 310 der simulierten Kritikalitätskarte 301 und der Wahrscheinlichkeit 338 der aktualisierten Kritikalitätskarte 305. Die Wahrscheinlichkeiten der anderen Bereiche ergeben sich in analoger Weise. Somit haben in der aktualisierten Kritikalitätskarte 306 des nachfolgenden Einzelbildes die Bereiche 348, 350 und 351 die höchste Wahrscheinlichkeit, so dass auch die Bereiche 350 und 351 als Bereich von Interesse ausgewählt werden können, obwohl diese Bereiche gemäß der simulierten Kritikalitätskarte 301 eine niedrigere Wahrscheinlichkeit aufweisen.
Bereichen der simulierten Kritikalitätskarte und Bereichen der aktualisierten Kritikalitätskarten sind jeweils zur Latenzzeit invers proportionale Wahrscheinlichkeiten zugeordnet. Der Prozessor der Fahrerassistenzsystems ist dazu ausgeführt, die Wahrscheinlichkeiten der aktualisierten Kritikalitätskarte für ein erstes aufgenommenes Einzelbild durch Addieren der Wahrscheinlichkeiten der simulierten Kritikalitätskarte mit den Wahrscheinlichkeiten der aktualisierten Kritikalitätskarte des dem ersten Einzelbild vorangehenden Einzelbildes zu ermitteln. Ferner ist der Prozessor dazu ausgeführt, für ein zweites Einzelbild den Bereich mit der höchsten Wahrscheinlichkeit gemäß der aktualisierten Kritikalitätskarte des zweiten Einzelbildes als Bereich von Interesse auszuwählen und die Wahrscheinlichkeit für den ausgewählten Bereich in der aktualisierten Kritikalitätskarte des zweiten Einzelbildes auf null zu setzen.
In 4 ist einerseits ein von einem Sensor eines Fahrerassistenzsystems aufgenommenes Einzelbild 401 sowie eine dem Einzelbild 401 entsprechende aktualisierte Kritikalitätskarte 402 in vereinfachter Form dargestellt. Das Einzelbild 401 zeigt beispielsweise ein Bild der Umgebung des Fahrzeugs, welches in Fahrtrichtung des Fahrzeugs aufgenommen wurde. Im Bild 401 ist beispielsweise eine Straße 403 mit einem Gehsteig 404 links von der Fahrbahn sowie einem Gehsteig 405 rechts von der Fahrbahn dargestellt. Ferner befindet sich auf dem linken Gehweg 404 ein Fußgänger 406. In der vereinfachten aktualisierten Kritikalitätskarte des Einzelbildes 401 sind neun Bereiche dargestellt. Der Prozessor des Fahrerassistenzsystems ist dazu ausgeführt, in einem Bildbereich eines aufgenommenen Einzelbildes kritische Objekte zu detektieren, wobei der Bildbereich des aufgenommenen Einzelbildes einem ausgewählten Bereich von Interesse in der simulierten und/oder aktualisierten Kritikalitätskarte des aufgenommenen Einzelbildes entspricht. Beispielsweise hat das Fahrerassistenzsystem den Bereich 410 als ersten Bereich von Interesse ausgewählt. Der Bereich 410 der aktualisierten Kritikalitätskarte 402 entspricht beispielsweise einem Bildbereich 408 des Einzelbildes 401. Somit wird der Bildbereich 408 vom Fahrerassistenzsystem auf Fußgänger untersucht. Ferner wurde auch der Bereich 409 der aktualisierten Kritikalitätskarte 402 als Bereich von Interesse ausgewählt. Der Bereich 409 der aktualisierten Kritikalitätskarte entspricht dem Bildbereich 407 des Einzelbildes 401. Im Bildbereich 407 befindet sich der Fußgänger 406, welcher vom Fahrerassistenzsystem erkannt werden kann. Daraufhin kann das Fahrerassistenzsystem ein Signal erzeugen, welches eine Warnung des Fahrers und/oder eine Bremsung beziehungsweise Vollbremsung des Fahrzeugs herbeiführen kann. Die Zuordnung der Bereiche 409 beziehungsweise 410 der aktualisierten Kritikalitätskarte 402 zu den Bereichen 407 beziehungsweise 408 des Einzelbildes 401 kann beispielsweise mittels einer Koordinatentransformation oder einer anderen Transformation definiert sein.
In 5 ist ein Fahrzeug 500 in Form eines Personenkraftwagens gemäß einem Ausführungsbeispiel der Erfindung dargestellt. Das Fahrzeug 500 weist ein Fahrerassistenzsystem 501 für ein Fahrzeug zur Objekterkennung auf, welches einen Prozessor 502 sowie einen Sensor 504 zum Aufnehmen von Einzelbildern einer Umgebung des Fahrzeugs aufweist. Der Prozessor 502 ist dazu ausgeführt, aus einer simulierten Kritikalitätskarte einen Bereich als Bereich von Interesse zum Untersuchen auf kritische Objekte auszuwählen, wobei die simulierte Kritikalitätskarte mehrere Bereiche aufweist und in der Kritikalitätskarte jedem dieser Bereiche jeweils eine Latenzzeit zugeordnet ist. Dabei ist der Prozessor 502 dazu ausgeführt, den Bereich von Interesse basierend auf der zugehörigen Latenzzeit auszuwählen. Die Latenzzeit entspricht dabei einer Maximaldauer, wie lange das Fahrerassistenzsystem 501 den jeweiligen Bereich der Kritikalitätskarte maximal nicht untersucht lassen kann. Das Fahrerassistenzsystem umfasst ferner eine Speichereinheit 503. Auf der Speichereinheit 503 kann die simulierte Kritikalitätskarte gespeichert sein, welche zum Beispiel vom Prozessor 502 simuliert ist. Außerdem kann der Prozessor 502 während der Fahrt des Fahrzeugs 500 die simulierte Kritikalitätskarte dynamisch simulieren. Der Sensor 504 ist beispielsweise als eine in Fahrtrichtung ausgerichtete Kamera ausgeführt. Wenn das Fahrerassistenzsystem einen Fußgänger erkennt, kann das Fahrerassistenzsystem ein Signal an eine Fahrzeugsteuerung 505 senden, welches eine Warnung des Fahrers und/oder eine Bremsung beziehungsweise Vollbremsung des Fahrzeugs herbeiführt.
In 6 ist ein Flussdiagramm für ein Verfahren zur Objekterkennung in einer Umgebung eines Fahrzeugs dargestellt. Das Verfahren weist den Schritt S1 des Aufnehmens von Einzelbildern einer Umgebung des Fahrzeugs auf. Ferner beinhaltet das Verfahren den Schritt S2 des Simulierens einer Kritikalitätskarte, die mehrere Bereiche aufweist, denen jeweils eine Latenzzeit zugeordnet ist. Außerdem umfasst das Verfahren den Schritt S3 des Auswählens eines Bereiches aus der simulierten Kritikalitätskarte als Bereich von Interesse zum Untersuchen auf kritische Objekte basierend auf der dem Bereich zugehörigen Latenzzeit. Dabei entspricht die Latenzzeit einer Maximaldauer, wie lange das Fahrerassistenzsystem den jeweiligen Bereich der Kritikalitätskarte maximal nicht untersucht lassen kann.

Claims

Fahrerassistenzsystem (501) zur Objekterkennung für ein Fahrzeug, das Fahrerassistenzsystem aufweisend: einen Prozessor (502); einen Sensor (504) zum Aufnehmen von mehreren Einzelbildern (401) einer Umgebung des Fahrzeuges; wobei der Prozessor dazu ausgeführt ist, aus einer simulierten Kritikalitätskarte (200) einen Bereich als Bereich von Interesse zum Untersuchen auf kritische Objekte auszuwählen; wobei die simulierte Kritikalitätskarte mehrere Bereiche (201, 203) aufweist und in der Kritikalitätskarte jedem dieser Bereiche jeweils eine Latenzzeit zugeordnet ist; und wobei die Latenzzeit einer Dauer entspricht, wie lange das Fahrerassistenzsystem den jeweiligen Bereich der Kritikalitätskarte maximal nicht untersucht lassen kann; wobei der Prozessor dazu ausgeführt ist, den Bereich von Interesse (202) basierend auf der zugehörigen Latenzzeit auszuwählen; für die vom Sensor aufgenommenen Einzelbilder jeweils eine aktualisierte Kritikalitätskarte (303, 304, 305) zu erzeugen; wobei Bereichen der simulierten Kritikalitätskarte und Bereichen der aktualisierten Kritikalitätskarten jeweils eine zur Latenzzeit invers proportionale Wahrscheinlichkeit zugeordnet ist; die Wahrscheinlichkeiten der aktualisierten Kritikalitätskarte (306) für ein erstes aufgenommenes Einzelbild durch Addieren der Wahrscheinlichkeiten der simulierten Kritikalitätskarte (301) mit den Wahrscheinlichkeiten einer aktualisierten Kritikalitätskarte (305) eines dem ersten Einzelbild vorangehenden Einzelbildes zu ermitteln; und für ein zweites Einzelbild den Bereich mit der höchsten Wahrscheinlichkeit (318) gemäß der aktualisierten Kritikalitätskarte des zweiten Einzelbildes als Bereich von Interesse auszuwählen und die Wahrscheinlichkeit für den ausgewählten Bereich in der aktualisierten Kritikalitätskarte des zweiten Einzelbilds auf null zu setzen (323).
Fahrerassistenzsystem nach Anspruch 1, wobei das Fahrerassistenzsystem eine Speichereinheit (503) aufweist, auf welcher die simulierte Kritikalitätskarte gespeichert ist; und/oder wobei der Prozessor ausgeführt ist, die Kritikalitätskarte während der Fahrt des Fahrzeuges dynamisch zu simulieren.
Fahrerassistenzsystem nach Anspruch 1 oder 2, wobei der Prozessor dazu ausgeführt ist, das Auswählen eines Bereichs von Interesse aus der simulierten Kritikalitätskarte so oft zu wiederholen und damit weitere Bereiche von Interesse auszuwählen, bis die Rechenleistung, welche der Prozessor für das Untersuchen der bereits ausgewählten Bereiche von Interesse benötigt, eine für den Prozessor aktuell verfügbare Rechenleistung erreicht.
Fahrerassistenzsystem nach einem der Ansprüche 2 oder 3 zur Fußgängererkennung, wobei das Simulieren der Kritikalitätskarte auf Grundlage eines Elementes erfolgt, welches ausgewählt ist aus der Gruppe bestehend aus einer momentanen Geschwindigkeit des Fahrzeugs, möglichen Geschwindigkeiten von Fußgängern, möglichen Geschwindigkeiten von Fahrzeugen, möglichen Bewegungsabläufen von Fußgängern, möglichen Bewegungsabläufen von Fahrzeugen, Bewegungsmodellen von Fußgängern, Entfernungen von Fußgängern vom Fahrzeug, Verteilungen von Unfällen bezüglich eines Fahrzeugverhaltens, und jede Kombination hiervon.
Fahrerassistenzsystem nach einem der vorangehenden Ansprüche, wobei der Prozessor dazu ausgeführt ist, in einem Bildbereich (407, 408) eines aufgenommenen Einzelbildes (401) kritische Objekte (406) zu detektieren; und wobei der Bildbereich des aufgenommenen Einzelbildes einem ausgewählten Bereich (409, 410) von Interesse in der simulierten und/oder aktualisierten Kritikalitätskarte (402) entspricht.
Fahrerassistenzsystem nach Anspruch 5, wobei der Prozessor dazu ausgeführt ist, ein Signal zu erzeugen, wenn in einem untersuchten Bildbereich eines aufgenommenen Einzelbildes ein kritisches Objekt detektiert wird; und wobei das vom Prozessor erzeugte Signal eine Fahrzeugsteuerung (505) anleitet, eine Geschwindigkeitsanpassung, eine Bremsung und/oder eine Vollbremsung des Fahrzeuges durchzuführen.
Verfahren zur Objekterkennung in einer Umgebung eines Fahrzeuges, das Verfahren aufweisend die Schritte: Aufnehmen von Einzelbildern einer Umgebung des Fahrzeuges (S1) ; Simulieren einer Kritikalitätskarte, die mehrere Bereiche aufweist, denen jeweils eine Latenzzeit zugeordnet ist (S2) ; und Auswählen eines Bereiches aus der simulierten Kritikalitätskarte als Bereich von Interesse zum Untersuchen auf kritische Objekte basierend auf der dem Bereich zugehörigen Latenzzeit (S3); wobei die Latenzzeit einer Maximaldauer entspricht, wie lange das Fahrerassistenzsystem den jeweiligen Bereich der Kritikalitätskarte maximal nicht untersucht lassen kann; wobei Bereichen der simulierten Kritikalitätskarte jeweils zur Latenzzeit invers proportionale Wahrscheinlichkeiten zugeordnet sind; wobei das Verfahren weiterhin die Schritte aufweist: Generieren einer aktualisierten Kritikalitätskarte für ein vom Sensor aufgenommenes erstes Einzelbild durch Addieren der Wahrscheinlichkeiten der simulierten Kritikalitätskarte mit Wahrscheinlichkeiten einer aktualisierten Kritikalitätskarte eines dem ersten Einzelbild vorangehenden Einzelbildes; Auswählen eines Bereiches mit der höchsten Wahrscheinlichkeit aus einer aktualisierten Kritikalitätskarte eines zweiten Einzelbildes als Bereich von Interesse; und Auf-Null-Setzen der Wahrscheinlichkeit des ausgewählten Bereiches der aktualisierten Kritikalitätskarte des zweiten Einzelbildes.