-
Die Erfindung betrifft ein Verfahren zum Erkennen eines Fußgängers in einem Umgebungsbereich eines Kraftfahrzeugs anhand von zumindest einem, mittels einer fahrzeugseitigen Kamera erfassten Bild des Umgebungsbereiches. Die Erfindung betrifft außerdem eine Bildverarbeitungseinrichtung, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug.
-
Es ist bereits aus dem Stand der Technik bekannt, einen Umgebungsbereich eines Kraftfahrzeugs kamerabasiert zu überwachen. Dabei können Objekte in dem Umgebungsbereich des Kraftfahrzeugs erfasst werden und Informationen über die Objekte beispielsweise einem Fahrerassistenzsystem des Kraftfahrzeugs bereitgestellt werden. Ein solches Fahrerassistenzsystem kann beispielsweise ein elektronischer Notbremsassistent und/oder ein Totwinkelassistent mit einer Fußgängererkennung (Pedestrian Detection – PD) sein. Diese Fahrerassistenzsysteme sind insbesondere dazu ausgelegt, eine Geschwindigkeit des Kraftfahrzeugs abzusenken und/oder einen Fahrer des Kraftfahrzeugs zu warnen, falls ein Abstand eines erfassten Fußgängers zu dem Kraftfahrzeug einen vorbestimmten Schwellwert unterschreitet. So kann beispielsweise ein Zusammenstoß mit dem Fußgänger verhindert werden und somit ein Verletzungsrisiko des Fußgängers deutlich verringert werden.
-
Zur kamerabasierten Überwachung können Bilder bzw. Videos aus dem Umgebungsbereich des Kraftfahrzeugs mittels zumindest einer fahrzeugseitigen Kamera erfasst und einer Bildverarbeitungseinrichtung des Kraftfahrzeugs zur Analyse bereitgestellt werden. In diesen Bildern können die Fußgänger von der Bildverarbeitungseinrichtung mittels Objekterkennungsalgorithmen erkannt bzw. identifiziert werden. Dazu wird üblicherweise das gesamte Bild nach fußgängerähnlichen Objekten durchsucht. Solche Fußgängererkennungsverfahren können einen hohen Ressourcenbedarf, beispielsweise eine hohe Rechenkapazität, aufweisen, insbesondere wenn das gesamte Bild und damit auch nichtrelevante Bildbereiche in dem Bild nach Fußgängern durchsucht werden.
-
Es ist Aufgabe der vorliegenden Erfindung, einen Fußgänger in einem Umgebungsbereich eines Kraftfahrzeugs auf besonders einfache, zuverlässige und Ressourcen sparende Weise erkennen zu können.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, eine Bildverarbeitungseinrichtung, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Erkennen eines Fußgängers in einem Umgebungsbereich eines Kraftfahrzeugs anhand von zumindest einem, mittels einer fahrzeugseitigen Kamera erfassten Bild des Umgebungsbereiches. Dabei wird in dem zumindest einen Bild zumindest ein erstes Bildfenster bestimmt und ein sich innerhalb des zumindest einen ersten Bildfensters befindlicher erster Bildbereich mittels einer Bildverarbeitungseinrichtung nach dem Fußgänger durchsucht. Darüber hinaus wird eine Position des zumindest einen ersten Bildfensters in dem zumindest einen Bild in Abhängigkeit von einem Lenkwinkel des Kraftfahrzeugs bestimmt.
-
Mittels des Verfahrens kann ein Fahrerassistenzsystem realisiert werden, welches bei Vorhandensein eines Fußgängers in dem Umgebungsbereich des Kraftfahrzeugs eine vorbestimmte Aktion auslösen kann, insbesondere falls eine Kollision des Kraftfahrzeugs mit dem Fußgänger droht. Eine solche vorbestimmte Aktion kann ein automatisches Abbremsen des Kraftfahrzeugs und/oder eine Ausgabe eines Warnsignals an einen Fahrer des Kraftfahrzeugs sein. Die Fußgänger können beispielsweise mittels maschinellen Lernalgorithmen in den Kamerabildern und/oder Videosequenzen erkannt werden. Solche Algorithmen können beispielsweise Boosting-Algorithmen, vorzugsweise AdaBoost-Algorithmen, sein. Dabei werden die Bilder und/oder Videosequenzen von zumindest einer fahrzeugseitigen Kamera, beispielsweise einer Frontkamera und/oder eine Heckkamera, erfasst. Die zumindest eine Kamera kann beispielsweise ein Fischaugenobjektiv zum Vergrößern eines Sichtfeldes der Kamera aufweisen. Die Bilder können dann der Bildverarbeitungseinrichtung zur Analyse und Erkennung der Fußgänger bereitgestellt werden. Im Falle einer Kamera mit einem Fischaugenobjektiv kann eine durch das Fischaugenobjektiv hervorgerufene Verzerrung in den Bildern vor der Analyse durch die Bildverarbeitungseinrichtung beseitigt werden.
-
Dabei ist es nun vorgesehen, dass nicht das gesamte Bild, sondern insbesondere nur der sich innerhalb des zumindest einen ersten Bildfensters befindliche erste Bildbereich nach dem Fußgänger durchsucht wird bzw. dass ein besonders großer, maximal möglicher Anteil an Ressourcen zur Analyse des ersten Bildbereiches bereitgestellt wird. Dieser erste, zweidimensionale Bildbereich ist eine sogenannte „Region of Interest“ (ROI) und deckt einen bestimmten Anteil einer Bildfläche des Bildes ab. Diese „Region of Interest“ korrespondiert zu einem Teilbereich in dem Umgebungsbereich des Kraftfahrzeugs, welcher durch das Analysieren des zugehörigen Bildbereiches überwacht wird. Dabei werden insbesondere diejenigen relevanten Teilbereiche in dem Umgebungsbereich ausschließlich oder besonders sorgfältig überwacht, auf welche sich das Kraftfahrzeug zubewegt. Falls sich nämlich in diesen relevanten Teilbereichen ein Fußgänger befindet, ist eine Kollision mit dem Fußgänger wahrscheinlich. Falls sich der Fußgänger in einem nichtrelevanten Teilbereich des Umgebungsbereiches befindet, auf welchen sich das Kraftfahrzeug nicht zubewegt, so ist eine Kollision mit dem Fußgänger unwahrscheinlich. Auf welche Teilbereiche in dem Umgebungsbereich sich das Kraftfahrzeug zubewegt, kann anhand des Lenkwinkels, also der Fahrtrichtung, des Kraftfahrzeugs erkannt werden. Der Lenkwinkel ist also ein Indikator dafür, auf welchen Teilbereich des Umgebungsbereiches sich das Kraftfahrzeug voraussichtlich zubewegt. Der von einem fahrzeugseitigen Lenkwinkelsensor erfasste aktuelle Lenkwinkel des Kraftfahrzeugs kann der Bildverarbeitungseinrichtung beispielsweise über CAN und/oder FlexRay bereitgestellt werden.
-
In Abhängigkeit von diesem Lenkwinkel des Kraftfahrzeugs wird eine Position bzw. Lage des Bildfensters in zweidimensionalen Bildkoordinaten bestimmt. Das Bildfenster wird in dem Bild also so platziert, dass der durch das Bildfenster umrandete bzw. der von dem Bildfenster eingeschlossene erste Bildbereich den relevanten Teilbereich des Umgebungsbereiches zeigt bzw. darstellt. Der zu untersuchende bzw. zu analysierende Bildbereich wird also in Abhängigkeit von der Position des zumindest einen ersten Bildfensters festgelegt. Damit wird der zu untersuchende Bildbereich auch in Abhängigkeit von dem Lenkwinkel des Kraftfahrzeugs festgelegt. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass die Fußgängererkennung einen hohen Ressourcenbedarf aufweist. Daher ist es wünschenswert, nur denjenigen Teilbereich des Umgebungsbereiches zu überwachen, in welchem eine Kollision des Kraftfahrzeugs mit dem Fußgänger wahrscheinlich ist. Dieser Teilbereich des Umgebungsbereiches wird in dem zumindest einen Bild als der zu untersuchende erste Bildbereich identifiziert. Der mit diesem Teilbereich korrespondierende Bildbereich kann dann mit der maximalen, zur Verfügung stehenden Rechenkapazität analysiert werden, und Fußgänger besonders zuverlässig erkannt werden, während keine oder nur kaum Ressourcen für die Analyse von nichtrelevanten Bildbereichen verschwendet werden.
-
Vorzugsweise wird anhand des Lenkwinkels eine Bewegungsbahn des Kraftfahrzeugs in dem Bild bestimmt und die Position des zumindest einen ersten Bildfensters derart bestimmt, dass das Bildfenster und die Bewegungsbahn zumindest bereichsweise überlappen. Die Bewegungsbahn kann also in zweidimensionalen Bildkoordinaten bestimmt werden. Die Bewegungsbahn beschreibt in Bildkoordinaten diejenigen Teilbereiche des Umgebungsbereiches, welche von dem Kraftfahrzeug unter Beibehaltung des aktuellen Lenkwinkels voraussichtlich überfahren werden.
-
Wenn der Lenkwinkel beispielsweise in etwa 0° beträ gt, so fährt das Kraftfahrzeug geradeaus und der Teilbereich des Umgebungsbereiches, in welchem eine Kollision mit dem Fußgänger drohen kann, ist der Umgebungsbereich frontal bzw. direkt vor dem Kraftfahrzeug. Die in Bildkoordinaten bestimmte Bewegungsbahn erstreckt sich im Falle eines von einer Frontkamera erfassten Bildes ausgehend von einer unteren Bildrandmitte geradlinig in Richtung einer oberen Bildrandmitte. Das zumindest eine erste Bildfenster wird also mittig in dem Bild liegend bestimmt, sodass die Bewegungsbahn das erste Bildfenster schneidet. Somit wird ein in dem Bild in der Mitte liegender Bildbereich von dem Bildfenster eingeschlossen und durch die Bildverarbeitungseinrichtung analysiert. Beispielsweise können Koordinaten eines Mittelpunktes des ersten Bildfensters in einer Mitte des Bildes liegend bestimmt werden. Anders ausgedrückt entspricht der Mittelpunkt des ersten Bildfensters einem Mittelpunkt des von der Kamera erfassten Bildes. Wenn der Lenkwinkel von 0° verschieden ist, so fährt das Kraftfahrzeug eine Kurve. Ist der Lenkwinkel beispielsweise größer als 0°, so wird da s Kraftfahrzeug durch den Fahrer nach rechts gelenkt. Ist der Lenkwinkel beispielsweise kleiner als 0°, so wird das Kraftfahrzeug durch den Fahrer nach links gelenkt. Die in den Bildkoordinaten bestimmte Bewegungsbahn ist also ebenfalls eine Kurve, welche sich beispielsweise von der unteren Bildrandmitte in Richtung eines seitlichen Bildrandes erstreckt. Koordinaten des Mittelpunktes des ersten Bildfensters können dann auf der Kurve liegend bestimmt werden. Somit wird in dem Bild ein seitlicher Bildbereich von dem Bildfenster eingeschlossen und durch die Bildverarbeitungseinrichtung analysiert.
-
Dabei können vorbestimmten Werten des Lenkwinkels Koordinaten der Position für das zumindest eine erste Bildfenster in dem Bild zugeordnet werden und die Zuordnungen zum Abrufen für die Bildverarbeitungseinrichtung hinterlegt werden. Beispielsweise können die Zuordnungen in Form von einer Umsetzungstabelle in einer fahrzeugseitigen Speichereinrichtung hinterlegt werden. Die Bildverarbeitungseinrichtung kann, sobald eine Veränderung des Lenkwinkels erfasst wurde, die zu dem aktuellen Lenkwinkel korrespondierenden Koordinaten für die Position des zumindest einen ersten Bildfensters in dem Bild auslesen und das erste Bildfenster an dieser Position platzieren.
-
Besonders bevorzugt wird das zumindest eine erste Bildfenster mit einer vorbestimmten Form und Größe vorgegeben. Insbesondere wird das zumindest eine erste Bildfenster rechteckförmig mit einer sich entlang einer horizontalen Bildrichtung erstreckenden vorbestimmten Breite und einer sich entlang einer vertikalen Bildrichtung erstreckenden vorbestimmten Höhe vorgegeben. Ein Wert der Breite des Bildfensters ist insbesondere größer als ein Wert der Höhe. Das zumindest eine erste Bildfenster deckt also eine vorbestimmte Anzahl an in einem Rechteck angeordneten Bildelementen bzw. Pixel in horizontaler und vertikaler Bildrichtung in dem Bild ab. Die Größe und die Form des ersten Bildfensters bleiben bei Veränderung des Lenkwinkels unverändert. Vielmehr wird lediglich die Position des zumindest einen ersten Bildfensters bei Veränderung des aktuellen Lenkwinkels des Kraftfahrzeugs verändert. Somit kann das Bildfenster beispielsweise mit einer bestimmten Breite vorgegeben werden, bei welcher der sich in dem Bildfenster befindliche Bildbereich mit einer vorbestimmten, zur Verfügung stehenden Rechenkapazität durchsucht werden kann. Eine Vergrößerung der Breite würde die Rechenkapazität unnötig erhöhen. Daher wird nur die Position des zumindest einen ersten Bildfensters verändert. Die Höhe des Bildfensters kann beispielsweise so vorgegeben werden, dass ein Fußgänger von durchschnittlicher Größe in einem zu dem eingeschlossenen Bildbereich korrespondierenden Teilumgebungsbereich erkannt werden kann.
-
Dabei kann vorgesehen sein, dass die Position des zumindest einen ersten Bildfensters mit der vorbestimmen Form und Größe in Abhängigkeit von dem Lenkwinkel des Kraftfahrzeugs in dem Bild entlang einer vorbestimmten Bildrichtung verschoben wird. Insbesondere wird die Position des zumindest einen ersten Bildfensters nur entlang einer horizontalen Bildrichtung in dem zumindest einen Bild verschoben. Sobald sich also der Lenkwinkel des Kraftfahrzeugs verändert, verändert sich eine Fahrtrichtung des Kraftfahrzeugs und damit auch die Bewegungsbahn des Kraftfahrzeugs in zweidimensionalen Bildkoordinaten. Insbesondere verändern sich horizontale Koordinaten der Bewegungsbahn. Um den sich in Fahrtrichtung des Kraftfahrzeugs vor dem Kraftfahrzeug liegenden Teilbereich in dem Umgebungsbereich einfach und zuverlässig überwachen zu können, wird das Bildfenster in horizontaler Bildrichtung derart verschoben, dass der zu diesem Teilbereich korrespondierende, auf der Bewegungsbahn liegende Bildbereich analysiert und nach dem Fußgänger durchsucht werden kann.
-
In einer Weiterbildung der Erfindung wird zumindest ein zweites Bildfenster bestimmt und die Position des zumindest einen zweiten Bildfensters in Abhängigkeit von dem Lenkwinkel des Kraftfahrzeugs bestimmt. Das von der Kamera erfasste Bild wird also in eine Vielzahl von Bildfenster unterteilt, deren Positionen bzw. Lagen in Abhängigkeit von dem Lenkwinkel des Kraftfahrzeugs bestimmt werden. Vorzugsweise wird jeder der von einem Bildfenster eingeschlossenen Bildbereiche separat nach dem Fußgänger durchsucht. Dadurch kann in vorteilhafter Weise eine Wahrscheinlichkeit und Zuverlässigkeit der Fußgängererkennung erhöht werden.
-
Bevorzugt werden das erste Bildfenster und das zumindest eine zweite Bildfenster konzentrisch zueinander in dem Bild angeordnet und die Position eines gemeinsamen Mittelpunktes der Bildfenster wird in Abhängigkeit von dem Lenkwinkel des Kraftfahrzeugs bestimmt. Das zumindest eine zweite Bildfenster weist insbesondere die gleiche Form wie das erste Bildfenster auf, ist also ebenfalls rechteckförmig ausgebildet. Insbesondere weist das zumindest eine zweite Bildfenster eine im Vergleich zum ersten Bildfenster größerer Breite und Höhe auf. Jedem Bildfenster ist dabei eine vorbestimmte Anzahl an Bildelementen bzw. Pixel in horizontaler und vertikaler Bildrichtung zugeordnet. Durch die konzentrische Anordnung der Bildfenster weisen alle Bildfenster denselben Mittelpunkt auf. In Abhängigkeit von dem Lenkwinkel können die Koordinaten des Mittelpunktes bestimmt werden und damit die Positionen der Bildfenster und damit die zu analysierenden Bildbereiche in dem Bild durch Verschieben des gemeinsamen Mittelpunktes in dem Bild verändert werden. Jedem Bildfenster kann beispielsweise ein Teilbereich in dem Umgebungsbereich in einem vorbestimmten Abstand zum Kraftfahrzeug zugeordnet sein, sodass Fußgänger in den jeweiligen zu den Bildfenstern korrespondierenden Abständen erkannt werden können.
-
In einem weiteren Ausführungsbeispiel werden das erste Bildfenster und das zumindest eine zweite Bildfenster nicht konzentrisch zueinander in dem Bild angeordnet und sie weisen nicht einen gleichen Mittelpunkt auf. Vorzugsweise laufen sie auf den gleichen Fluchtpunkt zu, aber ihre Positionen in der Umgebung werden über die Kamerakalibrierung bestimmt, wobei die durchschnittliche Größe eines Fußgängers in einer gegebenen Entfernung vom Fahrzeug bekannt ist. Jeder Bereich von Interesse beziehungsweise jedes Bildfenster ist unabhängig von den anderen und seine seitliche Verschiebung wird nur aufgrund des Lenkwinkels bestimmt.
-
Die Erfindung betrifft außerdem eine Bildverarbeitungseinrichtung für ein Fahrerassistenzsystem eines Kraftfahrzeugs, welche dazu ausgelegt ist, ein erfindungsgemäßes Verfahren oder eine vorteilhafte Ausführungsform davon durchzuführen. Die Bildverarbeitungseinrichtung kann beispielsweise in ein fahrzeugseitiges Steuergerät integriert werden und dazu ausgelegt sein, das zumindest eine Bild sowie Lenkwinkeldaten eines fahrzeugseitigen Lenkwinkelsensors zu empfangen.
-
Ferner betrifft die Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug mit zumindest einer Kamera zum Erfassen eines Umgebungsbereiches des Kraftfahrzeugs in Bildern und einer erfindungsgemäßen Bildverarbeitungseinrichtung. Das Fahrerassistenzsystem kann beispielsweise als ein Notbremsassistent, ein automatisches Einparksystem und/oder ein Totwinkelassistent ausgebildet sein. Die zumindest eine Kamera ist insbesondere als eine Fischaugenkamera ausgebildet, welche an einem Frontbereich und/oder Heckbereich des Kraftfahrzeugs anordenbar ist.
-
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als ein Personenkraftwagen ausgebildet.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Bildverarbeitungseinrichtung, für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Mit Angaben „vorne“, „hinten“, „seitlich“, „vertikal“, „horizontal“, etc. sind bei einem vor einem Kraftfahrzeug stehenden und in Richtung des Kraftfahrzeugs blickenden Beobachter gegebene Positionen und Orientierungen angegeben.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Dabei zeigen:
-
1 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen Kraftfahrzeugs;
-
2a eine schematischen Darstellung des Kraftfahrzeugs mit einem ersten Lenkwinkel;
-
2b eine schematischen Darstellung eines von einer Kamera des Kraftfahrzeugs gemäß 2a erfassten Bildes mit Bildfenstern aufweisend eine erste Position;
-
3a eine schematischen Darstellung des Kraftfahrzeugs mit einem ersten Lenkwinkel; und
-
3b eine schematischen Darstellung eines von einer Kamera des Kraftfahrzeugs gemäß 3a erfassten Bildes mit Bildfenstern aufweisend eine zweite Position.
-
In den Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2. Das Kraftfahrzeug 1 ist im vorliegenden Fall als ein Personenkraftwagen ausgebildet. Das Fahrerassistenzsystem 2 ist dazu ausgelegt, einen Umgebungsbereich 3 des Kraftfahrzeugs 1 zu überwachen und einen Fußgänger 4 in dem Umgebungsbereich 3 zu erkennen. Außerdem ist das Fahrerassistenzsystem 2 dazu ausgelegt, eine Position des Fußgängers 4 in dreidimensionalen Weltkoordinaten x, y, z zu bestimmen. Bei Vorhandensein des Fußgängers 4 kann das Fahrerassistenzsystem 2 eine vorbestimmte Aktion auslösen. Beispielsweise kann das Fahrerassistenzsystem 2 das Kraftfahrzeug 1 zum Verhindern einer Kollision mit dem Fußgänger 4 automatisch abbremsen, den Fußgänger 4 automatisch umfahren und/oder ein Warnsignal an einen Fahrer des Kraftfahrzeugs 1 ausgeben.
-
Zum Überwachen des Umgebungsbereiches 3 weist das Fahrerassistenzsystem 2 zumindest eine Kamera 5 auf, welche dazu ausgelegt ist, Bilder 12, 13 bzw. Videosequenzen aus dem Umgebungsbereich 3 zu erfassen. Im vorliegenden Fall weist das Fahrerassistenzsystem 2 zwei Kameras 5 auf. Eine erste Kamera 5 ist in einem Frontbereich 6 des Kraftfahrzeugs 1 angeordnet und erfasst den Umgebungsbereich 3 vor dem Kraftfahrzeug 1 in Bildern 12, 13. Eine zweite Kamera 5 ist in einem Heckbereich 7 des Kraftfahrzeugs 1 angeordnet und erfasst den Umgebungsbereich 3 hinter dem Kraftfahrzeug 1 in Bildern 12, 13. Die Kameras 5 sind insbesondere als Fischaugenkameras ausgebildet und weisen damit ein Sichtfeld mit einem besonders großen Öffnungswinkel auf. Außerdem weist das Fahrerassistenzsystem 2 eine Bildverarbeitungseinrichtung 8 auf, welche beispielsweise in ein fahrzeugseitiges Steuergerät integriert sein kann und dazu ausgelegt ist, die von den Kameras 5 erfassten Bilder 12, 13 zu empfangen und zu analysieren. Darüber hinaus weist das Kraftfahrzeug 1 einen Lenkwinkelsensor 9 auf, welcher dazu ausgelegt ist, einen Lenkwinkel 10 des Kraftfahrzeugs 1 zu erfassen und der Bildverarbeitungseinrichtung 8, beispielsweise über CAN oder FlexRay, zur Verfügung zu stellen. Der Lenkwinkel 10 ist der Einschlagwinkel eines Rades 11 des Kraftfahrzeugs 1 bezogen auf eine sich in y-Richtung erstreckende Achse.
-
Zum Erkennen des Fußgängers 4 werden die zweidimensionalen Bilder 12, 13 (siehe 2b, 3b) von der Bildverarbeitungseinrichtung 8 analysiert. Zum Erkennen der Fußgänger können Boosting-Algorithmen, beispielsweise AdaBoost-Algorithmen, verwendet werden. Dabei wird nicht das gesamte Bild 12, 13 bzw. eine gesamte Bildfläche durchsucht, sondern nur relevante Bildbereiche B1a, B1b, B1c, B2a, B2b, B2c. Dazu werden Bildfenster 14a, 14b, 14c definiert und in dem Bild 12, 13 platziert. Der von einem Bildfenster 14a, 14b, 14c eingeschlossene bzw. umrandete Bildbereich B1a, B1b, B1c, B2a, B2b, B2c wird dann nach dem Fußgänger 4 durchsucht. Die Bildfenster 14a, 14b, 14c, sind hier rechteckförmig ausgebildet, wobei sich eine Breite der Bildfenster 14a, 14b, 14c entlang einer horizontalen Bildrichtung a und eine Höhe der Bildfenster 14a, 14b, 14c entlang einer vertikalen Bildrichtung b erstrecken. Die Bildfenster 14a, 14b, 14c sind konzentrisch zueinander angeordnet und weisen damit denselben Mittelpunkt M auf.
-
Dabei ist es nun vorgesehen, dass eine Position P1, P2 der Bildfenster 14a, 14b, 14, hier die Position P1, P2 des Mittelpunktes M der Bildfenster 14a, 14b, 14c, in Abhängigkeit von dem Lenkwinkel 10 des Kraftfahrzeugs 1 bestimmt wird. Durch den Lenkwinkel 10 wird nämlich eine Fahrtrichtung des Kraftfahrzeugs 1 vorgegeben und damit auch ein Teilbereich in dem Umgebungsbereich 3, auf welchen sich das Kraftfahrzeug 1 zubewegt. Dabei ist eine Kollision mit dem Fußgänger 4 in demjenigen Teilbereich des Umgebungsbereiches 3 wahrscheinlich, auf welchen sich das Kraftfahrzeug 1 zubewegt. Daher ist nur der diesen Teilbereich darstellende Bildbereich B1a, B1b, B1c, B2a, B2b, B2c relevant. Dieser Bildbereich B1a, B1b, B1c, B2a, B2b, B2c wird ausschließlich bzw. besonders genau und intensiv nach dem Fußgänger 4 durchsucht. Mit anderen Worten bedeutet dies, dass zum Durchsuchen dieses Bildbereiches B1a, B1b, B1c, B2a, B2b, B2c, welcher den relevanten Teilbereich des Umgebungsbereiches 3 darstellt, die maximalen Rechenressourcen zur Verfügung gestellt werden. Diese zu untersuchenden Bildbereiche B1a, B1b, B1c, B2a, B2b, B2c können über die Position P1, P2 der Bildfenster 14a, 14b, 14c festgelegt bzw. definiert werden.
-
Zur Bestimmung der Position P1, P2 der Bildfenster 14a, 14b, 14c kann beispielsweise eine Bewegungsbahn 16 des Kraftfahrzeugs 1 in Bildkoordinaten a, b bestimmt werden und die Position P1, P2 des Mittelpunktes M derart festgelegt werden, dass die Bewegungsbahn 16 mit den Bildfenstern 14a, 14b, 14c zumindest bereichsweise überlappt.
-
In 2a ist das Kraftfahrzeug 1 gezeigt, welches einen Lenkwinkel 10 von in etwa 0° aufweist. Die Räder 11 des Kraftfahrzeugs 1 sind also nicht eingeschlagen, sodass sich das Kraftfahrzeug 1 in Vorwärtsrichtung geradeaus, also hier entlang der y-Richtung, bewegt. Dieser Lenkwinkel 10 kann von dem Lenkwinkelsensor 9 des Kraftfahrzeugs 1 erfasst und der Bildverarbeitungseinrichtung 8 übermittelt werden. Außerdem wird der Bildverarbeitungseinrichtung ein Bild 12 der Kamera 5, beispielsweise der in dem Frontbereich 6 des Kraftfahrzeugs 1 angeordneten Frontkamera 5, übermittelt, welches in 2b gezeigt ist. Das zweidimensionale Bild 12 stellt eine Fahrbahn 15 des Kraftfahrzeugs 1 sowie einen Fußgänger 4 dar. Der Fußgänger 4 befindet sich vor dem Kraftfahrzeug 1 und damit in einem Teilbereich des Umgebungsbereiches 3, auf welchen sich das Kraftfahrzeug 1 zubewegt. Somit droht eine Kollision des Kraftfahrzeugs 1 mit dem Fußgänger 4 in diesem Teilbereich des Umgebungsbereiches 3.
-
Zum Verhindern der Kollision muss der Fußgänger 4 schnell und zuverlässig erkannt werden. Die Position P1 der Bildfenster 14a, 14b, 14c wird also so bestimmt, dass die von den Bildfenstern 14a, 14b, 14c umrahmten Bildbereiche B1a, B1b, B1c den Teilumgebungsbereich vor dem Kraftfahrzeug 1 zeigen. Die für das Kraftfahrzeug 1 gemäß 2a bestimmte Bewegungsbahn 16 führt gemäß 2b mittig von einem unteren Bildrand 17 des Bildes 12 senkrecht in vertikaler Bildrichtung b in Richtung eines oberen Bildrandes 18. Die Position P1 des Mittelpunktes M der Bildfenster 14a, 14b, 14c wird so bestimmt, dass sich die Position P1 innerhalb der Bewegungsbahn 16 befindet. Hier befindet sich die Position P1 des Mittelpunktes M der Bildfenster 14a, 14b, 14c in einer Mitte des Bildes 12. Die von der Bildverarbeitungseinrichtung 8 zu untersuchenden Bildbereiche B1a, B1b, B1c liegen also in der Mitte des Bildes 12. Diese Bildbereiche B1a, B1b, B1c werden, insbesondere separat, von der Bildverarbeitungseinrichtung 8 nach dem Fußgänger 4 durchsucht. Falls dieser erkannt wird, wird eine von dem Fußgänger 4 belegte Bildregion 21a in dem Bild 12 bestimmt.
-
In 3a ist das Kraftfahrzeug 1 gezeigt, welches einen Lenkwinkel 10 von größer 0° aufweist. Die Räder 11 des Kraftfahrzeugs 1 sind hier nach rechts eingeschlagen, sodass das Kraftfahrzeug 1 eine Kurvenfahrt durchführt und sich in Vorwärtsrichtung nach rechts bewegt. 3b zeigt ein von der Frontkamera 5 erfasstes und an die Bildverarbeitungseinrichtung 8 übermitteltes Bild 13. Die in Abhängigkeit von dem Lenkwinkel 10 bestimmte Bewegungsbahn 16 führt hier von dem unteren Bildrand 17 in Richtung eines rechtsseitigen Bildrandes 19. Befände sich nun in dem Bild 13 ein Fußgänger 4 nahe einem linksseitigen Bildrand 20, so ist eine Kollision mit dem Fußgänger 4 unwahrscheinlich. Daher können Bildbereiche nahe dem linksseitigen Bildrand 20 bei der Analyse vernachlässigt werden. Jedoch droht eine Kollision mit einem Fußgänger 4, welcher sich in dem Bild 13 in der Nähe des rechtsseitigen Bildrandes 19 befindet. Daher wird eine Position P2 des Mittelpunktes M der zu Bildfenster 14a, 14b, 14c derart bestimmt, dass die von den Bildfenstern 14a, 14b, 14c eingeschlossenen Bildbereiche B2a, B2b, B2c den rechtseitigen Teilbereich des Umgebungsbereiches 3 zeigen, auf welchen sich das Kraftfahrzeug 1 zubewegt. Zum Bestimmen der Position P2 der Bildfenster 14a, 14b, 14c gemäß 3b wird die Position P1 der Bildfenster 14a, 14b, 14c gemäß 2b in horizontaler Bildrichtung a nach rechts verschoben. Die Bildfenster 14a, 14b, 14c weisen also unabhängig von dem Lenkwinkel 10 dieselbe Form und Größe auf, es wird lediglich deren Position P1, P2 verändert.
-
Die zu untersuchenden Bildbereiche B2a, B2b, B2c liegen hier also seitlich in dem Bild 13. Diese Bildbereiche B2a, B2b, B2c werden von der Bildverarbeitungseinrichtung 8 überprüft bzw. gescannt. Sobald ein Fußgänger 4 erkannt wurde, kann die durch den Fußgänger 4 belegte Bildregion 21a, 21b, 21c bestimmt werden. Insbesondere wird die Bildregion 21a, 21b, 21c für jeden Bildbereich B2a, B2b, B2c separat bestimmt. Wenn sich die Bildregionen 21a, 21b, 21c, wie in 3b gezeigt, zumindest bereichsweise in dem Bild 13 überlappen, so werden die Bildregionen 21a, 21b, 21c einem einzelnen Fußgänger 4 zugeordnet. Außerdem kann eine Position des Fußgängers 4 in dem Umgebungsbereich 3 in Weltkoordinaten x, y, z, bestimmt werden. Ferner können von der Bildverarbeitungseinrichtung 8 Bewegungen, eine Relativgeschwindigkeit sowie eine Größe des Fußgängers 4 erkannt und dem Fahrerassistenzsystem 2 bereitgestellt werden.
-
Zum Bestimmen der Positionen P1, P2 können die horizontalen Bildkoordinaten a der Bildfenster 14a, 14b, 14c jeweiligen vorbestimmten Werten des Lenkwinkels 10 zugeordnet werden. Diese Zuordnungen können in einer Umsetzungstabelle bzw. einer „Look-up“-Tabelle hinterlegt werden, welche beispielsweise immer dann von der Bildverarbeitungseinrichtung 8 ausgelesen werden kann, wenn sich der Lenkwinkel 10 des Kraftfahrzeugs 1 verändert. Die Veränderung des Lenkwinkels 10 kann durch den Lenkwinkelsensor 9 erfasst werden. Beispielsweise kann der Lenkwinkelsensor 9 nur dann aktuelle Werte des Lenkwinkels 10 an die Bildverarbeitungseinrichtung 8 übermitteln, falls sich der Lenkwinkel 10 des Kraftfahrzeugs 1 verändert hat.
-
Durch die Anpassung der Positionen P1, P2 der Bildfenster 14a, 14b, 14c an den Lenkwinkel 10, welcher ohnehin für eine Vielzahl von Assistenzfunktionen erfasst und zur Verfügung gestellt wird, kann ein Rechenaufwand zur Analyse der Bildbereiche B1a, B1b, B1c, B2a, B2b, B2c signifikant reduziert werden. Die zur Verfügung stehenden Ressourcen können also optimal zur Überwachung von kritischen Teilbereichen in dem Umgebungsbereich 3 eingesetzt werden. Außerdem kann verhindert werden, dass unkritische Teilbereiche des Umgebungsbereiches 3 überwacht und damit Ressourcen verschwendet werden.
