-
Die Erfindung betrifft ein Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs als einen Fußgänger, bei welchem mittels zumindest einer fahrzeugseitigen Kamera der Umgebungsbereich in Bildern erfasst wird. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem sowie ein Kraftfahrzeug.
-
Es ist bereits aus dem Stand der Technik bekannt, Objekte in einem Umgebungsbereich eines Kraftfahrzeugs zu erfassen und Informationen über die Objekte beispielsweise einem Fahrerassistenzsystem des Kraftfahrzeugs bereitzustellen. Ein solches Fahrerassistenzsystem kann beispielsweise ein elektronischer Bremsassistent mit einer Fußgängererkennung sein. Der Bremsassistent ist insbesondere dazu ausgelegt, eine Geschwindigkeit des Kraftfahrzeugs abzusenken, wenn ein Abstand eines erfassten Fußgängers einen vorbestimmten Wert unterschreitet. So kann beispielsweise ein Zusammenstoß mit dem Fußgänger verhindert werden oder zumindest ein Verletzungsrisiko des Fußgängers deutlich verringert werden. Dazu ist insbesondere notwendig, dass das Objekt zuverlässig als ein Fußgänger identifiziert wird. Somit kann beispielsweise verhindert werden, dass die Geschwindigkeit des Kraftfahrzeugs unnötigerweise reduziert wird, wenn das Kraftfahrzeug beispielsweise an einem Baum vorbeifährt. Ein Verfahren zur Objekterkennung, beispielsweise zur Fußgängererkennung (Pedestrian Detection – PD), ist beispielsweise aus der
DE 10 2013 112 163 A1 bekannt.
-
An sich bekannte Verfahren gemäß dem Stand der Technik weisen jedoch üblicherweise den Nachteil auf, dass zumeist der komplette Fußgänger erfasst werden muss, um eine zuverlässige Objekterkennung durchführen zu können.
-
Es ist Aufgabe der vorliegenden Erfindung, ein Objekt auf besonders einfache und zuverlässige Weise als Fußgänger zu identifizieren.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug gemäß den unabhängigen Patentansprüchen gelöst.
-
Ein erfindungsgemäßes Verfahren dient zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs als einen Fußgänger. Bei dem Verfahren wird mittels zumindest einer fahrzeugseitigen Kamera der Umgebungsbereich des Kraftfahrzeugs in Bildern erfasst. Darüber hinaus werden in zumindest einem der erfassten Bilder ein von dem Objekt auf einen Boden in dem Umgebungsbereich projizierter Schatten und ein auf dem Boden gebildetes und von dem Schatten abhängiges Kontrastmuster erkannt und das Objekt anhand eines Vergleiches des gebildeten Kontrastmusters mit einem vorbestimmten, einen Fußgänger charakterisierenden Kontrastmuster identifiziert.
-
Das Verfahren dient also zum Klassieren eines erfassten Objektes. Mittels des Verfahrens kann unterschieden werden, ob es sich bei dem erfassten Objekt um einen Fußgänger oder um ein anderes Objekt, beispielsweise um einen Baum oder um ein Straßenschild, handelt. Bei dem Verfahren wird mittels zumindest einer Kamera der Umgebungsbereich des Kraftfahrzeugs in Bildern erfasst. Insbesondere werden vier Kameras bereitgestellt, wobei eine Kamera an einem Frontbereich des Kraftfahrzeugs zum Erfassen des Umgebungsbereiches vor dem Kraftfahrzeug angeordnet sein kann, eine Kamera an einem Heckbereich des Kraftfahrzeugs zum Erfassen des Umgebungsbereiches hinter dem Kraftfahrzeug angeordnet sein kann und jeweils eine Kamera in jeweils einem Seitenspiegel des Kraftfahrzeugs zum Erfassen eines fahrerseitigen und eines beifahrerseitigen Umgebungsbereiches des Kraftfahrzeugs angeordnet sein kann. Somit kann der Umgebungsbereich des Kraftfahrzeugs insbesondere vollständig und lückenlos überwacht werden.
-
Dabei wird bei dem Verfahren das Objekt in dem zumindest einen Bild nicht anhand des erfassten Objektes selbst identifiziert, sondern anhand des Kontrastmusters auf dem Boden, welches von dem Schatten, welchen das Objekt auf den Boden wirft, abhängig ist. Der Boden kann beispielsweise eine Fahrbahn des Kraftfahrzeugs oder ein Gehweg für den Fußgänger sein. Das Kontrastmuster wird dadurch erzeugt, dass der Boden durch den Schatten bereichsweise abgedunkelt und bereichsweise beleuchtet wird. Das Kontrastmuster umfasst dabei insbesondere die von dem Schatten abgedunkelten Bereiche auf dem Boden sowie die an die abgedunkelten Bereiche angrenzenden, nicht abgedunkelten beziehungsweise beleuchteten Bereiche. Diese Licht-Schatten-Übergänge beziehungsweise Hell-Dunkel-Übergänge werden beispielsweise von einer fahrzeugseitigen Bildverarbeitungseinrichtung erkannt und mit dem vorbestimmten Kontrastmuster, welches für einen Fußgänger charakteristische Licht-Schatten-Übergänge umfasst, verglichen. Das vorbestimmte Kontrastmuster entspricht also einem Kontrastmuster, welches mittels eines Schattens eines Fußgängers auf dem Boden erzeugt werden würde. Wenn das erkannte Kontrastmuster mit dem charakterisierenden Kontrastmuster übereinstimmt oder wenn das erkannte Kontrastmuster höchstens um einen vorbestimmten Toleranzwert von dem charakterisierenden Kontrastmuster abweicht, wird das erfasste Objekt als Fußgänger identifiziert. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass die durch das Kontrastmuster gebildeten Hell-Dunkel-Übergänge beziehungsweise Hell-Dunkel-Verläufe schnell und einfach erkannt werden können. Somit kann das Objekt schnell und einfach als Fußgänger identifiziert werden.
-
Besonders bevorzugt wird das Objekt als Fußgänger identifiziert, wenn in dem von dem Schatten des Objektes erzeugten Kontrastmuster zwei im Wesentlichen parallel beziehungsweise nebeneinander verlaufende, dunkle Streifen und ein dazwischen liegender, hellerer Streifen als das vorbestimmte Kontrastmuster erkannt werden. Mit anderen Worten bedeutet dies, dass die beiden dunklen Streifen beziehungsweise streifenförmigen Bereiches jeweils angrenzend an den hellen Streifen beziehungsweise streifenförmigen Bereich ausgebildet sind. Damit ergibt sich ein Dunkel-Hell-Dunkel-Verlauf, welcher von der Bildverarbeitungseinrichtung erkannt werden kann.
-
Die zwei parallel verlaufenden, dunklen Streifen sind dabei insbesondere die Schatten von Beinen des Fußgängers, durch welche der Boden bereichsweise abgedunkelt wird. Der dazwischen liegende, helle Streifen wird beispielsweise dadurch ausgebildet, dass Licht beziehungsweise Sonnenlicht zwischen den Beinen des Fußgängers hindurch scheint. Durch dieses zwischen den Beinen hindurch scheinende Sonnenlicht wird der Boden beleuchtet. Aus dieser Ausführungsform ergibt sich der Vorteil, dass nur die Beine des Fußgängers beziehungsweise nur der Schatten der Beine des Fußgängers zum Identifizieren des Objektes als Fußgänger erfasst werden müssen. Somit kann beispielsweise zumindest eine der beiden, an den Seitenspiegeln des Kraftfahrzeugs angebrachten Kameras zum Erfassen des Objektes verwendet werden.
-
Gemäß einer Ausführungsform wird das Objekt als Fußgänger identifiziert, wenn erfasst wird, dass eine Orientierung zumindest eines der Streifen höchstens um einen vorbestimmten Winkel von einer Detektionsachse der Kamera abweicht. Die Detektionsachse der Kamera beziehungsweise eine Kameraachse entspricht dabei einer Hauptachse eines Erfassungsbereiches der Kamera. Bei einer Kamera im Frontbereich des Kraftfahrzeugs oder im Heckbereich des Kraftfahrzeugs verläuft diese Detektionsachse insbesondere entlang einer Fahrzeuglängsachse des Kraftfahrzeugs. Zum Erfassen der Orientierung zumindest eines der Streifen kann ein Winkel zwischen dem zumindest einen Streifen und der Kameraachse, insbesondere einer Projektion der Kameraachse auf dem Boden, erfasst werden. Dieser Winkel kann mit dem vorbestimmten Winkel verglichen werden. Beine des Fußgängers, welcher vor der am Kraftfahrzeug angebrachten Kamera steht, erzeugen in der Regel Schatten in Form von zwei im Wesentlichen parallel verlaufenden Streifen, wobei die Streifen dabei insbesondere entlang der Kameraachse orientiert sind. Dies bedeutet, dass der Winkel zwischen dem zumindest einen Streifen und der Kameraachse in etwa 0° beträgt oder höchstens um den vorgegebenen Winkel von der Kameraachse abweicht. Anhand der Orientierung der Streifen kann das Kontrastmuster also zuverlässig als das von einem Fußgänger erzeugte Kontrastmuster identifiziert werden und beispielsweise nicht mit einem Kontrastmuster einer Straßenmarkierung verwechselt werden. Da sich der Winkel zwischen der Kameraachse und dem zumindest einen Streifen insbesondere dann ändert, wenn sich der Fußgänger bewegt, beispielsweise die Fahrbahn überquert, oder wenn sich das Kraftfahrzeug bewegt, kann anhand des erfassten Winkels und einer erfassten Geschwindigkeit des Kraftfahrzeugs zusätzlich bestimmt werden, ob sich der Fußgänger bewegt oder steht.
-
Auch kann es vorgesehen sein, dass eine jeweilige Länge und/oder eine jeweilige Breite zumindest eines der Streifen erfasst wird und das Objekt als Fußgänger identifiziert wird, wenn die jeweilige Länge und/oder die jeweilige Breite höchstens um einen vorgegebenen Wert von einer für das charakterisierende Kontrastmuster vorgegebenen Länge und/oder Breite abweicht. Für die Breite und/oder Länge, welche abhängig ist von einer Bemaßung der Beine, können plausible, für eine Person übliche beziehungsweise charakteristische Werte vorgegeben werden. Anhand der erfassten Breite und/oder erfassten Länge kann somit plausibilisiert werden, ob es sich bei dem Streifen um den Schatten eines Beines handelt. Insbesondere kann anhand des Erfassens der Breite und/oder der Länge der dunklen Streifen des Kontrastmusters das Kontrastmuster des Fußgängers von einem Kontrastmuster einer Fahrbahnmarkierung, welche beispielsweise als weißer Strich auf der Fahrbahn dargestellt ist und welche ebenfalls ein Kontrastmuster in Form von einem Dunkel-Hell-Dunkel-Übergang erzeugt, unterschieden werden. Mittels des Vergleiches der vorbestimmten Länge und/oder der vorbestimmten Breite mit den vorgegebenen Werten kann das Kontrastmuster auf besonders einfache Weise einem Fußgänger zugeordnet werden. Das Verfahren ist somit besonders zuverlässig gestaltet.
-
Vorzugsweise wird eine aktuelle Lichteinfallsrichtung von Sonnenlicht bezogen auf das Kraftfahrzeug bestimmt und das charakterisierende Kontrastmuster in Abhängigkeit von der bestimmten Lichteinfallsrichtung bestimmt. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass das erkannte Kontrastmuster abhängig von der Lichteinfallsrichtung des Sonnenlichtes, beispielsweise einem aktuellen Sonnenstand der Sonne, ist. Insbesondere ist eine Orientierung der Streifen des Kontrastmusters abhängig von der Lichteinfallsrichtung. Dabei kann beispielsweise für jede Lichteinfallsrichtung ein lichteinfallsrichtungsspezifisches, einen Fußgänger charakterisierendes Kontrastmuster hinterlegt werden und in Abhängigkeit von der aktuellen Lichteinfallsrichtung das entsprechende hinterlegte Kontrastmuster zum Vergleich mit dem erfassten Kontrastmuster verwendet werden.
-
Die Lichteinfallsrichtung kann beispielsweise anhand einer Grundhelligkeit beziehungsweise Helligkeit des von der zumindest einen Kamera erfassten Bildes bestimmt werden. Diese Helligkeit kann von der zumindest einen Kamera selbst und/oder von der Bildverarbeitungseinrichtung erkannt werden. Auch kann vorgesehen sein, dass die Lichteinfallsrichtung mittels eines fahrzeugseitigen Regen-Licht-Tunnel-Sensors und/oder mittels eines fahrzeugseitigen Sonnenstandsensors detektiert wird. Auch kann von einer fahrzeugseitigen Steuereinrichtung des Fahrerassistenzsystems beispielsweise eine internetbasierte Wetterdatenbank aufgerufen werden, in welcher aktuelle Wetterdaten hinterlegt sind. Anhand der in der Wetterdatenbank hinterlegten Wetterdaten können ein an einer aktuellen Position des Kraftfahrzeugs zu der aktuellen Uhrzeit vorhandener Sonnenstand und damit die aktuelle Lichteinfallsrichtung in Abhängigkeit von einer Orientierung des Kraftfahrzeugs bestimmt werden. Die Position des Kraftfahrzeugs sowie die Orientierung des Kraftfahrzeugs können beispielsweise mittels eines fahrzeugseitigen GPS-Gerätes bestimmt werden. Somit kann ein charakterisierendes Kontrastmuster bestimmt werden, anhand dessen das Objekt zuverlässig klassiert werden kann.
-
In einer vorteilhaften Ausführungsform der Erfindung wird anhand des zumindest einen Bildes eine Position des als Fußgänger identifizierten Objektes in einer den Umgebungsbereich darstellenden Umgebungskarte bestimmt und zur Verfolgung des Fußgängers in zumindest einem weiteren Bild das Objekt anhand des Schattens des Objektes und des gebildeten Kontrastmusters als Fußgänger identifiziert und anhand des zumindest einen weiteren Bildes eine weitere Position des Objektes in der Umgebungskarte bestimmt. Die Umgebungskarte ist dabei insbesondere eine virtuelle Karte, in welche beispielsweise Positionen und geometrische Abmessungen von erfassten Objekten im Umgebungsbereich, insbesondere Abstände der erfassten Objekte relativ zum Kraftfahrzeug, eingetragen sind. Anhand der Umgebungskarte kann das Fahrerassistenzsystem des Kraftfahrzeugs Assistenzfunktionen, beispielsweise die automatische Notbremsung oder einen autonomen Einparkvorgang, bereitstellen. Anhand der zumindest zwei, von der Kamera aufgenommenen Bilder werden die Positionen des Fußgängers über die Zeit verfolgt und in die Umgebungskarte eingetragen. Mit anderen Worten bedeutet dies, dass ein Bewegungsverlauf des Fußgängers bestimmt wird. Der Fußgänger wird also verfolgt beziehungsweise „getrackt“. Anhand der über die Zeit verfolgten Positionen kann beispielsweise bestimmt werden, ob der Fußgänger steht oder sich bewegt. Wenn beispielsweise erfasst wird, dass der Fußgänger steht, so kann auf die automatische Notbremsung verzichtet werden. Wenn aber erfasst wurde, dass sich der Fußgänger auf das Kraftfahrzeug zu bewegt und eine Kollision mit dem Kraftfahrzeug droht, so kann von dem Fahrerassistenzsystem die automatische Notbremsung durchgeführt werden.
-
Es erweist sich als vorteilhaft, wenn zusätzlich in zumindest einem der Bilder das Objekt selbst erkannt wird und das Objekt nur dann als Fußgänger identifiziert und bestätigt wird, wenn das Objekt anhand des in zumindest einem der Bilder erkannten Objektes und anhand des in zumindest einem der Bilder erkannten Kontrastmusters als Fußgänger identifiziert wird. Mit anderen Worten bedeutet dies, dass die Identifizierung des Objektes anhand des erkannten Kontrastmusters verifiziert wird, indem zusätzlich das Objekt selbst in zumindest einem Bild erkannt wird und als Fußgänger identifiziert wird. Das Verfahren der Objektidentifizierung umfasst also zwei Teilverfahren. In einem ersten Teilverfahren wird das Objekt anhand des Kontrastmusters identifiziert und in einem zweiten Teilverfahren anhand des in dem zumindest einen Bild erkannten Objektes selbst. Verfahren zur Fußgängeridentifizierung anhand des erfassten Objektes sind beispielsweise in Form von Mustererkennungsalgorithmen, insbesondere in Form von Klassifikatoren, bekannt. Ein solcher Klassifikator kann beispielsweise die sogenannte Stützvektormethode (Support Vector Machine – SVM) sein. Nur wenn das Objekt anhand beider Teilverfahren als Fußgänger identifiziert wurde, wird die Fußgängeridentifizierung als erfolgreich gewertet und das erfasste Objekt als Fußgänger bestätigt.
-
Wenn beispielsweise das Objekt nur anhand des ersten Teilverfahrens als Fußgänger identifiziert wurde, aber die Identifizierung des Objektes anhand des zweiten Teilverfahrens verneint wurde, so wird davon ausgegangen, dass es sich bei dem erkannten Kontrastmuster nicht um das Kontrastmuster eines Fußgängers handelt, sondern um das Kontrastmuster, welches beispielsweise durch eine Straßenmarkierung auf dem Boden erzeugt wurde. Wenn das Objekt nur anhand des zweiten Teilverfahrens als Fußgänger identifiziert wurde, aber die Identifizierung des Objektes anhand des ersten Teilverfahrens verneint wurde, so wird davon ausgegangen, dass es sich bei dem erfassten Objekt um ein anderes Objekt, beispielsweise einen Baum, handelt. Durch die Teilverfahren wird also eine Redundanz bereitgestellt, durch welche das Objekt zuverlässig identifiziert werden kann.
-
Vorzugsweise wird in dem gleichen, von der zumindest einen Kamera erfassten Bild das Objekt selbst und das Kontrastmuster erkannt und das Objekt anhand des gleichen Bildes als Fußgänger identifiziert. Mit anderen Worten bedeutet dies, dass für beide Teilverfahren das gleiche, von der fahrzeugseitigen Kamera erfasste Bild zur Identifizierung des Objektes verwendet wird. Somit kann anhand eines einzigen aufgenommenen Bildes zuverlässig das Objekt als Fußgänger identifiziert werden.
-
In einer weiteren Ausführungsform der Erfindung werden ein Vorgang der Identifizierung des Objektes als Fußgänger anhand des erkannten Objektes und ein Vorgang der Identifizierung des Objektes anhand des erkannten Kontrastmusters zumindest zeitweise gleichzeitig durchgeführt. Mit anderen Worten bedeutet dies, dass sich die Vorgänge der Durchführung der Teilverfahren zumindest teilweise überschneiden. Anders ausgedrückt werden die beiden Teilverfahren, nämlich die Objektidentifizierung anhand des Kontrastmusters und anhand des Objektes selbst, zumindest zeitweise parallel beziehungsweise gleichzeitig durchgeführt. Somit kann ein Objekt besonders schnell als Fußgänger identifiziert und bestätigt werden.
-
Auch kann vorgesehen sein, dass eine Position des erkannten Objektes und eine Position des Kontrastmusters in einer Umgebungskarte bestimmt werden und das erkannte Objekt und das Kontrastmuster in die Umgebungskarte eingetragen werden. Anhand der Position des erkannten Objektes sowie anhand der Position des Kontrastmusters in der Umgebungskarte kann ein Abstand des Objektes relativ zum Kraftfahrzeug bestimmt werden. Dieser Abstand kann beispielsweise dem als Notbremsassistent ausgestalteten Fahrerassistenzsystem zur Verfügung gestellt werden. Außerdem kann anhand der beiden Position bestimmt werden, ob das Kontrastmuster von dem Schatten des Objektes auf dem Boden gebildet wurde, also ob das Kontrastmuster dem Objekt zugeordnet werden kann.
-
Vorzugsweise wird in der Umgebungskarte eine Projektion des erkannten Objektes auf dem Boden bestimmt und das Objekt als Fußgänger identifiziert, wenn sich die Projektion des Objektes und das in die Umgebungskarte eingetragene Kontrastmuster des Objektes zumindest in einem vorbestimmten Überlappungsbereich überlappen. Dies bedeutet, dass mittels der Projektion in der Umgebungskarte künstlich beziehungsweise virtuell, beispielsweise von der Bildverarbeitungsrichtung, ein Schatten des Objektes auf dem Boden erzeugt beziehungsweise bestimmt wird. Die Projektion kann insbesondere unter Berücksichtigung der aktuellen Lichteinfallsrichtung zum Zeitpunkt des aufgenommenen Bildes bestimmt werden. Wenn sich die Projektion und der Schatten des Objektes, also das von dem künstlich erzeugten Schatten abhängige Kontrastmuster und das von dem Schatten des Objektes abhängige Kontrastmuster, zumindest in dem vorbestimmten Überlappungsbereich überlappen, so kann davon ausgegangen werden, dass das Kontrastmuster auf dem Boden tatsächlich von dem Objekt erzeugt wurde und es sich bei dem erkannten Kontrastmuster beispielsweise nicht um eine Straßenmarkierung handelt. Mittels der Projektion und des Kontrastmusters können in vorteilhafter Weise die aus dem ersten Teilverfahren und dem zweiten Teilverfahren erkannten Fußgänger zu einem Objekt assoziiert werden und somit das erfasste Objekt zuverlässig als Fußgänger identifiziert werden.
-
Die Erfindung betrifft außerdem ein Fahrerassistenzsystem zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs als einen Fußgänger. Das Fahrerassistenzsystem umfasst zumindest eine fahrzeugseitige Kamera zum Erfassen des Umgebungsbereiches in Bildern. Darüber hinaus ist eine Bildverarbeitungseinrichtung des Fahrerassistenzsystems dazu ausgelegt, in zumindest einem der erfassten Bilder einen von dem Objekt auf einen Boden in dem Umgebungsbereich projizierten Schatten und ein von dem Schatten auf dem Boden abhängiges Kontrastmuster zu erkennen und das Objekt anhand eines Vergleiches des von dem Schatten abhängigen Kontrastmusters mit einem vorbestimmten, einen Fußgänger charakterisierenden Kontrastmuster zu identifizieren. Das Fahrerassistenzsystem kann beispielsweise als ein automatischer Notbremsassistent ausgestaltet sein und bei einer drohenden Kollision mit einem als Fußgänger identifizierten Objekt das Kraftfahrzeug automatisch abbremsen.
-
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als ein Personenkraftwagen ausgebildet.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile geltend entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Mit Angaben „oben“, „unten“, „vorne“, „hinten“, „seitlich“, „Vorderseite“, „Rückseite“, etc. sind bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der zumindest einen Kamera an dem Kraftfahrzeug und bei einem dann vor dem Kraftfahrzeug stehenden und in Richtung des Kraftfahrzeugs blickenden Beobachter gegebene Positionen und Orientierungen angegeben.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
-
Dabei zeigen:
-
1 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen Kraftfahrzeugs; und
-
2 eine schematische Darstellung eines von einer fahrzeugseitigen Kamera erfassten Bildes.
-
In den Fig. sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2. Das Fahrerassistenzsystem 2 dient zum Identifizieren eines Objektes 3 in einem Umgebungsbereich 4 des Kraftfahrzeugs 1 als einen Fußgänger 5. Das Fahrerassistenzsystem 2 kann beispielsweise als ein automatischer Notbremsassistent ausgestaltet sein, welcher einen Fahrer des Kraftfahrzeugs vor einer drohenden Kollision mit dem Fußgänger 5 warnt und/oder das Kraftfahrzeug 1 bei einer drohenden Kollision mit dem Fußgänger automatisch abbremst. Zur Identifizierung des Objektes 3 als einen Fußgänger 5 umfasst das Fahrerassistenzsystem 2 zumindest eine fahrzeugseitige Kamera 6. Hier umfasst das Kraftfahrzeug 1 vier fahrzeugseitige Kameras 6, wobei eine Kamera 6 in einem Frontbereich 7 des Kraftfahrzeugs 1 angeordnet ist. Mittels der Kamera 6 kann der Umgebungsbereich 4 vor dem Kraftfahrzeug 1 überwacht werden. Eine weitere Kamera 6 ist an einem Heckbereich 8 des Kraftfahrzeugs 1 angeordnet, um den Umgebungsbereich 4 hinter dem Kraftfahrzeug 1 zu überwachen. Zwei weitere Kameras 6 sind hier in jeweils einen Seitenspiegel 9 des Kraftfahrzeugs 1 integriert, sodass der Umgebungsbereich 4 seitlich des Kraftfahrzeugs 1 überwacht werden kann.
-
Die Kameras 6 sind dazu ausgelegt, den Umgebungsbereich 4 des Kraftfahrzeugs 1 in Bildern B zu erfassen, wobei ein von der Kamera 6 im Frontbereich 7 des Kraftfahrzeugs 1 erfasstes Bild B beispielhaft in 2 dargestellt ist. In dem zumindest einen erfassten Bild B wird von einer fahrzeugseitigen Bilderfassungseinrichtung 10 des Fahrerassistenzsystems 2 ein Schatten 11 erkannt, welchen das Objekt 3 auf einen Boden 12 projiziert. Der Boden 12 kann beispielsweise eine Fahrbahn für das Kraftfahrzeug 1 oder ein Gehweg sein. Durch den auf den Boden 12 projizierten Schatten 11 wird auf dem Boden 12 ein von dem Schatten 11 abhängiges Kontrastmuster 13 erzeugt, welches von der Bildverarbeitungseinrichtung 10 des Fahrerassistenzsystems 2 in dem zumindest einen Bild B erkannt wird. Dieses erkannte Kontrastmuster 13 wird mit einem vorbestimmten, einen Fußgänger charakterisierenden Kontrastmuster verglichen und das erfasste Objekt 3 anhand dieses Vergleiches als ein Fußgänger 5 identifiziert. Das erfasste Objekt 3 wird anhand des Vergleiches als Fußgänger 5 identifiziert, wenn das erfasste Kontrastmuster 13 höchstens um einen vorbestimmten Wert von dem charakterisierenden Kontrastmuster abweicht, also wenn sich das erfasste Kontrastmuster 13 und das charakterisierende Kontrastmuster zumindest in einem vorbestimmten Überlappungsbereich überlappen beziehungsweise überschneiden.
-
Dabei wird das Objekt 3 insbesondere dann als Fußgänger 5 identifiziert, wenn das Kontrastmuster 13 zwei im Wesentlichen parallel beziehungsweise nebeneinander verlaufende, dunkle Streifen 14 beziehungsweise streifenförmige Bereiche sowie einen zwischen den dunklen Streifen 14 verlaufenden, hellen Streifen 15 beziehungsweise streifenförmigen Bereich aufweist. Die dunklen Streifen 14 entsprechen dabei einem abgedunkelten Bereich auf dem Boden 12, welcher durch den Schatten von Beinen 16 des Fußgängers 5 erzeugt wird. Der zwischen den dunklen Streifen 14 verlaufende, helle Streifen 15 entspricht dabei einem nicht abgedunkelten Bereich auf dem Boden 12. Dieser entsteht beispielsweise dadurch, dass Licht von der Sonne S zwischen den Beinen 16 des Fußgängers 5 hindurch scheint und damit den Bereich zwischen den zwei dunklen Streifen 14 ausleuchtet. Dieses Kontrastmuster 13 aus abwechselnd einem dunklen, einem hellen und einem dunklen Bereich auf dem Boden 12 wird als für einen Fußgänger charakteristisch definiert.
-
Darüber hinaus wird eine Breite 17 zumindest eines der Streifen 14, 15 und/oder eine Länge 18 zumindest eines der Streifen 14, 15 erfasst. Das Objekt 3 wird nur dann als Fußgänger 5 identifiziert, wenn die erfasste Breite 17 und/oder die erfasste Länge 18 höchstens um einen vorgegebenen Wert von einer, für das charakterisierende Kontrastmuster vorgegebenen Länge und/oder Breite abweicht. Die Breite und die Länge der Streifen 14, 15 sind dabei abhängig von einer Breite und Länge der Beine 16 des Fußgängers 5. Für eine solche Breite und Länge können plausible, für eine Person typische Werte vorgegeben werden, sodass von der Bildverarbeitungseinrichtung 10 bestimmt werden kann, ob eine erfasste Breite 17 und/oder eine erfasste Länge 18 in dem Kontrastmuster 13 für einen Fußgänger realistisch beziehungsweise plausibel ist. So kann beispielsweise eine Fahrbahnmarkierung 19 auf dem Boden, welche ebenfalls ein Kontrastmuster aus abwechselnd einem dunklen, einem hellen und einem dunklen Bereich auf dem Boden 12 erzeugt, zuverlässig von dem von dem Schatten 11 des Fußgängers 5 abhängigen Kontrastmuster 13 unterschieden werden, da die Breite der dunklen Streifen bei dem von der Fahrbahnmarkierung 19 erzeugten Kontrastmuster deutlich größer ist als die breite der dunklen Streifen 14 bei dem Kontrastmuster 13 eines Fußgängers 5.
-
Außerdem wird zum Erfassen einer Orientierung zumindest eines der Steifen 14, 15 ein Winkel 22 zwischen dem zumindest einen Streifen 14, 15 und einer Detektionsachse 23 beziehungsweise Kameraachse der Kamera 6 erfasst. Das Objekt 3 wird dann als der Fußgänger 5 identifiziert, wenn die Orientierung des zumindest einen Streifens 14 höchstens um einen vorbestimmten Winkel von der Detektionsachse 23 abweicht, also wenn der erfasste Winkel 22 den vorbestimmten Winkel nicht überschreitet. Die Detektionsachse 23 entspricht dabei hier einer Hauptachse eines Erfassungsbereiches 24 der frontseitigen Kamera 6, welcher hier entlang einer Fahrzeuglängsrichtung des Kraftfahrzeugs 1 verläuft. Wenn der Fußgänger 5 vor der frontseitigen Kamera 6 die Fahrbahn überquert oder der Fußgänger 5 vor dem Kraftfahrzeug 1 und damit vor der frontseitigen Kamera 6 steht, erstrecken sich die Streifen 14, 15 des Kontrastmusters 13 insbesondere entlang der Detektionsachse 23. Das Objekt 3 wird also insbesondere dann als Fußgänger 5 identifiziert, wenn zumindest einer der Streifen 14, 15 entlang der Kameraachse 23 verläuft, wenn der Winkel 22 also in etwa 0° als den vorbestimmten Winkel beträgt. Der Winkel 22 zwischen dem zumindest einen Streifen 14, 15 und der Detektionsachse 23 kann sich über die Zeit verändern, vor allem wenn sich der Fußgänger 5 oder das Kraftfahrzeug 1 bewegen. Anhand der Winkeländerung und anhand einer erfassten Geschwindigkeit des Kraftfahrzeugs 1 kann also erfasst werden, ob sich der Fußgänger 5 bewegt oder steht.
-
Darüber hinaus kann eine Lichteinfallsrichtung 20 des Lichtes der Sonne S bestimmt werden. Basierend auf der Lichteinfallsrichtung 20 kann das charakterisierende Kontrastmuster bestimmt werden. Der Erfindung liegt hierbei die Erkenntnis zugrunde, dass der auf den Boden 12 projizierte Schatten 11 des Objektes 3 von der Lichteinfallsrichtung 20 abhängig ist. Anders ausgedrückt ist die Orientierung der Streifen 14, 15 abhängig von der Lichteinfallsrichtung 20. Die Lichteinfallsrichtung 20 ist insbesondere abhängig von einem Sonnenstand der Sonne S. Zum Bestimmen des Sonnenstandes der Sonne S kann das Fahrerassistenzsystem 2 beispielsweise einen Regen-Licht-Tunnel-Sensor 25 und/oder einen Sonnenstandssensor aufweisen, welcher den Sonnenstand der Sonne S und damit die Lichteinfallsrichtung 20 erfassen kann. Auch kann dich Lichteinfallsrichtung 20 anhand des von der Kamera 6 erfassten Bildes B bestimmt werden, indem die Kamera 6 selbst und/oder die Bildverarbeitungseinrichtung 10 eine Grundhelligkeit beziehungsweise Helligkeit des Bildes B erfasst. Aus der erfassten Helligkeit kann die Lichteinfallsrichtung 20 bestimmt werden. Auch kann vorgesehen sein, dass das Fahrerassistenzsystem 2 dazu ausgelegt ist, eine internetbasierte Wetterdatenbank 21 aufzurufen, um beispielsweise aktuelle Wetterdaten an einer Position des Kraftfahrzeugs 1 zu der aktuellen Uhrzeit beziehungsweise Tageszeit zu erhalten. Anhand dieser Wetterdaten und anhand einer Orientierung des Kraftfahrzeugs 1 kann die Lichteinfallsrichtung 20 zuverlässig bestimmt werden. Die Position sowie die Orientierung des Kraftfahrzeugs 1 können beispielsweise mittels eines hier nicht gezeigten GPS-Gerätes des Kraftfahrzeugs 1 bestimmt werden.
-
Auch kann in dem zumindest einen Bild B eine Position P des Fußgängers 5 erfasst werden und in eine Umgebungskarte, welche den Umgebungsbereich 4 darstellt, eingetragen werden. In der Umgebungskarte kann der Umgebungsbereich 4 für das Fahrerassistenzsystem 2 abgebildet sein, insbesondere können Abstände von erfassten Objekten 3 zu dem Kraftfahrzeug 1 hinterlegt sein. In zumindest einem weiteren, hier nicht dargestellten Bild kann die Position P des Fußgängers 5 erneut bestimmt werden und ebenfalls in die Umgebungskarte eingetragen werden. Somit kann die Position P des Fußgängers 5 über die Zeit, also ein Bewegungsverlauf des Fußgängers 5, erfasst werden. Damit kann beispielsweise bestimmt werden, ob sich der Fußgänger 5 bewegt, beispielsweise die Fahrbahn des Kraftfahrzeugs 1 überquert, oder ob der Fußgänger 5 steht. Insbesondere kann erfasst werden, an welcher Position P der Fußgänger 5 steht und somit der Abstand des Fußgängers 5 relativ zum Kraftfahrzeug 1 bestimmt werden.
-
Somit kann von dem Fahrerassistenzsystem 2 beispielsweise entschieden werden, ob eine von dem Fahrerassistenzsystem 2 bereitgestellte Notbremsung des Kraftfahrzeugs 1 durchgeführt werden muss. Eine Notbremsung des Kraftfahrzeugs 1 ist beispielsweise dann notwendig, wenn der Fußgänger 5 auf der Fahrbahn des Kraftfahrzeugs 1 steht oder sich auf der Fahrbahn bewegt und damit eine Kollision mit dem sich auf der Fahrbahn fortbewegenden Kraftfahrzeug 1 droht. Die Notbremsung ist nicht notwendig, wenn der Fußgänger 5 auf einem Gehweg neben der Fahrbahn des Kraftfahrzeugs 1 steht und das sich auf der Fahrbahn fortbewegende Kraftfahrzeug 1 an dem Fußgänger 5 vorbeifährt.
-
Um die Fußgängeridentifizierung besonders zuverlässig zu gestalten, können in dem zumindest einen Bild B nicht nur das Kontrastmuster 13 sondern zusätzlich das Objekt 3 selbst erfasst werden. Anhand des erfassten Objektes 3 kann beispielsweise mittels eines Klassifikators das erfasste Objekt 3 als Fußgänger 5 identifiziert werden. Das erfasste Objekt 3 kann beispielsweise anhand eines Vergleiches mit einer hinterlegten Vorlage als der Fußgänger 5 identifiziert werden. Auch kann anhand eines Pixelmusters des Bildes B das Objekt 3 selbst als Fußgänger 5 identifiziert werden. Nur wenn das Objekt 3 anhand des Kontrastmusters 13 und anhand des Objektes 3 selbst als Fußgänger 5 identifiziert wurde, wird die Fußgängeridentifizierung als erfolgreich gewertet und das erfasste Objekt 3 als Fußgänger 5 bestätigt. Wenn das erfasste Objekt 3 nur anhand des Kontrastmusters 13, nicht aber anhand des Objektes 3 selbst, als Fußgänger 5 identifiziert wurde, so kann es als wahrscheinlich angesehen werden, dass das erfasste Kontrastmuster 13 von der Straßenmarkierung 19 erzeugt wurde. Wenn das erfasste Objekt 3 nur anhand des Objektes 3 selbst, nicht aber anhand des Kontrastmusters 13, als Fußgänger 5 identifiziert wurde, so kann es als wahrscheinlich angesehen werden, dass das erfasste Objekt 3 ein anderes Objekt, beispielsweise ein Baum, ist.
-
Insbesondere ist dabei vorgesehen, dass ein Vorgang der Identifizierung anhand des Objektes 3 selbst und ein Vorgang der Identifizierung anhand des Kontrastmusters 13 in dem gleichen Bild B durchgeführt werden. Es kann also von der zumindest einen fahrzeugseitigen Kamera 6 ein Bild B aufgenommen werden, welches der Bildverarbeitungseinrichtung 10 zum Identifizieren des Objektes 3 bereitgestellt wird. Außerdem können die Vorgänge zumindest zeitweise gleichzeitig durchgeführt werden. Die Bildverarbeitungseinrichtung 10 kann also parallel mittels des Bildes B den Vorgang der Identifizierung anhand des Objektes 3 selbst und den Vorgang der Identifizierung anhand des Kontrastmusters 13 durchführen. Somit ist das Verfahren besonders schnell gestaltet.
-
Auch kann in der Umgebungskarte, in welche das Objekt 3 selbst und der Schatten 11 beziehungsweise das Kontrastmuster 13 eingetragen sind, eine Projektion des Objektes 3 auf den Boden 12 bestimmt werden. Mittels der Projektion des Objektes 3 auf den Boden 12, welche insbesondere in Abhängigkeit von der aktuellen Lichteinfallsrichtung 20 bestimmt wird, kann also künstlich beziehungsweise virtuell von der Bildverarbeitungseinrichtung 10 ein Schatten des Objektes 3 auf dem Boden 12 erzeugt beziehungsweise bestimmt werden. Wenn sich die Projektion des Objektes 3 und das Kontrastmuster 13, also der virtuell erzeugte Schatten und der erfasste Schatten 11 des Objektes 3 zumindest bereichsweise überlappen, wird das Objekt 3 als Fußgänger 5 identifiziert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013112163 A1 [0002]
