-
Die Erfindung betrifft ein Verfahren zur kameragestützten Gewinnung von Information über ein Objekt in einem nicht einsehbaren, vorausliegenden Umfeldbereich eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 1 sowie eine entsprechende Vorrichtung gemäß dem Oberbegriff des Anspruchs 7.
-
Für die Längsführung von Kraftfahrzeugen sind eine Reihe von den Fahrer unterstützenden Fahrerassistenzsystemen bekannt. Zu nennen ist hier beispielsweise das ACC (Adaptive Cruise Control), welches mittels einer geeigneten Sensorik den Bereich vor dem Fahrzeug in einem vorgegebenen Entfernungsbereich erfasst, um dort befindliche Objekte zu detektieren und deren Abstand, Geschwindigkeit und Winkellage in Bezug auf das eigene Fahrzeug zu bestimmen. Geeignete Auswerteverfahren bewerten dabei die Relevanz der detektierten Objekte bezüglich der eigenen Fahrspur, so dass auf der Grundlage der Auswertung des Sensorsignals der Folgeabstand des Kraftfahrzeugs zu einem vorausfahrenden Fahrzeug auf einen bestimmten Sollabstand geregelt wird.
-
Allerdings können große Fahrzeuge, wie beispielsweise Lastwagen, Kastenwagen oder SUVs, die Voraussicht sowohl für den Fahrer als auch für die Sensorik verdecken und nicht beobachtbare Bereiche insbesondere vor dem unmittelbar vorausfahrenden Fahrzeug für das wahrnehmende System erzeugen. Dies gilt sowohl für den mehrspurigen urbanen Verkehr als auch für den Autobahnverkehr. So ist es beispielsweise insbesondere im dichten Verkehr kurz vor einer Staubildung wünschenswert nicht nur das Fahrverhalten des unmittelbar vorausfahrenden Verkehrsteilnehmers zu kennen, sondern auch Informationen über das Fahrverhalten weiter vorne fahrender Verkehrsteilnehmer zu erhalten, die aufgrund der Verdeckung nicht unmittelbar von der Umfeldsensorik erfasst werden können.
-
Die Druckschrift
DE 10 2007 035 026 A1 betrifft ein Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Kraftfahrzeuges mit einem Radarsensor, welches in einem vom Fahrer einsehbaren Sichtfeld Radarstrahlen in eine Fahrtrichtung des Kraftfahrzeugs aussendet und von den ausgesendeten Radarstrahlen resultierende Rückstreusignale empfängt. Dabei ermittelt eine Auswerteeinheit aus den empfangenen Rückstreusignalen diejenigen, die sich einem Objekt zuordnen lassen, welches sich in einem vom Fahrer nicht einsehbaren Sichtfeld befindet. Mittels dieser Signale kann dem Fahrer ein Hinweis auf ein solches, in einem nicht einsehbaren Sichtfeld befindliches Objekt ausgegeben werden. Mit anderen Worten, die Erkennung von Objekten mittels der Radarsensorik ist nicht mehr allein auf den einsehbaren Bereich beschränkt, sondern mittels einer entsprechenden Auswertung der Sensordaten des Radarsensors ist sozusagen ein "Um-die-Ecke-schauen" möglich. Zur Unterscheidung der Rückstreusignale in einerseits unmittelbar an Objekten reflektierte Signale und andererseits Spiegelungen nicht sichtbarer Objekte an Zweitobjekten wie Leitplanken oder ähnlichem kann neben den Streusignalamplituden noch eine Auswertung eines optischen Bildes eines Videosensors herangezogen werden.
-
Allerdings ist bei dem bekannten Radarverfahren nur eine Aussage über das Vorhandensein oder Nichtvorhandensein eines Objekts in einem nicht einsehbaren Bereich möglich. Zwar ist unter Umständen aus der Beobachtung eine stark verrauschte Schätzung der Objektbeschleunigung möglich, jedoch können weitere Aussagen über das Objekt, wie beispielsweise sein Fahrvorhaben, nicht getroffen werden.
-
Der Erfindung liegt daher die Aufgabe zugrunde ein Verfahren und eine Vorrichtung zur Gewinnung von weiteren Informationen über ein Objekt in einem nicht einsehbaren, vorausliegenden Umfeldbereich eines Kraftfahrzeugs zu schaffen.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 7 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
-
Das erfindungsgemäße Verfahren zur Gewinnung von Information über ein Objekt in einem nicht einsehbaren, vorausliegenden Umfeldbereich eines Kraftfahrzeugs mittels eines Kamerasystems des Kraftfahrzeugs, weist die folgenden Schritte auf:
- – Erzeugen zweier Bilder des vorausliegenden Umfeldes des Kraftfahrzeugs mittels des Kamerasystems, wobei ein Bild ungefiltert und das andere Bild polarisationsgefiltert aufgenommen wird,
- – Erzeugen eines Differenzbildes der beiden Bilder, und
- – Untersuchen des Differenzbildes auf Reflexionen des Objekts an reflektierenden Flächen im Blickfeld des Kamerasystems.
-
Durch die Ausnutzung der Informationen, die sich in Reflexionsflächen befinden und die durch die Differenzbildung zwischen einem ungefilterten Bild und einem polarisationsgefilterten Bild hervortreten, kann die fusionierte Wahrnehmung sozusagen "um die Ecke sehen". Als Reflexionsflächen kommen Schaufenster, Fahrzeugfenster, lackierte Seitenflächen des Fahrzeugs, Chromelemente eines Fahrzeugs, etc. in Betracht, die aufgrund der Polarisation der reflektierten Strahlung an derartigen Flächen vom Polarisationsfilter gefiltert werden, so dass die Reflexionen im Differenzbild zutage treten. Dabei können die beiden Bilder beispielsweise von zwei Sensoren aufgenommen werden, die baulich dicht aneinander grenzen, um eine hohe Überlappung der Pixelregionen zu erhalten oder die beiden Bilder werden von einem Sensor erzeugt, der zeitlich kurz nacheinander die beiden Bilder aufnimmt und zwar einmal ohne Filter und einmal mit Filter.
-
Vorzugsweise wird das Differenzbild als Textur auf die umliegenden Fahrzeuge im 3D-Raum gelegt. Auf diese Weise wird eine Entzerrung der reflektierten Information durchgeführt. Dazu kann für jedes umliegende Fahrzeug ein 3D-Modell erzeugt werden. Insbesondere kann ein vereinfachtes 3D-Modell verwendet werden.
-
Weiter bevorzugt werden die Fahrzeugrichtungen und/oder die Fahrzeugtypen der Fahrzeuge im Umfeld des Kraftfahrzeugs ermittelt und/oder es erfolgt eine Fahrzeugnachverfolgung der Fahrzeuge im Umfeld des Kraftfahrzeugs. Durch die bekannten Kamerapositionen lassen sich die Flächen der Kraftfahrzeug im Umfeld des Eigenfahrzeugs festlegen, die im 2D-Bild der Kameras gesehen werden. Ebenso kann die Reflexionsquelle im dreidimensionalen zurückgerechnet werden, wenn die Positionen und Ausrichtung des anderen Fahrzeugs bzw. der der anderen Fahrzeuge bekannt ist bzw. bekannt sind.
-
Vorzugsweise werden die ermittelten Reflexionen hinsichtlich Blinker, Bremslichter und/oder Warnblinker eines Objekts in dem nicht einsehbaren, vorausliegenden Umfeldbereich untersucht. Auf diese Weise kann eine Aussage über das zukünftige Verhalten des Objekts in dem Sinne gemacht werden, dass das unmittelbar vorausfahrende Fahrzeug eine Maßnahme einleiten wird, wenn das verdeckt vor diesem fahrende Fahrzeug Brems-, Blink- oder Warnblinksignale abgibt. Ferner können den ermittelten Reflexionen auch Infrastrukturinformationen entnommen werden, wie beispielsweise der Status einer Lichtsignalanlage, wobei in diesem Fall ist die Lichtsignalanlage das interessierende Objekt darstellt.
-
Weiter bevorzugt werden aus den Reflexionen die Position und die Orientierung des Objekts in dem nicht einsehbaren, vorausliegenden Umfeldbereich abgeleitet. Ist die Struktur der Reflexionsfläche bekannt, so kann nicht nur Kontextinformationen wie Bremsen, Blinken oder Warnblinken des verdeckt fahrenden Fahrzeugs ermittelt werden, sondern es können auch Aussagen über die Position und die Orientierung des Objekts bzw. des Fahrzeugs erfolgen.
-
Die erfindungsgemäße Vorrichtung zur Gewinnung von Information über ein Objekt in einem nicht einsehbaren, vorausliegenden Umfeldbereich eines Kraftfahrzeugs, wobei die Vorrichtung zu Durchführung des im vorangegangenen erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst ein Kamerasystem zur Beobachtung des vorausliegenden Umfelds und eine Auswerteeinrichtung zur Auswertung der Bilder des Kamerasystems. Dabei erzeugt das Kamerasystem sowohl ein ungefiltertes Bild der Umgebung als auch ein polarisationsgefiltertes Bild. Ferner weist die Auswerteeinrichtung eine Einrichtung zur Erzeugung eines Differenzbildes aus ungefiltertem und polarisationsgefiltertem Bild und eine Einrichtung zur Analyse des Differenzbildes auf.
-
Vorzugsweise weist das Kamerasystem zwei Kameras auf, wobei eine Kamera das ungefilterte Bild und die andere Kamera einen Polarisationsfilter zur Erzeugung des gefilterten Bildes aufweist. Dabei sollten die beiden Kameras in enger räumlicher Nähe angeordnet sein, um eine hohe Überlappung der Pixelregionen zu gewährleisten.
-
Weiter bevorzugt weist das Kamerasystem eine Kamera auf, die alternierend gefilterte und ungefilterte Bilder aufnimmt. Die Aufnahmefrequenz muss dabei so gewählt sein, dass die beiden Bilder in einem ausreichend kurzen zeitlichen Abstand voneinander aufgenommen werden, so dass die Eigengeschwindigkeit des Fahrzeugs keine Rolle spielt.
-
Vorzugsweise weist die Einrichtung zur Analyse des Differenzbildes eine Einrichtung zur Entzerrung der reflektierten Informationen auf.
-
Weiter bevorzugt weist die Vorrichtung eine Einrichtung zur Klassifizierung und Nachverfolgung der Fahrzeuge im Umfeld des Kraftfahrzeugs auf.
-
Weiter bevorzugt weist die Vorrichtung eine Einrichtung zur Darstellung von im Umfeld erkannter Fahrzeuge als 3D-Modell auf, so dass das Differenzbild als Textur auf die umliegenden Fahrzeuge in 3D-Raum gelegt wird. Auf diese Weise können Verzerrungen beseitigt werden.
-
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen näher erläutert. Dabei zeigt
-
1 ein Beispiel einer Fahrsituationen in schematischer Darstellung,
-
2 ein Beispiel eines Staus auf einer zweispurigen Autobahn,
-
3 das Differenzbild der 2 mit Markierung der interessierenden Reflexionen, und
-
4 eine schematische Darstellung einer Vorrichtung zur Gewinnung von Informationen über ein verdeckt vorausfahrendes Fahrzeug.
-
1 zeigt eine typische Fahrsituation auf einer zweispurigen Fahrbahn 6, wobei sich unmittelbar vor einem Eigenfahrzeug A ein vorausfahrendes Fahrzeug B befindet. Vor dem unmittelbar vorausfahrenden Fahrzeug B befindet sich ein weiteres Fahrzeug D, welches für das Eigenfahrzeug A verdeckt ist. Ferner fährt seitlich versetzt vom Eigenfahrzeug A auf der Nachbarspur der Fahrbahn 6 ein weiteres vorausfahrendes Fahrzeug C. In der rechten Seitenfläche des auf der Nachbarspur befindlichen Fahrzeugs C spiegeln sich die Heckleuchten 2, 3 des verdeckt vorausfahrenden Fahrzeugs D, was durch die beiden Strahlengänge 4, 5 angedeutet ist. Das Eigenfahrzeug A ist mit einem vorausschauenden Kamerasystem (nicht dargestellt) zur Umfelderfassung ausgestattet, welches zumindest eine Monokamera ohne Polarisationsfilter und eine weitere Monokamera mit Polarisationsfilter aufweist. Das Kamerasystem des Eigenfahrzeug A weist das in der 1 dargestellte Kamera-Sichtfeld 1 auf, so dass das unmittelbar vorausfahrende Fahrzeug B sowie zumindest teilweise das seitlich auf der Nachbarspur fahrende Fahrzeug C vom Kamera-Sichtfeld 1 erfasst wird. Wie in 1 schematisch dargestellt ist, erfasst das Kamera-Sichtfeld 1 ebenfalls die auf der rechten Seitenfläche des seitlichen Fahrzeugs C auftretenden Reflektionen bzw. Spiegelungen 4, 5 der Rückleuchten 2, 3 des verdeckt vorausfahrenden Fahrzeugs D.
-
2 zeigt ein Bild eines Staus auf einer mehrspurigen Fahrbahn 6, wobei das Eigenfahrzeug A (nicht dargestellt) auf der mittleren Fahrspur unmittelbar hinter dem vorausfahrenden Fahrzeug B fährt, welches sich im direkten Blickfeld des Kamerasystems des Eigenfahrzeugs A befindet. Auf der linken Nachbarspur der Fahrbahn 6 ist das seitlich versetzte Fahrzeug C der 1 zu erkennen, welches sich ebenfalls im Blickfeld des Kamerasystems des Eigenfahrzeugs A befindet. Umrandet ist die reflektierende rechte Seite 7 des seitlich versetzten Fahrzeugs C dargestellt, auf der ein Spiegelbild 8 des verdeckten Fahrzeugs D der 1 zu erkennen ist, das sich vor dem Fahrzeug B befindet.
-
In 3 ist das Differenzbild der in 2 dargestellten Verkehrssituation wiedergegeben, wobei das Kamerasystem des Eigenfahrzeug A ein ungefiltertes Umgebungsbild und ein polarisationsgefiltertes Umgebungsbild erzeugt, beispielsweise indem das Kamerasystem zumindest eine Monokamera ohne Polarisationsfilter und eine Monokamera mit Polarisationsfilter aufweist. Da der Abstand der beiden Kameras voneinander bekannt ist, lässt sich unter Berücksichtigung dieses Abstands ein pixelgenaues Differenzbild zwischen dem ungefilterten und dem polarisationsgefilterten Bildern der beiden Kameras erstellen. Dies führt, wie in 3 erkennbar, zu einem Auslöschen des Hintergrundes, so dass in der Differenz der durch den Polarisationsfilter entfernte polarisierte Anteil hervorgehoben verbleibt, der seinen physikalischen Grund im wesentlichen in der Reflektion unpolarisierter Strahlung an reflektierenden Oberflächen hat. Daher tritt im reflektierenden Seitenbereich 7 des seitlich versetzt angeordneten Fahrzeugs C das Spiegelbild 8 des vor dem Fahrzeug B befindlichen, verdeckt vorausfahrenden Fahrzeugs D im Differenzbild der 3 deutlich hervor, so dass insbesondere die Bremsleuchten 2, 3 deutlich wahrnehmbar sind. Ein im Eigenfahrzeug A befindliches Fahrerassistenzsystem, wie beispielsweise ein ACC, könnte daher auf die Bremsleuchten 2, 3 des verdeckt vorausfahrenden Fahrzeugs D reagieren, bevor das unmittelbar vorausfahrende Fahrzeug B bremst. Ferner können Blinker bzw. Warnblinker des verdeckt vorausfahrenden Fahrzeugs erkannt werden, wodurch eine Aussage über eine zukünftige Reaktion des unmittelbar vorausfahrenden Fahrzeugs B möglich ist. Zur besseren Erkennbarkeit der Situation sind in 3 die Konturen der Fahrzeuge B und C sowie die Fahrbahnmarkierung gestrichelt dargestellt, obwohl diese in dem Differenzbild tatsächlich nicht vorhanden sind.
-
Zur Entzerrung des Differenzbildes wird dieses als Textur auf die umliegenden Fahrzeuge im 3D-Raum gelegt, wobei für jedes Fahrzeug ein vereinfachtes 3D-Modell angenommen wird. Dies führt zur Entzerrung der reflektierten Informationen. Durch die bekannten Kamerapositionen lassen sich die Flächen im Raum festlegen, die im 2D-Bild der Kameras gesehen werden können. Ebenso kann die Reflexionsquelle im dreidimensionalen zurückgerechnet werden, wenn die Position und die Ausrichtung der anderen Fahrzeuge bekannt ist. Zur Bestimmung der Fahrzeugausrichtung sowie zur Klassifikation der Fahrzeugtypen sind entsprechende Algorithmen bekannt. Ebenso existieren Algorithmen zum sogenannten Objekt-Tracking im Fahrzeugumfeld, dem Beobachten und Nachverfolgen von Fahrzeugen durch eine entsprechende Sensorik.
-
4 zeigt eine Vorrichtung zur Ermittlung von Informationen über Objekte im nicht einsehbaren, vorausliegenden Bereich des Umfeldes eines Kraftfahrzeugs. Dabei umfasst die Vorrichtung ein Kamerasystem 10 umfassend eine Monokamera 11 sowie eine weitere Monokamera 12, der ein Polarisationsfilter 13 vorgeordnet ist. Die beiden Videokameras 11, 12 erzeugen jeweils Bilder des vorausliegenden Umfeldes des Kraftfahrzeugs, wobei jedes Bild einer Kamera einer entsprechenden Bildverarbeitung bzw. Bildbearbeitung 14, 15 zugeführt wird. In den Bildbearbeitungen 14, 15 können beispielsweise die Bilder so berechnet werden, dass der Positionsunterschied der beiden Kameras 11, 12 eliminiert wird, so dass eine koordinatenmäßige Identität der beiderseitigen Pixel besteht. Ferner können die Bildbearbeitungen 14, 15 weitere Aufgaben, wie beispielsweise das Objekt-Tracking oder die Klassifizierung und Typisierung der Fahrzeuge im Umfeld des Eigenfahrzeugs, übernehmen.
-
Die in ihrer Position korrigierten Bilder der beiden Kameras 11, 12 werden einer Differenzbildung 16 zugeführt, die das Differenzbild des ungefilterten Bildes und des polarisationsgefilterten Bildes berechnet. In einer Auswerteeinheit 17 wird das von der Differenzbildung 16 erzeugte Differenzbild analysiert und hinsichtlich der Informationen, die sich in Reflexionsflächen befinden, untersucht. Ferner kann das Differenzbild der beiden Kamerasysteme als Textur auf die umliegenden Fahrzeuge im 3D-Raum gelegt werden, wobei für jedes Fahrzeug im Umfeld des Eigenfahrzeuges ein vereinfachtes 3D-Modell angenommen wird. Aufgrund des Objekt-Trackings und der Typ-Klassifizierung der Fahrzeuge im Umfeld des eigenen Fahrzeuges wird ein entsprechendes 3D-Modell gewählt, um Fahrzeuge mit Reflektionsflächen zu beschreiben. Ergibt beispielsweise die Klassifizierung, dass das benachbarte Fahrzeug ein Kombi, eine Limousine oder ein SUV ist, so wird ein entsprechendes 3D-Modell verwendet, um das Differenzbild auf eine entsprechende Fläche des Modells zu projizieren.
-
Bezugszeichenliste
-
- A
- Eigenfahrzeug
- B
- unmittelbar voraus befindliches Fahrzeug
- C
- seitliches Fahrzeug
- D
- verdecktes Fahrzeug
- 1
- Kamera-Sichtfeld
- 2
- Rückleuchte
- 3
- Rückleuchte
- 4
- Reflexion
- 5
- Reflexion
- 6
- Fahrbahn
- 7
- reflektierende Seitenfläche Fahrzeug C
- 8
- Spiegelbild Fahrzeug D
- 10
- Kamerasystem
- 11
- Kamera 1
- 12
- Kamera 2
- 13
- Polarisationsfilter
- 14
- Bilderstellung 1
- 15
- Bilderstellung 2
- 16
- Differenzbild
- 17
- Auswertung Differenzbild
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007035026 A1 [0004]
