DE102007042697A1

DE102007042697A1 - Verfahren zur Erfassung des Umfeldes eines Fahrzeugs oder des Straßenzustands

Info

Publication number: DE102007042697A1
Application number: DE102007042697A
Authority: DE
Inventors: Christian Giegerich; Manfred FÜRSICH; Tim Weis; Christian Schmidt
Original assignee: Magna Electronics Europe GmbH and Co OHG
Current assignee: Magna Electronics Europe GmbH and Co OHG
Priority date: 2007-09-07
Filing date: 2007-09-07
Publication date: 2009-03-12

Abstract

Die Erfindung betrifft ein Verfahren zur Erfasssung des Straßenzustandes und/oder des Umfeldes vor, neben oder hinter einem Fahrzeug, mit den folgenden Schritten: - Mit einer Lichtquelle wird der Bereich des Umfeldes und/oder der Straße, dessen/deren Zustand erfasst werden soll, ausgeleuchtet, wobei als Lichtquelle eine IR-Lichtquelle, die Infrarotlicht ausstrahlt, verwendet wird; - mit einer Videokamera wird eine Bildabfolge des ausgeleuteten Bereiches aufgenommen. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, das - der Bereich, dessen Zustand erfasst werden soll, mit der IR-Lichtquelle in einzelnen, zeitlich aufeinander abfolgenden Pulsen mit einer vorgegebenen Pulsdauer ausgeleuchtet wird, während welchen die Videokamera für Infrarotlicht empfindlich geschaltet ist oder wird und mit ihr eine erste Bildabfolge aufgenommen wird, wobei zwischen den einzelnen Pulsen die Ausleuchtung mit der IR-Lichtquelle unterbrochen wird; und - während der Unterbrechung der Ausleuchtung mit der IR-Lichtquelle die Videokamera für Licht im sichtbaren Wellenlängenbereich empfindlich geschaltet ist oder wird und mit ihr eine zweite Bildabfolge aufgenommen wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Erfassung des Umfeldes und/oder des Straßenzustandes vor, neben oder hinter einem Fahrzeug.
Die Erfassung des Umfeldes eines Fahrzeugs oder des Straßenzustandes, insbesondere vor einem Fahrzeug, ist heutzutage für Fahrerassistenzsysteme, welche den Fahrzeugführer bei der Navigation beziehungsweise beim Lenken des Fahrzeugs unterstützen und beispielsweise automatische Beschleunigungs-, Brems- oder Lenkeingriffe vornehmen, unbedingt erforderlich. Beispiele für solche Fahrerassistenzsysteme, für welche das vorliegende erfindungsgemäße Verfahren insbesondere verwendet werden kann, sind:

– Systeme zur Kollisionsvermeidung
– Fernlichtassistenzsysteme
– Fußgängererkennungssysteme
– Geschwindigkeitsregelsysteme, insbesondere mit Bremseingriff
– Warnsysteme, die das Verlassen der Fahrspur signalisieren und/oder korrigieren.

Ferner kann es von Vorteil sein, ein solches Verfahren, wie es die vorliegende Erfindung betrifft, zur Steuerung von Fahrzeugeigenschaften, beispielsweise die Verteilung der Antriebsleistung auf die verschiedenen Antriebsräder, die Verteilung einer Bremskraft auf verschiedene Bremsen oder Bremssysteme oder die Dämpfung des Fahrwerks, zu verwenden, um den Fahrkomfort und/oder die Fahrsicherheit zu verbessern.
Die Offenlegungsschrift DE 197 18 632 A1 beschreibt eine Anordnung zur Erkennung des Zustandes einer Fahrbahnoberfläche, um eine Unterscheidung zwischen den Oberflächenzuständen trocken, nass und vereist zu ermöglichen. Das Ergebnis der Zustandserkennung kann eine Warnmeldung an den Fahrer auslösen oder einen automatischen Eingriff in den Betrieb des Fahrzeugs, beispielsweise in Form einer Geschwindigkeitsbegrenzung, bedingen. Das System beruht dabei auf einem Mikrowellen-Sende-Empfangs-System, das mit einem Infrarot-Sende-Empfangs-System verknüpft wird.
Die Offenlegungsschrift DE 199 32 094 A1 beschreibt eine multisensorielle, vorausschauende Straßenzustandserkennung, welche ebenfalls zur Information des Fahrers oder für eine automatische Fahrzeugsteuerung herangezogen werden kann. Dieses System nutzt eine Kombination eines schmalbündelnden Millimeterwellen-Radars mit einem Infrarot-Laser-Radar sowie eine daran gekoppelt Signalverarbeitung. Gemäß einer Ausführungsform werden die Millimeterwellen- und Infrarot-Sensoren im Fahrzeug auch für andere Aufgaben eingesetzt und daher zur Straßenzustandserkennung nur in regelmäßigen Zeitpunkten im Zeitmultiplex-Betrieb verwendet.
Die Offenlegungsschrift DE 101 49 206 A1 beschreibt ein Verfahren und eine Vorrichtung für das Kartographieren von Straßen, wobei zahlreiche Erfassungseinrichtungen, wie GPS-Empfänger, DGPS-Empfänger, Kameras, Radarsysteme, Laser und weitere Sensoren herangezogen werden, um das System, das ebenso zur Unfallverhütung herangezogen werden kann, zu verbessern.
Es ist verständlich, dass Systeme, welche auf die Ergebnisse einer solchen Zustandserfassung, wie sie die vorliegende Erfindung betrifft, zurückgreifen, um so besser und zuverlässiger arbeiten, je fehlerfreier und schneller die notwendigen Ergebnisdaten erzeugt werden. Die Erfassungsverfahren sollten daher möglichst unbeeinflusst von Störeinflüssen und schnell arbeiten. Zugleich sollten sie kostengünstig ausführbar sein, um für eine Großserienproduktion einer entsprechenden Hardware geeignet zu sein.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Erfassung des Umfeldes und/oder des Straßenzustandes vor, neben oder hinter einem Fahrzeug, insbesondere Kraftfahrzeug, wie Pkw oder Lkw, anzugeben, das einerseits schnell und andererseits zuverlässig und frei von Fehlern die gewünschten Ergebnisse liefert. Vorteilhaft sollen der strukturelle Aufwand und die Gesamtkosten zur Implementierung eines erfindungsgemäßen Verfahrens gering sein.
Die erfindungsgemäße Aufgabe wird durch ein Verfahren mit den Schritten von Anspruch 1 gelöst. Der unabhängige Vorrichtungsanspruch beschreibt eine Steuervorrichtung, die eingerichtet ist, ein erfindungsgemäßes Verfahren auszuführen. In den abhängigen Ansprüchen sind vorteilhafte und besonders zweckmäßige Gestaltungen der Erfindung angegeben.
Das erfindungsgemäße Verfahren zur Erfassung des Umfeldes und/oder des Straßenzustandes vor, neben oder hinter einem Fahrzeug weist wenigstens die folgenden Schritte auf:

– Mit einer Lichtquelle wird der Bereich des Umfeldes und/oder der Straße, dessen/deren Zustand erfasst werden soll, ausgeleuchtet, wobei als Lichtquelle eine IR-Lichtquelle, die Infrarotlicht ausstrahlt, verwendet wird;
– mit einer Videokamera wird eine Bildabfolge des ausgeleuchteten Bereiches aufgenommen;
– der Bereich, dessen Zustand erfasst werden soll, wird mit der IR-Lichtquelle in einzelnen, zeitlich aufeinander abfolgenden Pulsen mit einer vorgegebenen Pulsdauer ausgeleuchtet, während welchen die Videokamera für Infrarotlicht empfindlich geschaltet ist oder wird und mit ihr eine erste Bildabfolge aufgenommen wird, wobei zwischen den einzelnen Pulsen die Ausleuchtung mit der IR-Lichtquelle unterbrochen wird;
– während der Unterbrechung der Ausleuchtung mit der IR-Lichtquelle ist oder wird die Videokamera für Licht im sichtbaren Wellenlängenbereich empfindlich geschaltet und eine zweite Bildabfolge mit ihr aufgenommen wird.

Gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens werden zur Erfassung des Umfeldes beziehungsweise des Straßenzustandes ausschließlich die zeitlich nacheinander aufgenommenen Bildabfolgen, von denen ein erster Teil auf Aufnahmen ausschließlich im Infrarotwellenlängenbereich und ein zweiter Teil ausschließlich auf Aufnahmen im sichtbaren Wellenlängenbereich beruht, zur Erfassung des Zustandes der Straße beziehungsweise des Umfeldes herangezogen. Somit muss eine vorgesehene Vorrichtung zur Signalauswertung nur eine begrenzte Anzahl von Bildabfolgen verarbeiten, um das gewünschte Zustandsergebnis in Form von Daten zu produzieren, was das erfindungsgemäße Verfahren besonders schnell macht und zu kurzen Reaktionszeiten von Fahrerassistenzsystemen, die auf diese Daten zugreifen, führt. Zugleich bietet die abwechselnde Erfassung, insbesondere mit einer einzigen Videokamera beziehungsweise einer einzigen Gruppe von Videokameras, die parallel zueinander die erste und die zweite Bildabfolge aufnehmen, hinsichtlich der enthaltenen Informationen über den Zustand eine Überlegenheit über Systeme, die nur in einem einzigen Wellenlängenbereich oder ohne die Bildabfolgenerfassung im sichtbaren Wellenlängenbereich arbeiten.
Durch die Ausleuchtung des zu erfassenden Bereiches mit der IR-Lichtquelle können aussagekräftige IR-Bildabfolgen mit der wenigstens einen Videokamera aufgenommen werden, die unabhängig von Schatten, störenden Lichtquellen außerhalb des IR-Wellenlängenbereiches und dergleichen eine hohe Qualität bezüglich des Dateninhaltes aufweisen.
Die zwischengeordnete Aufnahme mit der wenigstens einen Videokamera im Bereich des sichtbaren Lichtes ist zwar vergleichsweise anfälliger für Störungen durch Schatten etc., erfasst jedoch auch einen Bereich in größeren Entfernungen vom Fahrzeug und liefert Informationen beziehungsweise Daten, die durch die IR-Aufnahmen nicht zur Verfügung gestellt werden können.
Besonders vorteilhaft strahlt die IR-Lichtquelle ausschließlich Licht im IR-Wellenlängenbereich aus, so dass beispielsweise andere Verkehrsteilnehmer nicht geblendet werden. Die Videokamera kann dabei gemäß einer Ausführungsform zu Beginn von jedem Puls, in welchem die IR-Lichtquelle IR-Licht ausstrahlt, oder unmittelbar vor jedem Puls derart umgeschaltet werden, dass sie ausschließlich im IR-Wellenlängenbereich empfindlich ist. Zu Ende von einem solchen Puls oder unmittelbar danach kann die Videokamera erneut umgeschaltet werden, so dass sie zwischen den Pulsen permanent oder in wenigstens einer vorgegebenen Zeitspanne, die einen zeitlichen Abstand zu dem vorangegangenen und/oder zu dem kommenden Puls hat, ausschließlich im Wellenlängenbereich sichtbaren Lichtes empfindlich ist. Während dieser Zeit kann der Erfassungsbereich durch natürliches Licht und/oder eine andere Lichtquelle, die Licht im sichtbaren Wellenlängenbereich ausstrahlt, beispielsweise die Fahrzeugscheinwerfer, ausgeleuchtet werden.
Die vorgegebene Pulsdauer des Pulses, mit welchem das Infrarotlicht ausgestrahlt wird, beträgt beispielsweise weniger als 15, 10 oder 5 Mikrosekunden oder exakt einen dieser Werte. Selbstverständlich können auch andere Pulsdauern, vorteilhaft im Mikrosekundenbereich, das heißt kleiner als eine Millisekunde, oder im Millisekundenbereich, das heißt kleiner als eine Sekunde, gewählt werden.
Der zeitliche Abstand zwischen zwei Pulsen liegt vorteilhaft im Millisekundenbereich, das heißt ist kleiner als eine Sekunde. Beispielsweise kann ein Abstand zwischen einer 20stel und einer 100stel Sekunde, insbesondere zwischen einer 30stel und einer 60stel Sekunde, die Grenzwerte eingeschlossen, gewählt werden. Andere zeitliche Abstände zwischen den einzelnen Pulsen sind jedoch möglich.
Gemäß einer ersten Ausführungsform werden die einzelnen Pulse, in welchen das Infrarotlicht mittels der IR-Lichtquelle ausgestrahlt wird, in unregelmäßigen zeitlichen Abständen vorgesehen. Die zeitlichen Abstände können beispielsweise mittels eines Zufallsgenerators erzeugt werden, um jegliche Regelmäßigkeit zu vermeiden. Auch die Pulsdauer kann entsprechend variiert werden. Ein Vorteil dieser Variation der zeitlichen Abstände beziehungsweise der Pulsdauer besteht darin, dass die Wahrscheinlichkeit für eine Interferenz mit fremden gepulsten Lichtquellen, das heißt mit Lichtquellen außerhalb des Erfassungssystems beziehungsweise Assistenzsystems, für welches das erfindungsgemäße Verfahren verwendet wird, minimiert wird.
Gemäß einer zweiten Ausführungsform, die natürlich mit der genannten ersten Ausführungsform kombiniert werden könnte, wird das Auftreten einer fremden mit regelmäßigen Pulsen gepulsten Lichtquelle überwacht, und bei Erfassen einer solchen fremden Lichtquelle, deren einzelnen Pulse mit IR-Licht mit den Pulsen der IR-Lichtquelle gemäß dem erfindungsgemäßen Verfahren zusammenfallen und/oder deren einzelnen Pulse mit Licht im sichtbaren Wellenlängenbereich mit der Aufnahme mittels der Videokamera im sichtbaren Wellenlängenbereich gemäß des erfindungsgemäßen Verfahrens zusammenfallen, wird die vorgegebene Pulsdauer und insbesondere die Zeitdauer der Unterbrechung variiert, so dass eine weitere Interferenz vermieden wird.
Die erste Bildabfolge aus den IR-Aufnahmen und die zweite Bildabfolge aus den Aufnahmen im sichtbaren Wellenlängenbereich, aufgenommen mit derselben Kamera beziehungsweise einer Vielzahl von Kameras in einer Gruppe, die insbesondere gleichzeitig Aufnahmen tätigen, können parallel in einer Auswerteeinrichtung bearbeitet werden, und mittels der Auswerteeinrichtung kann eine Zustandsbeschreibung des Umfeldes oder der Straße in Form von Daten in Abhängigkeit beider Bildabfolgen generiert werden.
Mögliche Zustände des Umfeldes beziehungsweise der Straße, welche beispielsweise durch das erfindungsgemäße Verfahren erfasst werden, und für welche beispielsweise eine Klassifikation vorgesehen wird, so dass der aktuell erfasste Zustand einzelnen oder mehreren der nachfolgenden Klassen zugeordnet werden kann, sind:

– asphaltierte Fahrbahn
– nicht asphaltierte Fahrbahn
– trockene Fahrbahn
– nasse Fahrbahn
– schneebedeckte Fahrbahn
– schneefreie Fahrbahn
– vereiste Fahrbahn
– eisfreie Fahrbahn
– Fahrbahn mit Wiese
– Fahrbahn mit Unebenheiten
– Objekt auf der Fahrbahn
– Fahrt auf Fahrbahn
– Fahrt auf Randstreifen
– Fahrt außerhalb befestigter Fahrbahn, beispielsweise Wiese, Fluss, Wald.

Die zur Ausleuchtung dienende IR-Lichtquelle kann gemäß einer Ausführungsform nur ein schmalbandiges Licht aussenden, und die Videokamera kann dann mit schmalbandigen Filtern versehen werden, die dafür sorgen, dass die Videokamera nur für dieses schmalbandige Licht empfindlich ist und entsprechende Bildabfolgen aufzeichnet. Ein solches schmalbandiges Licht deckt nicht den gesamten IR-Wellenlängenbereich, sondern nur einen Ausschnitt hieraus ab.
Als Lichtquelle können beispielsweise LEDs und/oder Laserdioden verwendet werden.
In der 1 ist als Ausführungsbeispiel für ein erfindungsgemäßes Verfahren ein zeitlicher Verlauf der Ausleuchtung mit der IR-Lichtquelle dargestellt sowie die Zeitfenster, in welchen die Videokamera synchron zur Lichtquelle empfindlich geschaltet wird und ein zwischengeordnetes Zeitfenster, in dem die Videokamera für Tageslicht empfindlich geschaltet ist.
Wie man sieht, sendet die IR-Lichtquelle einzelne Pulse 1 von IR-Licht aus, die einen vorgegebenen zeitlichen Abstand zueinander aufweisen. Während der einzelnen Pulse 1 ist die Videokamera für IR-Licht empfindlich geschaltet, siehe die Zeitfenster 2. Zwischen den Zeitfenstern 2 ist jeweils ein weiteres Zeitfenster 3 vorgesehen, in welchem die Videokamera ausschließlich für Tageslicht empfindlich geschaltet ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- DE 19718632 A1 [0004]
- DE 19932094 A1 [0005]
- DE 10149206 A1 [0006]

Claims

Verfahren zur Erfassung des Straßenzustandes und/oder des Umfeldes vor, neben oder hinter einem Fahrzeug, mit den folgenden Schritten: 1.1 mit einer Lichtquelle wird der Bereich des Umfeldes und/oder der Straße, dessen/deren Zustand erfasst werden soll, ausgeleuchtet, wobei als Lichtquelle eine IR-Lichtquelle, die Infrarotlicht ausstrahlt, verwendet wird; 1.2 mit einer Videokamera wird eine Bildabfolge des ausgeleuchteten Bereiches aufgenommen; dadurch gekennzeichnet, dass 1.3 der Bereich, dessen Zustand erfasst werden soll, mit der IR-Lichtquelle in einzelnen, zeitlich aufeinander abfolgenden Pulsen mit einer vorgegebenen Pulsdauer ausgeleuchtet wird, während welchen die Videokamera für Infrarotlicht empfindlich geschaltet ist oder wird und mit ihr eine erste Bildabfolge aufgenommen wird, wobei zwischen den einzelnen Pulsen die Ausleuchtung mit der IR-Lichtquelle unterbrochen wird; und 1.4 während der Unterbrechung der Ausleuchtung mit der IR-Lichtquelle die Videokamera für Licht im sichtbaren Wellenlängenbereich empfindlich geschaltet ist oder wird und mit ihr eine zweite Bildabfolge aufgenommen wird.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass mit der IR-Lichtquelle Licht ausschließlich im IR-Wellenlängenbereich ausgestrahlt wird, die Videokamera zu Beginn oder unmittelbar vor jedem Puls umgeschaltet wird, so dass sie ausschließlich im IR-Wellenlängenbereich empfindlich ist, und die Videokamera zu Ende oder unmittelbar nach jedem Puls oder in wenigstens einer vorgegebenen Zeitspanne zwischen zwei Pulsen umgeschaltet wird, so dass sie ausschließlich im Wellenlängenbereich sichtbaren Lichtes empfindlich ist.
Verfahren gemäß einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die vorgegebene Pulsdauer weniger als 15, 10 oder 5 Millisekunden beträgt.
Verfahren gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die einzelnen Pulse mit Infrarotlicht in einzelnen zeitlichen Abständen zwischen einer 20stel Sekunde und einer 100stel Sekunde, insbesondere zwischen einer 30stel Sekunde und einer 60stel Sekunde, ausgestrahlt werden.
Verfahren gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die einzelnen Pulse mit Infrarotlicht in unregelmäßigen zeitlichen Abständen und insbesondere mit einer variierenden Pulsdauer ausgestrahlt werden.
Verfahren gemäß Anspruch 5, dadurch gekennzeichnet, dass die zeitlichen Abstände und insbesondere die Pulsdauer mit einem Zufallsgenerator erzeugt werden.
Verfahren gemäß einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Auftreten einer fremden mit regelmäßigen Pulsen gepulsten Lichtquelle überwacht wird, und bei Erfassen einer solchen fremden Lichtquelle deren einzelne Pulse mit IR-Licht mit den Pulsen der IR-Lichtquelle zusammenfallen und/oder deren einzelnen Pulse von Licht im sichtbaren Wellenlängenbereich mit der Aufnahme mittels der Videokamera im sichtbaren Wellenlängenbereich zusammenfallen, die vorgegebene Pulsdauer und/oder die Zeitdauer der Unterbrechung geändert wird.
Verfahren gemäß einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die erste Bildabfolge und die zweite Bildabfolge parallel in einer Auswerteeinrichtung bearbeitet werden, und eine Zustandsbeschreibung des Umfeldes oder der Straße in Form von Daten in Abhängigkeit beider Bildabfolgen generiert wird.
Steuervorrichtung, insbesondere eines Fahrassistenzsystems, welche derart eingerichtet ist, dass sie alleine oder in Kombination mit weiteren Steuervorrichtungen ein Verfahren gemäß einem der Ansprüche 1 bis 8 ausführt.