-
Die Erfindung betrifft ein optisches Abtastsystem für ein Kraftfahrzeug mit den Merkmalen von Anspruch 1 und ein Verfahren zum optischen Abtasten einer Umgebung eines Kraftfahrzeugs mit den Merkmalen von Anspruch 12.
-
Stand der Technik
-
Die Verwendung optischer Abtastsysteme unterschiedlicher Ausprägungen für Kraftfahrzeuge ist bekannt. Häufig erfolgt eine optische Abtastung einer Umgebung des Kraftfahrzeugs, um eine Fahrbahnmarkierung zu erfassen und daraus eine Warnung vor einem Verlassen der Fahrspur bereitzustellen. Ferner ist es üblich, im Bereich von Personen- oder Lastkraftwagen eine rückwärtsgerichtete Kamera zu verwenden, um einem Fahrer des Kraftfahrzeugs während einer Rückwärtsfahrt Bilder eines hinter dem Kraftfahrzeug liegenden Bereichs bereitzustellen.
-
Ein System zur Bereitstellung einer Warnung vor dem Verlassen einer Fahrspur (lane departure warning) ist beispielsweise aus
US 7,400,236 B2 bekannt. Dabei kann sowohl eine nach vorne als auch eine nach hinten gerichtete Kamera verwendet werden.
-
In
WO 2007/028630 A1 ist ein optisches Abtastsystem für ein Kraftfahrzeug beschrieben, welches zusätzlich zu einer Kamera im sichtbaren Spektralbereich eine weitere Kamera im infraroten Spektralbereich verwendet. Auf einer Anzeige im Sichtbereich eines Fahrers des Kraftfahrzeugs kann ein Bild eines Blickfeldes der beiden Kameras dargestellt werden, wobei einzelne Bildelemente (Pixel) farblich hervorgehoben werden können, die Bereiche repräsentieren, die für den Betrieb des Kraftfahrzeugs kritisch sind.
-
Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes optisches Abtastsystem für ein Kraftfahrzeug anzugeben um optische Informationen einer Umgebung verbessert aufzubereiten. Eine weitere Aufgabe der Erfindung besteht in der Angabe eines entsprechenden Verfahrens.
-
Die Erfindung löst diese Aufgaben mittels eines optischen Abtastsystems und eines optischen Abtastverfahrens nach den unabhängigen Patentansprüchen. Unteransprüche geben bevorzugte Ausführungsformen wieder.
-
Ein erfindungsgemäßes optisches Abtastsystem für ein Kraftfahrzeug umfasst einen ersten Bildsensor zur Aufnahme eines ersten Bildes im sichtbaren Spektralbereich und einen zweiten Bildsensor zur Aufnahme eines zweiten Bildes im unsichtbaren Infrarotbereich. Die Bildsensoren können in separaten Kameras oder in einer Kamera angeordnet sein. In einer bevorzugten Ausführungsform ist nur eine Kamera vorgesehen, die einen Breitspektrums-Bildsensor umfasst, in welchem der erste und der zweite Bildsensor miteinander integriert als Breitsprektrums-Bildsensor ausgeführt sind, wobei der Breitsprektrums-Bildsensor dazu eingerichtet ist, ein kombiniertes Bild aufzunehmen, das die Informationen des ersten und des zweiten Bildes umfasst. Ferner sind eine Verarbeitungseinrichtung zur Auswertung der Informationen des kombinierten Bildes bzw. des ersten und des zweiten Bildes sowie eine Beleuchtungseinrichtung im Infrarotbereich zur Beleuchtung der Umgebung vorgesehen.
-
Erfindungsgemäß ist es nicht nur möglich, eine Analyse optischer Informationen der Daten aus beiden Spektralbereichen durchzuführen und damit einen Informationsgehalt gegenüber rein im sichtbaren Bereich arbeitenden optischen Systemen zu erweitern, sondern zusätzlich auch eine Beleuchtung im Infrarotbereich zu verwenden, die üblichen Einschränkungen von Beleuchtungseinrichtungen im sichtbaren Spektralbereich nicht unterliegt. Beispielsweise kann durch die Beleuchtungseinrichtung im Infrarotbereich eine Person in der Umgebung des Kraftfahrzeugs prinzipbedingt nicht geblendet werden und auch eine Irritation beispielsweise eines Fahrers eines folgenden Kraftfahrzeugs kann durch die unsichtbare Infrarotstrahlung nicht entstehen. Daher kann die Infrarotbeleuchtung bezüglich Winkel und Helligkeit im Wesentlichen frei dimensionierbar sein kann. Unabhängig von einer Beleuchtung der Umgebung im sichtbaren Spektralbereich kann somit eine für die Aufnahme des zweiten Bildes optimierte Beleuchtung im Infrarotbereich durchgeführt werden, wobei Anforderungen an die Augensicherheit berücksichtigt werden können.
-
Vorzugsweise ist die Beleuchtungseinrichtung dazu eingerichtet, Infrarotlicht auszusenden, dem eine geometrische Struktur mit wenigstens einer Dimension aufgeprägt ist. Die eindimensionale Struktur ist bevorzugterweise eine Linie, die vorzugsweise parallel zu einer Bewegungsrichtung des Kraftfahrzeugs bei Geradeausfahrt verläuft. Mittels der strukturierten Beleuchtung kann für unterschiedliche Verarbeitungszwecke eine erleichterte bzw. verbesserte Verarbeitung des zweiten Bildes erfolgen. Die geometrische Struktur kann auch zweidimensional sein und beispielsweise in Form eines Gitters erfolgen, das die Beleuchtungseinrichtung auf die Umgebung des Kraftfahrzeugs projiziert.
-
Bevorzugterweise liegt die Umgebung bezüglich einer Hauptbewegungsrichtung hinter dem Kraftfahrzeug. Eine Verarbeitung der aufgenommen Bilder beispielsweise zum Zweck einer Warnung vor dem Verlassen einer Fahrspur bei Vorwärtsfahrt oder vor einer drohenden Kollision mit einem Objekt bei Rückwärtsfahrt kann bei Abtasten der rückwärtigen Umgebung des Kraftfahrzeugs besonders leicht erfolgen.
-
In einer bevorzugten Ausführungsform ist die Beleuchtungseinrichtung in ein Rücklicht zur Aussendung von Licht im sichtbaren Spektralbereich integriert. Dadurch kann eine gute Beleuchtungsposition realisiert werden, ohne beispielsweise in ein bestehendes Kraftfahrzeug mehr als erforderlich einzugreifen. Eine Nachrüstung eines bestehenden Kraftfahrzeugs mit dem Abtastsystem kann dadurch erleichtert sein.
-
In einer Ausführungsform ist die Beleuchtungseinrichtung dazu eingerichtet, das ausgesandte Infrarotlicht mittels eines Modulationssignals zeitlich zu modulieren und eine Empfangseinrichtung, die den zweiten Bildsensor bzw. den integrierten Breitspektrums-Bildsensor umfassen kann, ist dazu eingerichtet, auf der Basis des Modulationssignals eine Entfernung zu einem das ausgesandte Infrarotlicht reflektierenden Gegenstand in der Umgebung zu bestimmen.
-
Eine derartige Abtasteinrichtung ist unter der Bezeichnung TOF-Kamera bekannt (TOF: Time Of Flight, Entfernungsmessung via Laufzeitbestimmung von Lichtimpulsen). Die Verarbeitungseinrichtung kann dazu eingerichtet sein, unterschiedliche Bestimmungen auf der Basis der aufgenommenen Bilder durchzuführen. Zusätzlich zum Bereitstellen einer kombinierten optischen Darstellung der aufgenommenen Bilder, der Warnung vor dem Verlassen einer Fahrspur und der Warnung vor einem Hindernis für das Kraftfahrzeug kann die Verarbeitungseinrichtung dazu eingerichtet sein, zusätzlich oder alternativ eine Fahrbahnstruktur zu erfassen. Die Fahrbahnstruktur kann geometrische Aspekte wie eine Krümmung oder eine Neigung der Fahrbahn, Beschaffenheitsaspekte wie einen Fahrbahnbelag, einen Verschmutzungsgrad und/oder eine Oberflächenbeschaffenheit wie Feuchtigkeit, Eis oder Schnee umfassen.
-
Ferner kann die Verarbeitungseinrichtung dazu eingerichtet sein, auf der Basis von zu unterschiedlichen Zeitpunkten aufgenommenen Bildern eine Eigenbewegung des Kraftfahrzeugs zu bestimmen. Die bestimmte Bewegung des Kraftfahrzeugs kann beispielsweise einem Sicherheits- oder Navigationssystem des Kraftfahrzeugs bereitgestellt werden, wodurch eine Sicherheit des Kraftfahrzeugs gesteigert sein kann.
-
Das System kann dazu eingerichtet sein, bei Rückwärtsfahrt ein hinter dem Kraftfahrzeug liegendes Hindernis in der Umgebung zu erfassen. Daraus kann eine Warnung vor Kollision abgeleitet werden. Das System kann ferner dazu eingerichtet sein, bei Vorwärtsfahrt auf der Basis der aufgenommenen Bilder eine Struktur zu erfassen, die auf eine Position des Kraftfahrzeugs auf einer Fahrspur hinweisen. Die Struktur kann eine Fahrbahnmarkierung oder einen Bordstein umfassen. Aus der erfassten Struktur kann eine Warnung vor Verlassen der Fahrspur generiert werden.
-
Ein Verfahren zum optischen Abtasten einer Umgebung des Kraftfahrzeugs umfasst Schritte des Erfassens eines ersten Bildes der Umgebung in einem sichtbaren Spektralbereich, des Beleuchtens der Umgebung in einem unsichtbaren Infrarotbereich, des Erfassens eines zweiten Bildes der Umgebung im Infrarotbereich und des kombinierten Auswertens von Informationen des ersten und des zweiten Bildes. Das Verfahren kann als Computerprogrammprodukt auf einem programmierbaren Mikrocomputer ausgeführt werden.
-
Die Erfindung wird nun mit Bezug auf die beigefügten Figuren genauer beschrieben, in denen:
-
1 eine schematische Darstellung eines Kraftfahrzeugs mit einem optischen Abtastsystem;
-
2 eine perspektivische Ansicht eines Kraftfahrzeugs; und
-
3 ein Ablaufdiagramm eines Verfahrens zum optischen Abtasten einer Umgebung eines Kraftfahrzeugs entsprechend 1 und 2 darstellt.
-
Genaue Beschreibung von Ausführungsbeispielen
-
1 zeigt ein optisches Abtastsystem 100 an Bord eines Kraftfahrzeugs 105. Durch einen Pfeil 110 ist eine bevorzugte Fahrrichtung des Kraftfahrzeugs 105 angegeben; diesbezüglich sind im Folgenden verwendete Richtungsangaben vor bzw. hinter dem Kraftfahrzeug 105 definiert. Das Kraftfahrzeug 105 umfasst ferner ein Vorderlicht 115 und ein Rücklicht 120.
-
Das Abtastsystem 100 umfasst eine Verarbeitungseinrichtung 125, eine Ausgabeeinrichtung 130, eine erste Kamera 135 und eine zweite Kamera 140, eine Beleuchtungseinrichtung 145 sowie ein optisches System 150, das mit der Beleuchtungseinrichtung 145 gekoppelt ist. Die Verarbeitungseinrichtung 125 ist mit der Ausgabeeinrichtung 130, den Kameras 135 und 140 sowie der Beleuchtungseinrichtung 145 verbunden. Die erste Kamera 135 und die zweite Kamera 140 sind in 1 unmittelbar aneinandergrenzend dargestellt. Damit wird symbolisiert, dass die für den jeweiligen Spektralbereich empfindlichen Elemente innerhalb eines Imagers angeordnet sind. In anderen Ausführungsformen kann auch ein vorbestimmter Abstand (Basislinie) zwischen den Kameras 135 und 140 bestehen. Die Kameras 135 und 140 weisen auch eine vorbestimmte relative Orientierung zueinander auf, das heißt, dass Blickfelder der Kameras 135 und 140 auf eine Umgebung 155 des Kraftfahrzeugs 105 zueinander korrespondieren.
-
Die Beleuchtungseinrichtung 145 ist vorzugsweise im Rücklicht 120 angeordnet und dazu eingerichtet, für einen Menschen unsichtbares Infrarotlicht in die Umgebung 155 abzustrahlen. Der sichtbare Spektralbereich von Licht weist eine Wellenlänge von ca. 380–780 nm auf, während das abgestrahlte Infrarotlicht im nahen Infrarotbereich (ca. 0,78–3 μm), im mittleren Infrarotbereich (ca. 3–50 μm) und/oder im entfernten Infrarotbereich (ca. 50–1000 μm) liegen kann. Bevorzugterweise umfasst die Beleuchtungseinrichtung 145 eine Infrarot-Leuchtdiode oder eine Infrarot-Laserdiode. Diese Lichtquellen sind für den Bereich 0,8–1,6 μm verfügbar und somit preiswert realisierbar.
-
Ein optisches System 150, durch welches von der Beleuchtungseinrichtung 145 ausgestrahltes Infrarotlicht fällt, ist optional. Das optische System 150 prägt auf das Infrarotlicht eine ein- oder zweidimensionale Struktur auf. Die Struktur kann insbesondere Linien oder ein Gitter umfassen. In einer Ausführungsform umfasst das optische System 150 einen rotierbaren Polygonspiegel, um der Infrarotstrahlung eine strichförmige Geometrie aufzuprägen. Im Bereich der Beleuchtungseinrichtung 145 bzw. im Bereich des optischen Systems 150 kann eine Anordnung von Blenden montiert sein, welche die von der Beleuchtungseinrichtung 145 in die Umgebung 155 gerichtete Infrarotstrahlung auf einen vorbestimmten Bereich begrenzt.
-
Ein Objekt 160 in der Umgebung 155 des Kraftfahrzeugs 105, die in den Blickfeldern der Kameras 135 bzw. 140 liegt, kann dann optisch erfasst werden, wenn Licht eines entsprechenden Spektralbereichs von dem Objekt 160 zur Kamera 135 bzw. 140 gelangt. Das Objekt 160 kann beispielsweise durch von der Sonne 165 ausgehendes Licht beleuchtet sein, das am Objekt 160 reflektiert wird. Dabei können sowohl Komponenten sichtbaren Lichts als auch Infrarot-Komponenten umfasst sein. Das Objekt 160 kann auch beispielsweise durch einen Scheinwerfer oder eine Straßenbeleuchtung mit sichtbarem und optional auch infrarotem Licht angestrahlt werden, welches am Objekt 160 in eine der Kameras 135 oder 140 reflektiert wird.
-
Unabhängig von schlechten sichtbaren Lichtverhältnissen kann das Objekt 160 mittels der Beleuchtungseinrichtung 145 im infraroten Spektralbereich beleuchtet werden, sodass die Aufnahme eines Bildes wenigstens mittels der zweiten Kamera 140 möglich ist.
-
Die Verarbeitungseinrichtung 125 ist dazu eingerichtet, ein erstes, aus dem sichtbaren Spektralbereich (von der ersten Kamera 135) aufgenommenes Bild und ein zweites, aus dem unsichtbaren Infrarotspektralbereich (von der zweiten Kamera 140) aufgenommenes Bild in Korrelation zueinander zu bringen und gemeinsam auszuwerten. Gegenüber einer Auswertung eines Bildes, welches in nur einem schmalen Spektralbereich erstellt wurde, können auf diese Weise erweiterte Informationen über die Umgebung 155 hinter dem Kraftfahrzeug 105 bereitgestellt werden.
-
Infrarotlicht, das von der Beleuchtungseinrichtung 145 mit oder ohne das optische System 150 in die Umgebung 155 des Kraftfahrzeugs 105 abgegeben wird, kann vorbestimmte Eigenschaften aufweisen, welche eine Analyse des durch die zweite Kamera 140 aufgenommenen zweiten Bildes vereinfachen kann. Dazu zählt neben der gegebenenfalls mittels des optischen Systems 150 aufgeprägten geometrischen Struktur in einer zusätzlichen oder alternativen Ausführungsform eine zeitliche Modulation der Beleuchtungseinrichtung 145. Ist die zweite Kamera 140 ein PMD-Sensor (PMD: Photonic Mixture Device), so kann in Verbindung mit dem zeitlich modulierten Infrarotlicht die Beleuchtungseinrichtung 145 eine TOF-Kamera (TOF: Time Of Flight) realisiert sein, die in der Lage ist, eine Entfernung des Objekts 160 zu bestimmen. Dabei nimmt die zweite Kamera 140 in einer Bildebene eine Anzahl Bildelemente („Pixel”) auf, wobei die Entfernungsbestimmung für jedes Pixel gesondert durchgeführt werden kann. Eine Erkennung des Objekts 160 in dem von der zweiten Kamera 140 bereitgestellten Bild kann dadurch erfolgen, dass nur Bildpunkte betrachtet werden, die einer Entfernung zugeordnet sind, die einen vorbestimmten Schwellenwert unterschreitet. Eine aufwendige Erkennung des Objekts 160 mittels Bildverarbeitungs-Algorithmen kann auf diese Weise umgangen oder ergänzt werden.
-
Die Erkennung des Objekts 160 auf der Basis des ersten und des zweiten Bildes, die von der ersten Kamera 135 und der zweiten Kamera 140 bereitgestellt sind, kann unterschiedlichen Zwecken dienen. Befindet sich das Kraftfahrzeug 105 in Rückwärtsfahrt, beispielsweise während eines Einparkvorgangs, so kann vor einer drohenden Kollision mit dem Objekt 160 gewarnt werden. Eine entsprechende Warnung kann mittels der Ausgabeeinrichtung 130 optisch, akustisch und/oder haptisch ausgegeben werden. In einer Ausführungsform ist die Ausgabeeinrichtung 130 ein zweidimensionaler Anzeigebildschirm, auf dem eine graphische Darstellung der Umgebung 155 hinter dem Kraftfahrzeug 100 dargestellt wird. Erfasste Gegenstände, wie das Objekt 160, können bezüglich ihrer Relevanz bewertet und dementsprechend beispielsweise farblich markiert sein. Ein problemlos überfahrbares Objekt 160 kann beispielsweise grün, ein gerade noch überfahrbares Objekt 160 in gelb und ein nicht überfahrbares Objekt 160 in rot dargestellt werden.
-
Die Verarbeitungseinrichtung 125 kann auch dazu eingerichtet sein, auf der Basis von ersten und zweiten Bildern, die durch die Kameras 135 und 140 aufgenommen wurden, Bewegungsinformationen für das Kraftfahrzeug 105 zu bestimmen. Auf diese Weise kann beispielsweise eine Gierrate des Kraftfahrzeugs 105 bestimmt werden.
-
Die Verarbeitungseinrichtung 125 kann auch dazu eingerichtet sein, eine Beschaffenheit einer Fahrbahn 170 im Bereich der Umgebung 155 hinter dem Kraftfahrzeug 105 zu bestimmen. Die Beschaffenheit kann sowohl eine geometrische Komponente, beispielsweise eine horizontale und/oder vertikale Krümmung der Fahrbahn 170, als auch eine Oberflächenbeschaffenheit der Fahrbahn 170 umfassen. Die Oberflächenbeschaffenheit kann ferner durch den Untergrund selbst, beispielsweise Asphalt, Schotter, Sand etc., als auch durch einen Zustand, beispielsweise gefroren, nass, vereist, etc., bestimmt sein.
-
In einer Ausführungsform ist die Verarbeitungseinrichtung 125 dazu eingerichtet, in Abhängigkeit der bestimmten Beschaffenheit der Fahrbahn 170 eine horizontale und/oder vertikale Einstellung des Vorderlichts 115 des Kraftfahrzeugs 105 vorzunehmen.
-
2 zeigt eine perspektivische Ansicht 200 eines Kraftfahrzeugs 205 von hinten. Das Kraftfahrzeug 205 ist eine alternative Ausführungsform des Kraftfahrzeugs 105 aus 1. An Bord des Kraftfahrzeugs 205 ist ein Abtastsystem 100 entsprechend dem oberen mit Bezug auf 1 beschriebenen Abtastsystem 100 angeordnet.
-
In einem linken und einem rechten Rücklicht 120 des Kraftfahrzeugs 205 ist jeweils eine Beleuchtungseinrichtung 145 mit einem optischen System 150 angeordnet. Das mittels der Beleuchtungseinrichtungen 145 im Bereich der Umgebung 155 hinter dem Kraftfahrzeug 205 ausgesandte Infrarotlicht hat eine gitterförmige geometrische Struktur 210 aufgeprägt. Ein dreidimensionales Objekt im Bereich der geometrischen Struktur 210, wie ein Bordstein 215 auf einer rechten Seite des Kraftfahrzeugs 205 kann dadurch erkannt werde, dass in den durch die Kameras 135 bzw. 140 aufgenommenen Bildern wenigstens eine Linie der geometrischen Struktur 210 deformiert erscheint, in der Darstellung von 2 beispielsweise als geknickte Linie.
-
An einer linken Seite des Kraftfahrzeugs 205 sind Fahrbahnmarkierungen 220 sichtbar. Eine Bestimmung eines Verlassens der Fahrbahn 170 zwischen den Fahrbahnmarkierungen 220 und dem Bordstein 215 bzw. rechts vom Kraftfahrzeug 205 verlaufenden Fahrbahnmarkierungen 220 (nicht dargestellt) kann aufgrund von Reflektionen des Infrarotlichts an den Fahrbahnmarkierungen 220 bzw. dem Bordstein 215 in den von den Kameras 135 bzw. 140 bereitgestellten Bildern durchgeführt werden. Die Fahrbahnmarkierungen 220 sind, wie in Europa üblich, streifenförmig gezeigt. Derartige Markierungsstreifen sind üblicherweise mittels einer hellen Farbe auf einen dunkleren Fahrbahnbelag aufgebracht, wobei der Farbe zusätzlich Glaskugeln zur Verbesserung der Lichtreflexion beigemischt sind.
-
In anderen Regionen, beispielsweise den Vereinigten Staaten von Amerika, kann die Fahrbahnmarkierung 220 stattdessen durch eine Serie domartiger Erhebungen (Bott's Dots, vgl. Objekt 160 in 1) auf der Fahrbahn 170 ausgeführt sein. Diese Erhebungen reflektieren sichtbares Licht üblicherweise weiß oder orange. In infrarotem Licht sind solche reflektierenden Dots besonders gut erkennbar.
-
3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum optischen Abtasten einer Umgebung 155 eines Kraftfahrzeugs 105 bzw. 205 entsprechend 1 bzw. 2.
-
In einem ersten Schritt 305 befindet sich das Verfahren 300 im Startzustand. Anschließend wird in einem Schritt 310 die Umgebung 155 des Kraftfahrzeugs 105 bzw. 205 mittels Infrarotlicht durch die Beleuchtungseinrichtung 145 beleuchtet. Dem ausgesandten Infrarotlicht kann etwa mittels des optischen Systems 150 eine geometrische Struktur 210 aufgeprägt sein. Anschließend wird in einem Schritt 315 ein Bild im unsichtbaren Infrarotbereich, der den Spektralbereich der durch die Beleuchtungseinrichtung 145 ausgesandten Infrarotstrahlung umfasst, erfasst.
-
Parallel zu den Schritten 310 und 315 wird in einem Schritt 320 ein Bild im sichtbaren Spektralbereich erfasst. In einer alternativen Ausführungsform ist der Schritt 310 unabhängig von den Schritten 315 und 320 und das Beleuchten der Umgebung 155 erfolgt permanent. Die Schritte 315 und 320 können gleichzeitig oder in beliebiger Reihenfolge erfolgen, wobei ein geringer zeitlicher Versatz akzeptabel ist.
-
Anschließend werden in einem Schritt 325 die in den Schritten 315 und 320 erfassten Bilder mittels der Verarbeitungseinrichtung 125 kombiniert verarbeitet. Wie oben mit Bezug zu den 1 und 2 ausgeführt wurde, kann die Verarbeitung unterschiedlichen Zwecken dienen.
-
In einem abschließenden Schritt 330 wird ein Ergebnis des Verarbeitungsschritts 325 ausgegeben. Anschließend kann das Verfahren 300 zum Startzustand 305 zurückkehren und wird dann erneut durchlaufen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 7400236 B2 [0003]
- WO 2007/028630 A1 [0004]
