DE102004037870B4

DE102004037870B4 - Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem

Info

Publication number: DE102004037870B4
Application number: DE102004037870A
Authority: DE
Inventors: Stephan Voltz
Original assignee: Siemens AG
Current assignee: Continental Automotive GmbH
Priority date: 2004-08-04
Filing date: 2004-08-04
Publication date: 2007-02-15
Anticipated expiration: 2024-08-05
Also published as: WO2006015906A1; DE102004037870A1

Abstract

Optisches Modul (1) eines den Außenvorraum (50) in Fahrtrichtung eines Kraftfahrzeuges erfassenden Assistenzsystems, mit
– wenigstens einem ersten Schaltungsträger (10);
– wenigstens einem auf dem ersten Schaltungsträger (10) angeordneten ersten Halbleiterelement (12);
– wobei die sensitive Fläche (34) des ersten Halbleiterelements (12) ein hoch auflösender 2D-Bildsensor (34) ist;
– mit einem zweiten Halbleiterelement (13), dessen sensitive Fläche (35) als 3D-Laufzeitsensor ausgebildet ist; und
– wenigstens einer Linseneinheit (14; 16, 18) zum Projizieren von elektromagnetischer Strahlung auf eine sensitive Fläche (34) des ersten Halbleiterelements (12);
dadurch gekennzeichnet,
– dass im Strahlengang (Vis + IR) des optischen Moduls (1) ein Strahlenteiler oder Spiegel (28) angeordnet ist, welcher elektromagnetische Strahlung wellenlängenspezifisch (Vis; IR) auf die sensitiven Flächen (34; 35) des ersten (12) und des zweiten (13) Halbleiterelements verteilt;
– dass der Strahlenteiler oder Spiegel (28) ein sog. "hot-cold-mirror" ist, welcher die elektromagnetische Strahlung (Vis +...

Description

Die Erfindung betrifft ein optisches Modul eines den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassenden Assistenzsystems, mit den Merkmalen des Oberbegriffs des Patentanspruchs 1.
Auf die Fahrumgebung eines Kraftfahrzeuges gerichtete Sensorsysteme finden immer mehr Anwendung im Kraftfahrzeug der näheren Zukunft. Dabei sind verschiedentlich assistierende Systeme vorstellbar, welche dem Fahrer Unterstützung bieten. Als Beispiele können genannt werden: Spurerkennungs- oder -überwachungs-Anwendungen, Nachtsicht-Anwendungen, Hinderniswarnung, Pre-Crash-Sensierung, automatische Geschwindigkeitsadaption, Stauassistent, Fußgänger- und Fahrradfahrerschutz, Verkehrszeichenerkennung, Einparkhilfe und dergleichen mehr.
Die Anforderungen an derartige Assistenzsysteme sind zum Teil sehr verschieden. Gemein ist ihnen die Anforderung, eine möglichst realistische Repräsentation der Umwelt zu generieren. Um beispielsweise Fahrspuren vor dem Fahrzeug auch in großen Abständen noch zu erkennen, wird eine Kamera mit einem relativ hoch auflösenden optischen Modul benötigt.
Um Objekte wie andere Kraftfahrzeuge, Fahrradfahrer und/oder auch Fußgänger zu erkennen, ist neben einem Kamerabild auch ein den Abstand messendes System hilfreich, insbesondere auf Radar- oder Lidar-Technologien basierend.
Für eine Erfassung des Außenvorraums in Fahrtrichtung eines Kraftfahrzeuges ist bekannt, beispielsweise eine hoch auflösende 2D Kamera mit beispielsweise 300k Pixel zu verwenden, welche z.B. Fahrspuren erkennt und/oder Objekte erfasst und klassifiziert.

Es ist auch bekannt, für Abstand messende Systeme einen auf Lichtlaufzeit basierenden Lidar Sensor zu verwenden. Derartige Lidar Sensoren existieren auch in Form einer Pixelmatrix, welche in CMOS Technologie implementiert ist. Ein derartiges, beispielsweise aus der EP 1 159 636 B1 oder DE 101 38 531 A1 bekanntes sog. TOF (Time of Flight) CMOS-Array kann mit Hilfe einer gepulsten Beleuchtung ein Tiefenbild einer Szene mit vielen Abtastpunkten generieren. Neben dem Tiefenbild kann zusätzlich ein Grauwertbild ausgewertet werden. Allerdings ist dies auf eine kleine Anzahl von z.B. 1 bis 3000 (3k) Bildpunkte beschränkt, da die ausgesendete Lichtmenge nicht beliebig vergrößert werden kann und ein Kompromiss zwischen Lichtmenge, Pixelanzahl, Abstandsbereich und Kosten gefunden werden muss. Somit ist es nicht möglich, diese, einen Abstand messende CMOS Pixelmatrix auch für ein hoch auflösendes 2D Bild mit zu verwenden.

In einem Kraftfahrzeug müssen daher bislang jeweils ein getrenntes System für die 2D Erfassung und eins für die 3D Erfassung implementiert werden, womit schon deshalb erhebliche Kosten einhergehen. Darüber hinaus müssen die nur einzeln verfügbaren Systeme vernetzt werden, will man ein möglichst vollständiges Bild der Fahrumgebung erfassen und damit ein entsprechend sicheres System aufbauen. Weil zudem der Bauraum in einem Kraftfahrzeug oft sehr begrenzt ist, ist es häufig schwierig, zwei verschiedene Systeme gleichzeitig unterzubringen.

Derartige Vorrichtungen sind beispielsweise aus der DE 196 03 276 A1 und der GB 2 374 228 A bekannt. In beiden Fällen wird jeweils zusätzlich zu einem hoch auflösenden 2D-Bildsensor, der beispielsweise als CCD-Kamera ausgebildet sein kann, ein 3D-Laufzeitsensor verwendet. Die Strahlengänge sind dabei vorzugsweise, wie dies in der GB 2 374 228 A offenbart ist, so geführt, dass jeweils ein zusammenfallender Beobachtungsbereich für die beiden Bildsysteme erfasst werden kann. Nachteilig ist hierbei jedoch der Aufwand, der durch das Vor sehen von zwei unterschiedlichen Bilderfassungssystemen bedingt ist. Aus diesem Grund wird in der GB 2 374 228 vorgeschlagen, beide Auswertungen mittels eines speziellen Verfahrens durch einen einzigen lichtempfindlichen Sensor und eine entsprechende nachgeschaltete Auswertevorrichtung vorzunehmen.

Ein derartiges Verfahren und eine Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle ist auch in der EP 1 009 984 B1 beschrieben. Hierbei wird durch eine bestimmte Korrelationstechnik sowohl die Amplitudeninformation als auch die Phaseninformation einer elektromagnetischen Welle ausgewertet.

Nachteilig ist hierbei jedoch der hohe Rechenaufwand bei der Auswertung der Signale bzw. der schaltungstechnische Aufwand zur Realisierung der Korrelation.

Es ist Aufgabe der vorliegenden Erfindung, die aus dem Stand der Technik bekannten Nachteile zu vermeiden.

Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen, welche einzeln oder in Kombination miteinander eingesetzt werden können, sind Gegenstand der jeweils abhängigen Ansprüche.

Die Erfindung baut auf gattungsgemäßen optischen Moduln dadurch auf, dass die sensitive Fläche des ersten Halbleiterelements ein hoch auflösender 2D-Bildsensor ist; und dass ein zweites Halbleiterelement vorgesehen ist, dessen sensitive Fläche als 3D-Laufzeitsensor ausgebildet ist.

Auf dem ersten Schaltungsträger können sowohl das erste als auch das zweite Halbleiterelement angeordnet sein.

Zwecks Erhöhung konstruktiver Freiheitsgrade wird vorgeschlagen, ein erstes und zweites Halbleiterelement auf verschiedenen Schaltungsträgern anzuordnen.

Erfindungsgemäß ist im Strahlengang (Vis + IR) des optischen Moduls ein Strahlenteiler oder Spiegel angeordnet, welcher elektromagnetische Strahlung wellenlängenspezifisch (Vis; IR) auf die sensitiven Flächen des ersten bzw. des zweiten Halbleiterelements verteilt.

Je nach konstruktiver Ausgestaltung des optischen Moduls ist der Strahlenteiler bzw. Spiegel unter 30° bis 60°, vorzugsweise unter 45° im Strahlengang (Vis + IR) des optischen Moduls angeordnet.

Erfindungsgemäß wird ein sog. "hot-cold-mirror" als Strahlenteiler oder Spiegel verwendet, welcher elektromagnetische Strahlung (Vis + IR) in zwei Komponenten aufteilt, nämlich in eine, welche das sichtbare Licht (Vis) einschließt und in eine, welche längere Wellenlängen wie das nahe Infrarot (IR) umfasst.

Nach der Erfindung werden das sichtbare Licht (Vis) auf die sensitive Fläche des ersten Halbleiterelements und längere Wellenlängen wie das nahe Infrarot (IR) auf die sensitive Fläche des zweiten Halbleiterelements geführt.

Der eingesetzte Strahlenteiler bzw. Spiegel besitzt damit vorteilhaft eine Art Filterfunktion, indem er dem jeweiligen Halbleiterelement nur die entsprechende Wellenlänge bzw. Lichtanteile zuführt, welche auch genutzt werden.

Zweckmäßigerweise stammt der infrarote Lichtanteil (IR) von wenigstens einer dem optischen Modul zugeordneten Infrarotlichtquelle.

Die Auflösung der Linseneinheit zum Projizieren von elektromagnetischer Strahlung schließlich ist vom Spektralbereich im wesentlichen auf den hoch auflösenden 2D Sensor abgestimmt, denn für die viel geringere Pixelanzahl und die aus Empfindlichkeitsgründen eher größeren Pixel des 3D Sensors ist eine viel geringere Auflösung und Schärfe (MTF) notwendig.

Die vorliegende Erfindung gestattet erstmals den preisgünstigen Aufbau nur eines optischen Moduls mit einer abgeschlossenen 2D/3D Einheit. Darüber hinaus können diese Einheiten des optischen Moduls bereits bei der Fertigung aufeinander abgestimmt bzw. zueinander kalibriert werden, so dass aufwendige Vernetzungsarbeiten – wie im Stand der Technik notwendig – vorteilhaft entfallen.

Zusätzliche Einzelheiten und weitere Vorteile der Erfindung werden nachfolgend an Hand bevorzugter Ausführungsbeispiele in Verbindung mit der beigefügten Zeichnung beschrieben.

Die einzige Fig. zeigt in einer Prinzipskizze ein Ausführungsbeispiel eines optischen Moduls 1.

Diesem liegt der Grundgedanke zugrunde, eine optische Erfassungseinheit 1 aufzubauen, welche Licht im kompletten Spektralbereich von sichtbar (Vis) bis nahes Infrarot (IR) aufnimmt. Auf dem Markt sind so genannte "Hot/Cold-Mirrors" oder auch "Cold/Hot-Mirrors" 28 erhältlich, welche es ermöglichen den Wellenlängenbereich des Lichts in zwei Komponenten aufzuteilen, nämlich in eine, welche das sichtbare Licht (Vis) einschließt und in eine, welche längere Wellenlängen wie das nahe Infrarot (IR) umfasst.
Je nach Variante des Spiegels 28, wird eine Komponente (Vis oder IR) reflektiert und die andere transmittiert oder umgekehrt. Ein anderes diesbezügliches Kriterium ist der Winkel, unter welchem der Spiegel 28 im Strahlengang (Vis + IR) angeordnet ist.
Der Spiegel 28 ist – wie dargestellt – beispielsweise unter einem Winkel von 45 Grad in den Strahlengang (Vis + IR) gebracht. Er kann somit das Signal wellenlängenspezifisch auf zwei verschiedene Detektoren 34 und 35 führen. Dargestellt ist ein sog. „Hot-mirror" 28, welcher für kurzwelligere („kalte") Wellenlängen, also für sichtbares Licht (Vis) durchlässig ist und langwellige („heiße") Wellenlängen, insb. IR-Strahlen, nach oben hin reflektiert bzw. spiegelt.
Die Detektoren sind bevorzugt sensitive Flächen 34; 35 zweier Halbleiterelemente 12; 13, welche im Ausführungsbeispiel je auf einem eigenen Schaltungsträger 10, 11 angeordnet sind, was vorteilhaft die Designfreiheit des optischen Moduls 1 erhöht.
In dem konkret dargestellten Fall handelt es sich bei dem Detektor für das sichtbare Licht (Vis) um einen hoch auflösenden 2D Bildsensor 34 beispielsweise zur Erkennung von Fahrspuren und/oder Objekten im Außenvorraum 50 eines Kraftfahrzeuges.
Demgegenüber handelt es sich bei dem Detektor für das infrarote Licht (IR) um einen 3D Laufzeitsensor 35, welcher ohnehin vorzugsweise nur mit einer eigenen Infrarotlichtquelle (nicht dargestellt) des optischen Moduls 1 arbeitet – für den 35 somit nur der infrarote Lichtanteil (IR) relevant ist.
Der Vorteil eines derartigen optischen Moduls 1 liegt zu einen bei den Kosten, es muss nur eine Optikeinheit 14; 16, 18 aufgebaut werden, und das Modul 1 umfasst eine abgeschlossenen 2D/3D Einheit 12, 34; 13, 35. Ein weiterer Vorteil ist, dass die Sensoreinheiten 12, 34 und 13, 35 bereits bei der Fertigung aufeinander abgestimmt, die 2D und 3D Daten also zueinander kalibriert werden können.
Darüber hinaus besitzt der eingesetzte Strahlenteiler bzw. Spiegel 28 bereits eine Filterfunktion für die entsprechenden Wellenlängen. Er 28 führt dem jeweiligen Sensor 34; 35 nur die Lichtanteile zu, welche auch genutzt werden.
Die Auflösung der Optik 14; 16, 18, umfassend einen Linsenhalter 14 sowie z.B. eine erste 16 und zweite 18 Linse, braucht vom Spektralbereich im Wesentlichen nur auf den hoch auflösenden Sensor 34 optimiert werden, da für die viel geringere Pixelanzahl und die aus Empfindlichkeitsgründen sowieso eher größeren Pixel des 3D Sensors 35 eine viel geringere Auflösung und Schärfe (MTF) notwendig ist.
Insoweit gestattet die vorliegende Erfindung erstmals den preisgünstigen Aufbau nur eines optischen Moduls mit einer abgeschlossenen 2D/3D Einheit, welche sich insbesondere für den Außenvorraum 50 in Fahrtrichtung eines Kraftfahrzeuges erfassende Assistenzsysteme wie Spurerkennungs- oder -überwachungs-Anwendungen, Nachtsicht-Anwendungen, Hinderniswarnung, Pre-Crash-Sensierung, Automatische Geschwindigkeitsadaption, Stauassistent, Fußgänger- und Fahrradfahrerschutz, Verkehrszeichenerkennung und dergleichen mehr eignet.

Claims

Optisches Modul (1) eines den Außenvorraum (50) in Fahrtrichtung eines Kraftfahrzeuges erfassenden Assistenzsystems, mit – wenigstens einem ersten Schaltungsträger (10); – wenigstens einem auf dem ersten Schaltungsträger (10) angeordneten ersten Halbleiterelement (12); – wobei die sensitive Fläche (34) des ersten Halbleiterelements (12) ein hoch auflösender 2D-Bildsensor (34) ist; – mit einem zweiten Halbleiterelement (13), dessen sensitive Fläche (35) als 3D-Laufzeitsensor ausgebildet ist; und – wenigstens einer Linseneinheit (14; 16, 18) zum Projizieren von elektromagnetischer Strahlung auf eine sensitive Fläche (34) des ersten Halbleiterelements (12); dadurch gekennzeichnet, – dass im Strahlengang (Vis + IR) des optischen Moduls (1) ein Strahlenteiler oder Spiegel (28) angeordnet ist, welcher elektromagnetische Strahlung wellenlängenspezifisch (Vis; IR) auf die sensitiven Flächen (34; 35) des ersten (12) und des zweiten (13) Halbleiterelements verteilt; – dass der Strahlenteiler oder Spiegel (28) ein sog. "hot-cold-mirror" ist, welcher die elektromagnetische Strahlung (Vis + IR) in zwei Komponenten aufteilt, nämlich in eine, welche das sichtbare Licht (Vis) einschließt und in eine, welche längere Wellenlängen wie das nahe Infrarot (IR) umfasst; und – dass das sichtbare Licht (Vis) auf die sensitive Fläche (34) des ersten Halbleiterelements (12) und längere Wellenlängen wie das nahe Infrarot (IR) auf – die sensitive Fläche (35) des zweiten Halbleiterelements (13) geführt wird.
Optisches Modul (1) nach Anspruch 1, dadurch gekennzeichnet, dass auf dem ersten Schaltungsträger (10) sowohl das erste (12) als auch das zweite (13) Halbleiterelement angeordnet sind.
Optisches Modul (1) nach Anspruch 1, dadurch gekennzeichnet, dass das zweite Halbleiterelement (13) auf einem eigenen, zweiten Schaltungsträger (11) angeordnet ist.
Optisches Modul (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Strahlenteiler oder Spiegel (28) unter 30° bis 60°, vorzugsweise unter 45° im Strahlengang (Vis + IR) des optischen Moduls (1) angeordnet ist.
Optisches Modul (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der infrarote Lichtanteil (IR) von einer dem optischen Modul (1) zugeordneten Infrarotlichtquelle stammt.
Optisches Modul (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auflösung der Linseneinheit (14; 16, 18) zum Projizieren von elektromagnetischer Strahlung vom Spektralbereich im Wesentlichen auf den hoch auflösenden 2D Sensor (34) abgestimmt ist.