-
Die Erfindung betrifft ein Stereokamerasystem gemäß Anspruch 1.
-
Zur Ermittlung des Abstands eines Fahrzeugs zu einem Objekt kann eine sogenannte Stereokamera verwendet werden. Unter einer Stereokamera wird hierin eine Anordnung von zwei Kameras verstanden, die in einem vorgegebenen Abstand versetzt zueinander insbesondere an der Windschutzscheibe des Fahrzeugs angebracht sind. Für die Abstandsermittlung von Objekten werden die von den beiden insbesondere digitalen Kameras erfassten Bilder verglichen und Pixeldifferenzen zwischen gleichen Objektkanten ausgewertet, um daraus die entsprechende Objektentfernung zu ermitteln. Unabhängig von einer Objektebene, auf welche die Kameras fokussiert sind, besteht ein Schärfentiefebereich, der sich bei aktuellen, für die Objektentfernungserkennung verwendeten Objektiven in Kameras von beispielsweise von ca. 2 m bis Unendlich erstreckt. Dadurch wird eine Objektentfernungserkennung etwa ab Fahrzeugvorderkante ermöglicht.
-
Für eine genaue Objektentfernungserkennung ist es erforderlich, dass die beiden Kameras möglichst genau zueinander mit einem zu definierenden Toleranzbereich justiert werden, d. h. die vorgegebene Lage der optischen Achsen der Kameras zueinander möglichst genau eingehalten wird. Für eine Justierung der Kameras kann beispielsweise ein vor dem Fahrzeug mit der Stereokamera angeordnetes Bild mit definierten Objekten verwendet werden. Ein solches Bild wird beispielsweise bei der Montage der Stereokamera im Fahrzeug eingesetzt. Probleme mit der Objektentfernungserkennung treten jedoch vor allem dann auf, wenn sich die Lage der optischen Achsen der Kameras beispielsweise im Betrieb zueinander verändern. Dadurch können bei der Objektentfernungserkennung mehr oder weniger große Ungenauigkeiten auftreten, da dann der mit der Stereokamera ermittelte Abstand zu einem Objekt in der Regel nicht mehr mit dem realen Abstand übereinstimmt.
-
Der durch eine Abweichung auftretende Fehler hängt hierbei von der Entfernung des Objekts zum Fahrzeug ab. Vor allem dreidimensionale Abweichungen der optischen Achsen der Kameras sind häufig auf die thermisch-mechanischen Eigenschaften der gekrümmten Windschutzscheiben von Fahrzeugen zurückzuführen. Um die dadurch entstehenden Fehler in der Abstandsermittlung kompensieren zu können, muss eine Abweichung oder Lagedifferenz der optischen Achse einer Kamera von bzw. zu der vorgegebenen Lage erkannt werden. Eine Kompensation kann beispielsweise algorithmisch durch geeignete Software oder mechanisch durch eine Lageänderung der Kameras erfolgen.
-
Sind die beiden Kameras unabhängig voneinander an der Windschutzscheibe fixiert und im Montageprozess justiert worden, kann eine Lagedifferenz der optischen Achsen im Betrieb der Stereokamera nur durch definierte Objekte in der Straßenszenerie erkannt werden. Solche definierten Objekte weltweit und immer zu finden, ist eine große, wenn nicht sogar unmögliche Herausforderung. Ein mögliches Objekt zur Erkennung einer Lagedifferenz könnte auch eine Kante am eigenen Fahrzeug sein, die für die Stereokamera immer sichtbar ist, beispielsweise die vordere Fahrzeugkante. Allerdings ist dieses Objekt vom Fahrzeughersteller und -typ abhängig.
-
Aufgabe der vorliegenden Erfindung ist es daher, ein Stereokamerasystem für Fahrzeuganwendungen anzugeben, das prinzipiell zum Erkennen einer Abweichung oder Lagedifferenz der optischen Achsen der Kameras des Systems von bzw. zu einer vorgegebenen Lage geeignet ist.
-
Diese Aufgabe wird durch ein Stereokamerasystem für Fahrzeuganwendungen mit den Merkmalen nach Anspruch 1 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
-
Unter einem Stereokamerasystem wird hierin eine Stereokamera und entsprechende Software zur Steuerung der Stereokamera und Bildauswertung verstanden. Die Software ist typischerweise in einem nichtflüchtigen Speicher einer Elektronik des Stereokamerasystems gespeichert und wird von einem Prozessor der Elektronik ausgeführt, der durch die Software vor allem zur Kamerasteuerung und Bildauswertung konfiguriert wird. Ein wesentlicher Gedanke der Erfindung besteht nun darin, mindestens ein Kameramodul eines Stereokamerasystems derart auszubilden, dass es als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen Schärfentiefenbereichen auf einem Bildsensor verwendet werden kann, wobei ein Schärfentiefebereich den Nahbereich des Stereokamerasystems umfasst, insbesondere den Bereich der Windschutzscheibe. Dadurch kann das System zumindest einen Teilbereich der Windschutzscheibe scharf abbilden und Objekte in diesem Teilbereich, die sich auf der Windschutzscheibe befinden, mit einer für eine weitere Auswertung, insbesondere für die automatische Ausrichtung des Systems geeigneten Schärfe erfassen. Beispielsweise können auf der Windschutzscheibe spezielle, zur Ausrichtung vorgesehene Muster (Zielmuster) abgebildet sein. Das System kann die mit ausreichender Schärfe erfassten Zielmuster auswerten, insbesondere durch einen Vergleich mit gespeicherten Referenzmustern, um eine Abweichung oder Lagedifferenz der optischen Achsen der Kameras des Systems von bzw. zu einer vorgegebenen Lage zu erkennen. Abhängig von einer erkannten Abweichung oder Lagedifferenz kann bei Ausgestaltungen der Erfindung eine automatische Ausrichtung der Kameramodule durchgeführt werden.
-
Eine Ausführungsform der Erfindung betrifft nun ein Stereokamerasystem, das zum Einsatz in Kraftfahrzeugen hinter einer geneigten Windschutzscheibe ausgebildet ist, wobei mindestens eines der mindestens zwei Kameramodule des Systems ein zusätzliches partiell angeordnetes, zeitweise zugeführtes oder als Strahlteiler wirkendes optisches Element aufweist und dadurch als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen Schärfentiefenbereichen auf einem Bildsensor verwendet werden kann und der Bildsensor dadurch mindestens zwei Teilbereiche mit unterschiedlichen optischen Objektweiten beinhaltet, wobei eine optische Objektweite zur Erfassung eines Objekts im Nahbereich, das zum Ausrichten der Stereokameraanordnung dient, vorgesehen ist.
-
Die mindestens zwei Bildsensor-Teilbereiche können zusätzliche Filterelemente aufweisen, um ferner unterschiedliche Intensitätsverteilungen des Wellenlängenspektrums zu erfassen.
-
Als Filterelemente wirkende Komponenten können vor, in oder nach dem zusätzlichen optischen Element integriert sein und/oder in optischen Bereichen integriert sein, die zu dem optischen Sichtfeld gehören, dessen Schnittfläche das zusätzliche optische Element nicht oder nur teilweise schneidet.
-
Das zusätzliche optische Element kann in mindestens einer der optischen Komponenten des mindestens einen Kameramoduls als partielle Teillinse vor einem Objektiv des Kameramoduls, als partielles optisches Element insbesondere als planparallele Platte hinter dem Objektiv oder als optischer Strahlteiler oder Spiegelelement ausgebildet sein und damit eine bifokale Abbildung auf mindestens zwei Teilbereichen des Bildsensors ermöglichen.
-
Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, die mindestens zwei unterschiedlichen Schärfentiefenbereiche gleichzeitig oder zeitlich getrennt durch eine Zuführung des zusätzlichen optischen Elements zu erreichen, wobei die Zuführung des zusätzlichen optischen Elements in das gesamte Sichtfeld der mindestens zwei Kameramodule über ein Chopperrad mit Linsen einer oder unterschiedlicher Brechkraft und Dicke vor dem Objektiv, einer oder mehrerer planparalleler Elemente, die sich durch ihre Dicke oder ihren Brechungsindex unterscheiden, hinter dem Objektiv eines Kameramoduls oder auch durch Auffüllen eines nicht festen, den gewünschten Wellenlängenbereich gut transmittierenden und im Brechungsindex von Luft abweichenden Mediums hinter dem Objektiv eines Kameramoduls erfolgt.
-
Die mindestens zwei Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können sich durch das mindestens eine partiell angeordnete zusätzliche optische Element in ihren Schärfetiefengrenzen gleichen oder unterscheiden.
-
Die mindestens zwei unterschiedlichen Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können den einen Teilbereich des Bildsensors zur Nahbereichsfokussierung mit einer hinteren Schärfentiefengrenze von ca. 1 Meter und den anderen Teilbereich des Bildsensors zur Fernbereichsfokussierung mit einer vorderen Schärfentiefengrenze größer ca. 1 Meter nutzen.
-
Weiterhin kann das erfindungsgemäße Stereokamerasystem ausgebildet sein, die mindestens zwei einzelnen Kameramodule gleichzeitig oder zeitlich getrennt auf dem Teilbereich des Bildsensors, dessen Schärfentiefengrenzen einer Nahbereichsfokussierung entsprechen, zur Erkennung von Beschlag auf der Scheibeninnenseite, Regen, Schmutz oder anderer die Sicht behindernder Ereignisse zu nutzen, wobei die Schärfentiefenbereiche durch gezielte Auslegung der zusätzlichen optischen Komponenten so gewählt sind, dass Objektkanten von einer Kantendetektion, unterschiedliche Objekte durch definierte Klassifikatoren oder dadurch bewirkte Abweichungen im Frequenzspektrum durch eine FFT (Fast Fourier Transformation) in einer darauf folgenden Bildverarbeitungsstufe vom System relativ sicher erkannt werden können.
-
Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, die mindestens zwei einzelnen Kameramodule gleichzeitig oder zeitlich getrennt auf dem Teilbereich des Bildsensors, dessen Schärfentiefengrenzen einer Nahbereichsfokussierung entsprechen, zur Erkennung von gezielt angeordneten Zielmarken auf der Scheibeninnenseite, innerhalb der Windschutzscheibe oder auf einem speziellen Trägerelement vor der Scheibeninnenseite zu nutzen, wobei das System ferner ausgebildet ist, aus erkannten Abweichungen der Zielmarkenform, Zielmarkengröße, Abbildungsschärfe und vor allem der Abbildungsposition auf eine Verschiebung der einzelnen Kameramodule der Stereokameraanordnung in alle Richtungen bezogen auf die Zielmarke zu schließen, wobei mit Hilfe eines in einem nicht flüchtigen Speicher der Kameraelektronik gespeicherten Musterbildes (Master) Abweichungen erkannt werden.
-
Das erfindungsgemäße Stereokamerasystem kann weiter ausgebildet sein, eine Abweichung der Zielmarkenpositionen und eine damit erfolgte Veränderung der Blickrichtungen oder des Abstands der mindestens zwei Kameramodule voneinander als Kompensationsparameter für eine ausgeführte Software der verschiedenen Kamerafunktionen und/oder für eine Kompensation zur Verfügung zu stellen, die durch Stellglieder mechanisch auf die Stereokameraanordnung erfolgt.
-
Das erfindungsgemäße Stereokamerasystem kann sich auch dadurch auszeichnen, dass eine kombinierte Erkennung von Objekten auf der Windschutzscheibe wie oben erläutert und von Zielmarken zur Erkennung von Abweichungen in der Blickrichtung wie oben erläutert durchgeführt wird.
-
Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, erkannte Objekte in ihrer Art und ihrer quantitativen Ausdehnung in einem dafür vorgesehenen Windschutzscheibensichtfeld zu ermitteln und davon abhängig gezielte Botschaften an andere Steuergeräte in Kraftfahrzeugen auszugeben, deren Inhalt eine Aktivierung der Scheibenwisch- und oder Scheibenreinigungsanlage oder eine Aktivierung der Lüftung und oder Scheibenheizung bewirkt.
-
Beim erfindungsgemäßen Stereokamerasystem kann eine gezielte Beleuchtung und/oder eine partiell angeordnete Heizquelle zur Unterstützung der Erkennung von Objekten auf der Windschutzscheibe vorgesehen sein, wobei eine Heizquelle dazu vorgesehen sein kann, insbesondere eine örtlich begrenzte Verdunstung von Beschlag auf der Windschutzscheibeninnenseite bzw. ein Antauen von Eis auf der Windschutzscheibenaussenseite zu bewirken. Dieser örtliche Unterschied dieser Spezialfälle kann der Bildverarbeitung als Erkennungsmerkmal z. B. als Kante für eine Kantendetektion durch eine Kantenfilterung z. B. mit einem einfachen Sobeloperator dienen. Insbesondere Schlieren auf der Windschutzscheibenaußenseite können durch eine höhere Kantenanzahl in vertikaler Richtung im Vergleich zur horizontalen Richtung ermittelt werden und zur Beurteilung des Reinigungsergebnisses der Scheibenwischanlage und zur Einleitung entsprechender Maßnahmen dienen.
-
Im montierten Zustand des erfindungsgemäßen Stereokamerasystems können die einzelnen Kameramodule nicht in direktem Kontakt mit der Windschutzscheibe stehen, sondern an mindestens einem Fahrzeugpunkt relativ locker und spannungsfrei positioniert sein.
-
Die unterschiedlichen Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können zur unterstützenden Entfernungsermittlung von Objekten im Kamerasichtfeld genutzt werden.
-
Ermittelte Parameter bezüglich Sichtbehinderungen und extremen Blickrichtungsänderungen können vom erfindungsgemäßen Stereokamerasystem zur Ermittlung der Grenze einer möglichen Funktionsausführung genutzt werden.
-
Mindestens eines der Kameramodule des erfindungsgemäßen Stereokamerasystems können auf einen geneigten Spiegel oder Strahlteiler gerichtet sein, welcher als Feldspiegel zur Windschutzscheibenabbildung verwendet wird, wobei dieser Spiegel insbesondere auch als Umgebungslichtsensor, Trägerelement für die Zielmarke und oder als Symmetrieebene zur Unterscheidung zwischen Nah- und Fernobjekten vorgesehen sein kann.
-
Das geneigte Spiegelelement kann beim erfindungsgemäßen Stereokamerasystem einen Teil eines Beleuchtungselements für das Sichtfeld innerhalb des Schärfentiefenbereichs der Nahbereichsfokussierung darstellen.
-
Beim erfindungsgemäßen Stereokamerasystem kann eine zusätzliche Beleuchtung mit einer an den optischen Aufbau optimierten spektralen Eigenschaft für mindestens den Schärfentiefenbereich, welcher durch die Nahbereichsfokussierung begrenzt ist, vorgesehen sein, wobei die Beleuchtung entweder durch Reflexion an der Scheibeninnenseite, durch Totalreflexion an der Innenoberfläche der Scheibenaußenseite oder durch eine Durchleuchtung der Scheibe erfolgen kann.
-
Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, mindestens zwei unterschiedliche optische Bauelemente zur Ermöglichung einer bifokalen Abbildung in Kombination bzw. in zyklischem Wechsel einzusetzen.
-
Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet und insbesondere durch die bifokale Eigenschaft in der Lage sein, auch passierende Scheibenwischer zu erkennen und in einem gegebenen Regelkreis auf einen korrekten Bewegungsablauf zu überprüfen, und insbesondere anderen Kamerafunktionen das Ereignis des passierenden Scheibenwischers mitteilen.
-
Das erfindungsgemäße Stereokamerasystem kann weiterhin ausgebildet sein, die Nahbereichsfokussierung auf der Windschutzscheibe auch zum Einlesen von aufgebrachten Codes, die bestimmte Parameter der Windschutzscheibe enthalten, im Windschutzscheibenschwarzdruck auszuwerten.
-
Beim erfindungsgemäßen Stereokamerasystem kann ein Koppelelement der einzelnen Kameramodule durch die Erkennung und Kompensation der Veränderungen in Bezug auf Kameraabstand und Blickrichtung aus einem sehr günstigen Material, auch mit einem großen Temperaturausdehnungskoeffizienten wie z. B. viele Kunststoffe in einem kostengünstigen Produktionsverfahren z. B. Kunststoffspritzguss hergestellt werden.
-
Das erfindungsgemäße Stereokamerasystem kann auch ausgebildet sein, eine Zielmarkenerkennung als Sensor für Kompensationsmaßnahmen zu nutzen, welche bei einer thermischen Veränderung der Abstande und Brechkraft der optischen Komponenten erforderlich sein können.
-
Die Bildsensor-Teilbereiche, die zur scharfen Abbildung des vorderen Schärfentiefenbereichs verwendet werden, können auch für andere Kamerafunktionen des erfindungsgemäßen Stereokamerasystems genutzt werden. Dies kann z. B. durch die ausgedehnte Abbildung von Lichtpunkten aus dem optischen Fernbereich erfolgen, da sehr weit entfernte Lichtpunkte (z. B. Scheinwerfer anderer Fahrzeuge), die sonst auf nur einem Pixel aufgelöst werden nun, durch die Ausdehnung des Bildpunktes über mehrere Pixel erstreckt sicherer erkannt werden können.
-
Schließlich kann beim erfindungsgemäßen Stereokamerasystem ein Farbfilterarray vor der sensitiven Halbleiterfläche des Bildsensors vorgesehen sein, um die Objekterkennung im Nahbereich, insbesondere der Windschutzscheibe, und die Objektunterscheidung zu verbessern.
-
Eine weitere Ausführungsform der Erfindung betrifft eine Windschutzscheibe für ein Fahrzeug, die zur Verwendung mit einem Stereokamerasystem nach der Erfindung und wie vorhergehend beschrieben ausgebildet ist und Zielmarken zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodule des Stereokamerasystems aufweist.
-
Die Zielmarken zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodule können durch in oder auf der Windschutzscheibe integrierte, nicht transparente Heizdrähte oder Antennenanordnungen gebildet sein, die sich im Kamerasichtfeld befinden.
-
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
-
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.
-
Die Zeichnung(en) zeigt/zeigen in
-
1 eine Windschutzscheibe mit daran montiertem Stereokamerasystem gemäß der Erfindung in einer Ansicht von hinter der Windschutzscheibe;
-
2 eine Windschutzscheibe, die zur Verwendung mit dem erfindungsgemäßen Stereokamerasystem ausgebildet ist;
-
3 ein Beispiel eines typischen Zielmusters auf der Windschutzscheibe;
-
4 die in 1 gezeigte Windschutzscheibe mit daran montiertem Stereokamerasystem in einer Ansicht von vor der Windschutzscheibe;
-
5 ein verkipptes Stereokamerasystem und der Effekt der Verkippung auf die Kamerabilder; und
-
6 ein Ausführungsbeispiel eines Kameramoduls des erfindungsgemäßen Stereokamerasystems;
-
7 eine Seitenansicht eines weiteren schematisch dargestellten Ausführungsbeispiels eines hinter einer Windschutzscheibe angeordneten erfindungsgemäßen Stereokamerasystems und einer Beleuchtungseinkoppeleinrichtung für das Stereokamerasystem zum Verbessern einer Regensensorfunktion des Systems.
-
Im Folgenden können gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen versehen sein. Die im Folgenden angegebenen absoluten Werte und Maßangaben sind nur beispielhafte Werte und stellen keine Einschränkung der Erfindung auf derartige Dimensionen dar.
-
Das in 1 gezeigte erfindungsgemäße Stereokamerasystem 10 ist zur Montage an der Windschutzscheibe 12 eines Fahrzeugs und zur Nutzung in einem Fahrerassistenzsystem zur Verkehrserkennung vorgesehen. Das System ist als eine mechanisch gekoppelte Einheit von zwei Kameramodulen 14 und 16 ausgebildet. Die Kopplung der Kameramodule 14 und 16 kann auf vielfältige Weise erfolgen. Im 1 gezeigten Ausführungsbeispiel ist das Stereokamerasystem 10 im Bereich des Rückspiegels an der Windschutzscheibe 12 befestigt.
-
Ein Kameramodul 14 bzw. 16 des Systems 10 umfasst einen Bildsensor, beispielsweise einen CMOS- oder CCD-Kamerachip, und eine Optik, insbesondere ein Objektiv. Das System 10 weist außerdem eine Elektronik auf, die einen Speicher mit einer Software zum Auswerten der von den Bildsensoren der Kameramodule 14 und 16 erzeugten digitalen Bilddaten und zum Steuern des Systems 10 und einen Prozessor zum Ausführen der Software aufweist.
-
Die thermischen Ausdehnungskoeffizienten der verwendeten Materialien spielen beim erfindungsgemäßen Stereokamerasystem 10 keine dominante Rolle mehr in Bezug auf Fehler in der Objektentfernungserkennung, da die thermische Ausdehnung durch ein insbesondere durch die erwähnte und im erfindungsgemäßen Stereokamerasystem enthaltene Software implementiertes Messverfahren zum Erkennen einer Abweichung oder Lagedifferenz der optischen Achsen der Kameras 14 und 16 des Systems 10 von bzw. zu einer vorgegebenen Lage relativ sicher erkannt werden kann.
-
Die Distanz zwischen den einzelnen Kameramodulen 14 und 16 zueinander muss bekannt sein, um mit dem erfindungsgemäßen Stereokamerasystem 10 Entfernungen zu Objekten sicher zu bestimmen. Diese Distanzbestimmung kann mit einem Messverfahren erfolgen. Auch die Blickrichtung der Kameras 14 und 16 darf sich nicht stark ändern, um die Funktionssicherheit des Systems 10 nicht zu verlieren.
-
Das gekoppelte Kamerasystem 10 kann an einem, auf die Horizontale bezogenen in der Scheibenmitte zentrierten Bereich befestigt sein, z. B. mit einem Windschutzscheibenkleber. In 1 weist das Stereokamerasystem 10 zentrale Befestigungsmittel 18 auf, mit denen mittels eines Windschutzscheibenklebers das System 10 an der Windschutzscheibe 12 montiert werden kann. Ebenfalls ist eine Befestigung an einem mechanisch stabilen Fahrzeugpunkt über der Windschutzscheibe möglich, beispielsweise am Fahrzeugdach.
-
Die beiden Kameraobjektive der Stereokameras bzw. Kameramodule 14 und 16 sind durch ihre Hauptfunktion der Verkehrserkennung auf ihre Hyperfokaldistanz, die z. B. bei etwa 4 Meter liegt, fokussiert. Dadurch wird der Bereich max. Schärfentiefe (ca. 2 Meter bis unendlich) ausgenutzt. Um eine Abweichung oder Lagedifferenz der optischen Achsen der Kameras bzw. Kameramodule des Systems von bzw. zu einer vorgegebenen Lage mit dem Messverfahren erkennen zu können, muss die vordere Schärfentiefengrenze bis zur Windschutzscheibe reichen.
-
Um den sich dadurch ergebenden Schärfentiefenzielkonflikt lösen zu können, ist ein zusätzliches optisches Bauteil bei zumindest einer der Kameras vorgesehen. Dieses zusätzliche optische Bauteil erstreckt sich lediglich über eine Teilfläche im Kamerasichtfeld. Dieser Zielkonflikt mit dem Bereich der nutzbaren Schärfentiefe hat folgende Ursache: Wird durch Fokusverstellung die vordere Schärfentiefengrenze weiter zur Objektivhauptebene gebracht, bewegt sich die hintere Schärfentiefengrenze in einem dazu unproportionalen Maß auch zur Objektivhauptebene hin. Daraus folgt, dass weiter entfernte Objekte nicht mehr schart genug abgebildet werden.
-
Das optische Bauteil kann beispielsweise durch ein partielles optisches Element in der Bildweite, ein abgestuftes optisches Element oder aber auch eine Teillinse vor dem Objektiv implementiert sein. Im Folgenden wird eine multifokale Optik mit der Teillinse beschrieben. Das gleiche Prinzip kann aber auch mit einem partiellen optischen Element ermöglicht werden. Die Teillinse verändert die Fokussierung des Kamerasystems je nach Linsenform und Brechungsindex entweder auf eine weiter entfernte Objektebene als die Hyperfokaldistanz, z. B. bei konkaver Linsenform (Zerstreuungslinse), oder eben auf eine näher liegende Objektebene, z. B. bei konvexer Form (Sammellinse) der Teillinse. 6 zeigt das Kameramodul 14 in einer Frontansicht auf das Objektiv 24 des Moduls 14. Vor dem Objektiv 24 ist die Teillinse 26 angebracht.
-
Das optische Bauteil kann entweder mit den Kameras verbunden sein oder mit der Windschutzscheibe. An die Form (z. B. Linsenradius bei einer sphärischen Linse) und den Brechungsindex (abhängig vom Material- bzw. der Oberflächenbeschichtungswahl) und die Positionierung der Linse besteht die Anforderung, die Kollimatorbedingung zu erfüllen, um die Windschutzscheibe virtuell in der fokussierten Hyperfokaldistanz des Objektivs abzubilden.
-
Dieses System ermöglicht eine scharfe Abbildung der Windschutzscheibe auf einem Teilbereich des Bildsensors, der durch die Größe der Teillinsenfläche im Sichtfeld der Kamera bestimmt wird. Gleichzeitig wird auf den Restbereich des Bildsensors ein Bild der Straßenszenerie mit dem gewohnten Schärfentiefenbereich abgedeckt.
-
Wie in 2 zu erkennen ist, ist auf der Windschutzscheibe 10 ein geeigneter Aufdruck, im Folgenden Zielmuster 20 genannt, angebracht. Das Zielmuster 20 ist so gewählt, dass damit bestmöglich Positionsänderungen zwischen Kamerasystem und Windschutzscheibe erkannt werden können. Eine Möglichkeit für ein Zielmuster wäre z. B. ein Kreuz 12, wie es in 3 dargestellt ist, welches durch einen aufgedruckten Maßstab in horizontaler Richtung und einen Maßstab in vertikaler Richtung gebildet wird. Der Lack für das Zielmuster sollte einen Brechungsindex haben der ungefähr dem des Scheibenmaterials entspricht. Alternativ wäre eine aufgeklebte Folie im Sichtbereich der Teillinse denkbar, die das Zielmuster enthält.
-
Auf der in 2 gezeigten Windschutzscheibe 12 ist ferner ein Aufdruck 22 zu erkennen, der Aussparungen für die Kameraobjektive des Stereokamerasystems 10 aufweist. In den Aussparungen ist jeweils ein Zielmuster 20 in Form eines Kreuzes vorgesehen.
-
In 4 ist die Windschutzscheibe 12 mit montiertem Stereokamerasystem 10 in einer Frontansicht gezeigt, also einer Sicht von außerhalb des Fahrzeugs auf die Scheibe 12. Die Objektive der Kameramodule 14 und 16 sind hinter den Aussparungen angeordnet. Die Kameramodule sind hierbei derart ausgerichtet, dass die jeweilige Teillinse vor dem Objektiv des Moduls den Bereich mit dem Zielmuster auf der Windschutzscheibe scharf in der Bildebene des Bildsensors abbildet.
-
Die beiden mechanisch gekoppelten Kameras des Stereokamerasystems mit einer angenommenen Distanz von 20 cm zueinander sehen in ihrem Sichtfeld in einem Bereich das Verkehrsgeschehen und in einem anderen deutlich kleiner zu wählenden Bereich das Zielmuster durch die Teillinse. Beide Bilder sind scharf fokussiert. Eine Verkippung der Teillinse nach der Scheimpflugbedingung ermöglicht ein scharfes Bild des geneigten Windschutzscheibenausschnittes auf dem Bildsensor. Der thermische Ausdehnungskoeffizient einer Windschutzscheibe liegt deutlich unter dem von Metallen und weit unter dem von Kunststoffen welche als mechanische Kopplung der Kameras in Frage kommen, d. h. das Zielmuster ist in seiner Position relativ beständig bzw. das Ausmaß einer thermischen Ausdehnung ist ungefähr bekannt aus den Daten der Windschutzscheibe. Bewegen sich nun die Stereokameras durch thermische Ausdehnung, Vibration, Stöße oder Materialermüdung bei Kunststoff als Koppelelement aus ihrer Ausgangsposition heraus, werden markante Punkte des Zielmusters an anderen Pixelpositionen abgebildet. Diese markanten Punkte sind zum einen der Kreuzmittelpunkt und der Abstand der Maßstabslinien voneinander. Eine Krümmung der Scheibe kann dadurch erkannt werden, dass sich das Kreuz in seiner eigentlichen Form verändert anstatt nur die Position zu ändern. Aus dieser Veränderung kann der Krümmungsradius der Scheibe im Kamerasichtfeld berechnet werden bzw. die Veränderung der Kamerablickrichtung bei einer dreidimensionalen Änderung der Kamerabefestigung in Bezug zur Scheibe und das bei jeder einzelnen Kamera. Diese Information ist wichtig, damit festgestellt werden kann, wann die Kameras in verschiedene Richtungen schauen. Zum Einen ist dies möglich durch die Linsenwirkung der gekrümmten Windschutzscheibe, zum Anderen durch eine Veränderung der Kamerablickrichtung durch die Befestigung. Diese Veränderung kann durch eine bekannte Abweichung vom Sollwert in einer Software des Stereokamerasystems oder durch mechanische Lageänderung der optischen Achse kompensiert werden. Eine einfache mechanische Kompensation stellt ein Bogen als zusätzliches Koppelelement dar, welcher die schielende Kamera definiert in einem geeigneten Rollwinkel nachführt.
-
5 zeigt die Auswirkungen eines verkippten und an der Windschutzscheibe 12 befestigten Stereokamerasystems 10. Unter dem System 10 sind die von den Bildensoren der jeweiligen Kameramodule erzeugten Bilder dargestellt. Deutlich ist zu erkennen, dass im dem Nahbereich zugeordneten Teilbereich des Bildesensors das abgebildete, auf der Windschutzscheibe 12 angebrachte Zielmuster verkippt ist, d. h. das Zielmuster an anderen als den vorgesehenen Pixeln in dem vom Bildsensor erzeugten Bild abgebildet ist. Durch eine Software-technische Auswertung der Bilder der beiden Kameramodule kann dadurch eine Verkippung des Stereokamerasystems und aufgrund der „verzerrten” Darstellung der Zielmuster in den Bildern auch die Art der Verkippung ermittelt werden. Eine geeignete Softwarelösung wäre z. B. eine angepasste Bildentzerrung.
-
Die Scheibendurchbiegung bzw. eine Positionsbestimmung der Kameras zueinander kann auch mit optischen Messmethoden erfolgen. Durch Projektion einer Lichtquelle, z. B. mit IR LED's oder Laser projiziert durch eine geeignete Linse z. B. einer Zylinderlinse, kann z. B. eine Linie in einem definierten Winkel (Zylinderlinsendrehung) auf die Windschutzscheibe projiziert werden. Die Lichtquelle ist fest mit dem Kamerasystem verbunden und befindet sich vom Mittelpunkt des Stereokamerasystems betrachtet weiter weg als die zugehörige Kamera. Die Projektion kann in definierten Zeitpunkten erfolgen, die abhängig von Temperaturänderungen oder festgelegten Zeitabständen z. B. Motorstart gewählt sein können. Die projizierte Linie, welche auf dem Bildsensor bedingt durch die gekrümmte Scheibe eine von der Geraden abweichende Form erhält, erfährt bei einer zusätzlichen Scheibenkrümmung eine deutliche Änderung ihrer Ausgangsform. Diese Änderung wird durch Bildverarbeitung des Stereokamerasystems erfasst.
-
Eine zweites Projektionssystem auf der anderen Seite, also näher vom Mittelpunkt des Stereokamerasystems angebracht als die zugehörige Kamera, ermöglicht eine Bestimmung der Positionsänderung der Kamera durch ein Wandern des Schnittpunktes der 2 projizierten Linien.
-
Eine weitere Möglichkeit ist durch oben geschriebene Linienprojektion gegeben, mit dem Unterschied, dass die Zylinderlinse drehbar gelagert ist. Die Projektion der Lichtquelle auf die Windschutzscheibe erfolgt in diesem Fall zu bestimmten Zeiten und bestimmten Drehwinkeln der Zylinderlinse.
-
Alternativ wäre auch eine Projektion eines Lichtpunktes denkbar, der sich durch seine Helligkeit stets von der Umgebungsbeleuchtung abhebt und auf dem Bildsensor in seiner Ausdehnung einen bestimmten Pixelbereich einnimmt. Eine Verschiebung des Kamerasystems wäre an einem Wandern des beleuchteten Pixelbereichs erkennbar, und eine Winkeländerung durch eine Verzerrung des Lichtpunktes auf dem Bildsensor. Auch diese Variante der Erkennung von Justageabweichungen benötigt eine multifokale Optik wie Sie z. B. durch oben beschriebene Teillinse geschaffen wird.
-
Das erfindungsgemäße Stereokamerasystem besitzt folgende Vorteile: Geringere Toleranzanforderungen an die Kopplung der Kameramodule deren Preisvorteile über den Kosten für eine multifokale Optik liegen, unabhängig von den möglichen Zusatzfunktionen durch die multifokale Optik wie Scheibentyperkennung, Regensensor oder Wischqualitätserkennung der Scheibenwischanlage.
-
Das erfindungsgemäße Stereokamerasystem ermöglicht Zusatzfunktionen, die im Folgenden im Überblick erläutert werden.
-
Durch die ermöglichte Nahfokussierung können verschiedene Windschutzscheiben erkannt werden. Beispielsweise kann eine Identifikationsnummer, aufgeklebt oder aufgedruckt, durch entsprechende Bildverarbeitung für eine individuelle Kameraeinstellung benutzt werden.
-
Die Nahfokussierung ermöglicht ferner eine Nutzung als Schmutz- und Regensensorsystem auch unter Ausnutzung des Zielmusters zur Bestimmung von Objektgröße und eventuell Objektart durch eine Vergleichsmethode. Diese objekterkennende Art der Regen- und Schmutzerkennung ermöglicht in der Zukunft z. B. eine Erkennung und Unterscheidung von Tropfengröße, Schnee und besonders auch Insekten auf der Windschutzscheibe, welche durch eine gezielte Erkennung ein besonderes Wischprogramm auslösen könnten.
-
Weiterhin wird ein Test für die Funktion der Wischanlage durch das erfindungsgemäße Stereokamerasystem ermöglicht: kommt Wasser oder nicht; Beurteilung des Wischergebnisses in Bezug auf Schlieren, und Rückständen von z. B. Insekten, Staub etc. nach einer Scheibenreinigung.
-
7 zeigt in Seitenansichten schematisch ein weiteres Ausführungsbeispiel des erfindungsgemäßen Stereokamerasystems.
-
In 7 ist oben eine Seitenansicht eines erfindungsgemäßen Stereokamerasystems mit einer zusätzlichen Regensensorfunktion dargestellt. Vor der sensitiven Fläche 4 des Bildsensors eines Kameramoduls des Systems ist ein partielles optisches Element 8 zur bifokalen Abbildung auf die sensitive Fläche des Bildsensors angeordnet. Vor dem partiellen optischen Element 8 befindet sich das Objektiv 1 des Kameramoduls mit der Hauptebene 2. Der Bildsensor ist ferner mit einem Abdeckglas 3 versehen. Die Sensitivität der Regensensorfunktion kann durch Störfaktoren von Lichtquellen aus dem Fernbereich eingeschränkt werden. Eine modulierte annähernd monochromatische Beleuchtung und die Farbfilter des Bayer-Patterns können zur Signalfilterung verwendet werden. Zur besseren Unterscheidung von Objektkanten und Störlichteinflüssen wird ein Spiegel(element) S1 vorgeschlagen, der (das) auch mit einem Einkopplungselement zur Beleuchtung kombiniert sein kann, wie es unten in 7 dargestellt ist. Der Spiegel S1 hat auf das Kamerasichtfeld bezogen einen entgegengesetzten Nickwinkel wie die geneigte Windschutzscheibe 5. Die Spiegelkante befindet sich in der Mitte der Nahbereichsabbildung und stellt somit eine Symmetrieebene dar. Regentropen 6 auf der Windschutzscheibe 5 werden auf dem Bildsensor 4 an dieser Symmetrieebene einmal normal und einmal gespiegelt abgebildet. Störfaktoren aus dem Fernbereich werden dagegen nur auf einer der beiden Ebenen abgebildet. Diese gesamte Anordnung ist hinter der gekrümmten Windschutzscheibe 5 angeordnet. Der Strahlengang der Nahbereichsabbildung S2 über ein Spiegelelement S1, der Strahlengang der Nahbereichsabbildung S3 ohne Spiegelelement und der Strahlengang Fernbereichsabbildung S4 sind ebenfalls dargestellt.
-
Besonders in der Kombination mit einem Beleuchtungseinkoppelelement ist das Spiegelelement S1 eine interessante Möglichkeit zur Unterscheidung zwischen Nahbereich und Fernbereich. Die Beleuchtungseinkopplung kann über einen Lichtleitkörper mit einem integrierten Hohlspiegelprofil in zylindrischer Ausführung erfolgen. Die Bildauswertung verwendet bei einem aufgenommenen Bild die Symmetrie als Parameter zur Trennung zwischen Objekten auf der Windschutzscheibe und Störfaktoren aus der Umgebung. In 7 ist unten eine solche Anordnung zum Einkoppeln einer Beleuchtung schematisch dargestellt. Hinter der Windschutzscheibe a ist ein beidseitiges Spiegelelement d (entsprechend S1) angeordnet, das von einem Lichtemitter mit Optik (Zylinderlinse) c emittiertes Licht auf einen Konkavfreiformspiegel b reflektiert. Vom Konkavfreiformspiegel b wird wiederum das Licht des Lichtemitters b in die Windschutzscheibe a eingekoppelt, von der es in Richtung zum Stereokamerasystem geführt wird, das oberhalb der gezeigten Anordnung angeordnet ist, wie in 7 oben gezeigt.
-
Bezugszeichenliste
-
- 1
- Objektiv
- 2
- Hauptebene Objektiv
- 3
- Abdeckglas Bildsensor
- 4
- Bildsensor (sensitive Fläche)
- 5
- Windschutzscheibe
- 6
- Objekt auf der Windschutzscheibe (hier Regentropfen)
- 7
- Streulichtblende
- 8
- partielles optisches Element zur bifokalen Abbildung
- a
- Windschutzscheibe
- b
- Konkavfreiformspiegel (zylindrisch)
- c
- Lichtemitter mit Optik (zur Zylinderlinse)
- d
- beidseitiges Spiegelelement
- S1
- Spiegelelement
- S2
- Strahlengang Nahbereichsabbildung über Spiegelelement
- S3
- Strahlengang Nahbereichsabbildung
- S4
- Strahlengang Fernbereichsabbildung
- 10
- Stereokamerasystem
- 12
- Windschutzscheibe
- 14, 16
- Kameramodul
- 18
- Befestigungsmittel
- 20
- Zielmarke
- 22
- Windschutzscheiben-Aufdruck
- 24
- Kameraobjektiv
- 26
- Teillinse