DE102010023591A1 - Stereokamerasystem - Google Patents

Stereokamerasystem Download PDF

Info

Publication number
DE102010023591A1
DE102010023591A1 DE102010023591A DE102010023591A DE102010023591A1 DE 102010023591 A1 DE102010023591 A1 DE 102010023591A1 DE 102010023591 A DE102010023591 A DE 102010023591A DE 102010023591 A DE102010023591 A DE 102010023591A DE 102010023591 A1 DE102010023591 A1 DE 102010023591A1
Authority
DE
Germany
Prior art keywords
stereo camera
windshield
camera system
field
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102010023591A
Other languages
English (en)
Inventor
Konrad Rothenhäusler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102010023591A priority Critical patent/DE102010023591A1/de
Priority to PCT/DE2011/001115 priority patent/WO2011153989A2/de
Priority to DE112011101083T priority patent/DE112011101083A5/de
Publication of DE102010023591A1 publication Critical patent/DE102010023591A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833Optical rain sensor
    • B60S1/0844Optical rain sensor including a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Die Erfindung betrifft ein Stereokamerasystem (10), das zum Einsatz in Kraftfahrzeugen hinter einer geneigten Windschutzscheibe (5; 12) ausgebildet ist, wobei mindestens eines der mindestens zwei Kameramodule (14, 16) des Systems ein zusätzliches partiell angeordnetes, zeitweise zugeführtes oder als Strahlteiler wirkendes optisches Element (8; 26) aufweist und dadurch als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen Schärfentiefenbereichen auf einem Bildsensor (4) verwendet werden kann und der Bildsensor dadurch mindestens zwei Teilbereiche mit unterschiedlichen optischen Objektweiten beinhaltet, wobei eine optische Objektweite zur Erfassung eines Objekts im Nahbereich, das zum Ausrichten der Stereokameraanordnung dient, vorgesehen ist.

Description

  • Die Erfindung betrifft ein Stereokamerasystem gemäß Anspruch 1.
  • Zur Ermittlung des Abstands eines Fahrzeugs zu einem Objekt kann eine sogenannte Stereokamera verwendet werden. Unter einer Stereokamera wird hierin eine Anordnung von zwei Kameras verstanden, die in einem vorgegebenen Abstand versetzt zueinander insbesondere an der Windschutzscheibe des Fahrzeugs angebracht sind. Für die Abstandsermittlung von Objekten werden die von den beiden insbesondere digitalen Kameras erfassten Bilder verglichen und Pixeldifferenzen zwischen gleichen Objektkanten ausgewertet, um daraus die entsprechende Objektentfernung zu ermitteln. Unabhängig von einer Objektebene, auf welche die Kameras fokussiert sind, besteht ein Schärfentiefebereich, der sich bei aktuellen, für die Objektentfernungserkennung verwendeten Objektiven in Kameras von beispielsweise von ca. 2 m bis Unendlich erstreckt. Dadurch wird eine Objektentfernungserkennung etwa ab Fahrzeugvorderkante ermöglicht.
  • Für eine genaue Objektentfernungserkennung ist es erforderlich, dass die beiden Kameras möglichst genau zueinander mit einem zu definierenden Toleranzbereich justiert werden, d. h. die vorgegebene Lage der optischen Achsen der Kameras zueinander möglichst genau eingehalten wird. Für eine Justierung der Kameras kann beispielsweise ein vor dem Fahrzeug mit der Stereokamera angeordnetes Bild mit definierten Objekten verwendet werden. Ein solches Bild wird beispielsweise bei der Montage der Stereokamera im Fahrzeug eingesetzt. Probleme mit der Objektentfernungserkennung treten jedoch vor allem dann auf, wenn sich die Lage der optischen Achsen der Kameras beispielsweise im Betrieb zueinander verändern. Dadurch können bei der Objektentfernungserkennung mehr oder weniger große Ungenauigkeiten auftreten, da dann der mit der Stereokamera ermittelte Abstand zu einem Objekt in der Regel nicht mehr mit dem realen Abstand übereinstimmt.
  • Der durch eine Abweichung auftretende Fehler hängt hierbei von der Entfernung des Objekts zum Fahrzeug ab. Vor allem dreidimensionale Abweichungen der optischen Achsen der Kameras sind häufig auf die thermisch-mechanischen Eigenschaften der gekrümmten Windschutzscheiben von Fahrzeugen zurückzuführen. Um die dadurch entstehenden Fehler in der Abstandsermittlung kompensieren zu können, muss eine Abweichung oder Lagedifferenz der optischen Achse einer Kamera von bzw. zu der vorgegebenen Lage erkannt werden. Eine Kompensation kann beispielsweise algorithmisch durch geeignete Software oder mechanisch durch eine Lageänderung der Kameras erfolgen.
  • Sind die beiden Kameras unabhängig voneinander an der Windschutzscheibe fixiert und im Montageprozess justiert worden, kann eine Lagedifferenz der optischen Achsen im Betrieb der Stereokamera nur durch definierte Objekte in der Straßenszenerie erkannt werden. Solche definierten Objekte weltweit und immer zu finden, ist eine große, wenn nicht sogar unmögliche Herausforderung. Ein mögliches Objekt zur Erkennung einer Lagedifferenz könnte auch eine Kante am eigenen Fahrzeug sein, die für die Stereokamera immer sichtbar ist, beispielsweise die vordere Fahrzeugkante. Allerdings ist dieses Objekt vom Fahrzeughersteller und -typ abhängig.
  • Aufgabe der vorliegenden Erfindung ist es daher, ein Stereokamerasystem für Fahrzeuganwendungen anzugeben, das prinzipiell zum Erkennen einer Abweichung oder Lagedifferenz der optischen Achsen der Kameras des Systems von bzw. zu einer vorgegebenen Lage geeignet ist.
  • Diese Aufgabe wird durch ein Stereokamerasystem für Fahrzeuganwendungen mit den Merkmalen nach Anspruch 1 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
  • Unter einem Stereokamerasystem wird hierin eine Stereokamera und entsprechende Software zur Steuerung der Stereokamera und Bildauswertung verstanden. Die Software ist typischerweise in einem nichtflüchtigen Speicher einer Elektronik des Stereokamerasystems gespeichert und wird von einem Prozessor der Elektronik ausgeführt, der durch die Software vor allem zur Kamerasteuerung und Bildauswertung konfiguriert wird. Ein wesentlicher Gedanke der Erfindung besteht nun darin, mindestens ein Kameramodul eines Stereokamerasystems derart auszubilden, dass es als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen Schärfentiefenbereichen auf einem Bildsensor verwendet werden kann, wobei ein Schärfentiefebereich den Nahbereich des Stereokamerasystems umfasst, insbesondere den Bereich der Windschutzscheibe. Dadurch kann das System zumindest einen Teilbereich der Windschutzscheibe scharf abbilden und Objekte in diesem Teilbereich, die sich auf der Windschutzscheibe befinden, mit einer für eine weitere Auswertung, insbesondere für die automatische Ausrichtung des Systems geeigneten Schärfe erfassen. Beispielsweise können auf der Windschutzscheibe spezielle, zur Ausrichtung vorgesehene Muster (Zielmuster) abgebildet sein. Das System kann die mit ausreichender Schärfe erfassten Zielmuster auswerten, insbesondere durch einen Vergleich mit gespeicherten Referenzmustern, um eine Abweichung oder Lagedifferenz der optischen Achsen der Kameras des Systems von bzw. zu einer vorgegebenen Lage zu erkennen. Abhängig von einer erkannten Abweichung oder Lagedifferenz kann bei Ausgestaltungen der Erfindung eine automatische Ausrichtung der Kameramodule durchgeführt werden.
  • Eine Ausführungsform der Erfindung betrifft nun ein Stereokamerasystem, das zum Einsatz in Kraftfahrzeugen hinter einer geneigten Windschutzscheibe ausgebildet ist, wobei mindestens eines der mindestens zwei Kameramodule des Systems ein zusätzliches partiell angeordnetes, zeitweise zugeführtes oder als Strahlteiler wirkendes optisches Element aufweist und dadurch als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen Schärfentiefenbereichen auf einem Bildsensor verwendet werden kann und der Bildsensor dadurch mindestens zwei Teilbereiche mit unterschiedlichen optischen Objektweiten beinhaltet, wobei eine optische Objektweite zur Erfassung eines Objekts im Nahbereich, das zum Ausrichten der Stereokameraanordnung dient, vorgesehen ist.
  • Die mindestens zwei Bildsensor-Teilbereiche können zusätzliche Filterelemente aufweisen, um ferner unterschiedliche Intensitätsverteilungen des Wellenlängenspektrums zu erfassen.
  • Als Filterelemente wirkende Komponenten können vor, in oder nach dem zusätzlichen optischen Element integriert sein und/oder in optischen Bereichen integriert sein, die zu dem optischen Sichtfeld gehören, dessen Schnittfläche das zusätzliche optische Element nicht oder nur teilweise schneidet.
  • Das zusätzliche optische Element kann in mindestens einer der optischen Komponenten des mindestens einen Kameramoduls als partielle Teillinse vor einem Objektiv des Kameramoduls, als partielles optisches Element insbesondere als planparallele Platte hinter dem Objektiv oder als optischer Strahlteiler oder Spiegelelement ausgebildet sein und damit eine bifokale Abbildung auf mindestens zwei Teilbereichen des Bildsensors ermöglichen.
  • Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, die mindestens zwei unterschiedlichen Schärfentiefenbereiche gleichzeitig oder zeitlich getrennt durch eine Zuführung des zusätzlichen optischen Elements zu erreichen, wobei die Zuführung des zusätzlichen optischen Elements in das gesamte Sichtfeld der mindestens zwei Kameramodule über ein Chopperrad mit Linsen einer oder unterschiedlicher Brechkraft und Dicke vor dem Objektiv, einer oder mehrerer planparalleler Elemente, die sich durch ihre Dicke oder ihren Brechungsindex unterscheiden, hinter dem Objektiv eines Kameramoduls oder auch durch Auffüllen eines nicht festen, den gewünschten Wellenlängenbereich gut transmittierenden und im Brechungsindex von Luft abweichenden Mediums hinter dem Objektiv eines Kameramoduls erfolgt.
  • Die mindestens zwei Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können sich durch das mindestens eine partiell angeordnete zusätzliche optische Element in ihren Schärfetiefengrenzen gleichen oder unterscheiden.
  • Die mindestens zwei unterschiedlichen Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können den einen Teilbereich des Bildsensors zur Nahbereichsfokussierung mit einer hinteren Schärfentiefengrenze von ca. 1 Meter und den anderen Teilbereich des Bildsensors zur Fernbereichsfokussierung mit einer vorderen Schärfentiefengrenze größer ca. 1 Meter nutzen.
  • Weiterhin kann das erfindungsgemäße Stereokamerasystem ausgebildet sein, die mindestens zwei einzelnen Kameramodule gleichzeitig oder zeitlich getrennt auf dem Teilbereich des Bildsensors, dessen Schärfentiefengrenzen einer Nahbereichsfokussierung entsprechen, zur Erkennung von Beschlag auf der Scheibeninnenseite, Regen, Schmutz oder anderer die Sicht behindernder Ereignisse zu nutzen, wobei die Schärfentiefenbereiche durch gezielte Auslegung der zusätzlichen optischen Komponenten so gewählt sind, dass Objektkanten von einer Kantendetektion, unterschiedliche Objekte durch definierte Klassifikatoren oder dadurch bewirkte Abweichungen im Frequenzspektrum durch eine FFT (Fast Fourier Transformation) in einer darauf folgenden Bildverarbeitungsstufe vom System relativ sicher erkannt werden können.
  • Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, die mindestens zwei einzelnen Kameramodule gleichzeitig oder zeitlich getrennt auf dem Teilbereich des Bildsensors, dessen Schärfentiefengrenzen einer Nahbereichsfokussierung entsprechen, zur Erkennung von gezielt angeordneten Zielmarken auf der Scheibeninnenseite, innerhalb der Windschutzscheibe oder auf einem speziellen Trägerelement vor der Scheibeninnenseite zu nutzen, wobei das System ferner ausgebildet ist, aus erkannten Abweichungen der Zielmarkenform, Zielmarkengröße, Abbildungsschärfe und vor allem der Abbildungsposition auf eine Verschiebung der einzelnen Kameramodule der Stereokameraanordnung in alle Richtungen bezogen auf die Zielmarke zu schließen, wobei mit Hilfe eines in einem nicht flüchtigen Speicher der Kameraelektronik gespeicherten Musterbildes (Master) Abweichungen erkannt werden.
  • Das erfindungsgemäße Stereokamerasystem kann weiter ausgebildet sein, eine Abweichung der Zielmarkenpositionen und eine damit erfolgte Veränderung der Blickrichtungen oder des Abstands der mindestens zwei Kameramodule voneinander als Kompensationsparameter für eine ausgeführte Software der verschiedenen Kamerafunktionen und/oder für eine Kompensation zur Verfügung zu stellen, die durch Stellglieder mechanisch auf die Stereokameraanordnung erfolgt.
  • Das erfindungsgemäße Stereokamerasystem kann sich auch dadurch auszeichnen, dass eine kombinierte Erkennung von Objekten auf der Windschutzscheibe wie oben erläutert und von Zielmarken zur Erkennung von Abweichungen in der Blickrichtung wie oben erläutert durchgeführt wird.
  • Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, erkannte Objekte in ihrer Art und ihrer quantitativen Ausdehnung in einem dafür vorgesehenen Windschutzscheibensichtfeld zu ermitteln und davon abhängig gezielte Botschaften an andere Steuergeräte in Kraftfahrzeugen auszugeben, deren Inhalt eine Aktivierung der Scheibenwisch- und oder Scheibenreinigungsanlage oder eine Aktivierung der Lüftung und oder Scheibenheizung bewirkt.
  • Beim erfindungsgemäßen Stereokamerasystem kann eine gezielte Beleuchtung und/oder eine partiell angeordnete Heizquelle zur Unterstützung der Erkennung von Objekten auf der Windschutzscheibe vorgesehen sein, wobei eine Heizquelle dazu vorgesehen sein kann, insbesondere eine örtlich begrenzte Verdunstung von Beschlag auf der Windschutzscheibeninnenseite bzw. ein Antauen von Eis auf der Windschutzscheibenaussenseite zu bewirken. Dieser örtliche Unterschied dieser Spezialfälle kann der Bildverarbeitung als Erkennungsmerkmal z. B. als Kante für eine Kantendetektion durch eine Kantenfilterung z. B. mit einem einfachen Sobeloperator dienen. Insbesondere Schlieren auf der Windschutzscheibenaußenseite können durch eine höhere Kantenanzahl in vertikaler Richtung im Vergleich zur horizontalen Richtung ermittelt werden und zur Beurteilung des Reinigungsergebnisses der Scheibenwischanlage und zur Einleitung entsprechender Maßnahmen dienen.
  • Im montierten Zustand des erfindungsgemäßen Stereokamerasystems können die einzelnen Kameramodule nicht in direktem Kontakt mit der Windschutzscheibe stehen, sondern an mindestens einem Fahrzeugpunkt relativ locker und spannungsfrei positioniert sein.
  • Die unterschiedlichen Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können zur unterstützenden Entfernungsermittlung von Objekten im Kamerasichtfeld genutzt werden.
  • Ermittelte Parameter bezüglich Sichtbehinderungen und extremen Blickrichtungsänderungen können vom erfindungsgemäßen Stereokamerasystem zur Ermittlung der Grenze einer möglichen Funktionsausführung genutzt werden.
  • Mindestens eines der Kameramodule des erfindungsgemäßen Stereokamerasystems können auf einen geneigten Spiegel oder Strahlteiler gerichtet sein, welcher als Feldspiegel zur Windschutzscheibenabbildung verwendet wird, wobei dieser Spiegel insbesondere auch als Umgebungslichtsensor, Trägerelement für die Zielmarke und oder als Symmetrieebene zur Unterscheidung zwischen Nah- und Fernobjekten vorgesehen sein kann.
  • Das geneigte Spiegelelement kann beim erfindungsgemäßen Stereokamerasystem einen Teil eines Beleuchtungselements für das Sichtfeld innerhalb des Schärfentiefenbereichs der Nahbereichsfokussierung darstellen.
  • Beim erfindungsgemäßen Stereokamerasystem kann eine zusätzliche Beleuchtung mit einer an den optischen Aufbau optimierten spektralen Eigenschaft für mindestens den Schärfentiefenbereich, welcher durch die Nahbereichsfokussierung begrenzt ist, vorgesehen sein, wobei die Beleuchtung entweder durch Reflexion an der Scheibeninnenseite, durch Totalreflexion an der Innenoberfläche der Scheibenaußenseite oder durch eine Durchleuchtung der Scheibe erfolgen kann.
  • Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, mindestens zwei unterschiedliche optische Bauelemente zur Ermöglichung einer bifokalen Abbildung in Kombination bzw. in zyklischem Wechsel einzusetzen.
  • Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet und insbesondere durch die bifokale Eigenschaft in der Lage sein, auch passierende Scheibenwischer zu erkennen und in einem gegebenen Regelkreis auf einen korrekten Bewegungsablauf zu überprüfen, und insbesondere anderen Kamerafunktionen das Ereignis des passierenden Scheibenwischers mitteilen.
  • Das erfindungsgemäße Stereokamerasystem kann weiterhin ausgebildet sein, die Nahbereichsfokussierung auf der Windschutzscheibe auch zum Einlesen von aufgebrachten Codes, die bestimmte Parameter der Windschutzscheibe enthalten, im Windschutzscheibenschwarzdruck auszuwerten.
  • Beim erfindungsgemäßen Stereokamerasystem kann ein Koppelelement der einzelnen Kameramodule durch die Erkennung und Kompensation der Veränderungen in Bezug auf Kameraabstand und Blickrichtung aus einem sehr günstigen Material, auch mit einem großen Temperaturausdehnungskoeffizienten wie z. B. viele Kunststoffe in einem kostengünstigen Produktionsverfahren z. B. Kunststoffspritzguss hergestellt werden.
  • Das erfindungsgemäße Stereokamerasystem kann auch ausgebildet sein, eine Zielmarkenerkennung als Sensor für Kompensationsmaßnahmen zu nutzen, welche bei einer thermischen Veränderung der Abstande und Brechkraft der optischen Komponenten erforderlich sein können.
  • Die Bildsensor-Teilbereiche, die zur scharfen Abbildung des vorderen Schärfentiefenbereichs verwendet werden, können auch für andere Kamerafunktionen des erfindungsgemäßen Stereokamerasystems genutzt werden. Dies kann z. B. durch die ausgedehnte Abbildung von Lichtpunkten aus dem optischen Fernbereich erfolgen, da sehr weit entfernte Lichtpunkte (z. B. Scheinwerfer anderer Fahrzeuge), die sonst auf nur einem Pixel aufgelöst werden nun, durch die Ausdehnung des Bildpunktes über mehrere Pixel erstreckt sicherer erkannt werden können.
  • Schließlich kann beim erfindungsgemäßen Stereokamerasystem ein Farbfilterarray vor der sensitiven Halbleiterfläche des Bildsensors vorgesehen sein, um die Objekterkennung im Nahbereich, insbesondere der Windschutzscheibe, und die Objektunterscheidung zu verbessern.
  • Eine weitere Ausführungsform der Erfindung betrifft eine Windschutzscheibe für ein Fahrzeug, die zur Verwendung mit einem Stereokamerasystem nach der Erfindung und wie vorhergehend beschrieben ausgebildet ist und Zielmarken zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodule des Stereokamerasystems aufweist.
  • Die Zielmarken zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodule können durch in oder auf der Windschutzscheibe integrierte, nicht transparente Heizdrähte oder Antennenanordnungen gebildet sein, die sich im Kamerasichtfeld befinden.
  • Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
  • In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.
  • Die Zeichnung(en) zeigt/zeigen in
  • 1 eine Windschutzscheibe mit daran montiertem Stereokamerasystem gemäß der Erfindung in einer Ansicht von hinter der Windschutzscheibe;
  • 2 eine Windschutzscheibe, die zur Verwendung mit dem erfindungsgemäßen Stereokamerasystem ausgebildet ist;
  • 3 ein Beispiel eines typischen Zielmusters auf der Windschutzscheibe;
  • 4 die in 1 gezeigte Windschutzscheibe mit daran montiertem Stereokamerasystem in einer Ansicht von vor der Windschutzscheibe;
  • 5 ein verkipptes Stereokamerasystem und der Effekt der Verkippung auf die Kamerabilder; und
  • 6 ein Ausführungsbeispiel eines Kameramoduls des erfindungsgemäßen Stereokamerasystems;
  • 7 eine Seitenansicht eines weiteren schematisch dargestellten Ausführungsbeispiels eines hinter einer Windschutzscheibe angeordneten erfindungsgemäßen Stereokamerasystems und einer Beleuchtungseinkoppeleinrichtung für das Stereokamerasystem zum Verbessern einer Regensensorfunktion des Systems.
  • Im Folgenden können gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen versehen sein. Die im Folgenden angegebenen absoluten Werte und Maßangaben sind nur beispielhafte Werte und stellen keine Einschränkung der Erfindung auf derartige Dimensionen dar.
  • Das in 1 gezeigte erfindungsgemäße Stereokamerasystem 10 ist zur Montage an der Windschutzscheibe 12 eines Fahrzeugs und zur Nutzung in einem Fahrerassistenzsystem zur Verkehrserkennung vorgesehen. Das System ist als eine mechanisch gekoppelte Einheit von zwei Kameramodulen 14 und 16 ausgebildet. Die Kopplung der Kameramodule 14 und 16 kann auf vielfältige Weise erfolgen. Im 1 gezeigten Ausführungsbeispiel ist das Stereokamerasystem 10 im Bereich des Rückspiegels an der Windschutzscheibe 12 befestigt.
  • Ein Kameramodul 14 bzw. 16 des Systems 10 umfasst einen Bildsensor, beispielsweise einen CMOS- oder CCD-Kamerachip, und eine Optik, insbesondere ein Objektiv. Das System 10 weist außerdem eine Elektronik auf, die einen Speicher mit einer Software zum Auswerten der von den Bildsensoren der Kameramodule 14 und 16 erzeugten digitalen Bilddaten und zum Steuern des Systems 10 und einen Prozessor zum Ausführen der Software aufweist.
  • Die thermischen Ausdehnungskoeffizienten der verwendeten Materialien spielen beim erfindungsgemäßen Stereokamerasystem 10 keine dominante Rolle mehr in Bezug auf Fehler in der Objektentfernungserkennung, da die thermische Ausdehnung durch ein insbesondere durch die erwähnte und im erfindungsgemäßen Stereokamerasystem enthaltene Software implementiertes Messverfahren zum Erkennen einer Abweichung oder Lagedifferenz der optischen Achsen der Kameras 14 und 16 des Systems 10 von bzw. zu einer vorgegebenen Lage relativ sicher erkannt werden kann.
  • Die Distanz zwischen den einzelnen Kameramodulen 14 und 16 zueinander muss bekannt sein, um mit dem erfindungsgemäßen Stereokamerasystem 10 Entfernungen zu Objekten sicher zu bestimmen. Diese Distanzbestimmung kann mit einem Messverfahren erfolgen. Auch die Blickrichtung der Kameras 14 und 16 darf sich nicht stark ändern, um die Funktionssicherheit des Systems 10 nicht zu verlieren.
  • Das gekoppelte Kamerasystem 10 kann an einem, auf die Horizontale bezogenen in der Scheibenmitte zentrierten Bereich befestigt sein, z. B. mit einem Windschutzscheibenkleber. In 1 weist das Stereokamerasystem 10 zentrale Befestigungsmittel 18 auf, mit denen mittels eines Windschutzscheibenklebers das System 10 an der Windschutzscheibe 12 montiert werden kann. Ebenfalls ist eine Befestigung an einem mechanisch stabilen Fahrzeugpunkt über der Windschutzscheibe möglich, beispielsweise am Fahrzeugdach.
  • Die beiden Kameraobjektive der Stereokameras bzw. Kameramodule 14 und 16 sind durch ihre Hauptfunktion der Verkehrserkennung auf ihre Hyperfokaldistanz, die z. B. bei etwa 4 Meter liegt, fokussiert. Dadurch wird der Bereich max. Schärfentiefe (ca. 2 Meter bis unendlich) ausgenutzt. Um eine Abweichung oder Lagedifferenz der optischen Achsen der Kameras bzw. Kameramodule des Systems von bzw. zu einer vorgegebenen Lage mit dem Messverfahren erkennen zu können, muss die vordere Schärfentiefengrenze bis zur Windschutzscheibe reichen.
  • Um den sich dadurch ergebenden Schärfentiefenzielkonflikt lösen zu können, ist ein zusätzliches optisches Bauteil bei zumindest einer der Kameras vorgesehen. Dieses zusätzliche optische Bauteil erstreckt sich lediglich über eine Teilfläche im Kamerasichtfeld. Dieser Zielkonflikt mit dem Bereich der nutzbaren Schärfentiefe hat folgende Ursache: Wird durch Fokusverstellung die vordere Schärfentiefengrenze weiter zur Objektivhauptebene gebracht, bewegt sich die hintere Schärfentiefengrenze in einem dazu unproportionalen Maß auch zur Objektivhauptebene hin. Daraus folgt, dass weiter entfernte Objekte nicht mehr schart genug abgebildet werden.
  • Das optische Bauteil kann beispielsweise durch ein partielles optisches Element in der Bildweite, ein abgestuftes optisches Element oder aber auch eine Teillinse vor dem Objektiv implementiert sein. Im Folgenden wird eine multifokale Optik mit der Teillinse beschrieben. Das gleiche Prinzip kann aber auch mit einem partiellen optischen Element ermöglicht werden. Die Teillinse verändert die Fokussierung des Kamerasystems je nach Linsenform und Brechungsindex entweder auf eine weiter entfernte Objektebene als die Hyperfokaldistanz, z. B. bei konkaver Linsenform (Zerstreuungslinse), oder eben auf eine näher liegende Objektebene, z. B. bei konvexer Form (Sammellinse) der Teillinse. 6 zeigt das Kameramodul 14 in einer Frontansicht auf das Objektiv 24 des Moduls 14. Vor dem Objektiv 24 ist die Teillinse 26 angebracht.
  • Das optische Bauteil kann entweder mit den Kameras verbunden sein oder mit der Windschutzscheibe. An die Form (z. B. Linsenradius bei einer sphärischen Linse) und den Brechungsindex (abhängig vom Material- bzw. der Oberflächenbeschichtungswahl) und die Positionierung der Linse besteht die Anforderung, die Kollimatorbedingung zu erfüllen, um die Windschutzscheibe virtuell in der fokussierten Hyperfokaldistanz des Objektivs abzubilden.
  • Dieses System ermöglicht eine scharfe Abbildung der Windschutzscheibe auf einem Teilbereich des Bildsensors, der durch die Größe der Teillinsenfläche im Sichtfeld der Kamera bestimmt wird. Gleichzeitig wird auf den Restbereich des Bildsensors ein Bild der Straßenszenerie mit dem gewohnten Schärfentiefenbereich abgedeckt.
  • Wie in 2 zu erkennen ist, ist auf der Windschutzscheibe 10 ein geeigneter Aufdruck, im Folgenden Zielmuster 20 genannt, angebracht. Das Zielmuster 20 ist so gewählt, dass damit bestmöglich Positionsänderungen zwischen Kamerasystem und Windschutzscheibe erkannt werden können. Eine Möglichkeit für ein Zielmuster wäre z. B. ein Kreuz 12, wie es in 3 dargestellt ist, welches durch einen aufgedruckten Maßstab in horizontaler Richtung und einen Maßstab in vertikaler Richtung gebildet wird. Der Lack für das Zielmuster sollte einen Brechungsindex haben der ungefähr dem des Scheibenmaterials entspricht. Alternativ wäre eine aufgeklebte Folie im Sichtbereich der Teillinse denkbar, die das Zielmuster enthält.
  • Auf der in 2 gezeigten Windschutzscheibe 12 ist ferner ein Aufdruck 22 zu erkennen, der Aussparungen für die Kameraobjektive des Stereokamerasystems 10 aufweist. In den Aussparungen ist jeweils ein Zielmuster 20 in Form eines Kreuzes vorgesehen.
  • In 4 ist die Windschutzscheibe 12 mit montiertem Stereokamerasystem 10 in einer Frontansicht gezeigt, also einer Sicht von außerhalb des Fahrzeugs auf die Scheibe 12. Die Objektive der Kameramodule 14 und 16 sind hinter den Aussparungen angeordnet. Die Kameramodule sind hierbei derart ausgerichtet, dass die jeweilige Teillinse vor dem Objektiv des Moduls den Bereich mit dem Zielmuster auf der Windschutzscheibe scharf in der Bildebene des Bildsensors abbildet.
  • Die beiden mechanisch gekoppelten Kameras des Stereokamerasystems mit einer angenommenen Distanz von 20 cm zueinander sehen in ihrem Sichtfeld in einem Bereich das Verkehrsgeschehen und in einem anderen deutlich kleiner zu wählenden Bereich das Zielmuster durch die Teillinse. Beide Bilder sind scharf fokussiert. Eine Verkippung der Teillinse nach der Scheimpflugbedingung ermöglicht ein scharfes Bild des geneigten Windschutzscheibenausschnittes auf dem Bildsensor. Der thermische Ausdehnungskoeffizient einer Windschutzscheibe liegt deutlich unter dem von Metallen und weit unter dem von Kunststoffen welche als mechanische Kopplung der Kameras in Frage kommen, d. h. das Zielmuster ist in seiner Position relativ beständig bzw. das Ausmaß einer thermischen Ausdehnung ist ungefähr bekannt aus den Daten der Windschutzscheibe. Bewegen sich nun die Stereokameras durch thermische Ausdehnung, Vibration, Stöße oder Materialermüdung bei Kunststoff als Koppelelement aus ihrer Ausgangsposition heraus, werden markante Punkte des Zielmusters an anderen Pixelpositionen abgebildet. Diese markanten Punkte sind zum einen der Kreuzmittelpunkt und der Abstand der Maßstabslinien voneinander. Eine Krümmung der Scheibe kann dadurch erkannt werden, dass sich das Kreuz in seiner eigentlichen Form verändert anstatt nur die Position zu ändern. Aus dieser Veränderung kann der Krümmungsradius der Scheibe im Kamerasichtfeld berechnet werden bzw. die Veränderung der Kamerablickrichtung bei einer dreidimensionalen Änderung der Kamerabefestigung in Bezug zur Scheibe und das bei jeder einzelnen Kamera. Diese Information ist wichtig, damit festgestellt werden kann, wann die Kameras in verschiedene Richtungen schauen. Zum Einen ist dies möglich durch die Linsenwirkung der gekrümmten Windschutzscheibe, zum Anderen durch eine Veränderung der Kamerablickrichtung durch die Befestigung. Diese Veränderung kann durch eine bekannte Abweichung vom Sollwert in einer Software des Stereokamerasystems oder durch mechanische Lageänderung der optischen Achse kompensiert werden. Eine einfache mechanische Kompensation stellt ein Bogen als zusätzliches Koppelelement dar, welcher die schielende Kamera definiert in einem geeigneten Rollwinkel nachführt.
  • 5 zeigt die Auswirkungen eines verkippten und an der Windschutzscheibe 12 befestigten Stereokamerasystems 10. Unter dem System 10 sind die von den Bildensoren der jeweiligen Kameramodule erzeugten Bilder dargestellt. Deutlich ist zu erkennen, dass im dem Nahbereich zugeordneten Teilbereich des Bildesensors das abgebildete, auf der Windschutzscheibe 12 angebrachte Zielmuster verkippt ist, d. h. das Zielmuster an anderen als den vorgesehenen Pixeln in dem vom Bildsensor erzeugten Bild abgebildet ist. Durch eine Software-technische Auswertung der Bilder der beiden Kameramodule kann dadurch eine Verkippung des Stereokamerasystems und aufgrund der „verzerrten” Darstellung der Zielmuster in den Bildern auch die Art der Verkippung ermittelt werden. Eine geeignete Softwarelösung wäre z. B. eine angepasste Bildentzerrung.
  • Die Scheibendurchbiegung bzw. eine Positionsbestimmung der Kameras zueinander kann auch mit optischen Messmethoden erfolgen. Durch Projektion einer Lichtquelle, z. B. mit IR LED's oder Laser projiziert durch eine geeignete Linse z. B. einer Zylinderlinse, kann z. B. eine Linie in einem definierten Winkel (Zylinderlinsendrehung) auf die Windschutzscheibe projiziert werden. Die Lichtquelle ist fest mit dem Kamerasystem verbunden und befindet sich vom Mittelpunkt des Stereokamerasystems betrachtet weiter weg als die zugehörige Kamera. Die Projektion kann in definierten Zeitpunkten erfolgen, die abhängig von Temperaturänderungen oder festgelegten Zeitabständen z. B. Motorstart gewählt sein können. Die projizierte Linie, welche auf dem Bildsensor bedingt durch die gekrümmte Scheibe eine von der Geraden abweichende Form erhält, erfährt bei einer zusätzlichen Scheibenkrümmung eine deutliche Änderung ihrer Ausgangsform. Diese Änderung wird durch Bildverarbeitung des Stereokamerasystems erfasst.
  • Eine zweites Projektionssystem auf der anderen Seite, also näher vom Mittelpunkt des Stereokamerasystems angebracht als die zugehörige Kamera, ermöglicht eine Bestimmung der Positionsänderung der Kamera durch ein Wandern des Schnittpunktes der 2 projizierten Linien.
  • Eine weitere Möglichkeit ist durch oben geschriebene Linienprojektion gegeben, mit dem Unterschied, dass die Zylinderlinse drehbar gelagert ist. Die Projektion der Lichtquelle auf die Windschutzscheibe erfolgt in diesem Fall zu bestimmten Zeiten und bestimmten Drehwinkeln der Zylinderlinse.
  • Alternativ wäre auch eine Projektion eines Lichtpunktes denkbar, der sich durch seine Helligkeit stets von der Umgebungsbeleuchtung abhebt und auf dem Bildsensor in seiner Ausdehnung einen bestimmten Pixelbereich einnimmt. Eine Verschiebung des Kamerasystems wäre an einem Wandern des beleuchteten Pixelbereichs erkennbar, und eine Winkeländerung durch eine Verzerrung des Lichtpunktes auf dem Bildsensor. Auch diese Variante der Erkennung von Justageabweichungen benötigt eine multifokale Optik wie Sie z. B. durch oben beschriebene Teillinse geschaffen wird.
  • Das erfindungsgemäße Stereokamerasystem besitzt folgende Vorteile: Geringere Toleranzanforderungen an die Kopplung der Kameramodule deren Preisvorteile über den Kosten für eine multifokale Optik liegen, unabhängig von den möglichen Zusatzfunktionen durch die multifokale Optik wie Scheibentyperkennung, Regensensor oder Wischqualitätserkennung der Scheibenwischanlage.
  • Das erfindungsgemäße Stereokamerasystem ermöglicht Zusatzfunktionen, die im Folgenden im Überblick erläutert werden.
  • Durch die ermöglichte Nahfokussierung können verschiedene Windschutzscheiben erkannt werden. Beispielsweise kann eine Identifikationsnummer, aufgeklebt oder aufgedruckt, durch entsprechende Bildverarbeitung für eine individuelle Kameraeinstellung benutzt werden.
  • Die Nahfokussierung ermöglicht ferner eine Nutzung als Schmutz- und Regensensorsystem auch unter Ausnutzung des Zielmusters zur Bestimmung von Objektgröße und eventuell Objektart durch eine Vergleichsmethode. Diese objekterkennende Art der Regen- und Schmutzerkennung ermöglicht in der Zukunft z. B. eine Erkennung und Unterscheidung von Tropfengröße, Schnee und besonders auch Insekten auf der Windschutzscheibe, welche durch eine gezielte Erkennung ein besonderes Wischprogramm auslösen könnten.
  • Weiterhin wird ein Test für die Funktion der Wischanlage durch das erfindungsgemäße Stereokamerasystem ermöglicht: kommt Wasser oder nicht; Beurteilung des Wischergebnisses in Bezug auf Schlieren, und Rückständen von z. B. Insekten, Staub etc. nach einer Scheibenreinigung.
  • 7 zeigt in Seitenansichten schematisch ein weiteres Ausführungsbeispiel des erfindungsgemäßen Stereokamerasystems.
  • In 7 ist oben eine Seitenansicht eines erfindungsgemäßen Stereokamerasystems mit einer zusätzlichen Regensensorfunktion dargestellt. Vor der sensitiven Fläche 4 des Bildsensors eines Kameramoduls des Systems ist ein partielles optisches Element 8 zur bifokalen Abbildung auf die sensitive Fläche des Bildsensors angeordnet. Vor dem partiellen optischen Element 8 befindet sich das Objektiv 1 des Kameramoduls mit der Hauptebene 2. Der Bildsensor ist ferner mit einem Abdeckglas 3 versehen. Die Sensitivität der Regensensorfunktion kann durch Störfaktoren von Lichtquellen aus dem Fernbereich eingeschränkt werden. Eine modulierte annähernd monochromatische Beleuchtung und die Farbfilter des Bayer-Patterns können zur Signalfilterung verwendet werden. Zur besseren Unterscheidung von Objektkanten und Störlichteinflüssen wird ein Spiegel(element) S1 vorgeschlagen, der (das) auch mit einem Einkopplungselement zur Beleuchtung kombiniert sein kann, wie es unten in 7 dargestellt ist. Der Spiegel S1 hat auf das Kamerasichtfeld bezogen einen entgegengesetzten Nickwinkel wie die geneigte Windschutzscheibe 5. Die Spiegelkante befindet sich in der Mitte der Nahbereichsabbildung und stellt somit eine Symmetrieebene dar. Regentropen 6 auf der Windschutzscheibe 5 werden auf dem Bildsensor 4 an dieser Symmetrieebene einmal normal und einmal gespiegelt abgebildet. Störfaktoren aus dem Fernbereich werden dagegen nur auf einer der beiden Ebenen abgebildet. Diese gesamte Anordnung ist hinter der gekrümmten Windschutzscheibe 5 angeordnet. Der Strahlengang der Nahbereichsabbildung S2 über ein Spiegelelement S1, der Strahlengang der Nahbereichsabbildung S3 ohne Spiegelelement und der Strahlengang Fernbereichsabbildung S4 sind ebenfalls dargestellt.
  • Besonders in der Kombination mit einem Beleuchtungseinkoppelelement ist das Spiegelelement S1 eine interessante Möglichkeit zur Unterscheidung zwischen Nahbereich und Fernbereich. Die Beleuchtungseinkopplung kann über einen Lichtleitkörper mit einem integrierten Hohlspiegelprofil in zylindrischer Ausführung erfolgen. Die Bildauswertung verwendet bei einem aufgenommenen Bild die Symmetrie als Parameter zur Trennung zwischen Objekten auf der Windschutzscheibe und Störfaktoren aus der Umgebung. In 7 ist unten eine solche Anordnung zum Einkoppeln einer Beleuchtung schematisch dargestellt. Hinter der Windschutzscheibe a ist ein beidseitiges Spiegelelement d (entsprechend S1) angeordnet, das von einem Lichtemitter mit Optik (Zylinderlinse) c emittiertes Licht auf einen Konkavfreiformspiegel b reflektiert. Vom Konkavfreiformspiegel b wird wiederum das Licht des Lichtemitters b in die Windschutzscheibe a eingekoppelt, von der es in Richtung zum Stereokamerasystem geführt wird, das oberhalb der gezeigten Anordnung angeordnet ist, wie in 7 oben gezeigt.
  • Bezugszeichenliste
  • 1
    Objektiv
    2
    Hauptebene Objektiv
    3
    Abdeckglas Bildsensor
    4
    Bildsensor (sensitive Fläche)
    5
    Windschutzscheibe
    6
    Objekt auf der Windschutzscheibe (hier Regentropfen)
    7
    Streulichtblende
    8
    partielles optisches Element zur bifokalen Abbildung
    a
    Windschutzscheibe
    b
    Konkavfreiformspiegel (zylindrisch)
    c
    Lichtemitter mit Optik (zur Zylinderlinse)
    d
    beidseitiges Spiegelelement
    S1
    Spiegelelement
    S2
    Strahlengang Nahbereichsabbildung über Spiegelelement
    S3
    Strahlengang Nahbereichsabbildung
    S4
    Strahlengang Fernbereichsabbildung
    10
    Stereokamerasystem
    12
    Windschutzscheibe
    14, 16
    Kameramodul
    18
    Befestigungsmittel
    20
    Zielmarke
    22
    Windschutzscheiben-Aufdruck
    24
    Kameraobjektiv
    26
    Teillinse

Claims (18)

  1. Stereokamerasystem (10), das zum Einsatz in Kraftfahrzeugen hinter einer geneigten Windschutzscheibe (5; 12) ausgebildet ist, wobei mindestens eines der mindestens zwei Kameramodule (14, 16) des Systems ein zusätzliches partiell angeordnetes, zeitweise zugeführtes oder als Strahlteiler wirkendes optisches Element (8; 26) aufweist und dadurch als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen Schärfentiefenbereichen auf einem Bildsensor (4) verwendet werden kann und der Bildsensor dadurch mindestens zwei Teilbereiche mit unterschiedlichen optischen Objektweiten beinhaltet, wobei eine optische Objektweite zur Erfassung eines Objekts im Nahbereich (S2, S3), das zum Ausrichten der Stereokameraanordnung dient, vorgesehen ist.
  2. Stereokamerasystem nach Anspruch 1, dadurch gekennzeichnet, dass die mindestens zwei Bildsensor-Teilbereiche zusätzliche Filterelemente aufweisen, um ferner unterschiedliche Intensitätsverteilungen des Wellenlängenspektrums zu erfassen.
  3. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zusätzliche optische Element in mindestens einer der optischen Komponenten des mindestens einen Kameramoduls als partielle Teillinse (26) vor einem Objektiv (24) des Kameramoduls (14), als partielles optisches Element (8), insbesondere als planparallele Platte, hinter dem Objektiv (1) oder als optischer Strahlteiler oder Spiegelelement ausgebildet ist und damit eine bifokale Abbildung auf mindestens zwei Teilbereichen des Bildsensors ermöglicht.
  4. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es ausgebildet ist, die mindestens zwei unterschiedlichen Schärfentiefenbereiche gleichzeitig oder zeitlich getrennt durch eine Zuführung des zusätzlichen optischen Elements (8; 26) zu erreichen, wobei die Zuführung des zusätzlichen optischen Elements in das gesamte Sichtfeld der mindestens zwei Kameramodule (14, 16) über ein Chopperrad mit Linsen einer oder unterschiedlicher Brechkraft und Dicke vor dem Objektiv, einer oder mehrerer planparalleler Elemente, die sich durch ihre Dicke oder ihren Brechungsindex unterscheiden, hinter dem Objektiv eines Kameramoduls oder auch durch Auffüllen eines nicht festen, den gewünschten Wellenlängenbereich gut transmittierenden und im Brechungsindex von Luft abweichenden Mediums hinter dem Objektiv eines Kameramoduls erfolgt.
  5. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es ausgebildet ist, die mindestens zwei einzelnen Kameramodule (14, 16) gleichzeitig oder zeitlich getrennt auf dem Teilbereich des Bildsensors (4), dessen Schärfentiefengrenzen einer Nahbereichsfokussierung entsprechen, zur Erkennung von Beschlag auf der Scheibeninnenseite, Regen, Schmutz oder anderer die Sicht behindernder Ereignisse zu nutzen, wobei die Schärfentiefenbereiche durch gezielte Auslegung der zusätzlichen optischen Komponenten so gewählt sind, dass Objektkanten von einer Kantendetektion, unterschiedliche Objekte durch definierte Klassifikatoren oder dadurch bewirkte Abweichungen im Frequenzspektrum durch eine FFT in einer darauf folgenden Bildverarbeitungsstufe vom System relativ sicher erkannt werden können.
  6. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es ausgebildet ist, die mindestens zwei einzelnen Kameramodule (14, 16) gleichzeitig oder zeitlich getrennt auf dem Teilbereich des Bildsensors (4), dessen Schärfentiefengrenzen einer Nahbereichsfokussierung entsprechen, zur Erkennung von gezielt angeordneten Zielmarken auf der Scheibeninnenseite, innerhalb der Windschutzscheibe oder auf einem speziellen Trägerelement vor der Scheibeninnenseite zu nutzen, wobei das System ferner ausgebildet ist, aus erkannten Abweichungen der Zielmarkenform, Zielmarkengröße, Abbildungsschärfe und vor allem der Abbildungsposition auf eine Verschiebung der einzelnen Kameramodule der Stereokameraanordnung in alle Richtungen bezogen auf die Zielmarke zu schließen, wobei mit Hilfe eines in einem nicht flüchtigen Speicher der Kameraelektronik gespeicherten Musterbildes Abweichungen erkannt werden.
  7. Stereokamerasystem nach Anspruch 6, dadurch gekennzeichnet, dass es ausgebildet ist, eine Abweichung der Zielmarkenpositionen und eine damit erfolgte Veränderung der Blickrichtungen oder des Abstands der mindestens zwei Kameramodule voneinander als Kompensationsparameter für eine ausgeführte Software der verschiedenen Kamerafunktionen und/oder für eine Kompensation zur Verfügung zu stellen, die durch Stellglieder mechanisch auf die Stereokameraanordnung erfolgt.
  8. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es ausgebildet ist, erkannte Objekte in ihrer Art und ihrer quantitativen Ausdehnung in einem dafür vorgesehenen Windschutzscheibensichtfeld zu ermitteln und davon abhängig gezielte Botschaften an andere Steuergeräte in Kraftfahrzeugen auszugeben, deren Inhalt eine Aktivierung der Scheibenwisch- und oder Scheibenreinigungsanlage oder eine Aktivierung der Lüftung und oder Scheibenheizung bewirkt.
  9. Stereokamerasystem nach Anspruch 8, dadurch gekennzeichnet, dass eine gezielte Beleuchtung und/oder eine partiell angeordnete Heizquelle zur Unterstützung der Erkennung von Objekten auf der Windschutzscheibe vorgesehen ist, wobei die Heizquelle dazu vorgesehen ist, insbesondere eine örtlich begrenzte Verdunstung von Beschlag auf der Windschutzscheibeninnenseite bzw. ein Antauen von Eis auf der Windschutzscheibenaussenseite zu bewirken.
  10. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens eines der Kameramodule auf einen geneigten Spiegel oder Strahlteiler gerichtet ist, welcher als Feldspiegel zur Windschutzscheibenabbildung verwendet wird, wobei dieser Spiegel insbesondere auch zur Verwendung als Umgebungslichtsensor, Trägerelement für die Zielmarke und oder als Symmetrieebene zur Unterscheidung zwischen Nah- und Fernobjekten vorgesehen ist.
  11. Stereokamerasystem nach Anspruch 10, dadurch gekennzeichnet, dass das geneigte Spiegelelement einen Teil eines Beleuchtungselements für das Sichtfeld innerhalb des Schärfentiefenbereichs der Nahbereichsfokussierung darstellt.
  12. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine zusätzliche Beleuchtung mit einer an den optischen Aufbau optimierten spektralen Eigenschaft für mindestens den Schärfentiefenbereich, welcher durch die Nahbereichsfokussierung begrenzt ist, vorgesehen ist, wobei die Beleuchtung entweder durch Reflexion an der Scheibeninnenseite, durch Totalreflexion an der Innenoberfläche der Scheibenaußenseite oder durch eine Durchleuchtung der Scheibe erfolgt.
  13. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es ausgebildet ist, mindestens zwei unterschiedliche optische Bauelemente zur Ermöglichung einer bifokalen Abbildung in Kombination bzw. in zyklischem Wechsel einzusetzen.
  14. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es ferner ausgebildet ist, auch passierende Scheibenwischer zu erkennen und in einem gegebenen Regelkreis auf einen korrekten Bewegungsablauf zu überprüfen, und insbesondere anderen Kamerafunktionen das Ereignis des passierenden Scheibenwischers mitzuteilen.
  15. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es ferner ausgebildet ist, die Nahbereichsfokussierung auf der Windschutzscheibe zum Einlesen von aufgebrachten Codes, die bestimmte Parameter der Windschutzscheibe enthalten, im Windschutzscheibenschwarzdruck auszuwerten.
  16. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Farbfilterarray vor der sensitiven Halbleiterfläche des Bildsensors vorgesehen ist, um die Objekterkennung im Nahbereich, insbesondere der Windschutzscheibe, und die Objektunterscheidung zu verbessern.
  17. Windschutzscheibe (12) für ein Fahrzeug, die zur Verwendung mit einem Stereokamerasystem (10) nach einem der vorhergehenden Ansprüche ausgebildet ist und Zielmarken (20) zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodule (14, 16) des Stereokamerasystems aufweist.
  18. Windschutzscheibe nach Anspruch 17, dadurch gekennzeichnet, dass die Zielmarken (20) zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodule durch in oder auf der Windschutzscheibe integrierte, nicht transparente Heizdrähte oder Antennenanordnungen gebildet sind, die sich im Kamerasichtfeld befinden.
DE102010023591A 2010-06-12 2010-06-12 Stereokamerasystem Withdrawn DE102010023591A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102010023591A DE102010023591A1 (de) 2010-06-12 2010-06-12 Stereokamerasystem
PCT/DE2011/001115 WO2011153989A2 (de) 2010-06-12 2011-05-26 Stereokamerasystem
DE112011101083T DE112011101083A5 (de) 2010-06-12 2011-05-26 Stereokamerasystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010023591A DE102010023591A1 (de) 2010-06-12 2010-06-12 Stereokamerasystem

Publications (1)

Publication Number Publication Date
DE102010023591A1 true DE102010023591A1 (de) 2011-12-15

Family

ID=44910076

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102010023591A Withdrawn DE102010023591A1 (de) 2010-06-12 2010-06-12 Stereokamerasystem
DE112011101083T Withdrawn DE112011101083A5 (de) 2010-06-12 2011-05-26 Stereokamerasystem

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE112011101083T Withdrawn DE112011101083A5 (de) 2010-06-12 2011-05-26 Stereokamerasystem

Country Status (2)

Country Link
DE (2) DE102010023591A1 (de)
WO (1) WO2011153989A2 (de)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017355A1 (de) * 2011-04-16 2012-10-18 Conti Temic Microelectronic Gmbh Multifokales Abbildungssystem mit optischen Filtern
DE102012012501A1 (de) * 2012-06-21 2013-12-24 Volkswagen Aktiengesellschaft Kamerasystem für ein Kraftfahrzeug
WO2014015867A1 (de) 2012-07-27 2014-01-30 Conti Temic Microelectronic Gmbh Verfahren zur ausrichtung zweier bildaufnahmeelemente eines stereokamerasystems
DE102012021885A1 (de) 2012-10-27 2014-04-30 Günter Fendt Linsenanordnung für ein Umgebungserfassungssystem mit dieser ein "Stereo-Bild" erzeugt werden kann, sowie ein dazugehöriges Verfahren und ein damit ausgestattetes Fahrerassistenzsystem und/oder Kraftfahrzeug (Kfz)
DE102013102207A1 (de) 2013-03-06 2014-09-11 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
DE102014209197A1 (de) * 2014-05-15 2015-11-19 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
WO2016005232A1 (de) 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102015010443A1 (de) 2015-08-11 2016-01-28 Daimler Ag Assistenzkamera und modulares Fahrzeug-Kamerasystem
DE102015217265A1 (de) * 2015-09-10 2017-03-16 Conti Temic Microelectronic Gmbh Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen
CN106915303A (zh) * 2017-01-22 2017-07-04 西安科技大学 基于深度数据和鱼眼图像的汽车a柱盲区透视方法
WO2018033365A1 (de) * 2016-08-15 2018-02-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum erfassen eines lichtstrahlenbündels einer umgebungszone eines kraftfahrzeugs in zumindest zwei verschiedenen brennweiten mit einem kamerasystem, sowie kamerasystem und kraftfahrzeug
EP2937810B1 (de) * 2014-04-24 2019-05-08 Sick Ag Kamera und Verfahren zur Erfassung eines bewegten Stroms von Objekten
DE102019003562A1 (de) 2019-05-21 2020-01-02 Daimler Ag Verfahren zur Auswertung von mittels einer Kamera eines Fahrzeugs erfassten Bildern
DE102019130316B3 (de) 2019-11-11 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit einem Kamerasystem zur optischen Abtastung einer Umgebung des Fahrzeugs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004015040A1 (de) * 2004-03-26 2005-10-13 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
DE102004037871B4 (de) * 2004-08-04 2006-10-12 Siemens Ag Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
DE102008062977A1 (de) * 2008-12-23 2010-06-24 Adc Automotive Distance Control Systems Gmbh Optisches Modul mit multifokaler Optik zur Erfassung von Fern- und Nahbereich in einem Bild

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005225250A (ja) * 2004-02-10 2005-08-25 Murakami Corp 車載用監視装置
DE102007050558A1 (de) * 2007-10-23 2008-05-15 Daimler Ag Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung
EP2364553A2 (de) * 2008-11-24 2011-09-14 Carl Zeiss Optronics GmbH Stereokameraeinrichtungen, verfahren zur fortlaufenden automatischen kalibrierung einer stereokameraeinrichtung, computerprogramm, computerprogrammprodukt und überwachungsvorrichtung für windkraftanlagen, gebäude mit transparenten bereichen, start- und landebahnen und/oder flugkorridore von flughäfen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004015040A1 (de) * 2004-03-26 2005-10-13 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
DE102004037871B4 (de) * 2004-08-04 2006-10-12 Siemens Ag Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
DE102008062977A1 (de) * 2008-12-23 2010-06-24 Adc Automotive Distance Control Systems Gmbh Optisches Modul mit multifokaler Optik zur Erfassung von Fern- und Nahbereich in einem Bild

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017355A1 (de) * 2011-04-16 2012-10-18 Conti Temic Microelectronic Gmbh Multifokales Abbildungssystem mit optischen Filtern
DE102011017355B4 (de) 2011-04-16 2022-08-11 Continental Autonomous Mobility Germany GmbH Multifokales Abbildungssystem mit optischen Filtern
DE102012012501B4 (de) 2012-06-21 2019-10-24 Volkswagen Aktiengesellschaft Kamerasystem für ein Kraftfahrzeug
DE102012012501A1 (de) * 2012-06-21 2013-12-24 Volkswagen Aktiengesellschaft Kamerasystem für ein Kraftfahrzeug
WO2014015867A1 (de) 2012-07-27 2014-01-30 Conti Temic Microelectronic Gmbh Verfahren zur ausrichtung zweier bildaufnahmeelemente eines stereokamerasystems
DE102012106834A1 (de) 2012-07-27 2014-01-30 Conti Temic Microelectronic Gmbh Verfahren zur Ausrichtung zweier Bildaufnahmeelemente eines Stereokamerasystems
US10547827B2 (en) 2012-07-27 2020-01-28 Conti Temic Microelectronic Gmbh Method for aligning two image recording elements of a stereo camera system
DE102012021885A1 (de) 2012-10-27 2014-04-30 Günter Fendt Linsenanordnung für ein Umgebungserfassungssystem mit dieser ein "Stereo-Bild" erzeugt werden kann, sowie ein dazugehöriges Verfahren und ein damit ausgestattetes Fahrerassistenzsystem und/oder Kraftfahrzeug (Kfz)
DE102013102207A1 (de) 2013-03-06 2014-09-11 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
EP2937810B1 (de) * 2014-04-24 2019-05-08 Sick Ag Kamera und Verfahren zur Erfassung eines bewegten Stroms von Objekten
US10106126B2 (en) 2014-05-15 2018-10-23 Conti Temic Microelectronic Gmbh Apparatus and method for detecting precipitation for a motor vehicle
DE102014209197A1 (de) * 2014-05-15 2015-11-19 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE102014213536A1 (de) 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels
WO2016005232A1 (de) 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
US11087438B2 (en) 2014-07-11 2021-08-10 Bayerische Motoren Werke Aktiengesellschaft Merging of partial images to form an image of surroundings of a mode of transport
DE102015010443A1 (de) 2015-08-11 2016-01-28 Daimler Ag Assistenzkamera und modulares Fahrzeug-Kamerasystem
DE102015217265A1 (de) * 2015-09-10 2017-03-16 Conti Temic Microelectronic Gmbh Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen
WO2018033365A1 (de) * 2016-08-15 2018-02-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum erfassen eines lichtstrahlenbündels einer umgebungszone eines kraftfahrzeugs in zumindest zwei verschiedenen brennweiten mit einem kamerasystem, sowie kamerasystem und kraftfahrzeug
CN106915303A (zh) * 2017-01-22 2017-07-04 西安科技大学 基于深度数据和鱼眼图像的汽车a柱盲区透视方法
DE102019003562A1 (de) 2019-05-21 2020-01-02 Daimler Ag Verfahren zur Auswertung von mittels einer Kamera eines Fahrzeugs erfassten Bildern
DE102019130316B3 (de) 2019-11-11 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit einem Kamerasystem zur optischen Abtastung einer Umgebung des Fahrzeugs

Also Published As

Publication number Publication date
DE112011101083A5 (de) 2013-04-11
WO2011153989A2 (de) 2011-12-15
WO2011153989A3 (de) 2012-03-29

Similar Documents

Publication Publication Date Title
DE102010023591A1 (de) Stereokamerasystem
EP2370297B1 (de) Optisches modul mit multifokaler optik zur erfassung von fern- und nahbereich in einem bild
EP2452213B1 (de) Optisches modul zur gleichzeitigen fokussierung auf zwei sichtbereiche
EP2384292B1 (de) Kameraanordnung für ein kraftfahrzeug und kraftfahrzeug mit einer kameraanordnung
DE69836344T2 (de) Regensensor mit nebelerkennung
EP1580092B1 (de) Kamera in einem Kraftfahrzeug
EP2558336B1 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren eines fahrzeugs durch detektion von wetterbedingten sichteinschränkungen
DE102004037871B4 (de) Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
DE102005000650A1 (de) Vorrichtung zur Erfassung visueller Daten
DE102009027512A1 (de) Vorrichtung zur Erfassung von Bilddaten
EP2715446A1 (de) Kamerasystem für ein fahrzeug
DE19909986C2 (de) Optoelektronische Überwachungseinrichtung für ein Kraftfahrzeug
DE102010043479B4 (de) Kameraanordnung und Verfahren zum Betreiben einer Kameraanordnung für ein Kraftfahrzeug
WO2013163991A1 (de) Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
WO2013104475A1 (de) Kamerasystem, insbesondere für ein fahrzeug
DE102014209197A1 (de) Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
WO2011153990A1 (de) Optische vorrichtung mit einem bifokalen optischen element und einem spiegelelement
WO2020225123A1 (de) AUßENLEUCHTEINRICHTUNG FÜR EIN KRAFTFAHRZEUG
DE102006056180A1 (de) Verfahren und Vorrichtung zum Kalibrieren eines Bildsensors im Kraftfahrzeug
EP3963505B1 (de) Objekterkennungssystem mit flächigem trägermedium zum anordnen auf einem gerät
WO2013091619A1 (de) Verfahren und vorrichtung zur ermittlung von feuchtigkeit auf einer fahrzeugscheibe
EP3733455B1 (de) Sichtsystem für ein fahrzeug
US7491939B2 (en) Photosensitive sensor and applications in the automotive field
EP2136403A2 (de) Bildaufnahmeanordnung und Nachtsichtsystem mit einer Bildaufnahmeanordnung
DE102009053452A1 (de) Kamerasystem mit flachem Aufbau

Legal Events

Date Code Title Description
R163 Identified publications notified
R118 Application deemed withdrawn due to claim for domestic priority

Effective date: 20121025