DE102011018311B4 - Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing - Google Patents

Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing Download PDF

Info

Publication number
DE102011018311B4
DE102011018311B4 DE102011018311.6A DE102011018311A DE102011018311B4 DE 102011018311 B4 DE102011018311 B4 DE 102011018311B4 DE 102011018311 A DE102011018311 A DE 102011018311A DE 102011018311 B4 DE102011018311 B4 DE 102011018311B4
Authority
DE
Germany
Prior art keywords
image
image processing
optical device
wavelength
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102011018311.6A
Other languages
German (de)
Other versions
DE102011018311A1 (en
Inventor
Konrad Rothenhäusler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102011018311.6A priority Critical patent/DE102011018311B4/en
Publication of DE102011018311A1 publication Critical patent/DE102011018311A1/en
Application granted granted Critical
Publication of DE102011018311B4 publication Critical patent/DE102011018311B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/028Mountings, adjusting means, or light-tight connections, for optical elements for lenses with means for compensating for changes in temperature or for controlling the temperature; thermal stabilisation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

Optische Vorrichtung (1), zur Erfassung von Bilddaten für eine Bildverarbeitung, umfassendein Bildaufnahmeelement (2) mit einer für elektromagnetische Strahlung (4, W1, W2, W3) sensitiven Fläche, und ein Abbildungssystem (3), das im Strahlengang der auf die sensitive Fläche des Bildaufnahmeelements (2) auftreffenden elektromagnetischen Strahlung (4, W1, W2, W3) angeordnet ist, wobeidas Bildaufnahmeelement (2) mit einem Wellenlängenfilter ausgestaltet ist, durch den elektromagnetische Strahlung aus zumindest zwei Wellenlängenbereichen (W1, W2, W3) unterschieden werden kann, unddas Abbildungssystem (3) eine chromatische Aberration aufweist, so dass elektromagnetische Strahlung (4) aus einem Entfernungsbereich durch das Abbildungssystem (3) für unterschiedliche Wellenlängenbereiche (W1, W2, W3) in unterschiedliche Bildebenen (B1, B2, B3) fokussiert projiziert wird,dadurch gekennzeichnet, dasswenigstens ein Temperatursensor vorgesehen ist, durch den wenigstens eine Betriebstemperatur (BT) ermittelt wird, undder Wellenlängenbereich (W1, W2, W3) der für die Bildverarbeitung verwendeten Bilddaten in Abhängigkeit der Betriebstemperatur (BT) gewählt wird.An optical device (1) for capturing image data for image processing, comprising an image-receiving element (2) having a surface sensitive to electromagnetic radiation (4, W1, W2, W3), and an imaging system (3) operating in the optical path The image pickup element (2) is designed with a wavelength filter, by which electromagnetic radiation from at least two wavelength ranges (W1, W2, W3) can be distinguished , and the imaging system (3) has a chromatic aberration so that electromagnetic radiation (4) is projected from a distance range focused by the imaging system (3) for different wavelength ranges (W1, W2, W3) into different image planes (B1, B2, B3) , characterized in that at least one temperature sensor is provided, by which at least one operating temperature ur (BT), and the wavelength range (W1, W2, W3) of the image data used for the image processing is selected as a function of the operating temperature (BT).

Description

Die Erfindung betrifft eine optische Vorrichtung sowie ein Verfahren zur Erfassung von Bilddaten für eine Bildverarbeitung, insbesondere zum Einsatz in einem Kraftfahrzeug.The invention relates to an optical device and to a method for acquiring image data for image processing, in particular for use in a motor vehicle.

Heutzutage werden in Kraftfahrzeugen vermehrt Kamerasysteme eingesetzt. Die Kamerasysteme dienen dabei in der Regel als Umfeldsensoren für eines oder mehrere Fahrerassistenzsysteme, beispielsweise zur Erkennung verschiedenster Objekte im Fahrzeugumfeld oder auch im Fahrzeuginnenraum. Beispiele hierfür sind Fahrzeugkameras zur Erkennung der Fahrbahnmarkierungen sowie Nachtsichtkameras oder Stereokameras als optische Abstandssensoren. Weiterhin ist es bekannt, Kameras in Fahrzeugen für Regensensorsysteme einzusetzen. Das jeweilige Kamerasystem ist dabei in der Regel hinter der Windschutzscheibe des Fahrzeugs angeordnet und blickt in Fahrtrichtung durch diese hindurch.Today, camera systems are increasingly used in motor vehicles. As a rule, the camera systems serve as environment sensors for one or more driver assistance systems, for example for detecting a wide variety of objects in the vehicle environment or even in the vehicle interior. Examples include vehicle cameras for detecting the lane markings and night vision cameras or stereo cameras as optical distance sensors. Furthermore, it is known to use cameras in vehicles for rain sensor systems. The respective camera system is usually arranged behind the windshield of the vehicle and looks in the direction of travel through it.

Eine Kamera zur Erfassung einer Fahrzeugumgebung durch eine Fahrzeugscheibe hindurch, ist beispielsweise aus der DE 10 2009 000 005 A1 bekannt. Diese setzt sich unter anderem aus einer Kameraoptik bzw. einem Objektiv und einem Bildsensor zusammen. Das Objektiv umfasst mindestens eine Linse, die zur Projizierung optischer Strahlung auf eine Sensorfläche des Bildsensors dient. Das Objektiv und der Bildsensor sind dabei in einem gemeinsamen Gehäuse angeordnet bzw. über eine Haltestruktur miteinander verbunden.A camera for detecting a vehicle environment through a vehicle window, for example, from DE 10 2009 000 005 A1 known. This consists among other things of a camera optics or a lens and an image sensor together. The objective comprises at least one lens which serves for the projection of optical radiation onto a sensor surface of the image sensor. The lens and the image sensor are arranged in a common housing or connected to each other via a support structure.

Kamerasysteme, wie beispielsweise in der DE 10 2009 000 005 A1 offenbart, haben den Nachteil, dass sich bei größeren Temperaturschwankungen das Auflösungsvermögen dieser Kamerasysteme ändern bzw. verschlechtern kann. Erfährt ein solches System beispielsweise eine Temperaturerhöhung, dann vergrößert sich der Abstand zwischen Bildsensor und Kameraoptik, durch eine positive temperaturabhängige Längenausdehnung des Kameragehäuses und der darin verbauten Haltestrukturen. Die Position der idealen Abbildung, d.h. der Fokus der Kameraoptik verschiebt sich dadurch vor den Bildsensor.Camera systems, such as in the DE 10 2009 000 005 A1 have the disadvantage that with larger temperature fluctuations, the resolution of these camera systems can change or worsen. If such a system experiences, for example, an increase in temperature, then the distance between the image sensor and the camera optics increases due to a positive temperature-dependent longitudinal expansion of the camera housing and the retaining structures incorporated therein. The position of the ideal image, ie the focus of the camera optics shifts in front of the image sensor.

Erfährt das System eine Temperaturverringerung, dann verringert sich der Abstand zwischen Kameraoptik und Bildsensor, durch eine negative temperaturabhängige Längenausdehnung von Kameragehäuse und Haltestrukturen, wodurch sich der Fokus der Kameraoptik hinter den Bildsensor verschiebt.If the system experiences a temperature reduction, the distance between the camera optics and the image sensor is reduced by a negative, temperature-dependent longitudinal expansion of the camera housing and holding structures, which shifts the focus of the camera optics behind the image sensor.

In beiden Fällen entsteht ein unscharfes Bild einer zuvor, d.h. bei einer bestimmten Ausgangstemperatur, fokussiert abgebildeten Objektszene. Das Kamerasystem hat unter diesen Umständen ein schlechtes Auflösungsvermögen und kann Funktionen, für die eine für die Ausgangtemperatur optimierte Bildqualität erforderlich ist, nicht mehr ausführen.In both cases, a blurred image of a previously, i. at a given starting temperature, focused imaged object scene. The camera system is poor in resolution under these circumstances and can no longer perform functions requiring image quality optimized for the output temperature.

Aus der Druckschrift DE102005039561A1 ist ein optisches System bekannt, welches mindestens ein Kompensationselement zur Kompensation mindestens einer temperaturbedingten Dimensionsänderung des optischen Systems aufweist.From the publication DE102005039561A1 an optical system is known, which has at least one compensation element for compensating at least one temperature-induced dimensional change of the optical system.

Der Erfindung liegt demnach die Aufgabe zugrunde, eine Lösung für die vorangehend beschriebene Problemstellung anzugeben, mit der die thermische Ausdehnung von mechanischen Komponenten eines Kamerasystems kompensiert werden kann.The invention is therefore based on the object of specifying a solution for the problem described above, with which the thermal expansion of mechanical components of a camera system can be compensated.

Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen nach Anspruch 1, durch ein Kraftfahrzeug mit den Merkmalen nach Anspruch 7 und durch ein Verfahren mit den Merkmalen nach Anspruch 8 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.This object is achieved by a device having the features according to claim 1 , By a motor vehicle having the features of claim 7 and solved by a method having the features of claim 8. Advantageous embodiments and further developments are the subject of dependent claims, wherein combinations and developments of individual features are conceivable with each other.

Ein wesentlicher Gedanke der Erfindung besteht darin, einen Farblängsfehler (chromatische Aberration) auszunutzen, der bewusst in einem Abbildungssystem belassen wird, um die thermische Ausdehnung von mechanischen Komponenten eines Kamerasystems zu kompensieren. Dabei wird elektromagnetische Strahlung aus einem bestimmten Entfernungsbereich für unterschiedliche Wellenlängenbereiche in unterschiedlichen Bildebenen (Fokusbereichen) entlang einer optischen Achse hinter dem Abbildungssystem fokussiert abgebildet. Mittels eines Bildaufnahmeelements, das mit einem Wellenlängenfilter ausgebildet ist, kann je nach temperaturabhängiger Position des Bildaufnahmeelements entlang der optischen Achse jeweils derjenige Wellenlängenbereich zur Erfassung von Bilddaten verwendet werden, welcher das höchste Auflösungsvermögen bietet.An essential idea of the invention is to exploit a chromatic aberration intentionally left in an imaging system to compensate for the thermal expansion of mechanical components of a camera system. In this case, electromagnetic radiation from a specific distance range for different wavelength ranges in different image planes (focus areas) is shown focused along an optical axis behind the imaging system. Depending on the temperature-dependent position of the image recording element along the optical axis, in each case one wavelength range for capturing image data which offers the highest resolving power can be used by means of an image recording element which is formed with a wavelength filter.

Die erfindungsgemäße optische Vorrichtung wird insbesondere in einem Kraftfahrzeug eingesetzt und dient zur Erfassung von Bilddaten für eines oder mehrere bildverarbeitende System, z.B. für ein Fahrerassistenzsystem. Hierzu können die mittels der optischen Vorrichtung bevorzugt als elektrische Signale erfassten Bilddaten, zur Bildverarbeitung an wenigstens ein nachgeschaltetes System und/oder wenigstens eine nachgeschaltete Auswerteeinheit weitergeleitet werden. Die erfindungsgemäße optische Vorrichtung umfasst wenigstens ein Bildaufnahmeelement und wenigstens ein Abbildungssystem.The optical device according to the invention is used in particular in a motor vehicle and serves to acquire image data for one or more image processing systems, e.g. for a driver assistance system. For this purpose, the image data, which are preferably acquired as electrical signals by means of the optical device, can be forwarded to at least one downstream system and / or at least one downstream evaluation unit for image processing. The optical device according to the invention comprises at least one image pickup element and at least one imaging system.

Das Bildaufnahmeelement, beispielsweise ein CCD- oder CMOS-Bildchip, ist mit einer für elektromagnetische Strahlung sensitiven Fläche ausgestaltet, mit vorzugsweise nebeneinander liegenden sensitiven Sensoreinheiten, zur Umwandlung von optischer bzw. elektromagnetischer Strahlung in elektrische Signale. CMOS- und CCD-Bildchips weisen hierzu insbesondere ein zweidimensionales Array aus lichtempfindlichen Fotodioden auf, d.h. ein zweidimensionales Gitternetz aus Chipzeilen und Chipspalten bzw. ein zweidimensionales Array aus Bildpunkten/Pixeln. Die sensitive Fläche des Bildaufnahmeelements ist erfindungsgemäß mit einem Wellenlängenfilter ausgestaltet, so dass elektromagnetische Strahlung aus zumindest zwei Wellenlängenbereichen unterschieden werden kann bzw. dass mittels des Bildaufnahmeelements Teilbilder aus mindestens zwei unterschiedlichen Wellenbereichen getrennt erfasst werden können. Als Wellenlängenfilter bieten sich beispielsweise aus dem Stand der Technik bekannte pixelierte Wellenlängenfilter in Bayer-Pattern-Anordnung an bzw. ein Bildchip mit einem Wellenlängenfilterarray. Bevorzugt wird ein Bildchip verwendet, der elektromagnetische Strahlung aus einem großen optischen Spektralbereich bzw. Wellenlängenbereich erfassen kann, insbesondere im Bereich von sichtbarem Licht bis in den Infrarotbereich. Die Pixel des Bildaufnahmeelements sind dabei bevorzugt in Gruppen unterteilt, wobei jede Pixelgruppe jeweils eine bestimmte Anzahl von Pixeln mit unterschiedlichen Wellenlängenfiltern bzw. Farbfiltern umfasst. Ein derart ausgestaltetes Bildaufnahmeelement wird üblicherweise auch als Farb-Bildchip oder Farb-Imager bezeichnet, die unterschiedliche Farbtransmissionsfilter aufweisen, beispielsweise rot, grün und blau. Diese Farbtransmissionsfilter bzw. Transmissionsfilter sind in der Regel Bandpassfilter. The image pickup element, for example a CCD or CMOS image chip, is designed with a surface that is sensitive to electromagnetic radiation, with preferably adjacent sensitive sensor units, for converting optical or electromagnetic radiation into electrical signals. For this purpose, CMOS and CCD image chips have, in particular, a two-dimensional array of light-sensitive photodiodes, ie a two-dimensional grid of chip rows and chip columns or a two-dimensional array of pixels / pixels. According to the invention, the sensitive surface of the image recording element is configured with a wavelength filter, so that electromagnetic radiation can be distinguished from at least two wavelength ranges or that partial images from at least two different wavelength ranges can be detected separately by means of the image recording element. As a wavelength filter, for example, from the prior art known pixelized wavelength filter in Bayer pattern arrangement offer or a picture chip with a wavelength filter array. Preferably, a picture chip is used which can detect electromagnetic radiation from a large optical spectral range or wavelength range, in particular in the range from visible light to the infrared range. The pixels of the image recording element are preferably subdivided into groups, each pixel group each comprising a specific number of pixels with different wavelength filters or color filters. Such an image pickup element is usually referred to as a color image chip or color imager having different color transmission filters, for example, red, green and blue. These color transmission filters or transmission filters are usually bandpass filters.

Das Abbildungssystem, bei dem es sich beispielsweise um ein Objektiv bzw. um ein Linsensystem handelt, ist im Strahlengang der auf die sensitive Fläche des Bildaufnahmeelements auftreffenden elektromagnetischen Strahlung angeordnet. Das Abbildungssystem dient insbesondere zur Projizierung von elektromagnetischer Strahlung auf die sensitive Fläche des Bildaufnahmeelements und kann aus einem einzelnen oder aus einer Kombination der folgenden Elemente ausgestaltet sein:

  1. (i) refraktive Elemente (z.B. Einzellinsen oder Linsensysteme)
  2. (ii) reflektive Elemente (z.B. Einzelspiegel oder Spiegelsysteme)
  3. (iii) diffraktive Elemente (z.B. optische Gitter oder Beugungselemente)
The imaging system, which is, for example, an objective or a lens system, is arranged in the beam path of the electromagnetic radiation impinging on the sensitive surface of the image recording element. The imaging system is used in particular for projecting electromagnetic radiation onto the sensitive surface of the image recording element and can be configured from a single or a combination of the following elements:
  1. (i) refractive elements (eg single lenses or lens systems)
  2. (ii) reflective elements (eg individual mirrors or mirror systems)
  3. (iii) diffractive elements (eg optical gratings or diffractive elements)

Das Abbildungssystem ist dabei derart ausgestaltet, dass es eine chromatische Aberration aufweist, insbesondere eine longitudinale/axiale chromatische Aberration, die auch allgemein als Farblängsfehler bezeichnet wird.The imaging system is designed such that it has a chromatic aberration, in particular a longitudinal / axial chromatic aberration, which is also generally referred to as longitudinal chromatic aberration.

Die erfindungsgemäße optische Vorrichtung kann beispielsweise als Kamera ausgestaltet sein und ein Kameragehäuse sowie Haltestrukturen für das wenigstens eine Bildaufnahmeelement und das Abbildungssystem umfassen.The optical device according to the invention can, for example, be designed as a camera and comprise a camera housing and holding structures for the at least one image recording element and the imaging system.

Die erfindungsgemäße optische Vorrichtung umfasst weiterhin wenigstens einen Temperatursensor. Mittels des Temperatursensors kann während des Betriebs der optischen Vorrichtung, insbesondere laufend/permanent, eine Betriebstemperatur ermittelt werden, wobei der Wellenlängenbereich, der für die Bildverarbeitung verwendeten Bilddaten, vorzugsweise in Abhängigkeit der Betriebstemperatur gewählt wird.The optical device according to the invention further comprises at least one temperature sensor. By means of the temperature sensor, during the operation of the optical device, in particular continuously / permanently, an operating temperature can be determined, the wavelength range of the image data used for the image processing, preferably being selected as a function of the operating temperature.

In der vorangehend beschriebenen erfindungsgemäßen Ausgestaltungen der optischen Vorrichtung wird, aufgrund der chromatischen Aberration im Abbildungssystem, elektromagnetische Strahlung aus einem bestimmten Entfernungsbereich für unterschiedliche Wellenlängen bzw. für unterschiedliche Wellenlängenbereiche in unterschiedlichen Bildebenen bzw. an unterschiedlichen Positionen entlang der optischen Achse hinter dem Abbildungssystem fokussiert abgebildet.In the embodiments of the optical device according to the invention described above, due to the chromatic aberration in the imaging system, electromagnetic radiation is focused from a certain distance range for different wavelengths or for different wavelength ranges in different image planes or at different positions along the optical axis behind the imaging system.

Das Bildaufnahmeelement ist dabei vorzugsweise in einem solchen Abstand entlang auf der optischen Achse hinter dem Abbildungssystem angeordnet, dass elektromagnetische Strahlung aus einem bestimmten Entfernungsbereich, für einen bestimmten Wellenlängenbereich und bei einer Ausgangsbetriebstemperatur ein fokussiertes Bild auf der sensitiven Fläche des Bildaufnahmeelements erzeugt wird.The image recording element is preferably arranged at such a distance along the optical axis behind the imaging system that electromagnetic radiation from a certain distance range, for a certain wavelength range and at an output operating temperature a focused image on the sensitive surface of the image pickup element is generated.

Aufgrund von Temperaturänderungen, während des Betriebes der erfindungsgemäßen optischen Vorrichtung, kann es zu Materialausdehnung und/oder Materialschrumpfungen kommen, beispielsweise des Kameragehäuses und/oder der Haltestrukturen und Verbindungselemente zwischen Abbildungssystem und Bildaufnahmeelement. Hierdurch ändert sich der Abstand des Bildaufnahmeelements zum Abbildungssystem und damit gleichzeitig die Lage des Bildaufnahmeelements zu den Bildebenen der unterschiedlichen Wellenlängenbereiche entlang der optischen Achse.Due to temperature changes, during operation of the optical device according to the invention, material expansion and / or material shrinkage can occur, for example, the camera body and / or the support structures and connecting elements between imaging system and image pickup element. As a result, the distance of the image pickup element to the imaging system and thus simultaneously the position of the image pickup element to the image planes of the different wavelength ranges along the optical axis changes.

Mit Hilfe der optischen Vorrichtung kann, durch die Kenntnis, welche der durch das Abbildungssystem erzeugten Bildebenen (für die unterschiedlichen Wellenlängenbereiche) bei welcher Betriebstemperatur, ein Optimum an Bildschärfe auf der sensitiven Fläche des Bildaufnahmeelements liefert, in Abhängigkeit der mittels des wenigstens einen Temperatursensors ermittelten Betriebstemperatur, immer diejenige elektromagnetische Strahlung aus dem Wellenlängenbereich zur Bildverarbeitung verwendet werden, die gerade das Optimum bezüglich des Auflösungsvermögens bzw. ein Optimum an Bildschärfe liefert.With the aid of the optical device, by knowing which of the image planes generated by the imaging system (for the different wavelength ranges) at which operating temperature provides an optimum image sharpness on the sensitive surface of the image pickup element, depending on the determined by means of the at least one temperature sensor Operating temperature, always those electromagnetic radiation from the wavelength range for image processing are used, which provides just the optimum in terms of resolution or an optimum of image sharpness.

Zur Bildverarbeitung kann die optische Vorrichtung beispielsweise nur diejenigen Bildsignale verwenden bzw. an ein bildverarbeitendes System weiterleiten, insbesondere in Form von elektrischen Signalen, die gerade das Optimum an Bildschärfe liefern, d.h. nur Bildsignale aus einem bestimmten Wellenlängenbereich. Bevorzugt sendet die optische Vorrichtung Bildsignale aus allen erfassten Wellenlängenbereichen als getrennte Teilbilder (ein Teilbild je Wellenlängenbereich) an eines oder mehrere der bildverarbeitenden Systeme, wobei die bildverarbeitenden Systeme zusätzlich Informationen erhalten, welches Teilbild gerade das größte Auflösungsvermögen liefert, so dass die bildverarbeitenden Systeme diese Information bei der Bildverarbeitung berücksichtigen können. Das jeweilige bildverarbeitende System kann beispielsweise auch direkt in eine Kamera, in der die optische Vorrichtung vorzugsweise angeordnet ist, integriert sein.For image processing, the optical device may, for example, use only those image signals or transmit them to an image processing system, in particular in the form of electrical signals which are currently providing the optimum image sharpness, i. only image signals from a certain wavelength range. Preferably, the optical device sends image signals from all detected wavelength ranges as separate fields (one field per wavelength range) to one or more of the image processing systems, the image processing systems additionally receiving information as to which field provides the greatest resolution, so that the image processing systems provide this information in the image processing. The respective image-processing system can for example also be integrated directly into a camera in which the optical device is preferably arranged.

In einer vorteilhaften Ausgestaltung umfasst das Bildaufnahmeelement wenigstens einen Temperatursensor, der zur Ermittlung der Betriebstemperatur dient. Bei der Verwendung eines Bildchips als Bildaufnahmeelement, ist der Temperatursensor dabei vorzugsweise in den Bildchip integriert.In an advantageous embodiment, the image pickup element comprises at least one temperature sensor, which serves to determine the operating temperature. When using a picture chip as an image recording element, the temperature sensor is preferably integrated in the image chip.

In einer weiteren vorteilhaften Ausgestaltung ist das Bildaufnahmeelement auf einer Leiterplatte angeordnet, beispielsweise eine PCB- oder Flex-Leiterplatte. In diesem Fall ist der Temperatursensor, der zur Ermittlung der Betriebstemperatur dient, bevorzugt ebenfalls auf der Leiterplatte angeordnet, wobei auch mehr als nur ein Temperatursensor auf der Leiterplatte angeordnet sein kann.In a further advantageous embodiment, the image pickup element is arranged on a printed circuit board, for example a PCB or flex printed circuit board. In this case, the temperature sensor, which is used to determine the operating temperature, preferably also arranged on the circuit board, wherein more than one temperature sensor can be arranged on the circuit board.

In einer bevorzugten Ausführungsvariante handelt es sich bei dem Wellenlängenfilter des Bildaufnahmeelements um ein Farbfilterarray mit mindestens zwei unterschiedlichen Transmissionsfiltern. Das Farbfilterarray kann beispielsweise als Bayer-Pattern ausgestaltet sein und ist bevorzugt auf die Pixel bzw. Sensorzellen fix aufgedampft und/oder darüber liegend als Glasfilter ausgebildet.In a preferred embodiment variant, the wavelength filter of the image recording element is a color filter array with at least two different transmission filters. The color filter array can be designed, for example, as a Bayer pattern and is preferably vapor-deposited onto the pixels or sensor cells and / or lying above it as a glass filter.

In einer vorteilhaften Ausgestaltung wird der Wellenlängenbereich, der für die Bildverarbeitung verwendeten Bilddaten, zusätzlich in Abhängigkeit einer Bildanalyse der erfassten Bilddaten gewählt. Die Bildanalayse kann mittels einer Auswerteeinheit durchgeführt werden, insbesondere bevor die Bilddaten an eines oder an mehrere bilderarbeitende Systeme weitergeleitet werden und/oder durch eine Bildanalayse der bildverarbeitenden Systeme selbst. Mittels der Bildanalayse kann ermittelt werden, welches Teilbild aus welchem Wellenlängenbereich gerade ein Optimum an Bildschärfe liefert.In an advantageous embodiment, the wavelength range of the image data used for the image processing is additionally selected as a function of an image analysis of the acquired image data. The image analysis can be carried out by means of an evaluation unit, in particular before the image data are forwarded to one or more image-processing systems and / or by an image analysis of the image-processing systems themselves. By means of the image analysis, it can be determined which partial image from which wavelength range is in the process of optimum image sharpness supplies.

In einer besonderen Ausführungsvariante der erfindungsgemäßen optischen Vorrichtung ist der Wellenlängenfilter des Bildaufnahmeelements derart ausgestaltet, dass elektromagnetische Strahlung aus drei unterschiedlichen Wellenlängenbereichen unterschieden und getrennt erfasst werden kann. Durch das Abbildungssystem wird dabei bevorzugt für jeden der drei Wellenlängenbereiche, aufgrund chromatischer Aberration, elektromagnetische Strahlung aus einem gemeinsamen Entfernungsbereich in einer unterschiedlichen Bildebenen entlang der optischen Achse fokussiert zur Abbildung gebracht. Die Bildebenen der Wellenlängenbereiche sind dabei bevorzugt hintereinander entlang der optischen Achse angeordnet, wobei eine vordere Bildebene für einen ersten Wellenlängenbereich, eine mittlere Bildebene für einen zweiten Wellenlängenbereich und eine hintere Bildebene für einen dritten Wellenlängenbereich existiert. Das Bildaufnahmeelement ist in diesem Fall vorzugsweise derart hinter dem Abbildungssystem angeordnet, dass die sensitive Fläche des Bildaufnahmeelements bei einer normalen Betriebstemperatur bzw. bei einer Ausgangsbetriebstemperatur, z.B. im Bereich von 15°C bis 25°C, auf der mittleren Bildebene liegt. Besonders vorteilhaft an dieser Ausgestaltung ist, dass sowohl im Falle einer Temperaturerhöhung, verbunden mit einer Materialausdehnung sowie einer Vergrößerung des Abstandes zwischen Bildaufnahmeelement und Abbildungssystem, als auch im Falle eines Temperaturabfalls, verbunden mit einer Materialschrumpfung und einer Verringerung des Abstandes zwischen Bildaufnahmeelement und Abbildungssystem, die hintere Bildebene (bei Temperaturerhöhung) oder die vordere Bildebene (bei Temperaturabfall) zur Erfassung von Bilddaten für die Bildverarbeitung verwendet werden kann. Bevorzugt wird dabei jeweils die vordere oder hintere Bildebene verwendet, sobald eine dieser Bildebenen aufgrund der aktuellen Betriebstemperatur ein höheres Auflösungsvermögen/ eine bessere Bildschärfe liefert, als die mittlere Bildebene.In a particular embodiment variant of the optical device according to the invention, the wavelength filter of the image recording element is designed such that electromagnetic radiation can be distinguished from three different wavelength ranges and recorded separately. Due to the imaging system, for each of the three wavelength ranges, due to chromatic aberration, electromagnetic radiation from a common distance range in a different image plane along the optical axis is focused on the imaging. The image planes of the wavelength ranges are preferably arranged one behind the other along the optical axis, with a front image plane for a first wavelength range, a middle image plane for a second wavelength range, and a rear image plane for a third wavelength range. The image pickup element in this case is preferably arranged behind the imaging system in such a way that the sensitive surface of the image pickup element is at a normal operating temperature or at an initial operating temperature, e.g. in the range of 15 ° C to 25 ° C, lying on the middle image plane. Particularly advantageous in this embodiment is that both in the case of a temperature increase associated with a material expansion and an increase in the distance between the image pickup element and imaging system, as well as in the case of a temperature drop, associated with a material shrinkage and a reduction in the distance between the image pickup element and the imaging system, the Rear image plane (at temperature increase) or the front image plane (at temperature drop) can be used to capture image data for image processing. Preferably, the front or rear image plane is used in each case as soon as one of these image planes, due to the current operating temperature, provides a higher resolution / image clarity than the mean image plane.

Die Erfindung betrifft zudem ein Kraftfahrzeug, in dem eine optische Vorrichtung nach einer der vorangehend beschriebenen Ausführungen angeordnet.The invention also relates to a motor vehicle in which an optical device according to one of the embodiments described above is arranged.

Es wird weiterhin ein Verfahren vorgeschlagen, bei dem eine Vorrichtung entsprechend einer der vorangehend beschrieben Ausführungsformen verwendet wird. Bei dem erfindungsgemäßen Verfahren erfolgt eine Erfassung von Bilddaten für unterschiedliche Wellenlängenbereiche, wobei die Bilddaten, aufgrund chromatischer Aberration, je nach Wellenlängenbereich eine unterschiedliche Bildschärfe aufweisen. Vorzugsweise werden für die Bildverarbeitung diejenigen Bilddaten verwendet, d.h. Bilddaten eines bestimmten Wellenlängenbereichs, welche die höchste Bildschärfe aufweisen. Die Auswahl des Wellenlängenbereichs erfolgt dabei insbesondere in Abhängigkeit einer ermittelten Betriebstemperatur.A method is also proposed in which a device according to one of the previously described embodiments is used. In the method according to the invention, image data is acquired for different wavelength ranges, the image data, due to chromatic aberration, having a different image sharpness depending on the wavelength range. Preferably for the Image processing uses those image data, ie image data of a certain wavelength range, which have the highest image sharpness. The selection of the wavelength range is carried out in particular as a function of a determined operating temperature.

In einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens, werden die erfassten Bilddaten des Wellenlängenbereichs, der die höchste Bildschärfe aufweist, in der Bildverarbeitung für Bildverarbeitungsaufgaben verwendet, die eine hohe Bildschärfe erfordern, z.B. Bildverarbeitungsalgorithmen mit Muster-, Kanten-, Struktur-, Form- und/oder Objekterkennung. Die erfassten Bilddaten der übrigen Wellenlängenbereiche können in der Bildverarbeitung für Bildverarbeitungsaufgaben verwendet werden, die keine hohe Bildschärfe erfordern, z.B. zur Farbunterscheidung bzw. Farberkennung.In a preferred embodiment of the method according to the invention, the acquired image data of the wavelength range having the highest image sharpness is used in image processing for image processing tasks which require a high image sharpness, e.g. Image processing algorithms with pattern, edge, texture, shape and / or object recognition. The acquired image data of the remaining wavelength ranges can be used in image processing for image processing tasks that do not require high image sharpness, e.g. for color discrimination or color recognition.

Bevorzugt wird das erfindungsgemäße Verfahren im Rahmen mindestens einer der folgenden Bildverarbeitungsaufgaben in einem Kraftfahrzeug eingesetzt:

  1. (i) Verkehrszeichenerkennung
  2. (ii) Fahrspurerkennung
  3. (iii) Objekterkennung
  4. (iv) Bildverarbeitung für Lichtassistenzfunktionen
  5. (v) Bildverarbeitung für Abstandsregelungsfunktionen
  6. (vi) Bildverarbeitung für Geschwindigkeitsregelungsfunktionen
  7. (vii) Bildverarbeitung für Bremsassistenzfunktionen
The method according to the invention is preferably used in at least one of the following image processing tasks in a motor vehicle:
  1. (i) traffic sign recognition
  2. (ii) Lane Detection
  3. (iii) object recognition
  4. (iv) image processing for light assist functions
  5. (v) image processing for distance control functions
  6. (vi) image processing for speed control functions
  7. (vii) image processing for brake assist functions

Das erfindungsgemäße Verfahren und die erfindungsgemäße optische Vorrichtung können insbesondere zur Bildverarbeitung für eines oder mehrere Fahrerassistenzsysteme verwendet werden. Beispiele für Fahrerassistenzfunktionen sind Antriebsschlupfregelung bzw. Traktionskontrolle wie ABS (Antiblockiersystem), ASR (Antriebs-Schlupf-Regelung), ESP (Elektronisches Stabilitätsprogramm), EDS (Elektronische Differentialsperre), sowie adaptives Kurvenlicht, Auf- und Abblendassistent für das Fahrlicht, Nachtsichtsysteme (englisch: night vision), Tempomat, Einparkhilfe, Bremsassistent, ACC (Adaptive Cruise Control) bzw. Abstandsregeltempomat, Abstandswarner, Abbiegeassistent, Stauassistent, Spurerkennungssystem, Spurhalteassistent, Spurhalteunterstützung, Spurwechselassistent, ISA (Intelligent Speed Adaption), ANB (Automatische Notbremsung), Kurvenassistent, Reifendruckkontrollsystem, Fahrerzustandserkennung, Verkehrszeichenerkennung, Platooning.The method according to the invention and the optical device according to the invention can be used in particular for image processing for one or more driver assistance systems. Examples of driver assistance functions are traction control or traction control, such as ABS (Antilock Braking System), ESP (Electronic Stability Program), EDS (Electronic Differential Lock), Adaptive Headlights, Headlamp Fade-In and Fade-Out Assist, Night Vision Systems : night vision), Cruise Control, Park Assist, Brake Assist, Adaptive Cruise Control (ACC), Distance Alert, Turn-off Assistant, Traffic Jam Assistant, Lane Detection System, Lane Keeping Assist, Lane Keeping Assist, Lane Change Assist, Intelligent Speed Adaptation, ANB (Automatic Braking), Curve Assist, Tire pressure monitoring system, driver condition detection, traffic sign recognition, platooning.

Eine erfindungsgemäße optische Vorrichtung kann beispielsweise als Kamera in einem Kraftfahrzeug hinter der Windschutzscheibe angeordnet sein, vorzugsweise mit Blickrichtung in Fahrtrichtung des Kraftfahrzeugs, wobei sich auch für Rückfahrkameras Vorteile durch die optimierte Bildschärfe ergeben.An optical device according to the invention can be arranged, for example, as a camera in a motor vehicle behind the windshield, preferably with a view in the direction of travel of the motor vehicle, resulting in advantages for the rear-view camera due to the optimized image sharpness.

Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.Further advantages and optional embodiments will become apparent from the description and the drawings. Embodiments are shown in simplified form in the drawings and explained in more detail in the following description.

In den 1a bis 1c ist eine optische Vorrichtung 1 sowie deren Funktionsprinzip in stark vereinfachter Form dargestellt.In the 1a to 1c is an optical device 1 as well as their functional principle are presented in a greatly simplified form.

2 zeigt beispielhaft die Transmissionseigenschaften eines Filterarrays, mit dem ein Bildaufnahmeelement ausgestaltet sein kann. 2 shows by way of example the transmission properties of a filter array, with which an image pickup element can be configured.

Die optische Vorrichtung 1 entsprechend 1a bis 1c umfasst ein Bildaufnahmeelement 2, mit einer für elektromagnetische Strahlung 4, W1, W2, W3 sensitiven Fläche sowie ein Abbildungssystem 3, das im Strahlengang der auf die sensitiven Fläche des Bildaufnahmeelements 2 auftreffenden elektromagnetischen Strahlung 4 angeordnet ist. Das Abbildungssystem 3 ist in diesem Fall vereinfacht als bikonvexe Sammellinse dargestellt. Erfindungsgemäß kann das Abbildungssystem 3 auch als mehrstückiges Abbildungssystem aus einer grundsätzlich beliebigen Anordnung von optischen Elementen, insbesondere Linsen, Filtern, Blenden und Spiegel bzw. aus refraktiven, reflektiven und diffraktiven optischen Elementen, ausgestaltet sein.The optical device 1 corresponding 1a to 1c includes an image pickup element 2 , with one for electromagnetic radiation 4 . W1 . W2 . W3 sensitive surface as well as an imaging system 3 in the beam path of the sensitive surface of the image pickup element 2 incident electromagnetic radiation 4 is arranged. The imaging system 3 is simplified in this case as a biconvex converging lens. According to the invention, the imaging system 3 Also be designed as a multi-piece imaging system of a basically arbitrary arrangement of optical elements, in particular lenses, filters, diaphragms and mirrors or of refractive, reflective and diffractive optical elements.

Das Bildaufnahmeelement 2 und das Abbildungssystem 3 sind in diesem Fall in einem gemeinsamen Kameragehäuse 5 angeordnet, welches eine Blende 6 umfasst. Erfindungsgemäß können auch weitere Haltestrukturen und Verbindungselemente für das Bildaufnahmeelement 2 und das Abbildungssystem 3 vorgesehen sein. Das Bildaufnahmeelement 2 ist mit einem Wellenlängenfilter ausgestaltet. In diesem Fall handelt es sich um ein Farbfilterarray, durch das elektromagnetische Strahlung aus drei Wellenlängenbereich W1, W2, W3 unterschieden und getrennt erfasst werden kann.The image pickup element 2 and the imaging system 3 are in this case in a common camera body 5 arranged, which is an aperture 6 includes. According to the invention, further retaining structures and connecting elements for the image recording element 2 and the imaging system 3 be provided. The image pickup element 2 is designed with a wavelength filter. In this case, it is a color filter array, by the electromagnetic radiation of three wavelengths W1 . W2 . W3 can be distinguished and recorded separately.

Das Abbildungssystem weist entsprechend 1a bis 1c eine chromatische Aberration auf, so das elektromagnetische Strahlung 4 aus einem bestimmten Entfernungsbereich für unterschiedliche Wellenlängenbereiche W1, W2, W3 in unterschiedlichen Bildebenen B1, B2, B3 fokussiert projiziert d.h. an unterschiedlichen Positionen entlang der optischen Achse 7 bildscharf zur Abbildung gebracht wird. In den 1a bis 1c ist exemplarisch elektromagnetische Strahlung 4 aus einem unendlichen Enfernungsbereich dargestellt. Bei dem Entfernungsbereich, auf welchen die optische Vorrichtung 1, beispielsweise bei einem Einsatz in einem Kraftfahrzeug, ausgerichtet sein kann, kann es sich beispielsweise um ein Nahbereich, insbesondere mit Entfernungen unterhalb von 500 mm, und/oder um einen Fernbereich, insbesondere mit Entfernungen größer als 1500 mm, handeln.The imaging system points accordingly 1a to 1c a chromatic aberration, so the electromagnetic radiation 4 from a certain distance range for different wavelength ranges W1 . W2 . W3 in different picture levels B1 . B2 . B3 focused projected ie at different positions along the optical axis 7 picture sharp is brought to the picture. In the 1a to 1c is exemplary electromagnetic radiation 4 from an infinite Range shown. At the distance range to which the optical device 1 , for example, when used in a motor vehicle, may be, for example, a close range, in particular with distances below 500 mm, and / or a long range, in particular with distances greater than 1500 mm, act.

Die Bildebenen B1, B2, B3 der Wellenlängenbereiche W1, W2, W3 sind hintereinander entlang der optischen Achse 7 der optischen Vorrichtung 1 angeordnet, wobei eine vordere Bildebene B1 für einen ersten Wellenlängenbereich W1, eine mittlere Bildebene B2 für einen zweiten Wellenlängenbereich W2 und eine hintere Bildebene B3 für einen dritten Wellenlängenbereich W3 existieren.The picture levels B1 . B2 . B3 the wavelength ranges W1 . W2 . W3 are consecutively along the optical axis 7 the optical device 1 arranged, wherein a front image plane B1 for a first wavelength range W1 , a middle picture plane B2 for a second wavelength range W2 and a rear image plane B3 exist for a third wavelength range W3.

1a zeigt die Ausgangssituation, wie die optische Vorrichtung 1 beispielsweise für eine normale Betriebstemperatur (BT = T2) bei der Fertigung justiert worden sein kann. Als Ausgangstemperatur bzw. als normale Betriebstemperatur kann beispielsweise eine Temperatur von 25°C angesehen werden. Für eine normale Betriebstemperatur (BT = T2) bzw. für eine Ausgangtemperatur T2, ist das Bildaufnahmeelement 2 in einem solchen Abstand (D = D2) zum Abbildungssystem 3 auf der optischen Achse 7 angeordnet, dass elektromagnetische Strahlung aus dem zweiten Wellenlängenbereich W2 fokussiert auf die sensitive Fläche des Bildaufnahmeelements 2 projiziert wird. Die sensitive Fläche des Bildaufnahmeelements 2 liegt also bei Ausgangstemperatur T2 auf der mittleren Bildebene B2 des Wellenlängenbereichs W2. 1a shows the initial situation, as the optical device 1 for example, for a normal operating temperature ( BT = T2) may have been adjusted during manufacture. As a starting temperature or as a normal operating temperature, for example, a temperature of 25 ° C can be considered. For a normal operating temperature ( BT = T2) or for an output temperature T2 , is the image capture element 2 at such a distance ( D = D2) to the imaging system 3 on the optical axis 7 arranged that electromagnetic radiation from the second wavelength range W2 focused on the sensitive surface of the image pickup element 2 is projected. The sensitive surface of the image pickup element 2 is therefore at the starting temperature T2 on the middle picture plane B2 of the wavelength range W2 ,

Aufgrund Änderungen der Betriebstemperatur BT, während des Betriebes der erfindungsgemäßen optischen Vorrichtung 1, kommt es zu Materialausdehnung und/oder Materialschrumpfungen des Kameragehäuses 5. Hierdurch verändert sich der Abstand D des Bildaufnahmeelements 2 zum Abbildungssystem 3 und damit der Abstand der sensitiven Fläche des Bildaufnahmeelements 2 zu den Bildebenen B1, B2, B3 der unterschiedlichen Wellenlängenbereiche W1, W2, W3 entlang der optischen Achse 7.Due to changes in the operating temperature BT during operation of the optical device according to the invention 1 , it comes to material expansion and / or shrinkage of the camera body 5 , This changes the distance D of the image pickup element 2 to the imaging system 3 and thus the distance of the sensitive surface of the image pickup element 2 to the picture planes B1 . B2 . B3 the different wavelength ranges W1 . W2 . W3 along the optical axis 7 ,

Kommt es beispielsweise entsprechend 1b zu einer Temperaturerhöhung (T3 > T2) und damit zur einer Materialausdehnung (D3 > D2), was den Abstand D des Bildaufnahmeelements 2 zum Abbildungssystem 3 vergrößert, dann befindet sich das Bildaufnahmeelement 2 und dessen sensitive Fläche bei einer Betriebstemperatur BT = T3 näher an der Bildebene B3 des Wellenlängenbereich W3. Die elektromagnetische Strahlung aus dem Wellenlängenbereich W3 liefert damit ein Optimum an Bildschärfe, d.h. eine höheres Auflösungsvermögen als die übrigen Wellenlängenbereichen W1, W2.Does it come, for example, accordingly 1b to a temperature increase ( T3 > T2) and thus to a material extent ( D3 > D2), what the distance D of the image pickup element 2 to the imaging system 3 enlarged, then there is the image pickup element 2 and its sensitive area at an operating temperature BT = T3 closer to the image plane B3 of the wavelength range W3 , The electromagnetic radiation from the wavelength range W3 thus provides an optimum image sharpness, ie a higher resolution than the other wavelength ranges W1 . W2 ,

Kommt es entsprechend 1c hingegen zu einem Temperaturabfall (T1 < T2) und damit zur einer Materialschrumpfung (D1 < D2), welche den Abstand D des Bildaufnahmeelements 2 zum Abbildungssystem 3 verringert, dann befindet sich das Bildaufnahmeelement 2 und dessen sensitive Fläche bei einer Betriebstemperatur BT = T1 näher an der Bildebene B1 des Wellenlängenbereich W1. Die elektromagnetische Strahlung aus dem Wellenlängenbereich W1 liefert in diesem Fall das Optimum an Bildschärfe gegenüber den anderen Wellenlängenbereichen W2, W3.Does it come accordingly 1c whereas a temperature drop ( T1 <T2) and thus to a material shrinkage ( D1 <D2), which is the distance D of the image pickup element 2 to the imaging system 3 decreases, then the image pickup element is located 2 and its sensitive area at an operating temperature BT = T1 closer to the image plane B1 of the wavelength range W1 , The electromagnetic radiation from the wavelength range W1 provides in this case the optimum in image sharpness compared to the other wavelength ranges W2 , W3.

Die Änderungen der Entfernung D zwischen Bildaufnahmeelement 2 und Abbildungssystem 3 infolge von Materialschrumpfung bzw. Materialausdehnung sind in den 1a bis 1c zur Veranschaulichung des Funktionsprinzips übertrieben dargestellt.The changes of the distance D between image pickup element 2 and imaging system 3 due to material shrinkage or material expansion are in the 1a to 1c exaggerated to illustrate the principle of operation.

Mit Hilfe der optischen Vorrichtung 1 kann, bei Kenntnis für welche Betriebstemperatur BT, welche der Bildebenen B1, B2, B3, der unterschiedlichen Wellenlängenbereiche W1, W2, W3, ein Optimum an Bildschärfe auf der sensitiven Fläche des Bildaufnahmeelements 2 liefert, in Abhängigkeit der mittels wenigstens eines Temperatursensors ermittelten Betriebstemperatur BT bei unterschiedlichen bzw. veränderlichen Betriebstemperaturen T1, T2, T3, jedes Mal elektromagnetische Strahlung aus dem Wellenlängenbereich W1, W2, W3 zur Bildverarbeitung verwendet werden, die gerade/aktuell ein Optimum bezüglich des Auflösungsvermögens liefert.With the help of the optical device 1 can, knowing for what operating temperature BT , which of the picture planes B1 . B2 , B3, the different wavelength ranges W1 . W2 . W3 , an optimum image sharpness on the sensitive surface of the image pickup element 2 supplies, depending on the determined by means of at least one temperature sensor operating temperature BT at different or variable operating temperatures T1 . T2 . T3 , every time electromagnetic radiation from the wavelength range W1 . W2 . W3 used for image processing, which provides just / currently an optimum in terms of resolution.

Der wenigstens eine Temperatursensor, der zur Ermittlung der Betriebstemperatur BT vorgesehen ist, ist in den 1a-c nicht dargestellt. Der Temperatursensor kann beispielsweise in das Bildaufnahmeelement 2 integriert sein oder beispielsweise mit dem Bildaufnahmeelement 2 auf einer gemeinsamen Leiterplatte angeordnet sein.The at least one temperature sensor used to determine the operating temperature BT is provided in the 1a-c not shown. The temperature sensor can, for example, in the image pickup element 2 be integrated or, for example, with the image pickup element 2 be arranged on a common circuit board.

Für den Fall das 1a den Ausgangszustand der optischen Vorrichtung 1 darstellt, d.h. den Betriebszustand bei Normaltemperatur (BT = T2), dann können in vorteilhafter Weise Änderungen der Entfernung D zwischen Bildaufnahmeelement 2 und Abbildungssystem 3 sowohl für sinkende als auch für steigende Betriebstemperaturen ausgeglichen bzw. kompensiert werden.In case of 1a the initial state of the optical device 1 represents, ie the operating state at normal temperature ( BT = T2), then can advantageously change the distance D between image pickup element 2 and imaging system 3 be compensated or compensated for both decreasing and increasing operating temperatures.

2 zeigt beispielhaft die Transmissionseigenschaften eines Filterarrays, mit dem das Bildaufnahmeelement 2 ausgestaltet sein kann. Das Filterarray kann entsprechend 2 derart ausgestaltet sein, dass mittels des Bildaufnahmeelements 2 elektromagnetische Strahlung aus drei unterschiedlichen Wellenlängenbereiche W1, W2, W3 getrennt erfasst werden kann. Ein erster Wellenlängenfilter hat in diesem Fall seine maximale Transmission bei λ1 = 400 nm und erfasst einen ersten Wellenlängenbereich W1 von etwa 350 bis 500 nm. Ein zweiter Wellenlängenfilter hat seine maximale Transmission bei λ2 = 550nm und erfasst einen zweiten Wellenlängenbereich von etwa 450 bis 700 nm. Ein dritter Wellenlängenfilter hat seine maximale Transmission bei A3 = 700 nm und unterdrückt elektromagnetische Strahlung für Wellenlängen unterhalb von 500 nm. 2 shows by way of example the transmission properties of a filter array with which the image pickup element 2 can be designed. The filter array can work accordingly 2 be configured such that by means of the image pickup element 2 electromagnetic radiation from three different wavelength ranges W1 . W2 . W3 can be detected separately. A first wavelength filter in this case has its maximum transmission λ1 = 400 nm and detects a first wavelength range W1 from about 350 to 500 nm. A second wavelength filter has its maximum transmission λ2 = 550 nm and detects a second wavelength range of about 450 to 700 nm. A third wavelength filter has its maximum transmission at A3 = 700 nm and suppresses electromagnetic radiation for wavelengths below 500 nm.

Ein Gesamtbild, das mittels eines Bildaufnahmeelements 2 erfasst wird, wobei das Bildaufnahmeelement 2 mit Filtereigenschaften entsprechend 2 ausgestaltet ist, kann somit durch Signalverarbeitung derart zerlegen, dass ein erstes Teilbild mit allen Pixeln für einen Wellenlängenbereich W1 entsteht, ein zweites Teilbild für einen Wellenlängenbereich W2 und ein drittes Teilbild für einen Wellenlängenbereich W3. Abhängig von der Betriebstemperatur und dem resultierenden Abstand D zwischen Bildaufnahmeelement 2 und Abbildungssystem 3 liefert eines der Teilbilder ein Optimum an Bildschärfe und wird demzufolge bevorzugt für die Bildverarbeitung verwendet. Durch Verwendung eines Temperatursensors kann dabei der Signalverarbeitung mitgeteilt, welches Teilbild gerade das größte Auflösungsvermögen liefert.An overall picture created by means of an image-recording element 2 is detected, wherein the image pickup element 2 with filter properties accordingly 2 is configured so can decompose by signal processing such that a first field with all pixels for a wavelength range W1 arises, a second field for a wavelength range W2 and a third field for a wavelength range W3 , Depending on the operating temperature and the resulting distance D between image pickup element 2 and imaging system 3 provides one of the subpictures with optimum image sharpness and is therefore preferably used for image processing. By using a temperature sensor, the signal processing can be informed which sub-image currently provides the greatest resolution.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
optische Vorrichtungoptical device
22
BildaufnahmeelementImage Sensor
33
Abbildungssystemimaging system
44
elektromagnetische Strahlungelectromagnetic radiation
55
Kameragehäusecamera housing
66
Blendecover
77
optische Achse optical axis
BTBT
Betriebstemperaturoperating temperatur
T1T1
Temperatur 1 temperature 1
T2T2
Temperatur 2 / Ausgangstemperaturtemperature 2 / Outlet temperature
T3T3
Temperatur 3 Temperature 3
DD
Abstand zwischen Bildaufnahmeelement und AbbildungssystemDistance between image pickup element and imaging system
D1D1
Abstand D bei BT = T1distance D at BT = T1
D2D2
Abstand D bei BT = T2distance D at BT = T2
D3D3
Abstand D bei BT = T3 distance D at BT = T3
λλ
Wellenlängewavelength
λ1λ1
maximale Transmission 1 maximum transmission 1
λ2λ2
maximale Transmission 2maximum transmission 2
λ3λ3
maximale Transmission 3 maximum transmission 3
W1W1
Wellenlängenbereich 1Wavelength range 1
W2W2
Wellenlängenbereich 2 Wavelength range 2
W3W3
Wellenlängenbereich 3 Wavelength range 3
B1B1
Bildebene 1Image plane 1
B2B2
Bildebene 2 image plane 2
B3B3
Bildebene 3 Image level 3
%%
Prozentpercent
nmnm
Nanometernanometer
mmmm
Millimetermillimeter

Claims (10)

Optische Vorrichtung (1), zur Erfassung von Bilddaten für eine Bildverarbeitung, umfassend ein Bildaufnahmeelement (2) mit einer für elektromagnetische Strahlung (4, W1, W2, W3) sensitiven Fläche, und ein Abbildungssystem (3), das im Strahlengang der auf die sensitive Fläche des Bildaufnahmeelements (2) auftreffenden elektromagnetischen Strahlung (4, W1, W2, W3) angeordnet ist, wobei das Bildaufnahmeelement (2) mit einem Wellenlängenfilter ausgestaltet ist, durch den elektromagnetische Strahlung aus zumindest zwei Wellenlängenbereichen (W1, W2, W3) unterschieden werden kann, und das Abbildungssystem (3) eine chromatische Aberration aufweist, so dass elektromagnetische Strahlung (4) aus einem Entfernungsbereich durch das Abbildungssystem (3) für unterschiedliche Wellenlängenbereiche (W1, W2, W3) in unterschiedliche Bildebenen (B1, B2, B3) fokussiert projiziert wird, dadurch gekennzeichnet, dass wenigstens ein Temperatursensor vorgesehen ist, durch den wenigstens eine Betriebstemperatur (BT) ermittelt wird, und der Wellenlängenbereich (W1, W2, W3) der für die Bildverarbeitung verwendeten Bilddaten in Abhängigkeit der Betriebstemperatur (BT) gewählt wird.Optical device (1) for capturing image data for image processing, comprising an image recording element (2) having a surface sensitive to electromagnetic radiation (4, W1, W2, W3), and an imaging system (3) arranged in the optical path of the image sensitive surface of the image pickup element (2) incident electromagnetic radiation (4, W1, W2, W3) is arranged, wherein the image pickup element (2) is designed with a wavelength filter, distinguished by the electromagnetic radiation from at least two wavelength ranges (W1, W2, W3) can be, and the imaging system (3) has a chromatic aberration, so that electromagnetic radiation (4) from a distance range by the imaging system (3) for different wavelength ranges (W1, W2, W3) in different image planes (B1, B2, B3) is projected focused, characterized in that at least one temperature sensor is provided by the at least one Betriebste temperature (BT) is determined, and the wavelength range (W1, W2, W3) of the image data used for the image processing is selected as a function of the operating temperature (BT). Optische Vorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass das Bildaufnahmeelement (2) wenigstens einen Temperatursensor umfasst, der zur Ermittlung der Betriebstemperatur (BT) dient.Optical device (1) according to Claim 1 , characterized in that the image pickup element (2) comprises at least one temperature sensor which serves to determine the operating temperature (BT). Optische Vorrichtung (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Bildaufnahmeelement (2) auf einer Leiterplatte angeordnet ist und auf der Leiterplatte wenigstens ein Temperatursensor angeordnet ist, der zur Ermittlung der Betriebstemperatur (BT) dient.Optical device (1) according to one of the preceding claims, characterized in that the image recording element (2) is arranged on a printed circuit board and on the circuit board at least one temperature sensor is arranged, which serves to determine the operating temperature (BT). Optische Vorrichtung (1) nach einen der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass es sich bei dem Wellenlängenfilter des Bildaufnahmeelements (2) um ein Farbfilterarray mit mindestens zwei unterschiedlichen Transmissionsfiltern handelt.Optical device (1) according to one of the preceding claims, characterized in that the wavelength filter of the image recording element (2) is a color filter array with at least two different transmission filters. Optische Vorrichtung (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass der Wellenlängenbereich (W1, W2, W3) der für die Bildverarbeitung verwendeten Bilddaten zusätzlich in Abhängigkeit einer Bildanalyse der erfassten Bilddaten gewählt wird.Optical device (1) according to one of the preceding claims, characterized in that the wavelength range (W1, W2, W3) of the image data used for the image processing is additionally selected as a function of an image analysis of the acquired image data. Optische Vorrichtung (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass der Wellenlängenfilter des Bildaufnahmeelements (2) derart ausgestaltet ist, dass elektromagnetische Strahlung aus drei unterschiedlichen Wellenlängenbereichen (W1, W2, W3) unterschieden werden kann, und bei einer normalen Betriebstemperatur (T2) ein mittlerer Wellenlängenbereich (W2) der drei Wellenlängenbereiche (W1, W2, W3) der für die Bildverarbeitung verwendeten Bilddaten gewählt wird.Optical device (1) according to any one of the preceding claims, characterized in that the wavelength filter of the image pickup element (2) is designed such that electromagnetic radiation from three different wavelength ranges (W1, W2, W3) can be distinguished, and at a normal operating temperature ( T2) a medium wavelength range (W2) of the three wavelength ranges (W1, W2, W3) of the image data used for the image processing is selected. Kraftfahrzeug, in dem eine optische Vorrichtung (1) nach einem der vorangegangenen Ansprüche angeordnet ist.Motor vehicle in which an optical device (1) according to one of the preceding claims is arranged. Verfahren zur Bildverarbeitung unter Verwendung einer optischen Vorrichtung (1) nach einem der vorangegangenen Ansprüche 1 bis 6, wobei mittels des Bildaufnahmeelements (2) eine Erfassung von Bilddaten für unterschiedliche Wellenlängenbereiche (W1, W2, W3) erfolgt und die erfassten Bilddaten aufgrund der chromatischen Aberration im Abbildungssystem (3) je nach Wellenlängenbereich (W1, W2, W3) eine unterschiedliche Bildschärfe aufweisen, dadurch gekennzeichnet, dass für die Bildverarbeitung Bilddaten des Wellenlängenbereichs (W1, W2, W3) verwendet werden, welche die höchste Bildschärfe aufweisen, und die Auswahl des Wellenlängenbereichs (W1, W2, W3) in Abhängigkeit der ermittelten Betriebstemperatur (BT) erfolgt.Method for image processing using an optical device (1) according to one of the preceding Claims 1 to 6 , wherein by means of the image recording element (2) a capture of image data for different wavelength ranges (W1, W2, W3) takes place and the detected image data due to the chromatic aberration in the imaging system (3) depending on the wavelength range (W1, W2, W3) have a different image sharpness , characterized in that image data of the wavelength range (W1, W2, W3) are used for the image processing, which have the highest image sharpness, and the selection of the wavelength range (W1, W2, W3) in dependence of the determined operating temperature (BT). Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die erfassten Bilddaten des Wellenlängenbereichs (W1, W2, W3), der die höchste Bildschärfe aufweist, in der Bildverarbeitung für Bildverarbeitungsaufgaben verwendet werden, die eine hohe Bildschärfe erfordern, und die erfassten Bilddaten der übrigen Wellenlängenbereiche (W1, W2, W3) in der Bildverarbeitung zur Farbunterscheidung verwendet werden.Method according to Claim 8 Characterized in that the captured image data of the wavelength range (W1, W2, W3) having the highest image definition, can be used in the image processing for image processing tasks that require a high image sharpness, and the captured image data of the remaining wavelength ranges (W1, W2, W3) are used in image processing for color discrimination. Verfahren nach einem der der Ansprüche 8 oder 9, das in einem Kraftfahrzeug im Rahmen mindestens einer der folgenden Bildverarbeitungsaufgaben eingesetzt wird: (i) Verkehrszeichenerkennung (ii) Fahrspurerkennung (iii) Objekterkennung (iv) Bildverarbeitung für Lichtassistenzfunktionen (v) Bildverarbeitung für Abstandsregelungsfunktionen (vi) Bildverarbeitung für Geschwindigkeitsregelungsfunktionen (vii) Bildverarbeitung für Bremsassistenzfunktionen.Method according to one of the Claims 8 or 9 used in a motor vehicle in at least one of the following image processing tasks: (i) traffic sign recognition (ii) lane recognition (iii) object recognition (iv) image processing for light assistance functions (v) image processing for distance control functions (vi) image processing for speed control functions (vii) image processing for brake assist functions.
DE102011018311.6A 2011-04-20 2011-04-20 Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing Active DE102011018311B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102011018311.6A DE102011018311B4 (en) 2011-04-20 2011-04-20 Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011018311.6A DE102011018311B4 (en) 2011-04-20 2011-04-20 Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing

Publications (2)

Publication Number Publication Date
DE102011018311A1 DE102011018311A1 (en) 2012-10-25
DE102011018311B4 true DE102011018311B4 (en) 2018-09-13

Family

ID=46967371

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011018311.6A Active DE102011018311B4 (en) 2011-04-20 2011-04-20 Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing

Country Status (1)

Country Link
DE (1) DE102011018311B4 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69020754T2 (en) 1989-02-27 1995-12-07 Sumitomo Heavy Industries Double focus detector using chromatic aberration.
DE19841867A1 (en) 1998-09-14 2000-03-16 Dirk Meyer Object photographing arrangement, has additional focusing and filtering parts, and performs mathematical processing of individual recordings
DE102005039561A1 (en) 2005-08-22 2007-03-01 Robert Bosch Gmbh Temperature compensation of optical systems
DE102008062977A1 (en) 2008-12-23 2010-06-24 Adc Automotive Distance Control Systems Gmbh Optical module with multifocal optics for the detection of distance and near range in one image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69020754T2 (en) 1989-02-27 1995-12-07 Sumitomo Heavy Industries Double focus detector using chromatic aberration.
DE19841867A1 (en) 1998-09-14 2000-03-16 Dirk Meyer Object photographing arrangement, has additional focusing and filtering parts, and performs mathematical processing of individual recordings
DE102005039561A1 (en) 2005-08-22 2007-03-01 Robert Bosch Gmbh Temperature compensation of optical systems
DE102008062977A1 (en) 2008-12-23 2010-06-24 Adc Automotive Distance Control Systems Gmbh Optical module with multifocal optics for the detection of distance and near range in one image

Also Published As

Publication number Publication date
DE102011018311A1 (en) 2012-10-25

Similar Documents

Publication Publication Date Title
EP2715446B1 (en) Camera system for a vehicle
DE102016208771B4 (en) On-board camera device
EP2558336B1 (en) Method and device for assisting a driver while driving a vehicle by detecting weather-related visibility limitations
EP2449761B1 (en) Camera for a vehicle
DE602005004544T2 (en) Multifunctional optical sensor with a matrix of photodetectors coupled to microlenses
DE102004050181B4 (en) Active night vision system with adaptive imaging
DE60214593T2 (en) STEREO ILLUSTRATION WITH MOISTURE SENSOR USING AN IMAGE SENSOR
DE102018206027A1 (en) MOLDING DEVICE AND SHAPING METHOD
DE102006010295B4 (en) Camera system with at least two image recorders
DE102011017699A1 (en) Vehicle camera device for detecting a tail light of a vehicle ahead
DE102016206493A1 (en) Method and camera system for determining the distance of objects to a vehicle
DE102014209197A1 (en) Apparatus and method for detecting precipitation for a motor vehicle
DE69825525T2 (en) Device for creating an image and method and device for distance measurement
WO2016180874A1 (en) Camera for a motor vehicle with at least two optical fibers and an optical filter element, driver assistance system as well as motor vehicle
DE102009012758A1 (en) Device and method for detecting at least one object
DE10323560B4 (en) Camera and device for determining the brightness of the surroundings of a motor vehicle
DE102005004513A1 (en) Motor vehicle windscreen surface condensation detecting method, involves concluding focus width on condensation when object is identified in picture data set and when object has high picture sharpness than in picture data set
DE102013222304A1 (en) Method for determining object distances with a camera installed in a motor vehicle
DE102012015282A1 (en) Method for recognizing hidden state of image capture device e.g. charge coupled device camera of camera system used in motor car, involves comparing image cells of one image with image cells of other image
DE102011083232B4 (en) Image capture device for a vehicle
DE102012111199A1 (en) Optical device for camera of vehicle for detecting images of two different distance ranges, has two image acquisition elements that are arranged in different image planes of imaging system
DE102011018311B4 (en) Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing
DE102014224903A1 (en) Optical environment sensor for vehicles
DE102011017355B4 (en) Multifocal imaging system with optical filters
DE102013102207A1 (en) Camera system for a vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE