DE102011018311B4 - Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing - Google Patents
Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing Download PDFInfo
- Publication number
- DE102011018311B4 DE102011018311B4 DE102011018311.6A DE102011018311A DE102011018311B4 DE 102011018311 B4 DE102011018311 B4 DE 102011018311B4 DE 102011018311 A DE102011018311 A DE 102011018311A DE 102011018311 B4 DE102011018311 B4 DE 102011018311B4
- Authority
- DE
- Germany
- Prior art keywords
- image
- image processing
- optical device
- wavelength
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 41
- 230000005670 electromagnetic radiation Effects 0.000 claims abstract description 32
- 230000004075 alteration Effects 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000010191 image analysis Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000004297 night vision Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/028—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with means for compensating for changes in temperature or for controlling the temperature; thermal stabilisation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
Abstract
Optische Vorrichtung (1), zur Erfassung von Bilddaten für eine Bildverarbeitung, umfassendein Bildaufnahmeelement (2) mit einer für elektromagnetische Strahlung (4, W1, W2, W3) sensitiven Fläche, und ein Abbildungssystem (3), das im Strahlengang der auf die sensitive Fläche des Bildaufnahmeelements (2) auftreffenden elektromagnetischen Strahlung (4, W1, W2, W3) angeordnet ist, wobeidas Bildaufnahmeelement (2) mit einem Wellenlängenfilter ausgestaltet ist, durch den elektromagnetische Strahlung aus zumindest zwei Wellenlängenbereichen (W1, W2, W3) unterschieden werden kann, unddas Abbildungssystem (3) eine chromatische Aberration aufweist, so dass elektromagnetische Strahlung (4) aus einem Entfernungsbereich durch das Abbildungssystem (3) für unterschiedliche Wellenlängenbereiche (W1, W2, W3) in unterschiedliche Bildebenen (B1, B2, B3) fokussiert projiziert wird,dadurch gekennzeichnet, dasswenigstens ein Temperatursensor vorgesehen ist, durch den wenigstens eine Betriebstemperatur (BT) ermittelt wird, undder Wellenlängenbereich (W1, W2, W3) der für die Bildverarbeitung verwendeten Bilddaten in Abhängigkeit der Betriebstemperatur (BT) gewählt wird.An optical device (1) for capturing image data for image processing, comprising an image-receiving element (2) having a surface sensitive to electromagnetic radiation (4, W1, W2, W3), and an imaging system (3) operating in the optical path The image pickup element (2) is designed with a wavelength filter, by which electromagnetic radiation from at least two wavelength ranges (W1, W2, W3) can be distinguished , and the imaging system (3) has a chromatic aberration so that electromagnetic radiation (4) is projected from a distance range focused by the imaging system (3) for different wavelength ranges (W1, W2, W3) into different image planes (B1, B2, B3) , characterized in that at least one temperature sensor is provided, by which at least one operating temperature ur (BT), and the wavelength range (W1, W2, W3) of the image data used for the image processing is selected as a function of the operating temperature (BT).
Description
Die Erfindung betrifft eine optische Vorrichtung sowie ein Verfahren zur Erfassung von Bilddaten für eine Bildverarbeitung, insbesondere zum Einsatz in einem Kraftfahrzeug.The invention relates to an optical device and to a method for acquiring image data for image processing, in particular for use in a motor vehicle.
Heutzutage werden in Kraftfahrzeugen vermehrt Kamerasysteme eingesetzt. Die Kamerasysteme dienen dabei in der Regel als Umfeldsensoren für eines oder mehrere Fahrerassistenzsysteme, beispielsweise zur Erkennung verschiedenster Objekte im Fahrzeugumfeld oder auch im Fahrzeuginnenraum. Beispiele hierfür sind Fahrzeugkameras zur Erkennung der Fahrbahnmarkierungen sowie Nachtsichtkameras oder Stereokameras als optische Abstandssensoren. Weiterhin ist es bekannt, Kameras in Fahrzeugen für Regensensorsysteme einzusetzen. Das jeweilige Kamerasystem ist dabei in der Regel hinter der Windschutzscheibe des Fahrzeugs angeordnet und blickt in Fahrtrichtung durch diese hindurch.Today, camera systems are increasingly used in motor vehicles. As a rule, the camera systems serve as environment sensors for one or more driver assistance systems, for example for detecting a wide variety of objects in the vehicle environment or even in the vehicle interior. Examples include vehicle cameras for detecting the lane markings and night vision cameras or stereo cameras as optical distance sensors. Furthermore, it is known to use cameras in vehicles for rain sensor systems. The respective camera system is usually arranged behind the windshield of the vehicle and looks in the direction of travel through it.
Eine Kamera zur Erfassung einer Fahrzeugumgebung durch eine Fahrzeugscheibe hindurch, ist beispielsweise aus der
Kamerasysteme, wie beispielsweise in der
Erfährt das System eine Temperaturverringerung, dann verringert sich der Abstand zwischen Kameraoptik und Bildsensor, durch eine negative temperaturabhängige Längenausdehnung von Kameragehäuse und Haltestrukturen, wodurch sich der Fokus der Kameraoptik hinter den Bildsensor verschiebt.If the system experiences a temperature reduction, the distance between the camera optics and the image sensor is reduced by a negative, temperature-dependent longitudinal expansion of the camera housing and holding structures, which shifts the focus of the camera optics behind the image sensor.
In beiden Fällen entsteht ein unscharfes Bild einer zuvor, d.h. bei einer bestimmten Ausgangstemperatur, fokussiert abgebildeten Objektszene. Das Kamerasystem hat unter diesen Umständen ein schlechtes Auflösungsvermögen und kann Funktionen, für die eine für die Ausgangtemperatur optimierte Bildqualität erforderlich ist, nicht mehr ausführen.In both cases, a blurred image of a previously, i. at a given starting temperature, focused imaged object scene. The camera system is poor in resolution under these circumstances and can no longer perform functions requiring image quality optimized for the output temperature.
Aus der Druckschrift
Der Erfindung liegt demnach die Aufgabe zugrunde, eine Lösung für die vorangehend beschriebene Problemstellung anzugeben, mit der die thermische Ausdehnung von mechanischen Komponenten eines Kamerasystems kompensiert werden kann.The invention is therefore based on the object of specifying a solution for the problem described above, with which the thermal expansion of mechanical components of a camera system can be compensated.
Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen nach Anspruch
Ein wesentlicher Gedanke der Erfindung besteht darin, einen Farblängsfehler (chromatische Aberration) auszunutzen, der bewusst in einem Abbildungssystem belassen wird, um die thermische Ausdehnung von mechanischen Komponenten eines Kamerasystems zu kompensieren. Dabei wird elektromagnetische Strahlung aus einem bestimmten Entfernungsbereich für unterschiedliche Wellenlängenbereiche in unterschiedlichen Bildebenen (Fokusbereichen) entlang einer optischen Achse hinter dem Abbildungssystem fokussiert abgebildet. Mittels eines Bildaufnahmeelements, das mit einem Wellenlängenfilter ausgebildet ist, kann je nach temperaturabhängiger Position des Bildaufnahmeelements entlang der optischen Achse jeweils derjenige Wellenlängenbereich zur Erfassung von Bilddaten verwendet werden, welcher das höchste Auflösungsvermögen bietet.An essential idea of the invention is to exploit a chromatic aberration intentionally left in an imaging system to compensate for the thermal expansion of mechanical components of a camera system. In this case, electromagnetic radiation from a specific distance range for different wavelength ranges in different image planes (focus areas) is shown focused along an optical axis behind the imaging system. Depending on the temperature-dependent position of the image recording element along the optical axis, in each case one wavelength range for capturing image data which offers the highest resolving power can be used by means of an image recording element which is formed with a wavelength filter.
Die erfindungsgemäße optische Vorrichtung wird insbesondere in einem Kraftfahrzeug eingesetzt und dient zur Erfassung von Bilddaten für eines oder mehrere bildverarbeitende System, z.B. für ein Fahrerassistenzsystem. Hierzu können die mittels der optischen Vorrichtung bevorzugt als elektrische Signale erfassten Bilddaten, zur Bildverarbeitung an wenigstens ein nachgeschaltetes System und/oder wenigstens eine nachgeschaltete Auswerteeinheit weitergeleitet werden. Die erfindungsgemäße optische Vorrichtung umfasst wenigstens ein Bildaufnahmeelement und wenigstens ein Abbildungssystem.The optical device according to the invention is used in particular in a motor vehicle and serves to acquire image data for one or more image processing systems, e.g. for a driver assistance system. For this purpose, the image data, which are preferably acquired as electrical signals by means of the optical device, can be forwarded to at least one downstream system and / or at least one downstream evaluation unit for image processing. The optical device according to the invention comprises at least one image pickup element and at least one imaging system.
Das Bildaufnahmeelement, beispielsweise ein CCD- oder CMOS-Bildchip, ist mit einer für elektromagnetische Strahlung sensitiven Fläche ausgestaltet, mit vorzugsweise nebeneinander liegenden sensitiven Sensoreinheiten, zur Umwandlung von optischer bzw. elektromagnetischer Strahlung in elektrische Signale. CMOS- und CCD-Bildchips weisen hierzu insbesondere ein zweidimensionales Array aus lichtempfindlichen Fotodioden auf, d.h. ein zweidimensionales Gitternetz aus Chipzeilen und Chipspalten bzw. ein zweidimensionales Array aus Bildpunkten/Pixeln. Die sensitive Fläche des Bildaufnahmeelements ist erfindungsgemäß mit einem Wellenlängenfilter ausgestaltet, so dass elektromagnetische Strahlung aus zumindest zwei Wellenlängenbereichen unterschieden werden kann bzw. dass mittels des Bildaufnahmeelements Teilbilder aus mindestens zwei unterschiedlichen Wellenbereichen getrennt erfasst werden können. Als Wellenlängenfilter bieten sich beispielsweise aus dem Stand der Technik bekannte pixelierte Wellenlängenfilter in Bayer-Pattern-Anordnung an bzw. ein Bildchip mit einem Wellenlängenfilterarray. Bevorzugt wird ein Bildchip verwendet, der elektromagnetische Strahlung aus einem großen optischen Spektralbereich bzw. Wellenlängenbereich erfassen kann, insbesondere im Bereich von sichtbarem Licht bis in den Infrarotbereich. Die Pixel des Bildaufnahmeelements sind dabei bevorzugt in Gruppen unterteilt, wobei jede Pixelgruppe jeweils eine bestimmte Anzahl von Pixeln mit unterschiedlichen Wellenlängenfiltern bzw. Farbfiltern umfasst. Ein derart ausgestaltetes Bildaufnahmeelement wird üblicherweise auch als Farb-Bildchip oder Farb-Imager bezeichnet, die unterschiedliche Farbtransmissionsfilter aufweisen, beispielsweise rot, grün und blau. Diese Farbtransmissionsfilter bzw. Transmissionsfilter sind in der Regel Bandpassfilter. The image pickup element, for example a CCD or CMOS image chip, is designed with a surface that is sensitive to electromagnetic radiation, with preferably adjacent sensitive sensor units, for converting optical or electromagnetic radiation into electrical signals. For this purpose, CMOS and CCD image chips have, in particular, a two-dimensional array of light-sensitive photodiodes, ie a two-dimensional grid of chip rows and chip columns or a two-dimensional array of pixels / pixels. According to the invention, the sensitive surface of the image recording element is configured with a wavelength filter, so that electromagnetic radiation can be distinguished from at least two wavelength ranges or that partial images from at least two different wavelength ranges can be detected separately by means of the image recording element. As a wavelength filter, for example, from the prior art known pixelized wavelength filter in Bayer pattern arrangement offer or a picture chip with a wavelength filter array. Preferably, a picture chip is used which can detect electromagnetic radiation from a large optical spectral range or wavelength range, in particular in the range from visible light to the infrared range. The pixels of the image recording element are preferably subdivided into groups, each pixel group each comprising a specific number of pixels with different wavelength filters or color filters. Such an image pickup element is usually referred to as a color image chip or color imager having different color transmission filters, for example, red, green and blue. These color transmission filters or transmission filters are usually bandpass filters.
Das Abbildungssystem, bei dem es sich beispielsweise um ein Objektiv bzw. um ein Linsensystem handelt, ist im Strahlengang der auf die sensitive Fläche des Bildaufnahmeelements auftreffenden elektromagnetischen Strahlung angeordnet. Das Abbildungssystem dient insbesondere zur Projizierung von elektromagnetischer Strahlung auf die sensitive Fläche des Bildaufnahmeelements und kann aus einem einzelnen oder aus einer Kombination der folgenden Elemente ausgestaltet sein:
- (i) refraktive Elemente (z.B. Einzellinsen oder Linsensysteme)
- (ii) reflektive Elemente (z.B. Einzelspiegel oder Spiegelsysteme)
- (iii) diffraktive Elemente (z.B. optische Gitter oder Beugungselemente)
- (i) refractive elements (eg single lenses or lens systems)
- (ii) reflective elements (eg individual mirrors or mirror systems)
- (iii) diffractive elements (eg optical gratings or diffractive elements)
Das Abbildungssystem ist dabei derart ausgestaltet, dass es eine chromatische Aberration aufweist, insbesondere eine longitudinale/axiale chromatische Aberration, die auch allgemein als Farblängsfehler bezeichnet wird.The imaging system is designed such that it has a chromatic aberration, in particular a longitudinal / axial chromatic aberration, which is also generally referred to as longitudinal chromatic aberration.
Die erfindungsgemäße optische Vorrichtung kann beispielsweise als Kamera ausgestaltet sein und ein Kameragehäuse sowie Haltestrukturen für das wenigstens eine Bildaufnahmeelement und das Abbildungssystem umfassen.The optical device according to the invention can, for example, be designed as a camera and comprise a camera housing and holding structures for the at least one image recording element and the imaging system.
Die erfindungsgemäße optische Vorrichtung umfasst weiterhin wenigstens einen Temperatursensor. Mittels des Temperatursensors kann während des Betriebs der optischen Vorrichtung, insbesondere laufend/permanent, eine Betriebstemperatur ermittelt werden, wobei der Wellenlängenbereich, der für die Bildverarbeitung verwendeten Bilddaten, vorzugsweise in Abhängigkeit der Betriebstemperatur gewählt wird.The optical device according to the invention further comprises at least one temperature sensor. By means of the temperature sensor, during the operation of the optical device, in particular continuously / permanently, an operating temperature can be determined, the wavelength range of the image data used for the image processing, preferably being selected as a function of the operating temperature.
In der vorangehend beschriebenen erfindungsgemäßen Ausgestaltungen der optischen Vorrichtung wird, aufgrund der chromatischen Aberration im Abbildungssystem, elektromagnetische Strahlung aus einem bestimmten Entfernungsbereich für unterschiedliche Wellenlängen bzw. für unterschiedliche Wellenlängenbereiche in unterschiedlichen Bildebenen bzw. an unterschiedlichen Positionen entlang der optischen Achse hinter dem Abbildungssystem fokussiert abgebildet.In the embodiments of the optical device according to the invention described above, due to the chromatic aberration in the imaging system, electromagnetic radiation is focused from a certain distance range for different wavelengths or for different wavelength ranges in different image planes or at different positions along the optical axis behind the imaging system.
Das Bildaufnahmeelement ist dabei vorzugsweise in einem solchen Abstand entlang auf der optischen Achse hinter dem Abbildungssystem angeordnet, dass elektromagnetische Strahlung aus einem bestimmten Entfernungsbereich, für einen bestimmten Wellenlängenbereich und bei einer Ausgangsbetriebstemperatur ein fokussiertes Bild auf der sensitiven Fläche des Bildaufnahmeelements erzeugt wird.The image recording element is preferably arranged at such a distance along the optical axis behind the imaging system that electromagnetic radiation from a certain distance range, for a certain wavelength range and at an output operating temperature a focused image on the sensitive surface of the image pickup element is generated.
Aufgrund von Temperaturänderungen, während des Betriebes der erfindungsgemäßen optischen Vorrichtung, kann es zu Materialausdehnung und/oder Materialschrumpfungen kommen, beispielsweise des Kameragehäuses und/oder der Haltestrukturen und Verbindungselemente zwischen Abbildungssystem und Bildaufnahmeelement. Hierdurch ändert sich der Abstand des Bildaufnahmeelements zum Abbildungssystem und damit gleichzeitig die Lage des Bildaufnahmeelements zu den Bildebenen der unterschiedlichen Wellenlängenbereiche entlang der optischen Achse.Due to temperature changes, during operation of the optical device according to the invention, material expansion and / or material shrinkage can occur, for example, the camera body and / or the support structures and connecting elements between imaging system and image pickup element. As a result, the distance of the image pickup element to the imaging system and thus simultaneously the position of the image pickup element to the image planes of the different wavelength ranges along the optical axis changes.
Mit Hilfe der optischen Vorrichtung kann, durch die Kenntnis, welche der durch das Abbildungssystem erzeugten Bildebenen (für die unterschiedlichen Wellenlängenbereiche) bei welcher Betriebstemperatur, ein Optimum an Bildschärfe auf der sensitiven Fläche des Bildaufnahmeelements liefert, in Abhängigkeit der mittels des wenigstens einen Temperatursensors ermittelten Betriebstemperatur, immer diejenige elektromagnetische Strahlung aus dem Wellenlängenbereich zur Bildverarbeitung verwendet werden, die gerade das Optimum bezüglich des Auflösungsvermögens bzw. ein Optimum an Bildschärfe liefert.With the aid of the optical device, by knowing which of the image planes generated by the imaging system (for the different wavelength ranges) at which operating temperature provides an optimum image sharpness on the sensitive surface of the image pickup element, depending on the determined by means of the at least one temperature sensor Operating temperature, always those electromagnetic radiation from the wavelength range for image processing are used, which provides just the optimum in terms of resolution or an optimum of image sharpness.
Zur Bildverarbeitung kann die optische Vorrichtung beispielsweise nur diejenigen Bildsignale verwenden bzw. an ein bildverarbeitendes System weiterleiten, insbesondere in Form von elektrischen Signalen, die gerade das Optimum an Bildschärfe liefern, d.h. nur Bildsignale aus einem bestimmten Wellenlängenbereich. Bevorzugt sendet die optische Vorrichtung Bildsignale aus allen erfassten Wellenlängenbereichen als getrennte Teilbilder (ein Teilbild je Wellenlängenbereich) an eines oder mehrere der bildverarbeitenden Systeme, wobei die bildverarbeitenden Systeme zusätzlich Informationen erhalten, welches Teilbild gerade das größte Auflösungsvermögen liefert, so dass die bildverarbeitenden Systeme diese Information bei der Bildverarbeitung berücksichtigen können. Das jeweilige bildverarbeitende System kann beispielsweise auch direkt in eine Kamera, in der die optische Vorrichtung vorzugsweise angeordnet ist, integriert sein.For image processing, the optical device may, for example, use only those image signals or transmit them to an image processing system, in particular in the form of electrical signals which are currently providing the optimum image sharpness, i. only image signals from a certain wavelength range. Preferably, the optical device sends image signals from all detected wavelength ranges as separate fields (one field per wavelength range) to one or more of the image processing systems, the image processing systems additionally receiving information as to which field provides the greatest resolution, so that the image processing systems provide this information in the image processing. The respective image-processing system can for example also be integrated directly into a camera in which the optical device is preferably arranged.
In einer vorteilhaften Ausgestaltung umfasst das Bildaufnahmeelement wenigstens einen Temperatursensor, der zur Ermittlung der Betriebstemperatur dient. Bei der Verwendung eines Bildchips als Bildaufnahmeelement, ist der Temperatursensor dabei vorzugsweise in den Bildchip integriert.In an advantageous embodiment, the image pickup element comprises at least one temperature sensor, which serves to determine the operating temperature. When using a picture chip as an image recording element, the temperature sensor is preferably integrated in the image chip.
In einer weiteren vorteilhaften Ausgestaltung ist das Bildaufnahmeelement auf einer Leiterplatte angeordnet, beispielsweise eine PCB- oder Flex-Leiterplatte. In diesem Fall ist der Temperatursensor, der zur Ermittlung der Betriebstemperatur dient, bevorzugt ebenfalls auf der Leiterplatte angeordnet, wobei auch mehr als nur ein Temperatursensor auf der Leiterplatte angeordnet sein kann.In a further advantageous embodiment, the image pickup element is arranged on a printed circuit board, for example a PCB or flex printed circuit board. In this case, the temperature sensor, which is used to determine the operating temperature, preferably also arranged on the circuit board, wherein more than one temperature sensor can be arranged on the circuit board.
In einer bevorzugten Ausführungsvariante handelt es sich bei dem Wellenlängenfilter des Bildaufnahmeelements um ein Farbfilterarray mit mindestens zwei unterschiedlichen Transmissionsfiltern. Das Farbfilterarray kann beispielsweise als Bayer-Pattern ausgestaltet sein und ist bevorzugt auf die Pixel bzw. Sensorzellen fix aufgedampft und/oder darüber liegend als Glasfilter ausgebildet.In a preferred embodiment variant, the wavelength filter of the image recording element is a color filter array with at least two different transmission filters. The color filter array can be designed, for example, as a Bayer pattern and is preferably vapor-deposited onto the pixels or sensor cells and / or lying above it as a glass filter.
In einer vorteilhaften Ausgestaltung wird der Wellenlängenbereich, der für die Bildverarbeitung verwendeten Bilddaten, zusätzlich in Abhängigkeit einer Bildanalyse der erfassten Bilddaten gewählt. Die Bildanalayse kann mittels einer Auswerteeinheit durchgeführt werden, insbesondere bevor die Bilddaten an eines oder an mehrere bilderarbeitende Systeme weitergeleitet werden und/oder durch eine Bildanalayse der bildverarbeitenden Systeme selbst. Mittels der Bildanalayse kann ermittelt werden, welches Teilbild aus welchem Wellenlängenbereich gerade ein Optimum an Bildschärfe liefert.In an advantageous embodiment, the wavelength range of the image data used for the image processing is additionally selected as a function of an image analysis of the acquired image data. The image analysis can be carried out by means of an evaluation unit, in particular before the image data are forwarded to one or more image-processing systems and / or by an image analysis of the image-processing systems themselves. By means of the image analysis, it can be determined which partial image from which wavelength range is in the process of optimum image sharpness supplies.
In einer besonderen Ausführungsvariante der erfindungsgemäßen optischen Vorrichtung ist der Wellenlängenfilter des Bildaufnahmeelements derart ausgestaltet, dass elektromagnetische Strahlung aus drei unterschiedlichen Wellenlängenbereichen unterschieden und getrennt erfasst werden kann. Durch das Abbildungssystem wird dabei bevorzugt für jeden der drei Wellenlängenbereiche, aufgrund chromatischer Aberration, elektromagnetische Strahlung aus einem gemeinsamen Entfernungsbereich in einer unterschiedlichen Bildebenen entlang der optischen Achse fokussiert zur Abbildung gebracht. Die Bildebenen der Wellenlängenbereiche sind dabei bevorzugt hintereinander entlang der optischen Achse angeordnet, wobei eine vordere Bildebene für einen ersten Wellenlängenbereich, eine mittlere Bildebene für einen zweiten Wellenlängenbereich und eine hintere Bildebene für einen dritten Wellenlängenbereich existiert. Das Bildaufnahmeelement ist in diesem Fall vorzugsweise derart hinter dem Abbildungssystem angeordnet, dass die sensitive Fläche des Bildaufnahmeelements bei einer normalen Betriebstemperatur bzw. bei einer Ausgangsbetriebstemperatur, z.B. im Bereich von 15°C bis 25°C, auf der mittleren Bildebene liegt. Besonders vorteilhaft an dieser Ausgestaltung ist, dass sowohl im Falle einer Temperaturerhöhung, verbunden mit einer Materialausdehnung sowie einer Vergrößerung des Abstandes zwischen Bildaufnahmeelement und Abbildungssystem, als auch im Falle eines Temperaturabfalls, verbunden mit einer Materialschrumpfung und einer Verringerung des Abstandes zwischen Bildaufnahmeelement und Abbildungssystem, die hintere Bildebene (bei Temperaturerhöhung) oder die vordere Bildebene (bei Temperaturabfall) zur Erfassung von Bilddaten für die Bildverarbeitung verwendet werden kann. Bevorzugt wird dabei jeweils die vordere oder hintere Bildebene verwendet, sobald eine dieser Bildebenen aufgrund der aktuellen Betriebstemperatur ein höheres Auflösungsvermögen/ eine bessere Bildschärfe liefert, als die mittlere Bildebene.In a particular embodiment variant of the optical device according to the invention, the wavelength filter of the image recording element is designed such that electromagnetic radiation can be distinguished from three different wavelength ranges and recorded separately. Due to the imaging system, for each of the three wavelength ranges, due to chromatic aberration, electromagnetic radiation from a common distance range in a different image plane along the optical axis is focused on the imaging. The image planes of the wavelength ranges are preferably arranged one behind the other along the optical axis, with a front image plane for a first wavelength range, a middle image plane for a second wavelength range, and a rear image plane for a third wavelength range. The image pickup element in this case is preferably arranged behind the imaging system in such a way that the sensitive surface of the image pickup element is at a normal operating temperature or at an initial operating temperature, e.g. in the range of 15 ° C to 25 ° C, lying on the middle image plane. Particularly advantageous in this embodiment is that both in the case of a temperature increase associated with a material expansion and an increase in the distance between the image pickup element and imaging system, as well as in the case of a temperature drop, associated with a material shrinkage and a reduction in the distance between the image pickup element and the imaging system, the Rear image plane (at temperature increase) or the front image plane (at temperature drop) can be used to capture image data for image processing. Preferably, the front or rear image plane is used in each case as soon as one of these image planes, due to the current operating temperature, provides a higher resolution / image clarity than the mean image plane.
Die Erfindung betrifft zudem ein Kraftfahrzeug, in dem eine optische Vorrichtung nach einer der vorangehend beschriebenen Ausführungen angeordnet.The invention also relates to a motor vehicle in which an optical device according to one of the embodiments described above is arranged.
Es wird weiterhin ein Verfahren vorgeschlagen, bei dem eine Vorrichtung entsprechend einer der vorangehend beschrieben Ausführungsformen verwendet wird. Bei dem erfindungsgemäßen Verfahren erfolgt eine Erfassung von Bilddaten für unterschiedliche Wellenlängenbereiche, wobei die Bilddaten, aufgrund chromatischer Aberration, je nach Wellenlängenbereich eine unterschiedliche Bildschärfe aufweisen. Vorzugsweise werden für die Bildverarbeitung diejenigen Bilddaten verwendet, d.h. Bilddaten eines bestimmten Wellenlängenbereichs, welche die höchste Bildschärfe aufweisen. Die Auswahl des Wellenlängenbereichs erfolgt dabei insbesondere in Abhängigkeit einer ermittelten Betriebstemperatur.A method is also proposed in which a device according to one of the previously described embodiments is used. In the method according to the invention, image data is acquired for different wavelength ranges, the image data, due to chromatic aberration, having a different image sharpness depending on the wavelength range. Preferably for the Image processing uses those image data, ie image data of a certain wavelength range, which have the highest image sharpness. The selection of the wavelength range is carried out in particular as a function of a determined operating temperature.
In einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens, werden die erfassten Bilddaten des Wellenlängenbereichs, der die höchste Bildschärfe aufweist, in der Bildverarbeitung für Bildverarbeitungsaufgaben verwendet, die eine hohe Bildschärfe erfordern, z.B. Bildverarbeitungsalgorithmen mit Muster-, Kanten-, Struktur-, Form- und/oder Objekterkennung. Die erfassten Bilddaten der übrigen Wellenlängenbereiche können in der Bildverarbeitung für Bildverarbeitungsaufgaben verwendet werden, die keine hohe Bildschärfe erfordern, z.B. zur Farbunterscheidung bzw. Farberkennung.In a preferred embodiment of the method according to the invention, the acquired image data of the wavelength range having the highest image sharpness is used in image processing for image processing tasks which require a high image sharpness, e.g. Image processing algorithms with pattern, edge, texture, shape and / or object recognition. The acquired image data of the remaining wavelength ranges can be used in image processing for image processing tasks that do not require high image sharpness, e.g. for color discrimination or color recognition.
Bevorzugt wird das erfindungsgemäße Verfahren im Rahmen mindestens einer der folgenden Bildverarbeitungsaufgaben in einem Kraftfahrzeug eingesetzt:
- (i) Verkehrszeichenerkennung
- (ii) Fahrspurerkennung
- (iii) Objekterkennung
- (iv) Bildverarbeitung für Lichtassistenzfunktionen
- (v) Bildverarbeitung für Abstandsregelungsfunktionen
- (vi) Bildverarbeitung für Geschwindigkeitsregelungsfunktionen
- (vii) Bildverarbeitung für Bremsassistenzfunktionen
- (i) traffic sign recognition
- (ii) Lane Detection
- (iii) object recognition
- (iv) image processing for light assist functions
- (v) image processing for distance control functions
- (vi) image processing for speed control functions
- (vii) image processing for brake assist functions
Das erfindungsgemäße Verfahren und die erfindungsgemäße optische Vorrichtung können insbesondere zur Bildverarbeitung für eines oder mehrere Fahrerassistenzsysteme verwendet werden. Beispiele für Fahrerassistenzfunktionen sind Antriebsschlupfregelung bzw. Traktionskontrolle wie ABS (Antiblockiersystem), ASR (Antriebs-Schlupf-Regelung), ESP (Elektronisches Stabilitätsprogramm), EDS (Elektronische Differentialsperre), sowie adaptives Kurvenlicht, Auf- und Abblendassistent für das Fahrlicht, Nachtsichtsysteme (englisch: night vision), Tempomat, Einparkhilfe, Bremsassistent, ACC (Adaptive Cruise Control) bzw. Abstandsregeltempomat, Abstandswarner, Abbiegeassistent, Stauassistent, Spurerkennungssystem, Spurhalteassistent, Spurhalteunterstützung, Spurwechselassistent, ISA (Intelligent Speed Adaption), ANB (Automatische Notbremsung), Kurvenassistent, Reifendruckkontrollsystem, Fahrerzustandserkennung, Verkehrszeichenerkennung, Platooning.The method according to the invention and the optical device according to the invention can be used in particular for image processing for one or more driver assistance systems. Examples of driver assistance functions are traction control or traction control, such as ABS (Antilock Braking System), ESP (Electronic Stability Program), EDS (Electronic Differential Lock), Adaptive Headlights, Headlamp Fade-In and Fade-Out Assist, Night Vision Systems : night vision), Cruise Control, Park Assist, Brake Assist, Adaptive Cruise Control (ACC), Distance Alert, Turn-off Assistant, Traffic Jam Assistant, Lane Detection System, Lane Keeping Assist, Lane Keeping Assist, Lane Change Assist, Intelligent Speed Adaptation, ANB (Automatic Braking), Curve Assist, Tire pressure monitoring system, driver condition detection, traffic sign recognition, platooning.
Eine erfindungsgemäße optische Vorrichtung kann beispielsweise als Kamera in einem Kraftfahrzeug hinter der Windschutzscheibe angeordnet sein, vorzugsweise mit Blickrichtung in Fahrtrichtung des Kraftfahrzeugs, wobei sich auch für Rückfahrkameras Vorteile durch die optimierte Bildschärfe ergeben.An optical device according to the invention can be arranged, for example, as a camera in a motor vehicle behind the windshield, preferably with a view in the direction of travel of the motor vehicle, resulting in advantages for the rear-view camera due to the optimized image sharpness.
Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.Further advantages and optional embodiments will become apparent from the description and the drawings. Embodiments are shown in simplified form in the drawings and explained in more detail in the following description.
In den
Die optische Vorrichtung
Das Bildaufnahmeelement
Das Abbildungssystem weist entsprechend
Die Bildebenen
Aufgrund Änderungen der Betriebstemperatur
Kommt es beispielsweise entsprechend
Kommt es entsprechend
Die Änderungen der Entfernung
Mit Hilfe der optischen Vorrichtung
Der wenigstens eine Temperatursensor, der zur Ermittlung der Betriebstemperatur
Für den Fall das
Ein Gesamtbild, das mittels eines Bildaufnahmeelements
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 11
- optische Vorrichtungoptical device
- 22
- BildaufnahmeelementImage Sensor
- 33
- Abbildungssystemimaging system
- 44
- elektromagnetische Strahlungelectromagnetic radiation
- 55
- Kameragehäusecamera housing
- 66
- Blendecover
- 77
- optische Achse optical axis
- BTBT
- Betriebstemperaturoperating temperatur
- T1T1
-
Temperatur
1 temperature 1 - T2T2
-
Temperatur
2 / Ausgangstemperaturtemperature 2 / Outlet temperature - T3T3
-
Temperatur 3
Temperature 3 - DD
- Abstand zwischen Bildaufnahmeelement und AbbildungssystemDistance between image pickup element and imaging system
- D1D1
-
Abstand
D beiBT = T1distanceD atBT = T1 - D2D2
-
Abstand
D beiBT = T2distanceD atBT = T2 - D3D3
-
Abstand
D beiBT = T3 distanceD atBT = T3 - λλ
- Wellenlängewavelength
- λ1λ1
-
maximale Transmission
1 maximum transmission 1 - λ2λ2
-
maximale Transmission 2
maximum transmission 2 - λ3λ3
-
maximale Transmission 3
maximum transmission 3 - W1W1
-
Wellenlängenbereich 1
Wavelength range 1 - W2W2
-
Wellenlängenbereich
2 Wavelength range 2 - W3W3
-
Wellenlängenbereich 3
Wavelength range 3 - B1B1
-
Bildebene 1
Image plane 1 - B2B2
-
Bildebene
2 image plane 2 - B3B3
-
Bildebene 3
Image level 3 - %%
- Prozentpercent
- nmnm
- Nanometernanometer
- mmmm
- Millimetermillimeter
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011018311.6A DE102011018311B4 (en) | 2011-04-20 | 2011-04-20 | Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011018311.6A DE102011018311B4 (en) | 2011-04-20 | 2011-04-20 | Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102011018311A1 DE102011018311A1 (en) | 2012-10-25 |
DE102011018311B4 true DE102011018311B4 (en) | 2018-09-13 |
Family
ID=46967371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102011018311.6A Active DE102011018311B4 (en) | 2011-04-20 | 2011-04-20 | Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102011018311B4 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69020754T2 (en) | 1989-02-27 | 1995-12-07 | Sumitomo Heavy Industries | Double focus detector using chromatic aberration. |
DE19841867A1 (en) | 1998-09-14 | 2000-03-16 | Dirk Meyer | Object photographing arrangement, has additional focusing and filtering parts, and performs mathematical processing of individual recordings |
DE102005039561A1 (en) | 2005-08-22 | 2007-03-01 | Robert Bosch Gmbh | Temperature compensation of optical systems |
DE102008062977A1 (en) | 2008-12-23 | 2010-06-24 | Adc Automotive Distance Control Systems Gmbh | Optical module with multifocal optics for the detection of distance and near range in one image |
-
2011
- 2011-04-20 DE DE102011018311.6A patent/DE102011018311B4/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69020754T2 (en) | 1989-02-27 | 1995-12-07 | Sumitomo Heavy Industries | Double focus detector using chromatic aberration. |
DE19841867A1 (en) | 1998-09-14 | 2000-03-16 | Dirk Meyer | Object photographing arrangement, has additional focusing and filtering parts, and performs mathematical processing of individual recordings |
DE102005039561A1 (en) | 2005-08-22 | 2007-03-01 | Robert Bosch Gmbh | Temperature compensation of optical systems |
DE102008062977A1 (en) | 2008-12-23 | 2010-06-24 | Adc Automotive Distance Control Systems Gmbh | Optical module with multifocal optics for the detection of distance and near range in one image |
Also Published As
Publication number | Publication date |
---|---|
DE102011018311A1 (en) | 2012-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2715446B1 (en) | Camera system for a vehicle | |
DE102016208771B4 (en) | On-board camera device | |
EP2558336B1 (en) | Method and device for assisting a driver while driving a vehicle by detecting weather-related visibility limitations | |
EP2449761B1 (en) | Camera for a vehicle | |
DE602005004544T2 (en) | Multifunctional optical sensor with a matrix of photodetectors coupled to microlenses | |
DE102004050181B4 (en) | Active night vision system with adaptive imaging | |
DE60214593T2 (en) | STEREO ILLUSTRATION WITH MOISTURE SENSOR USING AN IMAGE SENSOR | |
DE102018206027A1 (en) | MOLDING DEVICE AND SHAPING METHOD | |
DE102006010295B4 (en) | Camera system with at least two image recorders | |
DE102011017699A1 (en) | Vehicle camera device for detecting a tail light of a vehicle ahead | |
DE102016206493A1 (en) | Method and camera system for determining the distance of objects to a vehicle | |
DE102014209197A1 (en) | Apparatus and method for detecting precipitation for a motor vehicle | |
DE69825525T2 (en) | Device for creating an image and method and device for distance measurement | |
WO2016180874A1 (en) | Camera for a motor vehicle with at least two optical fibers and an optical filter element, driver assistance system as well as motor vehicle | |
DE102009012758A1 (en) | Device and method for detecting at least one object | |
DE10323560B4 (en) | Camera and device for determining the brightness of the surroundings of a motor vehicle | |
DE102005004513A1 (en) | Motor vehicle windscreen surface condensation detecting method, involves concluding focus width on condensation when object is identified in picture data set and when object has high picture sharpness than in picture data set | |
DE102013222304A1 (en) | Method for determining object distances with a camera installed in a motor vehicle | |
DE102012015282A1 (en) | Method for recognizing hidden state of image capture device e.g. charge coupled device camera of camera system used in motor car, involves comparing image cells of one image with image cells of other image | |
DE102011083232B4 (en) | Image capture device for a vehicle | |
DE102012111199A1 (en) | Optical device for camera of vehicle for detecting images of two different distance ranges, has two image acquisition elements that are arranged in different image planes of imaging system | |
DE102011018311B4 (en) | Optical device with temperature compensation, motor vehicle with such an optical device and method for image processing | |
DE102014224903A1 (en) | Optical environment sensor for vehicles | |
DE102011017355B4 (en) | Multifocal imaging system with optical filters | |
DE102013102207A1 (en) | Camera system for a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE |