DE102009053452A1

DE102009053452A1 - Camera system for use in vehicle for mounting on inclined plate, has image sensor with sensitive surface for detecting electromagnetic radiation and micro lens arrangement for projecting electromagnetic radiation on image sensor

Info

Publication number: DE102009053452A1
Application number: DE102009053452A
Authority: DE
Inventors: Konrad ROTHENHÄUSLER; Dieter Dr. Krökel; Thorsten Dr. Köhler; Frank Dr. Wippermann; Jacques Dr. Duparre
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Conti Temic Microelectronic GmbH
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Conti Temic Microelectronic GmbH
Priority date: 2009-11-17
Filing date: 2009-11-17
Publication date: 2011-06-16

Abstract

The camera system has an image sensor (6) with a sensitive surface for detecting electromagnetic radiation, a micro lens arrangement (4) for projecting the electromagnetic radiation on the image sensor and a diaphragm structure (5). The camera system is arranged such that the sensitive surface of the image sensor looks upward opposite to the horizontals around a predetermined angle. An independent claim is also included for a vehicle with a windshield.

Description

Die Erfindung betrifft ein Kamerasystem, wie es insbesondere bei Fahrzeugen mit Fahrerassistenzsystemen zum Einsatz kommt.The invention relates to a camera system, as used in particular in vehicles with driver assistance systems.

Herkömmliche Kamerasysteme für Fahrerassistenzsysteme umfassen typischerweise einen Bildsensor und ein Objektiv zur Fokussierung der gesamten elektromagnetischen Strahlung, die durch den Bildsensor detektiert wird.Conventional camera systems for driver assistance systems typically include an image sensor and a lens for focusing all the electromagnetic radiation detected by the image sensor.

Die Entfernung zwischen der Öffnungsblende und der sensitiven Fläche des Bildsensors bestimmt die minimale Bautiefe des Kamerasystems. Diese Entfernung ist proportional zur Anzahl und zur Breite der Pixel des Bildsensors. Insbesondere bei Kraftfahrzeugen ist der für Kamerasysteme zur Verfügung stehende Bauraum stark begrenzt. Die Fokussierung und Justierung von Objektiv zu Bildsensor stellt zudem stets eine Herausforderung bei der Massenproduktion und Montage von Kamerasystemen dar.The distance between the aperture stop and the sensitive surface of the image sensor determines the minimum depth of the camera system. This distance is proportional to the number and width of the pixels of the image sensor. Especially in motor vehicles, the installation space available for camera systems is severely limited. The focus and adjustment from lens to image sensor also always presents a challenge in mass production and installation of camera systems.

Es ist deshalb die Aufgabe der hier vorgestellten Erfindung eine kostengünstige und platzsparende Lösung für ein solches Kamerasystem bereitzustellen.It is therefore the object of the invention presented here to provide a cost-effective and space-saving solution for such a camera system.

Ein erfindungsgemäßes Kamerasystem umfasst mindestens einen Bildsensor mit einer sensitiven Fläche zur Detektion elektromagnetischer Strahlung, ein Element zur Abbildung elektromagnetischer Strahlung auf die sensitive Fläche des Bildsensors, das aus einer Anordnung einer Vielzahl einzelner Mikrolinsen in einer Ebene besteht, im Folgenden Mikrolinsenanordnung oder -array genannt, und mindestens eine als Falschlichtblende wirkende Blendenstruktur. Die Blendenstruktur ist zwischen der Mikrolinsenanordnung und dem Bildsensor angeordnet und wird auch als Blendenarray bezeichnet. Der Bildsensor kann auf einer bestückten Leiterplatte (PCB, printed circuit board) angeordnet sein.A camera system according to the invention comprises at least one image sensor with a sensitive surface for detecting electromagnetic radiation, an element for imaging electromagnetic radiation on the sensitive surface of the image sensor, which consists of an arrangement of a plurality of individual microlenses in a plane, hereinafter referred to as microlens array or array, and at least one aperture structure acting as a false-aperture. The diaphragm structure is arranged between the microlens array and the image sensor and is also referred to as a diaphragm array. The image sensor can be arranged on a populated printed circuit board (PCB).

Die Blendenstruktur und die Mikrolinsenanordnung bewirken den Übergang zu einer Multiaperturoptik, wodurch ein flacherer Aufbau bei gleichbleibender Auflösung im Vergleich zur herkömmlichen Einzelaperturoptik mit einem Objektiv möglich wird. Anstelle eines Gesamtbildes wird eine Vielzahl von Teilbildern auf dem Bildsensor abgebildet. Aus den Teilbildern kann im Rahmen einer anschließenden Bildverarbeitung das Gesamtbild rekonstruiert werden.The diaphragm structure and the microlens arrangement cause the transition to a multi-aperture optical system, whereby a flatter construction with constant resolution compared to conventional single-aperture optical system with a lens is possible. Instead of an overall image, a multiplicity of partial images are imaged on the image sensor. From the partial images, the overall picture can be reconstructed as part of a subsequent image processing.

Die Geometrie von Mikrolinse und zugehöriger/n Blendenöffnung(en) bestimmt den Raumwinkel im Objektraum, der auf dem zugehörigen Teilbereich des Bildsensors abgebildet wird. Dieser Teilbereich des Bildsensors mit zugehöriger/n Blendenöffnung(en) und Mikrolinse wird auch als ein Kanal dieses Kamerasystems bezeichnet.The geometry of the microlens and the associated aperture (s) determines the solid angle in the object space, which is imaged on the associated subarea of the image sensor. This subregion of the image sensor with associated aperture (s) and microlens is also referred to as a channel of this camera system.

Das erfindungsgemäße Kamerasystem ist geeignet zur Befestigung an der Unterseite einer geneigten Scheibe, beispielsweise an der Innenseite einer Windschutzscheibe eines Fahrzeugs. Das Kamerasystem ist derart angeordnet, dass die sensitive Fläche des Bildsensors gegenüber der Horizontalen um einen vorgegebenen Winkel nach oben blickt. Die sensitive Fläche des Bildsensors ist also gegenüber der Vertikalen um einen Winkel zwischen 0° und 90° geneigt. Dieser Neigungswinkel kann durch die Neigung der Scheibe vorgegeben sein oder von diesem ausgehend durch einen keilförmigen Abstandshalter variiert werden.The camera system according to the invention is suitable for attachment to the underside of an inclined disc, for example on the inside of a windshield of a vehicle. The camera system is arranged such that the sensitive surface of the image sensor with respect to the horizontal by a predetermined angle looks upwards. The sensitive surface of the image sensor is thus inclined relative to the vertical by an angle between 0 ° and 90 °. This angle of inclination may be predetermined by the inclination of the disc or be varied starting therefrom by a wedge-shaped spacer.

In einer vorteilhaften Weiterbildung der Erfindung sind Mikrolinsenanordnung, Blendenstruktur und Bildsensor des Kamerasystems parallel zueinander aufeinander geschichtet angeordnet. Diese geschichtete Anordnung ermöglicht den äußerst flachen Aufbau des Kamerasystems.In an advantageous development of the invention, the microlens arrangement, diaphragm structure and image sensor of the camera system are arranged stacked parallel to one another. This layered arrangement allows the extremely flat structure of the camera system.

In einer bevorzugten Ausführungsform kann durch einen transversalen Versatz zwischen Mikrolinsenanordnung und Blendenstruktur für jeden Kanal eingestellt werden, welcher Raumwinkel im Objektraum durch diesen Kanal abgebildet wird. Auf dieses Weise kann beispielsweise eine vergrößerte Abbildung erzielt werden oder Teilbereiche des Objektraums können abgebildet werden, die nicht entlang der optischen Achse einer Mikrolinse liegen, indem ein Winkel zwischen der optischen Achse und der Verbindungslinie Mikrolinsenmittelpunkt-Blendenöffnung eingestellt wird. Die Blendenstruktur des Kamerasystems ist bevorzugt derart aufgebaut, dass nur elektromagnetische Strahlung, die unter einem definierten Einfallswinkelbereich auf eine Mikrolinse der Mikrolinsenanordnung einfällt, die Blendenstruktur passieren kann und auf der sensitiven Fläche des Bildsensor detektiert wird. Dazu kann die Blendenstruktur derart aufgebaut sein, dass ein deutlicher transversaler Versatz zwischen einer Mikrolinse und dem zugehörigen Empfängerpixel oder Pixelbereich des Bildsensors besteht. Hierdurch wird bewirkt, dass elektromagnetische Strahlung entlang der optischen Achse eines einzelnen optischen Elements der Mikrolinsenanordnung durch die absorbierende Wirkung der sich dort befindlichen Blendenstruktur die sensitive Halbleiterfläche des Bildsensors nicht erreicht. Die Position der zugehörigen Blendenöffnung legt im Zusammenspiel mit den optischen Eigenschaften der Mikrolinse fest aus welchem Einfallswinkelbereich elektromagnetische Strahlung auf den zugehörigen Teilbereich der sensitiven Fläche des Bildsensors gelangt. Vorzugsweise wird durch jede Mikrolinse ein separater Einfallswinkelbereich auf einen separaten Bildsensorbereich abgebildet.In a preferred embodiment, it can be adjusted by a transverse offset between the microlens array and aperture structure for each channel, which solid angle is imaged in the object space through this channel. In this way, for example, an enlarged image can be obtained or portions of the object space can be imaged which are not along the optical axis of a microlens by adjusting an angle between the optical axis and the microlens center-point connecting line. The diaphragm structure of the camera system is preferably constructed such that only electromagnetic radiation incident on a microlens of the microlens array at a defined angle of incidence range can pass through the diaphragm structure and be detected on the sensitive surface of the image sensor. For this purpose, the diaphragm structure can be constructed such that there is a clear transverse offset between a microlens and the associated receiver pixel or pixel region of the image sensor. This has the effect that electromagnetic radiation along the optical axis of a single optical element of the microlens array does not reach the sensitive semiconductor surface of the image sensor due to the absorbing effect of the diaphragm structure located there. The position of the associated diaphragm opening determines, in interaction with the optical properties of the microlens, from which incident angle range electromagnetic radiation reaches the associated partial area of the sensitive surface of the image sensor. Preferably, a separate angle of incidence range is imaged onto a separate image sensor area by each microlens.

Dieser Aufbau des Kamerasystems mit Multilinsenanordnung und Blendenstruktur ermöglicht es, Bildbereiche abzubilden, die nicht senkrecht zur sensitiven Fläche des Bildsensors liegen, sondern unterhalb dieser Achse liegen. Das Kamerasystem schielt in eine gewünschte Richtung. Für den Einsatz in kamerabasierten Fahrerassistenzfunktionen sind beispielsweise der Bereich vor dem Fahrzeug und der Straßenbereich vor dem Fahrzeug relevant, z. B. zur Detektion von Fahrzeugen, Fußgängern, Hindernissen, Verkehrsschildern oder Fahrbahnmarkierungen. This construction of the camera system with multi-lens arrangement and diaphragm structure makes it possible to image areas that are not perpendicular to the sensitive surface of the image sensor, but lie below this axis. The camera system switches in a desired direction. For example, for use in camera-based driver assistance functions, the area in front of the vehicle and the road area in front of the vehicle are relevant, eg. As for the detection of vehicles, pedestrians, obstacles, traffic signs or lane markings.

In einer alternativen Ausführungsform sind die Mikrolinsen derart ausgebildet und/oder angeordnet, dass nur elektromagnetische Strahlung, die unter einem definierten Einfallswinkelbereich auf eine Mikrolinse der Mikrolinsenanordnung einfällt, die Blendenstruktur passieren kann und auf der sensitiven Fläche des Bildsensor detektiert wird. Beispielsweise kann die Ausrichtung der optischen Achse zumindest einer Mikrolinse des Mikrolinsenarrays durch eine veränderte Formgebung der Mikrolinse variiert werden und dadurch ein Schielen des Kamerasystems in eine gewünschte Richtung erzeugt werden.In an alternative embodiment, the microlenses are designed and / or arranged such that only electromagnetic radiation incident on a microlens of the microlens array at a defined angle of incidence range can pass through the diaphragm structure and be detected on the sensitive surface of the image sensor. For example, the alignment of the optical axis of at least one microlens of the microlens array can be varied by changing the shape of the microlens, thereby generating a squint of the camera system in a desired direction.

Um den Bauraum für ein erfindungsgemäßes Kamerasystem weiter zu minimieren kann das Kamerasystem direkt an die Unterseite einer geneigten Scheibe geklebt bzw. befestigt werden. Durch den geschichteten Aufbau des Kamerasystems liegen hierbei die Mikrolinsenanordnung, die Blendenstruktur und der Bildsensor parallel zur Neigung der Unterseite der geneigten Scheibe. Eine transparente planparallele Platte, auf der die Mikrolinsen angeordnet sind, wird mit ihrer freien Seite (den Mikrolinsen gegenüberliegend) an die Scheibenunterseite geklebt oder anderweitig befestigt.In order to further minimize the installation space for a camera system according to the invention, the camera system can be glued or fastened directly to the underside of an inclined disk. Due to the layered structure of the camera system, the microlens arrangement, the diaphragm structure and the image sensor lie parallel to the inclination of the underside of the inclined disk. A transparent plane-parallel plate, on which the microlenses are arranged, is glued or otherwise fixed with its free side (opposite the microlenses) to the underside of the pane.

In einer weiteren vorteilhaften Ausführungsform der Erfindung wird ein keilförmiger Abstandshalter zwischen der geneigten Scheibe und dem Mikrolinsenarray angeordnet. Der Abstandshalter kann beispielsweise aus einem optisch transparenten Material gebildet sein, insbesondere einem transparenten Klebstoff bzw. Klebemittel, oder als Rahmen ausgebildet sein, der in seinem Inneren die elektromagnetische Strahlung ungehindert von der geneigten Scheibe zum Mikrolinsenarray passieren lässt, da im Inneren Luft oder ein anderes Gas befindlich ist.In a further advantageous embodiment of the invention, a wedge-shaped spacer is arranged between the inclined disk and the microlens array. The spacer may for example be formed of an optically transparent material, in particular a transparent adhesive or adhesive, or be designed as a frame that allows the electromagnetic radiation to pass unhindered from the inclined disc to the microlens array in its interior, as in the interior air or another Gas is located.

Durch Einsatz unterschiedlicher Abstandshalter mit variiertem Keilwinkel für unterschiedlich geneigte Scheiben (z. B. bei unterschiedlichen Fahrzeugtypen) kann das erfindungsgemäße Kamerasystem bevorzugt stets in einem definierten Winkel zur Fahrzeuglängsachse ausgerichtet sein. Dies ermöglicht den Einsatz eines vorkonfigurierten Kamerasystems bei Fahrzeugtypen mit unterschiedlich geneigten Windschutzscheiben.By using different spacers with a varied wedge angle for differently inclined disks (eg with different vehicle types), the camera system according to the invention can preferably always be aligned at a defined angle to the vehicle longitudinal axis. This allows the use of a preconfigured camera system for vehicle types with differently sloped windshields.

Vorzugsweise kann die Lage der sensitiven Fläche des Bildsensors des Kamerasystems durch einen Abstandshalter von –5° bis +5° gegenüber der geneigten Scheibe variiert werden.Preferably, the position of the sensitive surface of the image sensor of the camera system can be varied by a spacer of -5 ° to + 5 ° relative to the inclined disk.

Gemäß einer vorteilhaften Weiterbildung der Erfindung umfasst die Blendenstruktur mindestens zwei Ebenen mit unterschiedlich angeordneten Blendenöffnungen. Durch eine Mehrzahl von Blendenplatten mit unterschiedlich angeordneten Blendenöffnungen kann der mögliche Einfallswinkelbereich für elektromagnetische Strahlung, die schließlich auf dem Bildsensor detektiert wird, genau vorgegeben werden.According to an advantageous development of the invention, the diaphragm structure comprises at least two planes with differently arranged diaphragm openings. The possible angle of incidence range for electromagnetic radiation, which is finally detected on the image sensor, can be specified precisely by means of a plurality of diaphragm plates with differently arranged diaphragm openings.

Die Erfindung betrifft weiterhin ein Fahrzeug umfassend ein erfindungsgemäßes Kamerasystem, wobei das Kamerasystem mit einem Klebemittel an der Innenseite der Windschutzscheibe befestigt ist oder an einem Abstandshalter, der an der Windschutzscheibe befestigt ist.The invention further relates to a vehicle comprising a camera system according to the invention, wherein the camera system is fastened with an adhesive to the inside of the windshield or to a spacer which is fastened to the windshield.

Bevorzugt sind bei einem Fahrzeug mit Kamerasystem Mikrolinsenanordnung und Blendenstruktur des Kamerasystems derart ausgestaltet, dass ein Bereich bzw. eine Objektebene auf dem Bildsensor abgebildet wird, der/die sich vor dem Fahrzeug befindet.In a vehicle having a camera system, the microlens arrangement and diaphragm structure of the camera system are preferably configured in such a way that an area or an object plane is imaged on the image sensor which is located in front of the vehicle.

Bevorzugt ist bei einem Fahrzeug mit Kamerasystem in mindestens einem Teilbereich die Blendenstruktur variiert oder die angeordneten Mikrolinsen sind unterschiedlich zum restlichen Bereich der Mikrolinsenanordnung ausgeführt.In the case of a vehicle having a camera system, the diaphragm structure is preferably varied in at least one subarea, or the arranged microlenses are embodied differently from the remaining region of the microlens array.

In einer bevorzugten Ausgestaltung der Erfindung kann das Kamerasystem durch eine besondere partiell (also in Teilbereichen z. B. am Rand der Anordnung) unterschiedliche Ausführung der Elemente Mikrolinsenanordnung und Blendenstruktur weitere Assistenzfunktion ermöglichen. Bevorzugt kann das Kamerasystem zur Regenerkennung und/oder Taglichterkennung eingesetzt werden. Hierzu können insbesondere die folgenden Parameter verändert werden, um so auf kostengünstige Weise weitere Funktionen zu implementieren:

– Ausrichtung der Optischen Achse der zugehörigen optischen Elemente der Mikrolinsenanordnung durch partiell verschiedene Formgebung
– Partielle Materialvariation in mindestens einem Teilbereich der Mikrolinsenanordnung zur Änderung der Brennweite oder der spektralen Transmissionseigenschaften der veränderten Mikrolinsen
– Partiell unterschiedliche Ausführung der Blendenstruktur insbesondere zur Festlegung weiterer Einfallswinkel auf bestimmte Bereiche (Randbereiche) des Bildsensors. Damit kann ein Sichtfeld nach oben definiert werden, in dem eine Messung der Helligkeit über der Windschutzscheibe erfolgt, was zur Taglichterkennung erforderlich ist.

In a preferred embodiment of the invention, the camera system can make possible a further assistance function by means of a special embodiment of the elements microlens arrangement and diaphragm structure that is partially (ie in some areas eg at the edge of the arrangement). Preferably, the camera system can be used for rain detection and / or daylight detection. In particular, the following parameters can be changed in order to implement additional functions in a cost-effective manner:

- Alignment of the optical axis of the associated optical elements of the microlens array by partially different shape
- Partial material variation in at least a portion of the microlens array for changing the focal length or the spectral transmission properties of the modified microlenses
Partially different design of the diaphragm structure, in particular for determining further angles of incidence on specific areas ( Edge areas) of the image sensor. Thus, a field of view can be defined upwards, in which a measurement of the brightness takes place over the windshield, which is required for daylight detection.

Zur Integration einer Regenerkennung in die Funktionalität des Kamerasystems umfasst das Fahrzeug gemäß eines bevorzugten Ausführungsbeispiels eine Beleuchtungsquelle, z. B. LED oder infrarote LED, deren Strahlung in die Windschutzscheibe eingekoppelt wird. Die Mikrolinsenanordnung nutzt partiell angeordnete optische Elemente (Kanäle) z. B. im Randbereich und eine zugehörige dafür optimierte Blendenstruktur, um elektromagnetische Strahlung über die Windschutzscheibe in den Teilbereich des Kamerasystems einzukoppeln.To integrate a rain detection in the functionality of the camera system, the vehicle according to a preferred embodiment comprises a lighting source, for. B. LED or infrared LED whose radiation is coupled into the windshield. The microlens array uses partially arranged optical elements (channels) z. B. in the edge region and an associated optimized diaphragm structure to couple electromagnetic radiation through the windshield in the sub-region of the camera system.

Beleuchtungsquelle und Kamerasystem können derart aufeinander abgestimmt sein, dass bei einer freien und trockenen Windschutzscheibe, die von der Beleuchtungsquelle ausgesandte elektromagnetische Strahlung den Teilbereich des Kamerasystems nicht erreicht. Erst das Vorliegen von Wassertropfen oder Schmutzpartikeln bewirkt eine Reflexion der ausgesandten Strahlung ab den Wassertropfen bzw. eine Streuung an den Partikeln, wodurch eine gestiegene Intensität im Teilbereich des Kamerasystems gemessen wird. Änderungen durch Reflexion oder Brechung an Objekten im Nahbereich können also über einen abbildenden Kanal und den zugehörigen Pixelbereich vom Kamerasystem erfasst werden und somit Regen bzw. Schmutz erkannt werden.The illumination source and the camera system can be matched to one another in such a way that, with a free and dry windscreen, the electromagnetic radiation emitted by the illumination source does not reach the partial area of the camera system. Only the presence of water droplets or dirt particles causes a reflection of the emitted radiation from the water droplets or a scattering of the particles, whereby an increased intensity in the partial area of the camera system is measured. Changes due to reflection or refraction of objects in the near range can therefore be detected by the camera system via an imaging channel and the associated pixel range, and thus rain or dirt can be detected.

Alternativ können entsprechend des bekannten Regensensorprinzips Beleuchtungsquelle und Kamerasystem derart aufeinander abgestimmt sein, dass bei einer trockenen Windschutzscheibe eine Totalreflexion innerhalb der Windschutzscheibe erfolgt und im (Teil-)Empfangsbereich des Kamerasystems das Signal mit voller Stärke gemessen wird. Bei Wassertropfen/Partikeln auf der Windschutzscheibe wird die elektromagnetische Strahlung dagegen teilweise ausgekoppelt und die gemessene Intensität ist geringer.Alternatively, in accordance with the known rain sensor principle, the illumination source and the camera system can be matched to one another such that, in the case of a dry windshield, total reflection takes place within the windshield and the full strength signal is measured in the (partial) reception area of the camera system. In the case of drops of water / particles on the windshield, on the other hand, the electromagnetic radiation is partially decoupled and the measured intensity is lower.

In einer weiteren Ausführungsform ist das Kamerasystem über ein Kabel, bevorzugt ein Flachbandkabel mit einem Stecker mit der Fahrzeugelektronik im Dachhimmel verbunden ist. Dadurch kann der benötigte Bauraum im Bereich der Windschutzscheibe minimal gehalten werden. Die platzbeanspruchende Steckerverbindung wird in den Dachhimmel oder alternativ in den Fuß des Rückspiegels verlegt.In a further embodiment, the camera system is connected via a cable, preferably a ribbon cable with a plug to the vehicle electronics in the headliner. As a result, the required space in the windshield can be kept to a minimum. The space-consuming connector is laid in the headliner or alternatively in the foot of the rearview mirror.

Bevorzugt ist das Kamerasystem elektronisch mit einer Vorrichtung zur Bildverarbeitung verbunden, die im Fuß des Rückspiegels angeordnet ist.Preferably, the camera system is electronically connected to a device for image processing, which is arranged in the foot of the rearview mirror.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen und Figuren erläutert.The invention will be explained with reference to embodiments and figures.

1: Flach aufgebautes Kamerasystem, das an einer geneigten Scheibe befestigt ist 1 : Flat-mounted camera system attached to an inclined disk

2: Abbildungseigenschaften eines flach aufgebauten Kamerasystems mit Mikrolinsen und Blendenstruktur 2 : Image properties of a flat camera system with microlenses and diaphragm structure

Die Schnittzeichnung in 1 zeigt eine Ausführungsform eines erfindungsgemäßen Kamerasystems. Das Kamerasystem umfasst eine Anordnung von Mikrolinsen (4) auf einer planparallelen Platte (3) als Element zur Abbildung elektromagnetischer Strahlung, wobei die Gesamtheit als Mikrolinsenanordnung (3, 4) oder Mikrolinsenarray bezeichnet wird. Das Kamerasystem umfasst einen Bildsensor (6) mit einer sensitiven Fläche zur Erfassung elektromagnetischer Strahlung und eine als Falschlichtblende wirkenden Blendenstruktur (5) zwischen der Mikrolinsenanordnung (3, 4) und dem Bildsensor (6). Durch die Mikrolinsenanordnung (3, 4) wird elektromagnetischer Strahlung auf den Bildsensor (6) projiziert, sofern die elektromagnetische Strahlung nicht durch die Blendenstruktur absorbiert wird. Das dargestellte Kamerasystem ist mit einem Klebemittel (2) an der Unterseite einer geneigten Scheibe (1) befestigt. Die geneigte Scheibe (1) kann insbesondere die Windschutzscheibe eines Fahrzeugs sein. Aufgrund der Neigung der Scheibe (1) ist das Kamerasystem und damit der Bildsensor (6) geneigt. Die sensitive Fläche des Bildsensors (6) blickt gegenüber der Horizontalen um einen vorgegebenen Winkel nach oben. Im dargestellten Fall entspricht der Neigungswinkel des Bildsensors (6) dem Neigungswinkel der Scheibe (1). Durch einen keilförmigen Abstandshalter (nicht dargestellt) zwischen Scheibe (1) und der Planplatte (3), auf der die Mikrolinsen (4) angeordnet sind, kann ein anderer Blickwinkel für den Bildsensor (6) als der senkrecht zum Neigungswinkel der Scheibe (1) eingestellt werden. Bevorzugt können so der betroffene Teil der geneigten Scheibenfläche der Scheibe (1) und die Mikrolinsenanordnung (3, 4) in einem Winkelbereich zwischen 5 und –5° zueinander angeordnet sein. Als Abstandshalter kann entweder ein für die definierte Bandbreite elektromagnetischer Strahlung transparentes Klebemittel (2), ein massiver transparenter Abstandshalter oder ein rahmenförmiger Abstandshalter verwendet werden, in dessen Innerem sich ein gasförmiges Medium, z. B. Luft, befindet.The sectional drawing in 1 shows an embodiment of a camera system according to the invention. The camera system comprises an array of microlenses ( 4 ) on a plane-parallel plate ( 3 ) as an element for imaging electromagnetic radiation, the assembly being in the form of a microlens array ( 3 . 4 ) or microlens array. The camera system includes an image sensor ( 6 ) having a sensitive surface for detecting electromagnetic radiation and a diaphragm structure acting as a false-light diaphragm ( 5 ) between the microlens array ( 3 . 4 ) and the image sensor ( 6 ). Through the microlens array ( 3 . 4 ) electromagnetic radiation is applied to the image sensor ( 6 ), unless the electromagnetic radiation is absorbed by the diaphragm structure. The camera system shown is provided with an adhesive ( 2 ) at the bottom of a tilted disc ( 1 ) attached. The inclined disc ( 1 ) may be in particular the windshield of a vehicle. Due to the inclination of the disc ( 1 ) is the camera system and thus the image sensor ( 6 ) inclined. The sensitive area of the image sensor ( 6 ) looks up to the horizontal by a predetermined angle. In the illustrated case, the inclination angle of the image sensor ( 6 ) the inclination angle of the disc ( 1 ). By a wedge-shaped spacer (not shown) between disc ( 1 ) and the plane plate ( 3 ) on which the microlenses ( 4 ), another viewing angle for the image sensor ( 6 ) than perpendicular to the angle of inclination of the disc ( 1 ). Preferably, the affected part of the inclined disc surface of the disc ( 1 ) and the microlens array ( 3 . 4 ) in an angular range between 5 and -5 ° to each other. As a spacer either a transparent for the defined range of electromagnetic radiation adhesive ( 2 ), a solid transparent spacer or a frame-shaped spacer are used, in the interior of which a gaseous medium, for. As air, is located.

In 1 sind exemplarisch vier Strahlengänge dargestellt, die jeweils unter einem unterschiedlichen Einfallswinkel ϕ auf die geneigte Scheibe (1) treffen und durch die Mikrolinsenanordnung (3, 4) und die Blendenstruktur (5) auf unterschiedliche Teilbereiche des Bildsensors (6) abgebildet werden. Elektromagnetische Strahlung, die entlang der optischen Achse der Mikrolinsen (4), also ϕ = 0°, auf die Scheibe (1) eintritt, wird dagegen nicht auf den Bildsensor (6) abgebildet, sondern von der Blendenstruktur (5) absorbiert bzw. ausgeblendet. Die Richtung ϕ = 0° wird als Lot bezeichnet und ist in 1 als gestrichelte Linie dargestellt. Ferner ist die Blendenstruktur (5) derart ausgebildet, dass elektromagnetische Strahlung, die mit Einfallswinkeln ϕ, die negativ sind (vom Lot aus nach rechts geneigt), ausgeblendet wird. Das Kamerasystem unterscheidet sich von herkömmlichen Kamerasystemen also u. a. dadurch, dass durch die Ausführung der Blendenstruktur (5) ein deutlicher transversaler Versatz zwischen der zugehörigen Mikrolinse (4) der Mikrolinsenanordnung (3, 4) und dem Empfängerpixel oder Pixelbereich des Bildsensors (6) besteht.In 1 By way of example, four beam paths are shown, which each have a different angle of incidence φ on the inclined disk (FIG. 1 ) and through the microlens array ( 3 . 4 ) and the diaphragm structure ( 5 ) to different portions of the image sensor ( 6 ). Electromagnetic radiation traveling along the optical axis of the microlenses ( 4 ), ie φ = 0 °, on the Disc ( 1 ), does not affect the image sensor ( 6 ), but of the diaphragm structure ( 5 ) absorbed or hidden. The direction φ = 0 ° is called Lot and is in 1 shown as a dashed line. Furthermore, the diaphragm structure ( 5 ) are designed such that electromagnetic radiation which is negative with angles of incidence φ which are negative (inclined to the right from the perpendicular) is masked out. The camera system thus differs from conventional camera systems in that, for example, due to the design of the diaphragm structure ( 5 ) a significant transverse offset between the associated microlens ( 4 ) of the microlens array ( 3 . 4 ) and the receiver pixel or pixel area of the image sensor ( 6 ) consists.

Bei einer Verwendung als Fahrzeugkamerasystem für Fahrerassistenzfunktionen wäre die geneigte Scheibe (1) die Windschutzscheibe des Fahrzeugs. Aufgrund der durch die Blendenstruktur (5) und die Mikrolinsenanordnung vorgegebenen Einfallswinkel ϕ, aus denen einfallende elektromagnetische Strahlung den Bildsensor (6) erreicht, wird eine Objektebene auf dem Bildsensor (6) abbildet, die sich vor dem Fahrzeug befindet. Ohne die das Zusammenspiel aus Mikrolinsenanordnung (3, 4) und speziell versetzter Blendenstruktur (5) würde dagegen eine Objektebene abgebildet werden, die teilweise oder ganz außerhalb des gewünschten Sichtfeldbereiches (vor dem Fahrzeug), nämlich Richtung Himmel blickend. Das dargestellte Kamerasystem schielt in die gewünschte Richtung.When used as a vehicle camera system for driver assistance functions, the inclined disk ( 1 ) the windshield of the vehicle. Due to the aperture structure ( 5 ) and the microlens array predetermined angle of incidence φ, from which incident electromagnetic radiation to the image sensor ( 6 ), an object plane on the image sensor ( 6 ), which is in front of the vehicle. Without the interaction of microlens array ( 3 . 4 ) and specially offset diaphragm structure ( 5 On the other hand, an object plane would be imaged that partially or completely outside the desired field of view (in front of the vehicle), namely looking towards the sky. The camera system shown switched in the desired direction.

Nur elektromagnetische Strahlung, die unter einem definierten Einfallswinkel ϕ auf eine Mikrolinse (4) trifft, kann durch die Anordnung der Blendenstruktur des Blendenarrays (3) die sensitive Halbleiterfläche des Bildsensors (6) erreichen.Only electromagnetic radiation that is incident on a microlens at a defined angle of incidence φ ( 4 ) can be determined by the arrangement of the diaphragm structure of the diaphragm array ( 3 ) the sensitive semiconductor surface of the image sensor ( 6 ) to reach.

Es entstehen bei diesem Kamerasystem auf Teilbereichen (Pixel oder Pixelbereiche) des Bildsensors (6) Teilbilder des Objektraums. Bevorzugt sind Mikrolinsenanordnung (3, 4) und Blendenstruktur (5) derart aufgebaut und angeordnet, dass jeder Mikrolinse (4) ein Detektionskanal entspricht, indem elektromagnetische Strahlung, die durch diese Mikrolinse (4) tritt, durch einen zugehörigen Öffnungsbereich der Blendenstruktur (5) in genau einem Teilbereich des Bildsensors (6) detektiert wird. In diesem Fall wird auf dem Bildsensor (6) eine Anzahl an Teilabbildungen erreicht, die der Anzahl der Mikrolinsen (4) der Mikrolinsenanordnung (3, 4) entspricht. Zudem weist jede einzelne Teilabbildung bevorzugt einen definierten Versatz zu den benachbarten Teilabbildungen auf. Dadurch kann Redundanz vermieden werden und eine möglichst hohe Pixelauflösung pro Feldwinkel erreicht werden. Im Anschluss an das Auslesen der Teilabbildungen vom Bildsensor (6) kann bei einer Bildvorverarbeitung aus den Teilabbildungen ein Gesamtbild der Objektszene erzeugt werden, das dem Bild eines herkömmlichen Kamerasystems entspricht.In this camera system, partial areas (pixels or pixel areas) of the image sensor ( 6 ) Partial images of the object space. Preference is given to microlens arrangement ( 3 . 4 ) and diaphragm structure ( 5 ) are constructed and arranged such that each microlens ( 4 ) corresponds to a detection channel by electromagnetic radiation passing through this microlens ( 4 ) passes through an associated opening area of the diaphragm structure ( 5 ) in exactly one subregion of the image sensor ( 6 ) is detected. In this case, on the image sensor ( 6 ) reaches a number of sub-images that correspond to the number of microlenses ( 4 ) of the microlens array ( 3 . 4 ) corresponds. In addition, each individual partial image preferably has a defined offset to the adjacent partial images. As a result, redundancy can be avoided and the highest possible pixel resolution per field angle can be achieved. Following the reading of the partial images from the image sensor ( 6 In the case of an image preprocessing, an overall image of the object scene, which corresponds to the image of a conventional camera system, can be generated from the partial images.

Die geneigte Scheibe (1), an der das Kamerasystem befestigt ist, sollte zumindest im Bereich des Kamerasystems für eine definierte Bandbreite der elektromagnetischen Strahlung transparent ausgeführt sein. Dies ist bei einer Windschutzscheibe als geneigter Scheibe (1) z. B. für Fahrerassistenzfunktionen der sichtbare Spektralbereich, und für Nachtsichtanwendungen der NIR-Spektralbereich (nahinfrarot). Zusätzlich können bei der geneigten Scheibe (1) im Bereich des Kamerasystems spezielle Filterbeschichtungen oder Folien zur Funktionsoptimierung auf- oder eingebracht sein.The inclined disc ( 1 ), to which the camera system is attached, should be made transparent, at least in the area of the camera system, for a defined bandwidth of the electromagnetic radiation. This is at a windshield as an inclined disc ( 1 ) z. B. for driver assistance functions of the visible spectral range, and for night vision applications of the NIR spectral range (near-infrared). In addition, with the inclined disc ( 1 ) in the area of the camera system special filter coatings or films for functional optimization or introduced.

Die Schnittzeichnung in 2 zeigt eine Detailansicht eines flach aufgebauten Kamerasystems. Das dargestellte Kamerasystem ist vergleichbar mit dem in 1 dargestellten Kamerasystem, unterscheidet sich aber z. B. darin, dass die Blendenstruktur (5) drei Ebenen mit unterschiedlich angeordneten Blendenöffnungen umfasst. Der Bildsensor (6) unterhalb der Blendenstruktur (5) ist hier symbolhaft als Anordnung von einzelnen Empfängerpixel (6a, 6b) dargestellt. Ein Pixelbereich wird beispielsweise links durch Pixel (6a) und rechts durch Pixel (6b) begrenzt. Dass zwischen benachbarten Pixelbereichen eine Pixellücke dargestellt ist, dient nur der Veranschaulichung und muss in einem erfindungsgemäßen Bildsensor nicht der Fall sein.The sectional drawing in 2 shows a detailed view of a flat camera system. The illustrated camera system is similar to the one in 1 shown camera system, but differs z. B. in that the aperture structure ( 5 ) comprises three levels with differently arranged apertures. The image sensor ( 6 ) below the diaphragm structure ( 5 ) is symbolic here as an arrangement of individual receiver pixels ( 6a . 6b ). For example, a pixel range is left by pixels ( 6a ) and right through pixels ( 6b ) limited. The fact that a pixel gap is shown between adjacent pixel areas is only illustrative and need not be the case in an image sensor according to the invention.

In 2 sind exemplarisch zwei Strahlengänge a (a1, a2) und b (b1, b2) dargestellt, die unter zwei unterschiedlichen Einfallswinkeln ϕ auf die geneigte Scheibe (1) treffen. Beim Übergang Luft Scheibe (1) werden beide Strahlen a und b unterschiedlich stark zum Lot hin gebrochen. Die Übergänge geneigte Scheibe (1) – Klebemittel (2) – planparallele Platte (3) – Mikrolinse (4) werden in 2 vernachlässigt, was gerechtfertigt ist, wenn der Brechungsindex dieser Materialien ähnlich oder identisch ist. Am Übergang Mikrolinse (4) – Öffnung der Blendenstruktur (5), in der sich Luft befindet, werden die Teilstrahlen (a1, a2, b1, b2) unterschiedlich stark vom Lot weg gebrochen. Die Einfallswinkel ϕ der Strahlen a und b wurden für die gezeigte Darstellung so gewählt, dass Strahl a den linken Bereich der Blendenöffnungen der Blendenstruktur (5) passiert und am linken Rand des zugehörigen Pixelbereichs (6a) abgebildet wird und Strahl b entsprechend am rechten Rand (6b). Strahlen, die weiter mit kleineren oder größeren Einfallswinkeln als die Strahlen a oder b würden durch die Blendenstruktur (5) links oder rechts der Blendenöffnungen absorbiert und nicht auf die sensitive Fläche des Bildsensors (6) gelangen. Elektromagnetische Strahlung, die in diesem Pixelbereich von Pixel (6a) bis Pixel (6b) detektiert wird, tritt unter einem Winkel im Intervall vom Einfallswinkel von Strahl a bis zum Einfallswinkel von Strahl b in die geneigte Scheibe (1) ein. Durch eine Variation der Blendenstruktur (5) und/oder der Mikrolinsenanordnung (3, 4) könnte dieser Einfallswinkelbereich anders festgelegt werden. Ein „Schielen” des Kamerasystems gegenüber optischer Achse der Mikrolinsen (4) lässt sich auf diese Weise erzielen, was aus 2 klar zu erkennen ist. Die einzelnen Teilbilder, die jeweils von einem Pixelbereich des Bildsensors (6) detektiert werden, können in einer Bildvorverarbeitung zu einem Gesamtbild zusammengefügt werden.In 2 are exemplified two beam paths a (a1, a2) and b (b1, b2) shown at two different angles of incidence φ on the inclined disc ( 1 ) to meet. At the transition air disc ( 1 ), both beams a and b are differentially refracted towards the solder. The transitions inclined disc ( 1 ) - Adhesives ( 2 ) - plane parallel plate ( 3 ) - microlens ( 4 ) will be in 2 neglected, which is justified if the refractive index of these materials is similar or identical. At the transition microlens ( 4 ) - aperture of the diaphragm structure ( 5 ), in which there is air, the partial beams (a1, a2, b1, b2) are different degrees of broken away from the solder. The angles of incidence φ of the beams a and b have been selected for the illustration shown so that the beam a covers the left-hand region of the diaphragm openings of the diaphragm structure (FIG. 5 ) and at the left edge of the associated pixel area ( 6a ) and beam b corresponding to the right edge ( 6b ). Rays that continue with smaller or larger angles of incidence than rays a or b would pass through the aperture structure ( 5 ) is absorbed to the left or right of the apertures and not to the sensitive surface of the image sensor ( 6 ) reach. Electromagnetic radiation in this pixel range of pixels ( 6a ) to pixels ( 6b ) is detected at an angle in the interval from the angle of incidence of the beam a to the angle of incidence of the beam b in the inclined disk (Fig. 1 ) one. By a variation of the aperture structure ( 5 ) and / or the microlens array ( 3 . 4 ) this angle of incidence range could be set differently. A "squinting" of the camera system with respect to the optical axis of the microlenses ( 4 ) can be achieved in this way, what is 2 is clearly visible. The individual partial images, each of a pixel range of the image sensor ( 6 ) can be combined in an image preprocessing to form an overall image.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Geneigte ScheibeInclined disc
22: Klebemitteladhesive
33: PlanplattePlanplatte
44: MikrolinsenanordnungMicrolens array
55: Blendenstrukturaperture structure
66: Bildsensorimage sensor
ϕφ: Einfallswinkelangle of incidence
a1, a2a1, a2: Strahlengang aBeam path a
b1, b2b1, b2: Strahlengang bBeam path b
6a6a: Bildsensorbereich/Pixel, in dem Strahlengang a abgebildet wirdImage sensor area / pixel, in which beam path a is imaged
6b6b: Bildsensorbereich/Pixel, in dem Strahlengang b abgebildet wirdImage sensor area / pixel, in which beam path b is imaged

Claims

Camera system for attachment to a tilted disc ( 1 ) - an image sensor ( 6 ) having a sensitive surface for detecting electromagnetic radiation, - a microlens array ( 3 . 4 ) for projecting electromagnetic radiation onto the image sensor ( 6 ) and - a diaphragm structure ( 5 ), wherein the camera system is arranged such that the sensitive surface of the image sensor ( 6 ) with respect to the horizontal by a predetermined angle looks upwards.

A camera system according to claim 1, wherein the microlens array ( 3 . 4 ), Diaphragm structure ( 5 ) and image sensor ( 6 ) are arranged parallel to each other.

Camera system according to claim 1 or 2, wherein the diaphragm structure ( 5 ) is constructed in such a way that only electromagnetic radiation which is incident on a microlens (see FIG. 4 ) of the microlens array ( 3 . 4 ), the diaphragm structure ( 5 ) and on the sensitive surface of the image sensor ( 6 ) is detected.

Camera system according to claim 1 or 2, wherein the microlenses ( 4 ) are configured and / or arranged such that only electromagnetic radiation which is incident on a microlens (see FIG. 4 ) of the microlens array ( 3 . 4 ), the diaphragm structure ( 5 ) and on the sensitive surface of the image sensor ( 6 ) is detected.

Camera system according to one of the preceding claims, wherein the camera system at the bottom of a tilted disc ( 1 ) with an adhesive ( 2 ) is attached.

Camera system according to claim 1 to 4, wherein the camera system is mounted on a wedge-shaped spacer which at the bottom of an inclined. Disc ( 1 ) is attached.

A camera system as claimed in claim 5, wherein the spacer causes an angle of -5 ° to + 5 ° between the inclined disc ( 1 ) and the camera system can be adjusted.

Camera system according to one of the preceding claims, wherein the diaphragm structure ( 5 ) comprises at least two planes with differently arranged apertures.

Vehicle comprising a camera system according to one of the preceding claims, wherein the camera system is provided with an adhesive ( 2 ) on the inside of the windshield ( 1 ) or attached to a spacer attached to the windshield ( 1 ) is attached.

Vehicle according to claim 9, wherein the microlens array ( 3 . 4 ) and diaphragm structure ( 5 ) of the camera system are configured such that an area on the image sensor ( 6 ), which is located in front of the vehicle.

Vehicle according to claim 9 or 10, wherein in at least a portion of the microlens array ( 3 . 4 ) the arranged microlenses ( 4 ) are varied in their shape and / or their material.

Vehicle according to one of claims 9 to 11, wherein in at least a portion of the diaphragm structure ( 5 ) is varied.

A vehicle according to claim 11 or 12, wherein the varied sub-range of microlens array ( 3 . 4 ) and / or diaphragm structure ( 5 ) a measurement of the brightness above the windshield ( 1 ) he follows.

A vehicle according to any one of claims 11 to 13, wherein the vehicle comprises an illumination source whose radiation into the windshield ( 5 ), wherein the radiation is transmitted through the varied subregion of microlens array ( 3 . 4 ) and / or diaphragm structure ( 5 ) is measured, and from the measurement result, water or dirt on the windshield can be detected.

Vehicle according to one of claims 9 to 14, wherein the camera system is connected via a cable to the vehicle electronics in the headliner.

A vehicle according to any one of claims 9 to 15, wherein the camera system is electronically connected to an image processing device located in the foot of the rearview mirror.