DE102018215601B4 - Arrangement of micromirrors, micromirror device, use of a micromirror device, imaging system, method and computer program product for expanding a sharpness range of the imaging system and/or for generating a depth image - Google Patents

Arrangement of micromirrors, micromirror device, use of a micromirror device, imaging system, method and computer program product for expanding a sharpness range of the imaging system and/or for generating a depth image Download PDF

Info

Publication number
DE102018215601B4
DE102018215601B4 DE102018215601.8A DE102018215601A DE102018215601B4 DE 102018215601 B4 DE102018215601 B4 DE 102018215601B4 DE 102018215601 A DE102018215601 A DE 102018215601A DE 102018215601 B4 DE102018215601 B4 DE 102018215601B4
Authority
DE
Germany
Prior art keywords
imaging system
micromirrors
image
micromirror device
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018215601.8A
Other languages
German (de)
Other versions
DE102018215601A1 (en
Inventor
Alexander Stohr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102018215601.8A priority Critical patent/DE102018215601B4/en
Publication of DE102018215601A1 publication Critical patent/DE102018215601A1/en
Application granted granted Critical
Publication of DE102018215601B4 publication Critical patent/DE102018215601B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/04Focusing arrangements of general interest for cameras, projectors or printers adjusting position of image plane without moving lens
    • G03B3/06Focusing arrangements of general interest for cameras, projectors or printers adjusting position of image plane without moving lens using movable reflectors to alter length of light path

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

Mikrospiegelvorrichtung (20) eines Abbildungssystems (30), wobei bei Verwendung die Mikrospiegelvorrichtung (20) an einer Stelle des Abbildungssystems (30) angeordnet ist, an der in das Abbildungssystem (30) einfallendes Licht nicht fokussiert ist, umfassend• eine Mikrospiegeleinheit (12) umfassend mehrere Mikrospiegel (11), ausgeführt, Licht auf wenigstens einen ersten Bildsensor (31) des Abbildungssystems (30) zu leiten, wobei◯ die Mikrospiegel (11) in Zeilen und/oder in Spalten angeordnet sind,◯ in einem ersten Zustand die Mikrospiegel (11) in einer Ebene (e) angeordnet sind und◯ wenigstens ein Anteil (A) der Mikrospiegel (11) einen Rotationsfreiheitsgrad umfasst,und• eine Steuerungseinheit (21), um eine Rotationsbewegung wenigstens des Anteils (A) der Mikrospiegel (11) derart zu steuern, dass in einem zweiten Zustand diese Mikrospiegel (11) in Bezug auf die Ebene um jeweils denselben Winkel rotiert angeordnet sind um einen Stufenspiegel zu erzeugen zur Aufweitung eines Schärfebereiches des Abbildungssystems (30) und/oder zur Erzeugung eines Tiefenbildes, wobei die Steuerungseinheit (21) ausgeführt ist, mehrere Anteile (A, A') der Mikrospiegel (11) gruppenweise anzusteuern, um Entfernungszonen in Abhängigkeit der Gruppen der Mikrospiegel (11) gezielt scharf einzustellen.Micromirror device (20) of an imaging system (30), wherein in use the micromirror device (20) is arranged at a point of the imaging system (30) at which light incident on the imaging system (30) is not focused, comprising a micromirror unit (12) comprising a plurality of micromirrors (11), designed to direct light to at least one first image sensor (31) of the imaging system (30), wherein◯ the micromirrors (11) are arranged in rows and / or in columns, ◯ in a first state, the micromirrors (11) are arranged in a plane (e) and◯ at least a portion (A) of the micromirrors (11) comprises a rotational degree of freedom, and• a control unit (21) to ensure a rotational movement of at least the portion (A) of the micromirrors (11) to be controlled in such a way that in a second state these micromirrors (11) are arranged rotated by the same angle with respect to the plane in order to generate a step mirror for expanding a sharpness area of the imaging system (30) and / or for generating a depth image, whereby the The control unit (21) is designed to control several parts (A, A') of the micromirrors (11) in groups in order to specifically sharpen distance zones depending on the groups of micromirrors (11).

Description

Die Erfindung bezieht sich auf eine Anordnung von Mikrospiegeln nach Anspruch 1 zur Aufweitung eines Schärfebereichs des Abbildungssystems und/oder zur Erzeugung eines Tiefenbildes. Ferner bezieht sich die Erfindung auf eine Mikrospiegelvorrichtung nach Anspruch 2. Außerdem bezieht sich die Erfindung auf eine Verwendung der erfindungsgemäßen Mikrospiegelvorrichtung nach Anspruch 6. Des Weiteren bezieht sich die Erfindung auf ein Abbildungssystem nach Anspruch 7. Die Erfindung bezieht sich auch auf ein Verfahren nach Anspruch 12 zur Aufweitung eines Schärfebereiches eines Abbildungssystems und/oder zur Erzeugung eines Tiefenbildes. Außerdem bezieht sich die Erfindung auf ein Computerprogrammprodukt nach Anspruch 15 zur Ausführung des erfindungsgemäßen Verfahrens.The invention relates to an arrangement of micromirrors according to claim 1 for expanding a sharpness range of the imaging system and/or for generating a depth image. The invention further relates to a micromirror device according to claim 2. The invention also relates to a use of the micromirror device according to the invention according to claim 6. Furthermore, the invention relates to an imaging system according to claim 7. The invention also relates to a method according to claim 12 to expand a sharpness range of an imaging system and/or to generate a depth image. The invention also relates to a computer program product according to claim 15 for carrying out the method according to the invention.

Aus dem Stand der Technik sind Spiegel-Reflex-Kameras mit Schnittbild-Indikatoren, Ringen mit Pyramiden-Muster, Matt-Scheiben und weiteren Elementen zur Bilderfassung und zum Einregeln der Bild-Schärfe bekannt. Bei bekannten Roll-Film-Kompakt-Kameras kommt ein stereoskopischer Entfernungsmesser zum Einsatz, um Entfernungen zu bestimmen und damit die Kamera scharf einzustellen. Bei Periskope und Ferngläser erfolgt eine Ablenkung von Lichtstrahlen durch Prismen und Linsensystemen; Abbildungswege werden beispielsweise durch Strahl-Parallelisierung verlängert. Bekannt sind auch Digital-Projektoren in Form von Mikrospiegelanordnungen, im Englischen digital mirror device, abgekürzt DMD, genannt. In der Makro-Fotografie und anderen Verfahren mit digitaler Nachbearbeitung werden mit Hilfe von Stativen, motorischen Schlitten und anderen teils externen Hilfsmitteln Serienaufnahmen eines meist sehr statischen Objekts erstellt; diese Serienaufnahmen werden durch digitale Nachbearbeitung zu einem verbesserten Ausgangsbild zusammen komponiert. Bei Stereo- und Multilinsen-Kameras wird durch einen Versatz eine Szene mehrfach erfasst und daraus durch weitere Aufbereitung, z.B. ein Ausdruck mit vorgesetzten Vertikal-Linsen (Halb-Zylinder) ein Bild komponiert. In Forschung und Wissenschaft sind Systeme zur fotografischen Aufnahme von ultra-kurzen Laserpulsen für die Generierung von Bildern und Bild-Sequenzen und Systeme zur Untersuchung von Phasen-Verschiebung an Oberflächen mit variierender Erhebung bekannt. Dabei wird meist eine flächige Eingangsgröße durch Mustergenerieren auf einem CCD- Chip von einem nicht-flächigen (häufig komplexen, teuren) Sensorelement in deutlich reduzierter Zeit erfasst als mit einem punktweise flächigen Scan.SLR cameras with cross-sectional image indicators, rings with a pyramid pattern, matt lenses and other elements for image capture and for adjusting the image sharpness are known from the prior art. In well-known roll film compact cameras, a stereoscopic range finder is used to determine distances and thus focus the camera. In periscopes and binoculars, light rays are deflected by prisms and lens systems; Imaging paths are extended, for example, by beam parallelization. Digital projectors in the form of micromirror arrangements, known in English as digital mirror devices, abbreviated as DMD, are also known. In macro photography and other processes with digital post-processing, series images of a usually very static object are created with the help of tripods, motorized carriages and other, sometimes external, aids; These series recordings are composed together through digital post-processing to create an improved initial image. With stereo and multi-lens cameras, a scene is captured several times by means of an offset and an image is composed through further processing, e.g. a printout with vertical lenses (half cylinders) in front. Systems for the photographic recording of ultra-short laser pulses for the generation of images and image sequences and systems for investigating phase shifts on surfaces with varying elevation are known in research and science. In this case, a flat input variable is usually recorded by pattern generation on a CCD chip by a non-flat (often complex, expensive) sensor element in a significantly reduced time than with a point-by-point flat scan.

Mikrospiegelvorrichtungen sind beispielsweise in DE 10 2006 059 023 A1 und US 7 354 167 B2 oder US 2006/0018651 A1 offenbart.Micromirror devices are, for example, in DE 10 2006 059 023 A1 and US 7,354,167 B2 or US 2006/0018651 A1 disclosed.

Herkömmliche Kamerasysteme sind oft schwer, träge und energiebedürftig bei der Scharfstellung mit den heute typischen elektromechanischen Mitteln zur Schärfe-Einstellung. Herkömmliche Kameras können mit ihren Sensoren nur in einem bestimmten Entfernungs-Bereich eine taugliche Schärfe erreichen. Mit dem Sensor alleine lässt sich Unschärfe nicht korrigieren. Herkömmliche Kameras sind für sich gesehen nicht in der Lage, Tiefen-Informationen zu generieren. Eine Tiefenmessung mit einem Sensor erfordert oftmals aktive Beleuchtung der Szenerie oder mindestens eine zweite Kamera bzw. ein zweites Linsensystem oder bei Umschaltfähigkeit einer Einzelkamera eine eher sehr statische Szene.Conventional camera systems are often heavy, sluggish and require energy to focus using today's typical electromechanical means of focus adjustment. Conventional cameras can only achieve suitable sharpness with their sensors at a certain distance range. Blur cannot be corrected with the sensor alone. Conventional cameras themselves are not able to generate depth information. A depth measurement with a sensor often requires active lighting of the scene or at least a second camera or a second lens system or, if a single camera can be switched, a very static scene.

Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, den Schärfenverlauf eines Bildes und die Erzeugung von Tiefeninformationen zu verbessern.This is where the invention comes into play. The invention is based on the object of improving the sharpness of an image and the generation of depth information.

Die Aufgabe wird gelöst durch eine Anordnung von Mikrospiegeln mit den Merkmalen des Anspruchs 1. Ferner wird die Aufgabe gelöst durch eine Mikrospiegelvorrichtung mit den Merkmalen des Anspruchs 2. Außerdem wird die Aufgabe gelöst durch mit Verwendung der erfindungsgemäßen Mikrospiegelvorrichtung gemäß Anspruch 6. Des Weiteren wird die Aufgabe gelöst durch ein Abbildungssystem mit den Merkmalen des Anspruchs 7. Die Aufgabe wird auch gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 12. Außerdem wird die Aufgabe gelöst durch ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 15. The task is solved by an arrangement of micromirrors with the features of claim 1. Furthermore, the task is solved by a micromirror device with the features of claim 2. In addition, the task is solved by using the micromirror device according to the invention according to claim 6. Furthermore, the Task solved by an imaging system with the features of claim 7. The task is also solved by a method with the features of claim 12. In addition, the task is solved by a computer program product with the features of claim 15.

Weiterbildungen und vorteilhafte Ausgestaltungen sind in den Unteransprüchen und in den Figuren angegeben.Further developments and advantageous refinements are specified in the subclaims and in the figures.

Die erfindungsgemäße Anordnung von Mikrospiegeln einer Mikrospiegeleinheit eines Abbildungssystems ist bei Verwendung an einer Stelle des Abbildungssystems angeordnet, an der in das Abbildungssystem einfallendes Licht nicht fokussiert ist. Zum Beispiel ist die Anordnung bei Verwendung in unmittelbarer Nähe zu einer Sammellinse des Abbildungssystems angeordnet, entfernt vom Brennpunkt der Sammellinse. Die Anordnung umfasst mehrere Mikrospiegel. Die Mikrospiegel sind in Zeilen und/oder in Spalten angeordnet. In einem ersten Zustand sind die Mikrospiegel in einer Ebene angeordnet. In einem zweiten Zustand, durch den ein Stufenspiegel realisiert ist, ist wenigstens ein Anteil der Mikrospiegel in Bezug auf die Ebene um jeweils denselben Winkel rotiert angeordnet. Mit einer derartigen Anordnung, insbesondere bei einem relativ großen Rotationswinkel, wird ein Schärfebereich des Abbildungssystems aufgeweitet und/oder ein Tiefenbild erzeugt.When used, the inventive arrangement of micromirrors of a micromirror unit of an imaging system is arranged at a point in the imaging system where light incident on the imaging system is not focused. For example, in use, the assembly is positioned in close proximity to a converging lens of the imaging system, away from the focal point of the converging lens. The arrangement includes several micromirrors. The micromirrors are arranged in rows and/or columns. In a first state, the micromirrors are arranged in one plane. In a second state, through which a step mirror is realized, at least a portion of the micromirrors are arranged rotated by the same angle with respect to the plane. With such an arrangement, especially with a relatively large rotation angle, a sharpness range of the Imaging system expanded and / or a depth image is generated.

Die Anordnung besteht aus den räumlich und zeitlich nebeneinander wirkenden Mikrospiegeln der Mikrospiegeleinheit. Die Anordnung an sich ist unabhängig von einer körperlichen Mikrospiegeleinheit.The arrangement consists of the micromirrors of the micromirror unit, which act side by side in space and time. The arrangement itself is independent of a physical micromirror unit.

Eine Mikrospiegeleinheit, im Englischen electromechanical mirror, abgekürzt MEM, oder micro optical electromechanical mirror system, abgekürzt MOEMS, genannt, ist ein elektromechanisch arbeitendes System aus mikroskopisch kleinen Spiegeln. Die Mikrospiegeleinheit ist vorzugsweise als ein Chip ausgeführt. Die einzelnen Spiegel werden hier Mikrospiegel genannt. Nach derzeitigem Stand der Technik umfassen die Mikrospiegel eine Kantenlänge von wenigen Mikrometern. Die Gegenstände der Erfindung sind aber nicht auf die Größenordnung mikro beschränkt, sondern denkbar auch in kleineren Größenordnungen realisierbar, zum Beispiel in Form von Nanospiegeln mit einer Kantenlänge von einigen hundert Nanometern. Nach derzeitigem Stand der Technik umfasst eine Mikrospiegeleinheit einige hundert oder tausend Mikrospiegel, denkbar sind aber Mikrospiegeleinheiten mit deutlich mehr Mikrospiegeln. Durch die Zeilen-und Spaltenanordnung der Mikrospiegel wird eine matrixförmige Mikrospiegeleinheit realisiert. Ein Mikrospiegel realisiert einen optischen Schalter zum Schalten von Lichtstrahlen. Die Mikrospiegeleinheit der erfindungsgemäßen Gegenstände ist beispielsweise eine digitale Mikrospiegeleinheit, im Englischen digital micromirror device, abgekürzt DMD, genannt. Die Mikrospiegel auf einem DMD-Chip besitzen beispielsweise eine Kantenlänge von 16 Mikrometer.A micro mirror unit, known in English as electromechanical mirror, abbreviated MEM, or micro optical electromechanical mirror system, abbreviated MOEMS, is an electromechanically operating system made of microscopically small mirrors. The micromirror unit is preferably designed as a chip. The individual mirrors are called micromirrors here. According to the current state of the art, the micromirrors have an edge length of a few micrometers. However, the objects of the invention are not limited to the micro scale, but can also conceivably be implemented on smaller scales, for example in the form of nanomirrors with an edge length of a few hundred nanometers. According to the current state of the art, a micromirror unit comprises several hundred or thousand micromirrors, but micromirror units with significantly more micromirrors are conceivable. The row and column arrangement of the micromirrors creates a matrix-shaped micromirror unit. A micromirror realizes an optical switch for switching light beams. The micromirror unit of the objects according to the invention is, for example, a digital micromirror unit, called a digital micromirror device, abbreviated as DMD. The micromirrors on a DMD chip, for example, have an edge length of 16 micrometers.

Ein Abbildungssystem ist ein System zur Erzeugung eines Bildpunktes von einem Gegenstandspunkt durch Vereinigung und/oder Umlenkung von Licht, das von dem Gegenstandspunkt ausgeht. Zur Vereinigung und/oder Umlenkung von Licht dienen optische Bauelemente, insbesondere Linsen, Systeme von Sammellinsen und/oder Zerstreuungslinsen oder Prismen. Da die Anordnung bei Verwendung an einer Stelle des Abbildungssystems angeordnet, an der in das Abbildungssystem einfallendes Licht nicht fokussiert ist, trifft auf jeden Mikrospiegel Licht von im Wesentlichen allen zukünftigen Bildpunkten.An imaging system is a system for producing an image point from an object point by combining and/or redirecting light emanating from the object point. Optical components, in particular lenses, systems of converging lenses and/or diverging lenses or prisms, are used to combine and/or redirect light. Since the arrangement is arranged in use at a location in the imaging system where light incident on the imaging system is not focused, light from essentially all future image points impinges on each micromirror.

Die erfindungsgemäße Anordnung ist zwischen einem ersten Zustand und einem zweiten Zustand schaltbar. Durch den Anteil der Mikrospiegel, die in dem zweiten Zustand in Bezug auf die Ebene um jeweils denselben Winkel rotiert angeordnet sind, wird der Lichtweg im Vergleich zu dem ersten Zustand geändert und damit ein optischer Abstand in dem Abbildungssystem geändert. Der zweite Zustand entspricht damit einem Stufenspiegel. Bei dem Stufenspiegel sind die Mikrospiegel in Bezug auf die Ebene des ersten Zustandes verkippt angeordnet und bilden gewissermaßen Treppenstufen. Ein Stufenspiegel ist beispielsweise in 8 in
DE 10 2006 009 212 A1 gezeigt. Die erfindungsgemäße Anordnung entspricht keinem fixen, sondern einem schaltbaren Stufenspiegel. Wesentlich ist, dass durch die rotierte Anordnung im zweiten Zustand die Anordnung eine Tiefenschichtung der Mikrospiegel besitzt. Durch eine derartige Tiefenschichtung werden unterschiedliche Lichtlauflängen im Strahlverlauf des Abbildungssystems realisiert und dadurch durch geeignete Wahl der einzelnen Mikrospiegel diese Lichtlauflänge wählbar. Damit erfasst die Anordnung bei Verwendung in einem Abbildungssystem in dem zweiten Zustand vorteilhafterweise einen anderen Schärfebereich als in dem ersten Zustand. Damit wird vorteilhafterweise eine Tiefen-Messung realisiert.
The arrangement according to the invention can be switched between a first state and a second state. Due to the proportion of micromirrors that are arranged rotated by the same angle with respect to the plane in the second state, the light path is changed in comparison to the first state and thus an optical distance in the imaging system is changed. The second state therefore corresponds to a level mirror. In the step mirror, the micromirrors are arranged tilted with respect to the plane of the first state and form steps, so to speak. For example, a step mirror is in 8th in
DE 10 2006 009 212 A1 shown. The arrangement according to the invention does not correspond to a fixed, but to a switchable step mirror. What is important is that the rotated arrangement in the second state means that the arrangement has a deep layering of the micromirrors. Through such depth stratification, different light travel lengths are realized in the beam path of the imaging system and this light travel length can therefore be selected by suitable selection of the individual micromirrors. When used in an imaging system, the arrangement thus advantageously captures a different sharpness range in the second state than in the first state. This advantageously enables a depth measurement to be achieved.

Die erfindungsgemäße Mikrospiegelvorrichtung eines Abbildungssystems ist bei Verwendung an einer Stelle des Abbildungssystems angeordnet ist, an der in das Abbildungssystem einfallendes Licht nicht fokussiert ist. Die Mikrospiegelvorrichtung umfasst eine Mikrospiegeleinheit. Die Mikrospiegeleinheit umfasst mehrere Mikrospiegel. Die Mikrospiegel sind ausgeführt, Licht auf wenigstens einen ersten Bildsensor des Abbildungssystems zu leiten. Die Mikrospiegel sind nach der erfindungsgemäßen Anordnung anordenbar. In einem ersten Zustand sind die Mikrospiegel in einer Ebene angeordnet. Wenigstens ein Anteil der Mikrospiegel umfasst einen Rotationsfreiheitsgrad. Damit sind diese Mikrospiegel rotierbar bzw. verkippbar. Die Mikrospiegelvorrichtung umfasst ferner eine Steuerungseinheit, um eine Rotationsbewegung wenigstens des Anteils der Mikrospiegel derart zu steuern, dass in einem zweiten Zustand diese Mikrospiegel in Bezug auf die Ebene um jeweils denselben Winkel rotiert angeordnet sind um einen Stufenspiegel zu erzeugen. Damit weitet die Mikrospiegelvorrichtung einen Schärfebereich des Abbildungssystems auf und/oder erzeugt ein Tiefenbild.When used, the micromirror device according to the invention of an imaging system is arranged at a point in the imaging system where light incident on the imaging system is not focused. The micromirror device includes a micromirror unit. The micromirror unit includes several micromirrors. The micromirrors are designed to direct light to at least a first image sensor of the imaging system. The micromirrors can be arranged according to the arrangement according to the invention. In a first state, the micromirrors are arranged in one plane. At least a portion of the micromirrors includes a rotational degree of freedom. This means that these micromirrors can be rotated or tilted. The micromirror device further comprises a control unit in order to control a rotational movement of at least the portion of the micromirrors such that in a second state these micromirrors are arranged rotated by the same angle with respect to the plane in order to produce a step mirror. The micromirror device thus expands a sharpness range of the imaging system and/or generates a depth image.

Ein Bildsensor ist insbesondere ein halbleiterbasierter Bildsensor zur Aufnahme von Abbildern aus Licht. Der Bildsensor umfasst die aus der Digitalfotographie bekannten Sensorgrößen -/formate (APS-C, DX, FX, etc.).An image sensor is in particular a semiconductor-based image sensor for recording images made of light. The image sensor includes the sensor sizes/formats known from digital photography (APS-C, DX, FX, etc.).

Die Steuerungseinheit ist vorzugsweise ein Mikrospiegelaktuator, das heißt ein mikroelektromechanisches Bauelement zur Steuerung von Mikrospiegeln. Die Rotationsbewegung wird vorzugsweise durch die Kraftwirkung elektromagnetischer Felder hervorgerufen. Die Steuerungseinheit ist ausgeführt, jeden einzelnen Mikrospiegel in dessen Winkel einzeln zu verstellen. Die Aufweitung des Schärfenbereichs und/oder die Erzeugung eines Tiefenbildes ist analog zur Erzeugung von unterschiedlichen Helligkeitsstufen mit Mikrospiegeln. Die Steuerungseinheit steuert die Mikrospiegel vorteilhafterweise über eine binäre Ansteuerung. Zur Darstellung von beispielsweise 32=25 Helligkeitsstufen wird in einem ersten Zustand die Mikrospiegeleinheit die kürzest mögliche Zeit an (1) oder aus (0) geschaltet. Beim nächsten Zustand verdoppelt sich die Zeit und so weiter. Die Steuerungseinheit ist ausgeführt, die Mikrospiegel relativ schnell zu schalten. Damit wird ein elektronisch schnell schaltbarer Stufenspiegel realisiert.The control unit is preferably a micromirror actuator, that is, a microelectromechanical component for controlling micromirrors. The rotational movement is preferably caused by the force of electromagnetic fields. The control unit is designed to individually adjust the angle of each micromirror. The expansion of the field of focus and/or the creation of a depth image is analogous to the generation of different brightness levels with micromirrors. The control unit advantageously controls the micromirrors via a binary control. To display, for example, 32= 25 brightness levels, the micromirror unit is switched on (1) or off (0) for the shortest possible time in a first state. At the next state the time doubles and so on. The control unit is designed to switch the micromirrors relatively quickly. This creates a step mirror that can be switched quickly electronically.

Bevorzugt sind die Mikrospiegel des Anteils der Mikrospiegel in einer ersten Endlage und einer zweiten Endlage anordenbar. Die erste Endlage und die zweite Endlage sind stabile Endzustände der Mikrospiegel. Mittels der zweiten Endlage wird Licht in einen zweiten Raumwinkel gerichtet. Dort ist vorzugsweise wie bei einem Beamer-System eine Absorberfläche angeordnet. Alternativ ist in diesem Bereich ein dem Bildinhalt nach komplementär wirksamer zweiter Bildsensor angeordnet. Die Bilddaten des zweiten Bildsensors gehen vorteilhafterweise zusätzlich zu den Bilddaten des ersten Bildsensors in eine nachfolgende Bildbearbeitung ein. Der zweite Bildsensor erhöht die Redundanz des Abbildungssystems.The micromirrors of the micromirror portion can preferably be arranged in a first end position and a second end position. The first end position and the second end position are stable end states of the micromirrors. Using the second end position, light is directed into a second solid angle. An absorber surface is preferably arranged there, like in a projector system. Alternatively, a second image sensor that has a complementary effect in terms of the image content is arranged in this area. The image data from the second image sensor is advantageously included in subsequent image processing in addition to the image data from the first image sensor. The second image sensor increases the redundancy of the imaging system.

Die Steuerungseinheit ist ausgeführt ist, Rotationsbewegungen dieser Mikrospiegel zwischen der ersten Endlage und der zweiten Endlage zu steuern. Beispielsweise ist die Steuerungseinheit ausgeführt, die Mikrospiegel zwischen der ersten Endlage und der zweiten Endlage in einem Bereich von 1000 bis 10000, vorzugsweise 2000 bis 6000, besonders vorzugsweise 5000-mal pro Sekunde hin-und herzuschalten.The control unit is designed to control rotational movements of these micromirrors between the first end position and the second end position. For example, the control unit is designed to switch the micromirrors back and forth between the first end position and the second end position in a range of 1000 to 10,000, preferably 2000 to 6000, particularly preferably 5000 times per second.

Erfindungsgemäß ist die Steuerungseinheit ausgeführt, mehrere Anteile der Mikrospiegel gruppenweise anzusteuern, um Entfernungszonen in Abhängigkeit der Gruppen der Mikrospiegel gezielt scharf einzustellen. Damit wird ein dem Fachmann bekanntes focus stacking vorteilhaferweise direkt mit der Mikrospiegelvorrichtung in höchster Qualität realisiert. Aufwendige Schlitten-und/oder Linsenfokussierung und relativ zeitaufwändiges Computer-Postprocessing sind damit nicht mehr erforderlich.According to the invention, the control unit is designed to control several parts of the micromirrors in groups in order to specifically sharpen distance zones depending on the groups of micromirrors. This means that focus stacking, which is known to those skilled in the art, is advantageously implemented directly with the micromirror device in the highest quality. Complex slide and/or lens focusing and relatively time-consuming computer post-processing are no longer necessary.

Bevorzugt ist die Steuerungseinheit ausgeführt, die Mikrospiegel zeilen- und/oder spaltenweise anzusteuern. Damit wird vorteilhafterweise ein bestimmtes Muster von verkippten und nicht-verkippten Mikrospiegeln auf der Mikrospiegeleinheit erzeugt. Damit lassen sich im Sinne der Energie des einfallenden Lichts auch benachbarte Bereiche des Bildsensors in einem Belichtungsvorgang belichten und damit eine Bildaufnahme bündeln. Eine Reduzierung der Zeilenlänge oder eine Auswahl der aktiven Mikrospiegel innerhalb einer Zeile realisiert vorteilhafterweise eine Blendenfunktion zur Normierung der gegebenen Helligkeit.The control unit is preferably designed to control the micromirrors in rows and/or columns. This advantageously creates a specific pattern of tilted and non-tilted micromirrors on the micromirror unit. This means that neighboring areas of the image sensor can also be exposed in one exposure process using the energy of the incident light and thus bundle an image recording. Reducing the line length or selecting the active micromirrors within a line advantageously realizes an aperture function for normalizing the given brightness.

Erfindungsgemäß ist auch eine Verwendung einer erfindungsgemäßen Mikrospiegelvorrichtung bei einer Kamera eines Fahrerassistenzsystems. Die Kamera eines Fahrerassistenzsystems ist ein Abbildungssystem. Damit ergeben sich für eine Kamera eines Fahrerassistenzsystems die gleichen Vorteile wie für die erfindungsgemäße Anordnung und die erfindungsgemäße Mikrospiegelvorrichtung. Damit werden Funktionen von automatisiert betreibbaren Fahrzeugen verbessert.According to the invention, a micromirror device according to the invention is also used in a camera of a driver assistance system. The camera of a driver assistance system is an imaging system. This results in the same advantages for a camera of a driver assistance system as for the arrangement according to the invention and the micromirror device according to the invention. This improves the functions of vehicles that can be operated automatically.

Das erfindungsgemäße Abbildungssystem dient der Aufweitung eines Schärfebereiches des Abbildungssystems und/oder der Erzeugung eines Tiefenbildes. Das Abbildungssystem umfasst wenigstens eine Linse, um eine Szene zu erfassen. Ferner umfasst das Abbildungssystem wenigstens einen ersten Bildsensor, um die Erfassung der Szene in Bilddaten eines Digitalbildes umzuwandeln. Außerdem umfasst das Abbildungssystem eine erfindungsgemäße Mikrospiegelvorrichtung zur Veränderung eines optischen Abstandes des wenigstens ersten Bildsensors von der wenigstens einen Linse. Die Mikrospiegelvorrichtung ist in Bezug auf eine neutrale Achse des Abbildungssystems schräg angeordnet. Des Weiteren umfasst das Abbildungssystem eine Auswertungseinrichtung. Die Auswertungseinrichtung ist ausgeführt, in Abhängigkeit der Bilddaten eine Bildschärfe und/oder Tiefeninformationen zu bestimmen.The imaging system according to the invention serves to expand a sharpness range of the imaging system and/or to generate a depth image. The imaging system includes at least one lens to capture a scene. Furthermore, the imaging system includes at least a first image sensor to convert the capture of the scene into image data of a digital image. In addition, the imaging system includes a micromirror device according to the invention for changing an optical distance of the at least first image sensor from the at least one lens. The micromirror device is arranged obliquely with respect to a neutral axis of the imaging system. Furthermore, the imaging system includes an evaluation device. The evaluation device is designed to determine image sharpness and/or depth information depending on the image data.

Die Linse ist eine Sammellinse oder eine Zerstreuungslinse. Alternativ ist ein Linsensystem vorgesehen, umfassend mehrere Sammel- und/oder Zerstreuungslinsen.The lens is a converging lens or a diverging lens. Alternatively, a lens system is provided, comprising several converging and/or diverging lenses.

Der optische Abstand zwischen zwei Gegenständen ist der Abstand, den ein Lichtstrahl zwischen diesen beiden Gegenständen zurücklegt. Aufgrund Reflektionen, Umlenkungen, Fokussierungen, Defokussierungen und ähnlichen optischen Vorgängen ist der optische Abstand verschieden von dem geometrischen Abstand. Durch die Veränderung des optischen Abstandes des Bildsensors von der Linse in Kombination mit dem schaltbaren Stufenspiegel realisiert durch die Mikrospiegelvorrichtung wird der Schärfebereich aufgeweitet und/oder ein Tiefenbild erzeugt.The optical distance between two objects is the distance that a ray of light travels between these two objects. Due to reflections, deflections, focusing, defocusing and similar optical processes, the optical distance is different from the geometric distance. By changing the optical distance of the image sensor from the lens in combination with the switchable step mirror realized by the micromirror device, the sharpness range is expanded and/or a depth image is generated.

Die neutrale Achse entspricht der Achse, entlang der ein senkrecht auf die Linse einfallender Lichtstrahl durch das Abbildungssystem verläuft. Durch die schräge Anordnung der Mikrospiegelvorrichtung in Bezug auf die neutrale Achse wird eine besonders große Aufweitung des Schärfebereichs erzielt.The neutral axis corresponds to the axis along which a light ray incident perpendicularly to the lens passes through the imaging system. The oblique arrangement of the micromirror device in relation to the neutral axis results in a particularly large expansion of the sharpness range.

Eine Auswertungseinrichtung ist eine Einrichtung, die Informationen erhält, diese nach einem bestimmten Prozess verarbeitet und ein aus dieser Verarbeitung resultierendes Ergebnis bereitstellt. Eine programmierbare elektronische Schaltung, zum Beispiel ein field programmable gate array, abgekürzt FPGA-Baustein, ist eine Auswertungseinrichtung. Die Auswertungseinrichtung ist ausgeführt, die Bildschärfe pixelweise, das heißt bildpunktweise, oder bereichsweise zu bestimmen, zum Beispiel mittels dem Fachmann bekannten Kantensteilheitsalgorithmen. Kantenschärfe ist ein Kriterium, das sich an Kanten von Bildpunkten beobachten lässt. Je abrupter die Übergänge von dunkel zu hell oder von einer ersten Farbe zu einer zweiten Farbe sind, desto schärfer ist die Abbildung.An evaluation facility is a facility that receives information, processes it according to a specific process and provides a result resulting from this processing. A programmable electronic circuit, for example a field programmable gate array, abbreviated FPGA component, is an evaluation device. The evaluation device is designed to determine the image sharpness pixel by pixel, that is to say pixel by pixel, or by area, for example using edge steepness algorithms known to those skilled in the art. Edge sharpness is a criterion that can be observed at the edges of image points. The more abrupt the transition from dark to light or from a first color to a second color, the sharper the image.

Vorzugsweise ist die Auswertungseinrichtung auf dem wenigstens ersten Bildsensor angeordnet oder in der Steuerungseinheit der Mikrospiegelvorrichtung integriert. Eine aufwendige Signalübertragung, die bei einer externen Auswertungseinrichtung erforderlich sein könnte, entfällt damit.The evaluation device is preferably arranged on the at least first image sensor or integrated in the control unit of the micromirror device. This eliminates the need for complex signal transmission, which might be necessary with an external evaluation device.

In einer weiteren Ausgestaltung der Erfindung umfasst das Abbildungssystem einen zweiten Bildsensor. Dabei ist der erste Bildsensor angeordnet, um von den Mikrospiegel in der ersten Endlage reflektiertes Licht zu erfassen. Der zweite Bildsensor ist angeordnet, um von den Mikrospiegel in der zweiten Endlage reflektiertes Licht zu erfassen. Mit dem zweiten Bildsensor wird die Redundanz des Abbildungssystems erhöht.In a further embodiment of the invention, the imaging system comprises a second image sensor. The first image sensor is arranged to detect light reflected by the micromirrors in the first end position. The second image sensor is arranged to detect light reflected by the micromirrors in the second end position. The second image sensor increases the redundancy of the imaging system.

Bevorzugt umfasst das Abbildungssystem eine Schnittstelle, um die mit der Auswertungseinrichtung bestimmte Bildschärfe und/oder Tiefeninformationen einer Fahrzeugsteuerungseinheit eines automatisiert betreibbaren Fahrzeuges bereitzustellen.The imaging system preferably comprises an interface in order to provide the image sharpness and/or depth information determined by the evaluation device to a vehicle control unit of an automated vehicle.

Eine Schnittstelle ist ein Bauteil zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, zum Beispiel Daten, oder physikalischen Größen, zum Beispiel elektrischen Signalen, erfolgt, entweder nur unidirektional oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann ferner drahtgebunden oder drahtlos erfolgen.An interface is a component between at least two functional units at which an exchange of logical variables, for example data, or physical variables, for example electrical signals, takes place, either only unidirectionally or bidirectionally. The exchange can be analog or digital. The exchange can also take place wired or wirelessly.

Durch die Bereitstellung von Bildschärfe und/oder Tiefeninformationen wird die Erfassung eines Fahrzeugumfeldes verbessert. Aus dieser verbesserten Erfassung des Fahrzeugumfeldes kann die Fahrzeugsteuerungseinheit vergleichsweise verbesserte Fahrzeugsteuerungsbefehle ableiten und damit ein automatisiert betreibbares Fahrzeug verbessert ansteuern.By providing image sharpness and/or depth information, the detection of a vehicle's surroundings is improved. From this improved detection of the vehicle's surroundings, the vehicle control unit can derive comparatively improved vehicle control commands and thus control a vehicle that can be operated automatically in an improved manner.

Vorzugsweise umfasst das Abbildungssystem weitere Linsen und/oder ein Umlenkprisma, um eine Bildqualität zu steigern und/oder zur Anpassung einer Baugröße des Abbildungssystems.The imaging system preferably comprises further lenses and/or a deflection prism in order to increase image quality and/or to adapt the size of the imaging system.

Das erfindungsgemäße Verfahren dient der Aufweitung eines Schärfebereiches eines Abbildungssystems und/oder der Erzeugung eines Tiefenbildes.The method according to the invention serves to expand a sharpness range of an imaging system and/or to generate a depth image.

In einem ersten Verfahrensschritt wird eine erste Rotationsbewegung wenigstens eines Anteils von Mikrospiegeln einer Mikrospiegelvorrichtung angesteuert. Damit wird der optische Abstand eines ersten Bildsensors von wenigstens einer Linse des Abbildungssystems verändert. Durch diese Ansteuerung wird erreicht, dass diese Mikrospiegel in Bezug auf eine Ebene der Mikrospiegelvorrichtung um jeweils denselben Winkel rotiert, das heißt verkippt, angeordnet sind um einen ersten Stufenspiegel zu erhalten. Die Mikrospiegelvorrichtung ist dabei an einer Stelle des Abbildungssystems angeordnet ist, an der in das Abbildungssystem einfallendes Licht nicht fokussiert ist. Die Mikrospiegelvorrichtung ist in Bezug auf eine neutrale Achse des Abbildungssystems schräg angeordnet.In a first method step, a first rotational movement of at least a portion of micromirrors of a micromirror device is controlled. This changes the optical distance of a first image sensor from at least one lens of the imaging system. This control ensures that these micromirrors are arranged rotated, i.e. tilted, by the same angle with respect to a plane of the micromirror device in order to obtain a first step mirror. The micromirror device is arranged at a point in the imaging system where light incident on the imaging system is not focused. The micromirror device is arranged obliquely with respect to a neutral axis of the imaging system.

In einem zweiten Verfahrensschritt wird in das Abbildungssystem einfallendes Licht mittels des ersten Stufenspiegels zu dem ersten Bildsensor für einen ersten Belichtungsvorgang geleitet.In a second method step, light incident on the imaging system is guided to the first image sensor for a first exposure process by means of the first step mirror.

In einem dritten Verfahrensschritt werden erste Bilddaten aus dem ersten Bildsensor in Abhängigkeit des aus der Anordnung des ersten Stufenspiegels sich ergebenden optischen Abstandes des ersten Bildsensors von der wenigstens einen Linse ausgelesen. Wird dieser Verfahrensschritt wiederholt bei einer anderen Stellung des ersten Stufenspiegels, ergibt sich ein anderer optischer Abstand und damit ein anderer Schärfebereich.In a third method step, first image data from the first image sensor is read out from the at least one lens depending on the optical distance of the first image sensor resulting from the arrangement of the first step mirror. If this process step is repeated with a different position of the first step mirror, a different optical distance and thus a different sharpness range results.

In einem vierten Verfahrensschritt werden in Abhängigkeit der ersten Bilddaten eine Bildschärfe und/oder Tiefeninformationen ermittelt, zum Beispiel mittels Kantensteilheitsalgorithmen. Die ersten vier Verfahrensschritte entsprechen einem Aufnahmezyklus.In a fourth method step, image sharpness and/or depth information is determined depending on the first image data, for example using edge steepness algorithms. The first four procedural steps correspond to an acquisition cycle.

Um mehrere Aufnahmezyklen zu erhalten, werden in einem fünften Verfahrensschritt die vorangehenden Verfahrensschritte für wenigstens einen weiteren aus einer jeweiligen Rotationsbewegung der Mikrospiegel erhaltenen Stufenspiegel wiederholt. Vorzugsweise werden die vorangehenden Verfahrensschritte für mehrere aus jeweiligen Rotationsbewegungen der Mikrospiegel erhaltene Stufenspiegel zyklisch wiederholt.In order to obtain several recording cycles, in a fifth method step the previous method steps are repeated for at least one further step mirror obtained from a respective rotational movement of the micromirrors. Preferably, the preceding method steps are repeated cyclically for several step mirrors obtained from respective rotational movements of the micromirrors.

In einem sechsten Verfahrensschritt werden ein Schärfenverlauf und/oder ein Verlauf von Tiefeninformationen in Abhängigkeit aus den jeweiligen Anordnungen von Stufenspiegeln sich ergebenden optischen Abständen des ersten Bildsensors von der wenigstens einen Linse bestimmt. Das heißt, für jeden Aufnahmezyklus, also für jedes eingehende Bild, wird die Ermittlung der Bildschärfe durchgeführt. Aus dem gesammelten Set von Bilddaten aus jeweiligen Aufnahmezyklen wird eine mathematische Funktion bestimmt, die den Verlauf der Schärfe über den nach Abstand geordneten Datensets widergibt. Aus dieser Funktion wird ein Maximalpunkt der Schärfe und ggf. ein Plausibilitätswert bestimmt. Vorzugsweise wird das Ergebnis gefiltert, um Fehler zu beheben, zum Beispiel mittels Tiefpass-Filterung. Aus der Kenntnis des Schärfeverlaufs und des Maximalpunktes kann aus den Bilddaten für jedes Pixel ein Wert für ein optimales scharfes Pixel bestimmt werden, das zusammen mit allen anderen Pixeln ein optimal scharfes Gesamtbild ergibt.In a sixth method step, a focus curve and/or a curve of depth information are determined depending on the optical distances of the first image sensor from the at least one lens resulting from the respective arrangements of step mirrors. This means that the image sharpness is determined for each recording cycle, i.e. for each incoming image. From the collected set of image data from respective recording cycles, a mathematical function is determined that reflects the course of sharpness over the data sets arranged by distance. This function is used to determine a maximum point of sharpness and, if necessary, a plausibility value. Preferably, the result is filtered to correct errors, for example using low-pass filtering. From the knowledge of the sharpness curve and the maximum point, a value for an optimally sharp pixel can be determined from the image data for each pixel, which, together with all other pixels, results in an optimally sharp overall image.

Schärfe-und/oder Tiefeninformationsbestimmungen aus digitalen Bildern sind dem Fachmann bekannt. In der Regel wird Schärfe über ein ganzes Bild oder auch einen oder mehrere Teile davon, z.B. rechteckige Messfenster (ROls, Regions of Interest) bestimmt. Für die Bestimmung der Schärfe dienen als Grundlage sowohl Objekt-Kanten wie auch Objekt-Oberflächen-Muster (z.B. texturierte Oberflächen, Objekt-Verschmutzungen, Färbungen, Schatten und Licht auf Objekten, etc.). Gängige Schärfe-Methodiken sind etwa die Kanten-Steilheits-Bewertung mit 1D und 2D Methoden, im zweiten Fall oft basierend auf quadratischen Zellen mit Größen von z.B. 2x2, 3x3, 5x5 etc. Aus diesen lokalen Schärfewerten, die über die Bildfläche verteilt sind, wird durch geeignete Zusammenfassung ein einzelnes Hauptergebnis realisiert. Mathematisch gesehen kann hier zum Beispiel mit der Betragssumme bzw. der Summe der Quadrate aus den lokalen Werten operiert werden. Weitere Methoden inklusive Auswertungen nach Gauß, Kalman und anderen sind möglich. Als Nebenergebnis mögen Mittelwert(e) und Standardabweichung(en) sowie Histogramme daraus bestimmbar sein, die ebenfalls in einer automatischen Auswertung zur Ergebnisfindung beitragen können. Mit Hilfe eines solchen Ergebnis-Werts für ein einzelnes Bild (Aufnahme-Zyklus = DMD-Ansteuerung + Belichtung + Auslesevorgang) lassen sich viele solche Bilder mit vielen solchen Ergebnis-Werten und ihrer Aufnahmeparametern inklusive der Aufnahmezeit zueinander in Beziehung setzen um daraus zum Beispiel einen Tiefen- bzw. Schärfeverlauf samt seinen lokalen Maxima und typisch einem globalen Maximum bestimmen zu können. Mit schnell aufeinanderfolgenden Aufnahmezyklen bei verschiedenen Stellungen der Mikrospiegel werden Sequenzen von Bildern erzeugt, die wegen ihrer zeitlichen Nähe noch ausreichend genau alle nahezu dieselbe Szenerie im grob selben Zustand widergeben.Sharpness and/or depth information determinations from digital images are known to those skilled in the art. As a rule, sharpness is determined over an entire image or one or more parts of it, e.g. rectangular measurement windows (ROls, regions of interest). Both object edges and object surface patterns (e.g. textured surfaces, object dirt, coloring, shadows and light on objects, etc.) serve as the basis for determining sharpness. Common sharpening methods include edge steepness evaluation using 1D and 2D methods, in the second case often based on square cells with sizes of e.g. 2x2, 3x3, 5x5 etc. These local sharpness values, which are distributed over the image area, become A single main result is realized through appropriate summarization. From a mathematical point of view, you can operate here, for example, with the sum of the amount or the sum of the squares from the local values. Other methods including evaluations according to Gauß, Kalman and others are possible. As a secondary result, mean value(s) and standard deviation(s) as well as histograms may be determined, which can also contribute to finding results in an automatic evaluation. With the help of such a result value for a single image (recording cycle = DMD control + exposure + readout process), many such images with many such result values and their recording parameters including the recording time can be related to one another in order, for example, to create one To be able to determine the depth or sharpness curve including its local maxima and typically a global maximum. With rapid succession of recording cycles with different positions of the micromirrors, sequences of images are generated which, due to their temporal proximity, still reproduce almost the same scenery in roughly the same state with sufficient accuracy.

Dadurch wird ein sogenanntes focus stacking vorteilhafterweise mit elektronisch schnell schaltbaren Stufenspiegeln realisiert.As a result, so-called focus stacking is advantageously implemented with step mirrors that can be switched electronically quickly.

Vorzugsweise ist das Verfahren auf Lichtwellenlängen im ultravioletten, nahen und/oder fernen infraroten und/oder sichtbaren Bereich adaptiert, um Schärfe-und Tiefeninformationen in diesem Spektralbereich bereitzustellen.Preferably, the method is adapted to light wavelengths in the ultraviolet, near and/or far infrared and/or visible range in order to provide sharpness and depth information in this spectral range.

Die Erfindung bezieht sich auch auf einen Gegenstand, mit dem das erfindungsgemäße Verfahren ausgeführt werden kann.The invention also relates to an object with which the method according to the invention can be carried out.

Besonders bevorzugt wird zur Durchführung des Verfahrens ein erfindungsgemäßes Abbildungssystem verwendet.An imaging system according to the invention is particularly preferably used to carry out the method.

Das erfindungsgemäße Computerprogrammprodukt ist für eine Steuerungseinheit mit einer integrierten Auswertungseinrichtung eines erfindungsgemäßen Abbildungssystems integriert. Das Computerprogrammprodukt dient der Aufweitung eines Schärfebereiches des Abbildungssystems und/oder der Erzeugung eines Tiefenbildes. Das Computerprogrammprodukt ist ausgeführt, in einen Speicher der Auswertungseinrichtung geladen zu werden. Das Computerprogrammprodukt umfasst Softwarecodeabschnitte, mit denen ein erfindungsgemäßes Verfahren ausführbar ist, wenn das Computerprogrammprodukt auf der Auswertungseinrichtung läuft.The computer program product according to the invention is integrated for a control unit with an integrated evaluation device of an imaging system according to the invention. The computer program product is used to expand a focus area of the imaging system and/or to generate a depth image. The computer program product is designed to be loaded into a memory of the evaluation device. The computer program product includes software code sections with which a method according to the invention can be carried out when the computer program product runs on the evaluation device.

Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Beispiel einer Recheneinheit oder einem Computer. Software ist ein Sammelbegriff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems.A program is part of the software of a data processing system, for example a computing unit or a computer. Software is a collective term for programs and associated data. The complement to software is hardware. Hardware refers to the mechanical and electronic alignment of a data processing system.

Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen technischen Effekt hervor, nämlich die Aufweitung eines Schärfebereiches des Abbildungssystems und/oder die Erzeugung eines Tiefenbildes.Computer program products typically include a sequence of instructions that, when the program is loaded, causes the hardware to perform a specific procedure that results in a specific result. If the program in question is used on a computer, the computer program product causes a technical effect, namely the expansion of a focus area of the imaging system and/or the generation of a depth image.

Das erfindungsgemäße Computerprogrammprodukt ist Plattform unabhängig. Das heißt, es kann auf jeder beliebigen Rechenplattform ausgeführt werden.The computer program product according to the invention is platform independent. This means it can run on any computing platform.

Die Erfindung wird anhand der nachfolgenden Figuren ausführlich beschrieben. Es zeigen:

  • 1 ein Ausführungsbeispiel einer erfindungsgemäßen Anordnung,
  • 2 ein Ausführungsbeispiel eines erfindungsgemäßen Abbildungssystems mit einem Ausführungsbeispiel einer erfindungsgemäßen Mikrospiegelvorrichtung,
  • 3a eine beispielhafte Darstellung eines Abbildes in Abhängigkeit einer Selektion der Mikrospiegel,
  • 3b eine beispielhafte Darstellung eines Schärfeverlaufs in Abhängigkeit der Selektion der Mikrospiegel nach 3a und
  • 4 eine schematische Darstellung des erfindungsgemäßen Verfahrens.
The invention is described in detail using the following figures. Show it:
  • 1 an embodiment of an arrangement according to the invention,
  • 2 an embodiment of an imaging system according to the invention with an embodiment of a micromirror device according to the invention,
  • 3a an exemplary representation of an image depending on a selection of the micromirrors,
  • 3b an exemplary representation of a sharpness curve depending on the selection of the micromirrors 3a and
  • 4 a schematic representation of the method according to the invention.

In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber sind in den einzelnen Figuren nur die für das Verständnis der jeweiligen Figur relevanten Bezugszeichen angegeben.In the figures, the same reference numerals designate the same or functionally similar reference parts. For the sake of clarity, only the reference symbols relevant to understanding the respective figure are given in the individual figures.

1 zeigt eine Anordnung 10 einer Mikrospiegeleinheit 12. Die Mikrospiegeleinheit 12 liegt in einer Ebene e. Die Mikrospiegeleinheit 12 umfasst eine Vielzahl von Mikrospiegeln 11. Die Mikrospiegel 11 sind auf der Mikrospiegeleinheit 12 matrixförmig in Zeilen und Spalten angeordnet. In einem ersten Zustand sind die Mikrospiegel 11 planar, das heißt in der Ebene e, angeordnet. In einem zweiten Zustand ist ein Anteil A von beispielsweise vier Mikrospiegel 11 im mathematisch negativen Drehsinn verkippt angeordnet. Ein Anteil A' von beispielsweise einem Mikrospiegel 11 ist im mathematisch positiven Drehsinn verkippt angeordnet. Die Mikrospiegel der Gruppe A befinden sich jeweils in einem ersten stabilen Endzustand, der ersten Endlage EL1. Der Mikrospiegel 11 der Gruppe A' befindet sich in einem zweiten stabilen Endzustand, der zweiten Endlage EL2. 1 shows an arrangement 10 of a micromirror unit 12. The micromirror unit 12 lies in a plane e. The micromirror unit 12 comprises a plurality of micromirrors 11. The micromirrors 11 are arranged on the micromirror unit 12 in a matrix form in rows and columns. In a first state, the micromirrors 11 are arranged planar, that is, in plane e. In a second state, a portion A of, for example, four micromirrors 11 is arranged tilted in the mathematically negative direction of rotation. A portion A' of, for example, a micromirror 11 is arranged tilted in the mathematically positive direction of rotation. The micromirrors of group A are each in a first stable final state, the first final position EL1. The micromirror 11 of group A' is in a second stable final state, the second final position EL2.

2 zeigt vereinfacht ein Abbildungssystem 30 mit einer Mikrospiegelvorrichtung 20. Das Abbildungssystem 30 umfasst eine Linse 32. Mit der Linse 32 wird von einem Gegenstand G ausgehendes Licht erfasst. Die Linse 32 ist eine Sammellinse und sammelt als solche einfallende Lichtstrahlen. Ferner umfasst das Abbildungssystem 30 ein Umlenkprisma U. Das Umlenkprisma U lenkt das Licht weg von einer neutralen Achse N des Abbildungssystems 30 auf die Mikrospiegelvorrichtung 20. 2 shows in simplified form an imaging system 30 with a micromirror device 20. The imaging system 30 comprises a lens 32. The lens 32 detects light emanating from an object G. The lens 32 is a converging lens and as such collects incident light rays. Furthermore, the imaging system 30 includes a deflection prism U. The deflection prism U directs the light away from a neutral axis N of the imaging system 30 onto the micromirror device 20.

Das Abbildungssystem 30 umfasst ferner einen ersten Bildsensor 31 und einen zweiten Bildsensor 34. Der zweite Bildsensor 34 ist derart angeordnet, dass er von den Mikrospiegeln 11 in der zweiten Endlage EL2 reflektiertes Licht empfängt.The imaging system 30 further comprises a first image sensor 31 and a second image sensor 34. The second image sensor 34 is arranged such that it receives light reflected by the micromirrors 11 in the second end position EL2.

Die Mikrospiegelvorrichtung 20 ist schräg zu der neutralen Achse N angeordnet. Die Mikrospiegelvorrichtung 20 umfasst die Mikrospiegeleinheit 12 und eine Steuerungseinheit 21. Die Steuerungseinheit steuert die einzelnen Mikrospiegel 11 zwischen der ersten Endlage EL1 und der zweiten Endlage EL2. Die Steuerungseinheit umfasst eine Auswertungseinrichtung 33. Die Auswertungseinrichtung 33 erhält Bilddaten aus nacheinander folgenden Aufnahmezyklen des ersten Bildsensors 31 und ggf. Bilddaten des zweiten Bildsensors 34 des Abbildungssystems 30. Mittels diesen Bilddaten bestimmt die Auswertungseinrichtung 33 die Bildschärfe und/oder Tiefeninformationen, beispielsweise mit Kantensteilheitsalgorithmen. Ein Aufnahmezyklus umfasst ein Ansteuern der Mikrospiegel 11 der Mikrospiegelvorrichtung 20 in eine bestimmte Lage, um einen ersten Stufenspiegel zu erhalten. Nach dem Ansteuern erfolgt ein Belichtungsvorgang. Dabei ist ein optischer Abstand O des ersten Bildsensors 31 abhängig von dem eingestellten Stufenspiegel. Somit wird ein bestimmter Schärfebereich abgebildet. Auf den Belichtungsvorgang folgt ein Auslesevorgang der Bilddaten mittels der Auswertungseinrichtung 33. In dem Auslesevorgang wird ein Hauptergebnis für lokale Schärfewerte erhalten. Dieser Aufnahmezyklus wird wiederholt für verschiedene Stellungen der Mikrospiegel 11 der Mikrospiegelvorrichtung 20. Damit wird ein Schärfe- und/oder Tiefenverlauf erhalten. Die Auswertungseinrichtung 33 umfasst eine Schnittstelle 35. Die Schnittstelle 35 stellt die mit der Auswertungseinrichtung 33 bestimmte Bildschärfe und/oder Tiefeninformationen einer Fahrzeugsteuerungseinheit eines automatisiert betreibbaren Fahrzeuges bereit.The micromirror device 20 is arranged obliquely to the neutral axis N. The micromirror device 20 includes the micromirror unit 12 and a control unit 21. The control unit controls the individual micromirrors 11 between the first end position EL1 and the second end position EL2. The control unit includes an evaluation device 33. The evaluation device 33 receives image data from successive recording cycles of the first image sensor 31 and possibly image data from the second image sensor 34 of the imaging system 30. Using this image data, the evaluation device 33 determines the image sharpness and/or depth information, for example using edge steepness algorithms. A recording cycle includes driving the micromirrors 11 of the micromirror device 20 to a specific position in order to obtain a first stage mirror. After the control, an exposure process takes place. An optical distance O of the first image sensor 31 depends on the set step mirror. This means that a specific sharpness range is displayed. The exposure process is followed by a readout process of the image data using the evaluation device 33. In the readout process, a main result for local sharpness values is obtained. This recording cycle is repeated for different positions of the micromirrors 11 of the micromirror device 20. This results in a sharpness and/or depth curve. The evaluation device 33 includes an interface 35. The interface 35 provides the image sharpness and/or depth information determined by the evaluation device 33 to a vehicle control unit of an automated vehicle.

Die Linse 32, das Umlenkprisma, die Mikrospiegelvorrichtung 20, der erste Bildsensor 31 und der zweite Bildsensor 34 sind vorteilhafterweise in einem Gehäuse des Abbildungssystems 30 angeordnet.The lens 32, the deflection prism, the micromirror device 20, the first image sensor 31 and the second image sensor 34 are advantageously arranged in a housing of the imaging system 30.

3a zeigt ein Bild eines Gegenstandes G in Abhängigkeit einer Selektion, das heißt Stellung, der Mikrospiegel 11 der Mikrospiegelvorrichtung 20. Der Gegenstand G ist beispielsweise ein Strich. In der ersten Endlage EL1 und der zweiten Endlage EL2 ist der Gegenstand G nicht scharf. Die Übergänge an den Kanten des Strichs sind nicht abrupt, sondern gewissermaßen verschwommen. Bei einer bestimmten Stellung der Mikrospiegel 11 zwischen der ersten Endlage EL1 und der zweiten Endlage EL2 wird der Gegenstand G scharf abgebildet. 3a shows an image of an object G depending on a selection, i.e. position, of the micromirror 11 of the micromirror device 20. The object G is, for example, a line. The object G is not sharp in the first end position EL1 and the second end position EL2. The transitions at the edges of the line are not abrupt, but blurred to a certain extent. At a certain position of the micromirrors 11 between the first end position EL1 and the second end position EL2, the object G is imaged sharply.

3b zeigt den Schärfeverlauf, der zu dem in 3a gezeigten Bild korrespondiert. Die Amplitude entspricht dabei einem Schärfemaß. In der ersten Endlage EL1 und der zweiten Endlage EL2 ist die Schärfe gering. Das Maximum der Schärfe ist für die Stellung der Mikrospiegel 11 erreicht, bei der in 3a der Strich scharf abgebildet wird. Die Schärfe wird also durch den variablen optischen Abstand O des Bildsensors 31 zu der Linse 32 aufgrund der einstellbaren Stufenspiegel der Mikrospiegelvorrichtung 20 erreicht. 3b shows the sharpness gradient that leads to the in 3a corresponds to the picture shown. The amplitude corresponds to a measure of sharpness. The sharpness is low in the first end position EL1 and the second end position EL2. The maximum sharpness is reached for the position of the micromirrors 11, at which in 3a the line is displayed sharply. The sharpness is therefore achieved by the variable optical distance O of the image sensor 31 to the lens 32 due to the adjustable step mirrors of the micromirror device 20.

4 zeigt schematisch den Ablauf des Verfahrens zur Aufweitung eines Schärfebereiches eines Abbildungssystems 30 und/oder zur Erzeugung eines Tiefenbildes. Zur Durchführung des Verfahrens wird vorzugsweise das in 2 gezeigte Abbildungssystem 30 verwendet. 4 shows schematically the sequence of the method for expanding a focus area of an imaging system 30 and / or for generating a depth image. To carry out the process, the in 2 imaging system 30 shown is used.

In einem ersten Verfahrensschritt V1 wird der Anteil A der Mikrospiegel 11 um einen gegebenen Winkel aus der Ebene e verkippt. Damit wird der optische Abstand des ersten Bildsensors 31 von der Linse 32 des Abbildungssystems 30 verändert. Damit wird ein bestimmter Entfernungsbereich gezielt scharf gestellt. Der verkippte Anteil A von Mikrospiegeln 11 bildet einen ersten Stufenspiegel.In a first method step V1, the portion A of the micromirrors 11 is tilted from the plane e by a given angle. This changes the optical distance of the first image sensor 31 from the lens 32 of the imaging system 30. This allows a specific distance range to be specifically focused. The tilted portion A of micromirrors 11 forms a first stage mirror.

In einem zweiten Verfahrensschritt V2 wird in das Abbildungssystem 30 einfallendes Licht mittels des ersten Stufenspiegels zu dem ersten Bildsensor 31 für einen ersten Belichtungsvorgang geleitet. Vorzugsweise wird durch die Ansteuerung der Mikrospiegel 11 mittels der Steuerungseinheit 21 die Belichtungszeit eingestellt. Wenn einer dieser Mikrospiegel 11 umklappt, wird kein Licht mehr auf den ersten Bildsensor 31 reflektiert. Der erste Bildsensor 31 wird also nicht mehr belichtet.In a second method step V2, light incident on the imaging system 30 is guided to the first image sensor 31 by means of the first step mirror for a first exposure process. The exposure time is preferably set by controlling the micromirrors 11 using the control unit 21. If one of these micromirrors 11 folds over, no more light is reflected onto the first image sensor 31. The first image sensor 31 is therefore no longer exposed.

In einem dritten Verfahrensschritt V3 werden erste Bilddaten aus dem ersten Bildsensor 31 in Abhängigkeit des aus der Anordnung des ersten Stufenspiegels sich ergebenden optischen Abstandes O des ersten Bildsensors 31 von der wenigstens einen Linse 32 ausgelesen. Die Auswertungseinrichtung 33 wertet die Bilddaten aus. Wird dieser Verfahrensschritt wiederholt bei einer anderen Stellung des ersten Stufenspiegels, ergibt sich ein anderer optischer Abstand O und damit ein anderer Schärfebereich.In a third method step V3, first image data from the first image sensor 31 is read out by the at least one lens 32 depending on the optical distance O of the first image sensor 31 resulting from the arrangement of the first step mirror. The evaluation device 33 evaluates the image data. If this process step is repeated with a different position of the first step mirror, a different optical distance O and thus a different sharpness range results.

In einem vierten Verfahrensschritt V4 werden in Abhängigkeit der ersten Bilddaten eine Bildschärfe und/oder Tiefeninformationen ermittelt, zum Beispiel mittels Kantensteilheitsalgorithmen.In a fourth method step V4, image sharpness and/or depth information is determined depending on the first image data, for example using edge steepness algorithms.

Die Verfahrensschritte V1 bis V4 stellen einen Aufnahmezyklus dar. Die Ermittlung der Bildschärfe wird über mehrere Aufnahmezyklen durchgeführt.The method steps V1 to V4 represent one recording cycle. The determination of the image sharpness is carried out over several recording cycles.

Daher werden in einem fünften Verfahrensschritt V5 die vorangehenden Verfahrensschritte für wenigstens einen weiteren aus einer jeweiligen Rotationsbewegung der Mikrospiegel 11 erhaltenen Stufenspiegeln wiederholt. Vorzugsweise werden die vorangehenden Verfahrensschritte V1 bis V4 für mehrere aus jeweiligen Rotationsbewegungen der Mikrospiegel erhaltene Stufenspiegel zyklisch wiederholt.Therefore, in a fifth method step V5, the previous method steps are repeated for at least one further step mirror obtained from a respective rotational movement of the micromirrors 11. Preferably, the preceding method steps V1 to V4 are repeated cyclically for several step mirrors obtained from respective rotational movements of the micromirrors.

In einem sechsten Verfahrensschritt V6 werden ein Schärfenverlauf und/oder ein Verlauf von Tiefeninformationen in Abhängigkeit aus den jeweiligen Anordnungen von Stufenspiegeln sich ergebenden optischen Abständen O des ersten Bildsensors 31 von der wenigstens einen Linse 32 bestimmt.In a sixth method step V6, a focus curve and/or a curve of depth information are determined depending on the optical distances O of the first image sensor 31 from the at least one lens 32 resulting from the respective arrangements of step mirrors.

Claims (12)

Mikrospiegelvorrichtung (20) eines Abbildungssystems (30), wobei bei Verwendung die Mikrospiegelvorrichtung (20) an einer Stelle des Abbildungssystems (30) angeordnet ist, an der in das Abbildungssystem (30) einfallendes Licht nicht fokussiert ist, umfassend • eine Mikrospiegeleinheit (12) umfassend mehrere Mikrospiegel (11), ausgeführt, Licht auf wenigstens einen ersten Bildsensor (31) des Abbildungssystems (30) zu leiten, wobei ◯ die Mikrospiegel (11) in Zeilen und/oder in Spalten angeordnet sind, ◯ in einem ersten Zustand die Mikrospiegel (11) in einer Ebene (e) angeordnet sind und ◯ wenigstens ein Anteil (A) der Mikrospiegel (11) einen Rotationsfreiheitsgrad umfasst,und • eine Steuerungseinheit (21), um eine Rotationsbewegung wenigstens des Anteils (A) der Mikrospiegel (11) derart zu steuern, dass in einem zweiten Zustand diese Mikrospiegel (11) in Bezug auf die Ebene um jeweils denselben Winkel rotiert angeordnet sind um einen Stufenspiegel zu erzeugen zur Aufweitung eines Schärfebereiches des Abbildungssystems (30) und/oder zur Erzeugung eines Tiefenbildes, wobei die Steuerungseinheit (21) ausgeführt ist, mehrere Anteile (A, A') der Mikrospiegel (11) gruppenweise anzusteuern, um Entfernungszonen in Abhängigkeit der Gruppen der Mikrospiegel (11) gezielt scharf einzustellen.Micromirror device (20) of an imaging system (30), wherein in use the micromirror device (20) is arranged at a point of the imaging system (30) at which light incident on the imaging system (30) is not focused, comprising • a micromirror unit (12) comprising a plurality of micromirrors (11), designed to direct light to at least one first image sensor (31) of the imaging system (30), wherein ◯ the micromirrors (11) are arranged in rows and/or columns, ◯ in a first state the micromirrors (11) are arranged in a plane (e) and ◯ at least a portion (A) of the micromirrors (11) comprises a rotational degree of freedom, and • a control unit (21) to control a rotational movement of at least the portion (A) of the micromirrors (11) in such a way that in a second state these micromirrors (11) are arranged rotated by the same angle with respect to the plane around a step mirror to expand a focus area of the imaging system (30) and/or to generate a depth image, the control unit (21) being designed to control several portions (A, A') of the micromirrors (11) in groups in order to create distance zones depending on the groups the micro mirror (11) can be specifically sharpened. Mikrospiegelvorrichtung (20) nach Anspruch 2, wobei die Mikrospiegel (11) des Anteils (A) der Mikrospiegel (11) in einer ersten Endlage (EL1) und einer zweiten Endlage (EL2) anordenbar sind und die Steuerungseinheit (21) ausgeführt ist, Rotationsbewegungen dieser Mikrospiegel (11) zwischen der ersten Endlage (EL1) und der zweiten Endlage (EL2) zu steuern.Micromirror device (20). Claim 2 , wherein the micromirrors (11) of the portion (A) of the micromirrors (11) can be arranged in a first end position (EL1) and a second end position (EL2) and the control unit (21) is designed to rotate these micromirrors (11) between the to control the first end position (EL1) and the second end position (EL2). Mikrospiegelvorrichtung (20) nach einem der Ansprüche 1 bis 2, wobei die Steuerungseinheit (21) ausgeführt ist, die Mikrospiegel (11) zeilen- und/oder spaltenweise anzusteuern.Micromirror device (20) according to one of Claims 1 until 2 , wherein the control unit (21) is designed to control the micromirrors (11) in rows and / or columns. Verwendung einer Mikrospiegelvorrichtung (20) nach einem der Ansprüche 1 bis 3 bei einer Kamera eines Fahrerassistenzsystems.Use of a micromirror device (20) according to one of Claims 1 until 3 in a camera of a driver assistance system. Abbildungssystem (30) zur Aufweitung eines Schärfebereiches des Abbildungssystems (30) und/oder zur Erzeugung eines Tiefenbildes umfassend • wenigstens eine Linse (32), um eine Szene zu erfassen, • wenigstens einen ersten Bildsensor (31), um die Erfassung der Szene in Bilddaten eines Digitalbildes umzuwandeln, • eine Mikrospiegelvorrichtung (20) nach einem der Ansprüche 1 bis 3 zur Veränderung eines optischen Abstandes (O) des wenigstens ersten Bildsensors (31) von der wenigstens einen Linse (32), wobei die Mikrospiegelvorrichtung (20) in Bezug auf eine neutrale Achse (N) des Abbildungssystems (30) schräg angeordnet ist, und • eine Auswertungseinrichtung (33), ausgeführt, in Abhängigkeit der Bilddaten eine Bildschärfe und/oder Tiefeninformationen zu bestimmen.Imaging system (30) for expanding a focus area of the imaging system (30) and/or for generating a depth image, comprising • at least one lens (32) to capture a scene, • at least one first image sensor (31) to capture the scene in To convert image data of a digital image, • a micromirror device (20) according to one of Claims 1 until 3 for changing an optical distance (O) of the at least first image sensor (31) from the at least one lens (32), the micromirror device (20) being arranged obliquely with respect to a neutral axis (N) of the imaging system (30), and • an evaluation device (33) designed to determine image sharpness and/or depth information depending on the image data. Abbildungssystem (30) nach Anspruch 5, wobei die Auswertungseinrichtung (30) auf dem wenigstens ersten Bildsensor (31) angeordnet ist oder in der Steuerungseinheit (21) der Mikrospiegelvorrichtung (20) integriert ist.Imaging system (30). Claim 5 , wherein the evaluation device (30) is arranged on the at least first image sensor (31) or is integrated in the control unit (21) of the micromirror device (20). Abbildungssystem (30) nach Anspruch 5 oder 6, umfassend einen zweiten Bildsensor (34), wobei der erste Bildsensor (31) angeordnet ist, um von den Mikrospiegel (11) in der ersten Endlage (EL1) reflektiertes Licht zu erfassen und der zweite Bildsensor (34) angeordnet ist, um von den Mikrospiegel (11) in der zweiten Endlage (EL2) reflektiertes Licht zu erfassen.Imaging system (30). Claim 5 or 6 , comprising a second image sensor (34), wherein the first image sensor (31) is arranged to detect light reflected by the micromirror (11) in the first end position (EL1) and the second image sensor (34) is arranged to be from the Micromirror (11) in the second end position (EL2) to detect reflected light. Abbildungssystem (30) nach einem der Ansprüche 5 bis 7, umfassend eine Schnittstelle (35), um die mit der Auswertungseinrichtung (33) bestimmte Bildschärfe und/oder Tiefeninformationen einer Fahrzeugsteuerungseinheit eines automatisiert betreibbaren Fahrzeuges bereitzustellen.Imaging system (30) according to one of the Claims 5 until 7 , comprising an interface (35) in order to provide the image sharpness and/or depth information determined by the evaluation device (33) to a vehicle control unit of an automated vehicle. Abbildungssystem (30) nach einem der Ansprüche 5 bis 8, umfassend weitere Linsen und/oder ein Umlenkprisma, um eine Bildqualität zu steigern und/oder zur Anpassung einer Baugröße des Abbildungssystems (30).Imaging system (30) according to one of the Claims 5 until 8th , comprising further lenses and/or a deflection prism in order to increase image quality and/or to adapt the size of the imaging system (30). Verfahren zur Aufweitung eines Schärfebereiches eines Abbildungssystems (30) und/oder zur Erzeugung eines Tiefenbildes umfassen die Verfahrensschritte • Ansteuern einer ersten Rotationsbewegung wenigstens eines Anteils von Mikrospiegeln (11) einer Mikrospiegelvorrichtung (20) zur Veränderung des optischen Abstandes (O) eines ersten Bildsensors (31) von wenigstens einer Linse (32) des Abbildungssystems (30) derart, dass diese Mikrospiegel (11) in Bezug auf eine Ebene (e) der Mikrospiegelvorrichtung (20) um jeweils denselben Winkel rotiert angeordnet sind um einen ersten Stufenspiegel zu erhalten (V1), ◯ wobei die Mikrospiegelvorrichtung (20) an einer Stelle des Abbildungssystems (30) angeordnet ist, an der in das Abbildungssystem (30) einfallendes Licht nicht fokussiert ist, und ◯ wobei die Mikrospiegelvorrichtung (20) in Bezug auf eine neutrale Achse (N) des Abbildungssystems (30) schräg angeordnet ist • Leiten von in das Abbildungssystem (30) einfallendem Licht mittels des ersten Stufenspiegels zu dem ersten Bildsensors (31) für einen ersten Belichtungsvorgang (V2), • Auslesen von ersten Bilddaten aus dem ersten Bildsensor (31) in Abhängigkeit des aus der Anordnung des ersten Stufenspiegels sich ergebenden optischen Abstandes (O) des ersten Bildsensors (31) von der wenigstens einen Linse (32) (V3), • in Abhängigkeit der ersten Bilddaten Ermittlung einer Bildschärfe und/oder Ermittlung von Tiefeninformationen (V4), • Wiederholen der vorangehenden Verfahrensschritte (V1, V2, V3, V4) für wenigstens einen weiteren aus einer jeweiligen Rotationsbewegung der Mikrospiegel (11) erhaltenen Stufenspiegel (V5), • Bestimmen eines Schärfenverlaufs und/oder eines Verlaufs von Tiefeninformationen in Abhängigkeit der einzelnen Belichtungsvorgänge und dabei aus den jeweiligen Anordnungen von Stufenspiegeln sich ergebenden optischen Abständen (O) des ersten Bildsensors (31) von der wenigstens einen Linse (31) (V6), wobei zur Durchführung des Verfahrens ein Abbildungssystem (30) nach einem der Ansprüche 5 bis 9 verwendet wird.Method for expanding a focus area of an imaging system (30) and/or for generating a depth image comprises the method steps • Controlling a first rotational movement of at least a portion of micromirrors (11) of a micromirror device (20) to change the optical distance (O) of a first image sensor ( 31) of at least one lens (32) of the imaging system (30) in such a way that these micromirrors (11) are arranged rotated by the same angle with respect to a plane (e) of the micromirror device (20) in order to obtain a first step mirror (V1 ), ◯ wherein the micromirror device (20) is arranged at a location of the imaging system (30) at which light incident on the imaging system (30) is not focused, and ◯ wherein the micromirror device (20) is relative to a neutral axis (N ) of the imaging system (30) is arranged obliquely • guiding light incident into the imaging system (30) by means of the first step mirror to the first image sensor (31) for a first exposure process (V2), • reading out first image data from the first image sensor (31 ) depending on the optical distance (O) of the first image sensor (31) resulting from the arrangement of the first step mirror from the at least one lens (32) (V3), • depending on the first image data, determining an image sharpness and/or determining depth information (V4); the individual exposure processes and the optical distances (O) of the first image sensor (31) from the at least one lens (31) (V6) resulting from the respective arrangements of step mirrors, with an imaging system (30) according to one of the following being used to carry out the method Claims 5 until 9 is used. Verfahren nach Anspruch 10, adaptiert auf Lichtwellenlängen im ultravioletten, nahen und/oder fernen infraroten und/oder sichtbaren Bereich.Procedure according to Claim 10 , adapted to light wavelengths in the ultraviolet, near and/or far infrared and/or visible range. Computerprogrammprodukt für eine Steuerungseinheit (21) mit einer integrierten Auswertungseinrichtung (33) eines Abbildungssystems (30) nach einem der Ansprüche 5 bis 9 zur Aufweitung eines Schärfebereiches des Abbildungssystems und/oder zur Erzeugung eines Tiefenbildes, ausgeführt, in einen Speicher der Auswertungseinrichtung (33) geladen zu werden, und umfassend Softwarecodeabschnitte, mit denen ein Verfahren nach Anspruch 10 oder 11 ausführbar ist, wenn das Computerprogrammprodukt auf der Auswertungseinrichtung (33) läuft.Computer program product for a control unit (21) with an integrated evaluation device (33) of an imaging system (30) according to one of Claims 5 until 9 for expanding a sharpness range of the imaging system and/or for generating a depth image, to be loaded into a memory of the evaluation device (33), and comprising software code sections with which a method according to Claim 10 or 11 can be executed when the computer program product runs on the evaluation device (33).
DE102018215601.8A 2018-09-13 2018-09-13 Arrangement of micromirrors, micromirror device, use of a micromirror device, imaging system, method and computer program product for expanding a sharpness range of the imaging system and/or for generating a depth image Active DE102018215601B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018215601.8A DE102018215601B4 (en) 2018-09-13 2018-09-13 Arrangement of micromirrors, micromirror device, use of a micromirror device, imaging system, method and computer program product for expanding a sharpness range of the imaging system and/or for generating a depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018215601.8A DE102018215601B4 (en) 2018-09-13 2018-09-13 Arrangement of micromirrors, micromirror device, use of a micromirror device, imaging system, method and computer program product for expanding a sharpness range of the imaging system and/or for generating a depth image

Publications (2)

Publication Number Publication Date
DE102018215601A1 DE102018215601A1 (en) 2020-03-19
DE102018215601B4 true DE102018215601B4 (en) 2023-10-12

Family

ID=69646635

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018215601.8A Active DE102018215601B4 (en) 2018-09-13 2018-09-13 Arrangement of micromirrors, micromirror device, use of a micromirror device, imaging system, method and computer program product for expanding a sharpness range of the imaging system and/or for generating a depth image

Country Status (1)

Country Link
DE (1) DE102018215601B4 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018651A1 (en) 2004-07-21 2006-01-26 Cho Gyoung I High-speed automatic focusing system
DE102006009212A1 (en) 2006-02-28 2007-08-30 Carl Zeiss Sms Gmbh Optical device for homogenization of laser radiation, has homogenizing module, which divides laser radiation in incoherent partial radiation lateral to each other
US7354167B2 (en) 2004-05-27 2008-04-08 Angstrom, Inc. Beam focusing and scanning system using micromirror array lens
DE102006059023A1 (en) 2006-12-14 2008-06-19 Lübeck, Felix Device for receiving static and moving images, has light sensitive sensor element and tracer, which enables preview of light falling on light sensitive sensor element by suitable optical image

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7619807B2 (en) * 2004-11-08 2009-11-17 Angstrom, Inc. Micromirror array lens with optical surface profiles
US7589916B2 (en) * 2007-08-10 2009-09-15 Angstrom, Inc. Micromirror array with iris function

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7354167B2 (en) 2004-05-27 2008-04-08 Angstrom, Inc. Beam focusing and scanning system using micromirror array lens
US20060018651A1 (en) 2004-07-21 2006-01-26 Cho Gyoung I High-speed automatic focusing system
DE102006009212A1 (en) 2006-02-28 2007-08-30 Carl Zeiss Sms Gmbh Optical device for homogenization of laser radiation, has homogenizing module, which divides laser radiation in incoherent partial radiation lateral to each other
DE102006059023A1 (en) 2006-12-14 2008-06-19 Lübeck, Felix Device for receiving static and moving images, has light sensitive sensor element and tracer, which enables preview of light falling on light sensitive sensor element by suitable optical image

Also Published As

Publication number Publication date
DE102018215601A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
DE102015107517B3 (en) Apparatus and method for image acquisition with increased depth of field
DE102014104027B4 (en) Optoelectronic device and method for capturing object information
EP2395392B1 (en) Camera lens and camera system with a mask for determining depth information
US20180143419A1 (en) Variable focal length lens system with multi-level extended depth of field image processing
DE102016213122A1 (en) Multilevel image sharpness using a tunable lens in a machine vision inspection system
WO2018134129A1 (en) Microscope and method for viewing a specimen using a microscope
DE102014223387A1 (en) An image inspection system and method for obtaining an image with extended depth of field
DE3707487A1 (en) METHOD FOR AUTOFOCUSING MICROSCOPES AND MICROSCOPE WITH AN AUTOFOCUSING
WO2014013021A1 (en) Method and apparatus for image reconstruction
WO2018127509A1 (en) Method for generating a three-dimensional model of a sample in a digital microscope and a digital microscope
DE102012105436B4 (en) Vehicle camera for distance measurement
DE102016117024A1 (en) Device for detecting a stereo image
DE102014102458A1 (en) Device for optically reading codes
EP3900317B1 (en) Device having a multi-aperture imaging device for generating a depth map
EP3147700B1 (en) Method and device to increase the field of view of a camera and camera provided therewith
WO2018141560A1 (en) Method for determining a deviation on a displacement path of an optical zoom lens and method for correction and image recording device
DE102012102580A1 (en) Method for measuring an object and intraoral scanner
DE10013299C2 (en) Method and device for the geometric calibration of pixel-oriented photosensitive elements
DE102018215601B4 (en) Arrangement of micromirrors, micromirror device, use of a micromirror device, imaging system, method and computer program product for expanding a sharpness range of the imaging system and/or for generating a depth image
EP3900318B1 (en) Apparatus having a multi-aperture imaging apparatus for accumulating image information
EP4227636B1 (en) Determination of depth values of a surface area of a workpiece
DE10033483C1 (en) Auto-focusing method for telescopes of surveying equipment
DE102015208442A1 (en) Method and device for determining at least one object image in an environment around a non-sensitive optical image sensor
DE102012105435A1 (en) Camera system connected with driver assistance system of vehicle for determining object distance, has main unit to detect partial images for generating image of observed scene in light field area, so as to determine object distance
DE102013217655A1 (en) Mirror monitoring using a grayscale screen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final