DE102012105436B4 - Vehicle camera for distance measurement - Google Patents
Vehicle camera for distance measurement Download PDFInfo
- Publication number
- DE102012105436B4 DE102012105436B4 DE102012105436.3A DE102012105436A DE102012105436B4 DE 102012105436 B4 DE102012105436 B4 DE 102012105436B4 DE 102012105436 A DE102012105436 A DE 102012105436A DE 102012105436 B4 DE102012105436 B4 DE 102012105436B4
- Authority
- DE
- Germany
- Prior art keywords
- camera system
- image
- partial images
- camera
- designed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
- B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
- B60R2011/0026—Windows, e.g. windscreen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Kamerasystem für ein Fahrzeug, zur Bestimmung von Objektentfernungen,umfassend- wenigstens ein Bildaufnahmeelement (4), mit einer für elektromagnetische Strahlung (7) sensitiven Fläche, und- ein Abbildungssystem (3), zur Projektion von elektromagnetischer Strahlung (7) auf die sensitive Fläche des Bildaufnahmeelements (4),wobeidas Kamerasystem eine Mikrolinsen-Anordnung (8) umfasst, welche derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung (7) angeordnet ist, dass- das Kamerasystem als Lichtfeldkamera ausgebildet ist und mittels Bildverarbeitung- aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder generierbar und- mittels der Teilbilder Objektentfernungen bestimmbar sind,dadurch gekennzeichnet, dassdie Mikrolinsen-Anordnung (8) derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung (7) angeordnet ist, dass- die vom Abbildungssystem (3) auf die sensitive Fläche des Bildaufnahmeelements (4) projizierte elektromagnetische Strahlung (7) mittels des Bildaufnahmeelements (4) richtungsselektiv erfasst wird, so dass- aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder mit abweichender Fokussierung generierbar sind.Camera system for a vehicle, for determining object distances, comprising- at least one image recording element (4) with a surface sensitive to electromagnetic radiation (7), and- an imaging system (3) for projecting electromagnetic radiation (7) onto the sensitive surface of the image recording element (4), the camera system comprising a microlens arrangement (8) which is designed and arranged in the beam path of the electromagnetic radiation (7) in such a way that the camera system is designed as a light field camera and is captured by means of image processing from a camera system Image at least two partial images can be generated and object distances can be determined by means of the partial images, characterized in that the microlens array (8) is designed and arranged in the beam path of the electromagnetic radiation (7) that the imaging system (3) onto the sensitive surface of the image pickup element (4) projected electromagnetic S Radiation (7) is detected in a directionally selective manner by means of the image recording element (4), so that at least two partial images with a different focus can be generated from an image recorded by means of the camera system.
Description
Die Erfindung betrifft ein Kamerasystem zum Einsatz in einem Fahrzeug und zur Bestimmung von Objektentfernungen sowie ein Verfahren zum Betrieb eines solchen Kamerasystems.The invention relates to a camera system for use in a vehicle and for determining object distances and a method for operating such a camera system.
Fahrerassistenzsysteme in Fahrzeugen verwenden häufig eine oder mehrere Kameras zur Erfassung des Fahrzeugumfelds, beispielsweise zur Erkennung verschiedenster Objekte im Umfeld des Fahrzeugs.
Die Kameras sind dabei in der Regel im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet und blicken in Fahrtrichtung durch die Scheibe hindurch. Bekannt sind beispielsweise Fahrzeugkameras zur Erkennung von Hindernissen, Fahrbahnmarkierungen, Verkehrszeichen, Verkehrsteilnehmern und anderen Objekten, sowie Nachtsichtkameras oder auch Stereokameras als optische Abstandssensoren.Driver assistance systems in vehicles often use one or more cameras to record the surroundings of the vehicle, for example to detect a wide variety of objects in the surroundings of the vehicle.
The cameras are usually arranged in the vehicle interior behind the windshield and look through the window in the direction of travel. For example, vehicle cameras for detecting obstacles, lane markings, traffic signs, road users and other objects, as well as night vision cameras or stereo cameras as optical distance sensors are known.
Einige Fahrerassistenzsysteme, beispielsweise Systeme zur Vermeidung von Unfällen, z.B. (Not-)Bremsassistenten, und Systeme mit einer Längs- bzw. Querführungsunterstützung, z.B. Geschwindigkeitsregelungssysteme oder Fahrspurassistenten, benötigen möglichst genaue Informationen über das Fahrzeugumfeld. Dabei kommt der Erfassung von Objekten sowie der Bestimmung der Entfernung zu diesen Objekten eine wichtige Rolle zu. Zur Bestimmung der Objektentfernung ist bislang die Verwendung von Strahlsensoren, beispielsweise Ultraschall-, Radar- oder Lidar-Sensoren, bekannt. Auch Kameras werden bereits zur Bestimmung von Objektentfernungen eingesetzt.Some driver assistance systems, for example systems to avoid accidents, e.g. (emergency) brake assistants, and systems with longitudinal or lateral guidance support, e.g. speed control systems or lane assistants, require the most accurate information possible about the vehicle's surroundings. The detection of objects and the determination of the distance to these objects play an important role. The use of beam sensors, for example ultrasound, radar or lidar sensors, has hitherto been known to determine the object distance. Cameras are also already being used to determine object distances.
Bei der Bestimmung von Objektentfernungen mittels Kameras werden derzeit sogenannte Stereo-Kameras eingesetzt. Diese bestehen aus zwei in der Regel identischen Kameramodulen (Einzelkameras), die als separate optische Systeme mit jeweils einem Bildaufnahmeelement und einem Abbildungssystem (z.B. Objektiv) aufgebaut sind. Die beiden Kameramodule werden mit ihren optischen Achsen meist parallel zueinander ausgerichtet und lateral versetzt, d.h. auf einer Linie parallel zur Fahrzeugquerachse versetzt, hinter der Windschutzscheibe angeordnet. Die laterale Distanz zwischen den Kamerasystemen wird als Baseline bezeichnet. Die Pixelkoordinaten der Projektion eines Bildpunktes eines Objektes unterscheiden sich in den erfassten Bildern der beiden Kameramodule. Die Differenz zwischen den Koordinatenpaaren, d.h. der Versatz des Bildpunktes in den Bildern, hängt dabei von der Entfernung des Objektes zur Kamera ab. Bei bekannter Baseline lässt sich aus dem Versatz des Bildpunktes mittels Trigonometrie auf bekannte Weise die Entfernung zum Objekt berechnet (Stereoprinzip).So-called stereo cameras are currently used to determine object distances by means of cameras. These consist of two usually identical camera modules (single cameras), which are constructed as separate optical systems, each with an image recording element and an imaging system (e.g. lens). The optical axes of the two camera modules are usually aligned parallel to each other and laterally offset, i.e. offset on a line parallel to the transverse axis of the vehicle, behind the windshield. The lateral distance between the camera systems is known as the baseline. The pixel coordinates of the projection of an image point of an object differ in the captured images of the two camera modules. The difference between the coordinate pairs, i.e. the offset of the image point in the images, depends on the distance between the object and the camera. If the baseline is known, the distance to the object can be calculated in a known manner from the offset of the image point by means of trigonometry (stereo principle).
Nachteilig beim Einsatz von Stereo-Kameras zur Bestimmung von Objektentfernungen in Fahrzeugen ist jedoch die Tatsache, dass die Anordnung und die Kalibrierung, d.h. die Ausrichtung der zwei Kameramodule zueinander, mit erheblichem Aufwand und Kosten verbunden sind. Bereits eine marginale Ungenauigkeit bzw. eine leichte Änderung des Blickwinkels eines der beiden Kameramodule kann die Entfernungsbestimmung erheblich verfälschen. Zusätzlich müssen eine Vielzahl von Umwelteinflüssen, z.B. Temperaturunterschiede und Vibrationen, die während des Fahrbetriebs auftreten können, antizipiert werden. Diese können zu denselben Problemen (Änderung des Blickwinkels) und den damit verbundenen Konsequenzen (verfälschte Entfernungsbestimmung) führen. Die Antizipation erfolgt in der Regel durch eine komplexe Verbausituation der Kameramodule bzw. der Stereo-Kamera. Neben der aufwändigen und komplexen Verbausituation benötigen Stereo-Kameras zudem viel Platz im Fahrzeuginnenraum und einen entsprechend großen Blickbereich durch die Windschutzscheibe. Es müssen jedes Mal zwei identische Kameramodule eingesetzt werden und die Genauigkeit der Entfernungsbestimmung hängt von der Größe der Baseline ab, d.h. vom lateralen Versatz der Kameramodule zueinander. Je größer die Baseline der Kameramodule desto genauer ist die Entfernungsbestimmung. Je größer die Baseline gewählt wird, umso größer ist jedoch auch der Platzbedarf für die Stereo-Kamera. Zudem erhöht sich mit zunehmendem Abstand der Kameramodule der Aufwand bei der Ausrichtung der Module zueinander.However, the disadvantage of using stereo cameras to determine object distances in vehicles is the fact that the arrangement and calibration, i.e. the alignment of the two camera modules with one another, involve considerable effort and expense. Even a marginal inaccuracy or a slight change in the viewing angle of one of the two camera modules can significantly falsify the determination of the distance. In addition, a large number of environmental influences, e.g. temperature differences and vibrations that can occur during driving, must be anticipated. These can lead to the same problems (change of perspective) and the associated consequences (incorrect determination of distance). The anticipation usually takes place through a complex installation situation of the camera modules or the stereo camera. In addition to the elaborate and complex installation situation, stereo cameras also require a lot of space in the vehicle interior and a correspondingly large viewing area through the windshield. Two identical camera modules have to be used each time and the accuracy of the distance determination depends on the size of the baseline, i.e. the lateral offset of the camera modules to one another. The larger the baseline of the camera modules, the more accurate the distance determination. However, the larger the baseline, the greater the space required for the stereo camera. In addition, as the distance between the camera modules increases, the effort involved in aligning the modules with one another increases.
Eine weitere Möglichkeit die Entfernung zu Objekten mittels Kameras zu bestimmten, ist die Anwendung sogenannter Depth-From-Focus oder Depth-From-Defocus Ansätze. Ein Vorteil dieser Ansätze gegenüber der Stereo-Kamera ist die Tatsache, dass die Entfernungsbestimmung bereits mittels eines einzelnen Kameramoduls erfolgen kann, z.B. mittels einer Monokamera. Dadurch können viele der vorangehend beschrieben Probleme beim Einsatz von Stereo-Kameras vermieden werden. Besonders sei hier neben den oben genannten Problemen, auch die in der Auswertung auftretende Schwierigkeit genannt, die zwei Bilder bzw. das Bildpaar einer Stereo-Kamera korrekt zu vergleichen, d.h. Objekte in beiden Bilder korrekt aufzufinden, welche sich aufgrund des Versatzes an unterschiedlichen Bildpositionen befinden. Dieses Problem ist in der Literatur als Korrespondenz-Problem zu finden.Another possibility to determine the distance to objects by means of cameras is the use of so-called depth-from-focus or depth-from-defocus approaches. One advantage of these approaches compared to the stereo camera is the fact that the distance can be determined using a single camera module, e.g. a mono camera. In this way, many of the problems described above when using stereo cameras can be avoided. In addition to the problems mentioned above, the difficulty occurring in the evaluation of correctly comparing the two images or the image pair of a stereo camera, ie correctly finding objects in both images that are at different image positions due to the offset, should also be mentioned here . This problem can be found in the literature as the correspondence problem.
Der Depth-From-Focus (DFF) Ansatz nutzt aus, dass Objekte in einer bestimmten Entfernung von einem Abbildungssystem nur in einer bestimmten Ebene fokussiert abgebildet werden. Diese Ebene wird Fokusebene genannt. Weicht die Fokusebene von der Ebene ab, in der das Bildaufnahmeelement angeordnet ist, erscheint das Objekt im erfassten Bild unscharf. Mit anderen Worten: Jede Objektentfernung besitzt eine bestimmte Fokusebene auf der Bildseite des Abbildungssystems. Variiert nun die Objektentfernung, so variiert auch die Fokusebene. The Depth-From-Focus (DFF) approach takes advantage of the fact that objects at a certain distance from an imaging system are only imaged in a focused manner in a certain plane. This plane is called the focal plane. If the focal plane deviates from the plane in which the image recording element is arranged, the object appears in the captured image out of focus. In other words: every object distance has a certain focal plane on the image side of the imaging system. If the object distance now varies, the focal plane also varies.
Durch Variation des Abstandes zwischen Abbildungssystem und Bildaufnahmeelement ist es daher möglich die Abbildung des Objektes zu fokussieren und zu defokussieren. Bei bekannten optischen Parametern des Abbildungssystems erlaubt der so gefundene Punkt größter Objektschärfe (Fokuseinstellung mit größter Objektschärfe), den Abstand zwischen Abbildungssystem und Objekt über bekannte optische Zusammenhänge zu berechnen. Die Genauigkeit des Verfahrens hängt dabei auch von der Anzahl der möglichen Bildweiteneinstellung (Fokuseinstellungen) ab. Wird diese kontinuierlich variiert, kann das Bild beliebig fokussiert dargestellt werden.By varying the distance between the imaging system and the image pickup element, it is therefore possible to focus and defocus the image of the object. With known optical parameters of the imaging system, the point of greatest object sharpness found in this way (focus setting with greatest object sharpness) allows the distance between the imaging system and the object to be calculated using known optical relationships. The accuracy of the method also depends on the number of possible image width settings (focus settings). If this is varied continuously, the image can be displayed with any focus.
Der Depth-From-Defocus (DFD) Ansatz ist eng mit dem DFF Ansatz verwandt. Auch dieser Ansatz nutzt die Unschärfe aus, die bei einer nicht fokussierten Abbildung auftritt. Der Unterschied zum DFF Ansatz besteht darin, dass für ein Objekt nicht schrittweise eine Einstellung gesucht wird, die das Objekt fokussiert darstellt. Stattdessen werden zwei oder mehr Bildaufnahmen der beobachteten Szene mit verschiedenen Fokuseinstellungen, d.h. mit abweichender Fokussierung, erstellt. Die unterschiedlichen Fokuseinstellungen wirken sich auch auf die Unschärfe von Objekten im erfassten Bild aus. Dabei ist das Ausmaß der Unschärfe abhängig von der Entfernung zwischen Objekt und Kamera. Diese Eigenschaft macht sich der DFD Ansatz zu Nutze. Er untersucht blockweise mittels Vergleich die Unschärfe in zwei Bildern, wobei beispielsweise die Differenz der Unschärfe zweier Bilder bestimmt werden kann. Aus dem Vergleich wird die Entfernung berechnet. Der blockweise Vergleich ermöglicht die Bestimmung von Objektentfernungen aus Bildern, ohne zunächst Korrespondenzen zwischen den Bildregionen herstellen zu müssen, was ein Vorteil gegenüber dem Stereoprinzip darstellt.The Depth-From-Defocus (DFD) approach is closely related to the DFF approach. This approach also makes use of the blurring that occurs when the image is not in focus. The difference to the DFF approach is that a setting is not searched for an object step-by-step that shows the object in focus. Instead, two or more images of the observed scene are created with different focus settings, i.e. with different focusing. The different focus settings also affect the blurring of objects in the captured image. The extent of the blurring depends on the distance between the object and the camera. The DFD approach makes use of this property. It examines the blurring in two images block by block by means of a comparison, whereby, for example, the difference in the blurring of two images can be determined. The distance is calculated from the comparison. The block-by-block comparison enables object distances to be determined from images without first having to establish correspondences between the image regions, which is an advantage over the stereo principle.
Ein Verfahren zur Bestimmung von Objektentfernungen mittels des Depth-from-Defocus Ansatzes ist beispielsweise aus der
Nachteilig an den Ansätzen DFF und DFD ist die Tatsache, dass bei den bislang eingesetzten Kameramodulen, insbesondere bei den bislang verwendeten Monokameras, eine mechanisch verstellbare Optik erforderlich ist, um die Fokussierung des Kameramoduls zu ändern und somit mindestens zwei einzelne Bilder mit abweichender Fokussierung zu erhalten. Die Änderung der Fokuseinstellung führt zudem, insbesondere aufgrund deren mechanischer Ausgestaltung, zu Ungenauigkeiten und zu einer verlangsamten Entfernungsbestimmung. Auch die in der Fahrzeug-Industrie typischen Lebensdaueranforderungen von Fahrzeugkomponenten von typischerweise mehreren Jahren stellen mechanische Komponenten vor das Problem des Verschleißes bei dauerhafter Belastung. Weiterhin erweist sich der Einsatz der beiden Ansätze im Fahrzeug als schwierig, da zwischen der Aufnahme zweier Bilder jedes Mal eine Veränderung der Fokuseinstellung, insbesondere eine Änderung des Abstands zwischen Objektiv und Bildaufnahmeelement, erforderlich ist und sich das Fahrzeug während der Verstellung in der Regel bewegt. Die Eigenbewegung des Fahrzeugs muss somit, ähnlich wie bei Stereo-Kameras, antizipiert werden. Ein weiterer Nachteil ist die Abhängigkeit der Genauigkeit der Entfernungsbestimmung von der Anzahl der möglichen Fokuseinstellungen, d.h. der maximalen Anzahl an Bildern mit unterschiedlicher Fokussierung.A disadvantage of the DFF and DFD approaches is the fact that the camera modules used so far, especially the mono cameras used so far, require mechanically adjustable optics to change the focus of the camera module and thus obtain at least two individual images with different focus . The change in the focus setting also leads, in particular due to its mechanical design, to inaccuracies and to a slower determination of the distance. The service life requirements of vehicle components of typically several years, which are typical in the vehicle industry, also pose the problem of wear and tear on mechanical components under permanent load. Furthermore, the use of the two approaches in the vehicle proves to be difficult, since a change in the focus setting, in particular a change in the distance between the lens and the image pickup element, is required each time between the acquisition of two images and the vehicle usually moves during the adjustment. The vehicle's own movement must therefore be anticipated, similar to stereo cameras. Another disadvantage is that the accuracy of the distance determination depends on the number of possible focus settings, i.e. the maximum number of images with different focusing.
Aus der Druckschrift
Die Druckschrift
Der Erfindung liegt die Aufgabe zugrunde, ein Kamerasystem für ein Kraftfahrzeug zur Bestimmung von Objektentfernungen anzugeben, mittels dem die Entfernung zu Objekten möglichst einfach, genau und zuverlässig bestimmt werden kann.The invention is based on the object of specifying a camera system for a motor vehicle for determining object distances, by means of which the distance to objects can be determined as simply, precisely and reliably as possible.
Diese Aufgabe wird durch ein Kamerasystem mit den Merkmalen nach Anspruch 1 sowie durch ein Verfahren zum Betrieb eines solchen mit den Merkmalen nach Anspruch 6 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.This object is achieved by a camera system with the features according to
Aus dem Bereich der Bildaufnahmetechnik bzw. aus der digitalen Fotografie sind sogenannte Lichtfeldkameras bekannt. Diese werden auch als plenoptische Kameras bezeichnet. Das grundsätzliche Prinzip einer Lichtfeldkamera wird im Folgenden kurz beschrieben. Im Gegensatz zu konventionellen Kameras, bei welchen mit einem Abbildungssystem (z.B. ein Objektiv mit einer oder mehreren hintereinander angeordneten Linsen) und einem dahinter angeordneten Bildaufnahmeelement lediglich zweidimensionale Bilder bzw. 2-D-Bilddaten erfasst werden, ist es mit einer Lichtfeldkamera möglich, das sogenannte 4-D-Lichtfeld einer Szene zu erfassen. Dabei wird, neben der Position und der Intensität eines Lichtstrahls, auch die Richtung, aus welcher der Lichtstrahl auf das Bildaufnahmeelement fällt, ermittelt. Ermöglicht wird dies durch eine Mikrolinsen-Anordnung (Mikrolinsen-Array) zwischen dem Abbildungssystem und dem Bildaufnahmeelement. Bei der Mikrolinsen-Anordnung handelt es sich um ein Linsengitter, bestehend aus einer Vielzahl von in der Regel matrixförmig angeordneten Mikrolinsen. Das Linsengitter ist derart zwischen dem Abbildungssystem und dem Bildaufnahmeelement positioniert, z.B. in der hinteren Bildebene (Fokusebene, Brennebene) des Abbildungssystems, dass jeder Bildpunkt nochmals gebrochen und zu einem Kegel erweitert wird, welcher dann auf das Bildaufnahmeelement bzw. dessen sensitive Fläche trifft. Jeder Mikrolinse kann dabei eine Mehrzahl an lichtempfindlichen Zellen (Fotodioden bzw. Pixel) des Bildaufnahmeelements bzw. dessen sensitiver Fläche zugeordnet sein. Auf diese Weise bleibt die Information erhalten, aus welcher Richtung einzelne Lichtstrahlen in das Kamerasysteme eingefallen sind. Ein senkrecht auf eine Mikrolinse auftreffender Lichtstrahl landet im Mittelpunkt des Kreises bzw. der Ellipse, ein schräg eintreffender Lichtstrahl weiter am Rand. Das mittels einer Lichtfeldkamera erfasste Licht wird somit richtungsselektiv in separierbaren Einzelbildern auf dem Bildsensor erfasst. Durch geeignete Aneinanderreihung von Pixeln, insbesondere jeweils des gleichen Pixels unter jeder Mikrolinse, können aus einem so erfassten Bild einer beobachteten Szene mehrere Einzelbilder erzeugt werden, welche die beobachtete Szene aus unterschiedlichen, insbesondere leicht voneinander abweichenden, Betrachtungswinkeln (Blickwinkeln) abbilden. Derart können insbesondere zwei Einzelbilder einer beobachteten Szene erzeugt werden, die einen Versatz aufweisen, wie bei stereoskopischen Halbbildern, d.h. wie bei einem Bildpaar, dass mittels einer Stereokamera erfasst wurde. Die Anzahl der derart erzeugbaren Einzelbilder einer beobachteten Szene, ist gleich der Anzahl der Pixel unter jeder einzelnen Mikrolinse. Weiterhin können mittels geeigneter Bildverarbeitung, insbesondere durch geeignetes Aufsummieren der Einzelbilder, Bilder mit unterschiedlichem Fokus erzeugt werden. Dadurch ist es möglich die Schärfe eines mittels einer Lichtfeldkamera erfassten Bildes nachträglich neu zu berechnen und damit, wie bei einem richtigen Objektiv, den Fokus nachträglich zu ändern. Mit anderen Worten: Es können nach der Bildaufnahme durch Verarbeitung der erfassten Bild- bzw. der erfassten Pixeldaten verschiedene Schärfeebenen realisiert werden und mehrere Bilder mit unterschiedlichem Fokus erzeugt bzw. ausgegeben werden. Weiterhin können anhand des Versatzes der erzeugten Einzelbilder Tiefeninformationen der Objektszene (beobachteten Szene) extrahiert werden, insbesondere unter Verwendung einfacher optischer Zusammenhänge, wie zum Beispiel der Abbildungsgleichung. Falls nur zwei Einzelbilder herangezogen werden ist diese Tiefeninformation im Vergleich zu Stereo-Kameras weniger genau aufgrund der typischerweise geringeren Baseline. Allerdings kann diese Genauigkeit gesteigert werden durch den Versatzvergleich und die Mittelung über mehrere Einzelbilder (alle Einzelbilder im Idealfall). Durch die Verfügbarkeit von Tiefeninformationen der Objektszene kann weiterhin eine drei-dimensionale (3D) Darstellung der Objektszene errechnet werden. Details zum Prinzip von Lichtfeldkameras, d.h. Aufbaumöglichkeiten und die erforderliche Bildverarbeitung, sind in der Literatur bereits ausführlich beschrieben. Verwiesen sei hierzu insbesondere auf die Arbeiten von ADELSON und WANG (
Ein wesentlicher Gedanke der Erfindung besteht nun darin, das Prinzip der Lichtfeldkamera für ein Kamerasystem im Automobilbereich anzuwenden, insbesondere für ein Kamerasystem, mittels dem Entfernungen zu Objekten bestimmt werden sollen, wobei vorzugsweise alle sonstigen Kamerafunktion erhalten bleiben bzw. weiterhin möglich sind. Hierdurch ist es möglich mit einem einzelnen Kameramodul bzw. mit nur einem optischen System, welches ein Bildaufnahmeelement und ein Abbildungssystem umfasst, zunächst ein Bild einer Szene zu erfassen. Aufgrund der Ausgestaltung des Kamerasystems als Lichtfeldkamera, bei welcher die eintreffenden Lichtstrahlen richtungsselektiv auf dem Bildaufnahmeelement erfasst werden, ist es möglich, nachträglich zwei oder mehr Einzelbilder aus dem erfassten Bild einer Szene zu berechnen, die eine abweichende Fokussierung aufweisen. Die Bestimmung von Objektentfernungen kann weiterhin analog zu den einleitend beschrieben Ansätzen DFD und DFD erfolgen.An essential idea of the invention is to use the principle of the light field camera for a camera system in the automotive sector, in particular for a camera system by means of which distances to objects are to be determined, with all other camera functions preferably being retained or still possible. This makes it possible to first capture an image of a scene with a single camera module or with only one optical system which comprises an image recording element and an imaging system. Due to the design of the camera system as a light field camera, in which the incoming light rays are recorded in a directionally selective manner on the image recording element, it is possible to subsequently calculate two or more individual images from the recorded image of a scene that have a different focus. Object distances can still be determined in a manner analogous to the approaches DFD and DFD described in the introduction.
Ein wesentlicher Vorteil des erfindungsgemäßen Kamerasystems gegenüber dem Einsatz einer Stereokamera, ist die Tatsache, dass die Ausrichtung zweier einzelner Kameramodule zueinander entfällt. Es ist somit nichtmehr erforderlich zwei einzelne Kameramodule zueinander Auszurichten bzw. zu Kalibrieren. Das erfindungsgemäße Kamerasystem benötigt weniger Einbauraum im Fahrzeug und kann insgesamt kompakter ausgestaltet werden. A significant advantage of the camera system according to the invention compared to the use of a stereo camera is the fact that the alignment There is no need for two individual camera modules to each other. It is therefore no longer necessary to align or calibrate two individual camera modules with one another. The camera system according to the invention requires less installation space in the vehicle and can be made more compact overall.
Fehler bei der Bestimmung von Objektentfernungen aufgrund falscher oder ungenauer Ausrichtung können nichtmehr auftreten. Umwelteinflüsse, wie Temperaturunterschiede und Vibrationen, die während des Betriebs auftreten können, müssen nicht, wie bei den bislang eingesetzten Kamerasystemen, hinsichtlich negativer Auswirkungen auf die Ausrichtung zweier Kameramodule antizipiert werden. Gegenüber der Verwendung der Ansätze DFF und DFD bei bekannten Kamerasystemen, d.h. mit verstellbarer Kameraoptik, bestehen zudem die Vorteile, dass zur Änderung der Fokussierung insbesondere keine mechanische Verstellung von optischen Einrichtungen des Kamerasystems während der Bildaufnahme, insbesondere zwischen der Aufnahme zweier Einzelbilder, erforderlich ist. Die Erzeugung der Vergleichsbilder für den DFD Ansatz bzw. die schrittweise Anpassung der Fokussierung beim DFF Ansatz, d.h. bis ein Objekt bildscharf abgebildet ist, erfolgt bevorzugt aus einem einzelnen mittels des erfindungsgemäßen Kamerasystems erfassten Bildes. Eigenbewegungen des Fahrzeugs oder sonstige Einflüsse müssen somit ebenfalls nichtmehr antizipiert werden.Errors in determining object distances due to incorrect or inaccurate alignment can no longer occur. Environmental influences such as temperature differences and vibrations that can occur during operation do not have to be anticipated, as with the camera systems used up to now, with regard to negative effects on the alignment of two camera modules. Compared to the use of the DFF and DFD approaches in known camera systems, i.e. with adjustable camera optics, there are also the advantages that, in particular, no mechanical adjustment of optical devices of the camera system is required to change the focus during image acquisition, in particular between the acquisition of two individual images. The generation of the comparison images for the DFD approach or the step-by-step adjustment of the focusing in the DFF approach, i.e. until an object is imaged in sharp focus, is preferably carried out from a single image captured by the camera system according to the invention. The vehicle's own movements or other influences no longer have to be anticipated.
Das erfindungsgemäße Kamerasystem kommt bevorzugt in einem Fahrzeug zum Einsatz und dient insbesondere zur Bestimmung von Objektentfernungen. Es können darüber hinaus auch weitere Funktionen, z.B. andere bekannte Fahrerassistenzfunktionen, mittels des Kamerasystems umgesetzt werden. Bei dem Kamerasystem handelt es sich somit vorzugsweise um eine Fahrzeugkamera. Diese kann beispielsweise im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet sein, mit Blickrichtung durch die Fahrzeugscheibe hindurch in das Fahrzeugumfeld, insbesondere zur Erfassung von Bildern aus dem Fahrzeugumfeld für eine oder mehrere Fahrerassistenzfunktionen. Bei dem erfindungsgemäßen Kamerasystem kann es sich auch um eine anderorts im bzw. am Fahrzeug angeordnete Kamera handeln, beispielsweise um eine Innenraumkamera zur Erfassung von Fahrzeuginsassen. Erfindungsgemäß ist das Kamerasystem dabei derart ausgebildet, dass mittels des Kamerasystems bzw. mittels der vom Kamerasystem erfassten Bilder Entfernungen zu Objekten, z.B. Entfernung zwischen dem Fahrzeug und einem Objekt und/oder zwischen dem Kamerasystem und einem Objekt, bestimmbar sind. Weiterhin kann eine drei-dimensionale Darstellung der erfassen Szene errechnet werden.The camera system according to the invention is preferably used in a vehicle and is used in particular to determine object distances. In addition, other functions, e.g. other known driver assistance functions, can also be implemented using the camera system. The camera system is therefore preferably a vehicle camera. This can be arranged, for example, in the vehicle interior behind the windshield, looking through the vehicle window into the vehicle surroundings, in particular for capturing images from the vehicle surroundings for one or more driver assistance functions. The camera system according to the invention can also be a camera arranged elsewhere in or on the vehicle, for example an interior camera for capturing vehicle occupants. According to the invention, the camera system is designed in such a way that distances to objects, e.g. distance between the vehicle and an object and / or between the camera system and an object, can be determined by means of the camera system or the images captured by the camera system. Furthermore, a three-dimensional representation of the captured scene can be calculated.
Das erfindungsgemäße Kamerasystem umfasst wenigstens ein und vorzugsweise nur ein Bildaufnahmeelement mit einer für elektromagnetische Strahlung sensitiven Fläche, beispielsweise ein CMOS- oder CCD-Bildchip. Das Kamerasystem umfasst weiterhin zumindest ein Abbildungssystem, z.B. mit einer oder mehreren Linsen, das zur Projektion von elektromagnetischer Strahlung auf die sensitive Fläche des Bildaufnahmeelements dient. Bei dem Abbildungssystem handelt es sich beispielsweise um ein Objektiv des Kamerasystems.The camera system according to the invention comprises at least one and preferably only one image recording element with an area sensitive to electromagnetic radiation, for example a CMOS or CCD image chip. The camera system furthermore comprises at least one imaging system, e.g. with one or more lenses, which is used to project electromagnetic radiation onto the sensitive surface of the image recording element. The imaging system is, for example, an objective of the camera system.
Das erfindungsgemäße Kamerasystem umfasst im Weiteren wenigstens eine Mikrolinsen-Anordnung, vorzugsweise ein Linsengitter mit einer Vielzahl matrixförmig angeordneter Mikrolinsen. Die Mikrolinsen-Anordnung dient zur Ausgestaltung des Kamerasystems nach dem Prinzip einer Lichtfeldkamera, insbesondere zur Erfassung des 4-D-Lichtfelds der mittels des Kamerasystems beobachteten Szene, d.h. beispielsweise des Fahrzeugumfelds. Die Mikrolinsen-Anordnung dient insbesondere zur Erfassung der Richtungen, aus denen Lichtstrahlen aus der beobachteten Szene in das Kamerasystem einfallen. Jeder Mikrolinse der Mikrolinsen-Anordnung ist hierzu bevorzugt ein bestimmter Bereich der sensitiven Fläche des Bildaufnahmeelements zugeordnet, d.h. jede Mikrolinse projiziert elektromagnetische Strahlung auf eine definierte Anzahl bzw. einen definierten Bereich an lichtempfindlichen Zellen des Bildaufnahmeelements. Die Mikrolinsen-Anordnung ist weiterhin vorzugsweise derart ausgebildet und vor dem Bildaufnahmeelement angeordneten, dass die Bereiche der sensitiven Fläche des Bildaufnahmeelements, welche den einzelnen Mikrolinsen zugeordnet sind, sich nicht überlappen und/oder möglichst groß sind. Die Mikrolinsen-Anordnung kann beispielsweise direkt über der sensitiven Fläche des Bildaufnahmeelements und/oder in der Brennebene des Abbildungssystems oder auf die Brennebene des Abbildungssystems fokussiert angeordnet sein. Die Mikrolinsen-Anordnung kann weiterhin vor der gesamten sensitiven Fläche oder nur vor einem Teilbereich der sensitiven Fläche des Bildaufnahmeelements angeordnet sein. Das erfindungsgemäße Kamerasystem kann somit derart ausgestaltet sein bzw. die Mikrolinsen-Anordnung kann insbesondere derart angeordnet sein, dass nur ein Teil der sensitiven Fläche des Bildaufnahmeelements nach dem Prinzip der Lichtfeldkamera ausgebildet ist.The camera system according to the invention furthermore comprises at least one microlens arrangement, preferably a lens grid with a plurality of microlenses arranged in a matrix. The microlens arrangement is used to design the camera system based on the principle of a light field camera, in particular to capture the 4-D light field of the scene observed by means of the camera system, i.e. for example the area around the vehicle. The microlens arrangement is used in particular to detect the directions from which light rays from the observed scene enter the camera system. For this purpose, each microlens of the microlens arrangement is preferably assigned a specific area of the sensitive surface of the image pickup element, i.e. each microlens projects electromagnetic radiation onto a defined number or a defined area of light-sensitive cells of the image pickup element. The microlens arrangement is furthermore preferably designed and arranged in front of the image pickup element in such a way that the areas of the sensitive surface of the image pickup element which are assigned to the individual microlenses do not overlap and / or are as large as possible. The microlens arrangement can be arranged, for example, directly above the sensitive surface of the image recording element and / or in the focal plane of the imaging system or focused on the focal plane of the imaging system. The microlens arrangement can furthermore be arranged in front of the entire sensitive area or only in front of a partial area of the sensitive area of the image recording element. The camera system according to the invention can thus be designed or the microlens arrangement can in particular be arranged such that only part of the sensitive surface of the image recording element is designed according to the principle of the light field camera.
Mittels Bildverarbeitungseinrichtungen, welche insbesondere Bestandteil des erfindungsgemäßen Kamerasystems sein können, werden die mittels des Kamerasystems bzw. mittels des Bildaufnahmeelements erfassten Bilder bevorzugt derart verarbeitet, dass aus einem erfassten Bild der beobachteten Szene wenigstens zwei Teilbilder generiert werden. Bei den Teilbildern handelt es sich dabei um Bilder mit abweichender Fokussierung. Mit anderen Worten handelt es sich bei den Teilbildern um wenigstens zwei einzelne Bilder, die aus einem mittels des Kamerasystems erfassten Bild der beobachteten Szene generiert werden und welche unterschiedliche Objektentfernungen fokussiert abbilden. Die Erzeugung von Teilbildern mit unterschiedlicher Fokussierung mittels einer Lichtfeldkamera ist aus dem Stand der Technik, insbesondere aus den einleitend genannten Veröffentlichungen grundsätzlich bekannt. Die Generierung der Teilbilder mit abweichender Fokussierung erfolgt beispielsweise derart, dass zunächst Pixel mit identischer Position unterhalb jeder Mikrolinse herangezogen werden und nach dem Matrixmuster der Mikrolinsenanordnung neu angeordnet werden, d.h. insbesondere nach dem Matrixmuster der Mikrolinsenanordnung aneinandergereiht werden. Dadurch entstehen eine Vielzahl an separaten Bildern, deren größtmögliche Anzahl durch die Anzahl der Pixel unter jeder Mikrolinse gegeben ist und welche die beobachtete Szene mit abweichenden Blickwinkel darstellen, d.h. die jeweils einen leichten Versatz aufweisen. Die Anzahl der Bildpixel (Auflösung) der so separierbaren Bilder ist durch die Anzahl der Mikrolinsen in der Mikrolinsenanordnung gegeben. In einem weiteren Schritt können aus den separierten Bildern, die einen Versatz aufweisen, mittels geeigneter Bildverarbeitungseinrichtungen bzw. mittels geeigneter Bildverarbeitungsalgorithmen die Teilbilder mit abweichender Fokussierung erzeugt werden, insbesondere durch aufsummieren mehrerer der separierten Bilder mit Versatz.By means of image processing devices, which can in particular be part of the camera system according to the invention, the images captured by means of the camera system or by means of the image capturing element are preferably processed in such a way that at least two partial images are generated from a captured image of the observed scene. The partial images are images with a different focus. In other words the partial images are at least two individual images that are generated from an image of the observed scene captured by means of the camera system and that depict different object distances in a focused manner. The generation of partial images with different focussing by means of a light field camera is known in principle from the prior art, in particular from the publications mentioned in the introduction. The partial images with different focussing are generated, for example, in such a way that initially pixels with an identical position below each microlens are used and rearranged according to the matrix pattern of the microlens arrangement, ie in particular are lined up according to the matrix pattern of the microlens arrangement. This results in a large number of separate images, the greatest possible number of which is given by the number of pixels under each microlens and which depict the observed scene with a different angle of view, ie each of which has a slight offset. The number of image pixels (resolution) of the images that can be separated in this way is given by the number of microlenses in the microlens array. In a further step, the partial images with a different focus can be generated from the separated images that have an offset by means of suitable image processing devices or by means of suitable image processing algorithms, in particular by adding up several of the separated images with an offset.
Erfindungsgemäß werden anhand der wenigstens zwei generierten Teilbilder mit abweichender Fokussierung Entfernungen zu einem oder mehreren Objekten bestimmt.According to the invention, distances to one or more objects are determined on the basis of the at least two generated partial images with a different focus.
Erfindungsgemäß ist die Mikrolinsen-Anordnung derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung angeordnet, dass die vom Abbildungssystem auf die sensitive Fläche des Bildaufnahmeelements projizierte elektromagnetische Strahlung mittels des Bildaufnahmeelements richtungsselektiv erfasst wird, so dass aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder mit abweichender Fokussierung generierbar sind, insbesondere wenigstens zwei einzelne auf unterschiedliche Objektentfernungen fokussierte (bildscharfe) Bilder der Fahrzeugumgebung.According to the invention, the microlens arrangement is designed and arranged in the beam path of the electromagnetic radiation in such a way that the electromagnetic radiation projected by the imaging system onto the sensitive surface of the image recording element is recorded in a direction-selective manner by means of the image recording element, so that at least two partial images with deviating Focusing can be generated, in particular at least two individual (image-sharp) images of the vehicle environment that are focused on different object distances.
Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Kamerasystems umfasst dieses Bildverarbeitungseinrichtungen oder ist mit Bildverarbeitungseinrichtungen verbunden, die ausgebildet sind, zur Generierung der wenigstens zwei Teilbilder aus mittels des Kamerasystems erfassten Bildern und/oder zur Bestimmung von Objektentfernungen aus den generierten Teilbildern.According to a further preferred embodiment of the camera system according to the invention, it comprises image processing devices or is connected to image processing devices that are designed to generate the at least two partial images from images captured by the camera system and / or to determine object distances from the generated partial images.
Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems ist dieses derart ausgebildet, insbesondere die Bildverarbeitungseinrichtungen, dass aus einem mittels des Kamerasystems erfassten Bild schrittweise Teilbilder mit abweichender Fokussierung generiert werden, bis ein Objekt, zu dem eine Entfernung bestimmt werden soll, in einem der Teilbilder bildscharf abgebildet ist. Hierbei kann insbesondere dasjenige Teilbild ermittelt werden, in dem die höchste Bildschärfe des Objektes gegenüber den restlichen generierten Teilbildern erreicht wird. Unter der schrittweisen Generierung der Teilbilder abweichender Fokussierung ist dabei insbesondere eine sukzessive Generierung von Teilbildern aus einem mittels des Kamerasystems erfassten Bild zu verstehen, wobei dasjenige Teilbild gesucht wird, in dem ein Objekt, zu dem eine Entfernung bestimmt werden soll, bildscharf abgebildet ist bzw. in dem das Objekt die höchste Bildschärfe aufweist. Dieses entspricht insbesondere dem Prinzip des DFF, wobei zur Generierung der Teilbilder mit abweichender Fokussierung keine mechanische Verstellung von optischen Einrichtungen erforderlich ist. Die Generierung der Teilbilder mit abweichender Fokussierung erfolgt vorzugsweise allein mittels Bildverarbeitung. Jedem einzelnen Teilbild, d.h. jedem Teilbild mit unterschiedlicher Fokussierung, kann nun eine (virtuelle) Fokusebene zugeordnet werden, insbesondere unter Verwendung bekannter Zusammenhänge, welcher wiederum eine Objektebene bekannter Brennweite zugeordnet werden kann. Dabei kann jedem generierten Teilbild, d.h. jedem generierten Teilbild mit unterschiedlicher Fokussierung, eine Fokusebene im Bildraum bzw. auf der Bildseite des Abbildungssystems zugeordnet sein. Ist bekannt, bei welchem Teilbild die höchste Bildschärfe des Objekts, zu dem eine Entfernung bestimmt werden soll, erreicht wird, kann über Abbildungsgleichungen bzw. mittels Linsengleichung die Entfernung zum Objekt berechnet werden. Hierdurch kann die Bestimmung der Objektentfernung schnell und zuverlässig erfolgen. Es müssen insbesondere keine Ungenauigkeiten aufgrund von Umwelteinflüssen sowie eine Fahrzeugeigenbewegung zwischen der Aufnahme zweier Bilder antizipiert werden.According to an advantageous embodiment of the camera system according to the invention, it is designed in such a way, in particular the image processing devices, that partial images with deviating focussing are gradually generated from an image captured by the camera system until an object to which a distance is to be determined is imaged sharply in one of the partial images is. In particular, that partial image can be determined in which the highest image sharpness of the object compared to the remaining generated partial images is achieved. The step-by-step generation of the partial images with deviating focus is to be understood in particular as the successive generation of partial images from an image captured by means of the camera system, the partial image being sought in which an object to which a distance is to be determined is or is sharply depicted. in which the object has the highest sharpness. This corresponds in particular to the principle of the DFF, whereby no mechanical adjustment of optical devices is required to generate the partial images with deviating focussing. The partial images with a different focus are preferably generated solely by means of image processing. A (virtual) focus plane can now be assigned to each individual partial image, i.e. each partial image with different focussing, in particular using known relationships, which in turn can be assigned an object plane of known focal length. A focal plane in the image space or on the image side of the imaging system can be assigned to each generated partial image, i.e. each generated partial image with different focussing. If it is known in which partial image the highest image sharpness of the object to which a distance is to be determined is achieved, the distance to the object can be calculated using imaging equations or lens equations. This enables the object distance to be determined quickly and reliably. In particular, there is no need to anticipate any inaccuracies due to environmental influences or a vehicle's own movement between the recording of two images.
Gemäß einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems ist dieses derart ausgebildet, insbesondere die Bildverarbeitungseinrichtungen, dass aus dem Vergleich der Unschärfe eines Objektes in den wenigstens zwei Teilbildern mit abweichender Fokussierung die Entfernung zu einem Objekt (Objektentfernung) berechnet wird. Bei dem Vergleich kann es sich beispielsweise um die Bestimmung der Differenz der Unschärfe eines Objektes in den wenigstens zwei Teilbildern handeln. Dies entspricht im Wesentlichen dem Ansatz des DFD. Es können insbesondere zwei Teilbilder aus einem mittels des Kamerasystems erfassten Bild generiert werden, wobei ein Objekt, von dem eine Objektentfernungen bestimmt werden soll, in einem der Bilder positiv de-fokussiert abgebildet ist und im anderen Bild negativ de-fokussiert. Positiv und negativ de-fokussiert meint insbesondere, dass eine bildscharfe Abbildung des Objektes erreicht würde, bei einer Fokuseinstellung zwischen den Fokuseinstellungen der beiden Teilbilder. Ein wesentlicher Vorteil dieser Ausgestaltung des erfindungsgemäßen Kamerasystems ist wie bei der bereits vorangehend beschrieben Ausgestaltung die Tatsache, dass gegenüber der Verwendung des DFD Ansatzes in Verbindung mit bekannten Kamerasystemen, für die Generierung der Teilbilder keine mechanische Verstellung von optischen Einrichtungen des Kamerasystems erfolgen muss. Die Generierung der Teilbilder erfolgt insbesondere aus einem einzelnen mittels des erfindungsgemäßen Kamerasystems erfassten Bild. Hierdurch kann die Bestimmung der Objektentfernung schnell und zuverlässig erfolgen. Es müssen insbesondere keine Ungenauigkeiten aufgrund von Umwelteinflüssen sowie keine Fahrzeugeigenbewegungen zwischen der Aufnahme zweier Bilder antizipiert werden.According to a further advantageous embodiment of the camera system according to the invention, it is designed in such a way, in particular the image processing devices, that the distance to an object (object distance) is calculated from the comparison of the blurring of an object in the at least two partial images with different focusing. The comparison can be, for example, determining the difference in the blurring of an object in the at least two partial images. This essentially corresponds to the approach of the DFD. In particular, two partial images can be generated from an image captured by means of the camera system, an object from which an object distance is to be determined, is shown in one of the images in a positive defocused manner and in the other image in a negative defocused manner. Positive and negative de-focused means, in particular, that an image-sharp image of the object would be achieved with a focus setting between the focus settings of the two partial images. A significant advantage of this embodiment of the camera system according to the invention is, as in the embodiment already described above, the fact that, compared to the use of the DFD approach in connection with known camera systems, no mechanical adjustment of optical devices of the camera system has to be carried out to generate the partial images. The partial images are generated in particular from a single image captured by means of the camera system according to the invention. This enables the object distance to be determined quickly and reliably. In particular, there is no need to anticipate any inaccuracies due to environmental influences and no vehicle movements between the recording of two images.
Gemäß einer besonderen Ausgestaltung des erfindungsgemäßen Kamerasystems ist die Mikrolinsenanordnung nur in einem bestimmten Teilbereich des Querschnitts des Strahlengangs der, insbesondere der vom Abbildungssystem auf das Bildaufnahmeelement projizierten, elektromagnetischen Strahlung und/oder nur vor einem bestimmten Teilbereich der sensitiven Fläche des Bildaufnahmeelements angeordnet, so dass nur der bestimmte Teilbereich der sensitiven Fläche des Bildaufnahmeelements als Lichtfeldkamera ausgebildet ist. Bei dieser Ausgestaltung des erfindungsgemäßen Kamerasystems wird vorzugsweise nur mittels des bestimmten Teilbereichs der sensitiven Fläche des Bildaufnahmeelements elektromagnetische Strahlung richtungsselektiv erfasst. Ein Vorteil dieser Ausgestaltung besteht im Wesentlichen darin, dass nur für den bestimmten Teilbereich des Bildaufnahmeelements das Auflösungsvermögen reduziert und der restliche Bereich der sensitiven Fläche des Bildaufnahmeelements weiterhin bei maximaler Auflösung betrieben werden kann.According to a special embodiment of the camera system according to the invention, the microlens arrangement is only arranged in a certain sub-area of the cross-section of the beam path of the electromagnetic radiation projected by the imaging system onto the image recording element and / or only in front of a certain sub-area of the sensitive surface of the image recording element, so that only the specific sub-area of the sensitive surface of the image recording element is designed as a light field camera. In this embodiment of the camera system according to the invention, electromagnetic radiation is preferably detected in a directionally selective manner only by means of the specific partial area of the sensitive surface of the image recording element. An advantage of this embodiment is essentially that the resolution is reduced only for the specific partial area of the image pickup element and the remaining area of the sensitive area of the image pickup element can continue to be operated at maximum resolution.
Das erfindungsgemäße Verfahren dient bevorzugt zum Betrieb eines Kamerasystems, das in einem Fahrzeug angeordnet und als Lichtfeldkamera ausgebildet ist. Bei dem Kamerasystem handelt es sich insbesondere um ein Kamerasystem, das nach einer der vorangehend beschriebenen Ausgestaltungen ausgebildet ist. Im Rahmen des erfindungsgemäßen Verfahrens werden vorzugsweise mittels Bildverarbeitungseinrichtungen aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder generiert und mittels der Teilbilder Objektentfernungen bestimmt.The method according to the invention is preferably used to operate a camera system which is arranged in a vehicle and designed as a light field camera. The camera system is, in particular, a camera system that is designed according to one of the configurations described above. Within the scope of the method according to the invention, at least two partial images are preferably generated by means of image processing devices from an image captured by means of the camera system and object distances are determined by means of the partial images.
Gemäß einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens werden aus einem mittels des Kamerasystems erfassten Bild, der vom Kamerasystem beobachteten Szene, beispielsweise des in Fahrtrichtung vorausliegenden Fahrzeugumfeldes, wenigstens zwei Teilbilder mit abweichender Fokussierung generiert.According to a preferred embodiment of the method according to the invention, at least two partial images with different focusing are generated from an image captured by the camera system of the scene observed by the camera system, for example of the vehicle surroundings ahead in the direction of travel.
Gemäß einer weiteren bevorzugten Ausführung des erfindungsgemäßen Verfahrens erfolgt die Objektbestimmung derart, dass aus einem mittels des Kamerasystems erfassten Bild schrittweise Teilbilder mit abweichender Fokussierung generiert werden, bis ein Objekt, insbesondere ein Objekt zu dem eine Entfernung (Objektentfernung) bestimmt werden soll, in einem der Teilbilder bildscharf abgebildet ist. Hierbei kann insbesondere dasjenige Teilbild ermittelt werden, in dem die höchste Bildschärfe des Objektes gegenüber den restlichen generierten Teilbildern erreicht wird. Dabei kann jedem generierten Teilbild, d.h. jedem generierten Teilbild mit unterschiedlicher Fokussierung, eine Fokusebene im Bildraum bzw. auf der Bildseite des Abbildungssystems zugeordnet sein. Ist bekannt, bei welchem Teilbild die höchste Bildschärfe des Objekts, zu dem eine Entfernung bestimmt werde soll, erreicht wird, kann über Abbildungsgleichungen bzw. mittels Linsengleichung die Entfernung zum Objektberechnet werden.According to a further preferred embodiment of the method according to the invention, the object is determined in such a way that partial images with a different focus are gradually generated from an image captured by the camera system until an object, in particular an object to which a distance (object distance) is to be determined, in one of the Partial images is shown in sharp focus. In particular, that partial image can be determined in which the highest image sharpness of the object compared to the remaining generated partial images is achieved. A focal plane in the image space or on the image side of the imaging system can be assigned to each generated partial image, i.e. each generated partial image with different focussing. If it is known in which partial image the highest image sharpness of the object to which a distance is to be determined is achieved, the distance to the object can be calculated using imaging equations or lens equations.
Gemäß einer besonderen Ausführung des erfindungsgemäßen Verfahrens erfolgt die Bestimmung von Objektentfernungen derart, dass aus einem Vergleich der Unschärfe eines Objektes in den wenigstens zwei Teilbildern, insbesondere eines Objektes zu dem eine Entfernung (Objektentfernung) bestimmt werden soll, die Entfernung zu dem Objekt berechnet wird. Bei dem Vergleich handelt es sich beispielsweise um die Bestimmung der Differenz der Unschärfe eines Objektes in den wenigstens zwei Teilbildern.According to a particular embodiment of the method according to the invention, object distances are determined in such a way that the distance to the object is calculated from a comparison of the blurring of an object in the at least two partial images, in particular of an object to which a distance (object distance) is to be determined. The comparison involves, for example, determining the difference in the blurring of an object in the at least two partial images.
Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.Further advantages and optional configurations emerge from the description and the drawings. Exemplary embodiments are shown in simplified form in the drawings and explained in more detail in the description below.
Es zeigt
-
1 : eine erste Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die in der Fokusebene (Brennebene) des Abbildungssystems des Kamerasystems angeordnet ist und bei der die Mikrolinsen-Anordnung weiterhin im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements entfernt angeordnet ist. -
2 : eine zweite Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die nicht in der Fokusebene des Abbildungssystems des Kamerasystems angeordnet ist und bei der die Mikrolinsen-Anordnung nicht notwendigerweise im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements entfernt angeordnet ist. -
3 : eine dritte Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die nur vor einem Teilbereich des Bildaufnahmeelements des Kamerasystems angeordnet ist. -
4 : eine schematische Darstellung des Funktionsprinzips des erfindungsgemäßen Kamerasystems bzw. einer als Lichtfeldkamera ausgebildeten Fahrzeugkamera.
-
1 : a first embodiment of the camera system according to the invention with a microlens arrangement which is arranged in the focal plane (focal plane) of the imaging system of the camera system and in which the microlens arrangement is further arranged at a distance of a microlens focal length from the sensitive surface of the image pickup element. -
2 : a second embodiment of the camera system according to the invention with a microlens arrangement that is not in the The focal plane of the imaging system of the camera system is arranged and in which the microlens arrangement is not necessarily arranged at a distance of a microlens focal length from the sensitive surface of the image pickup element. -
3 : a third embodiment of the camera system according to the invention with a microlens arrangement which is arranged only in front of a partial area of the image recording element of the camera system. -
4th : a schematic representation of the functional principle of the camera system according to the invention or a vehicle camera designed as a light field camera.
Das Kamerasystem aus
In Ausgestaltung gemäß
In
Die
BezugszeichenlisteList of reference symbols
- 11
- WindschutzscheibeWindshield
- 22
- ErfassungswinkelDetection angle
- 33
- AbbildungssystemImaging system
- 3.13.1
- HauptlinseMain lens
- 3.23.2
- FeldlinseField lens
- 44th
- BildaufnahmeelementImage pickup element
- 55
- Erste LeiterplatteFirst circuit board
- 66th
- Zweite LeiterplatteSecond circuit board
- 77th
- Elektromagnetische StrahlungElectromagnetic radiation
- 88th
- Mikrolinsen-AnordnungMicrolens array
- 1010
- Teilbereich der sensitiven Fläche des BildaufnahmeelementsPart of the sensitive area of the image pickup element
- 1111th
- Optische AchseOptical axis
- 1212th
- Objektobject
- T1T1
-
Teilbild 1
Part 1 - T2T2
-
Teilbild 2
Partial image 2
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012105436.3A DE102012105436B4 (en) | 2012-06-22 | 2012-06-22 | Vehicle camera for distance measurement |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012105436.3A DE102012105436B4 (en) | 2012-06-22 | 2012-06-22 | Vehicle camera for distance measurement |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102012105436A1 DE102012105436A1 (en) | 2013-12-24 |
DE102012105436B4 true DE102012105436B4 (en) | 2021-12-16 |
Family
ID=49713661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102012105436.3A Active DE102012105436B4 (en) | 2012-06-22 | 2012-06-22 | Vehicle camera for distance measurement |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102012105436B4 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013222304A1 (en) * | 2013-11-04 | 2015-05-07 | Conti Temic Microelectronic Gmbh | Method for determining object distances with a camera installed in a motor vehicle |
AT515520B1 (en) * | 2014-05-08 | 2015-10-15 | Ait Austrian Inst Technology | Method for determining the distance of an imaged object |
DE102014115292A1 (en) * | 2014-10-21 | 2016-04-21 | Connaught Electronics Ltd. | Method for providing image files from a camera system, camera system and motor vehicle |
EP3110130A1 (en) * | 2015-06-25 | 2016-12-28 | Thomson Licensing | Plenoptic camera and method of controlling the same |
DE102015112682A1 (en) | 2015-08-03 | 2017-02-09 | Connaught Electronics Ltd. | Method for operating a camera system with a plenoptic camera, camera system and motor vehicle |
US10682955B1 (en) | 2018-12-03 | 2020-06-16 | Beijing Voyager Technology Co., Ltd. | Multicamera system for autonomous driving vehicles |
DE102019206360A1 (en) * | 2019-05-03 | 2020-11-05 | Audi Ag | Distance measuring device and method for determining distance data of an object by means of such a distance measuring device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005043411A1 (en) | 2005-09-13 | 2007-03-15 | Robert Bosch Gmbh | Low-cost stereo optics system |
DE102008062977A1 (en) | 2008-12-23 | 2010-06-24 | Adc Automotive Distance Control Systems Gmbh | Optical module with multifocal optics for the detection of distance and near range in one image |
WO2011093923A1 (en) | 2010-01-27 | 2011-08-04 | Zoran Corporation | Depth from defocus calibration |
WO2012056437A1 (en) | 2010-10-29 | 2012-05-03 | École Polytechnique Fédérale De Lausanne (Epfl) | Omnidirectional sensor array system |
-
2012
- 2012-06-22 DE DE102012105436.3A patent/DE102012105436B4/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005043411A1 (en) | 2005-09-13 | 2007-03-15 | Robert Bosch Gmbh | Low-cost stereo optics system |
DE102008062977A1 (en) | 2008-12-23 | 2010-06-24 | Adc Automotive Distance Control Systems Gmbh | Optical module with multifocal optics for the detection of distance and near range in one image |
WO2011093923A1 (en) | 2010-01-27 | 2011-08-04 | Zoran Corporation | Depth from defocus calibration |
WO2012056437A1 (en) | 2010-10-29 | 2012-05-03 | École Polytechnique Fédérale De Lausanne (Epfl) | Omnidirectional sensor array system |
Non-Patent Citations (1)
Title |
---|
Adelson, T., und Wang, J. Y. A. 1992 |
Also Published As
Publication number | Publication date |
---|---|
DE102012105436A1 (en) | 2013-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102012105436B4 (en) | Vehicle camera for distance measurement | |
EP3729137B1 (en) | Multi-pulse lidar system for multi-dimensional detection of objects | |
EP2835973B1 (en) | 3D camera and method for capturing of three-dimensional image data | |
WO2017032749A1 (en) | 3d multi-aperture imaging device | |
DE102016206493A1 (en) | Method and camera system for determining the distance of objects to a vehicle | |
DE102009012758A1 (en) | Device and method for detecting at least one object | |
WO2014015867A1 (en) | Method for aligning two image recording elements of a stereo camera system | |
EP4376404A2 (en) | Device for representing partial fields of view, multi-aperture representation device and method for providing same | |
DE102015107406A1 (en) | Camera for a motor vehicle with at least two light guides and an optical filter element, driver assistance system and motor vehicle | |
DE102012023060A1 (en) | Method for detecting moving object in surrounding region of motor vehicle e.g.passenger car, involves determining vector values within the respective interval values, such movable object is detected based on histogram | |
EP3900317A1 (en) | Device having a multi-aperture imaging device for generating a depth map | |
DE102012105435B4 (en) | Vehicle camera for distance measurement | |
DE102012105434B4 (en) | Camera system for a vehicle for acquiring image data from a plurality of distance ranges | |
EP3900318B1 (en) | Apparatus having a multi-aperture imaging apparatus for accumulating image information | |
EP3687155B1 (en) | Modular camera device and method for optical detection | |
DE102008006373B4 (en) | Velocity determination using two light sensor arrays | |
DE102020117060B4 (en) | Device and method for detecting the surroundings of a vehicle | |
DE102017219688A1 (en) | Method for calibrating a vehicle camera | |
DE112019006274B4 (en) | Synchronized camera system with two different cameras and method for controlling or synchronizing a first and a second camera of the camera system | |
DE102013200059B4 (en) | Device for recording an intermediate image and plenoptic camera generated by a main lens of a plenoptic camera | |
DE102017007590B4 (en) | Method and device for detecting three-dimensional objects based on the light-section method | |
DE102018215601B4 (en) | Arrangement of micromirrors, micromirror device, use of a micromirror device, imaging system, method and computer program product for expanding a sharpness range of the imaging system and/or for generating a depth image | |
DE102015101190A1 (en) | Method for determining an image depth value depending on an image area, camera system and motor vehicle | |
DE102014220558A1 (en) | IMAGING APPARATUS FOR A VEHICLE AND METHOD | |
EP4227636B1 (en) | Determination of depth values of a surface area of a workpiece |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: B60R0001100000 Ipc: B60R0001000000 |
|
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE |
|
R020 | Patent grant now final |