-
Die Erfindung betrifft ein Kamerasystem für ein Fahrzeug zur Erfassung von Bilddaten aus mindestens zwei Entfernungsbereichen und ein Verfahren zum Betreiben eines solchen Kamerasystems.
-
Fahrerassistenzsysteme in Kraftfahrzeugen verwenden häufig ein Kamerasystem zur Erkennung von Objekten im Umfeld des Fahrzeugs, beispielsweise in einem in Fahrtrichtung vorausliegenden Umgebungsbereich, d. h. in einem Fernbereich. Darüber hinaus wird mittlerweile bereits versucht derartige Kamerasysteme zur Erkennung des Zustandes einer Fahrzeugscheibe einzusetzen, d. h. zur Erfassung eines Nahbereichs. Kamerasysteme in Fahrzeugen sind in der Regel im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet und blicken in Fahrtrichtung durch diese hindurch. Beispiele hierfür sind Fahrzeugkameras mit Bildverarbeitungseinrichtungen zur Erkennung von Fahrbahnmarkierungen, Verkehrszeichen und/der anderer Verkehrsteilnehmer (Objekterkennung) sowie Nachtsichtkameras oder Stereokameras als optische Abstandssensoren.
-
Um gleichzeitig unterschiedliche Funktionen mit nur einer Kamera erfüllen zu können, insbesondere um gleichzeitig Bilddaten aus zwei oder mehr Entfernungsbereichen mittels eines Kamerasystems erfassen zu können, werden teilweise zusätzliche optische Elemente in den optischen Pfad, d. h. in den Strahlengang des in das Kamerasystem einfallenden Lichts bzw. der in das Kamerasystem einfallenden elektromagnetischen Strahlung, eingebracht. Die zusätzlichen optischen Elemente erlauben es, mit nur einem in der Kamera angeordneten Bildaufnahmeelement, z. B. einem CMOS- oder CCD-Bildchip, zeitgleich oder zeitlich versetzt, Bilddaten aus zwei oder mehr unterschiedlichen Entfernungsbereichen zu erfassen. Zum Stand der Technik gehören inzwischen verschiedene Kamerasysteme in Kraftfahrzeugen, die sowohl Fahrerassistenzfunktionen mit einer Objekterkennung in einem optischen Fernbereich (z. B. Verkehrszeichen-, Fahrspur-, Fußgänger- oder Lichtquellenerkennung) als auch Fahrerassistenzfunktionen mit einer Objekterkennung in einem optischen Nahbereich (z. B. Regenerkennung auf einer Windschutzscheibe) ermöglichen.
-
Die
DE 10 2008 062 977 A1 zeigt ein optisches Modul mit einem Halbleiterelement als Bildaufnahmeelement, umfassend eine für elektromagnetische Strahlung sensitive Fläche, und einem Objektiv zum Projizieren elektromagnetischer Strahlung auf die sensitive Fläche des Halbleiterelements. In einem definierten Teilvolumen im Raum zwischen dem Objektiv und der sensitiven Fläche des Halbleiterelements ist ein zusätzliches optisches Element angeordnet, so dass in einem ersten Bereich der sensitiven Fläche des Halbleiterelements ein erster Entfernungsbereich und in einem zweiten Bereich der sensitiven Fläche, vor dem sich das zusätzliche optische Element nicht befindet, ein zweiter Entfernungsbereich abgebildet wird. Weiterhin wird beschrieben, wie mit einem derartig ausgebildeten Kamerasystem eine Regenerkennung als Fahrerassistenzfunktion umgesetzt werden kann, nämlich indem die bifokale Optik genutzt wird, um gleichzeitig Strahlen aus einem Fernbereich und Strahlen aus einem Nahbereich an unterschiedlichen Stellen auf dem Halbleiterelement bildscharf (d. h. fokussiert) abzubilden. Im Falle der Regenerkennung als Fahrerassistenzfunktion handelt es sich bei dem Nahbereich um ein Teilbereich der Windschutzscheibe des Fahrzeugs.
-
Einen alternativen Ansatz zu bifokalen bzw. multifokalen Kamerasystemen zeigt die
US 6,320,176 B1 . Darin wird ein Kamerasystem beschrieben, das im Fahrzeuginnenraum hinter der Windschutzscheibe mit Blickrichtung durch die Windschutzscheibe hindurch angeordnet und ausschließlich auf einen Fernbereich fokussiert ist, d. h. auf Objektentfernungen im Fahrzeugumfeld. Mittels geeigneter Bildverarbeitung der mittels des Kamerasystems erfassten Bilddaten, insbesondere durch Erkennung von unscharfen Strukturen im Unschärfebereich der erfassten Bilder, d. h. im Nahbereich welcher nicht im Fokus der Kamera liegt, wird dabei auf Ablagerungen auf der Windschutzscheibe geschlossen.
-
Die aus dem Stand der Technik bekannten Kamerasysteme haben verschiedene Nachteile. Bei bifokalen Systemen muss der Bildbereich in der Regel entsprechend vergrößert werden, was neben vergrößerten Abmessungen und einem vergrößerten Sichttrichter des Kamerasystems auch zu einem vergrößerten Ausschnitt auf bzw. hinter der Windschutzscheibe führt. Dies wirkt Bestrebungen entgegen, Kamerasysteme für Fahrzeuge immer kleiner und kompakter zu gestalten. Bei Kamerasystemen, die auf einen Fernbereich fokussiert sind und bei denen Regentropfen oder andere Ablagerungen auf der Windschutzscheibe anhand partieller Unschärfen im Kamerabild erkannt werden, d. h. die ausschließlich mittels Bildverarbeitungsalgorithmen arbeiten, sind ferner Fehlentscheidungen sehr wahrscheinlich, da es schwierig ist zu entscheiden, ob Unschärfen im Kamerabild an der beobachteten Szene selbst liegen oder tatsächlich durch Ablagerungen auf der Scheibe verursacht werden.
-
Der Erfindung liegt demnach die Aufgabe zugrunde, ein Kamerasystem für ein Fahrzeug anzugeben, mittels dem fokussierte Bilddaten aus mehreren Entfernungsbereichen erfasst werden können und das möglichst kompakt ausgebildet ist. Das Kamerasystem soll dabei zur Erfassung eines Fernbereichs, z. B. zur Objekterkennung, und zur Erfassung eines Nahbereichs, insbesondere des Zustands einer Fahrzeugscheibe (Scheibenzustandserkennung), z. B. zur Regenerkennung auf der Windschutzscheibe, eingesetzt werden können, wobei die Erfassung des Nahbereichs und des Fernbereichs zuverlässig und mittels eines einzelnen Bildaufnahmeelements erfolgen kann.
-
Diese Aufgabe wird durch ein Kamerasystem mit den Merkmalen nach Anspruch 1 sowie durch Verfahren mit den Merkmalen nach Anspruch 2 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.
-
Aus dem Bereich der Bildaufnahmetechnik bzw. aus der digitalen Fotografie sind sogenannte Lichtfeldkameras bekannt. Diese werden auch als plenoptische Kameras bezeichnet. Das grundsätzliche Prinzip einer Lichtfeldkamera wird im Folgenden kurz beschrieben. Im Gegensatz zu konventionellen Kameras, bei welchen mit einem Abbildungssystem (z. B. ein Objektiv mit einer oder mehreren hintereinander angeordneten Linsen) und einem dahinter angeordneten Bildaufnahmeelement lediglich zweidimensionale Bilder bzw. 2-D-Bilddaten erfasst werden, ist es mit einer Lichtfeldkamera möglich, das sogenannte 4-D-Lichtfeld einer Szene zu erfassen. Dabei wird, neben der Position und der Intensität eines Lichtstrahls, auch die Richtung, aus welcher der Lichtstrahl auf das Bildaufnahmeelement fällt, ermittelt. Ermöglicht wird dies durch eine Mikrolinsen-Anordnung (Mikrolinsen-Array) zwischen dem Abbildungssystem und dem Bildaufnahmeelement. Bei der Mikrolinsen-Anordnung handelt es sich um ein Linsengitter, bestehend aus einer Vielzahl von in der Regel matrixförmig angeordneten Mikrolinsen. Das Linsengitter ist derart zwischen dem Abbildungssystem und dem Bildaufnahmeelement positioniert, z. B. in der hinteren Bildebene (Fokusebene, Brennebene) des Abbildungssystems, dass jeder Bildpunkt nochmals gebrochen und zu einem Kegel erweitert wird, welcher dann auf das Bildaufnahmeelement bzw. dessen sensitive Fläche trifft. Jeder Mikrolinse kann dabei eine Mehrzahl an lichtempfindlichen Zellen (Fotodioden bzw. Pixel) des Bildaufnahmeelements bzw. dessen sensitiver Fläche zugeordnet sein. Auf diese Weise bleibt die Information erhalten, aus welcher Richtung einzelne Lichtstrahlen in das Kamerasysteme eingefallen sind. Ein senkrecht auf eine Mikrolinse auftreffender Lichtstrahl landet im Mittelpunkt des Kreises bzw. der Ellipse, ein schräg eintreffender Lichtstrahl weiter am Rand. Das mittels einer Lichtfeldkamera erfasste Licht wird somit richtungsselektiv in separierbaren Einzelbildern auf dem Bildsensor erfasst. Durch geeignete Aneinanderreihung von Pixeln, insbesondere jeweils des gleichen Pixels unter jeder Mikrolinse, können aus einem so erfassten Bild einer beobachteten Szene mehrere Einzelbilder erzeugt werden, welche die beobachtete Szene aus unterschiedlichen, insbesondere leicht voneinander abweichenden, Betrachtungswinkeln (Blickwinkeln) abbilden. Derart können insbesondere zwei Einzelbilder einer beobachteten Szene erzeugt werden, die einen Versatz aufweisen, wie bei stereoskopischen Halbbildern, d. h. wie bei einem Bildpaar, dass mittels einer Stereokamera erfasst wurde. Die Anzahl der derart erzeugbaren Einzelbilder einer beobachteten Szene, ist gleich der Anzahl der Pixel unter jeder einzelnen Mikrolinse. Weiterhin können mittels geeigneter Bildverarbeitung, insbesondere durch geeignetes Aufsummieren der Einzelbilder, Bilder mit unterschiedlichem Fokus erzeugt werden. Dadurch ist es möglich die Schärfe eines mittels einer Lichtfeldkamera erfassten Bildes nachträglich neu zu berechnen und damit, wie bei einem richtigen Objektiv, den Fokus nachträglich zu ändern. Mit anderen Worten: Es können nach der Bildaufnahme durch Verarbeitung der erfassten Bild- bzw. der erfassten Pixeldaten verschiedene Schärfeebenen realisiert werden und mehrere Bilder mit unterschiedlichem Fokus erzeugt bzw. ausgegeben werden. Weiterhin können anhand des Versatzes der erzeugten Einzelbilder Tiefeninformationen der Objektszene (beobachteten Szene) extrahiert werden, insbesondere unter Verwendung einfacher optischer zusammenhänge, wie zum Beispiel der Abbildungsgleichung. Falls nur zwei Einzelbilder herangezogen werden ist diese Tiefeninformation im Vergleich zu Stereo-Kameras weniger genau aufgrund der typischerweise geringeren Baseline. Allerdings kann diese Genauigkeit gesteigert werden durch den Versatzvergleich und die Mittelung über mehrere Einzelbilder (alle Einzelbilder im Idealfall). Durch die Verfügbarkeit von Tiefeninformationen der Objektszene kann weiterhin eine dreidimensionale (3D) Darstellung der Objektszene errechnet werden. Details zum Prinzip von Lichtfeldkameras, d. h. Aufbaumöglichkeiten und die erforderliche Bildverarbeitung, sind in der Literatur bereits ausführlich beschrieben. Verwiesen sei hierzu insbesondere auf die Arbeiten von ADELSON und WANG (Adelson, T., und Wang, J. Y. A. 1992. Single lens stereo with a plenoptic camera. IEEE Transactions an Pattern Analysis and Machine Intelligence 14, 2 (Feb), 99–106) sowie auf eine Dissertation von NG (Ng, R. 2006. Digital Light Field Photography. Dissertation. Stanford University, July 2006) und auf eine Veröffentlichung von NG ET AL. zu diesem Thema (Ng, R., Levoy, M., Bredif, M., Duval, G., Horowitz, M., Hanrahan, P. 2005. Light Field Photography with a Hand-held Plenoptic Camera. Standford Tech Report CTSR 2005-02).
-
Aus der
DE 10 2009 013 112 A1 ist beispielsweise bereits ein Kamerasystem bekannt, das zur Erfassung von Bildern aus mindestens zwei Entfernungsbereichen als Lichtfeldkamera ausgebildet ist. Das Kamerasystem umfasst dabei ein Bildaufnahmeelement und ein Abbildungssystem, zur Projektion von elektromagnetischer Strahlung auf die sensitive Fläche des Bildaufnahmeelements. Das Kamerasystem umfasst weiterhin eine Mikrolinsen-Anordnung, welche derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung angeordnet ist, dass das Kamerasystem als Lichtfeldkamera ausgebildet ist.
-
Ein weiteres Kamerasystem, welches ebenfalls bereits das Prinzip der Lichtfeldkamera ausnutzt, offenbart die
EP 1 764 835 A1 . Dabei wird eine Ausgestaltung eines solchen Kamerasystems vorgeschlagen, bei welcher eine Mikrolinsenanordnung derart vor einem bestimmten Teilbereich des sensitiven Fläche des Bildaufnahmeelements angeordnet ist, dass Unterschiede betreffend die vertikale und horizontale Bildauflösung des zu erfassenden Sichtfelds und des auf dem Bildaufnahmeelement zur Verfügung stehenden Teilbereichs mittels geeigneter Bilddatenverarbeitung ausgeglichen werden können.
-
Ein wesentlicher Gedanke der Erfindung besteht nun darin, das Prinzip der Lichtfeldkamera für ein Kamerasystem im Automobilbereich anzuwenden, insbesondere für ein Kamerasystem bei dem mehrere unterschiedliche Entfernungsbereiche mittels eines einzelnen Bildaufnahmeelements erfasst werden sollen. Hierdurch ist es möglich mit einem einzelnen Kamerasystem bzw. mit nur einem Bildaufnahmeelement mehrere Entfernungsbereiche zu erfassen und für unterschiedliche Fahrerassistenzfunktionen auszuwerten. Es ist insbesondere nichtmehr erforderlich das Kamerasystem vorab, z. B. bei dessen Fertigung oder beim Einbau im Fahrzeug, auf einen oder mehrere fest definierte Entfernungsbereich zu fokussieren und/oder zusätzliche optische Elemente in den Strahlengang einzubringen. Vielmehr ist es möglich, Bilddaten zu erfassen, beispielsweise aus einem Vorausbereich vor dem Fahrzeug, und anschließend einzelne scharfe (fokussierte) Abbildungen mehrerer unterschiedlicher Entfernungsbereiche für eine oder mehrere Fahrerassistenzfunktionen aus den erfassten Bilddaten zu berechnen bzw. zu generieren. Dies geht insbesondere einher mit einer Verringerung der Abmessungen und des erforderlichen Einbauraums für ein solches Kamerasystem sowie mit einer Erhöhung der Flexibilität, was die Einsatzmöglichkeiten des Kamerasystems betrifft. Ein weiterer Vorteil des erfindungsgemäßen Kamerasystems liegt darin, dass die maximale Schärfentiefe des Kamerasystems sehr hoch ist und kein Fokussierungsvorgang abgewartet werden muss. Aus den Bilddaten lassen sich auch Tiefeninformationen ermitteln, so dass das Kamerasystem auch als 3D-Kamera geeignet ist.
-
Das erfindungsgemäße Kamerasystem ist nach dem Prinzip der Lichtfeldkamera ausgebildet und kommt insbesondere in einem Fahrzeug zum Einsatz. Das Kamerasystem kann beispielsweise im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet sein, mit Blickrichtung durch die Scheibe hindurch in die Fahrzeugumgebung. Das Kamerasystem dient dabei zur Erfassung von Bilddaten aus mindestens zwei Entfernungsbereichen, insbesondere zur zeitgleichen oder zeitlich versetzten Erfassung unterschiedlicher optischer Entfernungsbereiche in Blickrichtung des Kamerasystems. Das erfindungsgemäße Kamerasystem ist bevorzugt zur Erfassung von genau zwei definierten Entfernungsbereichen ausgebildet, wobei es sich insbesondere um einen optischen Nahbereich, z. B. eine Scheibenoberfläche, und einen optischen Fernbereich, z. B. ein in Fahrtrichtung des Fahrzeugs vorausliegender Umgebungsbereich, handelt. Es können darüber hinaus weitere Funktionen, z. B. eine oder mehrere Fahrerassistenzfunktionen, mittels des Kamerasystems umgesetzt werden.
-
Das erfindungsgemäße Kamerasystem umfasst wenigstens ein Bildaufnahmeelement mit einer für elektromagnetische Strahlung sensitiven Fläche, beispielsweise ein CMOS- oder CCD-Bildchip. Das Kamerasystem umfasst weiterhin zumindest ein Abbildungssystem, z. B. mit einer oder mehreren Linsen. Das Abbildungssystem dient insbesondere zur Projektion von elektromagnetischer Strahlung auf die sensitive Fläche des Bildaufnahmeelements. Bei dem Abbildungssystem kann es sich somit um ein Objektiv des Kamerasystems handeln.
-
Das erfindungsgemäße Kamerasystem umfasst im Weiteren wenigstens eine Mikrolinsen-Anordnung, vorzugsweise ein Linsengitter mit einer Vielzahl matrixförmig angeordneter Mikrolinsen. Die Mikrolinsen-Anordnung dient zur Ausgestaltung des Kamerasystems nach dem Prinzip einer Lichtfeldkamera, insbesondere zur Erfassung des 4-D-Lichtfelds der mittels des Kamerasystems beobachteten Szene. Die Mikrolinsen-Anordnung dient insbesondere zur Erfassung der Richtungen, aus denen Lichtstrahlen aus der beobachteten Szene in das Kamerasystem einfallen. Jeder Mikrolinse der Mikrolinsen-Anordnung ist hierzu bevorzugt ein bestimmter Bereich der sensitiven Fläche des Bildaufnahmeelements zugeordnet, d. h. jede Mikrolinse projiziert elektromagnetische Strahlung auf eine definierte Anzahl bzw. einen definierten Bereich an lichtempfindlichen Zellen des Bildaufnahmeelements. Die Mikrolinsen-Anordnung ist weiterhin vorzugsweise derart ausgebildet und vor dem Bildaufnahmeelement angeordneten, dass die Bereiche der sensitiven Fläche des Bildaufnahmeelements, welche den einzelnen Mikrolinsen zugeordnet sind, sich nicht überlappen und/oder möglichst groß sind.
-
Das erfindungsgemäße Kamerasystem ist erfindungsgemäß derart ausgestaltet bzw. die Mikrolinsen-Anordnung ist derart angeordnet, dass nur ein Teil der sensitiven Fläche des Bildaufnahmeelements nach dem Prinzip der Lichtfeldkamera ausgebildet ist.
-
Mittels Bildverarbeitungseinrichtungen, welche Bestandteil des erfindungsgemäßen Kamerasystems sind, werden die mittels des Bildaufnahmeelements erfassten Bilddaten dabei derart verarbeitet, dass aus den Bilddaten bildscharfe, d. h. fokussierte, Abbildungen für mehrere unterschiedliche optische Entfernungsbereiche berechnet und für unterschiedliche Fahrerassistenzfunktionen ausgewertet werden. Bei den Abbildungen handelt es dabei um Teilbilder mit unterschiedlicher Fokussierung, d. h. um zwei einzelne Bilder, die aus einem mittels des Kamerasystems erfassten Bild der beobachteten Szene generiert werden und welche unterschiedliche Objektentfernungen fokussiert abbilden. Die Erzeugung von Teilbildern mit unterschiedlicher Fokussierung mittels einer Lichtfeldkamera ist aus dem Stand der Technik, insbesondere aus den einleitend genannten Veröffentlichungen grundsätzlich bekannt. Die Generierung der Teilbilder mit abweichender Fokussierung erfolgt beispielsweise derart, dass zunächst Pixel mit identischer Position unterhalb jeder Mikrolinse herangezogen werden und nach dem Matrixmuster der Mikrolinsenanordnung neu angeordnet werden, d. h. insbesondere nach dem Matrixmuster der Mikrolinsenanordnung aneinandergereiht werden. Dadurch entstehen eine Vielzahl an separaten Bildern, deren größtmögliche Anzahl durch die Anzahl der Pixel unter jeder Mikrolinse gegeben ist und welche die beobachtete Szene mit abweichenden Blickwinkel darstellen, d. h. die jeweils einen leichten Versatz aufweisen. Die Anzahl der Bildpixel (Auflösung) der so separierbaren Bilder ist durch die Anzahl der Mikrolinsen in der Mikrolinsenanordnung gegeben. In einem weiteren Schritt können aus den separierten Bildern, die einen Versatz aufweisen, mittels geeigneter Bildverarbeitungseinrichtungen bzw. mittels geeigneter Bildverarbeitungsalgorithmen die Teilbilder mit abweichender Fokussierung erzeugt werden, insbesondere durch aufsummieren mehrerer der separierten Bilder mit Versatz.
-
Erfindungsgemäß ist das Abbildungssystem des Kamerasystems (und damit das Kamerasystem) auf einen Fernbereich fokussiert. Die Mikrolinsen-Anordnung ist dabei derart zwischen dem Abbildungssystem und dem Bildaufnahmeelement angeordnet, dass die vom Abbildungssystem auf die sensitive Fläche des Bildaufnahmeelements projizierte elektromagnetische Strahlung mittels des Bildaufnahmeelements richtungsselektiv erfasst wird. Damit können neben einer bildscharfen Abbildung des Fernbereichs zusätzlich bildscharfe Abbildungen eines oder mehrerer weiterer Entfernungsbereiche aus den mittels des Bildaufnahmeelements erfassten Bilddaten nach dem Lichtfeldkamera-Prinzip berechnet und ausgewertet werden können.
-
Wie vorangehend bereits beschrieben, ist das erfindungsgemäße Kamerasystem vorzugsweise hinter einer Windschutzscheibe eines Fahrzeugs angeordnet, sowie vorzugsweise mit Blickrichtung durch die Windschutzscheibe hindurch. Dadurch kann insbesondere ein Fernbereich vor dem Fahrzeug, als erster optischer Entfernungsbereich, und die Windschutzscheibe selbst bzw. eine Oberfläche der Windschutzscheibe, als zweiter optischer Entfernungsbereich, mittels es Kamerasystems erfasst werden.
-
Wie ebenfalls vorangehend bereits beschrieben, ist die Mikrolinsen-Anordnung erfindungsgemäß nur vor einem bestimmten Teilbereich der sensitiven Fläche des Bildaufnahmeelements angeordnet. Die Mikrolinsen-Anordnung ist dabei insbesondere nur in einem bestimmten Bereich des Querschnitts, der mittels des Abbildungssystems auf das Bildaufnahmeelement projizierten elektromagnetischen Strahlung angeordnet. Dadurch wird nur für den entsprechenden Anteil der auf die sensitive Fläche des Bildaufnahmeelements auftreffenden elektromagnetischen Strahlung das 4-D-Lichtfeld erfasst. Dabei wird nur ein bestimmter Teilbereich der sensitiven Fläche des Bildaufnahmeelements zur Erfassung von Bilddaten aus mehreren optischen Entfernungsbereichen mittels des Prinzips der Lichtfeldkamera genutzt. Für bestimmte Fahrerassistenzfunktionen, insbesondere für die Regen- bzw. Scheibenzustandserkennung, ist kein besonders großer Erfassungsbereich auf der Fahrzeugscheibe bzw. auf dem Bildaufnahmeelement erforderlich. Insbesondere für die Erkennung von Regen oder anderen Ablagerungen auf einer Fahrzeugscheibe ist zudem keine besonders hohe Auflösung (Bildauflösung) der erfassten Bilddaten erforderlich. Somit kann durch die erfindungsgemäße Ausgestaltung, bei welcher nur ein Teilbereich des Bildaufnahmeelements nach dem Lichtfeldkamera-Prinzip ausgebildet ist, der Verlust an Auflösungsvermögen des Kamerasystems, welcher mit der Umsetzung des Lichtfeldkamera-Prinzips einhergeht, möglichst gering gehalten werden. Denn der restliche Bereich des Bildaufnahmeelements, der sich nicht hinter der Mikrolinsen-Anordnung befindet, kann weiterhin bei maximaler Auflösung betrieben werden.
-
Wie weiterhin vorangehend bereits beschrieben ist das Abbildungssystem erfindungsgemäß auf einen optischen Fernbereich fokussiert, beispielsweise auf eine Objektentfernung größer/gleich (≥) 10 m oder auf eine Objektentfernung von quasi Unendlich. Das Bildaufnahmeelement bzw. dessen sensitive Fläche ist dabei direkt in der Fokusebene des Abbildungssystems angeordnet, so dass der Fernbereich bildscharf auf der sensitiven Fläche des Bildaufnahmeelements abgebildet wird und mittels des Kamerasystems ein Fernbereich als erster Entfernungsbereich erfassbar ist. Die Mikrolinsen-Anordnung ist weiterhin derart zwischen dem Abbildungssystem und dem Bildaufnahmeelement in nur einem bestimmten Teilbereich des Querschnitts des Strahlengangs der vom Abbildungssystem projizierten elektromagnetischen Strahlung angeordnet, insbesondere nur vor einem bestimmten Teilbereich der sensitiven Fläche des Bildaufnahmeelements, so dass mittels des bestimmten Teilbereichs der sensitiven Fläche des Bildaufnahmeelements einer oder mehrere Nahbereiche erfassbar sind. Der bestimmte Teilbereich ist somit nach dem Prinzip einer Lichtfeldkamera ausgebildet, so dass vom Abbildungssystem projizierte elektromagnetische Strahlung mittels des Teilbereichs richtungsselektiv erfasst wird. Somit können aus den mittels des Teilbereichs erfassten Bilddaten Abbildungen, insbesondere aus zwei oder mehr optischen Nahbereichen, generiert werden, beispielsweise mit Objektentfernungen < 10 m, d. h. optische Entfernungsbereiche, die vom Fernbereich, auf den das Abbildungssystem fokussiert ist, abweichen. Damit kann mittels des bestimmten Teilbereichs beispielsweise eine Regenerkennung auf der Windschutzscheibe und/oder eine Objekterkennung im Nahbereich realisiert werden. Die Mikrolinsen-Anordnung ist dabei bevorzugt vor einem oberen Bereich der sensitiven Fläche des Bildaufnahmeelements angeordnet, d. h. vor einem ausgewählten Bereich oberhalb der optischen Achse des Kamerasystems. Hierdurch kann eine Abbildung eines Nahbereichs erfolgen, der sich in Blickrichtung des Kamerasystems im Bereich unterhalb der optischen Achse befinden. Dieser Bereich ist, insbesondere für eine Objekterkennung im Nahbereich, besonders relevant.
-
Das erfindungsgemäße Verfahren dient bevorzugt zum Betrieb des erfindungsgemäßen Kamerasystems, insbesondere zum Betreiben eines Kamerasystems nach einem der vorangehend beschriebenen Ausgestaltungen bzw. eines Kamerasystems in einem Fahrzeug, das mittels einer Mikrolinsenanordnung als Lichtfeldkamera ausgebildet ist, wobei das Kamerasystem derart ausgestaltet ist, dass das Abbildungssystem des Kamerasystem auf einen Fernbereich fokussiert und das Bildaufnahmeelement in der Fokusebene des Abbildungssystems angeordnet ist, so dass mittels des Kamerasystems ein Fernbereich als erster Entfernungsbereich erfassbar ist, wobei die Mikrolinsen-Anordnung derart nur in einem bestimmten Teilbereich des Querschnitts des Strahlengangs der elektromagnetischen Strahlung bzw. nur vor einem bestimmten Teilbereich der sensitiven Fläche des Bildaufnahmeelements angeordnet ist, so dass mittels des bestimmten Teilbereichs einer oder mehrere optische Nahbereiche erfassbar sind. Das erfindungsgemäße Verfahren kann beispielsweise in Form von Bildverarbeitungsalgorithmen und Software in Bildverarbeitungseinrichtungen des Kamerasystems und/oder in Bildverarbeitungseinrichtungen von einem oder mehreren Fahrerassistenzsystemen realisiert sein.
-
Im Rahmen des erfindungsgemäßen Verfahrens werden mittels Bildverarbeitungseinrichtungen aus den mittels des Teilbereichs der sensitiven Fläche des Bildaufnahmeelements erfassten Bilddaten vor dem die Mikrolinsen-Anordnung angeordnet ist, ausschließlich, in regelmäßigen Abständen oder bei Bedarf bzw. auf Anforderung, Nahbereichsabbildungen berechnet und beispielsweise für wenigstens eine Fahrerassistenzfunktion ausgewertet. Der Teilbereich, vor dem die Mikrolinsen-Anordnung angeordnet ist, weist aufgrund der Ausgestaltung nach dem Prinzip der Lichtfeldkamera bekanntermaßen ein geringeres Auflösungsvermögen auf, als der restliche Bereich der sensitiven Fläche des Bildaufnahmeelements. Der Teilbereich mit reduzierter Auflösung wird jedoch ebenfalls zur Abbildung desselben Entfernungsbereichs verwendet, wie der restliche Bereich des Bildaufnahmeelements mit maximaler Auflösung, und nur bei Bedarf bzw. auf Anforderung oder in definierten Zeitabständen zur Abbildung eines vom Fokusbereich des Abbildungssystem abweichenden Entfernungsbereich eingesetzt werden, insbesondere eines Nahbereichs.
-
Im Rahmen des erfindungsgemäßen Verfahrens werden somit mittels Bildverarbeitungseinrichtung aus den Bilddaten, die mittels der gesamten sensitiven Fläche des Bildaufnahmeelements oder zumindest mittels des Bereichs der sensitiven Fläche des Bildaufnahmeelements, vor dem die Mikrolinsen-Anordnung nicht angeordnet ist, erfasst werden, Abbildungen wenigstens eines optischen Fernbereichs generiert, und mittels Bilderarbeitungseinrichtung aus den Bilddaten, die mittels des Teilbereichs der sensitiven Fläche des Bildaufnahmeelements erfasst werden, vor dem die Mikrolinsen-Anordnung angeordnet ist, Abbildungen aus wenigstens einem optischen Nahbereich generiert. Dadurch kann primär ein optischer Fernbereich mittels des Kamerasystems erfasst und für eine oder mehrere Fahrerassistenzfunktionen genutzt werden. Weiterhin kann der Bereich des Bildaufnahmeelements, vor dem die Mikrolinsenanordnung angeordnet ist, zur Erfassung von Bildern aus einem oder mehreren optischen Nahbereichen genutzt werden, beispielsweise zur Regenerkennung auf der Windschutzscheibe und/oder zur Objekterkennung im Nahbereich, d. h. in optischen Nahbereichen, die kleiner sind, als der primär erfasste Fernbereich.
-
Gemäß einer bevorzugten Ausführung des erfindungsgemäße Verfahrens werden die Fernbereichsabbildungen für eine Objekterkennung als Fahrerassistenzfunktion und die Nahbereichsabbildungen für eine Scheibenzustandserkennung als Fahrerassistenzfunktion ausgewertet werden.
-
Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.
-
Es zeigt
-
1: ein Kamerasystem mit einer Mikrolinsen-Anordnung, die in der Fokusebene (Brennebene) des Abbildungssystems des Kamerasystems angeordnet ist und bei der die Mikrolinsen-Anordnung weiterhin im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements entfernt angeordnet ist.
-
2: ein Kamerasystem mit einer Mikrolinsen-Anordnung, die nicht in der Fokusebene des Abbildungssystems des Kamerasystems angeordnet ist und bei der die Mikrolinsen-Anordnung nicht notwendigerweise im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements entfernt angeordnet ist.
-
3: eine Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die nur vor einem Teilbereich des Bildaufnahmeelements des Kamerasystems angeordnet ist.
-
4: eine schematische Darstellung des Funktionsprinzips des erfindungsgemäßen Kamerasystems bzw. einer als Lichtfeldkamera ausgebildeten Fahrzeugkamera.
-
1 zeigt eine schematische Darstellung eines Kamerasystems, das als Lichtfeldkamera ausgestaltet ist. Das Kamerasystem ist dabei hinter der Windschutzscheibe 1 eines Fahrzeugs angeordnet, mit Blickrichtung bzw. Erfassungswinkel 2 durch die Windschutzscheibe 1 hindurch, beispielsweise in Fahrtrichtung des Fahrzeugs. Das Kamerasystem umfasst ein Abbildungssystem 3, in diesem Fall ein Objektiv, in dem eine oder mehrere Linsen angeordnet sein können, sowie ein Bildaufnahmeelement 4, das auf einer ersten Leiterplatte 5 angeordnet ist. Das Kamerasystem umfasst weiterhin eine zweite Leiterplatte 6, die elektrisch mit der ersten Leiterplatte 5 verbunden ist und auf der beispielsweise Bildverarbeitungseinrichtungen angeordnet sein können. Das Abbildungssystem 3 dient zur Projektion von elektromagnetischer Strahlung 7 auf eine für elektromagnetische Strahlung sensitive Fläche des Bildaufnahmeelements 4. Im vorliegenden Beispiel ist das Abbildungssystem 3 bzw. das Kamerasystem auf einen in Fahrtrichtung des Fahrzeugs vorausliegenden Fernbereich fokussiert, beispielsweise auf eine Entfernung von 2 m, 5 m oder 10 m. Das Abbildungssystem 3 kann auch auf quasi unendlich fokussiert sein, d. h. auf Objektentfernungen z. B. größer als 2 m, 5 m oder 10 m. Hierdurch können mittels des Kamerasystems eine oder mehrere Fahrerassistenzfunktionen umgesetzt werden, beispielsweise eine Objekterkennung (z. B. Verkehrszeichen, Hindernisse, Fahrspurmarkierungen, Folgeobjekte). Das Kamerasystem aus 1 ist zur Erfassung von Bilddaten aus mindestens einem weiteren Entfernungsbereich ausgebildet. Hierzu umfasst das Kamerasystem eine Mikrolinsen-Anordnung 8, welche derart ausgebildet und im Strahlengang der vom Abbildungssystem 3 projizierten elektromagnetischen Strahlung 7 angeordnet ist, dass das Kamerasystem als Lichtfeldkamera ausgebildet ist. Die Mikrolinsen-Anordnung 8 ist im vorliegenden Beispiel als Linsengitter mit einer Vielzahl matrixförmig angeordneter Mikrolinsen ausgebildet, d. h. mit einer Vielzahl in Spalten und Zeilen bzw. gitterförmig nebeneinander angeordneten Mikrolinsen. Die Mikrolinsen-Anordnung 8 dient zur Umsetzung des einleitend beschriebenen und aus dem Stand der Technik bekannten Prinzips der Lichtfeldkamera. Jeder Mikrolinse der Mikrolinsen-Anordnung 8 ist dabei bevorzugt ein bestimmter Bereich der sensitiven Fläche des Bildaufnahmeelements 4 zugeordnet, d. h. jede Mikrolinse projiziert elektromagnetische Strahlung 7 auf eine definierte Anzahl an lichtempfindlichen Zellen des Bildaufnahmeelements 4. Die Mikrolinsen-Anordnung 8 ist weiterhin vorzugsweise derart zwischen dem Abbildungssystem 3 und dem Bildaufnahmeelement 4 angeordneten, dass sich die Bereiche, welche den einzelnen Mikrolinsen zugeordnet sind, nicht überlappen, gleichzeitig aber möglichst groß ausfallen. In Ausgestaltung gemäß 1 ist die Mikrolinsen-Anordnung 8 in der Fokusebene bzw. in der (hinteren) Bildebene des Abbildungssystems 3 angeordnet, d. h. in der Brennebene in der mittels des Abbildungssystems 3 eine bildscharfe Abbildung des Fernbereichs erzeugt wird. Weiterhin befindet sich die Mikrolinsen-Anordnung 8 im Abstand einer Mikrolinsenbrennweite von der sensitiven Fläche des Bildaufnahmeelements 4, d. h. die sensitive Fläche des Bildaufnahmeelements 4 befindet sich in der Ebene, welche durch die Brennpunkte der Mikrolinsen aufgespannt wird. Dabei wird jeder Bildpunkt der bildscharfen Abbildung des Fernbereichs, auf den das Abbildungssystem 3 (und damit das Kamerasystem) fokussiert ist, von der Mikrolinsen-Anordnung 8 nochmals gebrochen und zu einem Kegel erweitert, welcher dann insbesondere kreisförmig auf das Bildaufnahmeelement 4 bzw. dessen sensitive Fläche trifft. Hierdurch kann mittels des Bildaufnahmeelements 4 neben der Intensität und Position auch die Richtung, aus welcher die elektromagnetische Strahlung 7 in das Kamerasystems einfällt, und damit das sogenannte 4-D-Lichtfeld der beobachteten Szene erfasst werden. Mittels geeigneter Bildverarbeitungseinrichtungen bzw. Bildverarbeitungsalgorithmen können aus einem so erfassten Bild, einer beobachteten Szene, eine Vielzahl an einzelnen Bildern mit Versatz generiert werden, d. h. separierte Bilder, welche die beobachtete Szene aus unterschiedlichen Betrachtungswinkel abbilden. Aus den so separierten Bildern, dessen größtmögliche Anzahl durch die Anzahl an Pixeln unter jeder Mikrolinse begrenzt ist, können weiterhin durch geeignetes Aufsummieren bzw. Zusammenrechnen der separierten Bilder, eine Vielzahl an Teilbildern mit abweichender Fokussierung erzeugt werden, d. h. Teilbilder, die auf eine unterschiedliche Objektentfernung fokussiert sind. Teilbilder mit abweichender Fokussierung können alternativ auch durch Rechenmethoden im reziproken Bildraum (Fourier-Raum) erstellt werden. Mittels des Kamerasystems gemäß 1 ist es somit möglich, neben der fokussierten Abbildung des Fernbereichs, die Schärfe des erfassten Bildes nachträglich neu zu berechnen und damit fokussierte Abbildungen weiterer Entfernungsbereiche zu generieren. Bevorzugt wird dabei neben dem Fernbereich, als erster Entfernungsbereich, wenigstens ein zweiter Entfernungsbereich erfasst, d. h. es wird eine fokussierte Abbildung eines zweiten Entfernungsbereichs aus den mittels des Bildaufnahmeelements 4 erfassten Bilddaten erzeugt. Bei dem zweiten Entfernungsbereich handelt es sich vorzugsweise um die Oberfläche der Windschutzscheibe 1, insbesondere zur Erkennung von Regen 9 und/oder anderen Ablagerungen auf der Außenseite der Windschutzscheibe 1. Mittels des Kamerasystems kann so auf einfache Weise eine zweite Fahrerassistenzfunktion erfüllt werden, insbesondere eine Scheibenzustandserkennung.
-
2 zeigt eine schematische Darstellung eines weiteren Kamerasystems, das als Lichtfeldkamera ausgestaltet ist. Das Kamerasystem aus 2 ist dabei in weiten Teilen entsprechend der Beschreibung zu 1 ausgebildet. Im Gegensatz zu 1 ist in 2 die Mikrolinsen-Anordnung 8 nicht in der Fokusebene bzw. Brennebene des Abbildungssystems 3 angeordnet. Die Mikrolinsen-Anordnung 8 ist senkrecht zur optischen Achse 11 des Abbildungssystems 3 angeordnet, wobei die ersten Brennpunkte der einzelnen Mikrolinsen in der Brennebene des Abbildungssystems 3 liegen können. Das Bildaufnahmeelement 4 ist gemäß 2 ebenfalls senkrecht zur optischen Achse 11 des Abbildungssystems 3 in einer beliebigen Ebene hinter der Mikrolinsen-Anordnung angeordnet. Das Bildaufnahmeelement 4 kann dabei beispielsweise auch in der Ebene angeordnet sein, die durch die zweiten Brennpunkte der einzelnen Mikrolinsen aufgespannt wird.
-
3 zeigt eine schematische Darstellung einer bevorzugten Ausgestaltung des erfindungsgemäßen Kamerasystems. Das Kamerasystem aus 3 ist dabei in weiten Teilen entsprechend der Beschreibung zu 1 und 2 ausgebildet. Im Gegensatz zu 1 und 2 ist die Mikrolinsen-Anordnung 8 im Kamerasystem gemäß 3 nur vor einem bestimmten Teilbereich 10 der sensitiven Fläche des Bildaufnahmeelements 4 angeordnet ist, so dass nur der bestimmte Teilbereich 10 der sensitiven Fläche des Bildaufnahmeelements 4 nach dem Prinzip der Lichtfeldkamera ausgebildet ist. Die Mikrolinsen-Anordnung 8 ist dabei nur in einem bestimmten Bereich des Querschnitts, der mittels des Abbildungssystems 3 projizierten elektromagnetischen Strahlung 7, angeordnet. Das Kamerasystem aus 3 ist über das Abbildungssystem 3 primär auf einen optischen Fernbereich fokussiert, beispielsweise auf Objektentfernungen < 10 m oder auf quasi-unendlich. Das Bildaufnahmeelement 4 bzw. dessen sensitive Fläche ist dazu vorzugsweise direkt in der Fokusebene des Abbildungssystems 3 angeordnet. Bei einer Ausgestaltung des erfindungsgemäßen Kamerasystems entsprechend 3 wird das Prinzip der Lichtfeldkamera nur partiell angewendet, wodurch die Auflösung nicht im kompletten Bereich des Bildaufnahmeelements 4 reduziert wird. Das Bildaufnahmeelement 4 bzw. dessen sensitive Fläche wird vielmehr in zwei Bereiche aufgeteilt. Ein Teilbereich 10 der sensitiven Fläche des Bildaufnahmeelements 4 ist als Lichtfeldkamera ausgelegt und in diesem Bereich 10 können nach dem Prinzip der Lichtfeldkamera mehrere Schärfebereiche (Bildschärfebereiche) realisiert werden. Der restliche Bereich des Bildaufnahmeelements 4 ist als ”normale” Kamera mit nur einem Schärfebereich ausgelegt und über das Abbildungssystem 3 insbesondere auf einen Fernbereich fokussiert ist. Der Fernbereich kann dabei auch über den gesamten Bereich des Bildaufnahmeelements 4 abgebildet werden, im Lichtfeldkamera-Bereich 10 allerdings nur in reduzierter Auflösung. Ein Vorteil dieser Lösung besteht darin, dass der Bereich 10 der sensitiven Fläche des Bildaufnahmeelements 4, der nach dem Prinzip der Lichtfeldkamera ausgebildet ist, zur Abbildungen unterschiedlicher Entfernungsbereiche genutzt werden kann. Es ist beispielsweise möglich, einen oder mehrere Nahbereiche mittels des Teilbereichs 10 bildscharf zu erfassen, die vom Fernbereich, auf den das Kamerasystems über das Abbildungssystem 3 fokussiert ist, abweichen. Der Bereich 10 kann beispielsweise zur Regenerkennung auf der Windschutzscheibe 1 und/oder zur Objekterfassung im Nahbereich, z. B. mit Objektentfernungen < 10 m, genutzt werden. Der Teilbereich 10 der sensitiven Fläche des Bildaufnahmeelements 4 lässt sich bei Ausgestaltung gemäß 3 insbesondere flexibel bzw. variabel zur bildscharfen Erfassungen mehrerer optischer Nahbereiche einsetzen, die vom Fernbereich, auf den das Kamerasystem über das Abbildungssystem fokussiert ist, abweichen. Ein weiterer wesentlicher Vorteil besteht darin, dass die Berechnung eines scharfen Abbilds aus dem einen oder den mehreren Nahbereichen nur auf einen kleinen Ausschnitt 10 beschränkt ist und somit der erforderliche Rechenaufwand klein gehalten werden kann.
-
In 4 ist das Funktionsprinzip einer Lichtfeldkamera schematisch dargestellt, insbesondere wie elektromagnetische Strahlung 7 richtungsselektiv auf einem Bildaufnahmeelement 4 erfasst wird, und wie aus einem so erfassten Bild einer beobachteten Szene, in diesem Fall mit einem abgebildeten Objekt 12, eine Vielzahl an Einzelbildern T1, T2 mit Versatz generiert werden können, d. h. insbesondere Einzelbilder T1, T2 mit unterschiedlichem Betrachtungswinkel auf das Objekt 12 bzw. allgemein auf die beobachtete Szene. Das Abbildungssystem 3 umfasst in diesem Fall zwei Linsen, eine Hauptlinse 3.1 und eine Feldlinse 3.2. Die Einzelbilder T1 und T2 können mittels geeigneter Bildverarbeitungsverfahren generiert werden, insbesondere durch Aneinanderreihung jeweils der gleichen Pixel des Bildaufnahmeelements 4 unter jeder Mikrolinse der Mikrolinsen-Anordnung 8. Durch geeignetes Aufsummieren von so erzeugten Einzelbildern T1, T2 lassen sich in einem weiteren Bildverarbeitungsschritt Teilbilder mit unterschiedlicher Fokussierung generieren, d. h. Bilder der beobachteten Szene die auf unterschiedliche Objektentfernungen fokussiert. Die hierfür erforderlichen Bildverarbeitungsalgorithmen sind prinzipiell bekannt, insbesondere aus den einleitend genannten Veröffentlichungen.
-
Die 1 bis 4 zeigen jeweils nur schematisch, wie bekannte Kamerasysteme und wie das erfindungsgemäße Kamerasystem als Lichtfeldkamerasysteme ausgebildet sein können. Die Darstellungen sind zur besseren Anschaulichkeit stark vereinfacht, insbesondere zur Darstellung der Funktionsweise des erfindungsgemäßen Kamerasystems nach dem Prinzip einer Lichtfeldkamera. Die Maßstäbe und Abstände der Elemente bzw. Bestandteile des Kamerasystems können von der Darstellung abweichen, insbesondere kann die Mikrolinsen-Anordnung 8 auch direkt über dem Bildaufnahmeelement 4 bzw. über dessen sensitiver Fläche angeordnet sein. Das Kamerasystem kann zudem weitere Komponenten umfassen, beispielsweise eines oder mehrere Gehäuseteile, Streulichtblenden, Mittel zur Anordnung und Befestigung hinter der Windschutzscheibe 1 sowie weitere elektronische Einrichtungen und optische Strahlformungs- und/oder Strahllenkungselemente. Das Kamerasystem kann weiterhin mit elektrischen Einrichtungen, insbesondere mit Fahrerassistenzsystemen, im Fahrzeug verbunden sein.
-
Bezugszeichenliste
-
- 1
- Windschutzscheibe
- 2
- Erfassungswinkel
- 3
- Abbildungssystem
- 3.1
- Hauptlinse
- 3.2
- Feldlinse
- 4
- Bildaufnahmeelement
- 5
- Erste Leiterplatte
- 6
- Zweite Leiterplatte
- 7
- Elektromagnetische Strahlung
- 8
- Mikrolinsen-Anordnung
- 9
- Regen
- 10
- Teilbereich der sensitiven Fläche des Bildaufnahmeelements
- 11
- Optische Achse
- 12
- Objekt
- T1
- Teilbild 1
- T2
- Teilbild 2
