-
Die Erfindung betrifft eine Kamera zum Einsatz in einem Fahrzeug und zur Bestimmung von Objektentfernungen.
-
Fahrerassistenzsysteme in Fahrzeugen verwenden häufig eine oder mehrere Kameras zur Erfassung des Fahrzeugumfelds, beispielsweise zur Erkennung verschiedenster Objekte im Umfeld des Fahrzeugs. Die Kameras sind dabei in der Regel im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet und blicken in Fahrtrichtung durch die Scheibe hindurch. Bekannt sind beispielsweise Fahrzeugkameras zur Erkennung von Hindernissen, Fahrbahnmarkierungen, Verkehrszeichen, Verkehrsteilnehmern und anderen Objekten, sowie Nachtsichtkameras oder auch Stereokameras als optische Abstandssensoren.
-
Einige Fahrerassistenzsysteme, beispielsweise Systeme zur Vermeidung von Unfällen, z.B. (Not-)Bremsassistenten, und Systeme mit Längs- bzw. Querführungsunterstützung, z.B. Geschwindigkeitsregelungssysteme oder Fahrspurassistenten, benötigen möglichst genaue Informationen über das Fahrzeugumfeld. Dabei kommt der Erfassung von Objekten sowie der Bestimmung der Entfernung zu diesen Objekten eine wichtige Rolle zu. Zur Bestimmung der Objektentfernung ist bislang die Verwendung von Strahlsensoren, beispielsweise Ultraschall-, Radar- oder Lidar-Sensoren, bekannt. Auch Kameras werden bereits zur Bestimmung von Objektentfernungen eingesetzt.
-
Bei der Bestimmung von Objektentfernungen mittels Kameras werden derzeit sogenannte Stereo-Kameras eingesetzt. Diese bestehen aus zwei in der Regel identischen Kameramodulen (Einzelkameras), die als separate optische Systeme aufgebaut sind, mit jeweils einem Bildaufnahmeelement und einem Abbildungssystem (z.B. Objektiv). Die beiden Kameramodule werden mit ihren optischen Achsen meist parallel zueinander ausgerichtet und lateral versetzt, d.h. auf einer Linie parallel zur Fahrzeugquerachse versetzt, hinter der Windschutzscheibe angeordnet. Die laterale Distanz zwischen den Kamerasystemen wird als Baseline bezeichnet. Die Pixelkoordinaten der Projektion eines Bildpunktes eines Objektes unterscheiden sich in den erfassten Bildern der beiden Kameramodule. Die Differenz zwischen den Koordinatenpaaren, d.h. der Versatz des Bildpunktes in den Bildern, hängt dabei von der Entfernung des Objektes zur Kamera ab. Bei bekannter Baseline lässt sich aus dem Versatz des Bildpunktes mittels Trigonometrie auf bekannte Weise die Entfernung zum Objekt berechnet (Stereoprinzip).
-
Nachteilig beim Einsatz von Stereo-Kameras zur Bestimmung von Objektentfernungen in Fahrzeugen ist jedoch die Tatsache, dass die Anordnung und die Kalibrierung, d.h. die Ausrichtung der zwei Kameramodule zueinander, mit erheblichem Aufwand und Kosten verbunden sind. Bereits eine marginale Ungenauigkeit bzw. eine leichte Änderung des Blickwinkels eines der beiden Kameramodule kann die Entfernungsbestimmung erheblich verfälschen. Zusätzlich müssen eine Vielzahl von Umwelteinflüssen, z.B. Temperaturunterschiede und Vibrationen, die während des Fahrbetriebs auftreten können, antizipiert werden. Diese können zu denselben Problemen (Änderung des Blickwinkels) und den damit verbundenen Konsequenzen (verfälschte Entfernungsbestimmung) führen. Die Antizipation erfolgt in der Regel durch eine komplexe Verbausituation der Kameramodule bzw. der Stereo-Kamera.
-
Die
DE 101 62 652 A1 zeigt in diesem Zusammenhang eine Stereo-Kamera für ein Kraftfahrzeug, bei welcher die Verwindungssteifigkeit der Windschutzscheibe des Fahrzeugs für eine stabile Ausrichtung der Kameramodule ausgenutzt wird. Die einzelnen Kameramodule werden dabei in einer Halterung aufgenommen, die direkt an der Innenseite der Windschutzscheibe festgeklebt wird. Durch diese Befestigung soll die Einkopplung von Schwingungen in die Kameramodule weitgehend unterdrückt werden.
-
Stereo-Kameras als Kameras zur Bestimmung von Objektentfernungen haben, neben den bereits beschrieben Problemen, weitere wesentliche Nachteile. Neben der aufwändigen und komplexen Verbausituation benötigen Stereo-Kameras viel Platz im Fahrzeuginnenraum und einen entsprechend großen Blickbereich durch die Windschutzscheibe. Es müssen jedes Mal zwei identische Kameramodule eingesetzt werden und die Genauigkeit der Entfernungsbestimmung hängt von der Größe der Baseline ab, d.h. vom lateralen Versatz der Kameramodule zueinander. Je größer die Baseline der Kameramodule desto genauer ist die Entfernungsbestimmung. Je größer die Baseline gewählt wird, umso größer ist jedoch auch der Platzbedarf für die Stereo-Kamera. Zudem erhöht sich mit zunehmendem Abstand der Kameramodule der Aufwand bei der Ausrichtung der Module zueinander.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Kamerasystem für ein Kraftfahrzeug zur Bestimmung von Objektentfernungen anzugeben, mittels der die Entfernung zu Objekten möglichst genau und zuverlässig bestimmt werden kann, bei welcher jedoch die Probleme und Nachteile der bekannten Kameras, insbesondere Stereo-Kameras, vermieden werden.
-
Diese Aufgabe wird durch ein Kamerasystem mit den Merkmalen nach Anspruch 1 sowie durch ein Verfahren zum Betrieb eines solchen mit den Merkmalen nach Anspruch 7 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.
-
Aus dem Bereich der Bildaufnahmetechnik bzw. aus der digitalen Fotografie sind sogenannte Lichtfeldkameras bekannt. Diese werden auch als plenoptische Kameras bezeichnet. Das grundsätzliche Prinzip einer Lichtfeldkamera wird im Folgenden kurz beschrieben. Im Gegensatz zu konventionellen Kameras, bei welchen mit einem Abbildungssystem (z.B. ein Objektiv mit einer oder mehreren hintereinander angeordneten Linsen) und einem dahinter angeordneten Bildaufnahmeelement lediglich zweidimensionale Bilder bzw. 2-D-Bilddaten erfasst werden, ist es mit einer Lichtfeldkamera möglich, das sogenannte 4-D-Lichtfeld einer Szene zu erfassen. Dabei wird, neben der Position und der Intensität eines Lichtstrahls, auch die Richtung, aus welcher der Lichtstrahl auf das Bildaufnahmeelement fällt, ermittelt. Ermöglicht wird dies durch eine Mikrolinsen-Anordnung (Mikrolinsen-Array) zwischen dem Abbildungssystem und dem Bildaufnahmeelement. Bei der Mikrolinsen-Anordnung handelt es sich um ein Linsengitter, bestehend aus einer Vielzahl von in der Regel matrixförmig angeordneten Mikrolinsen. Das Linsengitter ist derart zwischen dem Abbildungssystem und dem Bildaufnahmeelement positioniert, z.B. in der hinteren Bildebene (Fokusebene, Brennebene) des Abbildungssystems, dass jeder Bildpunkt nochmals gebrochen und zu einem Kegel erweitert wird, welcher dann z.B. kreis- oder ellipsenförmig auf das Bildaufnahmeelement bzw. dessen sensitive Fläche trifft. Jeder Mikrolinse kann dabei eine Mehrzahl an lichtempfindlichen Zellen (Fotodioden bzw. Pixel) des Bildaufnahmeelements bzw. dessen sensitiver Fläche zugeordnet sein. Auf diese Weise bleibt die Information erhalten, aus welcher Richtung einzelne Lichtstrahlen in das Kamerasysteme eingefallen sind. Ein senkrecht auf eine Mikrolinse auftreffender Lichtstrahl landet im Mittelpunkt des Kreises oder der Ellipse, ein schräg eintreffender Lichtstrahl weiter am Rand. Das mittels einer Lichtfeldkamera erfasste Licht wird somit richtungsselektiv in separierbaren Teilbildern auf dem Bildsensor erfasst. Mittels Bildverarbeitungseinrichtungen und geeigneter Software können aus einem so erfassten Bild viele Teilbilder erzeugt werden. Durch geeignete Aneinanderreihung von Pixeln, insbesondere jeweils des gleichen Pixels unter jeder Mikrolinse, können aus einem erfassten Bild einer beobachteten Szene beispielsweise mehrere Teilbilder erzeugt werden, welche die beobachtete Szene aus unterschiedlichen, insbesondere leicht voneinander abweichenden, Betrachtungswinkeln (Blickwinkeln) abbilden. Derart können zwei oder mehr Teilbilder einer beobachteten Szene erzeugt werden, die einen Versatz aufweisen, wie bei einem Bildpaar, das mittels einer Stereokamera erfasst wurde. Die Anzahl der derart erzeugbaren Teilbilder einer beobachteten Szene, ist gleich der Anzahl der Pixel unter jeder einzelnen Mikrolinse. Weiterhin können mittels geeigneter Bildverarbeitung, insbesondere durch geeignetes Aufsummieren von Teilbildern, Bilder mit unterschiedlichem Fokus erzeugt werden. Dadurch ist es möglich die Schärfe eines mittels einer Lichtfeldkamera erfassten Bildes nachträglich neu zu berechnen und damit, wie bei einem richtigen Objektiv, den Fokus nachträglich zu ändern. Mit anderen Worten: Es können nach der Bildaufnahme durch Verarbeitung der erfassten Bild- bzw. der erfassten Pixeldaten verschiedene Schärfeebenen realisiert werden und mehrere Bilder mit unterschiedlichem Fokus erzeugt bzw. ausgegeben werden. Weiterhin können anhand des Versatzes der erzeugten Teilbilder Tiefeninformationen der Objektszene (beobachteten Szene) extrahiert werden, insbesondere unter Verwendung einfacher optischer Zusammenhänge, wie zum Beispiel der Abbildungsgleichung. Details zum Prinzip von Lichtfeldkameras, d.h. Aufbaumöglichkeiten und die erforderliche Bildverarbeitung, sind in der Literatur bereits ausführlich beschrieben. Verwiesen sei hierzu insbesondere auf die Arbeiten von ADELSON und WANG (Adelson, T., und Wang, J. Y. A. 1992. Single lens stereo with a plenoptic camera. IEEE Transactions on Pattern Analysis and Machine Intelligence 14, 2 (Feb), 99–106) sowie auf eine Dissertation von NG (Ng, R. 2006. Digital Light Field Photography. Dissertation. Stanford University, July 2006) und auf eine Veröffentlichung von NG ET AL. zu diesem Thema (Ng, R., Levoy, M., Bredif, M., Duval, G., Horowitz, M., Hanrahan, P. 2005. Light Field Photography with a Hand-held Plenoptic Camera. Standford Tech Report CTSR 2005-02).
-
Ein wesentlicher Gedanke der Erfindung besteht nun darin, das Prinzip der Lichtfeldkamera für ein Kamerasystem im Automobilbereich anzuwenden, insbesondere für ein Kamerasystem, mittels dem Entfernungen zu Objekten bestimmt werden sollen, wobei vorzugsweise alle sonstigen Kamerafunktion erhalten bleiben bzw. weiterhin mittels des Kamerasystem umgesetzt werden können. Hierdurch ist es möglich mit einem einzelnen Kameramodul bzw. mit nur einem optischen System, welches ein Bildaufnahmeelement und ein Abbildungssystem umfasst, zunächst ein Bild einer beobachteten Szene zu erfassen. Aufgrund der Ausgestaltung des Kamerasystems als Lichtfeldkamera, bei welcher die eintreffenden Lichtstrahlen richtungsselektiv auf dem Bildaufnahmeelement erfasst werden, ist es möglich, nachträglich zwei oder mehr Teilbilder aus dem erfassten Bild zu berechnen. Die Berechnung erfolgt dabei insbesondere derart, dass die Teilbilder einen Versatz aufweisen bzw. die beobachtete Szene aus abweichenden Betrachtungswinkeln abbilden, als wären diese mit einer Vielzahl von separaten Kameramodulen aufgenommen worden, d.h. beispielsweise mit einer Stereo-Kamera. Aus den Teilbildern können weiterhin Objektentfernungen, insbesondere unter Verwendung einfacher optischer Zusammenhänge, bestimmt werden.
-
Ein wesentlicher Vorteil des erfindungsgemäßen Kamerasystems gegenüber den bislang zur Bestimmung von Objektentfernungen eingesetzten Kamerasystemen, insbesondere Stereo-Kameras, ist die Tatsache, dass nur noch ein einzelnes Kameramodul erforderlich ist, um die Entfernung zu Objekten zu bestimmten. Bei dem einzelnen Kameramodul handelt es sich bevorzugt um eine Monokamera, die als Lichtfeldkamera ausgebildet ist. Es ist somit nichtmehr erforderlich zwei einzelne Kameramodule zueinander Auszurichten bzw. zu Kalibrieren. Das erfindungsgemäße Kamerasystem benötigt weniger Einbauraum im Fahrzeug und kann insgesamt kompakter ausgestaltet werden. Fehler bei der Bestimmung von Objektentfernungen aufgrund falscher oder ungenauer Ausrichtung können nichtmehr auftreten. Umwelteinflüssen, wie Temperaturunterschiede und Vibrationen, die während des Betriebs auftreten, müssen nicht, wie bei den bislang eingesetzten Kamerasystemen, hinsichtlich negativer Auswirkungen auf die Ausrichtung zweier Kameramodule antizipiert werden.
-
Das erfindungsgemäße Kamerasystem kommt bevorzugt in einem Fahrzeug zum Einsatz und dient insbesondere zur Bestimmung von Objektentfernungen. Es können auch weitere Funktionen, z.B. andere bekannte Fahrerassistenzfunktionen, mittels des Kamerasystems umgesetzt werden. Bei dem Kamerasystem handelt es sich somit vorzugsweise um eine Fahrzeugkamera. Diese kann beispielsweise im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet sein, mit Blickrichtung durch die Fahrzeugscheibe hindurch in das Fahrzeugumfeld, zur Erfassung von Bildern aus dem Fahrzeugumfeld für eine oder mehrere Fahrerassistenzfunktionen. Bei dem erfindungsgemäßen Kamerasystem kann es sich auch um eine anderorts im oder am Fahrzeug angeordnete Kamera handeln, beispielsweise um eine Innenraumkamera zur Erfassung von Fahrzeuginsassen. Erfindungsgemäß ist das Kamerasystem dabei derart ausgebildet, dass mittels des Kamerasystems bzw. mittels der vom Kamerasystem erfassten Bilder Entfernungen zu Objekten, z.B. Entfernung zwischen dem Fahrzeug und einem Objekt und/oder zwischen dem Kamerasystem und einem Objekt, bestimmbar sind. Weiterhin kann eine dreidimensionale Darstellung der erfassen Szene errechnet werden.
-
Das erfindungsgemäße Kamerasystem umfasst wenigstens ein und vorzugsweise nur ein Bildaufnahmeelement mit einer für elektromagnetische Strahlung sensitiven Fläche, beispielsweise ein CMOS- oder CCD-Bildchip. Das Kamerasystem umfasst weiterhin zumindest ein Abbildungssystem, z.B. mit einer oder mehreren Linsen, das insbesondere zur Projektion von elektromagnetischer Strahlung auf die sensitive Fläche des Bildaufnahmeelements dient. Bei dem Abbildungssystem handelt es sich beispielsweise um ein Objektiv des Kamerasystems.
-
Das erfindungsgemäße Kamerasystem umfasst im Weiteren wenigstens eine Mikrolinsen-Anordnung, vorzugsweise ein Linsengitter mit einer Vielzahl matrixförmig angeordneter Mikrolinsen. Die Mikrolinsen-Anordnung dient zur Ausgestaltung des Kamerasystems nach dem Prinzip einer Lichtfeldkamera, insbesondere zur Erfassung des 4-D-Lichtfelds der mittels des Kamerasystems beobachteten Szene, beispielsweise des Fahrzeugumfelds. Die Mikrolinsen-Anordnung dient insbesondere zur Erfassung der Richtungen, aus denen Lichtstrahlen aus der beobachteten Szene in das Kamerasystem einfallen. Jeder Mikrolinse der Mikrolinsen-Anordnung ist hierzu bevorzugt ein bestimmter Bereich der sensitiven Fläche des Bildaufnahmeelements zugeordnet, d.h. jede Mikrolinse projiziert elektromagnetische Strahlung auf eine definierte Anzahl bzw. einen definierten Bereich an lichtempfindlichen Zellen des Bildaufnahmeelements. Die Mikrolinsen-Anordnung ist weiterhin vorzugsweise derart ausgebildet und vor dem Bildaufnahmeelement angeordneten, dass die Bereiche der sensitiven Fläche des Bildaufnahmeelements, welche den einzelnen Mikrolinsen zugeordnet sind, sich nicht überlappen und/oder möglichst groß sind, z.B. jeweils 10×10 Pixel. Die Mikrolinsen-Anordnung kann beispielsweise direkt über der sensitiven Fläche des Bildaufnahmeelements angeordnet sein und/oder in der Brennebene des Abbildungssystems oder auf die Brennebene des Abbildungssystems fokussiert. Die Mikrolinsen-Anordnung kann weiterhin vor der gesamten sensitiven Fläche oder nur vor einem Teilbereich der sensitiven Fläche des Bildaufnahmeelements angeordnet sein. Das erfindungsgemäße Kamerasystem kann somit derart ausgestaltet sein bzw. die Mikrolinsen-Anordnung kann insbesondere derart angeordnet sein, dass nur ein Teil der sensitiven Fläche des Bildaufnahmeelements nach dem Prinzip der Lichtfeldkamera ausgebildet ist.
-
Mittels Bildverarbeitungseinrichtungen, welche insbesondere Bestandteil des erfindungsgemäßen Kamerasystems sein können, werden die mittels des Kamerasystems bzw. mittels des Bildaufnahmeelements erfassten Bilder bevorzugt derart verarbeitet, dass aus einem erfassten Bild der beobachteten Szene wenigstens zwei Teilbilder generiert werden. Bei den Teilbildern handelt es sich dabei um Bilder, die einen Versatz aufweisen, als wären diese mit separaten und versetzt angeordneten Kameramodulen erfasst worden, z.B. mittels einer Stereo-Kamera. Mit anderen Worten handelt es sich bei den Teilbildern um wenigstens zwei Bilder, die aus einem erfassten Bild der beobachteten Szene generiert werden und welche dieselbe Szene insbesondere aus zwei abweichenden Blickwinkeln darstellen bzw. abbilden. Die Generierung der Teilbilder mit Versatz geschieht bevorzugt derart, dass Pixel mit identischer Position unterhalb jeder Mikrolinse herangezogen werden und entsprechend dem Matrixmuster der Mikrolinsenanordnung neu angeordnet werden, insbesondere nach dem Matrixmuster der Mikrolinsenanordnung aneinandergereiht. Dadurch ist die größtmögliche Anzahl von Teilbildern durch die Anzahl der Pixel unter jeder Mikrolinse gegeben. Die Anzahl der Bildpixel (Auflösung) der Teilbilder ist durch die Anzahl der Mikrolinsen in der Mikrolinsenanordnung gegeben.
-
Erfindungsgemäß werden mittels der wenigstens zwei generierten Teilbilder Entfernungen zu Objekten bestimmt. Die Bestimmung von Objektentfernungen erfolgt dabei insbesondere nach demselben Prinzip, wie bei einer Stereo-Kamera. Die Pixelkoordinaten der Projektion eines Bildpunktes eines Objektes unterscheiden sich in den generierten Teilbildern, wie bei einem Bildpaar einer Stereo-Kamera. Die Differenz zwischen den Koordinatenpaaren, d.h. der Versatz des Bildpunktes in den Teilbildern, hängt dabei ebenfalls von der Entfernung des Objektes zum Kamerasystem ab. Die generierten Teilbilder weisen, wie bei einer Stereo-Kamera, eine Baseline auf, insbesondere eine virtuelle Baseline. Bei bekannter (virtueller) Baseline lässt sich somit aus dem Versatz des Bildpunktes mittels optischer Zusammenhänge die Entfernung zum Objekt berechnen.
-
Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Kamerasystems ist die Mikrolinsen-Anordnung derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung angeordnet, dass die vom Abbildungssystem auf die sensitive Fläche des Bildaufnahmeelements projizierte elektromagnetische Strahlung mittels des Bildaufnahmeelements richtungsselektiv erfasst wird, so dass aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder mit virtuellem Versatz generierbar sind, insbesondere wenigstens zwei einzelne fokussierte (bildscharfe) Bilder der Fahrzeugumgebung aus abweichenden Blickwinkeln, welcher dem realen Versatz bzw. dem realen Blickwinkelunterschied zweier Bilder von zwei separaten und versetzten Kameramodulen entspricht.
-
Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Kamerasystems umfasst dieses Bildverarbeitungseinrichtungen oder ist mit Bildverarbeitungseinrichtungen verbunden, die ausgebildet sind, zur Generierung der wenigstens zwei Teilbilder aus mittels des Kamerasystems erfassten Bildern und/oder zur Bestimmung von Objektentfernungen aus den generierten Teilbildern.
-
Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems umfasst das Abbildungssystem wenigstens eine elliptisch ausgebildete Linse. Bevorzugt ist dabei das gesamte Abbildungssystem, insbesondere wenn es sich bei dem Abbildungssystem um ein Objektiv handelt, mit einem elliptischen Querschnitt (Querschnitt orthogonal zur optischen Achse des Abbildungssystems) bzw. mit einer elliptischen Apertur ausgebildet. Ein mit elliptischer Linse bzw. mit elliptischem Querschnitt ausgebildetes Abbildungssystem zeichnet sich durch einen großen Durchmesser in Hauptachsen-Richtung aus, während der Durchmesser in der dazu orthogonalen Richtung klein bleibt. Dadurch vergrößert sich die Baseline in der Hauptachsenrichtung und es besteht die Möglichkeit einer gesteigerten Genauigkeit der Entfernungsmessung, welche bekanntermaßen durch den realisierbaren Versatz, welcher zu der Baseline proportional ist, bestimmt wird. Weiterhin kann hierdurch ein flacherer Aufbau des Kamerasystems erreicht werden, wodurch Einsparungen an Material und Einbauraum im Fahrzeug erreicht werden können.
-
Gemäß einer besonderen Ausgestaltung des erfindungsgemäßen Kamerasystems ist die Mikrolinsenanordnung nur in einem bestimmten Teilbereich des Querschnitts des Strahlengangs der, insbesondere der vom Abbildungssystem auf das Bildaufnahmeelement projizierten, elektromagnetischen Strahlung und/oder nur vor einem bestimmten Teilbereich der sensitiven Fläche des Bildaufnahmeelements angeordnet, so dass nur der bestimmte Teilbereich der sensitiven Fläche des Bildaufnahmeelements als Lichtfeldkamera ausgebildet ist. Bei dieser Ausgestaltung des erfindungsgemäßen Kamerasystems wird vorzugsweise nur mittels des bestimmten Teilbereichs der sensitiven Fläche des Bildaufnahmeelements elektromagnetische Strahlung richtungsselektiv erfasst. Ein Vorteil dieser Ausgestaltung besteht im Wesentlichen darin, dass nur für den bestimmten Teilbereich des Bildaufnahmeelements das Auflösungsvermögen des Bildaufnahmeelements reduziert und der restliche Bereich des Bildaufnahmeelements weiterhin bei maximaler Auflösung betrieben werden kann.
-
Das erfindungsgemäße Verfahren dient bevorzugt zum Betrieb eines Kamerasystems, das in einem Fahrzeug angeordnet und als Lichtfeldkamera ausgebildet ist. Bei dem Kamerasystem handelt es sich insbesondere um ein Kamerasystem, das nach einer der vorangehend beschriebenen Ausgestaltungen ausgebildet ist. Das erfindungsgemäße Verfahren dient weiterhin zur Bestimmung von Objektentfernungen, insbesondere zu einem oder mehreren Objekten im Fahrzeugumfeld, beispielsweise für eine oder mehrere Fahrerassistenzfunktionen. Im Rahmen des erfindungsgemäßen Verfahrens werden vorzugsweise mittels Bildverarbeitungseinrichtungen aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder generiert und mittels der Teilbilder Objektentfernungen bestimmt.
-
Gemäß einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens werden aus einem mittels des Kamerasystems erfassten Bild, der vom Kamerasystem beobachteten Szene, wenigstens zwei Teilbilder mit Versatz generiert, insbesondere mit abweichenden Betrachtungswinkeln auf die beobachtete Szene. Die Teilbilder weisen dabei bevorzugt einen virtuellen Versatz auf, welcher dem realen Versatz bzw. der Baseline bei mehreren separaten und versetzten Kameras entspricht, beispielsweise der Baseline einer Stereo-Kamera.
-
Gemäß einer besonderen Ausführung des erfindungsgemäßen Verfahrens werden aus einem mittels des Kamerasystems erfassten Bild einer beobachteten Szene mehrere Bildpaare generiert, welche jeweils zwei Teilbilder mit abweichendem Betrachtungswinkel auf die beobachtete Szene (d.h. zwei Teilbilder mit Versatz) umfassen. Im Weiteren werden vorzugsweise mittels jedes Bildpaares Objektentfernungen zu einem oder mehreren Objekten bestimmt. Die aus den mehreren Bildpaaren bestimmten Objektentfernungen können anschließend für jedes Objekt gemittelt werden. Durch diese Ausgestaltung des erfindungsgemäßen Verfahrens, d.h. durch Verwendung mehrerer Bildpaare und durch Mittellung der aus den Bildpaaren bestimmten Objektentfernungen, kann die Bestimmung der Objektentfernung genauer erfolgen und der geringe virtuelle Versatz der einzelnen Bildpaare, welcher einer sehr kleinen Baseline beispielsweise einer Stereo-Kamera entsprechen würde, kann durch die Mittelung kompensiert werden. Falls nur zwei Teilbilder herangezogen werden kann die Entfernungsbestimmung- bzw. die Tiefeninformation im Vergleich zu Stereo-Kameras weniger genau sein, aufgrund der typischerweise geringeren Baseline. Allerdings kann diese Genauigkeit gesteigert werden durch den Versatzvergleich und die Mittelung über mehrere Teilbilder oder insbesondere alle Teilbilder im Idealfall.
-
Durch die Verfügbarkeit von Tiefeninformationen der Objektszene kann weiterhin eine drei-dimensionale (3D) Darstellung der Objektszene errechnet werden.
-
Gemäß einer weiteren besonderen Ausführung des erfindungsgemäßen Verfahrens werden die wenigstens zwei Teilbilder derart generiert, dass die Teilbilder einen lateralen, horizontalen oder diagonalen Versatz aufweisen. Gegenüber der Verwendung mehrerer nebeneinander angeordneten Einzelkameras, beispielsweise einer Stereo-Kamera, hat eine Lichtfeldkamera bzw. das erfindungsgemäße Kamerasystem den Wesentlichen Vorteil, dass die Teilbilder einer beobachteten Szene mit Versatz in nicht nur einer Raumrichtung erfasst werden, sondern dass grundsätzlich Teilbilder mit Versatz in mehrere bzw. in beliebige Raumrichtungen, insbesondere parallel zur Brennebene des Abbildungssystems, generiert werden können.
-
Gemäß einer weiteren bevorzugten Ausführung des erfindungsgemäßen Verfahrens erfolgt die Bestimmung von Objektentfernungen mittels der generierten Teilbilder, die insbesondere einen (virtuellen) Versatz aufweisen, nach dem Stereoprinzip, welches einleitend beschrieben wurde.
-
Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.
-
Es zeigt
-
1: eine erste Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die in der Fokusebene (Brennebene) des Abbildungssystems des Kamerasystems angeordnet ist und bei der die Mikrolinsen-Anordnung weiterhin im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements entfernt angeordnet ist.
-
2: eine zweite Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die nicht in der Fokusebene des Abbildungssystems des Kamerasystems angeordnet ist und bei der die Mikrolinsen-Anordnung nicht notwendigerweise im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements entfernt angeordnet ist.
-
3: eine dritte Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung entsprechend 2 und 3, wobei die Mikrolinsen-Anordnung nur vor einem Teilbereich des Bildaufnahmeelements des Kamerasystems angeordnet ist.
-
4: eine schematische Darstellung des Funktionsprinzips des erfindungsgemäßen Kamerasystems bzw. einer als Lichtfeldkamera ausgebildeten Fahrzeugkamera.
-
1 zeigt eine schematische Darstellung einer ersten vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems. Das Kamerasystem ist dabei hinter der Windschutzscheibe 1 eines Fahrzeugs angeordnet, mit Blickrichtung bzw. Erfassungswinkel 2 durch die Windschutzscheibe 1 hindurch, beispielsweise in Fahrtrichtung des Fahrzeugs. Das Kamerasystem umfasst ein Abbildungssystem 3, in diesem Fall ein Objektiv, in dem eine oder mehrere Linsen angeordnet sein können, sowie ein Bildaufnahmeelement 4, das auf einer ersten Leiterplatte 5 angeordnet ist. Das Kamerasystem umfasst weiterhin eine zweite Leiterplatte 6, die elektrisch mit der ersten Leiterplatte 5 verbunden ist und auf der beispielsweise Bildverarbeitungseinrichtungen angeordnet sein können. Das Abbildungssystem 3 dient zur Projektion von elektromagnetischer Strahlung 7 auf eine für elektromagnetische Strahlung sensitive Fläche des Bildaufnahmeelements 4. Im vorliegenden Beispiel ist das Abbildungssystem 3 bzw. das Kamerasystem auf einen in Fahrtrichtung des Fahrzeugs vorausliegenden Fernbereich fokussiert, beispielsweise auf eine Entfernung von 2 m, 5 m oder 10 m. Das Abbildungssystem 3 kann auch auf quasi unendlich fokussiert sein, d.h. auf Objektentfernungen z.B. größer als 2 m, 5 m oder 10 m. Hierdurch können mittels des Kamerasystems eine oder mehrere Fahrerassistenzfunktionen umgesetzt werden, beispielsweise eine Objekterkennung (z.B. Verkehrszeichen, Hindernisse, Fahrspurmarkierungen, Folgeobjekte).
-
Das Kamerasystem aus 1 ist erfindungsgemäß zur Bestimmung von Objektentfernungen ausgebildet. Hierzu umfasst das Kamerasystem eine Mikrolinsen-Anordnung 8, welche derart ausgebildet und im Strahlengang der vom Abbildungssystem 3 projizierten elektromagnetischen Strahlung 7 angeordnet ist, dass das Kamerasystem als Lichtfeldkamera ausgebildet ist. Die Mikrolinsen-Anordnung 8 ist im vorliegenden Beispiel als Linsengitter mit einer Vielzahl matrixförmig angeordneter Mikrolinsen ausgebildet, d.h. mit einer Vielzahl in Spalte und Zeilen bzw. gitterförmig nebeneinander angeordneten Mikrolinsen. Die Mikrolinsen-Anordnung 8 dient zur Umsetzung des einleitend beschriebenen und aus dem Stand der Technik bekannten Prinzips der Lichtfeldkamera. Jeder Mikrolinse der Mikrolinsen-Anordnung 8 ist dabei bevorzugt ein bestimmter Bereich der sensitiven Fläche des Bildaufnahmeelements 4 zugeordnet, d.h. jede Mikrolinse projiziert elektromagnetische Strahlung 7 auf eine definierte Anzahl an lichtempfindlichen Zellen des Bildaufnahmeelements 4. Die Mikrolinsen-Anordnung 8 ist weiterhin vorzugsweise derart zwischen dem Abbildungssystem 3 und dem Bildaufnahmeelement 4 angeordnet, dass sich die Bereiche, welche den einzelnen Mikrolinsen zugeordnet sind, nicht überlappen, gleichzeitig aber möglichst groß ausfallen.
-
In Ausgestaltung gemäß 1 ist die Mikrolinsen-Anordnung 8 in der Fokusebene bzw. in der (hinteren) Bildebene des Abbildungssystems 3 angeordnet, d.h. in der Brennebene, in der mittels des Abbildungssystems 3 eine bildscharfe Abbildung des Fernbereichs bzw. der beobachteten Szene erzeugt wird. Weiterhin befindet sich die Mikrolinsen-Anordnung 8 im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements 4, d.h. die sensitive Fläche des Bildaufnahmeelements 4 befindet sich in der Brennebene, welche durch die Brennpunkte der Mikrolinsen aufgespannt wird. Dabei wird jeder Bildpunkt der bildscharfen Abbildung der beobachtete Szene, d.h. in diesem Fall des Bereichs des Fahrzeugumfelds, auf den das Abbildungssystem 3 (und damit das Kamerasystem) fokussiert ist, von der Mikrolinsen-Anordnung 8 nochmals gebrochen und zu einem Kegel erweitert, welcher dann beispielsweise kreisförmig auf das Bildaufnahmeelement 4 bzw. dessen sensitive Fläche trifft. Hierdurch kann mittels des Bildaufnahmeelements 4 neben der Intensität und Position auch die Richtung, aus welcher die elektromagnetische Strahlung 7 in das Kamerasystems einfällt, und damit das sogenannte 4-D-Lichtfeld der beobachteten Szene erfasst werden. Mittels geeigneter Bildverarbeitungseinrichtungen bzw. Bildverarbeitungsalgorithmen können aus einem so erfassten Bild, einer beobachteten Szene, zwei oder mehr Teilbilder mit Versatz generiert werden bzw. Teilbilder, welche die beobachtete Szene aus unterschiedlichen Betrachtungswinkel darstellen bzw. abbilden. Mittels des erfindungsgemäßen Kamerasystems gemäß 1 ist es somit möglich, wie bei einer Stereo-Kamera, zwei Teilbilder mit Versatz zu generieren und zur Bestimmung von Objektentfernungen auszuwerten. 2 zeigt eine schematische Darstellung einer zweiten vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems. Das Kamerasystem aus 2 ist dabei in weiten Teilen entsprechend der Beschreibung zu 1 ausgebildet. Im Gegensatz zu 1 ist in 2 die Mikrolinsen-Anordnung 8 nicht in der Fokusebene bzw. Brennebene des Abbildungssystems 3 angeordnet. Dabei ist die Mikrolinsen-Anordnung 8 senkrecht zur optischen Achse 11 des Abbildungssystems 3 angeordnet, wobei die ersten Brennpunkte der einzelnen Mikrolinsen beispielsweise auch in der Brennebene des Abbildungssystems 3 liegen können. Das Bildaufnahmeelement 4 ist gemäß 2 senkrecht zur optischen Achse 11 des Abbildungssystems 3 in einer beliebigen Ebene hinter der Mikrolinsen-Anordnung angeordnet. Das Bildaufnahmeelement kann dabei beispielsweise auch in der Ebene angeordnet, die durch die zweiten Brennpunkte der einzelnen Mikrolinsen aufgespannt wird.
-
3 zeigt eine schematische Darstellung einer dritten vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems. Das Kamerasystem aus 3 ist dabei in weiten Teilen entsprechend der Beschreibung zu 1 und 2 ausgebildet. Im Gegensatz zu 1 und 2 ist die Mikrolinsen-Anordnung 8 im Kamerasystem gemäß 3 nur vor einem bestimmten Teilbereich 10 der sensitiven Fläche des Bildaufnahmeelements 4 angeordnet, so dass nur der bestimmte Teilbereich 10 der sensitiven Fläche des Bildaufnahmeelements 4 zur Erfassung von Bildern nach dem Prinzip der Lichtfeldkamera genutzt werden kann. Die Mikrolinsen-Anordnung 8 ist dabei nur in einem bestimmten Bereich des Querschnitts, der mittels des Abbildungssystems 3 projizierten elektromagnetischen Strahlung 7, angeordnet. Bei einer Ausgestaltung des erfindungsgemäßen Kamerasystems entsprechend 3 wird das Prinzip der Lichtfeldkamera somit nur partiell angewendet, wodurch die Auflösung nicht im kompletten Bereich des Bildaufnahmeelements 4 reduziert wird. Das Bildaufnahmeelement 4 bzw. dessen sensitive Fläche wird vielmehr in zwei Bereiche aufgeteilt. Ein Bereich 10 des Bildaufnahmeelements 4 ist als Lichtfeldkamera ausgelegt und in diesem Bereich 10 können nach dem Prinzip der Lichtfeldkamera Teilbilder mit Versatz zur Bestimmung von Objektentfernungen generiert werden. Der andere Bereich des Bildaufnahmeelements 4 ist als "normale" Kamera ausgestaltet. Die beobachtete Szene kann dabei über den gesamten Bereich des Bildaufnahmeelements 4 abgebildet werden, im Lichtfeldkamera-Bereich 10 allerdings nur in reduzierter Auflösung.
-
In 4 ist das Funktionsprinzip einer Lichtfeldkamera schematisch dargestellt, insbesondere wie elektromagnetische Strahlung 7 richtungsselektiv auf einem Bildaufnahmeelement 4 erfasst wird, und wie aus einem so erfassten Gesamtbild einer beobachteten Szene, in diesem Fall mit einem abgebildeten Objekt 12, zwei Teilbilder T1 und T2 mit Versatz generiert werden können, in welchen die beobachtete Szene bzw. das Objekt 12 aus unterschiedlichen Betrachtungswinkel (Blickwinkeln) dargestellt bzw. abgebildet ist. Das Abbildungssystem 3 umfasst in diesem Fall zwei Linsen, eine Hauptlinse 3.1 und eine Feldlinse 3.2. Die Teilbilder T1 und T2 können mittels geeigneter Bildverarbeitungsverfahren generiert werden, insbesondere durch Aneinanderreihung jeweils der gleichen Pixel unter jeder Mikrolinse der Mikrolinsen-Anordnung 8, wobei die Teilbilder T1 und T2 in diesem Fall einem Stereo-Bildpaar entsprechen würden, das mittels zweier einzelner Kameramodule aufgenommen wurde. Dementsprechend kann mittels bekannter optischer Zusammenhänge, insbesondere nach dem einleitend beschrieben Stereoprinzip, aus den beiden Teilbildern T1 und T2 die Entfernung zum Objekt 12 bestimmt werden. Der Versatz der Teilbilder T1 und T2, welcher der Baseline der Stereo-Bildverarbeitung entspricht, ist bei einer Lichtfeldkamera verhältnismäßig klein. Durch Erzeugung weiterer Bildpaare T1 und T2 mit Versatz sowohl in vertikaler Raumrichtung (wie in 4 dargestellt) aber auch in andere beliebige Raumrichtung, insbesondere mit horizontalem (Lateral) sowie diagonalem Versatz, kann gemäß dem erfindungsgemäßen Verfahren die Bestimmung der Entfernung zu Objekten, in diesem Fall zu Objekt 12, verbessert und die geringe Baseline kompensiert werden, indem mittels mehrerer Bildpaare T1 und T2 die Entfernungen zum Objekt 12 bestimmt und die einzelnen bestimmten Objektentfernungen gemittelt werden.
-
Die 1 bis 4 zeigen jeweils nur schematisch, wie das erfindungsgemäße Kamerasystem ausgebildet sein kann. Die Darstellungen sind zur besseren Anschaulichkeit stark vereinfacht, insbesondere zur Darstellung der Funktionsweise des erfindungsgemäßen Kamerasystems nach dem Prinzip einer Lichtfeldkamera. Die Maßstäbe und Abstände der Elemente bzw. Bestandteile des Kamerasystems können von der Darstellung abweichen, insbesondere kann die Mikrolinsen-Anordnung 8 auch direkt über dem Bildaufnahmeelement 4 bzw. über dessen sensitiver Fläche angeordnet sein. Das Kamerasystem kann zudem weitere Komponenten umfassen, beispielsweise eines oder mehrere Gehäuseteile, Streulichtblenden, Mittel zur Anordnung und Befestigung hinter der Windschutzscheibe 1 sowie weitere elektronische Einrichtungen und optische Strahlformungs- und/oder Strahllenkungselemente. Das Kamerasystem kann weiterhin mit elektrischen Einrichtungen, insbesondere mit Fahrerassistenzsystemen, im Fahrzeug verbunden sein.
-
Bezugszeichenliste
-
- 1
- Windschutzscheibe
- 2
- Erfassungswinkel
- 3
- Abbildungssystem
- 3.1
- Hauptlinse
- 3.2
- Feldlinse
- 4
- Bildaufnahmeelement
- 5
- Erste Leiterplatte
- 6
- Zweite Leiterplatte
- 7
- Elektromagnetische Strahlung
- 8
- Mikrolinsen-Anordnung
- 10
- Teilbereich der sensitiven Fläche des Bildaufnahmeelements
- 11
- Optische Achse
- 12
- Objekt
- T1
- Teilbild 1
- T2
- Teilbild 2
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- Adelson, T., und Wang, J. Y. A. 1992. Single lens stereo with a plenoptic camera. IEEE Transactions on Pattern Analysis and Machine Intelligence 14, 2 (Feb), 99–106 [0010]
- Ng, R. 2006. Digital Light Field Photography. Dissertation. Stanford University, July 2006 [0010]
- Ng, R., Levoy, M., Bredif, M., Duval, G., Horowitz, M., Hanrahan, P. 2005. Light Field Photography with a Hand-held Plenoptic Camera. Standford Tech Report CTSR 2005-02 [0010]
