-
Diese Erfindung betrifft das Gebiet der Foto- und Videografie.
-
Heutige Mobilgeräte weisen eine große Bandbreite von Funktionen auf. Eine der populärsten Funktionen ist das Aufzeichnen von fotografischem und Videomaterial. Um Fotografien und Videos mit Mobilgeräten aufzunehmen, werden Kameramodul genannte Einheiten verwendet. Ein Kameramodul enthält einen photosensitiven Sensor, Optiksystem-Linsen und in manchen Fällen Komponenten für ein Fokussiersystem.
-
Während der letzten Jahre haben sich die technischen Eigenschaften von Kameramodulen in heutigen Mobilgeräten erheblich verbessert. Theoretische Grenzen hinsichtlich der optischen Qualität (optische Auflösung wird durch Beugungsbegrenzung eingeschränkt) und der Leistungsfähigkeit von Sensoren (die Umwandlung von Photonen in eine elektrische Ladung erreicht ein Niveau nahe an 100%) sind nahezu erreicht. Und es gibt eine weitere Grenze – die minimalen Abmessungen eines einzelnen photosensitiven Elements in dem Sensor (Pixel). In heutigen Sensoren wurde die Größe der Pixel auf 1 µm verringert, was mit der Wellenlänge des zu detektierenden Lichts vergleichbar ist. Eine weitere Verringerung der Größe der Pixel wird wegen der Nähe zur Beugungsbegrenzung nicht zu einer Zunahme der Bildauflösung führen. Grenzen der Raumausnutzung sind ebenfalls erreicht worden. Die Länge und Breite des Kameramoduls sind durch die Abmessungen des photosensitiven Sensors begrenzt und die Höhe wird durch das Linsensystem (Kameralinse) begrenzt. Um ein hochqualitatives und klares Bild zu erzeugen, werden komplizierte Kameralinsen benötigt, die eine große Anzahl separater Elemente umfassen.
-
Weitere Verbesserung der Qualität des aufgenommenen Bildes ist ohne Erhöhen der Lichttransmission zum photosensitiven Element (Sensor) nicht möglich. Die maximale Lichtmenge, die den Sensor erreicht, wird durch den Durchmesser der Eingangsapertur des optischen Systems begrenzt. Eine Zunahme der Eingangsapertur erfordert eine Gesamtzunahme der geometrischen Abmessungen des Kameramoduls. Die geometrischen Abmessungen wiederum sind durch die Mobilitätsanforderung begrenzt. Die größte Einschränkung bezieht sich auf die Höhe (die Höhe des Kameramoduls darf die Gesamtdicke des Grundgeräts nicht erheblich überschreiten). Die Höhe des Kameramoduls hängt allerdings von der Gesamtdicke der Linsen in dem Linsensystem und den nötigen Abständen zwischen den Linsen ab.
-
Das Folgende ist eine Liste fundamentaler Probleme, die sich aus der Abnahme der in Kameramodule eintretenden Lichtmenge in Mobilgeräten ergibt:
- – Hohe Rauschpegel im resultierenden Bild verschlechtern die visuelle Gesamtqualität.
- – Bei schlechten Lichtverhältnissen werden lange Belichtungszeiten nötig, die Verschmierungen verursachen. Da Kameras typischerweise handgehalten werden, verschmieren Fotografien nicht nur als ein Resultat von Objektbewegungen, sondern auch da sich die Kamera selbst bewegt.
- – Darüber hinaus erzwingen kleine Kameramodule entsprechend proportional kleine Pixel auf dem Sensor. Daraus ergibt sich, dass das Pixel nur eine gewisse Ladung halten kann, bevor diese abfließt, was bedeutet, dass die Kamera ein Bild mit einem hohen Dynamikbereich, den die meisten Szenen zeigen, nicht fehlerfrei aufnehmen kann.
-
Die folgenden technischen Lösungen sind verfügbar zum Verbessern der Qualität von Bildern, die mit Kameramodulen auf Mobilgeräten erstellt werden:
-
- 1. Array-Kamera Durch Verwenden mehrerer zusammengruppierter Kameramodule in einem Gerät ist es möglich, die Stärke der Lichtaufnahme durch Kombinieren der Ladungen von allen Sensoren zu erhöhen [ US 20110080487 , „Capturing and processing of images using monolithic camera array with heterogeneous imagers“, Kartik Venkataraman, Amandeep S. Jabbi, Robert H. Mullis, Jacques Duparre, Shane Ching-Feng Hu].
-
Ein Nachteil dieser Technik besteht darin, dass die Gesamtkosten der Kameramodule proportional zur Anzahl der Module zunehmen werden. Die Größe des von den Kameramodulen eingenommenen Raums wird ebenso zunehmen.
- 2. Effektive Rauschverringerungsalgorithmen. Signifikante Fortschritte sind kürzlich beim Trennen des Bildes vom Rauschen in verrauschten Bildern erreicht worden [ US 7835586 , „Method for filtering images with bilateral filters“, Fatih M. Porikli].
-
Dieses Verfahren wird allerdings ernsthaft durch die Grenze des Signal-Rausch-Verhältnisses beschränkt. Details mit geringem Kontrast können unmöglich vom Rauschen getrennt werden – das heißt, dass sie während der Rauschverringerung verloren gehen.
- 3. Mehrfach-Einzelbild-Belichtung. Durch Aufnehmen mehrerer Fotografien in schneller Reihenfolge und deren Kombination kann das Bildrauschen verringert werden, kann der Dynamikbereich erweitert werden und kann die Auflösung potentiell erhöht werden [ US 8699814 , „Method for improving images“, Dmitry Valerievich Shmunk, Eugene Alexandrovich Panich; US 20130156345 , „Method for producing superresolution images and nonlinear digital filter for implementing same“, Dmitry Valerievich Shmunk].
-
Kombinieren mehrerer Einzelbilder vergrößert allerdings die Gesamtbelichtungszeit, was Probleme verursacht, die nicht gänzlich vermieden werden können, wie etwa, dass bewegte Objekte verschmiert erscheinen.
-
Das Verfahren zum Reduzieren der Gesamtgröße einer Kamera durch Verwenden eines gefalteten Designs ist seit langer Zeit bekannt [
US 1435646 , „Folding camera“, Robert Kroedel].
-
Ein Nachteil dieses Designs besteht darin, dass seine Einfachheit die Verwendung von Optiken mit kleiner Apertur zur Folge hat (verwendete Aperturen sind f/8–f/11). Jeglicher Versuch, eine gefaltete Struktur mit dem System einer modernen Hochapertur-(f/4-f/2) und Hochauflösungs-Kameralinse zu verwenden, führt zu einem extrem komplexen Design, dessen Nachteile sich in dessen Zerbrechlichkeit und der Notwendigkeit zum Vorsehen zusätzlichen Platzes für dieses System manifestieren. Moderne Kameralinsen, die aus einer Vielzahl von Komponentenlinsen bestehen, sind hinsichtlich der präzisen Platzierung der Linsen und des photosensitiven Elements relativ zueinander extrem schwierig (Ausrichtung, Abstand usw.). Hinzufügen einer komplizierten Faltungsstruktur führt unvermeidlich zu einer erheblichen Abnahme der Präzision der Platzierung. Zusätzlich ist die Verwendung einer Faltungsstruktur in einem Mobilgerät unmöglich, da das optische System in den meisten Fällen von einem Fokussierungssystem umgeben wird, das typischerweise eine monolithische Struktur ist und es dem optischen System nicht erlaubt, gefaltet zu werden.
-
Ein Kameramodul ist bekannt aus [Eric J. Tremblay, Ronald A. Stack, Rick L. Morrison, Joseph E. Ford, „Ultrathin Cameras Using Annular Folded Optics“, Applied Optics, vol. 46, no. 4, 1 February 2007], in dem ein Paar speziell geformter Spiegel den Linsensatz in dem traditionellen optischen System ersetzt. Die Spiegel sind einander gegenüberliegend platziert. Aufgrund der Mehrfachreflexionen zwischen den Spiegeln in dem System ist die optische Weglänge erheblich größer als der Abstand zwischen den Spiegeln. Dieses Verfahren kann die Dicke des Kameramoduls erheblich verringern, während die das photosensitive Element erreichende Lichtmenge zunimmt. Ein zusätzlicher Vorteil dieser Lösung besteht darin, dass sie frei von chromatischer Aberration ist, da sie nur reflektierende Elemente verwendet.
-
Ein Nachteil dieser Lösung ist ihre geringe Tiefenschärfe. Dies liegt daran, dass Licht nur durch einen schmalen Rand um den Umfang der Spiegel herum in das optische System hereinkommt. Ein weiterer Nachteil besteht in dem niedrigen Winkelsichtfeld, das von dieser Lösung aufgenommen wird. Es ist nicht möglich, den am meisten nachgefragten Typ, ein Weitwinkel-Kameramodul, zu erstellen.
-
Die der vorgeschlagenen Lösung (Prototyp) nächstliegende technische Lösung ist beschrieben in [Felix Heide, Mushfiqur Rouf, Matthias B. Hullin, Bjorn Labitzke, Wolfgang Heidrich, Andreas Kolb, „High-Quality Computational Imaging Through Simple Lenses“, ACM Transactions on Graphics, vol. 32, no. 5, 2013, 10 pages, ISSN: 0730-0301, EISSN: 1557-7368, DOI: 10.1145/2516971.2516974], die ein vereinfachtes optisches System verwendet, das aus einer Einzellinse besteht, das es erlaubt, das Gewicht des Kameramoduls beträchtlich zu verringern. Aberrationen, die als Konsequenz der Verwendung eines einzigen optischen Elements unvermeidbar auftreten, werden durch nachfolgende digitale Verarbeitung des resultierenden Bildes ausgeglichen.
-
Ein Nachteil dieser Lösung besteht darin, dass sie in mobilen Systemen nicht verwendet werden kann, da das Ersetzen mehrerer optischer Elemente durch ein Einzelelement die Größe der Kameralinse nicht verringert. Demzufolge ändert sich die Gesamtgröße des Kameramoduls nicht. Es ist möglich, die Kompaktheit dieses optischen Systems durch Hinzufügen bekannter Faltungsdesigns, die für Fotografie verwendet werden, zu erhöhen; allerdings liefert dies nicht das benötigte Ergebnis, da die Linse für das Erreichen der geforderten Lichtstärke hinreichend dick sein müsste.
-
Das Ziel der vorgeschlagenen Lösung besteht darin, ein Mobilgerät zu schaffen, das ein Kameramodul verwenden würde, das das Erstellen hochqualitativer Bilder ermöglicht – insbesondere bei schlechten Lichtverhältnissen –, während die kleinen Abmessungen des Geräts erhalten werden.
-
Der Kern der vorgeschlagenen Lösung ist Folgender: In einem Mobilgerät mit einem Kameramodul, das die optischen Elemente, ein oder mehrere photosensitive Elemente (Sensoren, die aus photosensitiven Pixeln bestehen) und Mittel zum Verarbeiten der digitalen Repräsentation des Bildes, das von den photosensitiven Elementen erhalten wurde, enthält, sind die optischen Elemente als ein Satz dünner Linsen, Spiegel oder beider hergestellt, und das Kameramodul ist derart installiert, dass die Position ihrer Elemente relativ zum Gehäuse des Mobilgeräts in zwei Positionen eingestellt werden kann, von denen eine eine Belichtungsposition ist, bei der die optischen Elemente ausgerichtet sind zum Ermöglichen, dass Licht auf photosensitive Elemente projiziert werden kann, so dass ein Bild auf einem der mehreren Sensoren erhalten werden kann, und von denen sich die zweite durch Faltung so dicht wie möglich am Gehäuse befindet und bei der die Gesamtdicke des Kameramoduls strukturell durch die Dicke des dicksten der optischen oder photosensitiven Elemente begrenzt ist. Bei der vorgeschlagenen Lösung wurde das komplexe optische System durch einen vereinfachten Satz dünner optischer Elemente ersetzt und Verzerrungen (Aberrationen) in einem Bild (die eine unvermeidbare Konsequenz des Vereinfachens des optischen Systems sind) werden innerhalb der digitalen Bildverarbeitungseinheit korrigiert. Das Verwenden einer kleinen Anzahl dünner Linsen ergibt die Möglichkeit, das System faltbar zu machen. Die Genauigkeitsanforderungen für die Ausrichtung der Linsen und des Sensors werden durch Verwenden digitaler Bildverarbeitungstechnologie, die fähig zum Kompensieren von Ungenauigkeiten ist, signifikant verringert. Zum Korrigieren von Verzerrungen ist es möglich, digitale Bildverarbeitungsalgorithmen zu verwenden, die zum Beispiel beschrieben sind in [Felix Heide, Mushfiqur Rouf, Matthias B. Hullin, Bjorn Labitzke, Wolfgang Heidrich, Andreas Kolb, „High-Quality Computational Imaging Through Simple Lenses“, ACM Transactions on Graphics, vol. 32, no. 5, 2013, 10 pages, ISSN: 0730-0301, EISSN: 1557-7368, DOI: 10.1145/2516971.2516974]. Das Kameramodul ist dünn, wenn es gefaltet ist, was die Verwendung von sowohl Linsen als auch photosensitiven Elementen größeren Durchmessers ermöglicht, wodurch die Lichtaufnahme signifikant erhöht wird (proportional zum Quadrat des Linsendurchmessers).
-
1 zeigt ein Mobilgerät: (101) Sensoren; (102) optische Elemente; (103) Hilfslinien, die die optischen Achsen angeben; und (104) Sensorebene.
-
Sieben optische Systeme, die jeweils aus zwei Linsengruppen bestehen, werden verwendet zum Projizieren von Bildern auf sieben Sensoren. Die Eigenschaften von Linsen in jedem System unterscheiden sich, um dadurch den vollen Entfernungsbereich scharf aufzunehmen.
-
2 zeigt Lichtbündel, die durch eines der sieben optischen Systeme hindurchgehen: (201) Sensor; (202) optische Elemente; und (203) Hilfslinien, die Lichtbündel angeben, die durch das System hindurchgehen.
-
3 ist ein Beispiel dafür, wie ein Kameramodul in der Belichtungsposition in einem Mobilgerät platziert ist: (301) Kameramodul in Belichtungsposition; (302) Gehäuse des Mobilgeräts und (303) ein Beispiel dafür, wie die digitale Bildverarbeitungseinheit platziert ist.
-
4 ist ein Beispiel für ein gefaltetes Kameramodul in einem Mobilgerät: (401) Kameramodul in der gefalteten Position; (402) Gehäuse des Mobilgeräts und (403) ein Beispiel dafür, wie die digitale Bildverarbeitungseinheit platziert ist.
-
5 zeigt Punktspreizfunktionen (PSFs) von verschiedenen Teilen des Bildes bevor digitale Bildverarbeitung angewandt wird.
-
6 zeigt Punktspreizfunktionen (PSFs) von verschiedenen Teilen des Bildes nachdem digitale Bildverarbeitung angewandt wurde.
-
Fotografische und Videoaufzeichnung mit dem vorgeschlagenen Gerät findet auf die folgende Weise statt: Das Kameramodul erweitert sich in die Belichtungsposition relativ zum Gehäuse des Mobilgeräts. In dieser Position sind die optischen Elemente ausgerichtet, Licht auf die photosensitiven Elemente zu projizieren. Die Belichtung der photosensitiven Elemente findet für so viel Zeit wie nötig statt. Von den photosensitiven Elementen erfasste Informationen werden in digitale Form umgewandelt und von der digitalen Bildverarbeitungseinheit verarbeitet. Die digitale Bildverarbeitungseinheit korrigiert Verzerrungen, monochromatische Aberrationen (sphärische Aberrationen, Komas, Astigmatismus und Feldkrümmung), chromatische (laterale und tangentiale) Aberrationen und auch Aberrationen höherer Ordnung, die während der Belichtung durch das optische System des Kameramoduls verursacht werden. Die digitale Bildverarbeitungseinheit verbessert auch die Bildqualität (Schärfe, Kontrast, Farbsättigung usw.). Falls mehrere Einzelbilder aufgenommen werden oder ein Video aufgezeichnet wird, wiederholt sich der Prozess für jedes Einzelbild.
-
Um den Transport des Mobilgeräts zu erleichtern, wird das Kameramodul gefaltet, was die optischen Elemente so dicht wie möglich an das Gehäuse des Mobilgeräts heranzieht. Dadurch werden die Abmessungen des Mobilgeräts nicht signifikant vergrößert.
-
Um das Erfordernis von zusätzlichen Fokussierungsmitteln zu beseitigen, werden mehrere mit der notwendigen Anzahl von Sensoren gepaarte Gruppen optischer Elemente verwendet. Jede Gruppe optischer Elemente und ihres Sensors ist für eine leicht unterschiedliche Fokussierungsentfernung ausgelegt. Jede Gruppe optischer Elemente besteht aus einer kleinen Menge dünner Linsen, die in einem hinreichenden Abstand gesondert platziert sind, so dass ein einfacher Faltungsmechanismus verwendet werden kann. 2 beispielsweise zeigt, wie zwei Linsengruppen verwendet werden. Somit erhalten getrennte Sensoren Bilder, die bei verschiedenen Abständen fokussiert sind. Digitale Verarbeitungseinrichtungen werden verwendet zum Auswählen des nötigen Fokussierungsabstands aus den verfügbaren oder ein fokussiertes Bild wird unter Verwendung von Bildern von mehreren Sensoren bei einem Zwischenabstand erhalten. Folglich ist es nicht nötig, zusätzliche Mechanismen zum Ändern der Linsenposition zu verwenden, falls Fokussieren bei verschiedenen Abständen erforderlich ist. Das optische System ist signifikant vereinfacht, die Notwendigkeit zur Korrektur der Feldkrümmung ist beseitigt und meist auch die Notwendigkeit chromatische Verzerrungen zu korrigieren. Mit digitalen Verarbeitungseinrichtungen ist es möglich, die bestfokussierten Gebiete für jeden der Sensoren auszuwählen und diese zu kombinieren, um ein scharfes und hochqualitatives Bild zu erhalten.
-
Bei einer weiteren Ausführungsform des Kameramoduls verwendet das optische System zwei Elemente – eine primäre, einfache Linse und einen Satz von Mikrolinsen, der nahe am photosensitiven Element platziert ist, der von der primären Linse verursachte Verzerrungen korrigiert. Mikrolinsen sind dafür designt, genau die Verzerrungen zu korrigieren, die in dem Teil des Bildes auftreten, der von einer gegebenen Mikrolinse abgedeckt wird. Allerdings verschlechtert sich die Bildqualität auf Pixeln, die sich nahe den Kanten der Mikrolinsen befinden (dies wird durch Überschneidung mit dem Bild der Nachbarmikrolinse und durch andere Faktoren verursacht). Demnach ist es nötig, mehrere dieser Gruppen mit abgeänderten Mikrolinsenplatzierungen zu verwenden und nachfolgend Bildteile von verschiedenen Sensoren unter Verwendung digitaler Verfahren zu kombinieren.
-
Es versteht sich, dass andere Ausführungsformen des Kameramoduls möglich sind, die das allgemeine Prinzip verwenden: ein vereinfachtes optisches System, das aus dünnen Linsen eines hinreichend großen Durchmessers besteht (ermöglicht dadurch, dass sich das System außerhalb des Gehäuses des Mobilgeräts befindet), liefert hohe Beleuchtungspegel und dies, in Kombination mit der digitalen Bildverarbeitung von Bildern, die von den photosensitiven Elementen abgeleitet wurden, ermöglicht es einem Gerät geringer Größe, ein Hochqualitätsbild zu erzeugen.
-
Um die Erfindung umzusetzen, wurde ein Kameramodul modelliert, das ein Cooke-Triplett aus dünnen Linsen, eine f/3,1 Apertur, ein 40 Grad Sichtfeld, einen 13,2×8,8 mm Sensor und 2,5 µm Pixel verwendet. Punktspreizfunktionen wurden über das gesamte Bildfeld hinweg für verschiedene Wellenlängen erhalten. 5 kartiert die Punktspreizfunktionen vor der digitalen Verarbeitung, wohingegen 6 die Punktspreizfunktionen nach der digitalen Verarbeitung kartiert.
-
Ein einfacher Mechanismus, der aus vier vertikalen Stützen, die schwenkbar an der Ebene des photosensitiven Elements angebracht sind, besteht, wird zum Zurückziehen des Kameramoduls verwendet. Die Linsen sind schwenkbar an den Stützen in Ebenen befestigt, die sich senkrecht zur optischen Achse erstrecken. Beim Falten schwingen die Stützen in eine horizontale Position (wie in 4 gezeigt). Auf diese Weise kompaktieren die Linsen in dieselbe Ebene wie das photosensitive Element und die summarische Dicke der Gesamtkonstruktion verringert sich auf eine Größe, die nicht dicker als die dickste Linse ist.
-
Die Vorteile der vorgeschlagenen Lösung zum Erzeugen von Hochqualitätsbildern mit Mobilgeräten sind die folgenden:
- I. Obwohl die Höhe (Dicke) des vorgeschlagenen Kameramoduls mit kommerziellen Modulen in Mobilgeräten vergleichbar ist, erhöht diese radikal die Lichtmenge (bis zu zwei Größenordnungen), die das photosensitive Element der Kamera erreicht. Dies befähigt die Kamera zum:
- 1. Verringern der Belichtungszeit, was wiederum die Probleme mit Bildverschmierung löst.
- 2. Verringern der Rauschstärke im resultierenden Bild (Verbessern der Bildqualität und Verhindern, dass Details geringen Kontrasts im Rauschen verloren gehen).
- 3. Verringern des Gewichts (ein optisches System, das aus einer geringen Anzahl dünner Linsen besteht, verringert signifikant das Kameragesamtgewicht).
- 4. Verwenden großer photosensitiver Elemente (Sensoren), ohne die Gesamtdicke des Systems zu beeinträchtigen.
- 5. Verringern des Verlusts an Licht und Kontrast im Bild aufgrund von Reflexionen von den Linsenoberflächen dank der Einfachheit des optischen Systems.
- 6. Aufzeichnen von Videos (was praktisch unmöglich ist oder Systeme wesentlich teurer macht, wenn Mehrfach-Einzelbild-Belichtung verwendet wird).
- II. Wenn mehrere photosensitive Elemente verwendet werden:
- – keine Zeit wird für das Fokussieren verschwendet (der Fokussierungsabstand wird durch Ändern des Verfahrens eingestellt, das zum Auswählen von Bildteilen von Sensoren, die das Endbild bilden, und dann Kombinieren dieser mittels digitaler Verfahren, verwendet wird; dies ermöglicht außerdem die Auswahl des Fokussierungsabstands und der Feldtiefe nach dem Aufnehmen); und
- – eine Tiefenkartierung kann geschaffen werden.
