DE112013005334T5

DE112013005334T5 - Superauflösung auf der Basis von optischer Bildstabilisierung

Info

Publication number: DE112013005334T5
Application number: DE112013005334.9T
Authority: DE
Inventors: Richard L. Baer; Damien J. Thivent
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2012-11-08
Filing date: 2013-10-03
Publication date: 2015-07-23
Anticipated expiration: 2033-10-04
Also published as: DE112013005334B4; US20140125825A1; CN104769934B; WO2014074250A1; US9288395B2; CN104769934A

Abstract

Ein System und ein Verfahren zum Erzeugen eines Bilds mit Superauflösung mithilfe einer Bilderfassungsvorrichtung. In einer Ausführungsform erfasst ein elektronischer Bildsensor eine optische Referenzprobe durch einen Strahlengang. Danach stellt ein Prozessor für optische Bildstabilisierung (OIS) den Strahlengang zum elektronischen Bildsensor um eine bekannte Menge ein. Eine zweite optische Probe wird dann entlang des eingestellten Strahlengangs erfasst, so dass die zweite optische Probe von der ersten optischen Probe um nicht mehr als einen Subpixelversatz versetzt ist. Der OIS-Prozessor kann dieses Verfahren wiederholen, um mehrere optische Proben mit mehreren Versätzen zu erfassen. Die optischen Proben können kombiniert werden, um ein Bild mit Superauflösung zu erzeugen.

Description

Gebiet der Erfindung
Ausführungsformen der vorliegenden Erfindung beziehen sich generell auf ein Bilderfassungssystem innerhalb eines Verbraucherelektronikgeräts und insbesondere auf eines mit einem optischen Bildstabilisierungsmechanismus, um einen Strahlengang auf einen Sensor der Kamera zu lenken.
Hintergrund
In der Regel kann eine Kamera ohne zusätzliche Stabilisierungsmittel, wie ein Stativ oder eine ebene Oberfläche, auf der die Kamera ruht, von einem Benutzer bedient werden. Wenn kein zusätzliches Stabilisierungsmittel vorhanden ist, kann das aufgenommene Bild aufgrund von Bewegung der Kamera während des Aufnahmevorgangs verschwommen sein. Zum Beispiel kann ein Benutzer, der eine Kamera hält, während der Aufnahme eines Bildes unwillkürlich zittern, was zu einem verzerrten Bild führt. Diese Verzerrung ist bei allen Bilderfassungsgeräten weit verbreitet, einschließlich bei tragbaren Daten- und Medien-Verbraucherelektronikgeräten, wie Mobiltelefonen, Tablet-Computern, tragbaren Medienabspielgeräten und dergleichen, die in der Regel Bilderfassungsmechanismen aufweisen, die wie Kameras bedient werden können.
Um Verzerrung aus Bewegung während der Aufnahme eines Bilds (z. B. Zittern durch einen Benutzer, der eine Kamera bedient) entgegenzuwirken, kann eine Kamera ein optisches Bildstabilisierungs-(OIS-)System aufweisen. Solch ein OIS-System kann eingesetzt werden, um Kamerabewegung während der Bildaufnahme auszugleichen, um eine Verzerrung des aufgenommenen Bilds zu minimieren. Das OIS-System bewerkstelligt diesen Ausgleich durch Lenken des Strahlengangs zu dem Sensor infolge von Bewegung der Kamera, wie Zittern vom Benutzer, der die Kamera bedient. Dieses OIS-System kann durch Verlagern der Linse selbst implementiert werden oder kann durch Bewegen eines gesamten Moduls, das sowohl Linse als auch Sensor umfasst, implementiert werden, um die Bewegung der Kamera auszugleichen. Bei jeder Implementierung ist es äußerst wichtig, dass das OIS-System das auf den Sensor projizierte Bild stabilisiert, bevor das vom Sensor erfasste Bild in digitale Informationen umgewandelt wird.
Kurze Beschreibung der Zeichnungen
Die Ausführungsformen der Erfindung sind beispielhaft und nicht limitierend in den Figuren der beigefügten Zeichnungen dargestellt, in denen gleiche Bezugszeichen ähnliche Elemente andeuten. Es sollte verstanden werden, dass Bezüge wie „ein” oder „eine” Ausführungsform der Erfindung in dieser Offenbarung sich nicht notwendigerweise auf dieselbe Ausführungsform beziehen und dass sie zumindest eine meinen.
1 ist ein vereinfachtes Blockdiagramm einer Ausführungsform einer Bilderfassungsvorrichtung mit einem optischen Bildstabilisierungs-(OIS-)System.
2A ist ein vereinfachtes Blockdiagramm einer Ausführungsform eines Kameramoduls, das von einem OIS-Prozessor eingestellt werden kann.
2B–C zeigen ein Beispiel einer Ausführungsform des Einstellens des Strahlengangs mit Subpixel-Genauigkeit.
3 ist ein vereinfachtes Blockdiagramm einer Ausführungsform einer Bilderfassungsvorrichtung mit einem OIS-System.
4 ist ein Fließschema, das ein Beispiel einer Ausführungsform eines Verfahrens zum Kalibrieren eines OIS-Prozessors in einer Bilderfassungsvorrichtung zeigt.
5A–C zeigt ein Beispiel der Bilderfassung gemäß einer Ausführungsform der Erfindung.
6A ist ein Fließschema, das ein Beispiel einer Ausführungsform eines Verfahrens zum Erzeugen eines Bilds mit Superauflösung unter Verwendung von optischer Bildstabilisierung zeigt.
6B–F zeigt ein Beispiel einer Ausführungsform zum Projizieren optischer Proben, die mittels optischer Bildstabilisierung erfasst wurden, auf ein hochauflösendes Raster.
7 ist ein Fließschema, das ein Beispiel einer Ausführungsform zur Bestimmung, ob ein Bild mit Superauflösung mithilfe von optischer Bildstabilisierung erzeugt werden soll.
8 ist ein Blockdiagramm, das ein Beispiel einer Ausführungsform einer Anzeige einer Bilderfassungsvorrichtung zeigt.
9 zeigt eine Ausführungsform einer Bilderfassungsvorrichtung mit einem OIS-System.
Detaillierte Beschreibung
Verschiedene Ausführungsformen der Erfindung werden nun mit Bezug auf die beigefügten Zeichnungen erklärt. Die folgende Beschreibung und die Zeichnungen sind für die Erfindung darstellend und sind nicht als die Erfindung begrenzend zu verstehen. Zahlreiche spezifische Details werden beschrieben, um ein gründliches Verständnis von verschiedenen Ausführungsformen der vorliegenden Erfindung bereitzustellen. Jedoch werden in bestimmten Fällen gut bekannte oder herkömmliche Details nicht beschrieben, um eine präzise Diskussion von Ausführungsformen der vorliegenden Erfindungen bereitzustellen.
Bezugnahmen in der Beschreibung auf „eine Ausführungsform” bedeuten, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft, die in Verbindung mit der Ausführungsform beschrieben sind, in zumindest einer Ausführungsform der Erfindung eingeschlossen sein können. Beim Auftreten des Ausdrucks „in einer Ausführungsform” an verschiedenen Stellen in der Beschreibung beziehen sich diese nicht notwendigerweise alle auf dieselbe Ausführungsform.
1 ist ein vereinfachtes Blockdiagramm, das eine Bilderfassungsvorrichtung 100 zeigt, die ein optisches Bildstabilisierungssystem einsetzt. Die Bilderfassungsvorrichtung 100 kann, ohne darauf beschränkt zu sein, eine Digitalkamera oder ein mobiles Multifunktionsgerät sein, wie ein Mobiltelefon, ein Personal Data Assistant, ein mobiles Unterhaltungselektronikgerät, ein Tablet-Computer oder Ähnliches sein. Die Vorrichtung 100 ist nicht auf die aufgezählten Ausführungsformen beschränkt und kann deshalb jedes andere Verbraucherelektronikgerät sein, wie ein Laptop-Computer, ein Desktop-Computer und/oder ein Bildschirm oder sogar ein Fernsehgerät, das ein Kameramodul mit einem optischen Bildstabilisierungssystem beherbergen kann. Der Klarheit halber sind viele Gesichtspunkte der Vorrichtung 100, wie Autofocus und Infrarot-(IR-)Filtermechanismen, in 1 nicht dargestellt.
Die Bilderfassungsvorrichtung 100 weist, ohne darauf beschränkt zu sein, ein Kameramodul 110, ein Betätigungselement 115, einen Positionssensor 120, einen Prozessor für optische Bildstabilisierung (OIS) 125, einen Inertialsensor 130, einen Auslöser 135, einen Anzeigebildschirm 140, einen Speicher 145, einen superauflösenden Engine 150 und einen Prozessor 160. Der Prozessor 160 kann Interaktion zwischen mehreren der Komponenten, die die Vorrichtung 100 umfasst, steuern. Der Prozessor 160 kann jeder geeignet programmierte Prozessor innerhalb der Vorrichtung 100 sein. In einigen Ausführungsformen kann der Prozessor 160 ein primärer Prozessor sein, wie ein Mikroprozessor oder ein Hauptprozessor (nicht dargestellt). Der Prozessor 160 kann mit den anderen dargestellten Komponenten über einen Bus 101 kommunizieren. Der Bus 101 kann jedes Subsystem sein, das zum Übertragen von Daten innerhalb der Vorrichtung 100 ausgelegt ist. Der Bus 101 kann eine Mehrzahl von Computerbussen sein und zusätzliche Schaltkreise aufweisen, um Daten zu übertragen und generell Kommunikation zwischen den Komponenten zu erleichtern.
Im Bezug auf das Kameramodul 110 weist das Kameramodul 110 viele der Komponenten auf, die für die Erfassung eines Bildes notwendig sind, wie eine Linse 112 und einen Bildsensor 111. Die Brennweite des Kameramoduls 112 kann festgelegt werden. In einigen Ausführungsformen beträgt die hintere Brennweite 114 zwischen Linse 112 und Bildsensor 111 weniger als vier (4) Millimeter (mm). Gleichwohl kann die hintere Brennweite 114 auch nur (1) mm oder weniger betragen. Die hintere Brennweite 114 kann durch die z-Höhe des Kameramoduls 110 vorgegeben werden. Ein Infrarot-(IR-)Filter (nicht dargestellt) kann vorhanden sein. In einigen Ausführungsformen weist das Kameramodul 110 ein breites Sichtfeld auf, wie im Bereich von 84° und 64°. Somit kann die Linse 112 auch eine Weitwinkellinse sein. Jedoch kann die Linse 112 in Ausführungsformen, wobei die Linse eine normale Linse oder eine Ultraweitwinkellinse ist, unterschiedliche Sichtfelder bieten. Die Linse 112 kann auch eine relativ niedrige Blendenzahl, wie f/4 oder niedriger, aufweisen.
Der Bildsensor 111 des Kameramoduls 110 kann zum Beispiel eine ladungsgekoppelte Schaltung (CCD) oder ein komplementärer Metalloxidhalbleiter-(CMOS-)Sensor sein. Der Bildsensor 111 sammelt elektrische Signale während einer Erfassungsperiode als Darstellung des Lichts, das entlang eines Strahlengangs (z. B. des Strahlengangs 10) zum Bildsensor 111 verläuft, so dass eine Szene 30 als Bild erfasst werden kann. Die Szene 30 kann als eine oder mehrere Punktquellen 20 erfasst werden. In einigen Ausführungsformen kann der Bildsensor 111 mit einem analogen Frontend (nicht dargestellt) verbunden sein, um die elektrischen Signale zu verarbeiten. Der Bildsensor 111 kann ein Farbfilterarray (CFA) aufweisen, so dass jeder Pixelsensor (nicht dargestellt) des Bildsensors 111 unterschiedliche Farbdaten erfasst. In einigen Ausführungsformen ist das CFA ein Bayer-CFA, das einen Blausensor, einen Rotsensor und zwei Grünsensoren für jeweils vier Pixelsensoren enthält.
Der Bildsensor 111 kann so bedienbar sein, dass aufgrund mehrerer aufeinander folgender Erfassungsperioden mehrere Bilder in Folge erfasst werden (Anm., die Erfassungsperioden können in schneller Abfolge sein). Aufeinander folgende Bilder können Licht, das den Bildsensor 111 erreicht, über Strahlengänge erfassen, die vom Strahlengang 10 abweichen. Die aufeinanderfolgenden Bilder können auch als mehrere Frames einer Szene erfasst werden (z. B. Video). Deshalb kann jedes Bild eindeutige Pixel-(px-)Arraydaten liefern, da Licht einen anderen Strahlengang beim Erreichen des Bildsensors 111 zurückgelegt hat. Somit kann der Bildsensor 111 mehrere Datensätze erfassen, wobei jeder Datensatz unterschiedliche Pixelarraydaten derselben Szene 30 umfasst.
Ein Auslöser 135 kann eine Erfassungsperiode des Bildsensors 111 bewirken. Der Auslöser 135 kann eine Komponente sein, die von einem Benutzeraktiviert wird, wie eine Taste, die am Gehäuse der Bilderfassungsvorrichtung 100 bereitgestellt ist. Alternativ oder zusätzlich zu einer Tasteneingabe kann der Auslöser 135 dem Benutzer durch eine Schnittstelle wie eine Toucheingabe des Anzeigebildschirms 140 bereitgestellt werden, wie es in Mobiltelefonen, mobilen Mediengeräten und Tablet-Computern üblich ist. Der Auslöser 135 kann auch durch andere Mittel betätigt werden, wie durch einen Timer oder ein anderes Auslöseereignis. Ein einziges Betätigen des Auslösers 135 kann zu mehreren Erfassungsperioden führen, z. B. kann die einmalige Betätigung des Auslösers 135 dazu führen, dass der Bildsensor 111 mehrere separate Bilder erfasst.
Mit dem Kameramodul 110 verbunden sind das Betätigungselement 115 und der Positionssensor 120. Der Positionssensor 120 kann ein Hall-Effekt-Positionssensor (wobei er zusätzlich ein oder mehrere Magneten (nicht dargestellt) aufweisen kann), ein Strain-Positionssensor, ein Kapazitanz-Positionssensor oder jeder andere geeignete Positionssensor sein. Der Positionssensor 120 ist mit dem Kameramodul verbunden und kann darin enthalten sein, um Nick- und Gierwinkel des Kameramoduls 110 bereitzustellen. Dementsprechend kann der Richtungswinkel (z. B. die Neigung) des Kameramoduls 110 genau bestimmt werden. Der Richtungswinkel kann den Strahlengang zum Bildsensor 111 beeinflussen. In einigen Ausführungsformen umfasst der Positionssensor 120 mehrere Sensoren, z. B. zwei oder mehr Hall-Elemente.
Das Modulneigungs-Betätigungselement 115 kann den Richtungswinkel (z. B. die Neigung) des Kameramoduls 110 um einen Schwenkungspunkt 113 einstellen, der ein Lager oder eine andere geeignete Komponente sein kann. Das Betätigungselement 115 kann ein Schwingspulenmotor (VCM), eine piezoelektrische Vorrichtung oder ein anderes Betätigungselement sein, das zur Ausführungsform innerhalb einer Bilderfassungsvorrichtung geeignet ist. Vorzugsweise ist das Betätigungselement 115 eines mit überragender Genauigkeit. In einigen Ausführungsformen kann das Betätigungselement 115 bedient werden, um den Richtungswinkel des Kameramoduls 110 von dem Strahlengang 10 zu einem verschobenen Strahlengang (nicht dargestellt) mit einer solchen gesteuerten Präzision einzustellen, dass der Bildsensor 111 ein Bild durch den verschobenen Strahlengang, der von einem ersten Bild versetzt ist, das entlang des Strahlengangs 10 erfasst wurde, durch eine bekannte Subpixelmenge erfassen kann. Zur Steuerung der Verschiebung kann eine Spannung an das Betätigungselement 115 angelegt werden. Um diesen Präzisionsgrad zu verwirklichen, muss das Betätigungselement 115 ausreichend linear und frei von Hysterese sein. In einigen Ausführungsformen umfasst das Betätigungselement 115 mehrere Komponenten, z. B. ein Betätigungselement zum Verschieben des Nickwinkels und ein Betätigungselement zum Verschieben des Gierwinkels.
Um solche Subpixelverschiebungen des Strahlengangs zu bewirken, ist das Betätigungselement 115 kommunikativ mit einem Prozessor für optische Bildstabilisierung (OIS) 125 verbunden. Der OIS-Prozessor 125 kann in Firmware, Software oder Hardware (z. B. als anwendungsspezifische integrierte Schaltung) implementiert sein. Unter normalen Bedingungen kann der OIS-Prozessor 125 das auf den Bildsensor 111 projizierte Bild stabilisieren, bevor der Sensor das Bild in digitale Informationen umwandelt (z. B. durch Lenken des Strahlengangs zum Bildsensor infolge erkannter Bewegung der Vorrichtung 100, wie unwillkürliches Zittern durch den Benutzer, der die Vorrichtung 100 hält). Der OIS-Prozessor 125 kann so eingesetzt werden, dass er die Zeit und das Intervall der Bilderfassung durch den Bildsensor 111 steuert. Zusätzlich zum Stabilisieren eines auf den Bildsensor 111 projizierten Bilds kann der OIS-Prozessor 125 so eingesetzt werden, dass er eine oder mehrere Komponenten (z. B. das Kameramodul 110) verlagert, was durch Anweisen einer Verschiebung Einfluss auf den Strahlengang 10 hat. Die Verschiebung kann bekannt oder vorgegeben sein. In einigen Ausführungsformen kann der OIS-Prozessor 125 so eingesetzt werden, dass er eine Spannung (nicht dargestellt) an das Betätigungselement 115 anlegt, so dass das Betätigungselement 115 den Strahlengang durch Einstellen des Richtungswinkels (z. B. der Neigung) des Kameramoduls 110 (z. B. um einen Schwenkungspunkt 113) verschieben kann. Eine angelegte Spannung kann ein Zentivolt- oder ein Millivoltwert sein, so dass der Strahlengang 10 zum Bildsensor 111 um eine genaue Subpixelmenge verschoben wird. Die angelegte Spannung kann bekannt und/oder vorgegeben sein, so dass die Verschiebung am Strahlengang bekannt oder vorgegeben ist, z. B. kann die angelegte Spannung mit einem Subpixelkoeffizienten berechnet werden. Der OIS-Prozessor 125 kann auch Signale vom Positionssensor 120 empfangen, die den Richtungswinkel (z. B. die Neigung) des Kameramoduls 110, der den Strahlengang 10 beeinflusst, genau angeben.
Der OIS-Prozessor 125 kann einen Algorithmus enthalten, der hervorruft, dass der OIS-Prozessor 125 eine oder mehrere Verschiebungen des Strahlengangs durch Einstellen des Richtungswinkels des Kameramoduls 110 anweist. Der Algorithmus kann diese Verschiebungen zwischen schnellen aufeinander folgenden Erfassungen von Bildern infolge einer einzelnen Aktivierung des Auslösers 135 anweisen. Der Algorithmus kann vorgegebene Werte für jede Verschiebung aufweisen und/oder kann auf Daten vom Betätigungselement 115, dem Positionssensor 120 oder dem Inertialsensor 130 reagieren. In einigen Ausführungsformen ist der Versatz zwischen zwei Bildern, die durch zwei unterschiedliche Strahlengänge erfasst wurden, mit Subpixel-Genauigkeit bekannt, da die angewiesene Verschiebung bekannt ist und gesteuert wird (z. B. kann die Verschiebung vorgegeben sein oder aus einem oder mehreren gespeicherten Subpixelkoeffizienten berechnet werden).
In einigen Ausführungsformen wertet der OIS-Prozessor 125 eine oder mehrere Bedingungen aus, bevor er eine erste angewiesene Verschiebung initiiert. Zum Beispiel kann der OIS-Prozessor 125 Rückmeldung (oder das Fehlen von Rückmeldung) vom Inertialsensor 130 auswerten, um sicherzustellen, dass die Bilderfassungsvorrichtung 100 ungefähr stationär ist, so dass die angewiesenen Verschiebungen Bilder ergeben, die mit Subpixel-Genauigkeit bekannte Versätze aufweisen (z. B. von einem Referenzbild). Außerdem kann der OIS-Prozessor 125 bestimmen, dass ein Modus der Bilderfassungsvorrichtung 100 zum Erfassen mehrerer Bilder mit variierenden Versätzen eingestellt wird (z. B. eine Superauflösungsmodus-Einstellung).
Der OIS-Prozessor 125 kann mit einem Inertialsensor 130 verbunden sein. Der Inertialsensor 130 kann ein Gyroskop, ein Beschleunigungsmesser oder eine Kombination solcher Elemente sein, die eingesetzt werden können, um Winkelgeschwindigkeit oder korrekte Beschleunigungsdaten der Bilderfassungsvorrichtung 100, die das Kameramodul 110 beherbergt, bereitzustellen. Dementsprechend kann der Inertialsensor 130 Nick- und Gierwinkelsignale bereitstellen, die vom OIS-Prozessor 125 verwendet werden können, um eine Verlagerung der Bilderfassungsvorrichtung 100 zu bestimmen.
Wenn der Bildsensor 111 mehrere Bilder der Szene 30 im Anschluss an angewiesene Verschiebungen mit Subpixel-Genauigkeit erfasst, kann der Superauflösungs-(SR-)Engine 150 die mehreren Bilder assimilieren, um ein Bild mit Superauflösung der Szene 30 zu erzeugen. Der SR-Engine 150 kann in einen Bildprozessor oder einen anderen geeigneten digitalen Signalprozessor, der mit dem Bildsensor 111 verbunden ist, integriert sein.
Jedes Bild der mehreren Bilder der Szene 30 kann als optische Probe betrachtet werden, die eine niedrige Auflösung aufweist und die verwendet wird, um eine Darstellung der Szene 30 mit einer höheren Auflösung, als von einer einzelnen optischen Probe geboten wird, zu rekonstruieren (z. B. ein Bild mit Superauflösung). Der SR-Engine 150 kann einen Algorithmus einsetzen, um Informationen von jeder der optischen Proben zu integrieren. Daten von jeder der optischen Proben können verschoben und zusammengefügt werden, um ein dicht abgetastetes Bild zu erzeugen. In einigen Ausführungsformen ermöglicht die gesteuerte und genau bekannte Verschiebung des Strahlengangs für eine optische Probe, dass die optische Probe direkt auf ein hochauflösendes Raster (z. B. eine kartesische Ebene) projiziert wird. In solchen Ausführungsformen ist eine Registrierung der optischen Probe und einer optischen Referenzprobe unnötig, da der Versatz für die optische Probe in Bezug auf die optische Referenzprobe auf der Grundlage der genau bekannten Verschiebung des Strahlengangs bekannt ist. In einigen Ausführungsformen können die optischen Proben registriert und auf ein Subpixelraster interpoliert werden.
Der SR-Engine 150 kann einen Dekonvolutionsalgorithmus anwenden, um die Effekte der Punktspreizfunktion (PSF) zu reduzieren. Der SR-Engine 150 kann zusätzliche Verarbeitungsvorgänge durchführen, um ein Bild mit Superauflösung zu erzeugen, z. B. Weißpunktkorrektur, gamma-Korrektur, Antialiasing und andere Farbverarbeitungsverfahren. Der SR-Engine 150 kann einige Vorgänge austauschen, wiederholen und/oder weglassen (z. B. Dekonvolution, Farbverarbeitung, Projizieren der optischen Proben auf ein hochauflösendes Raster). Effektiv kann der SR-Engine 150 so eingesetzt werden, dass er ein Bild mit Superauflösung aus mehreren optischen Proben (d. h. Bildern, die jeweils eine geringere Auflösung haben) erzeugt. Der SR-Engine 150 kann in Firmware, Software oder Hardware (z. B. als anwendungsspezifische integrierte Schaltung) implementiert sein.
In einigen Ausführungsformen ist der OIS-Prozessor 125 präzise kalibriert, so dass eine angewiesene Verschiebung des Strahlengangs zum Bildsensor 111 ein bekannter Versatz einer optischen Probe von einer anderen optischen Probe in Subpixel-Genauigkeit ist. Zum Beispiel kann eine erste optische Probe, die bei dem Strahlengang 10 erfasst wurde, eine Verschiebung von null (z. B. eine Referenzverschiebung) aufweisen und kann als optische Referenzprobe verwendet werden. Vor dem Erfassen einer zweiten optischen Probe kann der OIS-Prozessor 125 eine Verschiebung des Strahlengangs zum Bildsensor 111 um einen halben (0,5) Pixel nach rechts entlang der Horizontebene (z. B. durch Anlegen einer berechneten oder vorgegebenen Spannung an ein Betätigungselement) anweisen. Deshalb ist der Versatz der zweiten optischen Probe in Bezug auf die optische Referenzprobe bereits bekannt – 0,5 Pixel nach rechts. Dementsprechend kann der SR-Engine 150 ein Registrieren der optischen Proben überspringen, wenn die gesteuerte Verschiebung zwischen jeweiligen optischen Proben bekannt ist. In solchen Ausführungsformen kann der SR-Engine 150 das Bild mit Superauflösung mithilfe irgendeines geeigneten Superauflösungsalgorithmus erzeugen (z. B. Projizieren der optischen Proben direkt auf ein hochauflösendes Raster).
Die Bilderfassungsvorrichtung 100 weist einen Speicher 145 auf, der eingesetzt werden kann, um ein oder mehrere Bilder (z. B. optische Proben), die vom Bildsensor 111 erfasst wurden, zu speichern. Der Speicher 145 kann ein flüchtiger Speicher sein, wie statischer Direktzugriffsspeicher (SRAM) und/oder dynamischer Direktzugriffsspeicher (DRAM). Alternativ oder zusätzlich zu flüchtigem Speicher kann der Speicher 145 nichtflüchtigen Speicher einschließen, wie Festwertspeicher (ROM), Flash-Speicher und dergleichen. Außerdem kann Speicher 145 Wechselspeichervorrichtungen, wie SD-Karten, einschließen. Der Speicher 145 kann zudem Speicher von computerlesbaren Anweisungen, Datenstrukturen, Anwendungsmodulen und anderen Daten für die Bilderfassungsvorrichtung 100 bereitstellen. Dementsprechend kann, obwohl der Speicher 145 als einzelne Komponente dargestellt ist, der Speicher 145 mehrere separate Komponenten (z. B. RAM, Flash, Wechselspeicher usw.) umfassen.
Der Anzeigebildschirm 140 stellt Daten der Bilderfassungsvorrichtung 100 für den Benutzer grafisch dar. Diese Daten können vom Speicher 145 abgerufen werden oder können direkt dargestellt werden (z. B. vom Superauflösungs-Engine 150). Der Anzeigebildschirm 140 kann eine Flüssigkristallanzeige (LCD), Polymer-Leuchtanzeige (LPD) oder eine andere Anzeigetechnologie sein.
In einigen Ausführungsformen ist der Anzeigebildschirm 140 ein kapazitiver oder resistiver Touchscreen und kann für haptischen und/oder taktilen Kontakt mit einem Benutzer empfindlich sein. In solchen Ausführungsformen kann der Anzeigebildschirm 140 eine mehrfachberührungsempfindliche Anzeige umfassen. Dementsprechend kann der Anzeigebildschirm 140 Eingabe von einem Benutzer durch einen Touchscreen (z. B. einen kapazitiven Touchscreen oder einen resistiven Touchscreen) annehmen. In einigen Ausführungsformen, in denen der Anzeigebildschirm 140 Benutzereingaben annimmt, kann dem Benutzer dabei der Auslöser 135 angezeigt werden. Eine Anzeige des Auslösers 135 auf dem Touchscreen muss nicht dauerhaft sein und deshalb nur angezeigt werden, wenn der Bildsensor 111 bereit ist, ein Bild zu erfassen (z. B. wenn die Bilderfassungsvorrichtung 100 im Kameramodus ist).
Die Bilderfassungsvorrichtung 100 kann zusätzliche Mittel für Benutzereingaben über einen Touchscreen hinaus umfassen. Somit können Benutzereingaben durch Tasten (z. B. eine Tastatur), ein Trackpad, einen physischen Schalter oder irgendeine Kombination solcher Komponenten (nicht dargestellt) an der Vorrichtung 100 empfangen werden.
2A zeigt ein Blockdiagramm, das eine Draufsicht eines Kameramoduls 230 mit einem Prozessor für optische Bildstabilisierung 200 darstellt. Die in 2A dargestellten Komponenten können analog zu den in 1 dargestellten sein: ein Kameramodul 230 mit einer Linse 235 kann das Kameramodul 110 mit der Linse 112 sein; Positionssensoren 212, 214 können der Positionssensor 120 sein; Betätigungselemente 222, 224 können das Betätigungselement 115 sein; ein Prozessor für optische Bildstabilisierung (OIS) 200 kann der OIS-Prozessor 125 sein. Der OIS-Prozessor 200 kann so eingesetzt werden, dass er Eingaben von den Positionssensoren 212, 214 empfängt, die die Position (z. B. den Richtungswinkel) des Kameramoduls 230 angeben, die den Strahlengang zum Bildsensor beeinflusst.
Der OIS-Prozessor 200 kann so eingesetzt werden, dass er eine Verschiebung des Kameramoduls 230 entlang der Horizontebene, der Bildebene oder beiden gleichzeitig anweist. Der OIS-Prozessor 200 kann diese Verschiebung durch Aktivieren der Betätigungselemente 222, 224 (z. B. durch Anlegen einer Spannung daran) anweisen. Daraufhin stellen die Betätigungselemente 222, 224 den Richtungswinkel des Kameramoduls 230 ein. Der Richtungswinkel des Kameramoduls kann um die Horizontebene 202 und die Bildebene 204 eingestellt werden. Demzufolge wird der Strahlengang zum Bildsensor verschoben. Die Verschiebung kann in Subpixel-Genauigkeit berechnet werden. Die Betätigungselemente 222, 224 können diese Verschiebung durch Schwenken des Kameramoduls 230 um einen Schwenkungspunkt, wie ein Lager, veranlassen. Eine angewiesene Verschiebung kann ungefähr linear sein, auch wenn das Kameramodul 230 um einen Schwenkungspunkt geneigt ist. Somit kann die Neigung den Strahlengang gerade wahrnehmbar linear verschieben (z. B. kann die Neigung weniger als ein Grad, weniger als eine Bogenminute oder sogar weniger als eine Bogensekunde betragen). Es können andere Komponenten eingesetzt werden, um den Richtungswinkel einzustellen, z. B. können die Betätigungselemente 222, 224 den Richtungswinkel des Kameramoduls 230 mit einer oder mehreren Federn einstellen. In einigen Ausführungsformen kann das OIS-Verfahren 200 eingesetzt werden, um die Eigenschaften einer oder mehrerer Verschiebungen, die vom OIS-Prozessor 200 angewiesen werden, zu bestimmen.
2B und 2C zeigen eine Ausführungsform des Verschiebens des Strahlengangs zum Bildsensor mit Subpixel-Genauigkeit. In den 2B und 2C umfasst ein Bildsensor ein Mikrometerlinsenarray 262, ein Farbfilterarray 264 und ein Pixelsensorarray 266. Der Bildsensor kann der Bildsensor 111 von 1 sein. In 2B verläuft jeder Lichtstrahl 255 entlang eines ersten Strahlengangs 250 durch das optische System zum Pixelsensorarray 266, wo er als elektrisches Signal erfasst wird. Lichtstrahlen 255 können von einer oder mehreren Punktquellen kommen (z. B. der Punktquelle 20 von 1). Wie dargestellt ist, erreichen einige Lichtstrahlen 255 einen ersten Sensor 270, wohingegen andere Lichtstrahlen 255 den zweiten Sensor 272 erreichen. Ein Lichtstrahl 255 muss nicht unbedingt einen Sensor 270, 272 erreichen, obwohl der Strahl die Oberfläche des Mikrometerlinsenarrays 266 erreicht (z. B. verläuft ein Strahl entlang eines ersten Strahlengangs 250, der nicht vom Mikrometerlinsenarray 266 gebrochen wird, zu einem Sensor 270, 272). Die Lichtstrahlen 255, die das Pixelsensorarray 266 erreichen, können als Bild erfasst werden. Das Bild besteht aus elektrischen Signalen, die die Lichtstrahlen 255 darstellen, die den jeweiligen Sensor 270, 272 erreichen.
2C zeigt den Weg des Lichts 255 entlang eines verschobenen Strahlengangs 280, um das Pixelsensorarray 266 zu erreichen. Der verschobene Strahlengang 280 ist vom ersten Strahlengang 250 um 0,5 Pixel verschoben. Jedoch sind andere Verschiebungen um Subpixel und ganze Pixel möglich. In einigen Ausführungsformen kann ein OIS-Prozessor (nicht dargestellt), wie der OIS-Prozessor 125 von 1, eingesetzt werden, um eine Verschiebung des Strahlengangs mit Subpixel-Genauigkeit anzuordnen, wie durch Einstellen des Richtungswinkels (z. B. Neigung) eines Kameramoduls (nicht dargestellt), das den Bildsensor beherbergt. Somit verläuft Licht 255, in 2C dargestellt, entlang des verschobenen Strahlengangs 280, so dass einer der Sensoren 270, 272 unterschiedliche Lichtstrahlen 255 erfassen kann, als von den Sensoren 270, 272 durch den ersten Strahlengang 250 von 2B erfasst werden. Außerdem werden einige Lichtstrahlen 255, die ein Sensor 270, 272 entlang des ersten Strahlengangs 250 erfasst, nicht bei einem Sensor 270, 272 entlang des verschobenen Strahlengangs 280 erfasst. Wie in 2B können die Lichtstrahlen 255, die das Pixelsensorarray 266 in 2C erreichen, als Bild erfasst werden. Das Bild kann unterschiedliche Pixeldaten bieten als ein in 2B erfasstes Bild, da die Lichtstrahlen 255 auf dem Weg entlang des verschobenen Strahlengangs 280 einen anderen Sensor 270, 272 erreichen.
2C zeigt eine Subpixelverschiebung des Strahlengangs zum Bildsensor. Jedoch kann eine angewiesene Verschiebung ungefähr ein Pixel sein. Wenn der verschobene Strahlengang 280 von dem ersten Strahlengang 250 um einen ganzen Pixel verschoben wird, kann Licht 255 einen anderen der Sensoren 270, 272 durch einen anderen Farbfilter des Farbfilterarrays 264 erreichen. Somit können unterschiedliche Farbdaten für Licht 255 erfasst werden.
Bezugnehmend auf 3 ist ein vereinfachtes Blockdiagramm dargestellt, das eine andere Ausführungsform einer Bilderfassungsvorrichtung mit einem OIS-Prozessor zeigt. In der Gesamtheit kann die Bilderfassungsvorrichtung 300 analog zur Bilderfassungsvorrichtung 100 von 1 sein. Deshalb kann die Bilderfassungsvorrichtung 300 ein Kameramodul 310, das dem Kameramodul 110 ähnlich ist, einen Prozessor für optische Bildstabilisierung 325, der der Prozessor für optische Bildstabilisierung 125 sein oder diesen einschließen kann, einen Inertialsensor 335, der der Inertialsensor 130 sein oder diesen einschließen kann, einen Auslöser 340, der der Auslöser 135 sein oder diesen einschließen kann, einen Anzeigebildschirm 345, der der Anzeigebildschirm 140 sein oder diesen einschließen kann, einen Speicher 350, der der Speicher 145 sein oder diesen einschließen kann, einen Superauflösungs-(SR-)Engine 360, der der Superauflösungs-Engine 150 sein oder diesen einschließen kann, einen Bus 301, der der Bus 101 sein oder diesen einschließen kann, und einen Prozessor 355, der der Prozessor 160 sein oder diesen einschließen kann, aufweisen.
In der in 3 gezeigten Ausführungsform ist das Linsenbetätigungselement 320 mit der Linse 312 verbunden. Dementsprechend kann ein Aktivieren des Linsenbetätigungselements 320 durch den Prozessor für optische Bildstabilisierung 325 (z. B. durch Anwenden einer daran angelegten Spannung) den Richtungswinkel ändern, der den Strahlengang beeinflusst, indem die Linse 312 verlagert wird. Das Betätigungselement 320 kann eine oder mehrere Komponenten analog zu den in Bezug auf das Betätigungselement 115 beschriebenen umfassen (z. B. einen Schwingspulenmotor oder eine piezoelektrische Vorrichtung). Das Betätigungselement 320 kann so eingesetzt werden, dass es ausreichend lineare Verlagerungen der Linse 312 über die Horizontebene (z. B. x-Achse) und die Bildebene (z. B. y-Achse) produziert. Analog zu 1 kann das Betätigungselement 320 eingesetzt werden, um den Strahlengang zum Bildsensor 311 mit Subpixel-Genauigkeit zu verschieben. Dazu ist das Betätigungselement 320 vorzugsweise linear und frei von Hysterese. Jedoch verschiebt das Betätigungselement 320 den Strahlengang durch Verlagern der Linse 312.
Der Positionssensor 330 kann eine oder mehrere Komponenten umfassen, die analog zu denen sind, die in Bezug auf den Positionssensor 120 von 1 beschrieben sind (z. B. einen Hall-Sensor, einen Kapazitanzsensor usw.). Jedoch kann der in 3 dargestellte Positionssensor 330 so eingesetzt werden, dass er die Position der Linse 312 (und/oder die Position der Linse 312 in Bezug auf den Bildsensor 311) erkennt.
Der Prozessor für optische Bildstabilisierung (OIS) 325 von 3 kann so eingesetzt werden, dass er eine Verschiebung des Strahlengangs 10 zum Bildsensor 311 durch Anweisen einer Verlagerung der Linse 312 anweist. Der OIS-Prozessor 325 kann so eingesetzt werden, dass er eine genau bekannte Verschiebung anweist, so dass ein Bild entlang des verschobenen Strahlengangs erfasst wird, das von einem Referenzbild, das entlang des Strahlengangs 10 erfasst wurde, um eine bekannte Subpixelmenge versetzt ist. In einigen Ausführungsformen kann der OIS-Prozessor 325 so eingesetzt werden, dass er eine Spannung (nicht dargestellt) an das Betätigungselement 320 anlegt, so dass das Betätigungselement 320 den Richtungswinkel durch Verlagern der Linse 312 auf eine ausreichend lineare Weise einstellen kann. Eine angelegte Spannung kann weniger als ein Zentivolt oder sogar ein Millivolt betragen, so dass der Strahlengang 10 zum Bildsensor 311 um eine Subpixelmenge verschoben wird.
Andere Ausführungsformen einer Bilderfassungsvorrichtung, die einen Prozessor für optische Bildstabilisierung umfasst, sind hierin vorgesehen. Zum Beispiel kann eine Ausführungsform mehrere Komponenten aufweisen, die analog zu den in 1 und 3 dargestellten sind, jedoch kann das Betätigungselement mit dem Bildsensor verbunden sein. Somit kann der CIS-Prozessor so eingesetzt werden, dass er eine Verlagerung des Bildsensors anweist, während die Linse stationär bleibt. Die Komponenten dieser Ausführungsform können zum Umsetzen einer Subpixelverschiebung des Strahlengangs zum Bildsensor ausgelegt sein. Zum Beispiel kann der Positionssensor eine Position des Bildsensors erfassen (im Gegensatz zum Kameramodul oder der Linse). In anderen Ausführungsformen kann der OIS-Prozessor so eingesetzt werden, dass er den Strahlengang zum Bildsensor durch Einstellen eines Prismas, eines anderen Linsenelements oder einer beliebigen ähnlichen Komponente, die der OIS-Prozessor anweist, verschiebt.
Bezugnehmend auf 4 ist nun ein Fließschema dargestellt, das ein Verfahren 400 zum Kalibrieren eines Prozessors für optische Bildstabilisierung (OIS) in einer Bilderfassungsvorrichtung zeigt. Das Verfahren 400 kalibriert den OIS-Prozessor so, dass der OIS-Prozessor (z. B. durch ein Betätigungselement) eine bekannte Verschiebung des Strahlengangs zum Bildsensor anweisen kann. Dieses Verfahren 400 kann in der Bilderfassungsvorrichtung 100 von 1 und/oder der Bilderfassungsvorrichtung 300 von 3 oder einer anderen Vorrichtung, die optische Bildstabilisierung implementiert, durchgeführt werden.
Das Kalibrierungsverfahren 400 kann bei der Herstellung der Vorrichtung, die Verfahren 400 durchführt, durchgeführt werden. Jedoch kann das Kalibrierungsverfahren 400 zu jedem nachfolgenden Zeitpunkt durchgeführt werden. Zum Beispiel kann das Kalibrierungsverfahren 400 notwendig sein, wenn die Vorrichtung herunterfällt und ein oder mehrere Werte (z. B. Federkonstanten) beeinträchtigt sind. Dieses Kalibrierungsverfahren kann infolge von Benutzereingaben durchgeführt werden. Zum Beispiel kann die Vorrichtung dem Benutzer auf einer Anzeige eine Option zum Durchführen des Verfahrens 400 anzeigen. Das Verfahren 400 kann auch automatisch durchgeführt werden, z. B. wenn die Vorrichtung stabil ist und/oder bevor ein Bild mit Superauflösung aufgenommen wird.
Beginnend mit dem Vorgang 410 wird ein erstes Bild erfasst, das die optische Referenzprobe ist. Die optische Referenzprobe stellt räumliche Referenzdaten bereit, mit denen andere optische Proben verglichen werden können. Außerdem können Attribute des OIS-Prozessors, Positionssensors, Betätigungselements und anderer Komponenten im Zusammenhang mit der optischen Referenzprobe aufgezeichnet werden (z. B. Positionssensordaten, Betätigungselementdaten usw.).
Mit Bezug auf eine erfasste optische Referenzprobe werden eine oder mehrere Komponenten (z. B. ein Kameramodul oder eine Linse), die den Strahlengang zum Bildsensor beeinflussen, verschoben (z. B. durch Einstellen des Richtungswinkels durch Neigung oder Verlagerung), was zu einem verschobenen Strahlengang führt (Vorgang 420). Vorzugsweise wird diese Verschiebung vom OIS-Prozessor angewiesen. Zum Beispiel kann der OIS-Prozessor ein Volt an das Betätigungselement anlegen. Daraufhin stellt das Betätigungselement den Richtungswinkel des Kameramoduls um eine Menge und/oder in einer Richtung ein, die der angelegten Spannung entspricht. Demzufolge wird der Strahlengang zum Bildsensor vom ursprünglichen Strahlengang der optischen Referenzprobe verschoben. Bei Vorgang 420 wurde die Verschiebung nicht kalibriert und ist somit nicht mit Subpixel-Genauigkeit bekannt. Obwohl die Menge der Verschiebung (z. B. eine Spannung) angewiesen worden sein kann, ist somit der aus der Verschiebung resultierende Subpixelversatz nicht bekannt.
Bei Vorgang 430 wird eine andere optische Probe erfasst: eine optische Zielprobe. Da das Verfahren 400 vorzugsweise von einer ungefähr stationären Vorrichtung durchgeführt wird, ist die optische Zielprobe von derselben Szene wie die in der optischen Referenzprobe erfasste. Da der Strahlengang zum Bildsensor bei Vorgang 420 verschoben wird, bietet die optische Zielprobe Daten zu der Szene aus dem verschobenen Strahlengang. Zum Beispiel kann es sich bei der optischen Referenzprobe um Referenzpixelarraydaten mit Werten für jeden Pixelsensor des Bildsensors handeln. Als Folge von Vorgang 420 kann die optische Zielprobe Pixelarraydaten mit Werten für jeden Pixelsensor, die von den Werten des ersten Pixelarrays abweichen, umfassen. In einigen Ausführungsformen können Attribute des OIS-Prozessors, Positionssensors, Betätigungselements und anderer Komponenten im Zusammenhang mit der optischen Zielprobe aufgezeichnet werden (z. B. Positionssensordaten, Betätigungselementdaten usw.).
In einer Ausführungsform können die Vorgänge 420 und 430 wiederholt werden, so dass mehrere optische Zielproben erfasst werden. In einer solchen Ausführungsform wird der Strahlengang zum Bildsensor bei Vorgang 420 vor dem Erfassen jeder zusätzlichen optischen Zielprobe bei Vorgang 430 verschoben. Diese Wiederholung kann bei einer Vorrichtung mit mehr als einem Betätigungselement oder bei einer Vorrichtung, die einen Strahlengang entlang zwei Ebenen unabhängig voneinander verschiebt, notwendig sein.
Bei einer optischen Referenzprobe und mindestens einer optischen Zielprobe, die erfasst wurden, fährt das Verfahren 400 mit Bildregistrierung bei Vorgang 440 fort. Hierbei werden die optische Referenzprobe und die optische Zielprobe auf einem Subpixelraster registriert. In einigen Ausführungsformen werden die optischen Proben gemäß einem flächenbasierten Algorithmus mit Kreuzkorrelation auf der Grundlage von Ähnlichkeitsmessungen registriert. Dementsprechend kann ein Subpixelraster interpoliert werden, so dass es die Korrelation zwischen der optischen Referenzprobe und der optischen Zielprobe widerspiegelt. Bilderfassung bei Vorgang 440 erfordert nicht die gesamte optische Referenzprobe und optische Zielprobe. Stattdessen können jeweilige Bereiche der optischen Proben verwendet werden, vorausgesetzt, die Bereiche haben gute Korrelationseigenschaften (z. B. kann ein Bereich einen starken Korrelationspeak aufweisen).
In einer Ausführungsform der Bildregistrierung wird ein Element in der optischen Referenzprobe identifiziert, und der Schwerpunkt des Elements wird in Subpixel-Genauigkeit identifiziert. Das entsprechende Element wird dann in der optischen Zielprobe identifiziert, und der Schwerpunkt des entsprechenden Elements wird in Subpixel-Genauigkeit identifiziert. Es können andere Algorithmen bei Vorgang 440 verwendet werden, wie ein intensitätsbasierter Algorithmus.
Bei Vorgang 450 werden die auf dem Subpixelraster registrierten optischen Proben verwendet, um den Versatz zu berechnen, der durch die angewiesene Verschiebung bei Vorgang 420 entsteht. Der Versatz wird als die Verschiebung der optischen Zielprobe von der optischen Referenzprobe berechnet. Vorzugsweise wird dieser Versatz mit Subpixel-Genauigkeit berechnet. Das obere linke Pixel der optischen Referenzprobe kann den Referenzursprung (0, 0) bereitstellen. Der Versatz kann als einzelne Dezimalzahl berechnet werden (z. B. ein Pixelwert für die lineare Verschiebung entlang einer der Horizontebene und Bildebene). Mehr als ein Versatz kann für einen Versatz entlang einer anderen Achse berechnet werden. In einigen Ausführungsformen wird der Versatz als Vektor oder Koordinatensatz (y, x) berechnet, wobei y der Versatz entlang der Bildebene und x der Versatz entlang der Horizontebene ist. Der Versatz bzw. die Versätze können als Datenstruktur innerhalb der Bilderfassungsvorrichtung gespeichert werden.
Der berechnete Versatz bzw. die berechneten Versätze können verwendet werden, um einen Subpixelkoeffizienten zu berechnen, der es dem OIS-Prozessor ermöglicht, eine Verschiebung des OIS-Prozessors zu einem Subpixelversatz zu ermöglichen (Vorgang 460). Dieser Versatz bringt die angewiesene Verschiebung (z. B. eine durch den OIS-Prozessor an das Betätigungselement angelegte Spannung) mit dem berechneten Versatz (z. B. einem Pixelwert) in Verbindung. In einigen Ausführungsformen ist der Subpixelkoeffizient das Verhältnis von Spannung zu Pixelversatz (V/px). Dieser Subpixelkoeffizient kann dann vom OIS-Prozessor verwendet werden, um eine Verschiebung des Strahlengangs zum Bildsensor um eine bekannte Subpixelmenge genau anzuordnen. Somit wird zum Anweisen eines gewünschten Subpixelversatzes n, n mit dem berechneten Subpixelkoeffizienten multipliziert, um die durch den OIS-Prozessor anzuwendende Spannung zu ergeben. Der Subpixelkoeffizient kann auch verwendet werden, um eine Verschiebung von ungefähr einem Pixel anzuordnen.
Zum Beispiel kann bei Vorgang 420 der OIS-Prozessor ein Volt an das Betätigungselement anlegen, das eine Verschiebung des Strahlengangs zum Bildsensor bewirkt. Der bei Vorgang 450 berechnete Versatz kann 6,5 Pixel betragen, d. h. dass die optische Zielprobe von der optischen Referenzprobe um 6,5 Pixel versetzt ist. Dieser Versatz wird als das Ergebnis des Anlegens von einem Volt an mindestens ein Betätigungselement durch den OIS-Prozessor bei Vorgang 420 berechnet. Deshalb beträgt das Verhältnis von Spannung zu Pixelversatz 1 Volt auf 6,5 Pixel, und entsprechend beträgt der Subpixelkoeffizient 0,154 V/px. Somit gilt für das Anweisen einer bekannten Verschiebung des Strahlengangs um ein halbes Pixel: (0,5 px)(0,154 V/px) = 77 mV.
Während nur ein Subpixelkoeffizient erforderlich sein kann, können einige Ausführungsformen mehrere Subpixelkoeffizienten aufweisen. In Ausführungsformen, die mehrere Betätigungselemente aufweisen, kann für jedes Betätigungselement ein Subpixelkoeffizient erforderlich sein. Ein horizontaler Subpixelkoeffizient kann für das Betätigungselement, das eine Verschiebung im Strahlengang entlang der Horizontebene bewirkt, erforderlich sein, und ein vertikaler Subpixelkoeffizient kann für das Betätigungselement, das eine Verschiebung im Strahlengang entlang der Bildebene bewirkt, erforderlich sein. Wenn ein einzelnes Betätigungselement vorliegt, können mehrere Subpixelkoeffizienten für die Horizont- und Bildebene erforderlich sein.
5A–C zeigen die Registrierung der optischen Referenzprobe und der optischen Zielprobe gemäß einer Ausführungsform des Verfahrens 400 von 4. In 5A und 5B ist die Bilderfassungsvorrichtung, die den Bildsensor beherbergt, stationär und bleibt auf dieselbe Szene gerichtet. In 5A erfasst der Bildsensor die Szene als optische Referenzprobe 510, die aus Referenzpixeln 520 besteht. Danach weist der OIS-Prozessor das Betätigungselement an, eine Verschiebung des Strahlengangs zum Bildsensor zu veranlassen. 5B zeigt das Ergebnis der angewiesenen Verschiebung: Der Bildsensor erfasst dieselbe Szene entlang des verschobenen Strahlengangs als optische Zielprobe 530, die aus Zielpixeln 540 besteht. In einigen Ausführungsformen ist die optische Referenzprobe 510 ein Bereich eines ersten Bilds, und die optische Zielprobe 530 ist ein entsprechender Bereich eines zweiten Bilds, das nach der Verschiebung erfasst wurde.
In 5C werden die Referenzpixel 520 und Zielpixel 540 auf einem Subpixelraster 550 mithilfe der Referenzpixel 520 registriert, so dass das obere linke Referenzpixel 521 am Ursprung des Subpixelrasters registriert wird. In einigen Ausführungsformen werden die Referenzpixel 520 mit den Zielpixeln 440 korreliert. Somit können Referenzpixel 521 mit Zielpixeln 541 korreliert werden, um zu bestimmen, dass die angewiesene Verschiebung durch den OIS-Prozessor einen Subpixelversatz 560 von 6,5 Pixeln nach rechts entlang der Horizontebene und 6,5 Pixeln nach unten entlang der Bildebene ergab. Die zwei Versätze müssen nicht unbedingt die gleiche Zahl aufweisen. Wie vorstehend beschrieben, können unterschiedliche Subpixelkoeffizient horizontalen und vertikalen linearen Verschiebung entsprechen.
Bezugnehmend auf 6A ist nun ein Fließschema dargestellt, das ein Verfahren 600 zum Erzeugen eines Bilds mit Superauflösung aus mehreren Bildern mit niedrigerer Auflösung (z. B. optischen Proben) mithilfe eines optischen Bildstabilisierungs-(OIS-)Systems in einer Bilderfassungsvorrichtung erzeugt. Dieses Verfahren 600 kann in der Bilderfassungsvorrichtung 100 von 1 und/oder der Bilderfassungsvorrichtung 300 von 3 oder einer anderen Vorrichtung, die optische Bildstabilisierung implementiert, durchgeführt werden.
In einigen Ausführungsformen kann die Bilderfassungsvorrichtung, die das Verfahren 600 durchführt, so eingesetzt werden, dass die das Verfahren 400 vor dem Erzeugen des Bilds mit Superauflösung durchführt. Jedoch kann das Verfahren 600 bereits einen oder mehrere Subpixelkoeffizienten aufweisen, die z. B. in einer Datenstruktur in der Bilderfassungsvorrichtung gespeichert sind. In einer Ausführungsform können in der Bilderfassungsvorrichtung präzise Eigenschaften des einen oder der mehreren Betätigungselemente gespeichert sein, die es dem OIS-Prozessor ermöglichen, eine bekannte Verschiebung des Strahlengangs zum Bildsensor anzuordnen. Zum Beispiel können in der Bilderfassungsvorrichtung Werte für eine oder mehrere Spannungen gespeichert sein, die eine oder mehrere Verschiebungen des Strahlengangs mit Subpixel-Genauigkeit anweisen, wenn sie an ein oder mehrere Betätigungselemente angelegt werden. Messungen und/oder Kalibrierung des OIS-Prozessors und des bzw. der Betätigungselemente können bei der Herstellung der Vorrichtung, die das Verfahren 600 durchführt, durchgeführt werden.
Das Verfahren 600 kann durch Eingabe von einem Benutzer der Bilderfassungsvorrichtung ausgelöst werden, wie durch Aktivieren einer Taste für den Auslöser durch den Benutzer oder Auswählen einer Option zur Bilderfassung, die dem Benutzer auf einer Anzeige der Bilderfassungsvorrichtung angezeigt wird. Der OIS-Prozessor kann einen Algorithmus enthalten, um eine oder mehrere Verschiebungen anzuordnen, wie durch Regulieren des Verschiebungsintervalls, der Verschiebungsrichtung und der Anzahl der Verschiebungen.
Beginnend mit Vorgang 610 erfasst die Bilderfassungsvorrichtung eine optische Probe einer Szene. Die erste erfasste optische Probe kann als optische Referenzprobe der Szene verwendet werden, mit der zusätzliche optische Proben kombiniert werden können (z. B. mit einem SR-Engine). In Ausführungsformen mit einem Bayer-CFA erfasst die optische Referenzprobe nur eines von Rot, Grün und Blau an jedem Pixelsensor des Bildsensors. Somit ist es möglich, dass die optische Referenzprobe nicht die vollständigen Farbdaten für die Szene aufweist. Diese optische Referenzprobe kann in einem Speicher gespeichert oder in einem Cache zwischengespeichert werden. In einigen Ausführungsformen wird die optische Referenzprobe einem SR-Engine bereitgestellt, um auf ein hochauflösendes Raster projiziert zu werden.
Der OIS-Prozessor kann den Richtungswinkel (z. B. Modulneigung oder Linsenposition) mit einem oder mehreren Positionssensoren erfassen, so dass eine Referenzposition in Bezug auf den Strahlengang bestimmt wird. Die Referenzposition kann auch Informationen im Zusammenhang mit dem einen oder den mehreren Betätigungselementen enthalten. Diese Referenzposition kann aufbewahrt werden (z. B. in einem Speicher gespeichert, in einem Cache zwischengespeichert usw.). Außerdem kann diese optische Referenzprobe mit Metadaten, die angeben, dass sie die optische Referenzprobe ist, und/oder mit anderen Eigenschaften der Komponenten (z. B. der Position des bzw. der Betätigungselemente, Positionssensoren usw.) gespeichert werden.
Bei Entscheidungsblock 620 wird bestimmt, ob die Probendichte ausreicht, um das Erfassen optischer Proben zu unterbrechen. Diese Bestimmung kann je nach der Ausführungsform variieren. Die Probendichte kann vorgegeben sein, wie durch einen gespeicherten Wert oder eine Datenstruktur, auf die der OIS-Prozessor Zugriff hat, oder kann ein vom Benutzer eingestellter Parameter sein. Einfaches Erfassen einer zweiten optischen Probe bei einem Subpixelversatz reicht aus, um die Probendichte zu erhöhen und deshalb ein Bild mit Superauflösung zu erzeugen. Gleichwohl kann es wünschenswert sein, die Probendichte durch Erfassen zusätzlicher optischer Proben weiter zu erhöhen. Zum Beispiel kann die Pixelprobendichte um den Faktor vier gegenüber den einzelnen niedrig auflösenden optischen Proben, die vom Bildsensor erfasst werden, erhöht werden. Dementsprechend wären optische Proben bei vier unterschiedlichen Subpixelversätzen erforderlich, z. B. eine optische Referenzprobe bei (0, 0), eine erste versetzte optische Probe bei (0, +0,5), eine zweite versetzte optische Probe bei (+0,5, 0) und eine dritte versetzte optische Probe bei (+0,5, +0,5). Der Pixelprobendichtefaktor kann ein gespeicherter Wert sein (z. B. ein Wert, der in einer Datenstruktur des OIS-Prozessors gespeichert ist).
In einigen Ausführungsformen ist es wünschenswert, ein Demosaiken zu minimieren oder ganz zu umgehen (d. h. Rekonstruieren eines vollständigen Farbbilds aus den optischen Proben, die von einem Bildsensor erfasst wurden, überlagert mit einem Farbfilterarray). Um dies zu verwirklichen, muss eine optische Probe bei jedem Versatz (einschließlich der optischen Referenzprobe mit einem Versatz von null) für jede Farbe des CFA erfasst werden. In solchen Ausführungsformen bestimmt der OIS-Prozessor, ob die Farbprobendichte erhöht werden soll (Entscheidungsblock 630). Dieser Entscheidungsblock 630 muss nicht in alle Ausführungsformen aufgenommen werden. Stattdessen kann ein Bild mit Farbsuperauflösung durch Demosaiken interpoliert werden. In Ausführungsformen, die keine vollständige Farbprobennahme beinhalten (weshalb Entscheidungsblock 630 weggelassen wird), fährt das Verfahren 600 direkt mit Vorgang 640 fort.
Bei Vorgang 640 kann der OIS-Prozessor der Vorrichtung, die das Verfahren 600 durchführt, so eingesetzt werden, dass er eine bekannte Verschiebung des Strahlengangs zum Bildsensor durch Einstellen einer oder mehrerer Komponenten (z. B. Verlagern der Linse oder Neigen eines Kameramoduls) anweist. Die angewiesene Verschiebung bei Vorgang 640 ist eine genau bekannte Subpixelverschiebung, die vorgegeben sein oder aus gespeicherten Werten (z. B. einem Subpixelkoeffizienten) berechnet werden kann. Die genau bekannte Verschiebung kann im Zusammenhang mit dem genau bekannten Subpixelversatz stehen; das heißt, die bekannte Verschiebung ergibt eine optische Probe bei einem bekannten Versatz von der optischen Referenzprobe. Die Subpixelverschiebung kann größer als ein Pixel sein, muss jedoch eine Subpixelmenge sein (z. B. 3,2 Pixel, 10,3 Pixel usw.). Der OIS-Prozessor kann so eingesetzt werden, dass er diese genau bekannte Verschiebung auf der Grundlage des in 4 beschriebenen Kalibrierungsverfahrens 400 mithilfe bekannter Eigenschaften der Komponenten, die Einfluss auf den Strahlengang haben (z. B. das Betätigungselement), oder unter Verwendung gespeicherter Werte anweist. In einer Ausführungsform ist die genaue Verschiebung ein gespeicherter Wert (z. B. eine an ein Betätigungselement anzulegende Spannung, die den Betrag und die Richtung der Verschiebung angibt).
Die genau bekannte Subpixelverschiebung kann mit einem Subpixelkoeffizienten, der in einer Datenstruktur gespeichert ist, bei der Vorrichtung, die das Verfahren 600 durchführt, berechnet werden. In einer Ausführungsform kann der OIS-Prozessor einen Subpixelkoeffizienten verwenden, um die Spannung zu berechnen, die an das Betätigungselement bzw. die Betätigungselemente anzulegen ist. Diese Berechnungen können vor dem Durchführen des Verfahrens 600 erfolgen und als Datenstrukturen gespeichert werden. Der OIS-Prozessor kann die Verschiebung aufgrund der Schaltung der optischen Probe anweisen. In einigen Ausführungsformen kann der OIS-Prozessor so eingesetzt werden, dass er die Referenzposition verwendet, um die Subpixelverschiebung zu bestimmen. Alternativ kann der OIS-Prozessor so eingesetzt werden, dass er die aktuellen Positionsinformationen verwendet, um die Subpixelverschiebung zu bestimmen.
Vorzugsweise unterscheidet sich jede vom OIS-Prozessor angewiesene Subpixelverschiebung von jeder der vorherigen Subpixelverschiebungen. In einigen Ausführungsformen bestimmt der OIS-Prozessor die Attribute jeder Subpixelverschiebung, wie Richtung, Ebene, Betrag und Intervall. Somit können eindeutige Pixeldaten der Szene erfasst werden. Zum Beispiel kann eine Punktquelle der Szene in unterschiedlichen optischen Proben durch unterschiedliche Pixeldaten dargestellt werden. In einer einfachen Ausführungsform kann der OIS-Prozessor eine Subpixelverschiebung von einem halben Pixel entlang der Horizontalebene (z. B. (0, +0,5)), der Bildebene (z. B. (+0,5, 0)) oder entlang jeder Ebene (z. B. (+0,5, +0,5)) anweisen. Eigenschaften der angewiesenen Verschiebung können gespeichert und/oder zwischengespeichert werden, um der an der Position erfassten optischen Probe zugeordnet zu werden (z. B. Verschiebungsrichtung, Verschiebungsbetrag, Positionssensordaten, Nummer der Verschiebung in der Sequenz von Verschiebungen usw.).
In Ausführungsformen, wobei die Vorrichtung, die das Verfahren 600 durchführt, den Entscheidungsblock 630 erreicht und die Farbprobendichte zu erhöhen ist, kann der OIS-Prozessor so eingesetzt werden, dass er eine Verschiebung des Strahlengangs zum Bildsensor anweist, um die Farbdichte zu erhöhen (Vorgang 650). Ein Erhöhen der Farbdichte kann ein Verschieben des Strahlengangs in Subpixel- oder Einpixelmengen umfassen. Durch Erfassen einer optischen Probe gemäß einem verschobenen Strahlengang, der von einem ersten Strahlengang um ein Pixel verschoben wurde, kann ein anderer Pixelsensor des Bildsensors andere Farbdaten für die Szene erfassen (z. B. unterschiedliche Farbdaten für dieselbe Punktquelle). In einigen Ausführungsformen bestimmt der OIS-Prozessor die Attribute jeder Farbprobenverschiebung, wie Richtung, Ebene, Betrag und Intervall.
In einer Ausführungsform, wobei das CFA ein Bayer-CFA ist, würden mindestens zwei zusätzliche optische Proben für insgesamt drei optische Proben an jeder Stelle erfasst werden: eine für Rot, eine für Grün und eine für Blau (d. h. die RGB-Werte). Zum Beispiel können zum Erhöhen der Pixelprobendichte um den Faktor vier und auch zum Umgehen von Demosaiken bis zu sechzehn gesamte optische Proben notwendig sein. Vier für die RGB-Werte der optischen Referenzprobe bei (0, 0), (0, +1), (+1, 0), (+1, +1). Vier für die RGB-Werte der ersten versetzten optischen Probe bei (0, +0,5), (0, +1,5), (+1, +0,5), (+1, +0,5). Vier für die RGB-Werte der zweiten versetzten optischen Probe bei (+0,5, 0), (+1,5, +0), (+0,5, +1), (+1,5, +1). Letztlich vier für die RGB-Werte der dritten versetzten optischen Probe bei (+0,5, +0,5), (+0,5, +1,5), (+1,5, +0,5), (+1,5, +1,5). In dieser einfachen Ausführungsform können alle optischen Proben durch Verschiebungen entsprechend einem +0,5-Pixelversatz erfasst werden (da alle Versätze Mehrfache von 0,5 sind). In anderen Ausführungsformen können mehr Verschiebungen notwendig sein.
Der Einpixelversatz zum Erreichen vollständiger Farbproben kann gemäß dem Muster des Bayer-CFA variieren (z. B. RGBG, RGGB usw.). Außerdem kann das implementierte Farbprobendichteverfahren (z. B. Algorithmus) weniger optische Proben für die Farbprobendichte erfassen, um wiederholtes Erfassen optischer Proben mit den Grünwerten an derselben Pixelstelle zu vermeiden. Es können andere Einpixelversätze verwendet werden. In anderen Ausführungsformen können die Einpixelversätze für vollständige Farbproben gemäß dem CFA vorgegeben sein (z. B. RGBW oder CYGM).
Im Anschluss an die durch den OIS-Prozessor angewiesene Verschiebung wird eine zusätzliche optische Probe entlang des verschobenen Strahlengangs erfasst (erneut bei Vorgang 610). Diese zusätzliche optische Probe ist von der optischen Referenzprobe um entweder eine bekannte Subpixelmenge, um die Pixelprobendichte zu erhöhen, um einen Pixel, um die Farbprobendichte zu erhöhen, oder um eine Kombination von sowohl einem Pixel als auch einer Subpixelmenge, um die Farbprobendichte bei der optischen Probe mit Subpixelversatz zu erhöhen, versetzt. Die Position einer optischen Probe kann aufbewahrt werden (z. B. in Speicher gespeichert, in einem Cache zwischengespeichert usw.). In einigen Ausführungsformen wird eine zusätzliche optische Probe einem SR-Engine bereitgestellt, um auf ein hochauflösendes Raster projiziert zu werden.
Eine zusätzliche optische Probe kann zusammen mit Metadaten, die ihren Rang in der Sequenz erfasster Bilder, den Versatz von der optischen Referenzprobe, die Probendichte, auf die sie sich bezieht (d. h. Farbprobendichte, Pixelprobendichte oder beide) angeben, und/oder mit anderen Eigenschaften der Komponenten (z. B. der Position des bzw. der Betätigungselemente, Positionssensoren usw.) gespeichert werden.
Wenn bestimmt wird, dass die Probendichte ausreicht (bei Entscheidungsblock 620), werden die optischen Proben kombiniert, um einen Bild mit höherer Auflösung zu erzeugen (Vorgang 660). Vorgang 660 kann von einem Superauflösungs-(SR-)Engine innerhalb der Vorrichtung, die das Verfahren 600 durchführt, durchgeführt werden. Der SR-Engine kann die optischen Proben durch Projizieren der optischen Proben auf ein hochauflösendes Raster kombinieren. Da der OIS-Prozessor präzise kalibriert ist (z. B. durch ein Kalibrierungsverfahren), um eine genaue Subpixelverschiebung anzuordnen (z. B. sind die Richtung und der Betrag der Subpixelverschiebung bekannt), sind die Versätze jeder optischen Probe bereits bekannt. Im Stand der Technik erfordert ein Projizieren der Bilder mit niedriger Auflösung auf ein hochaufgelöstes Raster zunächst ein Registrieren der Bilder mit niedriger Auflösung auf einem Subpixelraster, so dass der Versatz von einem Referenzbild mit niedriger Auflösung bestimmt werden kann. Demzufolge können Bilder mit niedriger Auflösung nur nach Bildregistrierung auf ein hochauflösendes Raster projiziert werden. Jedoch kann eine Bildregistrierung, in einigen Ausführungsformen von Vorgang 660 weggelassen werden. Durch Anweisen einer genauen Verschiebung einer bekannten Menge (Vorgänge 640 bzw. 650) ist die Registrierung jeder optischen Probe (erfasst bei wiederholtem Durchführen von Vorgang 610) bereits bekannt. Deshalb können, da jede optische Probe unter Verwendung eines konsistenten Koordinatensystems erfasst wird, die optischen Proben direkt auf ein hochauflösendes Raster projiziert werden. In einigen Ausführungsformen kann das Projizieren der optischen Proben auf ein hochauflösendes Raster ein Übereinanderlegen der erfassten optischen Proben umfassen, um die Pixelprobendichte zu erhöhen. Zum Beispiel kann die optische Referenzprobe so auf das hochauflösende Raster projiziert werden, dass jeweils Lücken zwischen Pixeln von der optischen Referenzprobe vorhanden sind. Die Pixel von zusätzlichen optischen Proben, die erfasst wurden, um die Pixelprobendichte zu erhöhen, können auf das hochauflösende Raster projiziert werden, um diese Lücken zu füllen.
In Ausführungsformen, wobei die Farbprobendichte erhöht wird (bei Vorgang 650), kann ein Kombinieren der optischen Proben auch ein Kombinieren der optischen Proben für Farbdichte (z. B. jeder optischen Proben, die neue RGB-Werte umfassen) umfassen. Die optischen Proben für Farbdichte können so mit den optischen Proben für Pixeldichte kombiniert werden, das jedes auf das hochauflösende Raster projizierte Pixel ein Pixel mit vollständiger Farbprobe umfasst. Dementsprechend wird ein Bild mit höherer Auflösung mit vollständigen Proben erzeugt, indem alle optischen Proben kombiniert werden. In einigen Ausführungsformen wird die Farbprobendichte nicht erhöht oder ist nicht vollständig, und deshalb können fehlende Farbproben bei diesem Vorgang 660 interpoliert werden.
Bei Vorgang 670 wird eine Dekonvolution auf das Bild mit höherer Auflösung angewendet, um Unschärfe und Bildfehler durch die Probennahme zu entfernen. Jede optische Probe weist eine gewisse Unschärfe in den Pixeldaten infolge der Punktspreizfunktion auf. Demzufolge weist das Bild mit höherer Auflösung naturgemäß Unschärfe in den optischen Proben auf. Die Punktspreizfunktion (PSF) kann vom SR-Engine unter Verwendung der Blendenzahl, Brennweite, Feldhöhe oder Wellenlängen, die in einer oder mehreren optischen Proben erfasst wurden, gemessen werden. Die gemessene PSF kann eine Schätzung oder Näherung sein. Sobald die PSF gemessen wurde, kann ein Dekonvolutionsalgorithmus auf das Bild mit höherer Auflösung angewendet werden, der die ungefähre Umkehrfunktion der PSF verwendet. In einer Ausführungsform korrigiert der Dekonvolutionsalgorithmus die Unschärfe mithilfe der Frequenzraumtransformation der PSF, H(ω). Da die Umkehrung von H(ω), 1/H(ω), keine geeigneten Bilddaten bei Raumfrequenzen ergibt, bei denen H(ω) nahe null ist, kann der Dekonvolutionsalgorithmus die Wiener Dekonvolution anwenden: 1/[H(ω) + c], wobei c ein Skalarwert zum Erhöhen des Werts des Nenners ist. Der Dekonvolutionskern kann in dem Bild mit höherer Auflösung räumlich variieren, da die Linse oder der Bildsensor mehr Unschärfe produziert, wenn die Feldhöhe zunimmt. Dementsprechend können unterschiedliche Dekonvolutionskerne verwendet werden, um unterschiedliche Bereiche in dem Bild mit höherer Auflösung zu entfalten. In anderen Ausführungsformen kann der Dekonvolutionsalgorithmus Blinddekonvolution oder ein anderes iteratives Verfahren verwenden. Auf diese Weise kann ein von Unschärfe befreites Bild mit höherer Auflösung aus dem Bild mit höherer Auflösung erzeugt werden.
Ein Bild mit Superauflösung wird dann aus dem von Unschärfe befreiten Bild mit höherer Auflösung bei Vorgang 680 erzeugt. Ein SR-Engine kann die Endverarbeitung des von Unschärfe befreiten Bilds mit höherer Auflösung durchführen, um dieses Bild mit Superauflösung zu erzeugen. Die Endverarbeitung kann Weißpunktkorrektur, Abgleich, gamma-Korrektur und andere herkömmliche Farbverarbeitung einschließen. In Ausführungsformen, wobei die Farbprobendichte erhöht wurde, ist zum Erzeugen des Bilds mit Superauflösung kein Demosaiken notwendig. Danach kann das Bild mit Superauflösung dem Benutzer auf einer Anzeige der Bilderfassungsvorrichtung angezeigt, in einem Speicher (z. B. lokalen Speicher, Wechselspeicher) der Bilderfassungsvorrichtung gespeichert oder über ein Netzwerk hochgeladen (z. B. an Cloud-Speicher oder einen Remote-Server gesendet) werden. In einigen Ausführungsformen kann die Bilderfassungsvorrichtung so eingesetzt werden, dass sie das Bild mit Superauflösung gemäß einer Einstellung für den SR-Engine verwaltet (z. B. automatisches Hochladen). Der SR-Engine kann das Bild mit Superauflösung gemäß einer vom Benutzer empfangenen Eingabe verwalten. Zum Beispiel kann die Bilderfassungsvorrichtung dem Benutzer eine Liste von Bildverwaltungsoptionen anzeigen, die der Benutzer auswählen oder modifizieren kann, wie einen Namen für das Bild mit Superauflösung oder einen Speicherort.
6B–6F zeigt das Erfassen und Projizieren der optischen Proben auf ein hochauflösendes Raster, um ein Bild mit Superauflösung gemäß einer Ausführungsform des Verfahrens 600 von 6A zu erzeugen. In 6B bis 6E ist die Bilderfassungsvorrichtung, die den Bildsensor beherbergt, auf dieselbe Szene gerichtet. Jedes Pixel jeder optischen Probe 6100–6430 erfasst jeweils einen Grünwert 6010, einen Rotwert 6020 und einen Blauwert 6030. Die optischen Proben 6100–6430 können in jeder Reihenfolge erfasst werden (z. B. kann die optische Probe 6100 erfasst werden, gefolgt von der optischen Probe 6200, gefolgt von der optischen Probe 6110 und so fort, bis jede optische Probe erfasst wurde). Jede optische Probe 6100–6430 ist nur als drei Pixel mal zwei Pixel dargestellt. Somit soll jede optische Probe 6100–6430 nicht jedes Pixel in einer optischen Probe darstellen, sondern nur einen Bereich entsprechender Pixel, so dass es umliegend zusätzliche Pixel gibt (z. B. einen Bereich nahe der Mitte).
In 6B erfasst der Bildsensor die Szene an einem Referenzstrahlengang als optische Referenzprobe 6100. Pixel, die die optische Referenzprobe 6100 umfassen, sind in 6B ohne Füllmuster und mit einem jeweiligen Grün- 6010, Rot- 6020 oder Blauwert 6030 dargestellt. Danach weist der OIS-Prozessor das Betätigungselement an, eine Verschiebung des Strahlengangs zum Bildsensor um ein Pixel entlang der Horizontebene zu veranlassen, und eine optische Probe der Farbprobendichte 6110 wird erfasst (dargestellt erneut der Grün- 6010, Rot- 6020 oder Blauwert 6030 an jedem Pixelort der Probe 6110). Dieses Verfahren wird wiederholt, um die optischen Proben der Farbprobendichte 6120 und 6130 zu erfassen, wenngleich mit unterschiedlichen Verschiebungen für jede optische Probe, um sicherzustellen, dass die Farbprobendichte ausreicht. Dementsprechend kann jeder Farbwert für die Szene erfasst werden. Jede optische Probe 6110–6430 ist mit einem jeweiligen Versatz vom Referenzstrahlengang 6111, der in der optischen Referenzprobe 6100 dargestellt ist, gezeigt.
Zum Erhöhen der Pixelprobendichte weist der OIS-Prozessor das Betätigungselement an, eine Verschiebung des Strahlengangs zum Bildsensor um ein halbes Pixel nach rechts entlang der Horizontebene zu veranlassen. Hierbei erfasst der Bildsensor die Szene als erste optische Probe der Pixelprobendichte 6200 in 6C. Pixel, die die erste optische Probe der Pixelprobendichte 6200 umfassen, sind in 6C mit vertikalen Streifen und mit einem jeweiligen Grün- 6010, Rot- 6020 oder Blauwert 6030 veranschaulicht. Danach weist der OIS-Prozessor das Betätigungselement an, eine Verschiebung des Strahlengangs zum Bildsensor um ein Pixel entlang der Horizontebene zu veranlassen, und eine optische Probe der Farbprobendichte 6210 wird erfasst (dargestellt erneut der Grün- 6010, Rot- 6020 oder Blauwert 6030 an jedem Pixelort). Dieses Verfahren wird wiederholt, um die optischen Proben der Farbprobendichte 6220 und 6230 zu erfassen, wenngleich mit unterschiedlichen Verschiebungen für jede optische Probe, um sicherzustellen, dass die Farbprobendichte ausreicht. Dementsprechend wird jeder Farbwert für die Szene erfasst. 6D und 6E zeigen optische Proben, die auf eine Weise analog zu der in Bezug auf 6B und 6C dargestellten erfasst wurden (die jeweils aus Pixeln mit horizontalen Streifen bzw. diagonalen Streifen bestehen). Jedoch variiert der Versatz jeder optischen Probe in der Folge optischer Proben 6300–6430 gemäß der angewiesenen Verschiebung, z. B. kann der OIS-Prozessor eine 1,5-Pixel-Verschiebung entlang der Bildebene und keine Verschiebung entlang der Horizontebene zum Erfassen der optischen Probe 6320 anweisen.
In 6F werden die optischen Proben auf ein hochauflösendes Raster 6500 projiziert. Während das hochauflösende Raster 6500 als kartesische Ebene von x- und y-Koordinaten dargestellt ist, können die optischen Proben auf andere Koordinatenebenen, wie Polar- oder Kreiskoordinaten, projiziert werden. Die optischen Proben können direkt auf das hochauflösende Raster projiziert werden, wobei Bildregistrierung bei einem groben Pixel- und/oder Subpixelraster umgangen wird. Da der OIS-Prozessor präzise kalibriert ist (z. B. durch ein Kalibrierungsverfahren), um eine genaue Subpixelverschiebung anzuordnen (z. B. werden die Richtung und der Betrag der Subpixelverschiebung gesteuert), sind die Versätze jeder optischen Probe bereits bekannt (aufeinander bezogen oder auf die optische Referenzprobe bezogen).
Die optischen Proben können so auf das hochauflösende Raster 6500 projiziert werden, dass die Pixel der optischen Proben der Pixelprobendichte 6200–6430 an Stellen zwischen den Pixeln der optische Referenzproben auf das Raster 6500 projiziert werden können. Zunächst kann die optische Referenzprobe 6100 auf das hochauflösende Raster 6500 projiziert werden. Das obere linke Pixel 6101 kann auf eine Ursprungskoordinate (x = 0, y = 0) des hochauflösenden Rasters 6500 projiziert werden. Danach kann das projizierte Ursprungspixel mit den eindeutigen Farbdaten aus den entsprechenden Pixeln (hier den oberen linken Pixeln) der optischen Referenzproben Farbdichte 6110, 6120 und 6130 kombiniert werden, so dass das projizierte Pixel am Ursprung vollständige Werte für Rot, Grün und Blau aufweist (Anm. ein Grün- 6010, Rot- 6020 oder Blauwert 6030 ist beim letzten Pixel, das auf das hochauflösende Raster 6500 projiziert wird, nicht vorhanden, um anzugeben, dass die Probennahme für das Pixel für jede Farbe abgeschlossen ist).
Ähnlich kann das untere rechte Pixel 6102 auf die Koordinate (x = 3, y = 5) des hochauflösenden Rasters 6500 projiziert werden. Danach kann dieses projizierte Pixel mit den eindeutigen Farbdaten von den entsprechenden Pixeln (hier den unteren rechten Pixeln) der optischen Referenzproben der Farbdichte 6110, 6120 und 6130 kombiniert werden, so dass das Pixel, das auf Koordinate (x = 3, y = 5) projiziert wurde, vollständige Werte für Rot, Grün und Blau aufweist. Dementsprechend kann jedes Pixel von der optischen Referenzprobe auf das hochauflösende Raster 6500 projiziert werden, und jedes jeweilige Pixel kann vollständige Farbdaten aufweisen. Auf diese Weise wird jedes Pixel der optischen Referenzprobe 6100 mit vollständigen Farbdaten auf das Raster 6500 projiziert.
Jede optische Probe der Pixeldichte 6200–6430 kann dann auf das Raster 6500 projiziert werden, um das Bild mit hoher Auflösung zu vervollständigen. Die erste optische Probe der Pixelprobendichte 6200 wird auf das Raster 6500 projiziert. Da der Subpixelversatz der optischen Probe 6200 genau bekannt ist, kann Pixel 6201 auf Koordinate (x = 1, y = 0) auf dem Raster 6500 projiziert werden. Danach kann dieses projizierte Pixel mit den eindeutigen Farbdaten von den Pixeln der optischen Proben der Farbdichte 6210, 6220 und 6230 kombiniert werden, so dass das auf Koordinate (x = 1, y = 0) projizierte Pixel vollständige Werte für Rot, Grün und Blau aufweist. Auf diese Weise kann jedes Pixel von den optischen Proben 6200–6430 auf das hochauflösende Raster 6500 projiziert werden, und jedes jeweilige Pixel kann vollständige Farbdaten aufweisen (Anm. ein Grün- 6010, Rot- 6020 oder Blauwert 6030 fehlt bei jedem letzten Pixel, das auf das hochauflösende Raster 6500 projiziert wird, um anzugeben, dass das Pixel für jede Farbe vollständig abgetastet ist). Das vervollständigte hochauflösende Raster 6500 stellt ein vollständig abgetastetes Bild mit hoher Auflösung dar, das dann ohne Demosaiken verarbeitet werden kann (z. B. durch Dekonvolution und Farbverarbeitung), um ein Bild mit Superauflösung zu erzeugen.
In einigen Ausführungsformen kann eine Bilderfassungsvorrichtung nur zum Erzeugen eines Bilds mit Superauflösung eingesetzt werden, wenn eine oder mehrere Bedingungen erfüllt sind. 7 zeigt ein Verfahren 700, das die Erzeugung eines Bilds mit Superauflösung besagen kann. Das Verfahren 600 von 6A kann mit dem Verfahren 700 von 7 verbunden sein. Das Verfahren 700 kann in der Bilderfassungsvorrichtung 100 von 1 und/oder der Bilderfassungsvorrichtung 300 von 3 oder einer anderen Vorrichtung, die optische Bildstabilisierung implementiert, durchgeführt werden.
Das Verfahren kann 700 kann durch Eingabe von einem Benutzer der Bilderfassungsvorrichtung ausgelöst werden, die anzeigt, dass der Benutzer möchte, dass die Bilderfassungsvorrichtung ein Bild mit Superauflösung erzeugt (z. B. durch Verfahren 600). Somit kann der Benutzer veranlassen, dass die Bilderfassungsvorrichtung das Verfahren 700 durchführt, indem er eine Taste für den Auslöser aktiviert oder eine Option zur Bildaufnahme, die dem Benutzer auf einer Anzeige der Bilderfassungsvorrichtung dargestellt wird, auswählt.
In einigen Ausführungsformen muss die Bilderfassungsvorrichtung ungefähr stationär sein, damit der OIS-Prozessor genau bekannte Subpixelverschiebungen anweist. Wenn der Strahlengang zum Bildsensor variiert wird (z. B. wenn der Benutzer die Bilderfassungsvorrichtung bewegt), während die Bilderfassungsvorrichtung optische Proben erfasst, dann müssen die optischen Proben möglicherweise registriert werden, um die optischen Proben auf ein hochauflösendes Raster zu projizieren, oder der Benutzer kann den Strahlengang um eine solche Menge variieren, dass Bildregistrierung der optischen Proben unmöglich ist. Deshalb beginnt das Verfahren 700 mit dem Bestimmen, ob die Bilderfassungsvorrichtung ungefähr stationär ist (Entscheidungsblock 710). Diese Bewertung kann von dem Ausgang eines Inertialsensors (der ein Gyroskop und/oder einen Beschleunigungsmesser umfassen kann) innerhalb der Bilderfassungsvorrichtung abhängig sein. Ein OIS-Prozessor innerhalb der Bilderfassungsvorrichtung kann Eingaben vom Inertialsensor empfangen und bewerten, ob die Eingabe bei oder jenseits eines vorgegebenen Schwellenwerts liegt, der angibt, dass die Bilderfassungsvorrichtung nicht ungefähr stationär ist. Der OIS-Prozessor kann diese Bewertung auch in Abwesenheit von Eingaben vornehmen, z. B. wenn keine Spannung vom Inertialsensor empfangen wurde, kann der OIS-Prozessor bestimmen, ob die Vorrichtung ungefähr stationär ist. In einigen Ausführungsformen kann diese Bewertung (Entscheidungsblock 710) auf anderen Faktoren beruhen, wie einem Positionssensor oder elektrischen Signalen, die an einem Bildsensor der Bilderfassungsvorrichtung empfangen werden.
Wenn bestimmt wird, dass die Bilderfassungsvorrichtung nicht ungefähr stationär ist, kann die Bilderfassungsvorrichtung so einsetzbar sein, dass sie den Benutzer benachrichtigt (Vorgang 720). Die Bilderfassungsvorrichtung kann dem Benutzer eine Benachrichtigung auf einer Anzeige der Vorrichtung anzeigen, die angibt, dass die Vorrichtung nicht stationär genug ist, um ein Bild mit Superauflösung aufzunehmen. Der Benutzer muss dann vor erneutem Aktivieren des Auslösers möglicherweise die Vorrichtung stabilisieren, so dass sie stationär genug ist. In einigen Ausführungsformen kann dem Benutzer eine akustische Benachrichtigung präsentiert werden.
Wenn bestimmt wird, dass die Bilderfassungsvorrichtung ungefähr stationär ist, kann die Bilderfassungsvorrichtung mit dem Erzeugen eines Bilds mit Superauflösung fortfahren, wie durch Verfahren 600 von 6A dargestellt.
In einigen Ausführungsformen muss die Bilderfassungsvorrichtung für das Erzeugen eines Bilds mit Superauflösung eingestellt werden. Diese Einstellung kann infolge einer Benutzereingabe, wie durch Anzeigen einer Option zum Erzeugen eines Bilds mit Superauflösung für den Benutzer, aktiviert werden. 8 zeigt eine Ausführungsform dieser Einstellung. Die Bilderfassungsvorrichtung kann eine Option zum Aktivieren eines Superauflösungsmodus auf einer Anzeige der Vorrichtung 800 anzeigen. Die Vorrichtung kann eine Benutzereingabe empfangen, die angibt, dass der Benutzer ein Bild mit Superauflösung erzeugen möchte, wie durch Aktivieren einer Superauflösungsmodus-Aktivierungseinheit 810. In einigen Ausführungsformen kann die Benutzereingabe zum Aktivieren des Superauflösungsmodus durch andere Mittel empfangen werden, wie eine Taste, einen Schalter oder eine andere taktile Komponente. In einigen Ausführungsformen muss die Vorrichtung zunächst als Kamera eingesetzt werden können (z. B. im Kameramodus), damit die Vorrichtung die Superauflösungsmodus-Aktivierungseinheit 810 anzeigt. Wenn der Benutzer den Superauflösungsmodus aktiviert hat, kann die Vorrichtung eine Eingabe vom Benutzer empfangen, um mit dem Erfassen optischer Proben zu beginnen. Diese Eingabe kann empfangen werden, wenn der Benutzer den Auslöser 820 drückt.
Bezugnehmend auf 9 ist nun ein Blockdiagramm dargestellt, das eine Ausführungsform einer Bilderfassungsvorrichtung 900 zeigt. Die Bilderfassungsvorrichtung 900 zeigt das Gehäuse für die Komponenten einer Bilderfassungsvorrichtung, die optische Bildstabilisierung implementiert. Eine Linse 910 der Bilderfassungsvorrichtung 900 ist hier als vom Gehäuse sichtbar dargestellt. Diese Bilderfassungsvorrichtung 910 kann das Gehäuse der Bilderfassungsvorrichtung 100 von 1 und/oder der Bilderfassungsvorrichtung 300 von 3 oder einer anderen Vorrichtung, die optische Bildstabilisierung implementiert, sein.
Einige Abschnitte der vorstehenden ausführlichen Beschreibungen wurden als Algorithmen und symbolische Darstellungen von Vorgängen an Datenbits innerhalb eines Computerspeichers dargestellt. Diese algorithmischen Beschreibungen und Darstellungen sind die Wege, die von Fachleuten im Bereich der Datenverarbeitung verwendet werden, um die Substanz ihrer Arbeit am effektivsten anderen Fachleuten zu vermitteln. Ein Algorithmus wird hier, und im Allgemeinen, als eine selbstständige Sequenz von Vorgängen, die zu einem gewünschten Ergebnis führen, verstanden. Die Vorgänge sind jene, die physikalische Manipulationen von physikalischen Mengen erfordern.
Es sollte jedoch beachtet werden, dass all diese und ähnliche Begriffe mit den zugehörigen physikalischen Mengen verbunden sein müssen und lediglich für diese Quantitäten geeignete und angewendete Kennungen sind. Sofern aus der vorstehenden Erörterung nicht ausdrücklich etwas anderes hervorgeht, wird angenommen, dass sich in der gesamten Beschreibung Erörterungen unter Verwendung von Begriffen wie den in den nachstehenden Ansprüchen dargelegten auf den Vorgang und die Verfahren eines Computersystems oder einer ähnlichen elektronischen Computervorrichtung beziehen, die Daten, die als physikalische (elektronische) Mengen innerhalb der Register und Speicher des Computersystems dargestellt sind, manipuliert und in andere Daten, die ähnlich als physikalische Mengen innerhalb der Speicher oder Register des Computersystems oder anderer solcher Informationsspeicherungs-, Übertragungs- oder Anzeigevorrichtungen dargestellt sind, umwandelt.
Ausführungsformen der Erfindung betreffen auch eine Vorrichtung zum Durchführen der hier beschriebenen Vorgänge. Ein solches Computerprogramm wird in einem nichttransitorischen computerlesbaren Medium gespeichert. Ein maschinenlesbares Medium schließt jeden Mechanismus zum Speichern von Informationen in einer von einer Maschine (z. B. einem Computer) lesbaren Form ein. Zum Beispiel schließt ein maschinenlesbares (z. B. computerlesbares) Medium ein maschinenlesbares (z. B. ein computerlesbares) Speichermedium (z. B. Festwertspeicher („ROM”), Direktzugriffsspeicher („RAM”), Magnetplattenspeichermedien, optische Speichermedien, Flash-Speicher-Vorrichtungen) ein.
Die Verfahren oder Methoden, die in den vorstehenden Figuren abgebildet sind, können durch Verarbeitungslogik, die Hardware (z. B. Schaltkreise, dedizierte Logik usw.), Software (z. B. auf einem nichttransitorischen computerlesbaren Medium ausgeführt) oder eine Kombination von beidem umfasst, durchgeführt werden. Obwohl die Verfahren oder Methoden vorstehend in Bezug auf einige aufeinander folgende Vorgänge beschrieben sind, sollte es sich verstehen, dass einige der beschriebenen Vorgänge in einer anderen Reihenfolge durchgeführt werden können. Zudem können einige Vorgänge parallel statt nacheinander durchgeführt werden.
Ausführungsformen der vorliegenden Erfindung sind nicht in Bezug auf eine bestimmte Programmiersprache beschrieben. Es versteht sich, dass eine Vielfalt von Programmiersprachen verwendet werden kann, um die Lehren von Ausführungsformen der Erfindung, wie hierin beschrieben, zu implementieren.
In der vorstehenden Beschreibung wurden Ausführungsformen der Erfindung in Bezug auf konkrete beispielhafte Ausführungsformen davon beschrieben. Es ist offensichtlich, dass verschiedene Modifikationen daran vorgenommen werden können, ohne vom weiteren Geist und Umfang der Erfindung, wie in den folgenden Ansprüchen dargelegt, abzuweichen. Die Beschreibung und Zeichnungen sind dementsprechend als darstellend und nicht als einschränkend anzusehen.

Claims

Bilderfassungsvorrichtung, umfassend: einen elektronischen Bildsensor, der so eingesetzt werden kann, dass er mehrere optische Proben erfasst; einen Prozessor für optische Bildstabilisierung (OIS) zum Anweisen mehrerer Verschiebungen des Strahlengangs zum elektronischen Bildsensor, wobei jede Verschiebung einem von mehreren bekannten Subpixelversätzen entspricht; einen Steuerschaltkreis zum Aktivieren des elektronischen Bildsensors und zum Veranlassen, dass der OIS-Prozessor eine jeweilige Verschiebung des Strahlengangs zum elektronischen Bildsensor zwischen jeder Erfassung jeder optischen Probe anweist, so dass ein jeweiliger Probenversatz für jede optische Probe von den mehreren bekannt ist.
Bilderfassungsvorrichtung nach Anspruch 1, ferner umfassend: eine Linse, durch die der Strahlengang verläuft; und ein Kameramodul zum Beherbergen der Linse und des elektronischen Bildsensors.
Bilderfassungsvorrichtung nach Anspruch 2, wobei der OIS-Prozessor eine Verschiebung des Strahlengangs zum elektronischen Bildsensor durch Verlagern der Linse anweist.
Bilderfassungsvorrichtung nach Anspruch 2, wobei der OIS-Prozessor eine Verschiebung des Strahlengangs zum elektronischen Bildsensor durch Neigen des Kameramoduls anweist.
Bilderfassungsvorrichtung nach Anspruch 1, wobei eine erste erfasste optische Probe eine optische Referenzprobe ist und wobei der jeweilige Probenversatz für jede optische Probe von den mehreren in Bezug auf die optische Referenzprobe stattfindet.
Bilderfassungsvorrichtung nach Anspruch 2, wobei eine hintere Brennweite des Kameramoduls bei nicht mehr als vier Millimeter festgelegt ist und eine Blendenzahl des Kameramoduls nicht mehr als vier beträgt.
Bilderfassungsvorrichtung nach Anspruch 2, wobei der OIS-Prozessor eine Verschiebung des Strahlengangs zum elektronischen Bildsensor durch Anlegen einer bekannten Spannung an ein Betätigungselement anweist, das so eingesetzt werden kann, dass es entweder das Kameramodul neigt oder die Linse verlagert, wobei die an das Betätigungselement angelegte Spannung eine Größenordnung des Neigens des Kameramoduls bzw. des Verlagerns der Linse bestimmt.
Bilderfassungsvorrichtung nach Anspruch 7, wobei die bekannte Spannung das Produkt eines Subpixelverschiebungskoeffizienten und einer vorgegebenen Subpixelverschiebungsmenge ist.
Bilderfassungsvorrichtung nach Anspruch 1, wobei der Steuerschaltkreis ferner mit einem Inertialsensor bestimmen soll, dass die Bilderfassungsvorrichtung stationär ist, und den OIS-Prozessor infolge des Bestimmens, dass die Bilderfassungsvorrichtung stationär ist, aktivieren soll.
Bilderfassungsvorrichtung nach Anspruch 5, wobei die mehreren bekannten Verschiebungen eine erste Verschiebung entsprechend einem halben Pixel entlang einer Horizontebene und eine zweite Verschiebung entsprechend einem halben Pixel entlang einer Bildebene umfassen.
Bilderfassungsvorrichtung nach Anspruch 5, wobei der Steuerschaltkreis eine jeweilige Verschiebung anweist, so dass ein Versatzpixel einer versetzten optischen Probe, der einem Referenzpixel der optischen Referenzprobe entspricht, andere Farbdaten umfasst.
Bilderfassungsvorrichtung nach Anspruch 1, ferner umfassend: einen Superauflösungsschaltkreis, der so eingesetzt werden kann, dass er die optischen Proben kombiniert, um ein Bild mit Superauflösung zu erzeugen.
Herstellungsartikel, umfassend ein nichttransitorisches maschinenlesbares Speichermedium, in dem ausführbare Programmanweisungen gespeichert sind, die eine Bilderfassungsvorrichtung zu Folgendem programmieren: Erfassen einer ersten optischen Probe entlang eines ersten Strahlengangs mithilfe eines Bildsensors; Anweisen einer bekannten Verschiebung am Strahlengang mithilfe eines Prozessors für optische Bildstabilisierung (OIS), wobei die bekannte Verschiebung einem Subpixelversatz entspricht; Erfassen einer zweiten optischen Probe durch den verschobenen Strahlengang mithilfe des Bildsensors, so dass die zweite optische Probe von der ersten optischen Probe um den Subpixelversatz versetzt ist; und Kombinieren der ersten optischen Probe und der zweiten optischen Probe, um ein Bild mit Superauflösung zu erzeugen.
Vorrichtung nach Anspruch 13, ferner umfassend Anweisungen, die die Bilderfassungsvorrichtung zu Folgendem programmieren: Kalibrieren des OIS-Prozessors auf Subpixel-Genauigkeit, wobei die Anweisungen, die die Bilderfassungsvorrichtung zum Kalibrieren des OIS-Prozessors auf Subpixel-Genauigkeit programmieren, Anweisungen umfassen zum: Erfassen einer optischen Referenzprobe entlang eines Referenzstrahlengangs mithilfe des Bildsensors; Anweisen mithilfe eines Prozessors für optische Bildstabilisierung (OIS) einer nicht kalibrierten Verschiebung am Strahlengang vom Referenzstrahlengang zu einem Zielstrahlengang, wobei die nicht kalibrierte Verschiebung nicht in Zusammenhang mit einem bekannten Subpixelversatz steht; Erfassen einer optischen Zielprobe entlang des Zielstrahlengangs mithilfe des Bildsensors; Bestimmen eines Kalibrierungsversatzes der optischen Zielprobe von der optischen Referenzprobe mit Subpixel-Genauigkeit durch Registrieren der optischen Referenzprobe und der optischen Zielprobe auf einem Subpixelraster; und Berechnen eines Subpixelkoeffizienten mithilfe der nicht kalibrierten Verschiebung und des Kalibrierungsversatzes.
Vorrichtung nach Anspruch 14, wobei der Subpixelkoeffizient als Quotient einer durch den OIS-Prozessor an ein Betätigungselement angelegten Spannung geteilt. durch den Kalibrierungsversatz berechnet wird.
Verfahren zum Erfassen eines Bilds mit Superauflösung mithilfe einer Bilderfassungsvorrichtung, umfassend: Erfassen einer ersten optischen Probe mithilfe eines Bildsensors durch einen Strahlengang zum Bildsensor; Anweisen einer ersten kalibrierten Verschiebung des Strahlengangs zum Bildsensor durch einen Prozessor für optische Bildstabilisierung (OIS), wobei die erste kalibrierte Verschiebung im Zusammenhang mit einem Subpixelversatz steht; Erfassen einer zweiten optischen Probe durch den ersten verschobenen Strahlengang mithilfe des Bildsensors, so dass die zweite optische Probe von der ersten optischen Probe um den Subpixelversatz versetzt ist; und Kombinieren der ersten optischen Probe und der zweiten optischen Probe, um ein Bild mit hoher Probendichte zu erzeugen.
Verfahren nach Anspruch 16, ferner umfassend: Anweisen einer zweiten kalibrierten Verschiebung des Strahlengangs zum Bildsensor durch den Prozessor für optische Bildstabilisierung (OIS), wobei die zweite kalibrierte Verschiebung im Zusammenhang mit einem Einpixelversatz steht; Erfassen einer dritten optischen Probe durch den zweiten verschobenen Strahlengang mithilfe des Bildsensors, so dass die dritte optische Probe von der ersten optischen Probe um ungefähr ein Pixel versetzt ist; und Kombinieren der ersten, zweiten und dritten optischen Probe, um die Probendichte des Bilds mit hoher Probendichte zu erhöhen.
Verfahren nach Anspruch 16, ferner umfassend: Anweisen mehrerer kalibrierter Verschiebungen des Strahlengangs zum Bildsensor durch den Prozessor für optische Bildstabilisierung (OIS), wobei eine jeweilige kalibrierte Verschiebung im Zusammenhang mit einem jeweiligen Versatz steht; Erfassen mehrerer optischer Proben mithilfe des Bildsensors durch die mehreren verschobenen Strahlengänge, wobei eine jeweilige optische Probe von der ersten optischen Probe um den jeweiligen Versatz versetzt ist.
Verfahren nach Anspruch 18, ferner umfassend: Kombinieren der ersten optischen Probe, der zweiten optischen Probe und der mehreren optischen Proben, um das Bild mit hoher Probendichte zu erzeugen; und Erzeugen eines Bilds mit Superauflösung mit vollständiger Probennahme aus dem Bild mit hoher Probendichte, wobei das Bild mit hoher Probendichte nicht demosaikt ist.
Verfahren nach Anspruch 18, wobei die erste optische Probe, die zweite optische Probe und die mehreren optischen Proben kombiniert werden, um das Bild mit hoher Probendichte zu erzeugen, ohne die erste optische Probe, die zweite optische Probe und die mehreren optischen Proben auf einem Subpixelraster zu registrieren.