DE102012016160A1

DE102012016160A1 - Bilderfassung für eine spätere Nachfokussierung oder Fokusmanipulation

Info

Publication number: DE102012016160A1
Application number: DE102012016160A
Authority: DE
Inventors: Meir Tzur
Original assignee: CSR Technology Inc
Current assignee: Qualcomm Inc
Priority date: 2011-08-18
Filing date: 2012-08-14
Publication date: 2013-02-21
Also published as: GB2494249A; GB201214349D0; US20130044254A1; US9501834B2; GB2494249B

Abstract

Ein System, Verfahren und Computerprogrammprodukt zum Erfassen von Bildern für das spätere Nachfokussieren. Ausführungsformen schätzen eine Distanzkarte für eine Szene, bestimmen eine Anzahl von Haupttiefen, erfassen eine Menge von Bildern, wobei jedes Bild auf eine der Haupttiefen fokussiert ist, und verarbeiten erfasste Bilder, um ein Ausgabebild herzustellen. Die Szene wird in Gebiete unterteilt, und die Tiefenkarte stellt Gebietstiefen entsprechend einer jeweiligen Fokusstufe dar. Einträge mit einem speziellen Fokusstufenwert werden in einem Histogramm platziert, und Tiefen mit den meisten Einträgen werden als die Haupttiefen ausgewählt. Ausführungsformen können auch Szenenbereiche mit wichtigen Objekten identifizieren und verschiedene wichtige Objekttiefen in den Haupttiefen enthalten. Erfasste Bilder können gemäß der Benutzereingabe ausgewählt und ausgerichtet und dann unter Verwendung von Mischfunktionen verknüpft werden, die nur Szenengebiete begünstigen, die in bestimmten erfassten Bildern fokussiert sind.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung basiert auf und beansprucht den Vorzug unter 35 U. S. C. 119(e) der am 18. August 2011 eingereichten, eigenen vorläufigen US-Anmeldung mit der laufenden Nummer 61/525,102 mit dem Titel ”Image Capture For Later Refocusing Or Focus-Manipulation”, die hierdurch in ihrer Gesamtheit durch Bezugnahme aufgenommen ist. Auch die am 14. Juli 2011 eingereichte eigene, vorläufig anhängige US-Patentanmeldung mit der laufenden Nummer 13/183,363 mit dem Titel ”Method for Progressively Determining Depth from Defocused Images” wird hierdurch in ihrer Gesamtheit durch Bezugnahme aufgenommen.
GEBIET DER ERFINDUNG
Die vorliegende Patentanmeldung betrifft allgemein das Nachfokussieren eines Bilds nach seinem Erfassen und insbesondere das Erstellen einer Tiefenkarte während der Bilderfassungsvorbereitung, um eine gerichtete Bilderfassung für die nachfolgende Nachfokussierungsverarbeitung zu ermöglichen.
HINTERGRUND DER ERFINDUNG
Das Problem des Nachfokussierens oder der Fokusmanipulation nach dem Aufnehmen eines Bilds wird behandelt. Es gibt verschiedene Szenarien, wo die Notwendigkeit für eine Nachfokussierung essenziell ist. Das Hauptszenarium tritt auf, wenn die Kamera während der Aufnahme auf ein anderes Objekt fokussiert wird als jenes, das der Fotograf im Sinne hatte. Selbst wenn das korrekte Objekt scharf gestellt war, möchte der Fotograf möglicherweise zudem die Fokusposition danach ändern. Deshalb liefert die Existenz einer derartigen Option dem Fotograf die Freiheit, den scharfen Gegenstand nach der Aufnahme zu wählen, selbst wenn die Kamera auf dem beabsichtigten Gegenstand fokussiert war.
Außerdem kann eine Fokusmanipulation mehr als nur das Nachfokussieren beinhalten. Die Fokusmanipulation liefert die Fähigkeit zum Erstellen von Bildern, die eine reale Kamera nicht aufnehmen kann. Beispielsweise kann es möglich sein, eine Fokussierung auf einige Gegenstände zu gestatten und nicht auf andere zu fokussieren, selbst wenn sich die nicht-fokussierten Gegenstände zwischen den fokussierten Gegenständen befinden.
Eine weitere Option, die eine Fokusmanipulation liefern kann, ist die Fähigkeit eines überall scharfen Bilds, d. h. eines Bilds, wo alle Objekte scharf sind.
Eine mögliche Lösung für Fokusmanipulationsprobleme ist die sogenannte plenoptische Kamera, die das ganze Lichtfeld der Szene einfängt und nach dem Aufnehmen des Bilds auf jeden Punkt fokussiert werden kann. Plenoptische Kameras verwenden jedoch nicht-standardgemäße Kameraoptiken und erfordern Sensoren mit einer sehr großen Anzahl von Pixeln.
Deshalb wird eine Fokusmanipulationsmethodik unter Verwendung von Standardsensoren und herkömmlichen Kameraoptiken benötigt.
KURZE DARSTELLUNG DER AUSFÜHRUNGSFORMEN
Es werden hier Systeme, Verfahren und Computerprogrammprodukte zum Erfassen von Bildern für die spätere Nachfokussierung und Fokusmanipulation offenbart und beansprucht.
Wie unten ausführlicher beschrieben, gestatten die Vorrichtung und die Prozesse der offenbarten Ausführungsformen eine automatische Fokusmanipulation. Weitere Aspekte, Aufgaben, wünschenswerte Merkmale und Vorteile der hier offenbarten Vorrichtungen und Verfahren werden angesichts der detaillierten Beschreibung und der Zeichnungen, die folgen, in denen beispielhaft verschiedene Ausführungsformen dargestellt sind, besser verstanden und für einen Fachmann offensichtlich sein. Es ist jedoch ausdrücklich zu verstehen, dass die Zeichnungen nur dem Zweck der Darstellung dienen und nicht als eine Definition der Grenzen der beanspruchten Erfindung gedacht sind.
Bei der Beschreibung der vorliegenden Erfindung als ein Verfahrensausführungsbeispiel kann ein prozessorimplementiertes Verfahren zum Erfassen von Bildern zum späteren Nachfokussieren umfassen: Schätzen einer Distanzkarte für eine Szene, Bestimmen einer Anzahl von Haupttiefen, Erfassen einer Menge von Bildern, wobei jedes Bild auf eine der Haupttiefen fokussiert ist und Verarbeiten von erfassten Bildern, um ein Ausgabebild herzustellen.
Das Schätzen kann ein Berechnen des Depth-from-Defocus (Tiefe aus Defokussierung) umfassen oder kann ein Aufnehmen von Bildern mit verschiedenen Fokuseinstellungen und ein Finden der Fokuseinstellung, die eine größte räumliche Ableitung für wenigstens einen Abschnitt der Szene ergibt, umfassen. Das Schätzen kann ein Verwenden eines äußeren Entfernungsmessers umfassen.
Das Bestimmen kann umfassen: Unterteilen der Szene in mehrere Rechtecke, wobei die Tiefenkarte Tiefen der Rechtecke darstellt, wobei die Tiefen einer einer vorbestimmten Anzahl von Fokusstufen entsprechen, Zählen von Tiefenkarteneinträgen mit einem speziellen bzw. spezifischen Fokusstufenwert, Sortieren gezählter Tiefenkarteneinträge in ein Histogramm und Auswählen von Tiefen mit den meisten Tiefenkarteneinträgen als die Haupttiefen. Die Anzahl der Haupttiefen kann ein Bruchteil der Anzahl von Fokusstufen sein, wobei der Bruchteil gemäß einer Mindestanzahl von Fokusstufen aus dem Histogramm berechnet wird, die erforderlich sind, um einen vorbestimmten Prozentsatz der Rechtecke abzudecken.
Alternativ kann das Bestimmen umfassen: Identifizieren von Szenebereichen mit wichtigen Objekten und Aufnehmen von verschiedenen wichtigen Objekttiefen in den Haupttiefen. Die wichtigen Objekte können Gesichter, Haustiere, Wagen, Leute und/oder wiedererkannte Gesichter von speziellen bzw. spezifischen Personen beinhalten. Die wichtigen Objekttiefen können zuerst in den Haupttiefen platziert werden. Falls die Anzahl der wichtigen Objekte unter einem vorbestimmten Schwellwert liegt, können Tiefen, die den höchsten Histogrammzählwerten entsprechen, aber nicht wichtigen Objekten entsprechen, zu den Haupttiefen hinzugefügt werden. Falls die Anzahl von wichtigen Objekten gleich oder größer dem vorbestimmten Schwellwert ist, kann die Anzahl von wichtigen Objekten die Anzahl von Haupttiefen bestimmen. Die Anzahl von Haupttiefen kann durch den verfügbaren Speicher und/oder die Anzahl von Bildern, die im Wesentlichen gleichzeitig aufgenommen werden können, beschränkt sein.
Das Verarbeiten kann ein Auswählen eines Bilds aus der Menge gemäß Benutzereingabe oder Auswahlkriterien umfassen. Alternativ kann das Verarbeiten umfassen: Auswählen mehrerer Bilder aus der Menge gemäß einer Benutzereingabe oder Auswahlkriterien, Ausrichten der ausgewählten Bilder und Verknüpfen der ausgewählten Bilder unter Verwendung von Mischfunktionen. Jede Mischfunktion ist bevorzugt gleich 1 in Bereichen eines entsprechenden ausgewählten Bilds, die fokussiert sind, null in Bereichen von anderen ausgewählten Bildern, die fokussiert sind, und gleich Werten zwischen null und eins in anderen Bereichen.
Bei einer Systemausführungsform führt ein Prozessor Anweisungen aus, die in einem Speicher gespeichert sind, zum: Schätzen einer Distanzkarte für eine Szene, Bestimmen einer Anzahl von Haupttiefen, Erfassen einer Menge von Bildern, wobei jedes Bild auf eine der Haupttiefen fokussiert ist, und Verarbeiten von erfassten Bildern, um ein Ausgabebild herzustellen.
Bei einer Computerprogrammprodukt-Ausführungsform verkörpert ein maschinenlesbares Medium nicht-vorübergehende Programmanweisungen darauf dingbar, die bei Ausführung durch die Maschine bewirken, dass die Maschine Bilder zur späteren Nachfokussierung erfasst durch: Schätzen einer Distanzkarte für eine Szene, Bestimmen einer Anzahl von Haupttiefen, Erfassen einer Menge von Bildern, wobei jedes Bild auf eine der Haupttiefen fokussiert ist, und Verarbeiten von erfassten Bildern, um ein Ausgabebild herzustellen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Flussdiagramm gemäß einer ersten Ausführungsform;
2 zeigt ein Histogramm gemäß der ersten Ausführungsform;
3 zeigt ein Flussdiagramm gemäß einer zweiten Ausführungsform.
AUSFÜHRLICHE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Ausführungsformen der vorliegenden Erfindung stellen eine neue und patentierbar ausgeprägte Methodik zum Manipulieren des Fokus von erfassten Bildern bereit.
Eine potentielle Lösung ist das Durchführen einer Fokusreihe, das heißt, Bilder mit allen möglichen Fokuspositionen zu erfassen, und nachdem die Bilder aufgenommen sind, ein bestimmtes Bild zu wählen oder einige der Bilder zu verknüpfen. Für diese Lösung gibt es klare Beschränkungen. Die Geschwindigkeit der Bilderfassung kann die Anzahl von Bildern begrenzen, die aufgenommen werden kann, und jedes Bild erfordert eine bestimmte Menge an Speicherkapazität.
Gemäß Ausführungsformen der vorliegenden Erfindung schätzt deshalb die Kamera während der Vorschauperiode oder bei ”halbem Durchdrücken” des Auslöseknopfs beispielsweise die Distanzkarte der abgebildeten Szene und findet eine kleine Anzahl von Haupttiefen. Dann wird bei ”vollem Durchdrücken” des Auslöseknopfs ein Bündel von auf die Haupttiefen fokussierten Bildern erfasst. Das letzte Verarbeiten, um ein Nachfokussieren oder eine Fokusmanipulation zu erzielen, basiert auf der kleinen Anzahl von erfassten Bildern.
Ein Hauptvorteil dieser Ausführungsformen ist die Verwendung einer kleinen Anzahl von Bildern anstatt die ganz Palette von Fokuspositionen zu verwenden. Beispielsweise kann die ganze Menge von Fokuspositionen bis zu 40 oder mehr Fokuspunkte beinhalten, wohingegen es in einer typischen Szene vielleicht vier bis sechs Haupttiefen gibt. Die Vorteile beim Verwenden einer kleinen Anzahl von Bildern beinhalten:

1. Kleinerer Speicherraum.
2. Kleinere Anzahl von zu verarbeitenden Bildern.
3. Weniger Verarbeitungsartefakte, da die mittlere Verzögerung zwischen verarbeiteten Bildern viel kleiner ist.

Die Verzögerungen zwischen den verschiedenen Bildern sind klein, und deshalb sind die verschiedenen Artefakte der Verarbeitung der Bilder weniger auffallend, weil neue CMOS-Sensoren Bündel von Standbildern auf sehr schnelle Weise erfassen können.
Nun unter Bezugnahme auf 1 führen die Ausführungsformen der vorliegenden Erfindung die dargestellte Prozedur 100 durch:

– Während des ”halben Durchdrückens” oder zu einer Vorschauzeit Erzeugen einer Tiefenkarte der Szene in Schritt 102.
– Auf der Basis der Tiefenkarte Berechnen einer (kleinen) Anzahl von Haupttiefen im Schritt 104.
– In Schritt 106 Aufnehmen eines Bündels von Bildern, die auf die im Schritt 104 berechneten Haupttiefen fokussiert sind.
– Verarbeiten der in Schritt 106 erfassten Menge von Bildern, um in Schritt 108 das finale, fokusmanipulierte Bild zu erhalten.
– Ausgeben des finalen, fokusmanipulierten Bilds in Schritt 110.

Erstellen einer Tiefenkarte während des halben Durchdrückens
Eine Tiefenkarte kann auf mehrere Weise erstellt werden. Ein möglicher Weg wird in der am 14. Juli 2011 eingereichten eigenen US-Patentanmeldung mit der laufenden Nummer 13/183,363 mit dem Titel ”Method for Progressively Determining Depth from Defocused Images” von M. Tzur und G. Rapaport, die durch Bezugnahme oben aufgenommen ist, beschrieben. Kurz gesagt kann die Tiefenkarte erstellt werden, indem mehrere Vorschaubilder bei einigen vordefinierten Fokuspositionen aufgenommen werden und dann für das ganze Bild auf der Basis des Konzepts ”Depth-from-Defocus” eine Tiefenkarte berechnet wird. Der Vorteil eines derartigen Verfahrens besteht darin, dass es keine Notwendigkeit gibt, die ganze Palette von Fokuspositionen abzutasten, um eine Tiefenkarte für das ganze Bild herzustellen.
Ein anderer Weg, um eine Tiefenkarte zu erstellen (zuvor erwähnt) besteht darin, die ganze Palette von Fokuspositionen abzutasten, d. h. Vorschaubilder bei allen Fokuspositionen aufzunehmen, und die beste Fokusposition für die Erstellung einer Tiefenkarte zu verwenden. Dies ist ein sogenanntes ”Depth-from-Focus”-Verfahren. Mit solchen Verfahren wird die beste Fokusposition üblicherweise bestimmt, indem die Position der größten räumlichen Ableitung über alle Fokuspositionen gefunden wird.
Zusätzliche Wege für die Erstellung einer Tiefenkarte können äußere Entfernungsmessermittel verwenden, die nicht notwendigerweise Teil des Kamerafokussierungsmechanismus sind.
Berechnen der Haupttiefen
Bei einer gegebenen Tiefenkarte der Szene möchten wir die Haupttiefen in der Szene berechnen. Die Haupttiefen sind Tiefen, die zu großen oder signifikanten Bereichen der Szene gehören.
Mit der folgenden Prozedur können die Haupttiefen auf der Basis von großen Szenenbereichen, die zu einer speziellen bzw. spezifischen Tiefe gehören, gefunden werden. Angenommen, die Szene ist in M × N Rechtecke unterteilt und die Tiefenkarte stellt die Tiefe jedes Rechtecks dar. Die Tiefe werde mit D(x, y) bezeichnet, wobei x = 1...M und y = 1...N. Es wird auch angenommen, dass die Tiefe durch die entsprechende Fokusstufe dargestellt wird und dass die Anzahl an Fokusstufen eine begrenzte bzw. endliche Zahl Q ist. Deshalb gilt 1 ≤ D(x, y) ≤ Q.
Ausführungsformen können eine Histogrammfunktion H(q) für 1 ≤ g ≤ Q berechnen, indem die Anzahl von Einträgen in D(x, y), die einen speziellen bzw. spezifischen q-Wert aufweisen, gezählt wird. Erreicht werden kann dies durch den folgenden Pseudocode: Init H(q) = 0, für alle 1 ≤ q ≤ Q Schleife über alle x = 1...M und y = 1...N H(D(x, y)) = H(D(x, y)) + 1 Ende
Durch Sortieren von H(q) von dem höchsten Zählwert zu dem kleinsten Zählwert werden die P Haupttiefen als die q-Werte gewählt, für die H(q) die P höchsten Werte aufweist. In der Praxis können aufgrund verschiedener Faktoren die Spitzen der Histogrammfunktion H(q) lokalisiert und die P Haupttiefen als die q-Werte gewählt werden, für die die Spitzen die P höchsten Werte aufweisen.
Nun unter Bezugnahme auf 2 wird ein beispielhaftes Histogramm bereitgestellt, das Informationen hinsichtlich jedes von 64 Fokusschritten angibt, der zum Lokalisieren von sechs Haupttiefen verwendet wird. Auf diese Weise werden die P Haupttiefen, die zu den größten Bereichen in dem Bild gehören, ausgewählt. Bei diesem Beispiel gibt es sechs Haupttiefen, wie in 2 als mit Kreisen versehene Punkte gezeigt. P kann a priori als ein Bruchteil. von Q definiert werden, oder es kann auf der Basis des Histogramms H(q) berechnet werden. Beispielsweise können Ausführungsformen P als die kleinste Zahl derart wählen, dass die Summe der P höchsten Zählwerte größer oder gleich der Hälfte (oder einem anderen Bruchteil) der Gesamtzahl von Rechtecken in der Tiefenkarte ist. Das heißt, der kleinste P-Wert, so dass
wobei H(q_i) das sortierte Histogramm ist (höchster Wert zuerst).
Eine andere Überlegung zum Finden der Haupttiefen berücksichtigt signifikante Bereiche im Bild. Signifikante Bereiche können zum Beispiel Bereiche sein, wo Gesichter oder andere wichtige Objekte während der Vorschau detektiert werden. Andere wichtige Objekte könnten Haustiere, Wagen, Menschen oder Gesichter von speziellen bzw. spezifischen Personen sein, die während der Vorschau erkannt wurden. Die Tiefen der wichtigen Objekte, wie etwa Gesichter, könnten in der ersten Liste der Haupttiefen enthalten sein.
Unterschiedliche Beschränkungen können zu unterschiedlichen Verfahren zum Berechnen der Haupttiefen führen. Im Fall eines begrenzten Speichers beispielsweise kann die Anzahl von Haupttiefen durch P₀ strikt begrenzt werden (da es eventuell nicht möglich ist, in einem Bündel mehr als P₀ Bilder zu erfassen). Dann sollte das Verfahren zum Finden der Haupttiefen gemäß dieser Einschränkung geändert werden, so dass die Anzahl von Haupttiefen in allen Fällen kleiner oder gleich P₀ ist.
Nun unter Bezugnahme auf 3 wird ein beispielhaftes Verfahren 300 gezeigt, um Haupttiefen zu finden, wenn die signifikanten Bereiche Gesichter sind. Dieses Verfahren kann eine Teilmenge des zuvor beschriebenen Schritts 104 sein. In diesem Fall wird eine Anzahl von Tiefen P₀, die verarbeitet werden können, von dem Benutzer oder gemäß gewisser Heuristiken auf der Basis beispielsweise von Gerätebeschränkungen a priori ausgewählt. Die endgültige Anzahl an Haupttiefen wird gemäß der Anzahl von detektierten Gesichtern und gemäß dem Histogrammzählwert H(q) bestimmt.
In Schritt 302 werden Tiefenkarten von Gesichtern zu Mengen von gleicher Tiefe verknüpft. In Schritt 304 wird ein Vergleich zwischen der Anzahl solcher Mengen und der Anzahl von Tiefen P₀, die verarbeitet werden können, angestellt. Falls die Anzahl von Mengen von detektierten wichtigen Objekttiefen unter P₀ liegt, dann können Tiefen, die den höchsten Histogrammwerten entsprechen (und den wichtigen Objekten nicht entsprechen) nach den Tiefen jeder Menge zu der Liste von Haupttiefen hinzugefügt werden, wie in Schritten 310–314 beschrieben. Falls ferner die Anzahl an detektierten wichtigen Objekten größer als (oder gleich) P₀ ist, dann kann die Anzahl von Haupttiefen durch die Anzahl von während einer Vorschau detektierten wichtigen Objekten bestimmt werden, wie in den Schritten 306–308 beschrieben.
Verarbeiten der Menge von Bildern, um ein fokusmanipuliertes Bild zu erhalten
Es gibt eine Anzahl von Beispielen für die Fokusmanipulation:

1. Nachfokussieren auf ein anderes Objekt. In diesem Fall wird nur ein Bild aus der Menge von erfassten Bildern gewählt. Der Benutzer sieht alle Bilder durch und zeigt an, welches beispielsweise das erwünschte ist. Alternativ kann ein Bild auf der Basis vorbestimmter Kriterien automatisch gewählt werden, wie etwa, welches Bild ein erkanntes Gesicht oder ein anderes wichtiges Objekt im Fokus hat oder welches Bild den höchsten Tiefenkartenhistogrammzählwert aufweist.
2. Nachfokussieren auf mehreren Objekten. In diesem Fall wählt der Benutzer oder eine Menge von Heuristiken wie oben beschrieben mehrere Objekte (mehr als eines), die scharf sein sollen. Das System wird dann die entsprechenden Bilder zu einem Bild derart verknüpfen, dass die gewählten Objekte alle scharf sein werden. Eine derartige Verknüpfung könnte in dem Sinne unrealistisch sein, als es keine reale Kamera gibt, die ein derartiges Bild erzeugen kann. Der Verknüpfungsprozess könnte eine Analyse der Bilder, um die Bilder auszurichten, erfordern. Nach der Ausrichtung können die Bilder durch Verwenden einer Mischfunktion verknüpft werden, die gleich eins in dem Bereich ist, wo das Bild fokussiert ist, gleich null in den Bereichen, wo andere Bilder fokussiert sind, und gleich Zwischenwerten (größer als null und kleiner als eins) in anderen Bereichen.

Es sei beispielsweise angenommen, dass der Benutzer zwei Bilder wählt, wobei bei jedem Bild ein anderes Objekt scharf ist. Es sei auch angenommen, dass die beiden Bilder I₁(x, y), I₂(x, y) bereits ausgerichtet sind. Dann wird das finale Bild I(x, y) = a₁(x, y)·I₁(x, y) + a₂(x, y)·I₂(x, y) sein, wobei a₁(x, y) und a₂(x, y) Mischfunktionen sind, so dass 0 ≤ a₁(x, y), a₂(x, y) ≤ 1. Ferner ist a₁(x, y) gleich 1 in dem Bereich, wo das Objekt in I₁(x, y) fokussiert ist, und gleich null in dem Bereich, wo das Objekt in I₂(x, y) fokussiert ist. In den anderen Bereichen ändert sich der Wert von a₁(x, y) allmählich von 1 auf 0 und umgekehrt. Eine ähnliche Logik gilt für a₂(x, y) bezüglich I₂(x, y).
3. Alle Objekte scharf.
In diesem Fall werden alle Bilder verwendet und das finale Bild wird
sein, wobei I_i(x, y) die ausgerichteten Bilder sind und a_i(x, y) die Mischfunktionen sind.
Die resultierende Ausgabe kann ein Ausgabebild oder einen, Ausgabevideoclip auf der Basis von einem Teil oder allen der verarbeiteten Bilder umfassen.
Die Begriffe ”ein” oder ”einer/eine”, wie sie hier verwendet werden, sollen einen oder mehr als einen bedeuten. Der Ausdruck ”Mehrzahl” soll zwei oder mehr als zwei bedeuten. Der Ausdruck ”ein anderer” wird als ein zweiter oder weiterer definiert. Die Ausdrücke ”enthaltend” und/oder ”mit” sind offene Ausdrücke (z. B. umfassend). Die Bezugnahme in diesem Dokument auf ”eine Ausführungsform”, ”gewisse Ausführungsformen” oder einen ähnlichen Ausdruck bedeutet, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Charakteristik, das oder die in Verbindung mit der Ausführungsform beschrieben ist, in mindestens einer Ausführungsform enthalten ist. Somit bezeichnen die Vorkommen solcher Phrasen an verschiedenen Stellen in dieser Spezifikation nicht notwendigerweise alle die gleiche Ausführungsform. Außerdem können die bestimmten Merkmale, Strukturen oder Charakteristika auf eine beliebige geeignete Weise auf einer oder mehreren Ausführungsformen ohne Beschränkung verknüpft werden. Der Ausdruck ”oder”, wie er hier verwendet wird, ist als inklusiv auszulegen oder so, dass er eine beliebige oder beliebige Verknüpfungen beinhaltet. Deshalb bedeutet ”A, B oder C” ”eines der Folgenden: A; B; C; A und B; A und C; B und C; A, B und C”. Eine Ausnahme für diese Definition erscheint nur, wenn eine Verknüpfung von Elementen, Funktionen, Schritten oder Handlungen auf irgendeine Weise sich inhärent gegenseitig ausschließt.
Gemäß den Praktiken von Fachleuten bei der Computerprogrammierung werden Ausführungsformen unter Bezugnahme auf Operationen beschrieben, die von einem Computersystem oder einem gleichen Elektroniksystem durchgeführt werden. Solche Operationen werden manchmal als von einem Computer ausgeführt bezeichnet. Es versteht sich, dass Operationen, die symbolisch dargestellt werden, die Manipulation durch einen Prozessor wie etwa eine zentrale Verarbeitungseinheit von elektrischen Signalen beinhalten, die Datenbits darstellen, und die Aufrechterhaltung von Datenbits an Speicherstellen, wie etwa in einem Systemspeicher, sowie irgendeine andere Verarbeitung von Signalen. Die Speicherorte, wo Datenbits gepflegt werden, sind physische Orte mit bestimmten elektrischen, magnetischen, optischen oder organischen Eigenschaften entsprechend den Datenbits. Ausführungsformen können auch eine integrierte Schaltungsanordnung umfassen einschließlich Schaltungselementen, die spezielle Systemoperationen durchführen können.
Bei Implementierung in Software sind die Elemente der Ausführungsformen im Wesentlichen die Codesegmente zum Ausführen der erforderlichen Aufgaben. Die nicht-vorübergehenden Codesegmente können in einem prozessorlesbaren Medium oder einem computerlesbaren Medium gespeichert sein, die ein beliebiges Medium beinhalten können, das Informationen speichern oder transferieren kann. Zu Beispielen für solche Medien zählen eine elektronische Schaltung, ein Halbleiterspeicherbauelement, ein Festwertspeicher (ROM – Read-only Memory), ein Flash-Speicher oder ein anderer nicht-flüchtiger Speicher, eine Diskette, eine CD-ROM, eine optische Scheibe, eine Festplatte, ein faseroptisches Medium usw. Die Benutzereingabe kann eine beliebige Kombination aus Tastatur, Maus, Touchscreen, Sprachbefehlseingabe usw. beinhalten. Die Benutzereingabe kann ähnlich verwendet werden, um eine Browserapplikation, die auf der Recheneinrichtung eines Benutzers ausgeführt wird, zu einer oder mehreren Netzwerkressourcen zu lenken, wie etwa Webseiten, von denen aus auf Rechenressourcen zugegriffen werden kann.
Während die Erfindung in Verbindung mit speziellen Beispielen und verschiedenen Ausführungsformen beschrieben worden ist, versteht der Fachmann ohne weiteres, dass viele Modifikationen und Adaptationen der hier beschriebenen Ausführungsform möglich sind, ohne von dem Gedanken und Schutzbereich der Erfindung, wie nachfolgend beansprucht, abzuweichen. Somit ist deutlich zu verstehen, dass die vorliegende Anmeldung nur beispielhaft erfolgt und nicht als eine Beschränkung hinsichtlich des Schutzbereichs der unten beanspruchten Erfindung. Die Beschreibung ist dazu gedacht, alle Variationen, Verwendungen oder Adaptation der Erfindung abzudecken, die allgemein den Prinzipien der Erfindung folgen, und solche Abweichungen von der vorliegenden Offenbarung, wie sie in die bekannte und übliche Praxis innerhalb der Technik, auf die sich die Erfindung bezieht, fallen.

Claims

Prozessorimplementiertes Verfahren zum Erfassen von Bildern zum späteren Nachfokussieren, umfassend: Schätzen einer Distanzkarte für eine Szene; Bestimmen einer Anzahl von Haupttiefen; Erfassen einer Menge von Bildern, wobei jedes Bild auf eine der Haupttiefen fokussiert ist; und Verarbeiten von erfassten Bildern, um ein Ausgabebild herzustellen.
Verfahren nach Anspruch 1, wobei das Schätzen das Depth-from-Defocus umfasst.
Verfahren nach Anspruch 1, wobei das Schätzen ein Aufnehmen von Bildern mit verschiedenen Fokuseinstellungen und ein Finden der Fokuseinstellung, die eine größte räumliche Ableitung für mindestens einen Abschnitt der Szene ergibt, umfasst.
Verfahren nach Anspruch 1, wobei das Schätzen ein Verwenden eines äußeren Entfernungsmessers umfasst.
Verfahren nach Anspruch 1, wobei das Bestimmen umfasst: Unterteilen der Szene in mehrere Rechtecke, wobei die Tiefenkarte Tiefen der Rechtecke darstellt, wobei die Tiefen einer einer vorbestimmten Anzahl von Fokusstufen entsprechen; und Auswählen von Tiefen mit den meisten Tiefenkarteneinträgen als die Haupttiefen.
Verfahren nach Anspruch 1, wobei das Bestimmen umfasst: Unterteilen der Szene in mehrere Rechtecke, wobei die Tiefenkarte Tiefen der Rechtecke darstellt, wobei die Tiefen einer einer vorbestimmten Anzahl von Fokusstufen entsprechen; Zählen von Tiefenkarteneinträgen mit einem speziellen Fokusstufenwert; Sortieren gezählter Tiefenkarteneinträge in ein Histogramm; und Auswählen von Tiefen mit den meisten Tiefenkarteneinträgen als die Haupttiefen.
Verfahren nach Anspruch 6, wobei die Anzahl an Haupttiefen ein Bruchteil der Anzahl von Fokusstufen ist, wobei der Bruchteil gemäß einer Mindestanzahl von Fokusstufen aus dem Histogramm berechnet wird, die erforderlich sind, um einen vorbestimmten Prozentsatz der Rechtecke abzudecken.
Verfahren nach Anspruch 1, wobei das Bestimmen umfasst: Identifizieren von Szenebereichen mit wichtigen Objekten; und Aufnehmen von verschiedenen wichtigen Objekttiefen in den Haupttiefen.
Verfahren nach Anspruch 8, wobei die wichtigen Objekte mindestens eines von Gesichtern, Haustieren, Wagen, Leuten und erkannten Gesichtern von speziellen Personen beinhalten.
Verfahren nach Anspruch 8, wobei die wichtigen Objekttiefen zuerst in den Haupttiefen platziert werden.
Verfahren nach Anspruch 10, ferner umfassend, falls die Anzahl von wichtigen Objekten kleiner als eine vorbestimmte Anzahl ist, Hinzufügen von Tiefen, die höchsten Histogrammzählwerten entsprechen, aber nicht wichtigen Objekten entsprechen, zu den Haupttiefen.
Verfahren nach Anspruch 8, ferner umfassend, falls die Anzahl von wichtigen Objekten wenigstens gleich einer vorbestimmten Anzahl ist, bestimmt die Anzahl von wichtigen Objekten die Anzahl von Haupttiefen.
Verfahren nach Anspruch 8, wobei die Anzahl von Haupttiefen wenigstens durch den verfügbaren Speicher und/oder die Anzahl von Bildern, die im Wesentlichen simultan erfasst werden können, beschränkt wird.
Verfahren nach Anspruch 1, wobei das Verarbeiten ein Auswählen eines Bilds aus der Menge gemäß einer Benutzereingabe und/oder automatisierter Auswahlkriterien umfasst.
Verfahren nach Anspruch 14, wobei die Auswahlkriterien welches Bild ein wiedererkanntes Gesicht im Fokus aufweist und/oder welches Bild den höchsten Tiefenkartenhistogrammzählwert aufweist, beinhalten.
Verfahren nach Anspruch 1, wobei das Verarbeiten umfasst: Auswählen mehrerer Bilder aus der Menge gemäß einer Benutzereingabe und/oder automatisierter Auswahlkriterien; Ausrichten der ausgewählten Bilder; und Verknüpfen der ausgewählten Bilder unter Verwendung von Mischfunktionen.
Verfahren nach Anspruch 16, wobei jede Mischfunktion gleich eins in Bereichen eines entsprechenden ausgewählten Bilds ist, die fokussiert sind, null in Bereichen von anderen ausgewählten Bildern, die fokussiert sind, und gleich Werten zwischen null und eins in anderen Bereichen ist.
Verfahren nach Anspruch 16, wobei die Mehrzahl alle erfassten Bilder beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend ein Generieren eines Ausgabevideoclips auf der Basis mindestens eines Teils der verarbeiteten Bilder.
Computerprogrammprodukt, das ein maschinenlesbares Medium umfasst, das darauf nicht-vorübergehende Programmanweisungen dingbar verkörpert, die bei Ausführung durch die Maschine bewirken, dass die Maschine Bilder erfasst zur späteren Nachfokussierung durch: Schätzen einer Distanzkarte für eine Szene; Bestimmen einer Anzahl von Haupttiefen; Erfassen einer Menge von Bildern, wobei jedes Bild auf eine der Haupttiefen fokussiert ist; und Verarbeiten von erfassten Bildern, um ein Ausgabebild herzustellen.
System zum Erfassen von Bildern zum späteren Nachfokussieren, umfassend: Mittel zum Schätzen einer Distanzkarte für eine Szene; Mittel zum Bestimmen einer Anzahl von Haupttiefen; Mittel zum Erfassen einer Menge von Bildern, wobei jedes Bild auf eine der Haupttiefen fokussiert ist; und Mittel zum Verarbeiten von erfassten Bildern, um ein Ausgabebild herzustellen.
System zum Erfassen von Bildern zum späteren Nachfokussieren, umfassend: einen Prozessor; und einen Speicher, der Anweisungen speichert, wobei der Prozessor die Anweisungen ausführt zum: Schätzen einer Distanzkarte für eine Szene; Bestimmen einer Anzahl von Haupttiefen; Erfassen einer Menge von Bildern, wobei jedes Bild auf eine der Haupttiefen fokussiert ist; und Verarbeiten von erfassen Bildern, um ein Ausgabebild herzustellen.
Integrierte Schaltung zum Erfassen von Bildern zum späteren Nachfokussieren, umfassend: ein erstes Schaltungselement zum Schätzen einer Distanzkarte für eine Szene; ein zweites Schaltungselement zum Bestimmen einer Anzahl von Haupttiefen; ein drittes Schaltungselement zum Erfassen einer Menge von Bildern, wobei jedes Bild auf eine der Haupttiefen fokussiert ist; und ein viertes Schaltungselement zum Verarbeiten von erfassten Bildern, um ein Ausgabebild herzustellen.