DE102013209974A1

DE102013209974A1 - Verfahren und Vorrichtung zum Erzeugen einer Tiefenunschärfe in einem Bild

Info

Publication number: DE102013209974A1
Application number: DE201310209974
Authority: DE
Inventors: Stephan Simon
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2013-05-28
Filing date: 2013-05-28
Publication date: 2014-12-18

Abstract

Die Erfindung betrifft ein Verfahren (300) zum Erzeugen einer Tiefenunschärfe (1402) in einem Bild (600). Das Verfahren (300) weist einen Schritt (302) des Einlesens, einen Schritt (304) des Auswählens und einen Schritt (306) des Bearbeitens auf. Im Schritt (302) des Einlesens wird das Bild (600) eingelesen, das eine Szene aus einer Perspektive abbildet. Im Schritt (304) des Auswählens wird ein Bildausschnitt des Bilds (600) unter Verwendung einer Tiefeninformation (800) der Szene ausgewählt. Im Schritt (306) des Bearbeitens wird der Bildausschnitt unter Verwendung der Tiefeninformation (800) bearbeitet, um die Tiefenunschärfe (1402) zu erzeugen.

Description

Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erzeugen einer Tiefenunschärfe in einem Bild, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.
Bei einem Fotoobjektiv ist eine Mehrzahl von Linsen in einer optischen Achse des Fotoobjektivs angeordnet. Für allgemeine fotografische Anwendungen ist das Objektiv orthogonal zu einer Sensorebene einer Kamera ausgerichtet. Für spezielle fotografische Effekte kann das Fotoobjektiv schräg zu der Sensorebene angeordnet werden.
Die WO 2009/088951 A1 beschreibt eine bewegliche Linse, eine Linsenanordnung und zugehörige Verfahren.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Erzeugen einer Tiefenunschärfe in einem Bild, weiterhin eine Vorrichtung zum Erzeugen einer Tiefenunschärfe in einem Bild sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Bei einem Bild wird eine Aufmerksamkeit eines Betrachters des Bilds gezielt auf ein Motiv gelenkt, wenn ein Bildhintergrund und alternativ oder ergänzend ein Bildvordergrund unscharf abgebildet ist. Dieser Effekt kann als Tiefenunschärfe oder Bokeh bezeichnet werden. Beispielsweise kann durch Tiefenunschärfe bei der Porträtfotografie der Blick des Betrachters von dem Bildhintergrund abgelenkt und auf die porträtierte Person gelenkt werden. Um nur das Motiv und möglichst wenig Anderes im Bild scharf abzubilden, wird bei einer Optik eine möglichst große Blendenöffnung benötigt, denn bei der optischen Abbildung gilt innerhalb bestimmter physikalischer Grenzen, dass die Tiefenunschärfe im Bild umso größer ist, je größer die Blendenöffnung ist. Bei Optiken, die bauartbedingt nur eine geringe mögliche Blendenöffnung aufweisen, kann also nur mit einer großen Tiefenschärfe fotografiert werden. Damit wird dann neben dem Motiv auch der Bildhintergrund und alternativ oder ergänzend der Bildvordergrund scharf abgebildet. Soll dennoch das Motiv scharf dargestellt und der Rest des Bilds unscharf dargestellt werden, so kann das Bild nachträglich bearbeitet werden und dabei eine Tiefeninformation von Bildbestandteilen des Bilds verwendet werden. Die Tiefeninformation kann eine Information über eine Entfernung des Motivs von der Optik und eine Information über Entfernungen von anderen Bildbestandteilen, insbesondere des Bildhintergrunds und des Bildvordergrunds, von der Optik umfassen. Über die Tiefeninformation kann das Motiv von dem Bildhintergrund und alternativ oder ergänzend von dem Bildvordergrund freigestellt werden, damit der Bildhintergrund und alternativ oder ergänzend der Bildvordergrund geglättet, also unscharf dargestellt werden können.
Es wird ein Verfahren zum Erzeugen einer Tiefenunschärfe in einem Bild vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Einlesen des Bilds, das eine Szene aus einer Perspektive abbildet;
Auswählen eines Bildausschnitts des Bilds unter Verwendung einer Tiefeninformation der Szene; und
Bearbeiten des Bildausschnitts unter Verwendung der Tiefeninformation, um die Tiefenunschärfe zu erzeugen.
Unter einer Tiefenunschärfe kann eine unscharfe Darstellung von Objekten in einem Bild außerhalb einer Fokalebene des Bilds verstanden werden. Ein Bild kann eine digitale Fotografie sein, die eine Szene aus mehreren Objekten in diskreten Bildpunkten mit jeweils einem zugeordneten Farbwert und/oder Helligkeitswert abbildet. Eine Perspektive kann ein Betrachtungspunkt und/oder eine Betrachtungsrichtung und/oder ein Betrachtungswinkel sein. Eine Tiefe kann als Entfernung von dem Betrachtungspunkt bezeichnet werden. Ein Bildausschnitt kann zumindest einen Bildbereich umfassen. Der Bildausschnitt kann mehrere unzusammenhängende Bildbereiche umfassen. Die Bildbereiche stehen über die Tiefeninformation in einem Zusammenhang. Der Schritt des Auswählens und alternativ oder ergänzend der Schritt des Bearbeitens kann mehrfach für verschiedene Bildausschnitte ausgeführt werden.
Im Schritt des Auswählens kann ferner ein Motivbereich des Bilds ausgewählt werden, wobei der Motivbereich unter Verwendung der Tiefeninformation ausgewählt wird und im Schritt des Bearbeitens unbearbeitet bleibt. Durch Auswählen eines Motivbereichs kann sichergestellt werden, dass ein scharf dargestellt gewünschter Teil des Bilds wirklich scharf dargestellt wird. In dem Motivbereich kann die Schärfe gezielt angehoben und/oder beispielsweise ein Kontrast und eine Farbsättigung verändert werden.
Die Tiefeninformation kann perspektivenbezogene Entfernungswerte von Bildpunkten des Bilds repräsentieren und Bildpunkte können als Bildausschnitt ausgewählt werden, welche Entfernungswerte innerhalb eines Entfernungsbereichs aufweisen. Die Tiefeninformation kann der zweidimensionalen Bildinformation eine räumliche Komponente zuordnen. Dabei können zusammengehörige Bildpunktgruppen ausgewählt werden. Durch die Entfernungswerte kann ein Bildhintergrund und/oder ein Bildvordergrund besonders gut von einem ausgewählten Motiv getrennt werden.
Teilbereiche des Bildausschnitts können abhängig von der Tiefeninformation unterschiedlich stark bearbeitet werden. Die Tiefeninformation kann als Eingangsgröße einer Verarbeitungsvorschrift verwendet werden. Dabei kann abhängig von der Tiefeninformation die Tiefenunschärfe erzeugt werden. Beispielsweise können weiter von dem Motiv entfernte Objekte unschärfer dargestellt werden, als näher am Motiv angeordnete Objekte.
Im Schritt des Einlesens kann ferner eine Benutzereingabe eingelesen werden. Durch eine Benutzereingabe, beispielsweise eine Auswahl des Bildhintergrunds und/oder des Motivs und/oder des Bildvordergrunds kann die Tiefenunschärfe entsprechend eines Benutzerwunschs bearbeitet werden. Ebenso kann ein Grad der künstlichen Unschärfe eingestellt werden.
Der Bildausschnitt kann ferner unter Verwendung der Benutzereingabe ausgewählt werden. Durch eine Auswahl eines Punkts einer zusammenhängenden Bildpunktgruppe kann die ganze Bildpunktgruppe ausgewählt werden. Dadurch kann ein ganzer Bildbereich unter Verwendung der Tiefeninformation ausgewählt werden.
Die Benutzereingabe kann eine Bezugstiefe repräsentieren. Bildpunkte des Bildausschnitts können abhängig von einem Abstand der Bildpunkte zu der Bezugstiefe bearbeitet werden. Die Benutzereingabe kann eine Referenzebene bezeichnen. Mehrere unzusammenhängende Bereiche auf der Referenzebene können als Motivbereich oder Bildhintergrund oder Bildvordergrund ausgewählt werden.
Die Bildpunkte des Bildausschnitts können ferner unter Verwendung einer Bildbearbeitungsvorschrift bearbeitet werden, um die Tiefenunschärfe zu erzeugen. Die Bearbeitungsvorschrift kann eine Impulsantwort eines Glättungsfilters bei der Bearbeitung festlegen.
Im Schritt des Einlesens kann zumindest ein weiteres Bild eingelesen werden. Das weitere Bild kann die Szene aus einer weiteren Perspektive abbilden. Die Perspektive und die weitere Perspektive können verschieden sein. Das Verfahren kann einen Schritt des Gewinnens der Tiefeninformation aufweisen. Die Tiefeninformation für Bildpunkte des Bilds kann unter Verwendung der Perspektive und der weiteren Perspektive gewonnen werden. Durch ein vorgelagertes Gewinnen der Tiefeninformation kann das Verfahren unabhängig von einer vorhandenen Tiefeninformation ausgeführt werden. Die Tiefeninformation kann mittels Triangulation durch ein zweites Bild der Szene gewonnen werden, wenn das zweite Bild um eine Basisstrecke seitlich, nach oben/unten und/oder nach vorne/hinten zu dem ersten Bild verschoben aufgenommen worden ist.
Weiterhin wird eine Vorrichtung zum Erzeugen einer Tiefenunschärfe in einem Bild vorgestellt, wobei die Vorrichtung die folgenden Merkmale aufweist:
eine Einrichtung zum Einlesen, die dazu ausgebildet ist das Bild, das eine Szene aus einer Perspektive abbildet einzulesen;
eine Einrichtung zum Auswählen, die dazu ausgebildet ist, einen Bildausschnitt des Bilds unter Verwendung einer Tiefeninformation der Szene auszuwählen; und
eine Einrichtung zum Bearbeiten, die dazu ausgebildet ist, den Bildausschnitt unter Verwendung der Tiefeninformation zu bearbeiten, um die Tiefenunschärfe zu erzeugen.
Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 eine Darstellung eines Tilt-Shift-Objektivs;
2 eine Tilt-Shift-Simulation;
3 ein Ablaufdiagramm eines Verfahrens zum Erzeugen einer Tiefenunschärfe in einem Bild gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
4 ein Blockschaltbild einer Vorrichtung zum Erzeugen einer Tiefenunschärfe in einem Bild gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
5 eine Darstellung eines Fotografierens einer Szene aus unterschiedlichen Positionen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
6 eine Darstellung dreier Bilder einer Szene aus unterschiedlichen Perspektiven gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
7 eine Darstellung einer Überlagerung eines ersten Bilds mit einem zweiten Bild und des zweiten Bilds mit einem dritten Bild;
8 eine Darstellung einer Tiefeninformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
9 eine Darstellung eines Kameramodells;
10 eine Darstellung von Unschärfe an Objektkanten;
11 eine grafische Darstellung einer Unscharf-Filterfunktion für einen Bildpunkt gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
12 eine Darstellung einer Dreiecksfilterfunktion gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
13 eine Darstellung eines Bilds mit nachträglich eingefügtem Rauch gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
14 eine Vergleichsdarstellung eines Originalbilds und eines Ergebnisbilds einer Ortschaft mit nachträglich eingefügter Tiefenunschärfe gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
15 eine Darstellung zweier Ergebnisbilder einer Ortschaft mit unterschiedlichen Schärfeebenen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
16 eine Vergleichsdarstellung eines Originalbilds und eines Ergebnisbilds eines Ufers mit nachträglich eingefügter Tiefenunschärfe gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
17 eine Vergleichsdarstellung eines Originalbilds und eines Ergebnisbilds eines Sees mit nachträglich eingefügter Tiefenunschärfe gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
18 eine Vergleichsdarstellung eines Originalbilds und eines Ergebnisbilds einer Straße mit nachträglich eingefügter Tiefenunschärfe gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
19 eine Vergleichsdarstellung eines Originalbilds und eines Ergebnisbilds einer Lokomotive mit nachträglich eingefügter Tiefenunschärfe gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine Darstellung eines Tilt-Shift-Objektivs 100. Das Tilt-Shift-Objektiv 100 ist als Wechselobjektiv ausgeführt. Das Tilt-Shift-Objektiv 100 weist eine, in Relation zu einer Kameraschnittstelle 102 verschwenkbare und verschiebbare Linsenanordnung 104 auf. Durch ein Verschwenken und/oder Verschieben der Linsenanordnung 104 wird eine optische Achse der Linsenanordnung gegenüber einer optischen Achse einer nicht gezeigten Kamera verschwenkt und/oder verschoben. Mit der optischen Achse der Linsenanordnung 104 wird auch eine Abbildungsebene der Linsenanordnung 104 gegenüber einer Sensorebene der Kamera verschwenkt und/oder verschoben.
Beim Tilt-Shift-Objektiv 100 wird die Optik gegenüber der Abbildungsebene verkippt und/oder verschoben. Das Tilt-Shift-Objektiv 100 erlaubt das Verkippen (Tilt) und das Verschieben (Shift) des Linsensystems 104 gegenüber der Sensor- bzw. Filmebene.
Bei einer sogenannten Tilt-Shift-Simulation wird eine Technik eingesetzt, bei der nachträglich, also für ein bereits aufgenommenes Bild bzw. eine Bilderserie, durch eine digitale Nachverarbeitung der Effekt simuliert wird, den ein Tilt-Shift-Objektiv 100 im Bild hervorgerufen hätte.
Eine Tilt-Funktion, also eine Verkippung einer Schärfeebene gegenüber einer Sensorebene kann simuliert werden. Dadurch kann ein streifenförmiger, mehr oder weniger schmaler scharfer Bereich entstehen. Außerhalb dieses Streifens nimmt die Unschärfe in beide Richtungen graduell zu.
In 2 ist eine Tilt-Shift-Simulation 200 dargestellt. Das Ergebnis dieser Verkippung kann auch nachträglich simuliert werden, indem ein ursprünglich scharfes Bild teilweise unscharf gerechnet wird.
2 zeigt eine Tilt-Shift-Simulation 200. Die Tilt-Shift-Simulation 200 basiert auf einem Bild eines Hafenbeckens mit Booten an einem Steg und einem Berg im Hintergrund. Der Steg verläuft von einem linken Seitenrand des Bilds schräg in Richtung Hintergrund von einem Betrachter weg. Die Tilt-Shift-Simulation 200 fügt in das ursprünglich möglichst scharf abgebildete Bild Unschärfe ein. In der Tilt-Shift-Simulation 200 wird ein Bereich oberhalb und unterhalb eines horizontalen Bildstreifens unscharf dargestellt. In diesem Beispiel ist der Steg im scharfen Bereich angeordnet. Der Berg im Hintergrund und die Boote im Vordergrund sind unscharf dargestellt. Zusätzlich sind Masten der Boote unscharf dargestellt, sobald sie außerhalb des zentralen Bildstreifens abgebildet sind. Der menschliche Betrachter kann beim flüchtigen Betrachten einer solchen flachen Szene jedoch kaum zwischen Tilt-Effekt und Tiefenunschärfe-Effekt unterscheiden. Erst die genaue Betrachtung (z. B. am Bootsmast) zeigt, dass es sich hier nicht um einen Tiefenunschärfe-Effekt handeln kann, denn bei diesem wären alle Punkte einer Ebene, die senkrecht zum Hauptstrahl der Optik steht (z. B. alle Punkte auf dem Mast) gleich scharf abgebildet.
Der Betrachter hat bei solchen Bildern, egal ob realer oder simulierter Tilt-Effekt, je nach Szene den Eindruck, eine Miniaturlandschaft anzuschauen, da die Bilder mit großen unscharfen Bereichen eine ähnliche Wirkung haben wie Bilder mit sehr geringer Tiefenschärfe, die meistens Dinge im Nahbereich zeigen.
Eine Tilt-Shift-Optik ist dabei heute nicht mehr erforderlich, da der Effekt per Simulation in der Kamera rechentechnisch nachgebildet werden kann. Der Effekt kann als Miniatureffekt bezeichnet werden.
Besonders eindrucksvoll ist der Miniatureffekt bei weitwinklig aufgenommenen Szenen im größerem Abstand, z. B. Landschaftsaufnahmen, da Bilder solcher Szenen normalerweise eine große Tiefenschärfe aufweisen, weil der Blendendurchmesser im Vergleich zu den Dimensionen in der Szene klein ist.
Sowohl mit einem Tilt-Shift-Objektiv erzeugte Aufnahmen, als auch mit Simulationen erzeugte Bilder suggerieren bei flüchtiger Betrachtung zwar den gewollten Eindruck einer geringen Tiefenschärfe (Miniatur-Effekt), jedoch wird bei genauerer Betrachtung des Bildes schnell klar, dass es sich nicht um eine echte Tiefenschärfe handeln kann. Dies ist auch anhand von 2 leicht zu erkennen. Die Masten der Boote stehen ungefähr parallel zur Bildebene der Kamera, mit der die Aufnahme gemacht wurde. Daher wäre eine konstante Unschärfe jeweils entlang des einzelnen Mastes zu erwarten. Tatsächlich beobachtet man hier jedoch einen deutlichen Verlauf der Unschärfe entlang der Masten von unscharf (unten) über scharf (Mitte) bis unscharf (oben). An solchen „Fehlern" ist die Tilt-Shift-Technik fast immer leicht zu erkennen.
Die Tilt-Shift-Technik approximiert den Verlauf der Tiefenschärfe meistens zufriedenstellend, wenn sich die Tiefe der Szene entlang einer Achse im Bild kontinuierlich vergrößert bzw. verkleinert, wobei die Achse nicht parallel zu einem Bildrand liegen muss. Für die Szene mit den Booten wird diese Bedingung – abgesehen von den Masten – recht gut erfüllt. Hier nimmt die Tiefe der Szene nämlich zu, wenn man im Bild von unten nach oben wandert.
Mit dem hier vorgestellten Ansatz kann der Tiefenschärfeverlauf für komplexere Verläufe der Tiefe in der Bildszene realistisch nachgebildet werden, wodurch Tiefenunschärfe und andere entfernungsabhängige Effekte mit einer Low-Cost Kamera möglich werden. Eine Low-Cost-Kamera kann eine Kamera mit einem kleinen Linsendurchmesser sein. Beispielsweise findet sich eine solche Kamera in den meisten Smartphones. Der hier vorgestellte Ansatz kann auch auf Bilder von teuren Kameras anwendbar sein. Auch Bilder solcher Kameras profitieren von dem Verfahren, insbesondere wenn das Verhältnis von Szenenabstand zu Linsendurchmesser groß ist.
3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum Erzeugen einer Tiefenunschärfe in einem Bild gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 300 weist einen Schritt 302 des Einlesens, einen Schritt 304 des Auswählens und einen Schritt 306 des Bearbeitens auf. Im Schritt 302 des Einlesens wird das Bild eingelesen, das eine Szene aus einer Perspektive abbildet. Im Schritt 304 des Auswählens wird ein Bildausschnitt des Bilds unter Verwendung einer Tiefeninformation der Szene ausgewählt. Im Schritt 306 des Bearbeitens wird der Bildausschnitt unter Verwendung der Tiefeninformation bearbeitet, um die Tiefenunschärfe zu erzeugen.
Der hier vorgestellte Ansatz betrifft eine Methode zur synthetischen Gewinnung von Tiefenunschärfe und anderen entfernungsabhängigen Effekten für Kamerabilder oder -bildsequenzen. Dabei erfolgt eine synthetische Nachbildung der Tiefenunschärfe einer Kamera mit beliebig großer Blendenapertur.
In einem Ausführungsbeispiel werden die Schritte 304 und 306 des Auswählens und Bearbeitens für unterschiedliche Bildausschnitte wiederholt. Insbesondere können die Schritte 304, 306 mit abnehmender Tiefeninformation wiederholt werden.
In einem Ausführungsbeispiel wird im Schritt 304 des Auswählens ferner ein Motivbereich des Bilds ausgewählt. Der Motivbereich wird unter Verwendung der Tiefeninformation ausgewählt und bleibt im Schritt 304 des Bearbeitens unbearbeitet. Der Motivbereich bildet ein Hauptmotiv des Bilds ab. Der Motivbereich bleibt scharf dargestellt. Der Bildausschnitt bildet zumindest Teile eines Bildhintergrunds und/oder eines Bildvordergrunds ab. Der Bildausschnitt wird abhängig von der Tiefeninformation unscharf dargestellt.
In einem Ausführungsbeispiel repräsentiert die Tiefeninformation perspektivenbezogene Entfernungswerte von Bildpunkten des Bilds. Bildpunkte werden als Bildausschnitt ausgewählt, welche Entfernungswerte innerhalb eines Entfernungsbereichs aufweisen. Die Tiefeninformation repräsentiert, wie weit ein in dem Bild abgebildetes Objekt von einem Betrachtungspunkt entfernt ist. Bei mehreren abgebildeten Objekten, die räumlich gestaffelt angeordnet sind, befindet sich ein Objekt innerhalb eines gewissen Entfernungsbereichs. Dadurch kann über die Tiefeninformation ein einzelnes Objekt als Bildausschnitt ausgewählt werden. Die Entfernung des Objekts kann senkrecht zur unendlich ausgedehnten Sensorebene gemessen werden. Die Entfernung kann radial zum Projektionszentrum gemessen werden. Gleich scharf abgebildete Objekte liegen im zweiten Falle auf Kugelschalen. Beide Messmethoden sind gleichermaßen zielführend. Ein Ergebnis sieht dabei geringfügig anders aus. Weitere Entfernungsdefinitionen bezüglich im Raum angeordneter Freiformflächen sind anwendbar.
In einem Ausführungsbeispiel werden Teilbereiche des Bildausschnitts abhängig von der Tiefeninformation unterschiedlich stark bearbeitet. Die Tiefeninformation beeinflusst, wie stark Bildpunkte bearbeitet werden. Die Tiefeninformation kann über eine Verarbeitungsvorschrift gefiltert werden. Die Bearbeitungsstärke wird über einen Abstand zu einer Bezugsentfernung definiert.
In einem Ausführungsbeispiel wird ferner eine Benutzereingabe eingelesen. Ein Benutzer, beispielsweise ein Fotograf definiert einen Bildbereich, der scharf dargestellt werden soll. Damit setzt der Benutzer einen Entfernungswert als Referenzpunkt. Bildpunkte und/oder Bildbereiche, die von der Benutzereingabe abweichende Entfernungswerte aufweisen, werden je nach Betrag der Abweichung bearbeitet.
In einem Ausführungsbeispiel wird im Schritt 302 des Einlesens ferner eine Kamerainformation eingelesen. Die Kamerainformation repräsentiert Informationen, die die Kamera beispielsweise aus Parametern der Autofokuseinstellung während der Aufnahme gewinnt. Im Schritt 304 des Auswählens wird der Bildausschnitt ferner unter Verwendung der Kamerainformation ausgewählt.
In einem Ausführungsbeispiel sucht im Schritt 304 des Auswählens ein Algorithmus in dem Bild nach einem Motiv, das in dem Bild abgebildet ist. Beispielsweise wird das Motiv anhand der Lage im Bild und/oder anhand der vorhandenen lokalen Schärfe im Bild gesucht.
In einem Ausführungsbeispiel wird der Bildausschnitt ferner unter Verwendung der Benutzereingabe ausgewählt. Die Benutzereingabe definiert direkt die zu bearbeitenden Bildbereiche und/oder Bildausschnitte. Beispielsweise wird ein Bearbeitungsgrad durch den Benutzer festgelegt.
In einem Ausführungsbeispiel repräsentiert die Benutzereingabe eine Bezugstiefe. Bildpunkte des Bildausschnitts werden abhängig von einem Abstand der Bildpunkte zu der Bezugstiefe bearbeitet. Die Benutzereingabe repräsentiert eine Bezugsebene in dem Bild. Die Bezugsebene kann auch schräg zu einer Bildebene ausgerichtet sein.
In einem Ausführungsbeispiel werden die Bildpunkte des Bildausschnitts ferner unter Verwendung einer Bildbearbeitungsvorschrift bearbeitet, um die Tiefenunschärfe zu erzeugen. Die Bearbeitungsvorschrift definiert, wie eine Farbinformation und/oder Helligkeitsinformation eines Bildpunkts mit den Farbinformationen und/oder Helligkeitsinformationen von benachbarten Bildpunkten überlagert und gemischt wird. Durch die Bearbeitungsfunktion wird eine Kantenschärfe in dem Bildausschnitt reduziert. Die Tiefeninformation ist ein Parameter der Bearbeitungsvorschrift.
In einem Ausführungsbeispiel wird im Schritt des Einlesens zumindest ein weiteres Bild eingelesen. Das weitere Bild bildet die Szene aus einer weiteren Perspektive ab. Die Perspektive und die weitere Perspektive sind verschieden. Das Verfahren weist einen Schritt des Gewinnens der Tiefeninformation auf. Die Tiefeninformation wird für Bildpunkte des Bilds unter Verwendung der Perspektive und der weiteren Perspektive gewonnen. Mit einem weiteren Bild wird eine dreidimensionale Information gewonnen, aus der die Tiefeninformation extrahiert wird. Damit bekommen zweidimensionale Objekte in dem Bild eine Information über die dritte Dimension.
In einem Ausführungsbeispiel wird im Schritt 306 des Bearbeitens simulativ eine geringe Tiefenschärfe erzeugt, was gleichbedeutend mit einer großen Tiefenunschärfe ist. Dabei wird die Tiefenunschärfe vorzugsweise (aber nicht zwangsläufig) auf physikalisch korrekte Weise erzeugt, also etwa so, als wäre das Bild mit einer Optik mit sehr großer Blende aufgenommen.
Bei Aufnahmen von Szenen in größerer Entfernung, beispielsweise Landschaften oder Städte, werden dabei so große Optiken simuliert, die in der Realität technisch kaum darstellbar oder zumindest kaum bezahlbar wären. Dabei können die dazu verwendeten Fotos oder Videoaufnahmen durchaus von einer Low-Cost-Kamera mit sehr kleiner Optik stammen, wie sie heute beispielsweise in Smartphones üblich sind.
In einem Ausführungsbeispiel werden im Schritt 302 des Einlesens zwei oder mehr Aufnahmen derselben Szene eingelesen. Dabei spielt es in statischen Szenen keine Rolle, ob die Aufnahmen von derselben Kamera (nacheinander) aufgenommen werden oder von verschiedenen Kameras. In bewegten Szenen ist es vorteilhaft, mehrere Kameras zu verwenden und diese zeitsynchron auszulösen, damit alles Kameras denselben Momentanzustand der Szene erfassen.
Der hier vorgestellte Ansatz funktioniert zwar bereits mit zwei Kameraperspektiven. Die Verwendung von mehr als zwei Kameraperspektiven ist jedoch vorteilhaft zur Informationsgewinnung bei Verdeckung. Dadurch kann eine Erhöhung der Genauigkeit erreicht werden. Stehen nur zwei Bilder zur Verfügung, so kann für Bildbereiche, die in nur einem Bild sichtbar und im anderen Bild verdeckt sind, keine Tiefe durch Triangulation bestimmt werden. Je mehr zusätzliche Bilder vorhanden sind, umso geringer wird die Zahl der Bildpunkte (im Referenzbild), für die die Tiefe unbekannt ist. Der größte Gewinn durch Hinzunahme weiterer Perspektiven wird bei Hinzunahme der dritten Perspektive erzielt, wobei das Referenzbild insbesondere dasjenige in der Mitte sein kann.
Das Verfahren 300 oder Anteile davon kann innerhalb einer Kamera implementiert oder als „App" auf einem tragbaren Computer (z. B. Smartphone) installiert sein. Ebenso kann das Verfahren 300 als Service auf einem zentralen Computer, z. B. auf einem Server im Internet durchgeführt werden. Dann können Benutzer Bilddaten hochladen und/oder Ergebnisse herunterladen.
In einem Ausführungsbeispiel wird der Benutzer (Fotograf) bei den Aufnahmen interaktiv unterstützt, indem ihm automatisch angezeigt wird, welche Aufnahmepositionen und Kameraorientierungen er wählen soll oder indem er eine Live-Vorschau auf ein zu erwartendes Endergebnis angezeigt bekommt.
Es ist möglich und sinnvoll, den Fotografen bereits während der Aufnahme zu unterstützen, damit die mehreren Aufnahmen so aufgenommen werden können, dass für die weiteren Verarbeitungsschritte bestmögliche Voraussetzungen vorhanden sind.
Dies ist insbesondere mit einem Smartphone oder mit einer modernen Kamera mit Live-View-Display leicht zu realisieren.
Das Gerät unterstützt den Fotografen dabei derart, dass dieser leichter dafür sorgen kann, dass mehrere Aufnahmen ungefähr denselben Szenenausschnitt erfassen. Dazu sind mehrere Alternativen denkbar:
In einem Ausführungsbeispiel wird ein Live-View-Bild einem bereits aufgenommenen Bild überlagert dargestellt. Unterschiede können dabei in verschieden Einfärbungen oder mit einem der Bilder in einer Negativdarstellung dargestellt werden. Dann kann der Fotograf die Orientierung der Kamera so lange verändern, bis der Szenenausschnitt visuell gut übereinstimmt.
In einem Ausführungsbeispiel findet während dieser Phase bereits die Korrespondenzbestimmung oder eine vereinfachte Variante davon statt. Die jeweils gefundenen Korrespondenzen werden live ausgewertet und von einem Algorithmus bewertet. Währenddessen wird dem Anwender auf dem Display angezeigt oder auf sonstige Art, z. B. durch Töne oder Vibrationen, zu Verstehen gegeben, wie er die Lage und Orientierung der Kamera verändern soll, damit eine möglichst günstige weitere Aufnahmeposition erreicht wird.
In einem Ausführungsbeispiel löst die Kamera automatisch die Bildaufnahme zu den Zeitpunkten aus, in denen die Position und Perspektive geeignet ist. Die Aufnahme des nächsten Bildes kann entweder manuell durch den Benutzer (z. B. nachdem er dazu aufgefordert wurde) oder automatisch ausgelöst werden.
In einem Ausführungsbeispiel wird bereits eine Vorschau auf das Endergebnis errechnet, während der Benutzer die Kamera führt. Beispielsweise kann die Applikation so umgesetzt werden, dass die Tiefenunschärfe umso größer wird, je weiter die Aufnahmepositionen auseinanderliegen. Das ist dann intuitiv verständlich.
Bei einer Touchscreen-Bedienung oder einer Cursor-Steuerung bietet es sich an, dass der Anwender bereits während oder nach der Aufnahme das Objekt oder den Bereich auswählt, der scharf dargestellt werden soll.
Ebenso hat der Anwender die Möglichkeit, den Grad der Unschärfe zu wählen, z. B. indem er mit zwei Fingern auf dem Touchscreen eine bestimmte Länge aufzieht, die im Verhältnis zum Durchmesser der fiktiven Blende steht. Während er dies tut, kann ihm ein Vorschaubild angezeigt werden, bei dem die Unschärfe bereits auf den jeweiligen Durchmesser angepasst ist.
Später können weitere Objekte bzw. Bereiche und weitere Durchmesser ausgewählt und weitere Ergebnisbilder erzeugt werden, die auf denselben Originalaufnahmen beruhen. Dafür ist es sinnvoll, die Tiefenkarte und wenigstens die Referenzaufnahme zumindest zeitweise zu speichern.
In einem Ausführungsbeispiel wird das Verfahren 300 offline auf bereits früher aufgenommene Bilder angewandt. Dabei entscheidet entweder der Benutzer oder das Verfahren automatisch selbst, welche Teilmenge der verfügbaren Bilder verwendet wird.
4 zeigt ein Blockschaltbild einer Vorrichtung 400 zum Erzeugen einer Tiefenunschärfe in einem Bild gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 400 weist eine Einrichtung 402 zum Einlesen, eine Einrichtung 404 zum Auswählen und eine Einrichtung 406 zum Bearbeiten auf. Die Einrichtung 402 zum Einlesen ist dazu ausgebildet, das Bild einzulesen, das eine Szene aus einer Perspektive abbildet. Die Einrichtung 404 zum Auswählen ist dazu ausgebildet, einen Bildausschnitt des Bilds unter Verwendung einer Tiefeninformation der Szene auszuwählen. Die Einrichtung 406 zum Bearbeiten ist dazu ausgebildet, den Bildausschnitt unter Verwendung der Tiefeninformation zu bearbeiten, um die Tiefenunschärfe zu erzeugen.
5 zeigt eine Darstellung eines Fotografierens einer Szene aus unterschiedlichen Positionen 500, 502, 504 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In der Darstellung ist eine fotografierende Person 506 zu drei unterschiedlichen Zeitpunkten abgebildet. Die Person 506 richtet eine Bilderfassungseinrichtung, hier ein Mobiltelefon mit Kamera auf die gleiche Szene. Die Positionen 500, 502, 504 sind auf einer im Wesentlichen quer zu einer optischen Achse der Bilderfassungseinrichtung ausgerichteten Linie angeordnet. Dadurch weisen die Positionen 500, 502, 504 je eine seitlich zueinander verschobene Perspektive auf die Szene auf. Damit sind die Bildinhalte nicht identisch.
In 5 ist gezeigt, wie der Fotograf 506 mehrere (mindestens zwei, besser drei oder mehr) Freihand-Aufnahmen von derselben Szene aus unterschiedlichen Kamerapositionen 500, 502, 504 macht. Alternativ zur Veränderung seines Standpunkts würde es auch schon genügen, die Kamera mit dem Arm in verschiedene Positionen zu schwenken. Es werden hier mit einer Low-Cost-Kamera mehrere, mindestens zwei, besser drei oder mehr Fotos derselben Szene aus unterschiedlichen Perspektiven aufgenommen.
6 zeigt eine Darstellung dreier Bilder 600, 602, 604 einer Szene 606 aus unterschiedlichen Perspektiven gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Szene 606 zeigt eine gerade, hangabwärts führende Straße, die rechts und links von Häusern und Bäumen gesäumt ist. Im Hintergrund ist eine hügelige Waldlandschaft abgebildet. Die Bilder 600, 602, 604 sind von den drei Positionen in 5 aufgenommen worden. Oberflächlich betrachtet sind die Bilder 600, 602, 604 sehr ähnlich. Aufgrund der jeweils veränderten Perspektive weisen Objekte in den Bildern 600, 602, 604 jeweils einen geringfügig verschiedenen seitlichen Versatz auf. 6 zeigt drei Aufnahmen 600, 602, 604 einer Szene 606 aus unterschiedlichen Perspektiven. Diese wurden kurz hintereinander mit derselben Kamera und unveränderter Zoom-Einstellung aufgenommen.
7 zeigt eine Darstellung einer Überlagerung eines ersten Bilds 600 mit einem zweiten Bild 602 und des zweiten Bilds 602 mit einem dritten Bild 604. Die Bilder 600, 602, 604 entsprechen den Bildern in 6. Da die Bilder 600, 602, 604 freihändig aufgenommen wurden, weisen die Bilder 600, 602, 604 nicht nur einen perspektivischen Versatz auf, die Bilder 600, 602, 604 sind auch gegeneinander verdreht. Um eine Tiefeninformation aus den Bildern 600, 602, 604 zu erhalten, werden charakteristische Referenzpunkte mittels eines Bildverarbeitungsalgorithmus gesucht und ihre Relativposition in den Bildern 600, 602, 604 zueinander in Bezug gesetzt. Über den Bezug wird die Tiefeninformation gewonnen, da der Versatz mit einer nichtlinearen Funktion in eine Entfernung des Bezugspunkts zu den Aufnahmepositionen der Bilder umrechenbar ist. Unter gewissen Bedingungen ist der Versatz umgekehrt proportional zu der Entfernung. 7 zeigt die drei in 6 entstandenen beispielhaften Aufnahmen 600, 602, 604. Dass sich die Inhalte dieser Aufnahmen 600, 602, 604 unterscheiden, wird hier deutlich. Jeweils die mittlere Aufnahme 602 ist mit den äußeren Aufnahmen 600, 604 überlagert dargestellt. Durch die Freihand-Führung der Kamera kann es ungewollt zu Verdrehungen und Verschiebungen zwischen den Bildinhalten kommen. Um die Unterschiede zwischen den Bildern aus 6 zu verdeutlichen, ist hier einmal die linke 600 mit der mittleren Aufnahme 602 überlagert dargestellt und einmal die mittlere 602 Aufnahme überlagert mit der rechten 604 Aufnahme dargestellt.
Neben diesen ungewollten Unterschieden zwischen den Bildern 600, 602, 604 gibt es auch die gewollten Unterschiede, nämlich diejenigen, die sich aus den unterschiedlichen Perspektiven ergeben. Aus genau diesen Unterschieden können alle Informationen ermittelt werden, die für das hier vorgestellte Verfahren benötigt werden.
8 zeigt eine Darstellung einer Tiefeninformation 800 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Tiefeninformation 800 ist als grafische Darstellung gezeigt. Jedem Bildpunkt des Bilds ist ein Entfernungswert zugeordnet. Der Entfernungswert ist durch Graustufen dargestellt. In diesem Ausführungsbeispiel sind die Entfernungswerte zu den Bildpunkten des mittleren Bilds dargestellt.
In einem Ausführungsbeispiel stehen zur Bestimmung der Tiefe drei oder mehr Aufnahmen derselben Szene aus verschiedenen Perspektiven zur Verfügung. Vorteilhafterweise wird festgelegt, welche dieser Aufnahmen als Referenzaufnahme dient. Das am Ende resultierende tiefenunscharfe Bild kann dieselbe Perspektive aufweisen wie die Referenzaufnahme. Zum Vermeiden von Verdeckungen im Bild kann die Perspektive der Referenzaufnahme eine innere Perspektive, keine Randperspektive sein. Denn dann kann für die meisten Bildpunkte im Referenzbild gewährleistet werden, dass mindestens eine Korrespondenz des Bildpunkts in den anderen Bildern gefunden werden kann. Das Vorhandensein von mindestens einer Korrespondenz pro Bildpunkt ist notwendig, um die Tiefe des entsprechenden Szenenpunktes im 3D-Raum zu ermitteln zu können. Ist für einen Bildpunkt keine Korrespondenz vorhanden, so kann die Tiefe anhand der Tiefe von umgebenden Punkten abgeschätzt werden. Ist mehr als eine Korrespondenz vorhanden, so kann die Tiefe zuverlässiger bzw. mit größerer Genauigkeit bestimmt werden.
Als Methode zur Bestimmung einer Tiefe pro Bildpunkt anhand eines Bildpaares ist die Stereoskopie bekannt, bei der die beiden Kameraaufnahmen in einer durch Kalibrierung bekannten festen relativen Anordnung zueinanderstehen und in der Regel auch zeitgleich ausgelöst werden. Dann ist gewährleistet, dass der zu einem Bildpunkt korrespondierende Punkt auf einer vorab bekannten Linie, der sogenannten Epipolarlinie, zu suchen ist. Dadurch wird die Suche nach dem korrespondierenden Punkt zu einer eindimensionalen Suche.
Da im Ausführungsbeispiel die Kamera Freihand gehalten wird, ist die Ausgangssituation hier komplizierter. Die relative Anordnung der Kameras zueinander ist bei der Auswertung zunächst unbekannt oder nur ungenau bekannt. Daher ist auch der Verlauf der Epipolarlinien zunächst nicht bekannt. Der Verlauf wird innerhalb des Verfahrens bestimmt. Dazu wird für eine Anzahl von Bildpunkten im Referenzbild die Korrespondenz per zweidimensionaler Suche im anderen Bild gesucht. Je mehr Korrespondenzen gefunden werden, umso präziser kann die Epipolargeometrie bestimmt werden. Sobald diese bestimmt ist, kann für alle Bildpunkte des Referenzbilds entlang der jeweiligen Epipolarlinie im anderen Bild die Korrespondenz (per eindimensionaler Suche) gesucht und die Tiefe bestimmt werden.
Alternativ zu diesem zweischrittigen Verfahren können auch gleich alle Bildpunktkorrespondenzen zweidimensional gesucht werden. So wurde im vorliegenden Ausführungsbeispiel vorgegangen. Hierfür eignet sich die Methode der Bewegungsanalyse in Bildpaaren, die mit „optischem Fluss" bezeichnet werden kann.
Wenn der Abstand der Kamerapositionen unbekannt ist, was im Allgemeinen bei Freihand-Haltung der Fall ist, so ist die Tiefe nur bis auf einen Maßstabsfaktor bekannt. Dies ist hier jedoch kein Nachteil, da der Maßstabsfaktor gar nicht benötigt wird. Er kann beliebig festgelegt werden, z. B. zu eins.
Das bis hier beschriebene Vorgehen der Korrespondenz- und Tiefenbestimmung wird nun wiederholt für die eventuell weiteren vorhandenen Aufnahmen, wobei im Ausführungsbeispiel die Korrespondenzen immer ausgehend vom Referenzbild gesucht werden. Mit diesem weiteren Bild können dann wiederum Tiefen bestimmt werden. Dabei kann mit einem unbekannten (weiteren) Maßstabsfaktor vorgegangen werden. Sinnvollerweise wird der weitere Maßstabsfaktor nicht frei gewählt, sondern auf den ersten, bereits festgelegten Maßstabsfaktor bezogen, und zwar so, dass für Bildpunkte im Referenzbild, die in mehreren Bildern Korrespondenzen besitzen, immer möglichst dieselbe Tiefe erhalten wird. Hierzu können Regressionsmethoden angewandt werden.
Wird mit drei Aufnahmen oder mehr gearbeitet, so kann ein Bildpunkt im Referenzbild zwei oder mehr Korrespondenzen besitzen. Somit kann die Tiefe durch Mittelung gebildet werden, was in der Regel die Genauigkeit erhöht. Die Gefahr, dass für einen Bildpunkt z. B. wegen Verdeckung gar keine Korrespondenz gefunden wird, reduziert sich in der Regel mit der Anzahl der Aufnahmen.
Möglicherweise bleiben trotzdem noch Bildpunkte übrig, für die keine Korrespondenz gefunden wurde und somit die Tiefe unbekannt ist. Für diese Bildpunkte bietet sich eine Interpolation bzw. Extrapolation unter Verwendung von Tiefenwerten der örtlichen Nachbarschaft an, denn es kann für natürliche Szenen meistens angenommen werden, dass nah benachbarte Bildpunkte zu Szenenpunkten mit ähnlicher Tiefe gehören. Außerdem kann zusätzlich eine Bildinformation über beispielsweise Helligkeiten, Farben und Kanten benutzt werden, um Objekte zu segmentieren und somit die Interpolation/Extrapolation zu verbessern. Dabei wird berücksichtigt, dass Tiefensprünge bevorzugt an Objektgrenzen auftreten und nicht durch Objekte hindurch verlaufen.
Nach diesem Interpolations- bzw. Extrapolationsschritt ist für jeden Bildpunkt eine Tiefe vorhanden, es liegt somit ein Tiefenbild 800 vor. Dieses ist in 8 veranschaulicht. 8 zeigt ein Tiefenbild 800 von nah (schwarz) bis fern (weiß). Nahe Punkte mit geringen Tiefen sind schwarz dargestellt, ferne Punkte mit großen Tiefen sind weiß dargestellt. Dieses Tiefenbild 800 ist Ausgangspunkt für den nächsten Verarbeitungsschritt, die Bildung der Unschärfe.
9 zeigt eine Darstellung eines Kameramodells. Die Kamera ist durch eine Linse oder Blendenebene 900 und eine Bildebene oder Sensorebene 902 dargestellt. Die Linse weist eine Brennweite f auf, die kleiner ist als ein Abstand zwischen der Blende 900 und der Bildebene 902. In einem Blickfeld der Kamera sind drei Punkte P1, P2 und P3 angeordnet. Der erste Punkt P1 ist auf einer, von einer Optik der Kamera scharfgestellten Weltebene 904 angeordnet. Damit wird der erste Punkt P1 auf der Bildebene 902 scharf abgebildet. Die scharfgestellte Ebene 904 ist im Abstand Z0 von der Blendenebene 900 angeordnet. Die Punkte P1, P2, P3 werden in der Bildebene 902 als ein reelles Bild abgebildet, dessen Bildpunkte durch je einen Mittelpunktstrahl mit den Punkten vor der Kamera verbunden sind. Die Mittelpunktstrahlen verlaufen durch einen Nodalpunkt 906 der Optik. Der zweite Punkt P2 ist im Abstand Z von der Blendenebene 900 angeordnet. Der Abstand Z ist größer als der Abstand Z0. Dadurch wäre der Punkt P2 im Abstand b nach der Blendenebene 900 scharf abgebildet. Der Abstand b ist kleiner, als der Abstand zwischen der Blende 900 und der Bildebene 902. Deshalb wird der zweite Punkt P2 in der Bildebene 902 unscharf abgebildet. Der zweite Punkt P2 wird in der Bildebene 902 mit einem Durchmesser d abgebildet. Der dritte Punkt P3 ist zwischen der Weltebene 904 und der Blendenebene 900 angeordnet. Deshalb würde der dritte Punkt P3 hinter der Bildebene 902 scharf abgebildet. In der Bildebene 902 wird der dritte Punkt P3 unscharf abgebildet.
In 9 wird zur Betrachtung der Unschärfe ein einfaches Kameramodell betrachtet, um die Entstehung der Unschärfe zu erläutern. Das Kameramodell ist in einer Seitenansicht dargestellt und weist einen Blendendurchmesser D auf. Links ist eine Bildebene 902 und rechts ist eine Weltebene 904 dargestellt, auf die fokussiert ist.
Die Fokussierung in diesem Modell ist durch die Linsengleichung beschrieben. 1 / Z + 1 / b = 1 / f
Diese setzt den Abstand Z zum Objekt (Gegenstandsweite), den Abstand b zum scharfen Bild (Bildweite) und die Brennweite f zueinander in Beziehung. In der Hauptebene 900 liegen in diesem einfachen Modell die Linse und die Blende. Die Blende hat einen Durchmesser D. Sie kann hier (in der nicht dargestellten Frontansicht) als kreisförmig angenommen werden.
Der Punkt P1 befindet sich im Abstand Z0 von der Hauptebene 900. Die Sensorebene 902 ist in der Regel verschiebbar bezüglich der Hauptebene 900 angebracht, damit die Kamera fokussiert werden kann. Das vom Punkt P1 ausgehende Strahlenbündel weitet sich zunächst auf und wird durch die Linse gebündelt. Hier ist die Kamera so fokussiert, dass der Punkt P1 im Bild 902 scharf abgebildet wird.
Ein zweiter Punkt P2 befindet sich in einem Abstand Z > Z₀ von der Hauptebene 900. Dadurch liegt der Fokuspunkt im Abstand b noch vor der Sensorebene 902. Das vom Punkt P2 ausgehende Strahlenbündel weitet sich hinter dem Fokuspunkt wieder auf. Auf dem Sensor 902 entsteht ein aufgeweitetes Abbild mit Durchmesser d. Wenn die Blende kreisförmig ist, dann hat auch das aufgeweitete Abbild die Form einer Kreisscheibe.
Die Form der Blende wird also auf dem Sensor deutlich sichtbar, insbesondere wenn die betrachteten Objekte helle Lichtpunkte sind. Häufig sind verstellbare Blenden durch mehrere sich überlappende dünne Lamellen realisiert. Bei Verwendung von beispielsweise sechs Lamellen hat der offene Teil der Blende eine Sechseckform, die dann in den Bildern in Erscheinung tritt.
In der Fotografie wird die Form des Abbilds als Bokeh bezeichnet. Ein schönes Bokeh wird in der künstlerischen Fotografie, insbesondere bei Porträt- und Makroaufnahmen, als sehr wichtig betrachtet.
Ein dritter Punkt P3 befindet sich in einem Abstand Z < Z₀ von der Hauptebene 900. Das vom Punkt P3 ausgehende Strahlenbündel ist noch nicht gebündelt, wenn es auf der Sensorebene 902 auftrifft. Auch hier entsteht wieder ein aufgeweitetes Abbild der Blende auf dem Sensor, allerdings in einer gegenüber dem Abbild von P2 punktgespiegelten Form. Dies fällt dem Betrachter allerdings nur dann auf, wenn die Blende nicht punktsymmetrisch ist, also wenn diese z. B. eine ungerade Anzahl von Lamellen besitzt.
Durch Anwendung der Linsengleichung und Dreisatz für das Verhältnis der Durchmesser d/D lässt sich für den Durchmesser d des Unschärfekreises die Beziehung
herleiten. Der Unschärfekreisdurchmesser d wird null, wenn Z = Z₀ gilt, wobei sich der Objektpunkt also in der fokussierten Ebene befindet. Vergrößert oder verkleinert sich Z von Z₀ ausgehend, so nimmt d in beiden Fällen zu.
Zur Bildung der Unschärfe können ein mehr oder weniger scharfes Bild (Referenzbild) und ein zugehöriges Tiefenbild verwendet werden. Aufgrund der der Betrachtung der physikalischen Entstehung der Unschärfe kann diese simulativ erzeugt werden.
Im Referenzbild wird ein Objekt oder eine Bildregion ausgewählt, die später scharf dargestellt werden soll. Diese Auswahl kann interaktiv oder automatisch erfolgen, interaktiv z. B. durch Tippen auf eine Stelle des Displays oder durch Markieren eines rechteckigen Bildbereichs mit der Computermaus oder automatisch durch Wahl der Bildmitte oder eines prominenten Objekts.
An entsprechender Stelle im Tiefenbild kann dann für das Objekt bzw. die Bildregion eine Tiefe oder mittlere Tiefe ausgelesen werden. Diese Tiefe wird mit Z₀ gleichgesetzt. Es handelt sich also um die Tiefe der fokussierten Ebene. Für alle anderen Bildpunkte kann dann das Verhältnis
angegeben werden, das für die Bestimmung des Unschärfekreisdurchmessers benötigt wird. Wie man hier sieht, ist eine absolute Skalierung der Z-Entfernung nicht notwendig, da sie sich an dieser Stelle herauskürzen würde.
Der Vorfaktor
in
ist letztlich nur ein „Geschmacksfaktor", denn der fiktive Linsendurchmesser D kann vom Anwender nach Belieben gewählt werden. Insofern spielt auch hier der Skalierungsfaktor bei Z₀ keine Rolle.
Nun kann für jeden Bildpunkt der durch die Simulation zu erreichende Unschärfekreisdurchmesser gemäß der Formel bestimmt werden.
10 zeigt eine Darstellung von Unschärfe an Objektkanten. 10 basiert auf der in 9 dargestellten Kamera. Die Punkte und ihre Projektionen sind nicht dargestellt. Hier sind drei Objekte 1000, 1002, 1004 vor der Kamera dargestellt. Die Objekte 1000, 1002, 1004 weisen im Gegensatz zu den Punkten eine zweidimensionale Ausdehnung auf. Die Objekte 1000, 1002, 1004 sind schräg zu der Blendenebene 900 angeordnet. Zusätzlich sind das zweite Objekt 1002 und das dritte Objekt 1004 weiter von der Blendenebene 900 entfernt, als das erste Objekt 1000. Eine optische Achse 1006 der Kamera ist auf das erste Objekt 1000 gerichtet. Die scharfgestellte Ebene 904 schneidet die optische Achse 1006 in einem Durchstoßpunkt der Achse 1006 durch das erste Objekt 1000. Damit ist ein näheres Ende des ersten Objekts 1000 näher an der Kamera als die scharfgestellte Ebene 904. Ein entfernteres Ende des ersten Objekts 1000 ist weiter entfernt von der Kamera, als die scharfgestellte Ebene 904. Beide Enden werden also in der Bildebene 902 unscharf abgebildet. Eine erste Kante des zweiten Objekts 1002 ist in Verlängerung des entfernten Endes durch den Nodalpunkt 906 der Optik angeordnet. Da auch das zweite Objekt 1002 außerhalb der scharfgestellten Ebene 904 angeordnet ist, wird die erste Kante in der Bildebene unscharf abgebildet. Da das zweite Objekt 1002 weiter von der scharfgestellten Ebene 904 angeordnet ist, als das entfernte Ende des ersten Objekts 1000, wird die erste Kante unschärfer dargestellt, als das entfernte Ende. Die Darstellungen sind einander überlagert. Eine zweite Kante des dritten Objekts 1004 ist in Verlängerung des näheren Endes durch den Nodalpunkt 906 der Optik angeordnet. Somit ist das nähere Ende vor der scharfgestellten Ebene 904 und die zweite Kante hinter der scharfgestellten Ebene 904 angeordnet. Beide Darstellungen in der Bildebene 902 sind unscharf und einander überlagert. Wie bei der ersten Kante des zweiten Objekts wird die zweite Kante unschärfer abgebildet, als das nähere Ende.
Um bei komplexeren Tiefenbildern zu akzeptablen Ergebnissen zu kommen, ist zusätzlich zum Filtern einer scharfen Referenzaufnahme mit einem ortsabhängigen Unschärfescheibchen variabler Größe ein Berücksichtigen von Verdeckungen in der Szene erforderlich. Dies ist in 10 veranschaulicht. Bei einer im gesamten Tiefenbereich scharfen Aufnahme, die mit einem sehr kleinen Blendendurchmesser D ≈ 0 aufgenommen ist, genügt es, nur die Hauptstrahlen der Strahlenbündel zu betrachten, die jeweils als strichpunktierte dicke Linien dargestellt sind und durch das Projektionszentrum 906 verlaufen (grauer Punkt).
Im Fall der scharfen Abbildung würden die drei bunten Objekte 100, 1002, 1004 ohne gegenseitige Verdeckung auf dem Bildsensor 902 abgebildet. Bei Vergrößerung des Blendendurchmessers D kommt es zu mehr und mehr Teilverdeckungen an Tiefensprüngen, die die scharfe Aufnahme (D → 0) nicht aufweist.
Ist der Blendendurchmesser D jedoch deutlich von null verschieden, so kommt es zu einer teilweisen Verdeckung der Strahlenbündel, wobei das jeweils nahe Objekt 1000 das jeweils fernere Objekt 1002, 1004 (teil)verdeckt. Zum Beispiel verdeckt die Oberkante des ersten Objekts 1000 die Hälfte des Strahlenbündels von der Unterkante des zweiten Objekts 1002.
Diese Teilverdeckungen, die in der scharfen Abbildung gar nicht vorkommen, können in der Simulation der Tiefenunschärfe simulativ nachgebildet werden, um zu einem realistisch aussehenden Ergebnis zu kommen.
In einem Ausführungsbeispiel wird wegen der Verdeckungsreihenfolge (nah verdeckt fern) das Ergebnisbild von hinten nach vorne aufgebaut. Dabei wird ausgehend vom Tiefenbild bei den maximalen Entfernungen begonnen und die Tiefenunschärfe in der Entfernungsreihenfolge von fern nach nah berechnet.
In einem Ausführungsbeispiel wird jeder Bildpunkt des Referenzbildes mit seinem eigenen tiefenabhängigen Filterdurchmesser gefiltert. Bildpunkte in gleicher Tiefe können gemeinsam mit demselben Filterdurchmesser gefiltert werden. Für Bildpunkte unterschiedlicher Tiefe werden zur Vermeidung eines inkorrekten Ergebnisses unterschiedliche Durchmesser verwendet.
11 zeigt eine grafische Darstellung einer Unscharf-Filterfunktion 1100 für einen Bildpunkt 1102 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Filterfunktion 1100 ist als räumliche Darstellung in einem räumlichen Koordinatensystem und als bildliche Darstellung abgebildet. Der Bildpunkt 1102 ist in beiden Darstellungen zentral in einer quadratischen Streufläche 104 angeordnet. Ein umlaufender Rand der Streufläche 1104 weist eine Gewichtung von null auf. Die Gewichtungen aller Bildpunkte ergänzen sich zu eins. Die volle Intensität des Bildpunkts 1102 wird durch die Filterfunktion 1100 auf die gesamte Streufläche verteilt. Eine kreuzförmige Fläche, die auf den Bildpunkt 1102 zentriert ist, weist die die höchste Gewichtung auf.. Die kreuzförmige Fläche simuliert einen Blendenstern, der durch eine Beugung von Lichtstrahlen an einer Blende eines Objektivs hervorgerufen wird. Die Fläche kann auch eine andere Anzahl von Strahlen aufweisen, um andere Blendenformen zu simulieren. Ausgehend von der kreuzförmigen Fläche wird von der Funktion 1100 ein linearer Abfall der Gewichtung bis zum Rand der Streufläche 1104 erzeugt. Aufgrund des Helligkeitsempfindens des menschlichen Auges ergibt sich ein näherungsweise kreisförmiges Beugungsscheibchen, durch das der Bildpunkt 1102 verschmiert wird. Die in der Funktion 1100 dargestellten Gewichtungen werden Gewichtungen von anderen Bildpunkten eines Bildausschnitts überlagert, um eine gewünschte Tiefenunschärfe in dem Bildausschnitt zu erhalten.
In einem Ausführungsbeispiel wird zur physikalisch korrekten Modellierung und unscharfen Filterung das Bokeh der realen Kamera nachgebildet. Beispielsweise weist das Bokeh die Form eines Sechsecks oder Neunecks oder einer Kreisscheibe auf. Der Rechenaufwand zur Durchführung einer solchen Filterung kann beträchtlich sein, insbesondere wenn der Durchmesser des Filters groß ist. Bei einem Bildaufbau von fern nach nah sind viele Filterdurchläufe mit unterschiedlichen Filterdurchmessern erforderlich.
In 11 ist ein Ausführungsbeispiel für einen Filterkern 1100 als Impulsantwort zur Unscharf-Filterung des Bildes als Gitternetz (links) und als Bild (rechts) dargestellt. Der hier dargestellte Filterkern 1100 liefert zwar keine perfekte Approximation eines realen Bokehs, jedoch ist er separierbar und mit sehr geringem Rechenaufwand realisierbar. Insofern stellt er eine für die Praxis interessante Kompromisslösung dar. Der Filterkern 1100 arbeitet mit separierbaren Filtern. Dadurch wird ein reales Bokeh in akzeptabler Weise approximiert. Separierbar bedeutet dabei, dass das zweidimensionale Filter in jeweils zwei eindimensionale Filter (horizontal und vertikal) zerlegt werden, die nacheinander angewendet werden. Dies führt bei großen Filterdurchmessern zu einer enormen Reduktion des Rechenaufwands. Im vorliegenden Ausführungsbeispiel wird das in 11 dargestellte Filter 1100 mit verschiedenen entfernungsabhängigen Durchmessern auf das Referenzbild angewandt.
12 zeigt eine Darstellung einer Dreiecksfilterfunktion 1200 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Dreiecksfilterfunktion 1200 bildet eine Glättung eines Bildpunkts 1102 mit einer Ausgangshelligkeit von 100 Prozent ab. Die Dreiecksfunktion 1200 liegt der Filterfunktion in 11 zugrunde. Die Dreiecksfilterfunktion 1200 weist eine Vielzahl von diskreten Reduktionsstufen auf, die in Abhängigkeit zu einem radialen Abstand zum Bildpunkt 1102 von der Helligkeit des Bildpunkts 1102 abgezogen werden.
Das Filter in 11 wird durch Subtraktion von zwei verschieden großen Glättungsfiltern gebildet, wobei jedes dieser Glättungsfilter in Dreiecksfilter separierbar ist. Der Radius R1 des kleineren Dreiecksfilters wurde zu etwa R1 ≈ R2/2 gewählt. Für den Faktor c wurde
gewählt.
13 zeigt eine Darstellung eines Bilds 600 mit nachträglich eingefügtem Rauch 1300 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Bild 600 entspricht im Ausgangszustand dem Bild in 6. Unter Verwendung der Tiefeninformation, wie sie in 8 dargestellt ist, wird eine, mit zunehmender Entfernung stärker werdende Abschwächung des Lichts simuliert, dadurch können Objekte im Vordergrund des Bilds 600 noch erkannt werden, während das Licht von Objekten in der Bildmitte und im Bildhintergrund vollkommen geschluckt wird.
Die Abbildung realer Linsensysteme weicht in der Regel ab von der modellhaften Beschreibung, die beispielsweise der Linsengleichung gehorcht. In einem Ausführungsbeispiel wird die Abweichung durch eine Kalibrierung ermittelt und anschließend auch kompensiert. Beispielsweise korrigiert eine Verzeichnungskorrektur die geometrischen Verzerrungen und eine fotometrische Korrektur die Helligkeitsabweichungen. Insbesondere ist die Anwendung der Verzeichnungskorrektur für den hier vorgestellten Ansatz von Vorteil. Mit ihr kann systematischen geometrischen Fehlern bei der Tiefenbestimmung vorgebeugt werden. Die Verzeichnungskorrektur kann wahlweise bereits auf die Originalbilder angewandt werden oder auch auf die Felder der Korrespondenzen.
Auf die physikalische Simulation einer realen Optik kann teilweise verzichtet werden. Dies ermöglicht eine Reihe von bisher nicht bekannten Möglichkeiten der Visualisierung.
In einem Ausführungsbeispiel wird die Kenntnis der Entfernung für jeden Bildpunkt verwendet, um simulativ ein Medium in die Szene einzufügen. Beispielsweise kann Nebel, Dunst, Staub und/oder Rauch eingefügt werden. Dann werden für jeden Bildpunkt abhängig von der Tiefe dessen Helligkeit und Farbe errechnet, wobei die Dämpfung durch das Medium berücksichtigt wird. 13 zeigt ein Beispiel, bei dem dichter, homogen verteilter Rauch simuliert wurde. Auch eine nichthomogene Verteilung wäre hier denkbar, z. B. für aus einer Rauchquelle austretenden Rauch. Zusätzlich zur Simulation der Unschärfe wurde hier dichter Rauch simulativ in die Szene eingefügt.
In einem Ausführungsbeispiel wird umgekehrt ein real während der Aufnahme vorhandenes Medium, z. B. Dunst oder Nebel, nachträglich aus den Bildern „herausgerechnet". Dabei wird das Bild so modifiziert, als sei das Medium nicht vorhanden gewesen. Dies stellt die Umkehrung des in 13 gezeigten Ausführungsbeispiels dar. Damit lässt sich z. B. die unerwünschte entfernungsabhängige Reduktion des Kontrasts zumindest teilweise aufheben, die beispielsweise bei Landschaftsaufnahmen insbesondere bei diesigem Wetter oder Smog häufig auftritt.
14 zeigt eine Vergleichsdarstellung eines Originalbilds 600 und eines Ergebnisbilds 1400 einer Ortschaft mit nachträglich eingefügter Tiefenunschärfe 1402 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Originalbild 600 links entspricht dem mittleren Bild aus 6. Rechts ist das Bild 1400 mit Tiefenunschärfe dargestellt. Hier wurde interaktiv das Blumenbeet in der rechten unteren Bildecke als scharf darzustellendes Objekt ausgewählt. Dadurch erscheinen auch andere Objekte in etwa derselben Tiefe scharf, z. B. der Baum und das Ziegeldach links im Bild 1400.
15 zeigt eine Darstellung zweier Ergebnisbilder 1400 einer Ortschaft mit unterschiedlichen Schärfeebenen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Links liegen die dunklen Fahrzeuge im scharfen Bereich. Rechts liegt die Kirche im Hintergrund im scharfen Bereich.
Ein beispielhaftes Endergebnis mit Vergleich zum Originalbild ist in 14 gezeigt. Ausgehend von demselben Referenzbild und demselben Tiefenbild wie in den 6 und 8 wurden zwei weitere Ergebnisbilder erzeugt, die in 15 dargestellt sind. Der Unterschied zwischen den Ergebnisbildern resultiert alleine aus der unterschiedlichen Wahl der zu fokussierenden Tiefe. Es ist also ohne Weiteres möglich, auf diese Weise eine ganze Fokusserie zu erzeugen.
16 zeigt eine Vergleichsdarstellung eines Originalbilds 1600 und eines Ergebnisbilds 1602 eines Ufers mit nachträglich eingefügter Tiefenunschärfe gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Im Originalbild 1600 wurde der Fuß des Birkenbaums als scharf darzustellendes Objekt ausgewählt.
17 zeigt eine Vergleichsdarstellung eines Originalbilds 1700 und eines Ergebnisbilds 1702 eines Sees mit nachträglich eingefügter Tiefenunschärfe gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Im Originalbild 1700 wurde der nahe Baum als scharf darzustellendes Objekt ausgewählt. Selbst für Spiegelungen auf glatten Wasseroberflächen funktioniert der hier vorgestellte Ansatz.
18 zeigt eine Vergleichsdarstellung eines Originalbilds 1800 und eines Ergebnisbilds 1802 einer Straße mit nachträglich eingefügter Tiefenunschärfe gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Originalbild 1800 ist hier mit einer weitwinkligen Kamera (Fisheye) aufgenommen. Im Ergebnisbild 1802 wurde die Fahrzeugfront als scharf darzustellende Region ausgewählt.
19 zeigt eine Vergleichsdarstellung eines Originalbilds 1900 und eines Ergebnisbilds 1902 einer Lokomotive mit nachträglich eingefügter Tiefenunschärfe gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Im Ergebnisbild 1902 wird der „Miniatureffekt" deutlich. Da sich die Personen zwischen den drei Aufnahmen bewegen, handelt es sich um eine nicht-statische Szene. Das Ergebnis weicht an dieser Stelle etwas von der Erwartung ab, insbesondere bei der Person mit schwarzer Uniform im Vordergrund.
Bei der Unscharf-Filterung in den vorliegend beschriebenen Ausführungsbeispielen wurde davon ausgegangen, dass diese auf der Grundlage des Referenzbildes geschieht, dass also Grauwerte bzw. Farbwerte, die in die Filterung eingehen, nur aus dem Referenzbild stammen. Jedoch ist es von Vorteil, an dieser Stelle auch die anderen zur Verfügung stehenden Aufnahmen zu nutzen. Beispielsweise kann besonders bei Verdeckungen nach einer Korrektur von Helligkeiten aufgrund eventuell unterschiedlicher Kameraeinstellungen zusätzlich auf die Daten der anderen Bilder zurückgegriffen werden, denn in die unscharfen Bereiche gehen auch Helligkeiten/Farben von Szenenpunkten ein, die wegen Verdeckung nicht im Referenzbild, jedoch in einem oder mehreren der anderen Bilder zu sehen sind.
Je größer der angenommene Blendendurchmesser ist, desto geringer ist der derjenige Tiefenbereich, der vom Betrachter noch als scharf abgebildet wahrgenommen wird, der Tiefenschärfebereich. Ein sehr kurzer Tiefenschärfebereich kann dazu führen, dass ein Objekt, z. B. eine Person, die scharf abgebildet werden soll, teilweise aus dem Tiefenschärfebereich herausragt. Gemäß dem hier vorgestellten Ansatz ist es im Gegensatz zum physikalischen System problemlos möglich, den Tiefenschärfebereich zu verbreitern, z. B. indem in der Funktion für den Unschärfekreis ein konstanter Term subtrahiert wird und dann negative Werte durch null ersetzt werden. So wird im Bild die Fläche, in der keine Glättung stattfindet, vergrößert.
Noch allgemeiner kann die Funktion durch andere Funktionen ersetzt werden, wobei der Funktionswert sinnvollerweise immer nichtnegativ sein sollte. Beispielsweise könnte eine Funktion mit zwei Nullstellen verwendet werden, um zwei scharfe Weltebenen verschiedener Tiefe zu erreichen.
Optional kann auch eine Bildschärfung in ausgewählten Bildregionen stattfinden, insbesondere in der Region, die nicht unscharf gefiltert wird. Damit wird der visuelle „Kontrast" zwischen scharfen und unscharfen Regionen noch verstärkt.
Weiterhin ist eine übertriebene Farbsättigung auch hier anwendbar, z. B. um den Miniatureffekt zu verstärken.
Bisher wurde davon ausgegangen, dass die scharfgestellte Weltebene parallel zur Bildebene oder Sensorebene liegt. Diese Einschränkung ist jedoch nicht notwendig. Ebenso kann eine zur Bildebene verkippte scharfgestellte Weltebene realisiert werden.
Abweichend von dem Ziel, den Tiefenunschärfe-Verlauf physikalisch möglichst korrekt nachzubilden, kann dieser beliebig abgewandelt werden, z. B. um zwei Objekte in unterschiedlicher Tiefe gleichzeitig scharf darzustellen oder um ein Objekt, das sich über einen Tiefenbereich erstreckt, komplett scharf und andere Tiefen trotzdem unscharf darzustellen.
In einem Ausführungsbeispiel liegt die scharfgestellte Weltebene parallel zum Boden in 1,70 Meter Höhe. Gesichter von Personen, die sich etwa in dieser Höhe befinden, sind scharf dargestellt. Je weiter sich Szenenpunkte von der Höhe 1,70 Meter weg befinden, umso unschärfer werden sie dargestellt. Dies stellt eine bisher völlig unbekannte Form der Visualisierung dar, die z. B. dafür geeignet ist, die Aufmerksamkeit des Betrachters in eine bestimmte Höhe im Bild, hier die Augenhöhe, zu lenken.
Die scharfgestellten Flächen können nicht eben, sondern gekrümmt sein. Beispielsweise können vier Objekte, die sich nicht in einer Ebene befinden gleichzeitig scharf dargestellt werden, wenn eine gekrümmte scharfgestellte Oberfläche verwendet wird, die durch alle vier Objekte verläuft.
In einem Ausführungsbeispiel werden statt wie in den bisherigen Betrachtungen synthetische Bilder verwendet. Während der Generierung solcher Bilder ist ohnehin schon eine Tiefenkarte vorhanden, die exakt ist. Diese wird als Grundlage in einer der beschriebenen Weisen zur Generierung von tiefenabhängiger Unschärfe verwendet. Beispielsweise kann so bei Computerspielen und Animationen der hier vorgestellte Effekt problemlos angewendet werden, da die Tiefe exakt bekannt ist und somit jegliche Fehler vermieden werden können.
Das hier vorgestellte Verfahren kann auch auf Videosequenzen angewandt werden, also zeitlich längere Aufnahmen von Szenen, in denen in der Regel auch Bewegung stattfindet.
Dann ist es vorteilhaft, mit mehreren Kameras (z. B. zwei, besser drei oder mehr) zu arbeiten, die untereinander synchronisiert sind, sodass sie dieselbe Szene jeweils möglichst zeitgleich aufnehmen. Wenn die Kameras mechanisch fest zueinanderstehen, können die bekannten Methoden der Stereoskopie zur Anwendung kommen, um die Tiefe zu bestimmen. Sind die Kameras nicht fest verbunden, handelt es sich um die gleiche Ausgangssituation, wie oben für die handgehaltene Kamera beschrieben.
Es ist sogar möglich, das erfindungsgemäße Verfahren mit nur einer Kamera auch auf Videos anzuwenden. Dazu werden zunächst wie oben beschrieben mehrere Einzelbilder aufgenommen, z. B. zuerst in den „Satellitenpositionen" links und rechts, danach in der Referenzposition mittig. Ab dann verbleibt die Kamera in der Referenzposition, von der aus die Videosequenz aufgezeichnet wird. (Die umgekehrte Reihenfolge ist ebenso möglich, falls die Aufnahmen zwischengespeichert werden.)
Falls die Kamera in der Referenzposition fixiert werden kann (z. B. auf einem Stativ), genügt es, mit nur einem einzigen Tiefenbild zu arbeiten, das auf die gesamte Sequenz angewendet wird. Das führt zwar unter Umständen zu Fehlern, z. B. wenn neue Vordergrund-Objekte in die Szene eintreten und ihnen fälschlicherweise die Tiefe des Hintergrunds zugeordnet wird (oder umgekehrt). Trotzdem sind mit diesem Vorgehen in vielen Situationen brauchbare Ergebnisse zu erzielen.
Falls die Kamera nicht fixiert werden kann, sollte für jedes Bild der Sequenz das Tiefenbild bezüglich der Satellitenpositionen neu errechnet werden.
Der hier vorgestellte Ansatz kann beispielsweise für Fahrerassistenzsysteme mit Anzeige, Fahrerinformationssysteme mit Anzeige, Sicherheits- und Überwachungssysteme, Robotik-Systeme und natürlich für Smartphone- oder Kamera-Apps verwendet werden. Computer-Vision Algorithmen können bei der Bestimmung von Korrespondenzen von Bild zu Bild und/oder bei der Bestimmung von Tiefe aus solchen Korrespondenzen verwendet werden.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2009/088951 A1 [0003]

Claims

Verfahren (300) zum Erzeugen einer Tiefenunschärfe (1402) in einem Bild (600), wobei das Verfahren (300) die folgenden Schritte aufweist: Einlesen (302) des Bilds (600), das eine Szene aus einer Perspektive abbildet; Auswählen (304) eines Bildausschnitts des Bilds (600) unter Verwendung einer Tiefeninformation (800) der Szene; und Bearbeiten (306) des Bildausschnitts unter Verwendung der Tiefeninformation (800), um die Tiefenunschärfe (1402) zu erzeugen.
Verfahren (300) gemäß Anspruch 1, bei dem im Schritt (304) des Auswählens ferner ein Motivbereich des Bilds (600) ausgewählt wird, wobei der Motivbereich unter Verwendung der Tiefeninformation (800) ausgewählt wird und im Schritt (306) des Bearbeitens unbearbeitet bleibt.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (304) des Auswählens die Tiefeninformation (800) perspektivenbezogene Entfernungswerte von Bildpunkten des Bilds (600) repräsentiert und Bildpunkte als Bildausschnitt ausgewählt werden, welche Entfernungswerte innerhalb eines Entfernungsbereichs aufweisen.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (306) des Bearbeitens Teilbereiche des Bildausschnitts abhängig von der Tiefeninformation (800) unterschiedlich stark bearbeitet werden.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (302) des Einlesens ferner eine Benutzereingabe eingelesen wird.
Verfahren (300) gemäß Anspruch 4, bei dem im Schritt (304) des Auswählens der Bildausschnitt ferner unter Verwendung der Benutzereingabe ausgewählt wird.
Verfahren (300) gemäß einem der Ansprüche 4 bis 5, bei dem im Schritt (302) des Einlesens die Benutzereingabe eine Bezugstiefe (Z₀) repräsentiert und im Schritt des Bearbeitens Bildpunkte des Bildausschnitts abhängig von einem Abstand der Bildpunkte zu der Bezugstiefe (Z₀) bearbeitet werden.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (306) des Bearbeitens die Bildpunkte des Bildausschnitts ferner unter Verwendung einer Bildbearbeitungsvorschrift (1100) bearbeitet werden, um die Tiefenunschärfe (1402) zu erzeugen.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (302) des Einlesens zumindest ein weiteres Bild (602, 604) eingelesen wird, wobei das weitere Bild (602, 604) die Szene aus einer weiteren Perspektive abbildet, wobei die Perspektive und die weitere Perspektive verschieden sind, und das Verfahren (300) einen Schritt des Gewinnens der Tiefeninformation (800) aufweist, wobei die Tiefeninformation (800) für Bildpunkte des Bilds (600) unter Verwendung der Perspektive und der weiteren Perspektive gewonnen wird.
Vorrichtung (400) zum Erzeugen einer Tiefenunschärfe (1402) in einem Bild (600), wobei die Vorrichtung (400) die folgenden Merkmale aufweist: eine Einrichtung (402) zum Einlesen, die dazu ausgebildet ist das Bild (600), das eine Szene aus einer Perspektive abbildet einzulesen; eine Einrichtung (404) zum Auswählen, die dazu ausgebildet ist, einen Bildausschnitt des Bilds (600) unter Verwendung einer Tiefeninformation (800) der Szene auszuwählen; und eine Einrichtung (406) zum Bearbeiten, die dazu ausgebildet ist, den Bildausschnitt unter Verwendung der Tiefeninformation (800) zu bearbeiten, um die Tiefenunschärfe (1402) zu erzeugen.
Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 9, wenn das Programmprodukt auf einer Vorrichtung ausgeführt wird.