DE112009005382T5

DE112009005382T5 - Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden

Info

Publication number: DE112009005382T5
Application number: DE112009005382T
Authority: DE
Inventors: Wei-Jia Huang; Kai-Che Liu; Ludovic Angot
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2009-11-18
Filing date: 2009-11-18
Publication date: 2012-09-13
Also published as: CN102741879B; US9030469B2; WO2011060579A8; CN102741879A; WO2011060579A1; US20130162629A1

Abstract

Es werden Verfahren zum Erzeugen von Tiefenkarten aus monokularen Standbildern und monokularen Videos und Systeme, die diese verwenden, geschaffen. Zunächst wird eine Anfangstiefenkarte geschätzt oder beliebig definiert. Für Videoeingaben können Bewegungsinformationen verendet werden, für ein Standbild kann den Anfangshintergrund durch den Nutzer standardmäßig eingestellt werden, durch den Nutzer gewählt werden oder geschätzt werden. Die Schätzung der Anfangstiefenkarte kann auf einer Kontrastkarte oder auf einer Unschärfekarte beruhen. Die Anfangstiefenkarte definiert Anfangstiefenwerte für die jeweiligen Pixel des monokularen Bildes oder der monokularen Film-Teilbilder. Die jeweiligen Pixel der ursprünglichen Bild- oder Videoteilbild-Daten werden in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abgebildet, um entsprechende Anfangstiefenwerte zu erhalten. Ein Bilddatenraum des Bildes wird in mehrere Teilbildräume unterteilt, und der Anfangstiefenwert jedes der Pixel der Bilddaten wird in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel gefiltert, um Tiefeninformationen für die Pixel zu erhalten.

Description

GEBIET DER ERFINDUNG
Diese Offenbarung bezieht sich allgemein auf Verfahren zum Erzeugen von Tiefenkarten und auf Systeme, die diese verwenden, und insbesondere auf Verfahren zum Erzeugen von Tiefenkarten aus Bildern wie etwa aus monokularen Bildern oder aus monokularen Filmen. Diese Tiefenkarten werden daraufhin geeignet umgesetzt, um auf einem geeigneten System wie z. B. auf einer autostereoskopischen Anzeige angezeigt zu werden.
HINTERGRUND
Mit dem Erscheinen neuer stereoskopischer Anzeigetechnologien und mit dem ungeheuren Vorrat monokularer Bilder, seien es Photos, Filme oder Videos, ist die Notwendigkeit für ein Mittel zum Umsetzen solcher Bilder in der Weise, dass sie auf stereoskopischen Anzeigen betrachtet werden können, offensichtlich. Um eine solche Umsetzung auszuführen, sind verschiedene Verfahren vorgeschlagen worden. In dem Patent US 2008/0260288 ”Creating a Depth Map” beruht die Umsetzung auf einer Bildsegmentierung und auf der Zuweisung von Tiefeninformationen auf der Grundlage der relativen Größe der segmentierten Objekte. Es gibt mehrere Verfahren, die auf dem Vorhandensein einer Bewegung in einer Sequenz von Bildern beruhen, etwa jene, die in den Patenten US 5748199 , ”Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture”, und US 7489812 , ”Conversion and encoding techniques”, offenbart sind.
ZUSAMMENFASSUNG DER ERFINDUNG
Es werden Verfahren zum Erzeugen von Tiefenkarten und Systeme, die diese verwenden, geschaffen.
In dieser Offenbarung, und sofern nichts anderes angegeben ist, bezieht sich der Begriff Bild auf ein monokulares Bild, das aus einem monokularen Bild oder aus Teilbildern, die aus einem Film erfasst wurden, erhalten wurde.
In einer beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten wird eine Anfangstiefenkarte geschätzt oder ausgewählt und werden Bilddaten aus einem monokularen Bild oder Video, das mehrere Pixel umfasst, erhalten. Jedes Pixel des Bildes wird in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abgebildet, um entsprechende Anfangstiefenwerte zu erhalten. Somit definiert die Anfangstiefenkarte Anfangstiefenwerte für die Pixel des Bildes. Ein Bilddatenraum des Bildes wird in mehrere Teilbildräume unterteilt, und der Anfangstiefenwert jedes der Pixel der Bilddaten wird in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel gefiltert, um Tiefeninformationen für die Pixel zu erhalten, während die feinen Einzelheiten des monokularen Bildes erhalten bleiben.
Eine beispielhafte Ausführungsform eines Tiefenkarten-Erzeugungssystems enthält eine Speichereinheit und eine Verarbeitungseinheit. Die Speichereinheit enthält eine Anfangstiefenkarte und eines oder mehrere Bilder, die mehrere Pixel umfassen. Die Anfangstiefenkarte definiert Anfangstiefenwerte für die jeweiligen Pixel des Bildes. Die Verarbeitungseinheit bildet jedes der Pixel des Bildes auf einen entsprechenden Graustufenwert der Pixel der Anfangstiefenkarte ab, um Anfangstiefenwerte der Pixel des Bildes zu erhalten. Die Verarbeitungseinheit unterteilt einen Bilddatenraum des Bildes in mehrere Teilbildräume und filtert den Anfangstiefenwert jedes der Pixel des Bildes in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel, um Tiefeninformationen für die Pixel zu erhalten.
In einer weiteren beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten wird eine Anfangstiefenkarte erhalten und wird ein Bild erhalten, das mehrere der Pixel umfasst. Die Anfangstiefenkarte definiert Anfangstiefenwerte für die jeweiligen Pixel des Bildes. Jedes der Pixel des Bildes wird in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abgebildet, um entsprechende Anfangstiefenwerte zu erhalten. Der Anfangstiefenwert jedes der Pixel des Bildes wird unter Verwendung eines bilateralen Filters gefiltert, um Tiefeninformationen für die Pixel zu erhalten, während die ursprünglichen Bildeinzelheiten erhalten bleiben.
Eine beispielhafte Ausführungsform eines Tiefenkarten-Erzeugungssystems enthält eine Speichereinheit und eine Verarbeitungseinheit. Die Speichereinheit enthält eine Anfangstiefenkarte und ein Bild, das mehrere Pixel umfasst. Die Anfangstiefenkarte definiert Anfangstiefenwerte für die jeweiligen Pixel der Bilddaten. Die Verarbeitungseinheit bildet jedes der Pixel des Bildes in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte ab, um entsprechende Anfangstiefenwerte zu erhalten. Die Verarbeitungseinheit filtert den Anfangstiefenwert jedes der Pixel der Bilddaten unter Verwendung eines bilateralen Filters, um Tiefeninformationen für die Pixel zu erhalten.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die Offenbarung wird besser verständlich durch Bezugnahme auf die folgende ausführliche Beschreibung mit Bezug auf die beigefügten Zeichnungen, in denen:
1 eine schematische Darstellung ist, die eine beispielhafte Ausführungsform eines Tiefenkarten-Erzeugungssystems der Offenbarung veranschaulicht;
2A–2F Abbildungen sind, die eine beispielhafte Ausführungsform von Beispielen von Aufangstiefenkarten der Offenbarung darstellen;
3A und 3B Abbildungen sind, die eine beispielhafte Ausführungsform von nochmals weiteren Beispielen von Anfangstiefenkarten der Offenbarung darstellen;
4 eine schematische Darstellung ist, die eine beispielhafte Ausführungsform eines Verfahrens zum Schätzen einer Anfangstiefenkarte der Offenbarung veranschaulicht;
5 ein Ablaufplan einer beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten der Offenbarung ist; und
6 ein Ablaufplan einer weiteren beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten aus einer Reihe von Bildern wie etwa aus Teilbildern, die aus einem Film extrahiert werden, ist.
AUSFÜHRLICHE BESCHREIBUNG
Es werden Verfahren zum Erzeugen von Tiefenkarten und Systeme, die diese verwenden, geschaffen.
1 ist eine schematische Darstellung, die eine beispielhafte Ausführungsform eines Tiefenkarten-Erzeugungssystems der Offenbarung veranschaulicht. Das Tiefenkarten-Erzeugungssystem 100 kann in einer elektronischen Vorrichtung wie etwa einem Computersystem, einer Anzeigevorrichtung, einer Empfangsvorrichtung, einer Wiedergabevorrichtung, einer Erfassungsvorrichtung wie etwa einer in einem Mobiltelephon und in anderen relevanten Vorrichtungen, die eine Anzeige oder keine Anzeige enthalten, implementierten verwendet werden.
Das Tiefenkarten-Erzeugungssystem 100 umfasst eine Speichereinheit 110 und eine Verarbeitungseinheit 120. Die Speichereinheit 110 umfasst wenigstens ein Bild 111 und wenigstens eine entsprechende Anfangstiefenkarte 113. Das Einzelbild oder die Menge von Bildern 111 kann aus einem monokularen Standbild oder aus einem monokularen Film erhalten werden. Die Anfangstiefenkarte 113 definiert Anfangstiefenwerte für die jeweiligen Pixel des Einzelbildes oder der Menge von Bildern 111. 2A–2F sind schematische Darstellungen, die eine beispielhafte Ausführungsform von Beispielen von Anfangstiefenkarten der Offenbarung veranschaulichen. Wie in 2A–2F gezeigt ist, kann jede Anfangstiefenkarte aus mehreren Pixeln bestehen und weist jedes der Pixel einen entsprechenden Anfangstiefenwert auf. Es wird angemerkt, dass die Anfangstiefenwerte in 2A–2F durch eine Graustufenfarbe zwischen weiß und schwarz repräsentiert sind und dass jede Graustufe einem spezifischen Tiefenwert entspricht, wobei die schwarze Farbe die tiefste Tiefe und die weiße Farbe die flachste Tiefe repräsentiert. Selbstverständlich sind die Anfangstiefenkarten in 2A–2F nur Beispiele für die Anwendung und ist die vorliegende Offenbarung darauf nicht beschränkt. Die Anfangstiefenkarte 113 kann vordefiniert sein oder in Übereinstimmung mit dem Einzelbild oder mit der Menge von Bildern 111 erzeugt werden. In einigen beispielhaften Ausführungsformen kann die Anfangstiefenkarte 113 in Übereinstimmung mit Kontrast-, Intensitäts-, Unschärfeinformationen oder mit dem Texturgradienten der jeweiligen Pixel des Einzelbildes oder der Menge von Bildern 111 erzeugt werden. 3A ist ein Beispiel für eine Anfangstiefenkarte, die auf der Messung einer Unschärfemetrik beruht, wobei die Anfangstiefenkarte mittels Berechnung einer Unschärfemetrik innerhalb eines Teilfensters, das über das Einzelbild 111 oder über eines der Bilder aus der Menge von Bildern 111 gleitet, erhalten wird. 3B ist ein Beispiel, das auf der Messung eines Kontrasts beruht. Wenn die Menge von Bildern 111 ein Video ist, kann in einigen beispielhaften Ausführungsformen für jedes Pixel jedes der Bilder 111 mit Ausnahme des ersten einer Zeitsequenz, die eine Szene eines Films bildet, in Übereinstimmung mit den Bilddaten 112 (mehreren Bild-Teilbildern) ein Bewegungsvektor berechnet werden, wobei die Anfangstiefenkarte 113 in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel der Menge von Bildern 111 konstruiert wird, wobei ein spezifischer Wert des Bewegungsvektors auf einen spezifischen Anfangstiefenwert abgebildet werden kann. Ferner kann in einigen beispielhaften Ausführungsformen eine der Anfangstiefenkarten in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel einer Teilmenge von aus der Menge von Bildern 111 entnommenen Bildern ausgewählt werden. In diesen beispielhaften Ausführungsformen kann jedes Bild der Teilmenge von Bildern wenigstens ein interessierendes Gebiet (ROI) umfassen. Ein entsprechendes ROI wird in den zu schätzenden Anfangstiefenkarten definiert, wobei die Anfangstiefenkarte der Teilmenge von Bildern entspricht. Dem ROI wird in Übereinstimmung mit der Menge der Bewegung innerhalb des ROI ein entsprechendes Etikett zugewiesen; wobei das Etikett eine Tiefe oder eine flache Tiefe, d. h. nah oder fern, repräsentiert. Zum Beispiel definiert eine Anfangstiefenkarte 300, wie in 4 gezeigt ist, 5 ROIs, ROI1 bis ROI5, wobei jedes ein Nah- oder Fernetikett aufweist. Die Bewegungsvektoren der jeweiligen Pixel in dem ROI der aus der Menge von Bildern 111 entnommenen Teilmenge von Bildern werden berechnet und gemittelt. Der Wert des gemittelten Bewegungsvektors des ROI kann mit einem Schwellenwert verglichen werden, um ein Etikett (nah/fern) für das ROI der Teilmenge der aus der Menge von Bildern 111 entnommenen Bilder zu erhalten, woraufhin in Übereinstimmung mit dem ROI-Etikett eines Bildes der Menge von Bildern 111 eine spezifische Anfangstiefenkarte erstellt werden kann, wobei das ROI-Etikett des spezifischen Tiefenmodells dem ROI-Etikett eines Bildes der Menge von Bildern 111 entspricht. Wenn in der Menge von Bildern 111 und in der Anfangstiefenkarte 113 mehrere ROIs definiert sind, kann selbstverständlich eine Kombination der ROI-Etiketten verwendet werden, um z. B. durch Auswählen eines Elements in einer nicht gezeigten Nachschlagetabelle (LUT) die am besten geeignete Anfangstiefenkarte auszuwählen. Selbstverständlich kann in einigen beispielhaften Ausführungsformen jedes ROI auch als mehrere Punkte definiert werden, die ein Gitter bilden, auf dem Bewegungsvektoren berechnet werden können, um die Berechnung der Bewegung zu beschleunigen. Die Verarbeitungseinheit 120 führt das Verfahren zum Erzeugen von Tiefenkarten der Offenbarung, das in den folgenden Absätzen weiter diskutiert wird, aus.
5 ist ein Ablaufplan einer beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten der Offenbarung. Das Verfahren zum Erzeugen von Tiefenkarten kann für eine elektronische Vorrichtung wie etwa ein Computersystem, eine Anzeigevorrichtung, eine Empfangsvorrichtung, eine Wiedergabevorrichtung und andere verwendet werden.
In Schritt S410 wird ein Bild erhalten, das mehrere Pixel umfasst. Das Bild kann z. B. aus einem Standbild oder aus einem Film erhalten werden. In Schritt S420 wird eine Anfangstiefenkarte erhalten. Die Anfangstiefenkarte definiert Anfangstiefenwerte für die jeweiligen Pixel des Bildes. Ähnlich kann die Anfangstiefenkarte in einigen beispielhaften Ausführungsformen aus mehreren Anwärteranfangstiefenkarten ausgewählt werden oder in Übereinstimmung mit Kontrast-, Intensitäts-, Atmosphärenperspektive-, Unschärfeinformationen oder mit dem Texturgradienten der jeweiligen Pixel des Bildes erzeugt werden. In einigen beispielhaften Ausführungsformen können Bewegungsvektoren berechnet werden, die wenigstens einem in den Videoteilbildern definierten ROI entsprechen, und können die Werte der Bewegungsvektoren dazu verwendet werden, die Anfangstiefenkarte direkt zu konstruieren oder die Anfangstiefenkarte aus mehreren Anfangstiefenkartenanwärtern auszuwählen. Diesbezügliche Einzelheiten der Auswahl oder Konstruktion der Anfangstiefenkarte sind oben offenbart worden. In Schritt S430 wird jedes der Pixel des Bildes in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abgebildet, um entsprechende Anfangstiefenwerte zu erhalten. In Schritt S440 wird der Bilddatenraum des Bildes in mehrere Teilbildräume unterteilt und wird der Anfangstiefenwert jedes der Pixel des Bildes in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel, gefiltert, um Tiefeninformationen für die Pixel zu erhalten.
Es wird angemerkt, dass der Schritt S440 in einigen beispielhaften Ausführungsformen durch Filtern der Anfangstiefenwerte der jeweiligen Pixel des Bildes unter Verwendung eines bilateralen Filters ausgeführt werden kann, um Tiefeninformationen für die Bild- oder Videoteilbildpixel zu erhalten. Es wird angemerkt, dass die Farbwerte der Pixel durch die Anfangstiefenwerte ersetzt werden und zur Filterung in das bilaterale Filter eingegeben werden. Das bilaterale Filter kann dem Fachmann auf dem Gebiet gut bekannt sein, so dass eine ausführliche Beschreibung weggelassen ist, wobei auf ”Real-time Edge-Aware Image Processing with the Bilateral Grid”, Jiawen Chen, Sylvain Paris und Frédo Durand, ACM Transactions an Graphics (Proceedings of the ACM SIGGRAPH'07 conference), Bezug genommen werden kann. Der Filterungsprozess der Anfangstiefenwerte der jeweiligen Pixel des Bildes wird unter Verwendung eines Verfahrens mit bilateralem Gitter beschleunigt. Zunächst wird jedes der Pixel des Bildes auf der Grundlage der Pixelintensität auf wenigstens ein 3D-Gitter abgebildet, wobei es möglicherweise auf der Grundlage weiterer verfügbarer Pixelinformationen auf andere 3D-Gitter abgebildet werden kann. In dem Abbildungsprozess werden die 2D-Koordinaten jedes Pixels des Bildes und ihre Intensität in Übereinstimmung mit einer Abbildungsfunktion auf 3D-Koordinaten abgebildet:
wobei r und s zwei einstellbare Parameter sind, die jeweils die räumliche Reichweite und die Intensitätsreichweite jedes der Pixel des monokularen Anfangsbildes mit der Anzahl der Zellen in dem Gitter in Beziehung setzen, (u, v) die 2D-Koordinaten jedes Pixels des Bildes sind, I(u, v) die Intensität des Pixels (u, v) ist und (x, y, z) die durch das bilaterale Gitter in dem 3D-Raum Definierten sind. Nachdem jedes Pixel auf ein 3D-Gitter abgebildet worden ist, wird in Übereinstimmung mit den Anfangstiefenwerten der jeweiligen Pixel in jeder Zelle des Gitters ein mittlerer Tiefenwert für jede Zelle berechnet. Selbstverständlich kann der mittlere Tiefenwert jeder Zelle in einigen beispielhaften Ausführungsformen unter Verwendung eines Tiefpassfilters (LPF) weiter gefiltert werden. Dementsprechend kann der mittlere Tiefenwert jeder Zelle in einigen beispielhaften Ausführungsformen in Übereinstimmung mit umgebenden Zellen unter Verwendung eines Gauß-Filters weiter geglättet werden. Schließlich wird der Anfangstiefenwert jedes der Pixel in dem Bild durch den mittleren Tiefenwert der Zelle, wo sich das Pixel befindet, ersetzt, um die Tiefeninformationen für die Pixel zu erhalten.
6 ist ein Ablaufplan einer weiteren beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten der Offenbarung. Das Verfahren zum Erzeugen von Tiefenkarten kann für eine elektronische Vorrichtung wie etwa ein Computersystem, eine Anzeigevorrichtung, eine Empfangsvorrichtung, eine Wiedergabevorrichtung und andere verwendet werden. In dieser beispielhaften Ausführungsform kann die Bewegungsparallaxe in einer Sequenz von Bildern zum Einstellen der Anfangstiefenwerte in der Anfangstiefenkarte verwendet werden.
In Schritt S510 werden Bilder erhalten, die mehrere Pixel umfassen. Die Bilder können aus einem monokularen Film erhalten werden. In Schritt S520 werden eine oder mehrere Anfangstiefenkarten erhalten, die wenigstens einem Bild entsprechen. Die Anfangstiefenkarten können Anfangstiefenwerte für die jeweiligen Pixel der Bilder definieren. Ähnlich können in einigen beispielhaften Ausführungsformen eine oder mehrere Anfangstiefenkarten aus mehreren Anwärteranfangstiefenkarten ausgewählt werden oder in Übereinstimmung mit Kontrast-, Intensitäts-, Unschärfeinformationen oder mit dem Texturgradienten der jeweiligen Pixel der Bilder erzeugt werden. In einigen beispielhaften Ausführungsformen können Bewegungsvektoren berechnet werden, die in den Bildern definierten ROIs entsprechen, und können die Werte der Bewegungsvektoren verwendet werden, um die Anfangstiefenkarten direkt zu konstruieren oder um die Anfangstiefenkarten aus mehreren Anwärteranfangstiefenkarten auszuwählen. Beispiele einer ausgewählten Tiefenkarte sind in 2A bis 2F zu finden, und berechnete Tiefenkarten sind in 3A und 3B gezeigt, wobei der in 2A bis 2F gezeigte Prozess zum Auswählen einer der Tiefenkarten durch Berechnen eines Bewegungsvektors in dem ROI der Bilder erfolgt. In Schritt S530 wird in Übereinstimmung mit den Bilderdaten (mehreren Bild-Teilbildern) für jedes Pixel des Bildes ein Bewegungsvektor berechnet. Selbstverständlich kann der Bewegungsvektor für jedes Pixel in einigen beispielhaften Ausführungsformen unter Verwendung eines Lichtflussverfahrens berechnet werden, ist darauf aber nicht beschränkt. In einigen beispielhaften Ausführungsformen wird das Bild z. B. unter Verwendung eines Verfahrens, das auf einem Mean-Shift-Filter beruht, segmentiert. In Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel in dem Segment wird für jedes Segment ein mittlerer Bewegungsvektor berechnet, wobei der mittlere Bewegungsvektor jedem Pixel in dem Segment zugewiesen wird. Selbstverständlich kann der mittlere Bewegungsvektor für dasselbe Segment in verschiedenen Bild-Teilbildern in einigen beispielhaften Ausführungsformen weiter gemittelt werden. Anschließend wird der Anfangstiefenwert jedes der Pixel in der Anfangstiefenkarte in Schritt S540 in Übereinstimmung mit dem Bewegungsvektor für das jeweilige Pixel eingestellt. In einigen beispielhaften Ausführungsformen wird der Anfangstiefenwert jedes der Pixel in der Anfangstiefenkarte unter Verwendung der folgenden Funktion eingestellt:
wobei
ist, D_m(x, y) das direkte Verhältnis zu dem Wert des Bewegungsvektors des Pixels (x, y) der Bilddaten ist, D_b(x, y) der ursprüngliche Anfangstiefenwert des Pixels (x, y) in der Anfangstiefenkarte ist, D_r(x, y) die eingestellten Anfangstiefenwerte des Pixels (x, y) sind, mm_ax ein vorgegebener maximaler Bewegungsvektor ist und T_m ein vorgegebener Schwellenwert ist. Selbstverständlich ist die Funktion ein Beispiel und ist die vorliegende Offenbarung darauf nicht beschränkt. In der vorliegenden Offenbarung kann irgendeine Funktion angewendet werden, die die Anfangstiefenwerte in der Anfangstiefenkarte und die Bewegungsvektoren in den Bilddaten integrieren kann. Nachdem die Anfangstiefenwerte in der Anfangstiefenkarte in Schritt S550 eingestellt worden sind, wird jedes der Pixel des Bildes in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abgebildet, um entsprechende Anfangstiefenwerte zu erhalten. In Schritt S560 wird der Bilddatenraum in mehrere Teilbilder unterteilt und wird der Anfangstiefenwert jedes der Pixel des Bildes in Übereinstimmung mit den Anfangstiefenwerten der Pixel, die sich in demselben Teilbild befinden, gefiltert, um Tiefeninformationen für die Pixel zu erhalten.
Ähnlich kann der Schritt S560 in einigen beispielhaften Ausführungsformen durch Filtern der Anfangstiefenwerte jedes der Pixel des Bildes unter Verwendung eines bilateralen Filters ausgeführt werden, um Tiefeninformationen für die Pixel zu erhalten. Es wird angemerkt, dass die Farbwerte der Pixel durch die der Anfangstiefenkarte entnommenen Anfangstiefenwerte ersetzt werden und zur Filterung in das bilaterale Filter eingegeben werden. In einigen beispielhaften Ausführungsformen kann der Filterungsprozess der Anfangstiefenwerte jedes der Pixel des Bildes unter Verwendung eines Verfahrens mit bilateralem Gitter beschleunigt werden. Zunächst wird jedes der Pixel des Bildes auf der Grundlage der Pixelintensität auf wenigstens ein 3D-Gitter abgebildet, wobei sie möglicherweise auf der Grundlage weiterer verfügbarer Pixelinformationen auf andere 3D-Gitter abgebildet werden können. Nachdem jedes Pixel auf ein 3D-Gitter abgebildet worden ist, wird in Übereinstimmung mit den Anfangstiefenwerten der jeweiligen Pixel in der Zelle ein mittlerer Tiefenwert für jede Zelle berechnet. Selbstverständlich kann der mittlere Tiefenwert jeder Zelle in einigen beispielhaften Ausführungsformen unter Verwendung eines LPF weiter gefiltert werden. Zusätzlich kann der mittlere Tiefenwert jeder Zelle in einigen beispielhaften Ausführungsformen in Übereinstimmung mit umgebenden Zellen weiter geglättet werden. Schließlich wird der Anfangstiefenwert jedes der Pixel des Bildes durch den mittleren Tiefenwert der Zelle, in dem sich das Pixel befindet, ersetzt, um die Tiefeninformationen für die Pixel zu erhalten.
Somit können die Verfahren zum Erzeugen von Tiefenkarten und die Systeme Tiefenkarten aus Bilddaten in Übereinstimmung mit verschiedenen Anfangstiefenkarten erstellen.
Verfahren zum Erzeugen von Tiefenkarten und Systeme oder bestimmte Aspekte oder Teile davon können die Form eines Programmcodes (d. h. ausführbarer Anweisungen), der in konkreten Medien wie etwa Disketten, CD-ROMs, Festplatten, Flash-Speichern oder irgendeinem anderen maschinenlesbaren Speichermedium verkörpert ist, annehmen, wobei dann, wenn der Programmcode in eine Maschine wie etwa einen Computer geladen und durch sie ausgeführt wird, die Maschine dadurch zu einer Vorrichtung zum Verwirklichen der Verfahren wird. Die Verfahren können ebenfalls in Form von Programmcode verkörpert werden, der über ein Übertragungsmedium wie etwa eine elektrische Verdrahtung oder Verkabelung, über Faseroptik oder über irgendeine andere Form der Übertragung übertragen wird, wobei dann, wenn der Programmcode von einer Maschine wie etwa einem Computer empfangen und in sie geladen und durch sie ausgeführt wird, die Maschine zu einer Vorrichtung zum Verwirklichen der offenbarten Verfahren wird. Wenn der Programmcode in einem Universalprozessor implementiert wird, wird er mit dem Prozessor kombiniert, um eine einzigartige Vorrichtung zu schaffen, die analog zu anwendungsspezifischen Logikschaltungen arbeitet.
Das offenbarte Verfahren kann ebenfalls in einer Hardwarevorrichtung vom Höchstintegrationstyp (VLSI-Typ) oder vom Typ einer feldprogrammierbaren Logikanordnung (FPGA-Typ) implementiert werden, ist aber nicht auf diese Typen beschränkt.
Wenn das offenbarte Verfahren in irgendeiner der oben erwähnten Hardwarevorrichtungen implementiert wird, kann es für die Echtzeitumsetzung monokularer Standbilder wie etwa jener, die durch einen stereoskopischen Photorahmen angezeigt werden können, verwendet werden, kann es ebenfalls für die Echtzeitumsetzung irgendeines monokularen Films wie etwa des vom DVD-Typ verwendet werden und kann es ferner für die Echtzeitumsetzung monokularer Film- oder Bewegtbildsendungen wie etwa Fernsehprogramme verwendet werden. Die obigen Anwendungsbeispiele und ihre Anzahl bilden keine Beschränkung für andere Anwendungen, für die die vorliegende Offenbarung verwendet werden kann.
Es ist eine Aufgabe der offenbarten Ausführungsformen, ein Verfahren zum Erhalten von Tiefenkarten aus monokularen Standbildern oder aus monokularen Filmen zu schaffen, wobei die Tiefenkarten die Einzelheiten der ursprünglichen monokularen Bilder erhalten.
Es ist eine weitere Aufgabe der offenbarten Ausführungsformen, ein schnelles Verfahren zum Erzeugen von Tiefenkarten aus monokularen Standbildern oder monokularen Filmen zu schaffen.
Es ist eine nochmals weitere Aufgabe der offenbarten Ausführungsformen, Informationen über ein System zum Implementieren eines Verfahrens zum Erzeugen einer Tiefenkarte aus einem monokularen Bild oder Film zu schaffen.
Obwohl die Offenbarung beispielhaft und im Hinblick auf bevorzugte beispielhafte Ausführungsformen beschrieben worden ist, ist die Offenbarung selbstverständlich nicht darauf beschränkt. Der Fachmann auf dem Gebiet kann verschiedene Änderungen und Abwandlungen vornehmen, ohne vom Umfang und vom Erfindungsgedanken der Offenbarung abzuweichen. Somit soll der Umfang der vorliegenden Offenbarung durch die folgenden Ansprüche definiert und geschützt sein.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2008/0260288 [0002]
US 5748199 [0002]
US 7489812 [0002]

Claims

Verfahren zum Erzeugen von Tiefenkarten, wobei das Verfahren die folgenden Schritte umfasst: Erhalten eines Bildes, das mehrere Pixel umfasst; Erhalten einer Anfangstiefenkarte, wobei die Anfangstiefenkarte Anfangstiefenwerte für mehrere Pixel definiert; Abbilden jedes der Pixel des Bildes auf die Anfangstiefenkarte in Übereinstimmung mit den Lagen der Pixel, um entsprechende Anfangstiefenwerte zu erhalten; und Unterteilen eines Bilddatenraums des Bildes in mehrere Teilbildräume und Filtern des Anfangstiefenwerts jedes der Pixel des Bildes in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel, um Tiefeninformationen für die Pixel zu erhalten.
Verfahren nach Anspruch 1, wobei der Schritt des Unterteilens des Bilddatenraums und des Filters des Anfangstiefenwerts jedes der Pixel der Bilddaten die folgenden Schritte umfasst: Abbilden jedes der Pixel der Bilddaten auf eines oder mehrere 3D-Gitter auf der Grundlage der Pixelintensität; Berechnen eines mittleren Tiefenwerts für jede Zelle des einen oder der mehreren Gitter in Übereinstimmung mit den Anfangstiefenwerten der jeweiligen Pixel in der Zelle; und Ersetzen der Anfangstiefenwerte jedes der Pixel der Bilddaten durch den mittleren Tiefenwert des Gitters, wo sich das Pixel befindet, um die Tiefeninformationen für die Pixel zu erhalten.
Verfahren nach Anspruch 2, das ferner das Glätten des mittleren Tiefenwerts jeder Zelle in Übereinstimmung mit umgebenden Zellen umfasst.
Verfahren nach Anspruch 1, das ferner die folgenden Schritte umfasst: Berechnen eines Bewegungsvektors für jedes Pixel des Bildes in Übereinstimmung mit den Bilddaten und mit Daten eines zweiten Bildes; und Einstellen des Anfangstiefenwerts jedes der Pixel in der Anfangstiefenkarte in Übereinstimmung mit den Bewegungsvektoren für die Pixel.
Verfahren nach Anspruch 4, das ferner umfasst: Segmentieren des Bildes in der Weise, dass Pixel in Segmenten gruppiert werden; und Berechnen eines mittleren Bewegungsvektors für jedes Segment in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel in jedem Segment und Zuweisen des mittleren Bewegungsvektors zu jedem Pixel in jedem der Segmente.
Verfahren nach Anspruch 1, das ferner die folgenden Schritte umfasst: Berechnen eines mittleren Bewegungsvektors wenigstens für ein interessierendes Gebiet (ROI) in dem Bild; und Auswählen der Anfangstiefenkarte aus mehreren Anwärteranfangstiefenkarten in Übereinstimmung mit dem mittleren Bewegungsvektor des ROI.
Verfahren nach Anspruch 6, das ferner die folgenden Schritte umfasst: Bestimmen eines Etiketts für das ROI in dem Bild in Übereinstimmung mit dem mittleren Bewegungsvektor des ROI; und Auswählen eines spezifischen Anwärters unter mehreren Anfangstiefenkarten als die Anfangstiefenkarte, wobei jede der Anwärteranfangstiefenkarten das ROI und ein entsprechendes Etikett, das die Tiefe repräsentiert, definiert, und wobei das Etikett des ROI in der spezifischen Anwärteranfangstiefenkarte dem Etikett des ROI in dem Bild entspricht.
Verfahren nach Anspruch 1, das ferner die folgenden Schritte umfasst: Berechnen eines Bewegungsvektors für jedes Pixel des Bildes in Übereinstimmung mit dem Bild und mit einem zweiten Bild; und Konstruieren der Anfangstiefenkarte in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel des Bildes.
Verfahren nach Anspruch 1, das ferner das Erzeugen der Anfangstiefenkarte in Übereinstimmung mit dem Kontrast der jeweiligen Pixel des Bildes umfasst.
Verfahren nach Anspruch 1, das ferner das Erzeugen der Anfangstiefenkarte in Übereinstimmung mit Unschärfeinformationen der jeweiligen Pixel des Bildes umfasst.
Verfahren nach Anspruch 1, das ferner das Erzeugen der Anfangstiefenkarte in Übereinstimmung mit dem Texturgradienten der jeweiligen Pixel des Bildes umfasst.
Verfahren zum Erzeugen von Tiefenkarten, wobei das Verfahren umfasst: Erhalten einer Anfangstiefenkarte, wobei die Anfangstiefenkarte Anfangstiefenwerte für mehrere Pixel definiert; Erhalten eines Bildes, das mehrere Pixel umfasst; Abbilden jedes der Pixel des Bildes auf die Anfangstiefenkarte in Übereinstimmung mit Lagen der Pixel, um entsprechende Anfangstiefenwerte zu erhalten; und Filtern der Anfangstiefenwerte jedes der Pixel des Bildes unter Verwendung eines bilateralen Filters, um Tiefeninformationen für die Pixel zu erhalten.
Verfahren nach Anspruch 12, das ferner das Beschleunigen des Filterungsprozesses der Anfangstiefenwerte jedes der Pixel des Bildes unter Verwendung eines Verfahrens mit bilateralem Gitter umfasst.
Verfahren nach Anspruch 12, das ferner das Einstellen der Anfangstiefenwerte jedes der Pixel in der Anfangstiefenkarte in Übereinstimmung mit einem Bewegungsvektor für das Pixel zwischen einem Teil eines ersten Bildes und eines zweiten Bildes einer Sequenz in einem Film umfasst.
Tiefenkarten-Erzeugungssystem, das umfasst: eine Speichereinheit, die eines oder mehrere Bilder, die mehrere Pixel umfassen, und eine oder mehrere Anfangstiefenkarten, die Anfangstiefenwerte für die jeweiligen Pixel des einen oder der mehreren Bilder definieren, wobei das eine oder die mehreren Bilder aus Videodaten erhalten werden, umfasst; und eine Verarbeitungseinheit, die jedes der Pixel des Bildes in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abbildet, um entsprechende Anfangstiefenwerte zu erhalten, einen Bilddatenraum des Bildes unterteilt und den Anfangstiefenwert jedes der Pixel des Bildes in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel filtert, um Tiefeninformationen für die Pixel zu erhalten.
System nach Anspruch 15, wobei die Verarbeitungseinheit ferner jedes der Pixel der Bilddaten auf der Grundlage der Pixelintensität auf eine oder auf mehrere 3D-Zellen abbildet, in Übereinstimmung mit den Anfangstiefenwerten der jeweiligen Pixel in der Zelle einen mittleren Tiefenwert für jede Zelle berechnet und den Anfangstiefenwert jedes der Pixel der Bilddaten durch einen mittleren Tiefenwert der Zelle, wo sich das Pixel befindet, ersetzt, um die Tiefeninformationen für die Pixel zu erhalten.
System nach Anspruch 16, wobei die Filterungsoperation der Verarbeitungseinheit aus dem Glätten des mittleren Tiefenwerts jeder Zelle in Übereinstimmung mit umgebenden Zellen besteht.
System nach Anspruch 15, wobei die Speichereinheit ferner Videodaten umfasst und die Verarbeitungseinheit ferner einen Bewegungsvektor für jedes Pixel, für jede Gruppe von Pixeln oder für jedes Segment des Bildes eines Bildes in Übereinstimmung mit den Bilddaten zweier zeitlich getrennter korrelierter Videoteilbilder berechnet und den Anfangstiefenwert jedes der Pixel in der Anfangstiefenkarte in Übereinstimmung mit dem Bewegungsvektor für das Pixel, für die Gruppe von Pixeln des Segments des Bildes einstellt.
System nach Anspruch 18, wobei die Verarbeitungseinheit die Pixel des Bildes weiter segmentiert, für jedes Segment in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel in dem Segment einen mittleren Bewegungsvektor berechnet und jedem Pixel in dem Segment den mittleren Bewegungsvektor zuweist.
System nach Anspruch 15, wobei die Verarbeitungseinheit ferner für wenigstens ein ROI (interessierendes Gebiet) in den Bilddaten einen mittleren Bewegungsvektor berechnet und aus mehreren Anwärteranfangstiefenkarten in Übereinstimmung mit dem mittleren Bewegungsvektor des ROI die Anfangstiefenkarte auswählt.
System nach Anspruch 20, wobei die Verarbeitungseinheit ferner für das ROI in den Bilddaten in Übereinstimmung mit dem mittleren Bewegungsvektor des ROI ein Etikett bestimmt und eine spezifische Anwärteranfangstiefenkarte als die Anfangstiefenkarte auswählt, wobei jede der Anwärteranfangstiefenkarten das ROI definiert und ein entsprechendes Etikett eine nahe Seite oder eine ferne Seite repräsentiert und das Etikett des ROI in dem spezifischen Anwärtertiefenmodell dem Etikett des ROI in den Bilddaten entspricht.
System nach Anspruch 15, wobei die Verarbeitungseinheit ferner für jedes Pixel des Bildes in Übereinstimmung mit dem Bild und mit einem zweiten Bild einen Bewegungsvektor berechnet und die Anfangstiefenkarte in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel des Bildes konstruiert.
System nach Anspruch 15, wobei die Verarbeitungseinheit ferner die Anfangstiefenkarte in Übereinstimmung mit Kontrast-, Intensitäts-, Unschärfeinformationen oder mit dem Texturgradienten der jeweiligen Pixel der Bilddaten erzeugt.
Tiefenkarten-Erzeugungssystem, das umfasst: eine Speichereinheit, die ein Bild, das mehrere Pixel umfasst, und eine Anfangstiefenkarte, die Anfangstiefenwerte für die jeweiligen Pixel definiert, umfasst; eine Verarbeitungseinheit, die jedes der Pixel des Bildes in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abbildet, um entsprechende Anfangstiefenwerte zu erhalten, und die Anfangstiefenwerte jedes der Pixel der Bilddaten unter Verwendung eines bilateralen Filters filtert, um Tiefeninformationen für die Pixel zu erhalten.
System nach Anspruch 24, wobei die Verarbeitungseinheit ferner den Filterungsprozess der Anfangstiefenwerte jedes der Pixel der Bilddaten unter Verwendung eines Verfahrens mit bilateralem Gitter beschleunigt.
System nach Anspruch 24, wobei die Verarbeitungseinheit ferner den Anfangstiefenwert jedes der Pixel in der Anfangstiefenkarte in Übereinstimmung mit einem Bewegungsvektor für das Pixel zwischen den Bilddaten und den Daten des zweiten Bildes einstellt.
Maschinenlesbares Speichermedium, das ein Computerprogramm umfasst, das, wenn es ausgeführt wird, veranlasst, dass eine Vorrichtung ein Verfahren zum Erzeugen von Tiefenkarten ausführt, wobei das Verfahren umfasst: Erhalten einer Anfangstiefenkarte, wobei die Anfangstiefenkarte Anfangstiefenwerte für mehrere Pixel definiert; Erhalten eines Bildes, das mehrere Pixel umfasst; Abbilden jedes der Pixel der Bilddaten auf die Anfangstiefenkarte in Übereinstimmung mit den Lagen der Pixel, um entsprechende Anfangstiefenwerte zu erhalten; und Unterteilen eines Bilddatenraums des Bildes in mehrere Teilbildräume und Filtern des Anfangstiefenwerts jedes der Pixel der Bilddaten in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel, um Tiefeninformationen für die Pixel zu erhalten.
Maschinenlesbares Speichermedium, das ein Computerprogramm umfasst, das, wenn es ausgeführt wird, veranlasst, dass eine Vorrichtung ein Verfahren zum Erzeugen von Tiefenkarten ausführt, wobei das Verfahren umfasst: Erhalten einer Anfangstiefenkarte, wobei die Anfangstiefenkarte Anfangstiefenwerte für mehrere Pixel definiert; Erhalten eines Bildes, das mehrere Pixel umfasst; Abbilden jedes der Pixel der Bilddaten auf die Anfangstiefenkarte in Übereinstimmung mit Lagen der Pixel, um entsprechende Anfangstiefenwerte zu erhalten; und Filtern der Anfangstiefenwerte jedes der Pixel der Bilddaten unter Verwendung eines bilateralen Filters, um Tiefeninformationen für die Pixel zu erhalten.