DE112009005382T5 - Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden - Google Patents
Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden Download PDFInfo
- Publication number
- DE112009005382T5 DE112009005382T5 DE112009005382T DE112009005382T DE112009005382T5 DE 112009005382 T5 DE112009005382 T5 DE 112009005382T5 DE 112009005382 T DE112009005382 T DE 112009005382T DE 112009005382 T DE112009005382 T DE 112009005382T DE 112009005382 T5 DE112009005382 T5 DE 112009005382T5
- Authority
- DE
- Germany
- Prior art keywords
- pixels
- initial depth
- image
- accordance
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
Es werden Verfahren zum Erzeugen von Tiefenkarten aus monokularen Standbildern und monokularen Videos und Systeme, die diese verwenden, geschaffen. Zunächst wird eine Anfangstiefenkarte geschätzt oder beliebig definiert. Für Videoeingaben können Bewegungsinformationen verendet werden, für ein Standbild kann den Anfangshintergrund durch den Nutzer standardmäßig eingestellt werden, durch den Nutzer gewählt werden oder geschätzt werden. Die Schätzung der Anfangstiefenkarte kann auf einer Kontrastkarte oder auf einer Unschärfekarte beruhen. Die Anfangstiefenkarte definiert Anfangstiefenwerte für die jeweiligen Pixel des monokularen Bildes oder der monokularen Film-Teilbilder. Die jeweiligen Pixel der ursprünglichen Bild- oder Videoteilbild-Daten werden in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abgebildet, um entsprechende Anfangstiefenwerte zu erhalten. Ein Bilddatenraum des Bildes wird in mehrere Teilbildräume unterteilt, und der Anfangstiefenwert jedes der Pixel der Bilddaten wird in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel gefiltert, um Tiefeninformationen für die Pixel zu erhalten.
Description
- GEBIET DER ERFINDUNG
- Diese Offenbarung bezieht sich allgemein auf Verfahren zum Erzeugen von Tiefenkarten und auf Systeme, die diese verwenden, und insbesondere auf Verfahren zum Erzeugen von Tiefenkarten aus Bildern wie etwa aus monokularen Bildern oder aus monokularen Filmen. Diese Tiefenkarten werden daraufhin geeignet umgesetzt, um auf einem geeigneten System wie z. B. auf einer autostereoskopischen Anzeige angezeigt zu werden.
- HINTERGRUND
- Mit dem Erscheinen neuer stereoskopischer Anzeigetechnologien und mit dem ungeheuren Vorrat monokularer Bilder, seien es Photos, Filme oder Videos, ist die Notwendigkeit für ein Mittel zum Umsetzen solcher Bilder in der Weise, dass sie auf stereoskopischen Anzeigen betrachtet werden können, offensichtlich. Um eine solche Umsetzung auszuführen, sind verschiedene Verfahren vorgeschlagen worden. In dem Patent
US 2008/0260288 US 5748199 , ”Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture”, undUS 7489812 , ”Conversion and encoding techniques”, offenbart sind. - ZUSAMMENFASSUNG DER ERFINDUNG
- Es werden Verfahren zum Erzeugen von Tiefenkarten und Systeme, die diese verwenden, geschaffen.
- In dieser Offenbarung, und sofern nichts anderes angegeben ist, bezieht sich der Begriff Bild auf ein monokulares Bild, das aus einem monokularen Bild oder aus Teilbildern, die aus einem Film erfasst wurden, erhalten wurde.
- In einer beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten wird eine Anfangstiefenkarte geschätzt oder ausgewählt und werden Bilddaten aus einem monokularen Bild oder Video, das mehrere Pixel umfasst, erhalten. Jedes Pixel des Bildes wird in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abgebildet, um entsprechende Anfangstiefenwerte zu erhalten. Somit definiert die Anfangstiefenkarte Anfangstiefenwerte für die Pixel des Bildes. Ein Bilddatenraum des Bildes wird in mehrere Teilbildräume unterteilt, und der Anfangstiefenwert jedes der Pixel der Bilddaten wird in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel gefiltert, um Tiefeninformationen für die Pixel zu erhalten, während die feinen Einzelheiten des monokularen Bildes erhalten bleiben.
- Eine beispielhafte Ausführungsform eines Tiefenkarten-Erzeugungssystems enthält eine Speichereinheit und eine Verarbeitungseinheit. Die Speichereinheit enthält eine Anfangstiefenkarte und eines oder mehrere Bilder, die mehrere Pixel umfassen. Die Anfangstiefenkarte definiert Anfangstiefenwerte für die jeweiligen Pixel des Bildes. Die Verarbeitungseinheit bildet jedes der Pixel des Bildes auf einen entsprechenden Graustufenwert der Pixel der Anfangstiefenkarte ab, um Anfangstiefenwerte der Pixel des Bildes zu erhalten. Die Verarbeitungseinheit unterteilt einen Bilddatenraum des Bildes in mehrere Teilbildräume und filtert den Anfangstiefenwert jedes der Pixel des Bildes in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel, um Tiefeninformationen für die Pixel zu erhalten.
- In einer weiteren beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten wird eine Anfangstiefenkarte erhalten und wird ein Bild erhalten, das mehrere der Pixel umfasst. Die Anfangstiefenkarte definiert Anfangstiefenwerte für die jeweiligen Pixel des Bildes. Jedes der Pixel des Bildes wird in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abgebildet, um entsprechende Anfangstiefenwerte zu erhalten. Der Anfangstiefenwert jedes der Pixel des Bildes wird unter Verwendung eines bilateralen Filters gefiltert, um Tiefeninformationen für die Pixel zu erhalten, während die ursprünglichen Bildeinzelheiten erhalten bleiben.
- Eine beispielhafte Ausführungsform eines Tiefenkarten-Erzeugungssystems enthält eine Speichereinheit und eine Verarbeitungseinheit. Die Speichereinheit enthält eine Anfangstiefenkarte und ein Bild, das mehrere Pixel umfasst. Die Anfangstiefenkarte definiert Anfangstiefenwerte für die jeweiligen Pixel der Bilddaten. Die Verarbeitungseinheit bildet jedes der Pixel des Bildes in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte ab, um entsprechende Anfangstiefenwerte zu erhalten. Die Verarbeitungseinheit filtert den Anfangstiefenwert jedes der Pixel der Bilddaten unter Verwendung eines bilateralen Filters, um Tiefeninformationen für die Pixel zu erhalten.
- KURZBESCHREIBUNG DER ZEICHNUNGEN
- Die Offenbarung wird besser verständlich durch Bezugnahme auf die folgende ausführliche Beschreibung mit Bezug auf die beigefügten Zeichnungen, in denen:
-
1 eine schematische Darstellung ist, die eine beispielhafte Ausführungsform eines Tiefenkarten-Erzeugungssystems der Offenbarung veranschaulicht; -
2A –2F Abbildungen sind, die eine beispielhafte Ausführungsform von Beispielen von Aufangstiefenkarten der Offenbarung darstellen; -
3A und3B Abbildungen sind, die eine beispielhafte Ausführungsform von nochmals weiteren Beispielen von Anfangstiefenkarten der Offenbarung darstellen; -
4 eine schematische Darstellung ist, die eine beispielhafte Ausführungsform eines Verfahrens zum Schätzen einer Anfangstiefenkarte der Offenbarung veranschaulicht; -
5 ein Ablaufplan einer beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten der Offenbarung ist; und -
6 ein Ablaufplan einer weiteren beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten aus einer Reihe von Bildern wie etwa aus Teilbildern, die aus einem Film extrahiert werden, ist. - AUSFÜHRLICHE BESCHREIBUNG
- Es werden Verfahren zum Erzeugen von Tiefenkarten und Systeme, die diese verwenden, geschaffen.
-
1 ist eine schematische Darstellung, die eine beispielhafte Ausführungsform eines Tiefenkarten-Erzeugungssystems der Offenbarung veranschaulicht. Das Tiefenkarten-Erzeugungssystem100 kann in einer elektronischen Vorrichtung wie etwa einem Computersystem, einer Anzeigevorrichtung, einer Empfangsvorrichtung, einer Wiedergabevorrichtung, einer Erfassungsvorrichtung wie etwa einer in einem Mobiltelephon und in anderen relevanten Vorrichtungen, die eine Anzeige oder keine Anzeige enthalten, implementierten verwendet werden. - Das Tiefenkarten-Erzeugungssystem
100 umfasst eine Speichereinheit110 und eine Verarbeitungseinheit120 . Die Speichereinheit110 umfasst wenigstens ein Bild111 und wenigstens eine entsprechende Anfangstiefenkarte113 . Das Einzelbild oder die Menge von Bildern111 kann aus einem monokularen Standbild oder aus einem monokularen Film erhalten werden. Die Anfangstiefenkarte113 definiert Anfangstiefenwerte für die jeweiligen Pixel des Einzelbildes oder der Menge von Bildern111 .2A –2F sind schematische Darstellungen, die eine beispielhafte Ausführungsform von Beispielen von Anfangstiefenkarten der Offenbarung veranschaulichen. Wie in2A –2F gezeigt ist, kann jede Anfangstiefenkarte aus mehreren Pixeln bestehen und weist jedes der Pixel einen entsprechenden Anfangstiefenwert auf. Es wird angemerkt, dass die Anfangstiefenwerte in2A –2F durch eine Graustufenfarbe zwischen weiß und schwarz repräsentiert sind und dass jede Graustufe einem spezifischen Tiefenwert entspricht, wobei die schwarze Farbe die tiefste Tiefe und die weiße Farbe die flachste Tiefe repräsentiert. Selbstverständlich sind die Anfangstiefenkarten in2A –2F nur Beispiele für die Anwendung und ist die vorliegende Offenbarung darauf nicht beschränkt. Die Anfangstiefenkarte113 kann vordefiniert sein oder in Übereinstimmung mit dem Einzelbild oder mit der Menge von Bildern111 erzeugt werden. In einigen beispielhaften Ausführungsformen kann die Anfangstiefenkarte113 in Übereinstimmung mit Kontrast-, Intensitäts-, Unschärfeinformationen oder mit dem Texturgradienten der jeweiligen Pixel des Einzelbildes oder der Menge von Bildern111 erzeugt werden.3A ist ein Beispiel für eine Anfangstiefenkarte, die auf der Messung einer Unschärfemetrik beruht, wobei die Anfangstiefenkarte mittels Berechnung einer Unschärfemetrik innerhalb eines Teilfensters, das über das Einzelbild111 oder über eines der Bilder aus der Menge von Bildern111 gleitet, erhalten wird.3B ist ein Beispiel, das auf der Messung eines Kontrasts beruht. Wenn die Menge von Bildern111 ein Video ist, kann in einigen beispielhaften Ausführungsformen für jedes Pixel jedes der Bilder111 mit Ausnahme des ersten einer Zeitsequenz, die eine Szene eines Films bildet, in Übereinstimmung mit den Bilddaten112 (mehreren Bild-Teilbildern) ein Bewegungsvektor berechnet werden, wobei die Anfangstiefenkarte113 in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel der Menge von Bildern111 konstruiert wird, wobei ein spezifischer Wert des Bewegungsvektors auf einen spezifischen Anfangstiefenwert abgebildet werden kann. Ferner kann in einigen beispielhaften Ausführungsformen eine der Anfangstiefenkarten in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel einer Teilmenge von aus der Menge von Bildern111 entnommenen Bildern ausgewählt werden. In diesen beispielhaften Ausführungsformen kann jedes Bild der Teilmenge von Bildern wenigstens ein interessierendes Gebiet (ROI) umfassen. Ein entsprechendes ROI wird in den zu schätzenden Anfangstiefenkarten definiert, wobei die Anfangstiefenkarte der Teilmenge von Bildern entspricht. Dem ROI wird in Übereinstimmung mit der Menge der Bewegung innerhalb des ROI ein entsprechendes Etikett zugewiesen; wobei das Etikett eine Tiefe oder eine flache Tiefe, d. h. nah oder fern, repräsentiert. Zum Beispiel definiert eine Anfangstiefenkarte300 , wie in4 gezeigt ist, 5 ROIs, ROI1 bis ROI5, wobei jedes ein Nah- oder Fernetikett aufweist. Die Bewegungsvektoren der jeweiligen Pixel in dem ROI der aus der Menge von Bildern111 entnommenen Teilmenge von Bildern werden berechnet und gemittelt. Der Wert des gemittelten Bewegungsvektors des ROI kann mit einem Schwellenwert verglichen werden, um ein Etikett (nah/fern) für das ROI der Teilmenge der aus der Menge von Bildern111 entnommenen Bilder zu erhalten, woraufhin in Übereinstimmung mit dem ROI-Etikett eines Bildes der Menge von Bildern111 eine spezifische Anfangstiefenkarte erstellt werden kann, wobei das ROI-Etikett des spezifischen Tiefenmodells dem ROI-Etikett eines Bildes der Menge von Bildern111 entspricht. Wenn in der Menge von Bildern111 und in der Anfangstiefenkarte113 mehrere ROIs definiert sind, kann selbstverständlich eine Kombination der ROI-Etiketten verwendet werden, um z. B. durch Auswählen eines Elements in einer nicht gezeigten Nachschlagetabelle (LUT) die am besten geeignete Anfangstiefenkarte auszuwählen. Selbstverständlich kann in einigen beispielhaften Ausführungsformen jedes ROI auch als mehrere Punkte definiert werden, die ein Gitter bilden, auf dem Bewegungsvektoren berechnet werden können, um die Berechnung der Bewegung zu beschleunigen. Die Verarbeitungseinheit120 führt das Verfahren zum Erzeugen von Tiefenkarten der Offenbarung, das in den folgenden Absätzen weiter diskutiert wird, aus. -
5 ist ein Ablaufplan einer beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten der Offenbarung. Das Verfahren zum Erzeugen von Tiefenkarten kann für eine elektronische Vorrichtung wie etwa ein Computersystem, eine Anzeigevorrichtung, eine Empfangsvorrichtung, eine Wiedergabevorrichtung und andere verwendet werden. - In Schritt S410 wird ein Bild erhalten, das mehrere Pixel umfasst. Das Bild kann z. B. aus einem Standbild oder aus einem Film erhalten werden. In Schritt S420 wird eine Anfangstiefenkarte erhalten. Die Anfangstiefenkarte definiert Anfangstiefenwerte für die jeweiligen Pixel des Bildes. Ähnlich kann die Anfangstiefenkarte in einigen beispielhaften Ausführungsformen aus mehreren Anwärteranfangstiefenkarten ausgewählt werden oder in Übereinstimmung mit Kontrast-, Intensitäts-, Atmosphärenperspektive-, Unschärfeinformationen oder mit dem Texturgradienten der jeweiligen Pixel des Bildes erzeugt werden. In einigen beispielhaften Ausführungsformen können Bewegungsvektoren berechnet werden, die wenigstens einem in den Videoteilbildern definierten ROI entsprechen, und können die Werte der Bewegungsvektoren dazu verwendet werden, die Anfangstiefenkarte direkt zu konstruieren oder die Anfangstiefenkarte aus mehreren Anfangstiefenkartenanwärtern auszuwählen. Diesbezügliche Einzelheiten der Auswahl oder Konstruktion der Anfangstiefenkarte sind oben offenbart worden. In Schritt S430 wird jedes der Pixel des Bildes in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abgebildet, um entsprechende Anfangstiefenwerte zu erhalten. In Schritt S440 wird der Bilddatenraum des Bildes in mehrere Teilbildräume unterteilt und wird der Anfangstiefenwert jedes der Pixel des Bildes in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel, gefiltert, um Tiefeninformationen für die Pixel zu erhalten.
- Es wird angemerkt, dass der Schritt S440 in einigen beispielhaften Ausführungsformen durch Filtern der Anfangstiefenwerte der jeweiligen Pixel des Bildes unter Verwendung eines bilateralen Filters ausgeführt werden kann, um Tiefeninformationen für die Bild- oder Videoteilbildpixel zu erhalten. Es wird angemerkt, dass die Farbwerte der Pixel durch die Anfangstiefenwerte ersetzt werden und zur Filterung in das bilaterale Filter eingegeben werden. Das bilaterale Filter kann dem Fachmann auf dem Gebiet gut bekannt sein, so dass eine ausführliche Beschreibung weggelassen ist, wobei auf ”Real-time Edge-Aware Image Processing with the Bilateral Grid”, Jiawen Chen, Sylvain Paris und Frédo Durand, ACM Transactions an Graphics (Proceedings of the ACM SIGGRAPH'07 conference), Bezug genommen werden kann. Der Filterungsprozess der Anfangstiefenwerte der jeweiligen Pixel des Bildes wird unter Verwendung eines Verfahrens mit bilateralem Gitter beschleunigt. Zunächst wird jedes der Pixel des Bildes auf der Grundlage der Pixelintensität auf wenigstens ein 3D-Gitter abgebildet, wobei es möglicherweise auf der Grundlage weiterer verfügbarer Pixelinformationen auf andere 3D-Gitter abgebildet werden kann. In dem Abbildungsprozess werden die 2D-Koordinaten jedes Pixels des Bildes und ihre Intensität in Übereinstimmung mit einer Abbildungsfunktion auf 3D-Koordinaten abgebildet: wobei r und s zwei einstellbare Parameter sind, die jeweils die räumliche Reichweite und die Intensitätsreichweite jedes der Pixel des monokularen Anfangsbildes mit der Anzahl der Zellen in dem Gitter in Beziehung setzen, (u, v) die 2D-Koordinaten jedes Pixels des Bildes sind, I(u, v) die Intensität des Pixels (u, v) ist und (x, y, z) die durch das bilaterale Gitter in dem 3D-Raum Definierten sind. Nachdem jedes Pixel auf ein 3D-Gitter abgebildet worden ist, wird in Übereinstimmung mit den Anfangstiefenwerten der jeweiligen Pixel in jeder Zelle des Gitters ein mittlerer Tiefenwert für jede Zelle berechnet. Selbstverständlich kann der mittlere Tiefenwert jeder Zelle in einigen beispielhaften Ausführungsformen unter Verwendung eines Tiefpassfilters (LPF) weiter gefiltert werden. Dementsprechend kann der mittlere Tiefenwert jeder Zelle in einigen beispielhaften Ausführungsformen in Übereinstimmung mit umgebenden Zellen unter Verwendung eines Gauß-Filters weiter geglättet werden. Schließlich wird der Anfangstiefenwert jedes der Pixel in dem Bild durch den mittleren Tiefenwert der Zelle, wo sich das Pixel befindet, ersetzt, um die Tiefeninformationen für die Pixel zu erhalten.
-
6 ist ein Ablaufplan einer weiteren beispielhaften Ausführungsform eines Verfahrens zum Erzeugen von Tiefenkarten der Offenbarung. Das Verfahren zum Erzeugen von Tiefenkarten kann für eine elektronische Vorrichtung wie etwa ein Computersystem, eine Anzeigevorrichtung, eine Empfangsvorrichtung, eine Wiedergabevorrichtung und andere verwendet werden. In dieser beispielhaften Ausführungsform kann die Bewegungsparallaxe in einer Sequenz von Bildern zum Einstellen der Anfangstiefenwerte in der Anfangstiefenkarte verwendet werden. - In Schritt S510 werden Bilder erhalten, die mehrere Pixel umfassen. Die Bilder können aus einem monokularen Film erhalten werden. In Schritt S520 werden eine oder mehrere Anfangstiefenkarten erhalten, die wenigstens einem Bild entsprechen. Die Anfangstiefenkarten können Anfangstiefenwerte für die jeweiligen Pixel der Bilder definieren. Ähnlich können in einigen beispielhaften Ausführungsformen eine oder mehrere Anfangstiefenkarten aus mehreren Anwärteranfangstiefenkarten ausgewählt werden oder in Übereinstimmung mit Kontrast-, Intensitäts-, Unschärfeinformationen oder mit dem Texturgradienten der jeweiligen Pixel der Bilder erzeugt werden. In einigen beispielhaften Ausführungsformen können Bewegungsvektoren berechnet werden, die in den Bildern definierten ROIs entsprechen, und können die Werte der Bewegungsvektoren verwendet werden, um die Anfangstiefenkarten direkt zu konstruieren oder um die Anfangstiefenkarten aus mehreren Anwärteranfangstiefenkarten auszuwählen. Beispiele einer ausgewählten Tiefenkarte sind in
2A bis2F zu finden, und berechnete Tiefenkarten sind in3A und3B gezeigt, wobei der in2A bis2F gezeigte Prozess zum Auswählen einer der Tiefenkarten durch Berechnen eines Bewegungsvektors in dem ROI der Bilder erfolgt. In Schritt S530 wird in Übereinstimmung mit den Bilderdaten (mehreren Bild-Teilbildern) für jedes Pixel des Bildes ein Bewegungsvektor berechnet. Selbstverständlich kann der Bewegungsvektor für jedes Pixel in einigen beispielhaften Ausführungsformen unter Verwendung eines Lichtflussverfahrens berechnet werden, ist darauf aber nicht beschränkt. In einigen beispielhaften Ausführungsformen wird das Bild z. B. unter Verwendung eines Verfahrens, das auf einem Mean-Shift-Filter beruht, segmentiert. In Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel in dem Segment wird für jedes Segment ein mittlerer Bewegungsvektor berechnet, wobei der mittlere Bewegungsvektor jedem Pixel in dem Segment zugewiesen wird. Selbstverständlich kann der mittlere Bewegungsvektor für dasselbe Segment in verschiedenen Bild-Teilbildern in einigen beispielhaften Ausführungsformen weiter gemittelt werden. Anschließend wird der Anfangstiefenwert jedes der Pixel in der Anfangstiefenkarte in Schritt S540 in Übereinstimmung mit dem Bewegungsvektor für das jeweilige Pixel eingestellt. In einigen beispielhaften Ausführungsformen wird der Anfangstiefenwert jedes der Pixel in der Anfangstiefenkarte unter Verwendung der folgenden Funktion eingestellt: wobeiist, Dm(x, y) das direkte Verhältnis zu dem Wert des Bewegungsvektors des Pixels (x, y) der Bilddaten ist, Db(x, y) der ursprüngliche Anfangstiefenwert des Pixels (x, y) in der Anfangstiefenkarte ist, Dr(x, y) die eingestellten Anfangstiefenwerte des Pixels (x, y) sind, mmax ein vorgegebener maximaler Bewegungsvektor ist und Tm ein vorgegebener Schwellenwert ist. Selbstverständlich ist die Funktion ein Beispiel und ist die vorliegende Offenbarung darauf nicht beschränkt. In der vorliegenden Offenbarung kann irgendeine Funktion angewendet werden, die die Anfangstiefenwerte in der Anfangstiefenkarte und die Bewegungsvektoren in den Bilddaten integrieren kann. Nachdem die Anfangstiefenwerte in der Anfangstiefenkarte in Schritt S550 eingestellt worden sind, wird jedes der Pixel des Bildes in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abgebildet, um entsprechende Anfangstiefenwerte zu erhalten. In Schritt S560 wird der Bilddatenraum in mehrere Teilbilder unterteilt und wird der Anfangstiefenwert jedes der Pixel des Bildes in Übereinstimmung mit den Anfangstiefenwerten der Pixel, die sich in demselben Teilbild befinden, gefiltert, um Tiefeninformationen für die Pixel zu erhalten. - Ähnlich kann der Schritt S560 in einigen beispielhaften Ausführungsformen durch Filtern der Anfangstiefenwerte jedes der Pixel des Bildes unter Verwendung eines bilateralen Filters ausgeführt werden, um Tiefeninformationen für die Pixel zu erhalten. Es wird angemerkt, dass die Farbwerte der Pixel durch die der Anfangstiefenkarte entnommenen Anfangstiefenwerte ersetzt werden und zur Filterung in das bilaterale Filter eingegeben werden. In einigen beispielhaften Ausführungsformen kann der Filterungsprozess der Anfangstiefenwerte jedes der Pixel des Bildes unter Verwendung eines Verfahrens mit bilateralem Gitter beschleunigt werden. Zunächst wird jedes der Pixel des Bildes auf der Grundlage der Pixelintensität auf wenigstens ein 3D-Gitter abgebildet, wobei sie möglicherweise auf der Grundlage weiterer verfügbarer Pixelinformationen auf andere 3D-Gitter abgebildet werden können. Nachdem jedes Pixel auf ein 3D-Gitter abgebildet worden ist, wird in Übereinstimmung mit den Anfangstiefenwerten der jeweiligen Pixel in der Zelle ein mittlerer Tiefenwert für jede Zelle berechnet. Selbstverständlich kann der mittlere Tiefenwert jeder Zelle in einigen beispielhaften Ausführungsformen unter Verwendung eines LPF weiter gefiltert werden. Zusätzlich kann der mittlere Tiefenwert jeder Zelle in einigen beispielhaften Ausführungsformen in Übereinstimmung mit umgebenden Zellen weiter geglättet werden. Schließlich wird der Anfangstiefenwert jedes der Pixel des Bildes durch den mittleren Tiefenwert der Zelle, in dem sich das Pixel befindet, ersetzt, um die Tiefeninformationen für die Pixel zu erhalten.
- Somit können die Verfahren zum Erzeugen von Tiefenkarten und die Systeme Tiefenkarten aus Bilddaten in Übereinstimmung mit verschiedenen Anfangstiefenkarten erstellen.
- Verfahren zum Erzeugen von Tiefenkarten und Systeme oder bestimmte Aspekte oder Teile davon können die Form eines Programmcodes (d. h. ausführbarer Anweisungen), der in konkreten Medien wie etwa Disketten, CD-ROMs, Festplatten, Flash-Speichern oder irgendeinem anderen maschinenlesbaren Speichermedium verkörpert ist, annehmen, wobei dann, wenn der Programmcode in eine Maschine wie etwa einen Computer geladen und durch sie ausgeführt wird, die Maschine dadurch zu einer Vorrichtung zum Verwirklichen der Verfahren wird. Die Verfahren können ebenfalls in Form von Programmcode verkörpert werden, der über ein Übertragungsmedium wie etwa eine elektrische Verdrahtung oder Verkabelung, über Faseroptik oder über irgendeine andere Form der Übertragung übertragen wird, wobei dann, wenn der Programmcode von einer Maschine wie etwa einem Computer empfangen und in sie geladen und durch sie ausgeführt wird, die Maschine zu einer Vorrichtung zum Verwirklichen der offenbarten Verfahren wird. Wenn der Programmcode in einem Universalprozessor implementiert wird, wird er mit dem Prozessor kombiniert, um eine einzigartige Vorrichtung zu schaffen, die analog zu anwendungsspezifischen Logikschaltungen arbeitet.
- Das offenbarte Verfahren kann ebenfalls in einer Hardwarevorrichtung vom Höchstintegrationstyp (VLSI-Typ) oder vom Typ einer feldprogrammierbaren Logikanordnung (FPGA-Typ) implementiert werden, ist aber nicht auf diese Typen beschränkt.
- Wenn das offenbarte Verfahren in irgendeiner der oben erwähnten Hardwarevorrichtungen implementiert wird, kann es für die Echtzeitumsetzung monokularer Standbilder wie etwa jener, die durch einen stereoskopischen Photorahmen angezeigt werden können, verwendet werden, kann es ebenfalls für die Echtzeitumsetzung irgendeines monokularen Films wie etwa des vom DVD-Typ verwendet werden und kann es ferner für die Echtzeitumsetzung monokularer Film- oder Bewegtbildsendungen wie etwa Fernsehprogramme verwendet werden. Die obigen Anwendungsbeispiele und ihre Anzahl bilden keine Beschränkung für andere Anwendungen, für die die vorliegende Offenbarung verwendet werden kann.
- Es ist eine Aufgabe der offenbarten Ausführungsformen, ein Verfahren zum Erhalten von Tiefenkarten aus monokularen Standbildern oder aus monokularen Filmen zu schaffen, wobei die Tiefenkarten die Einzelheiten der ursprünglichen monokularen Bilder erhalten.
- Es ist eine weitere Aufgabe der offenbarten Ausführungsformen, ein schnelles Verfahren zum Erzeugen von Tiefenkarten aus monokularen Standbildern oder monokularen Filmen zu schaffen.
- Es ist eine nochmals weitere Aufgabe der offenbarten Ausführungsformen, Informationen über ein System zum Implementieren eines Verfahrens zum Erzeugen einer Tiefenkarte aus einem monokularen Bild oder Film zu schaffen.
- Obwohl die Offenbarung beispielhaft und im Hinblick auf bevorzugte beispielhafte Ausführungsformen beschrieben worden ist, ist die Offenbarung selbstverständlich nicht darauf beschränkt. Der Fachmann auf dem Gebiet kann verschiedene Änderungen und Abwandlungen vornehmen, ohne vom Umfang und vom Erfindungsgedanken der Offenbarung abzuweichen. Somit soll der Umfang der vorliegenden Offenbarung durch die folgenden Ansprüche definiert und geschützt sein.
- ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- US 2008/0260288 [0002]
- US 5748199 [0002]
- US 7489812 [0002]
Claims (28)
- Verfahren zum Erzeugen von Tiefenkarten, wobei das Verfahren die folgenden Schritte umfasst: Erhalten eines Bildes, das mehrere Pixel umfasst; Erhalten einer Anfangstiefenkarte, wobei die Anfangstiefenkarte Anfangstiefenwerte für mehrere Pixel definiert; Abbilden jedes der Pixel des Bildes auf die Anfangstiefenkarte in Übereinstimmung mit den Lagen der Pixel, um entsprechende Anfangstiefenwerte zu erhalten; und Unterteilen eines Bilddatenraums des Bildes in mehrere Teilbildräume und Filtern des Anfangstiefenwerts jedes der Pixel des Bildes in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel, um Tiefeninformationen für die Pixel zu erhalten.
- Verfahren nach Anspruch 1, wobei der Schritt des Unterteilens des Bilddatenraums und des Filters des Anfangstiefenwerts jedes der Pixel der Bilddaten die folgenden Schritte umfasst: Abbilden jedes der Pixel der Bilddaten auf eines oder mehrere 3D-Gitter auf der Grundlage der Pixelintensität; Berechnen eines mittleren Tiefenwerts für jede Zelle des einen oder der mehreren Gitter in Übereinstimmung mit den Anfangstiefenwerten der jeweiligen Pixel in der Zelle; und Ersetzen der Anfangstiefenwerte jedes der Pixel der Bilddaten durch den mittleren Tiefenwert des Gitters, wo sich das Pixel befindet, um die Tiefeninformationen für die Pixel zu erhalten.
- Verfahren nach Anspruch 2, das ferner das Glätten des mittleren Tiefenwerts jeder Zelle in Übereinstimmung mit umgebenden Zellen umfasst.
- Verfahren nach Anspruch 1, das ferner die folgenden Schritte umfasst: Berechnen eines Bewegungsvektors für jedes Pixel des Bildes in Übereinstimmung mit den Bilddaten und mit Daten eines zweiten Bildes; und Einstellen des Anfangstiefenwerts jedes der Pixel in der Anfangstiefenkarte in Übereinstimmung mit den Bewegungsvektoren für die Pixel.
- Verfahren nach Anspruch 4, das ferner umfasst: Segmentieren des Bildes in der Weise, dass Pixel in Segmenten gruppiert werden; und Berechnen eines mittleren Bewegungsvektors für jedes Segment in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel in jedem Segment und Zuweisen des mittleren Bewegungsvektors zu jedem Pixel in jedem der Segmente.
- Verfahren nach Anspruch 1, das ferner die folgenden Schritte umfasst: Berechnen eines mittleren Bewegungsvektors wenigstens für ein interessierendes Gebiet (ROI) in dem Bild; und Auswählen der Anfangstiefenkarte aus mehreren Anwärteranfangstiefenkarten in Übereinstimmung mit dem mittleren Bewegungsvektor des ROI.
- Verfahren nach Anspruch 6, das ferner die folgenden Schritte umfasst: Bestimmen eines Etiketts für das ROI in dem Bild in Übereinstimmung mit dem mittleren Bewegungsvektor des ROI; und Auswählen eines spezifischen Anwärters unter mehreren Anfangstiefenkarten als die Anfangstiefenkarte, wobei jede der Anwärteranfangstiefenkarten das ROI und ein entsprechendes Etikett, das die Tiefe repräsentiert, definiert, und wobei das Etikett des ROI in der spezifischen Anwärteranfangstiefenkarte dem Etikett des ROI in dem Bild entspricht.
- Verfahren nach Anspruch 1, das ferner die folgenden Schritte umfasst: Berechnen eines Bewegungsvektors für jedes Pixel des Bildes in Übereinstimmung mit dem Bild und mit einem zweiten Bild; und Konstruieren der Anfangstiefenkarte in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel des Bildes.
- Verfahren nach Anspruch 1, das ferner das Erzeugen der Anfangstiefenkarte in Übereinstimmung mit dem Kontrast der jeweiligen Pixel des Bildes umfasst.
- Verfahren nach Anspruch 1, das ferner das Erzeugen der Anfangstiefenkarte in Übereinstimmung mit Unschärfeinformationen der jeweiligen Pixel des Bildes umfasst.
- Verfahren nach Anspruch 1, das ferner das Erzeugen der Anfangstiefenkarte in Übereinstimmung mit dem Texturgradienten der jeweiligen Pixel des Bildes umfasst.
- Verfahren zum Erzeugen von Tiefenkarten, wobei das Verfahren umfasst: Erhalten einer Anfangstiefenkarte, wobei die Anfangstiefenkarte Anfangstiefenwerte für mehrere Pixel definiert; Erhalten eines Bildes, das mehrere Pixel umfasst; Abbilden jedes der Pixel des Bildes auf die Anfangstiefenkarte in Übereinstimmung mit Lagen der Pixel, um entsprechende Anfangstiefenwerte zu erhalten; und Filtern der Anfangstiefenwerte jedes der Pixel des Bildes unter Verwendung eines bilateralen Filters, um Tiefeninformationen für die Pixel zu erhalten.
- Verfahren nach Anspruch 12, das ferner das Beschleunigen des Filterungsprozesses der Anfangstiefenwerte jedes der Pixel des Bildes unter Verwendung eines Verfahrens mit bilateralem Gitter umfasst.
- Verfahren nach Anspruch 12, das ferner das Einstellen der Anfangstiefenwerte jedes der Pixel in der Anfangstiefenkarte in Übereinstimmung mit einem Bewegungsvektor für das Pixel zwischen einem Teil eines ersten Bildes und eines zweiten Bildes einer Sequenz in einem Film umfasst.
- Tiefenkarten-Erzeugungssystem, das umfasst: eine Speichereinheit, die eines oder mehrere Bilder, die mehrere Pixel umfassen, und eine oder mehrere Anfangstiefenkarten, die Anfangstiefenwerte für die jeweiligen Pixel des einen oder der mehreren Bilder definieren, wobei das eine oder die mehreren Bilder aus Videodaten erhalten werden, umfasst; und eine Verarbeitungseinheit, die jedes der Pixel des Bildes in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abbildet, um entsprechende Anfangstiefenwerte zu erhalten, einen Bilddatenraum des Bildes unterteilt und den Anfangstiefenwert jedes der Pixel des Bildes in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel filtert, um Tiefeninformationen für die Pixel zu erhalten.
- System nach Anspruch 15, wobei die Verarbeitungseinheit ferner jedes der Pixel der Bilddaten auf der Grundlage der Pixelintensität auf eine oder auf mehrere 3D-Zellen abbildet, in Übereinstimmung mit den Anfangstiefenwerten der jeweiligen Pixel in der Zelle einen mittleren Tiefenwert für jede Zelle berechnet und den Anfangstiefenwert jedes der Pixel der Bilddaten durch einen mittleren Tiefenwert der Zelle, wo sich das Pixel befindet, ersetzt, um die Tiefeninformationen für die Pixel zu erhalten.
- System nach Anspruch 16, wobei die Filterungsoperation der Verarbeitungseinheit aus dem Glätten des mittleren Tiefenwerts jeder Zelle in Übereinstimmung mit umgebenden Zellen besteht.
- System nach Anspruch 15, wobei die Speichereinheit ferner Videodaten umfasst und die Verarbeitungseinheit ferner einen Bewegungsvektor für jedes Pixel, für jede Gruppe von Pixeln oder für jedes Segment des Bildes eines Bildes in Übereinstimmung mit den Bilddaten zweier zeitlich getrennter korrelierter Videoteilbilder berechnet und den Anfangstiefenwert jedes der Pixel in der Anfangstiefenkarte in Übereinstimmung mit dem Bewegungsvektor für das Pixel, für die Gruppe von Pixeln des Segments des Bildes einstellt.
- System nach Anspruch 18, wobei die Verarbeitungseinheit die Pixel des Bildes weiter segmentiert, für jedes Segment in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel in dem Segment einen mittleren Bewegungsvektor berechnet und jedem Pixel in dem Segment den mittleren Bewegungsvektor zuweist.
- System nach Anspruch 15, wobei die Verarbeitungseinheit ferner für wenigstens ein ROI (interessierendes Gebiet) in den Bilddaten einen mittleren Bewegungsvektor berechnet und aus mehreren Anwärteranfangstiefenkarten in Übereinstimmung mit dem mittleren Bewegungsvektor des ROI die Anfangstiefenkarte auswählt.
- System nach Anspruch 20, wobei die Verarbeitungseinheit ferner für das ROI in den Bilddaten in Übereinstimmung mit dem mittleren Bewegungsvektor des ROI ein Etikett bestimmt und eine spezifische Anwärteranfangstiefenkarte als die Anfangstiefenkarte auswählt, wobei jede der Anwärteranfangstiefenkarten das ROI definiert und ein entsprechendes Etikett eine nahe Seite oder eine ferne Seite repräsentiert und das Etikett des ROI in dem spezifischen Anwärtertiefenmodell dem Etikett des ROI in den Bilddaten entspricht.
- System nach Anspruch 15, wobei die Verarbeitungseinheit ferner für jedes Pixel des Bildes in Übereinstimmung mit dem Bild und mit einem zweiten Bild einen Bewegungsvektor berechnet und die Anfangstiefenkarte in Übereinstimmung mit den Bewegungsvektoren der jeweiligen Pixel des Bildes konstruiert.
- System nach Anspruch 15, wobei die Verarbeitungseinheit ferner die Anfangstiefenkarte in Übereinstimmung mit Kontrast-, Intensitäts-, Unschärfeinformationen oder mit dem Texturgradienten der jeweiligen Pixel der Bilddaten erzeugt.
- Tiefenkarten-Erzeugungssystem, das umfasst: eine Speichereinheit, die ein Bild, das mehrere Pixel umfasst, und eine Anfangstiefenkarte, die Anfangstiefenwerte für die jeweiligen Pixel definiert, umfasst; eine Verarbeitungseinheit, die jedes der Pixel des Bildes in Übereinstimmung mit den Lagen der Pixel auf die Anfangstiefenkarte abbildet, um entsprechende Anfangstiefenwerte zu erhalten, und die Anfangstiefenwerte jedes der Pixel der Bilddaten unter Verwendung eines bilateralen Filters filtert, um Tiefeninformationen für die Pixel zu erhalten.
- System nach Anspruch 24, wobei die Verarbeitungseinheit ferner den Filterungsprozess der Anfangstiefenwerte jedes der Pixel der Bilddaten unter Verwendung eines Verfahrens mit bilateralem Gitter beschleunigt.
- System nach Anspruch 24, wobei die Verarbeitungseinheit ferner den Anfangstiefenwert jedes der Pixel in der Anfangstiefenkarte in Übereinstimmung mit einem Bewegungsvektor für das Pixel zwischen den Bilddaten und den Daten des zweiten Bildes einstellt.
- Maschinenlesbares Speichermedium, das ein Computerprogramm umfasst, das, wenn es ausgeführt wird, veranlasst, dass eine Vorrichtung ein Verfahren zum Erzeugen von Tiefenkarten ausführt, wobei das Verfahren umfasst: Erhalten einer Anfangstiefenkarte, wobei die Anfangstiefenkarte Anfangstiefenwerte für mehrere Pixel definiert; Erhalten eines Bildes, das mehrere Pixel umfasst; Abbilden jedes der Pixel der Bilddaten auf die Anfangstiefenkarte in Übereinstimmung mit den Lagen der Pixel, um entsprechende Anfangstiefenwerte zu erhalten; und Unterteilen eines Bilddatenraums des Bildes in mehrere Teilbildräume und Filtern des Anfangstiefenwerts jedes der Pixel der Bilddaten in Übereinstimmung mit den Anfangstiefenwerten der in demselben Teilbildraum befindlichen Pixel, um Tiefeninformationen für die Pixel zu erhalten.
- Maschinenlesbares Speichermedium, das ein Computerprogramm umfasst, das, wenn es ausgeführt wird, veranlasst, dass eine Vorrichtung ein Verfahren zum Erzeugen von Tiefenkarten ausführt, wobei das Verfahren umfasst: Erhalten einer Anfangstiefenkarte, wobei die Anfangstiefenkarte Anfangstiefenwerte für mehrere Pixel definiert; Erhalten eines Bildes, das mehrere Pixel umfasst; Abbilden jedes der Pixel der Bilddaten auf die Anfangstiefenkarte in Übereinstimmung mit Lagen der Pixel, um entsprechende Anfangstiefenwerte zu erhalten; und Filtern der Anfangstiefenwerte jedes der Pixel der Bilddaten unter Verwendung eines bilateralen Filters, um Tiefeninformationen für die Pixel zu erhalten.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2009/075007 WO2011060579A1 (en) | 2009-11-18 | 2009-11-18 | Method for generating depth maps from monocular images and systems using the same |
Publications (1)
Publication Number | Publication Date |
---|---|
DE112009005382T5 true DE112009005382T5 (de) | 2012-09-13 |
Family
ID=44059183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE112009005382T Ceased DE112009005382T5 (de) | 2009-11-18 | 2009-11-18 | Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden |
Country Status (4)
Country | Link |
---|---|
US (1) | US9030469B2 (de) |
CN (1) | CN102741879B (de) |
DE (1) | DE112009005382T5 (de) |
WO (1) | WO2011060579A1 (de) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8754891B2 (en) | 2010-08-18 | 2014-06-17 | Industrial Technology Research Institute | Method for image processing and an apparatus thereof |
US9066086B2 (en) | 2010-12-08 | 2015-06-23 | Industrial Technology Research Institute | Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same |
US9483836B2 (en) * | 2011-02-28 | 2016-11-01 | Sony Corporation | Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content |
WO2012174090A2 (en) * | 2011-06-13 | 2012-12-20 | University Of Florida Research Foundation, Inc. | Systems and methods for estimating the structure and motion of an object |
US9071740B1 (en) | 2011-10-28 | 2015-06-30 | Google Inc. | Modular camera system |
EP2602997B1 (de) | 2011-12-07 | 2015-12-02 | Thomson Licensing | Verfahren und Vorrichtung zur Verarbeitung von Verdeckungen bei der Bewegungsschätzung |
US9197686B1 (en) | 2012-01-06 | 2015-11-24 | Google Inc. | Backfill of video stream |
US9537968B1 (en) | 2012-01-06 | 2017-01-03 | Google Inc. | Communication of socket protocol based data over a storage protocol based interface |
GB201217721D0 (en) * | 2012-10-03 | 2012-11-14 | Holition Ltd | Video image processing |
CN104427323B (zh) * | 2013-08-23 | 2016-08-10 | 鸿富锦精密工业(深圳)有限公司 | 基于深度的三维图像处理方法 |
US20150215530A1 (en) * | 2014-01-27 | 2015-07-30 | Microsoft Corporation | Universal capture |
US20170148177A1 (en) * | 2014-06-03 | 2017-05-25 | Sony Corporation | Image processing apparatus, image processing method, and program |
US9948920B2 (en) | 2015-02-27 | 2018-04-17 | Qualcomm Incorporated | Systems and methods for error correction in structured light |
US10068338B2 (en) | 2015-03-12 | 2018-09-04 | Qualcomm Incorporated | Active sensing spatial resolution improvement through multiple receivers and code reuse |
US9530215B2 (en) | 2015-03-20 | 2016-12-27 | Qualcomm Incorporated | Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology |
EP3298577B1 (de) * | 2015-05-18 | 2019-11-27 | Nokia Technologies Oy | Filterung eines tiefenkartenbildes |
US9544485B2 (en) | 2015-05-27 | 2017-01-10 | Google Inc. | Multi-mode LED illumination system |
US9489745B1 (en) | 2015-06-12 | 2016-11-08 | Google Inc. | Using depth maps of a scene to identify movement of a video camera |
US9554063B2 (en) | 2015-06-12 | 2017-01-24 | Google Inc. | Using infrared images of a monitored scene to identify windows |
US9386230B1 (en) | 2015-06-12 | 2016-07-05 | Google Inc. | Day and night detection based on one or more of illuminant detection, lux level detection, and tiling |
US9454820B1 (en) * | 2015-06-12 | 2016-09-27 | Google Inc. | Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination |
US9626849B2 (en) | 2015-06-12 | 2017-04-18 | Google Inc. | Using scene information from a security camera to reduce false security alerts |
US9235899B1 (en) | 2015-06-12 | 2016-01-12 | Google Inc. | Simulating an infrared emitter array in a video monitoring camera to construct a lookup table for depth determination |
US9886620B2 (en) | 2015-06-12 | 2018-02-06 | Google Llc | Using a scene illuminating infrared emitter array in a video monitoring camera to estimate the position of the camera |
US9613423B2 (en) | 2015-06-12 | 2017-04-04 | Google Inc. | Using a depth map of a monitored scene to identify floors, walls, and ceilings |
CN106331670A (zh) * | 2015-06-30 | 2017-01-11 | 明士股份有限公司 | 使用色度成形法的内视镜立体视觉化系统及方法 |
US9635339B2 (en) | 2015-08-14 | 2017-04-25 | Qualcomm Incorporated | Memory-efficient coded light error correction |
US9846943B2 (en) | 2015-08-31 | 2017-12-19 | Qualcomm Incorporated | Code domain power control for structured light |
US10180615B2 (en) | 2016-10-31 | 2019-01-15 | Google Llc | Electrochromic filtering in a camera |
US10262238B2 (en) * | 2017-04-13 | 2019-04-16 | Facebook, Inc. | Panoramic camera systems |
JP7189156B2 (ja) | 2017-05-15 | 2022-12-13 | アウスター インコーポレイテッド | 色によるパノラマlidar結果の増強 |
KR102455632B1 (ko) * | 2017-09-14 | 2022-10-17 | 삼성전자주식회사 | 스테레오 매칭 방법 및 장치 |
US10552970B2 (en) * | 2018-01-12 | 2020-02-04 | Qualcomm Incorporated | Efficient guide filter for depth refinement |
CN108765482B (zh) * | 2018-05-31 | 2021-07-13 | 长春博立电子科技有限公司 | 一种基于硬件加速的低功耗实时双目摄像头及使用方法 |
CN111583324B (zh) * | 2019-02-19 | 2023-11-28 | 顺丰科技有限公司 | 单目图像深度估测装载率识别方法和装置 |
CN110400344B (zh) * | 2019-07-11 | 2021-06-18 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
CN113689483B (zh) * | 2021-07-23 | 2024-01-12 | 浙江零跑科技股份有限公司 | 一种基于单目摄像头和激光雷达的测距方法 |
JP2023157856A (ja) * | 2022-04-15 | 2023-10-26 | ブラックマジック デザイン ピーティーワイ リミテッド | 深度マップの生成方法及びシステム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5748199A (en) | 1995-12-20 | 1998-05-05 | Synthonics Incorporated | Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture |
US20080260288A1 (en) | 2004-02-03 | 2008-10-23 | Koninklijke Philips Electronic, N.V. | Creating a Depth Map |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1466737A (zh) * | 2000-08-09 | 2004-01-07 | 动态数字视距研究有限公司 | 图像转换和编码技术 |
AU2003292490A1 (en) | 2003-01-17 | 2004-08-13 | Koninklijke Philips Electronics N.V. | Full depth map acquisition |
CA2553473A1 (en) * | 2005-07-26 | 2007-01-26 | Wa James Tam | Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging |
EP2033164B1 (de) * | 2006-06-23 | 2015-10-07 | Imax Corporation | Verfahren und systeme zur umwandlung von 2d-filmen für stereoskopische 3d-vorführung |
US8970680B2 (en) * | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
EP2087466B1 (de) * | 2006-11-21 | 2020-06-17 | Koninklijke Philips N.V. | Erzeugung einer tiefenkarte für ein bild |
US8330801B2 (en) * | 2006-12-22 | 2012-12-11 | Qualcomm Incorporated | Complexity-adaptive 2D-to-3D video sequence conversion |
CA2627999C (en) * | 2007-04-03 | 2011-11-15 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images |
US8213711B2 (en) * | 2007-04-03 | 2012-07-03 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
KR101497503B1 (ko) * | 2008-09-25 | 2015-03-04 | 삼성전자주식회사 | 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치 |
US8385599B2 (en) * | 2008-10-10 | 2013-02-26 | Sri International | System and method of detecting objects |
CN101400001B (zh) * | 2008-11-03 | 2010-06-02 | 清华大学 | 一种视频帧深度图的生成方法及系统 |
EP2184713A1 (de) * | 2008-11-04 | 2010-05-12 | Koninklijke Philips Electronics N.V. | Verfahren und Vorrichtung zur Erstellung einer Tiefenkarte |
KR101675555B1 (ko) * | 2009-01-30 | 2016-11-11 | 톰슨 라이센싱 | 깊이 맵의 코딩 |
-
2009
- 2009-11-18 CN CN200980162522.9A patent/CN102741879B/zh not_active Expired - Fee Related
- 2009-11-18 WO PCT/CN2009/075007 patent/WO2011060579A1/en active Application Filing
- 2009-11-18 DE DE112009005382T patent/DE112009005382T5/de not_active Ceased
- 2009-11-18 US US13/509,962 patent/US9030469B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5748199A (en) | 1995-12-20 | 1998-05-05 | Synthonics Incorporated | Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
US20080260288A1 (en) | 2004-02-03 | 2008-10-23 | Koninklijke Philips Electronic, N.V. | Creating a Depth Map |
Also Published As
Publication number | Publication date |
---|---|
CN102741879B (zh) | 2015-07-08 |
US9030469B2 (en) | 2015-05-12 |
WO2011060579A8 (en) | 2011-08-11 |
CN102741879A (zh) | 2012-10-17 |
WO2011060579A1 (en) | 2011-05-26 |
US20130162629A1 (en) | 2013-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112009005382T5 (de) | Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden | |
US8553972B2 (en) | Apparatus, method and computer-readable medium generating depth map | |
US8340422B2 (en) | Generation of depth map for an image | |
DE112020003794T5 (de) | Tiefenbewusste Fotobearbeitung | |
DE69737141T2 (de) | Bildsegmentierung | |
DE69529622T2 (de) | Auf mosaiken basiertes bildverarbeitungssystem und verfahren zum verarbeiten von bildern | |
Li et al. | Synthesizing light field from a single image with variable MPI and two network fusion. | |
DE202014010969U1 (de) | Kamerafähiges Mobilgerät | |
DE102010046259A1 (de) | Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation | |
Zhang et al. | Sparse representation-based video quality assessment for synthesized 3D videos | |
KR20110014067A (ko) | 스테레오 컨텐트의 변환 방법 및 시스템 | |
DE102014117120A1 (de) | Bildverarbeitungsvorrichtung | |
Sandić-Stanković et al. | Fast blind quality assessment of DIBR-synthesized video based on high-high wavelet subband | |
CN113039576A (zh) | 图像增强系统和方法 | |
DE112018006130T5 (de) | Codierungsvorrichtung, codierungsverfahren, decodierungsvorrichtung und decodierungsverfahren | |
DE102019205783A1 (de) | Systeme und Verfahren für verbesserte 3D-Daten-Rekonstruktion aus stereo-temporalen Bildsequenzen | |
CN108510574B (zh) | 一种基于样例学习并增强视觉质量的3d图像裁剪方法 | |
TW201710998A (zh) | 用於判定影像之深度圖之方法與裝置 | |
Furuta et al. | Fast volume seam carving with multipass dynamic programming | |
Martin et al. | Nerf-qa: Neural radiance fields quality assessment database | |
Guo et al. | Adaptive estimation of depth map for two-dimensional to three-dimensional stereoscopic conversion | |
CN104754320B (zh) | 一种3d‑jnd阈值计算方法 | |
Barai et al. | Human visual system inspired saliency guided edge preserving tone-mapping for high dynamic range imaging | |
Vosters et al. | Efficient and stable sparse-to-dense conversion for automatic 2-D to 3-D conversion | |
CN112700485B (zh) | 图像深度信息提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed |
Effective date: 20120702 |
|
R016 | Response to examination communication | ||
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |