DE112014005165T5

DE112014005165T5 - Analyse und Manipulation von Objekten und Ebenen in Rundumansichten

Info

Publication number: DE112014005165T5
Application number: DE112014005165.9T
Authority: DE
Inventors: Radu Bogdan Rusu; Stefan Johannes Josef HOLZER; Stephen David Miller
Original assignee: Fyusion Inc
Current assignee: Fyusion Inc San Francisco Us
Priority date: 2013-11-12
Filing date: 2014-11-12
Publication date: 2016-07-21
Also published as: US20150339846A1; JP2017501516A; GB2534821B; GB201609577D0; US20190156559A1; US10169911B2; US20150138190A1; US10521954B2; US10026219B2; WO2015073570A2; KR20160086868A; CN105849781A; US20150130799A1; US9836873B2; GB2534821A; WO2015073570A3; GB2534821B8; US20180330537A1; US20150134651A1; US20180068485A1

Abstract

Verschiedene Ausführungen dieser Erfindung beziehen sich allgemein auf Systeme und Verfahren zur Analyse und Manipulation von Bildern und Videos. Nach bestimmten Ausführungsformen wird die räumliche Beziehung zwischen multiplen Bildern und Videos zusammen mit Standortinformationsdaten analysiert zum Zweck der Erzeugung einer Repräsentation, auf die hierin als Rundumansicht zur Präsentation auf einem Gerät Bezug genommen wird. Ein in der Rundumansicht enthaltenes Objekt kann entlang Achsen manipuliert werden, indem das Gerät entlang entsprechenden Achsen manipuliert wird. In bestimmten Ausführungsformen kann eine Rundumansicht in Ebenen separiert werden. Effekte können auf eine oder mehrere dieser Ebene angewendet werden, um die interaktive und immersive Betrachtungserfahrung der Rundumansicht zu steigern.

Description

QUERVERWEISE ZU VERWANDTEN APPLIKATIONEN
Diese Applikation beansprucht Priorität unter 35 U.S.C. §119 zum vorläufigen US-Patentantrag Nr. 61/903,359 (Fallnummer FYSNP001P) von Holzer et al., eingereicht am 12. November 2013 unter dem Titel „Systems and Methods For Providing Surround Views” (Systeme und Methoden zur Erstellung von Rundumansichten), welches hierin durch Bezugnahme in seiner Ganzheit und für alle Zwecke aufgenommen wird.
TECHNISCHES GEBIET
Diese Offenlegung bezieht sich auf Ebenen in Rundumansichten, die Leistung einer interaktiven digitalen Medienrepräsentation mit multiplen Ansichten umfassend.
BESCHREIBUNG DER EINSCHLÄGIGEN TECHNIK
Moderne Computerplattformen und Technologien verlagern sich zu mobilen, tragbaren Geräten, welche Kamerasensoren als native Erfassungseingangsströme umfassen. Dies verstärkte den Wunsch, Momente digital aufzuzeichnen und in einer anderen Form als den traditionelleren zweidimensionalen (2D) Flachbildern und Video zu konservieren. Traditionelle digitale Medienformate beschränken ihre Betrachter typischerweise auf eine passive Erfahrung. Beispielsweise kann ein 2D-Flachbild nur aus einem Blickwinkel betrachtet werden und ist auf Ein-und-Aus-Zooming beschränkt. Demnach sind traditionelle digitale Medienformate wie beispielsweise 2D-Flachbilder zur Reproduktion von Erinnerungen und Ereignissen in hoher Wiedergabetreue wenig geeignet.
Aktuelle Vorhersagen (Ref. KPCB „Internet Trends 2012” Präsentation) zeigen, dass sich die Menge visueller Daten, die digital online aufgenommen werden, alle paar Jahre verdoppeln wird. Mit der Erhöhung dieser Menge visueller Daten steigt der Bedarf für wesentlich umfassendere Such- und Indexierungsmechanismen als die bisher verfügbaren. Leider wurden weder 2D-Bilder noch 2D-Videos für diese Zwecke entwickelt. Dementsprechend sind verbesserte Mechanismen, die Anwendern ermöglichen, visuelle Daten zu betrachten und zu indizieren sowie visuelle Daten abzufragen und schnell bedeutsame Ergebnisse zu erhalten, wünschenswert.
ÜBERSICHT
Verschiedene Ausführungsformen dieser Erfindung beziehen sich allgemein auf Systeme und Verfahren zur Analyse und Manipulation von Bildern und Videos. Nach bestimmten Ausführungsformen wird die räumliche Beziehung zwischen multiplen Bildern und Video zusammen mit Standortinformationsdaten analysiert zum Zwecke der Erschaffung einer Repräsentation, auf welche hierin als Rundumansicht zur Darstellung auf einem Gerät Bezug genommen wird. Ein in der Rundumansicht enthaltenes Objekt kann entlang Achsen manipuliert werden, indem das Gerät entlang den entsprechenden Achsen manipuliert wird. In bestimmten Ausführungsformen kann eine Rundumansicht in Ebenen separiert werden. Effekte können auf eine oder mehrere dieser Ebenen angewendet werden, um die interaktive und immersive Betrachtungserfahrung der Rundumansicht zu steigern.
KURZBESCHREIBUNG DER FIGUREN
Die Offenlegung ist am besten zu verstehen durch Bezugnahme auf die folgende Beschreibung zusammen mit den begleitenden Figuren, welche bestimmte Ausführungsformen dieser Erfindung illustrieren.
1 illustriert ein Beispiel eines Rundumansichten-Erfassungssystems.
2 illustriert ein Beispiel eines Prozessflusses zur Erzeugung einer Rundumansicht.
3 illustriert ein Beispiel von multiplen Kameraansichten, die zu einem dreidimensionalen (3D-)Modell verschmolzen werden können, um eine immersive Erfahrung zu schaffen.
4A illustriert ein Beispiel der Separation von Kontent und Kontext in einer Rundumansicht.
4B illustriert ein Beispiel der Ebenenbildung in einer Rundumansicht.
4C illustriert ein Beispiel eines Prozesses zur Modifikation einer Ebene in einer Rundumansicht.
5A–5B illustrieren jeweils Beispiele von Konkavansichten und Konvexansichten, wobei beide Ansichten den Aufnahmestil einer Rückkamera verwenden.
6A–6E illustrieren jeweils Beispiele von verschiedenen Aufnahmemodi für Rundumansichten.
7A illustriert ein Beispiel eines Prozesses zur Datenaufzeichnung, der zur Erzeugung einer Rundumansicht verwendet werden kann.
7B illustriert ein Beispiel eines Prozesses zur Aufnahme eines dynamischen Panoramas.
7C illustriert ein Beispiel eines Prozesses zur Aufnahme eines dynamischen Panoramas, wobei das Aufnahmegerät durch die Rotationsachse rotiert wird.
7D illustriert ein Beispiel einer Aufnahme eines dynamischen Panoramas mit dynamischem Kontent.
7E illustriert ein Beispiel einer Aufnahme eines dynamischen Panoramas mit einem 3D-Effekt.
7F illustriert ein Beispiel eines dynamischen Panoramas mit Parallaxeffekt.
7G illustriert ein Beispiel eines Objektpanoramaaufnahmeprozesses.
7H illustriert ein Beispiel eines Hintergrundpanoramas mit einem darauf projizierten Objektpanorama.
7I illustriert ein Beispiel multipler Objekte, die ein Objektpanorama bilden.
7J illustriert ein Beispiel der Änderung des Blickwinkels eines Objektpanoramas basierend auf Anwendernavigation.
7K illustriert ein Beispiel eines Prozesses zur Aufnahme eines Selfie-Panoramas.
7L illustriert ein Beispiel eines Hintergrundpanoramas mit einem darauf projizierten Selfiepanorama.
7M illustriert ein Beispiel erweiterter Ansichten von Panoramen basierend auf Anwendernavigation.
8 illustriert ein Beispiel einer Rundumansicht, in welcher dreidimensionaler Kontent mit einem zweidimensionalen Panoramakontext gemischt wird.
9 illustriert ein Beispiel einer Raum-Zeit-Rundumansicht, die gleichzeitig von unabhängigen Beobachtern aufgenommen wird.
10 illustriert ein Beispiel der Separierung einer komplexen Rundumansicht in kleinere, lineare Teile.
11 illustriert ein Beispiel der Kombination multipler Rundumansichten zu einer Multi-Rundumansicht.
12 illustriert ein Beispiel eines Prozesses zur Aufforderung an einen Anwender, zusätzliche Ansichten eines Objekts von Interesse bereitzustellen, um eine präzisere Rundumansicht zu erstellen.
13A–13B illustrieren ein Beispiel einer Aufforderung an einen Anwender, zusätzliche Ansichten eines zu suchenden Objektes bereitzustellen.
14 illustriert ein Beispiel für Navigation einer Rundumansicht durch Wischen.
15 illustriert ein Beispiel für Navigation einer Rundumansicht durch Wischen.
16 illustriert ein Beispiel eines Shared Services [geteilten Dienstes] für Rundumansichten wie auf einem Mobilgerät und Browser dargestellt.
16B illustriert ein Beispiel von auf Rundumansichten bezogenen Benachrichtigungen auf einem Mobilgerät.
17A illustriert ein Beispiel eines Prozesses zur Durchführung von Objektsegmentation.
17B illustriert ein Beispiel eines segmentierten Objektes aus verschiedenen Blickwinkeln gesehen.
18 illustriert ein Beispiel verschiedener Datenquellen, die zur Erzeugung von Rundumansichten eingesetzt werden können, sowie verschiedene Applikationen, die mit einer Rundumansicht eingesetzt werden können.
19 illustriert ein Beispiel eines Prozesses zur Durchführung visueller Suche nach einem Objekt, wobei die Suchanfrage eine Rundumansicht des Objektes umfasst und die durchsuchten Bilder dreidimensionale Bilder umfassen.
20 illustriert ein Beispiel eines Prozesses zur Durchführung visueller Suche nach einem Objekt, wobei die Suchanfrage eine Rundumansicht des Objektes umfasst und die durchsuchten Bilder zweidimensionale Bilder umfassen.
21 illustriert ein Beispiel eines visuellen Suchprozesses.
22 illustriert ein Beispiel eines Prozesses zur Durchführung visueller Suche nach einem Objekt, wobei die Suchanfrage eine zweidimensionale Ansicht des Objekts umfasst und die durchsuchten Daten eine oder mehrere Rundumansicht(en) umfassen.
23 illustriert ein bestimmtes Beispiel eines Computersystems, das mit verschiedenen Ausführungsformen dieser Erfindung eingesetzt werden kann.
DETAILLIERTE BESCHREIBUNG
Nun wird im Detail auf einige spezifische Beispiele der Erfindung Bezug genommen, einschließlich der von den Erfindern für am besten erachteten Modi zur Ausführung der Erfindung. Beispiele dieser spezifischen Ausführungsformen werden in den begleitenden Figuren illustriert. Obwohl diese Offenlegung im Zusammenhang mit diesen spezifischen Ausführungsformen beschrieben wird, versteht es sich, dass keinesfalls beabsichtigt ist, die Erfindung auf die beschriebenen Ausführungsformen zu beschränken. Es ist im Gegenteil beabsichtigt, Alternativen, Modifikationen und Äquivalente zu umfassen, die innerhalb des Geistes und Umfangs der Erfindung enthalten sein können wie in den angehängten Ansprüchen definiert.
In der folgenden Beschreibung werden zahlreiche spezifische Details dargestellt um ein gründliches Verständnis dieser Erfindung zu ermöglichen. Bestimmte Ausführungsformen dieser Erfindung können auch ohne einige oder alle dieser spezifischen Details implementiert sein. In anderen Beispielen wurden weithin bekannte Prozessoperationen nicht im Detail beschrieben, um diese Erfindung nicht unnötig zu verdunkeln.
Verschiedene Aspekte dieser Erfindung beziehen sich allgemein auf Systeme und Verfahren zur Analyse der räumlichen Beziehung zwischen multiplen Bildern und Videos zusammen mit Standortinformationsdaten zum Zweck der Erzeugung einer einzelnen Repräsentation, einer Rundumansicht, welche Datenredundanz eliminiert, und präsentiert einem Anwender eine interaktive und immersive aktive Betrachtungserfahrung. Nach verschiedenen Ausführungsformen wird aktiv im Zusammenhang mit der Ausstattung eines Anwenders als die Fähigkeit zur Kontrolle des Blickpunkts der auf einem Bildschirm dargestellten visuellen Information beschrieben. In bestimmten beispielhaften Ausführungsformen werden die Rundumansichtsdatenstruktur (und die damit verbundenen Algorithmen) nativ für Anwendungen, die visuelle Suche involvieren, aufgebaut, ohne darauf beschränkt zu sein.
Nach verschiedenen Ausführungsformen dieser Erfindung ist eine Rundumansicht eine interaktive digitale Medienrepräsentation mit multiplen Ansichten. Unter Bezugnahme auf 1 wird ein Beispiel eines Rundumansichtenerfassungssystems 100 dargestellt. In dieser beispielhaften Ausführungsform wird das Rundumansichtenerfassungssystem 100 in einem Flussdiagramm abgebildet, das zur Erzeugung einer Rundumansicht eingesetzt werden kann. Nach verschiedenen Ausführungsformen können die zur Erzeugung einer Rundumansicht eingesetzten Daten aus einer Vielzahl von Quellen kommen. Insbesondere, ohne darauf beschränkt zu sein, können zweidimensionale (2D) Bilder 104 zur Erzeugung einer Rundumansicht eingesetzt werden. Diese 2D-Bilder können Farbbilddatenströme umfassen wie multiple Bildsequenzen, Videodaten usw., oder multiple Bilder in einem beliebigen aus verschiedenen Bildformaten, je nach Applikation. Eine andere Datenquelle, die zur Erzeugung einer Rundumansicht eingesetzt werden kann, umfasst die Standortinformation 106. Diese Standortinformation 106 kann von Quellen wie Beschleunigungsmessern, Gyroskopen, Magnetometern, GPS, Wi-Fi, IMU-ähnlichen Systemen (Inertial Measurement Unit Systems) und ähnlichen bezogen werden. Noch eine weitere Datenquelle, die zur Erzeugung einer Rundumansicht eingesetzt werden kann, kann Tiefenbilder 108 umfassen. Diese Tiefenbilder können Tiefen-, 3D-, oder Disparitätsbilddatenströme und ähnliche umfassen und durch Geräte erfasst werden wie beispielsweise, ohne darauf beschränkt zu sein, Stereokameras, TOF-Kameras, 3D-Kameras und ähnliche.
In dieser beispielhaften Ausführungsform können die Daten dann im Sensorfusionsblock 110 miteinander verschmolzen werden. In einigen Ausführungsformen kann eine Rundumansicht erzeugt werden aus einer Kombination von Daten, die sowohl 2D-Bilder 104 als auch die Standortinformation 106 umfassen, ohne dass jegliche Tiefenbilder 108 dazukommen. In anderen Ausführungsformen können Tiefenbilder 108 und Standortinformation 106 am Sensorfusionsblock 110 miteinander verschmolzen werden. Verschiedene Kombinationen von Bilddaten können zusammen mit Standortinformationen bei 106 eingesetzt werden, je nach Applikation und verfügbaren Daten.
In dieser beispielhaften Ausführungsform wurden die Daten am Sensorfusionsblock 110 miteinander verschmolzen und dann zur Kontentmodellierung 112 und Kontextmodellierung 114 eingesetzt. Wie in Bezug auf 4 im Detail beschrieben, kann der in den Bildern dargestellte Objektgegenstand in Kontent und Kontext separiert werden. Der Kontent kann bezeichnet werden als Objekt von Interesse und der Kontext kann bezeichnet werden als die das Objekt von Interesse umgebende Kulisse. Nach verschiedenen Ausführungsformen kann der Kontent ein dreidimensionales Modell sein, das ein Objekt von Interesse abbildet, jedoch kann der Kontent in manchen Ausführungsformen auch ein zweidimensionales Bild sein wie im Hinblick auf 4 im Detail beschrieben. Ferner kann in manchen Ausführungsformen der Kontext ein zweidimensionales Modell sein, das die das Objekt von Interesse umgebende Kulisse abbildet. Obwohl in manchen Beispielen der Kontext zweidimensionale Ansichten der das Objekt von Interesse umgebenden Kulisse abbilden kann, kann der Kontext in manchen Ausführungsformen auch dreidimensionale Aspekte umfassen. Beispielsweise kann der Kontext abgebildet werden als ein „Flach”-bild entlang einer zylindrischen „Leinwand”, so dass das Flach”-bild auf der Oberfläche eines Zylinders erscheint. Außerdem können einige Beispiele dreidimensionale Kontextmodelle umfassen, beispielsweise wenn einige Objekte in der umgebenden Kulisse als dreidimensionale Objekte identifiziert wurden. Nach verschiedenen Ausführungsformen können die durch Kontentmodellierung 112 und Kontextmodellierung 114 bereitgestellten Modelle erzeugt werden durch Kombination der Bild- und Standortinformationsdaten, wie im Hinblick auf 3 im Detail beschrieben.
Nach verschiedenen Ausführungsformen werden Kontext und Kontent einer Rundumansicht basierend auf einem spezifizierten Objekt von Interesse determiniert. In einigen Beispielen wird ein Objekt von Interesse automatisch ausgewählt basierend auf der Verarbeitung der Bild- und lokalen Standortdaten. Falls beispielsweise ein dominantes Objekt in einer Bildserie entdeckt wird, kann dieses Objekt als Kontent ausgewählt werden. In anderen Beispielen kann ein anwenderspezifiziertes Ziel 102 als Kontent ausgewählt werden wie in 1 dargestellt. Es ist jedoch zu beachten, dass in einigen Ausführungsformen eine Rundumansicht ohne ein anwenderspezifiziertes Ziel erzeugt werden kann.
In dieser beispielhaften Ausführungsform können ein oder mehrere Steigerungsalgorithmen angewendet werden am Steigerungsalgorithmusblock 116. In bestimmten beispielhaften Ausführungsformen können verschiedene Algorithmen während der Erfassung von Rundumansichtsdaten eingesetzt werden ungeachtet des Typs des eingesetzten Erfassungsmodus. Diese Algorithmen können zur Steigerung der Anwendererfahrung eingesetzt werden. Beispielsweise können automatische Frameauswahl, Stabilisierung, Ansichtsinterpolation, Filter und/oder Kompression während der Erfassung von Rundumansichtsdaten eingesetzt werden. In einigen Beispielen können diese Steigerungsalgorithmen nach der Erfassung der Daten auf Bilddaten angewandt werden. In anderen Beispielen können diese Steigerungsalgorithmen während der Erfassung der Rundumansichtsdaten auf Bilddaten angewandt werden.
Nach verschiedenen Ausführungsformen kann automatische Frameauswahl eingesetzt werden um eine gefälligere Rundumansicht zu erzeugen. Spezifisch werden Frames automatisch ausgewählt, damit der Übergang zwischen ihnen glatter oder ebenmäßiger wird. Diese automatische Frameauswahl kann in einigen Applikationen die Erkennung von Unschärfen oder Überbelichtung umfassen, sowie einheitlichere Probenposen, damit sie gleichmäßiger verteilt werden.
In einigen beispielhaften Ausführungsformen kann Stabilisierung für eine Rundumansicht eingesetzt werden auf ähnliche Art und Weise wie für Video. Insbesondere können Keyframes in einer Rundumansicht stabilisiert werden um Verbesserungen zu erzeugen wie glattere Übergänge, verbesserter/erhöhter Fokus auf Kontent usw. Jedoch gibt es, anders als bei Video, viele zusätzliche Stabilisierungsquellen für eine Rundumansicht, beispielsweise durch Nutzung von IMU-Informationen, Tiefeninformationen, Computervisionstechniken, direkter Auswahl eines zu stabilisierenden Bereiches, Gesichtserkennung und ähnlichen.
IMU-Informationen können beispielsweise der Stabilisierung sehr dienlich sein. Insbesondere stellen IMU-Informationen eine Schätzung, wenn auch manchmal eine grobe oder verrauschte Schätzung, des Kamerazitterns, das während der Bildaufnahme auftreten kann, zur Verfügung. Diese Schätzung kann genutzt werden, um die Auswirkungen dieses Kamerazitterns zu eliminieren, zu stornieren und/oder zu verringern.
In einigen Beispielen kann Tiefeninformation, falls verfügbar, zur Stabilisierung einer Rundumansicht eingesetzt werden. Weil Punkte von Interesse in einer Rundumansicht eher dreidimensional als zweidimensional sind, sind diese Punkte von Interesse eingeschränkt und Nachverfolgung/Abgleich dieser Punkte vereinfacht, weil der Suchraum reduziert wird. Ferner können Deskriptoren für Punkte von Interesse sowohl Farb- als auch Tiefeninformation verwenden, wodurch sie distinktiver werden. Außerdem kann die automatische oder halbautomatische Kontentauwahl mit Tiefeninformation einfacher bereitzustellen sein. Wählt beispielsweise ein Anwender ein bestimmtes Pixel eines Bildes aus, kann diese Auswahl erweitert werden, um die gesamte Oberfläche, die es berührt, damit zu füllen. Ferner kann Kontent auch automatisch ausgewählt werden indem eine tiefenbasierte Vordergrund-/Hintergrunddifferenzierung angewandt wird. In verschiedenen Beispielen kann der Kontent relativ stabil/sichtbar bleiben, selbst wenn sich der Kontext ändert.
Nach verschiedenen Beispielen können auch Computervisionstechniken zur Stabilisierung einer Rundumansicht eingesetzt werden. So können beispielsweise Keypoints erkannt und nachverfolgt werden. Jedoch existiert in bestimmten Szenen, wie beispielsweise in einer dynamischen Szene oder einer statischen Szene mit Parallax, keine einfache Verformung, die alles stabilisieren könnte. Daraus folgt, dass eine Abwägung erfolgt, wobei bestimmte Aspekte der Szene mehr Behandlung zur Stabilisierung erhalten und andere Aspekte der Szene weniger Behandlung erhalten. Weil eine Rundumansicht oft auf ein bestimmtes Objekt von Interesse fokussiert ist, kann eine Rundumansicht kontentgewichtet sein, so dass das Objekt von Interesse in einigen Beispielen maximal stabilisiert ist.
Ein anderer Weg zur Verbesserung der Stabilisierung in einer Rundumansicht umfasst die direkte Auswahl einer Region eines Bildschirms. Tippt beispielsweise ein Anwender eine Region eines Bildschirms an, um sie zu fokussieren, und dann eine konvexe Rundumansicht aufnimmt, kann der angetippte Bereich maximal stabilisiert werden. Dies ermöglicht die Fokussierung von Stabilisierungsalgorithmen auf einen bestimmten Bereich oder ein bestimmtes Objekt von Interesse.
In einigen Beispielen kann Gesichtserkennung zur Stabilisierung eingesetzt werden. Bei Aufnahmen mit einer Frontkamera ist es beispielsweise oft wahrscheinlich, dass der Anwender selbst das Objekt von Interesse in der Szene ist. Demnach kann Gesichtserkennung zur Gewichtstabilisierung um diese Region herum eingesetzt werden. Wenn die Gesichtserkennung präzise genug ist, können die Gesichtsmerkmale selbst (wie Augen, Nase, Mund) als zu stabilisierende Bereiche eingesetzt werden anstatt generische Keypoints zu nutzen.
Nach verschiedenen Beispielen kann Ansichtsinterpolation zur Verbesserung der Betrachtungserfahrung eingesetzt werden. Insbesondere um plötzliche „Sprünge” zwischen stabilisierten Frames zu vermeiden können im Laufen synthetische, intermediäre Ansichten erstellt werden. Dies kann durch kontentgewichtete Keypointverfolgung und IMU-Information wie vorstehend beschrieben informiert werden oder durch dichteren Pixel-zu-Pixel Abgleich. Falls Tiefeninformation verfügbar ist, können weniger Artifakte aufgrund von Pixelversatz auftreten, was den Prozess vereinfacht. Wie vorstehend beschrieben kann Ansichtsinterpolation in einigen Ausführungsformen während der Aufnahme einer Rundumansicht angewendet werden
In einigen Beispielen können während der Aufnahme oder Erzeugung einer Rundumansicht auch Filter zur Steigerung der Betrachtungserfahrung eingesetzt werden. So wie viele populäre Photosharing Services ästhetische Filter bereitstellen, die auf statische, zweidimensionale Bilder angewendet werden können, können ästhetische Filter in ähnlicher Weise auch auf Rundumansichten angewendet werden. Da jedoch eine Repräsentation einer Rundumansicht expressiver ist als ein zweidimensionales Bild, und dreidimensionale Information in einer Rundumansicht verfügbar ist, können diese Filter erweitert werden, um Effekte zu umfassen, die in zweidimensionalen Bildern schlecht definiert sind. In einer Rundumansicht kann beispielsweise Bewegungsweichzeichnung auf den Hintergrund (d. h. Kontext) angewandt werden, während der Kontent scharf bleibt. In einem anderen Beispiel kann dem Objekt von Interesse in einer Rundumansicht ein Schlagschatten zugefügt werden.
In verschiedenen Beispielen kann auch Kompression als Steigerungsalgorithmus 116 eingesetzt werden. Insbesondere kann Kompression zur Steigerung der Anwendererfahrung eingesetzt werden durch Reduzierung der Kosten für das Hochladen oder Herunterladen von Daten. Weil Rundumansichten räumliche Informationen nutzen, müssen für eine Rundumansicht wesentlich weniger Daten verschickt werden als für ein typisches Video, während die gewünschten Qualitäten der Rundumansicht erhalten bleiben. Spezifisch können IMU, Keypointtracks und Anwendereingaben, kombiniert mit der vorstehend beschriebenen Ansichtsinterpolation, zusammen die Datenmenge reduzieren, die während des Hochladens oder Herunterladens einer Rundumansicht von und zu einem Gerät übertragen werden müssen. Falls ein Objekt von Interesse korrekt identifiziert werden kann, kann beispielsweise ein variabler Kompressionsstil für den Kontent und den Kontext ausgewählt werden. Dieser variable Kompressionsstil kann in einigen Beispielen eine geringere Auflösung für Hintergrundinformationen (d. h. Kontext) und eine höhere Auflösung für Vordergrundinformationen (d. h. Kontent) umfassen. In solchen Beispielen kann die zu übertragende Datenmenge reduziert werden, indem etwas von der Kontextqualität geopfert wird, während ein gewünschter Qualitätsgrad für den Kontent erhalten wird.
In dieser Ausführungsform wird eine Rundumansicht 118 erzeugt, nachdem beliebige Steigerungsalgorithmen angewendet wurden. Die Rundumansicht kann eine interaktive digitale Medienrepräsentation mit multiplen Ansichten leisten. In verschiedenen Beispielen kann die Rundumansicht ein dreidimensionales Modell des Kontents und ein zweidimensionales Modell des Kontextes umfassen. In einigen Beispielen kann der Kontext jedoch eine „flache” Ansicht der Kulisse oder des Hintergrundes repräsentieren wie entlang einer Oberfläche, beispielsweise einer zylindrischen oder anders geformten Oberfläche, projiziert, so dass der Kontext nicht rein zweidimensional ist. In wieder anderen Beispielen kann der Kontext dreidimensionale Aspekte umfassen.
Nach verschiedenen Ausführungsformen bieten Rundumansichten zahlreiche Vorteile gegenüber traditionellen zweidimensionalen Bildern oder Videos. Einige dieser Vorteile umfassen: die Fähigkeit, bewegliche Hintergründe zu bewältigen oder ein bewegliches Aufnahmegerät, oder beides; die Fähigkeit zum Modellieren von Teilen der Szene in drei Dimensionen; die Fähigkeit, unnötige, redundante Informationen zu entfernen und den Memoryfootprint des Ausgabedatensatzes zu reduzieren; die Fähigkeit zur Unterscheidung zwischen Kontent und Kontext; die Fähigkeit zum Nutzen der Unterscheidung zwischen Kontent und Kontext zur Verbesserung der Anwendererfahrung; die Fähigkeit zum Nutzen der Unterscheidung zwischen Kontent und Kontext zur Verbesserung des Memoryfootprints (ein Beispiel wäre die hohe Qualität der Kompression von Kontent und geringe Qualität der Kompression von Kontext); die Fähigkeit zur Assoziierung spezieller Merkmalsdeskriptoren mit Rundumansichten, die das Indexieren der Rundumansichten mit hoher Effizienz und Präzision ermöglichen; sowie die Fähigkeit des Anwenders zur Interaktion und zum Ändern des Blickpunkts der Rundumansicht. In bestimmten beispielhaften Ausführungsformen können die vorstehend beschriebenen Merkmale nativ in die Repräsentation der Rundumansicht eingebunden werden und die Fähigkeit zur Nutzung in verschiedenen Applikationen bieten. Beispielsweise können Rundumansichten zur Steigerung verschiedener Felder wie z. B. e-commerce, visuelle Suche, 3D-Drucken, Filesharing, Anwenderinteraktion und Entertainment genutzt werden.
Nach verschiedenen beispielhaften Ausführungsformen kann, nachdem eine Rundumansicht 118 erzeugt wurde, Anwenderfeedback zur Erfassung 120 von zusätzlichen Bilddaten angefordert werden. Insbesondere falls festgestellt wird, dass eine Rundumansicht zusätzliche Ansichten benötigt, um ein präziseres Modell des Kontents oder Kontexts zu erstellen, kann ein Anwender aufgefordert werden, zusätzliche Ansichten bereitzustellen. Sobald diese zusätzlichen Ansichten vom Rundumansichtserfassungssystem 100 empfangen wurden, können diese zusätzlichen Ansichten vom System 100 verarbeitet und in die Rundumansicht eingebunden werden.
Unter Bezugnahme auf 2 wird ein Beispiel eines Flussdiagramms zur Erzeugung einer Rundumansicht 200 gezeigt. In diesem Beispiel wird eine Vielzahl von Bildern bei 202 empfangen. Nach verschiedenen Ausführungsformen kann die Vielzahl von Bildern zweidimensionale (2D-)Bilder oder Datenströme umfassen. Diese 2D-Bilder können Standortinformationen umfassen, die zur Erzeugung einer Rundumansicht genutzt werden können. In einigen Ausführungsformen kann die Vielzahl der Bilder Tiefenbilder 108 umfassen, ebenfalls wie vorstehend unter Bezugnahme auf 1 beschrieben. Die Tiefenbilder können in verschiedenen Beispielen auch Standortinformationen umfassen.
Nach verschiedenen Ausführungsformen kann die Vielzahl der bei 202 empfangenen Bilder einer Vielzahl von Quellen und Merkmalen umfassen. Beispielsweise kann die Vielzahl von Bildern von einer Vielzahl von Anwendern empfangen werden. Diese Bilder können eine aus dem Internet gewonnene Sammlung von Bildern von verschiedenen Anwendern des gleichen Ereignissen sein, beispielsweise bei einem Konzert aufgenommene 2D-Bilder oder Videos usw. In einigen Beispielen kann die Vielzahl von Bildern Bilder mit unterschiedlichen zeitlichen Informationen umfassen. Insbesondere können die Bilder vom gleichen Objekt von Interesse zu unterschiedlichen Zeitpunkten aufgenommen worden sein. Beispielsweise können mehrere Bilder einer bestimmten Statue zu verschiedenen Tageszeiten oder verschiedenen Jahreszeiten usw. aufgenommen worden sein. In anderen Beispielen kann die Vielzahl von Bildern bewegliche Objekte repräsentieren. Beispielsweise können die Bilder ein Objekt von Interesse umfassen, das sich durch eine Kulisse bewegt, beispielsweise ein Fahrzeug, das eine Straße entlangfährt oder ein Flugzeug, das am Himmel fliegt. In anderen Beispielen können die Bilder ein Objekt von Interesse umfassen, das sich ebenfalls bewegt, wie beispielsweise eine Person, die tanzt, rennt oder sich dreht.
In dieser beispielhaften Ausführungsform wird die Vielzahl von Bildern bei 204 zu Kontent und Kontextmodellen verschmolzen. Nach verschiedenen Ausführungsformen kann das in den Bildern dargestellte Subjekt in Kontent und Kontext separiert werden. Der Kontent kann als Objekt von Interesse und der Kontext kann als die das Objekt umgebende Kulisse bezeichnet werden. Nach verschiedenen Ausführungsformen kann der Kontent ein dreidimensionales Modell sein, das ein Objekt von Interesse abbildet; der Kontent kann in einigen Ausführungsformen ein zweidimensionales Bild sein.
Nach dieser beispielhaften Ausführungsform können ein oder mehrere Steigerungsalgorithmen bei 206 auf Kontent- und Kontextmodelle angewandt werden. Diese Algorithmen können zur Steigerung der Anwendererfahrung eingesetzt werden. Beispielsweise können Steigerungsalgorithmen wie automatische Frameauswahl, Stabilisierung, Ansichtsinterpolation, Filter und/oder Kompression eingesetzt werden. In einigen Beispielen können diese Steigerungsalgorithmen während der Aufnahme der Bilder auf Bilddaten angewandt werden. In anderen Beispielen können diese Steigerungsalgorithmen nach der Erfassung der Daten auf Bilddaten angewandt werden.
In dieser Ausführungsform wird bei 208 eine Rundumansicht aus den Kontent- und Kontextmodellen erzeugt. Die Rundumansicht kann eine interaktive digitale Medienrepräsentation mit multiplen Ansichten leisten. In einigen Beispielen kann die interaktive digitale Medienrepräsentation mit multiplen Ansichten ein dreidimensionales Modell des Kontents und ein zweidimensionales Modell des Kontexts umfassen. Nach verschiedenen Ausführungsformen, abhängig vom Aufnahmemodus und von den Blickpunkten der Bilder, kann das Rundumansichtsmodell bestimmte Merkmale umfassen. Beispielsweise umfassen einige Beispiele verschiedener Stile von Rundumansichten eine lokale konkave Rundumansicht, eine lokale konvexe Rundumansicht und eine lokale flache Rundumansicht. Jedoch ist zu beachten, dass Rundumansichten je nach Applikation Kombinationen aus Ansichten und Merkmalen umfassen können.
Unter Bezugnahme auf 3 wird ein Beispiel multipler Kameraansichten gezeigt, die zu einem dreidimensionalen (3D-)Modell verschmolzen werden können, um eine immersive Erfahrung zu schaffen. Nach verschiedenen Ausführungsformen können multiple Bilder aus verschiedenen Blickpunkten aufgenommen und miteinander verschmolzen werden, um eine Rundumansicht zu erzeugen. In dieser beispielhaften Ausführungsform sind drei Kameras 312, 314 und 316 jeweils an den Standorten 322, 324 und 326 positioniert, in Nähe zu einem Objekt von Interesse 308. Eine Kulisse kann das Objekt von Interesse 308 umgeben, so wie beispielsweise Objekt 310. Die Ansichten 302, 304 und 306 von ihren jeweiligen Kameras 312, 314 und 316 umfassen eine Subjektüberlappung. Insbesondere umfasst jede Ansicht 302, 304 und 306 das Objekt von Interesse 308 und verschiedene Sichtbarkeitsgrade der das Objekt 310 umgebenden Kulisse. Beispielsweise umfasst Ansicht 302 eine Ansicht des Objekts von Interesse 308 vor dem Zylinder, der Teil der das Objekt 310 umgebenden Kulisse ist. Ansicht 306 zeigt das Objekt von Interesse 308 auf einer Seite des Zylinders, und Ansicht 304 zeigt das Objekt von Interesse ohne jegliche Ansicht des Zylinders.
In dieser beispielhaften Ausführungsform bieten die verschiedenen Ansichten 302, 304 und 316 zusammen mit ihren jeweiligen entsprechenden Standorten 322, 324 und 326 eine reiche Quelle von Informationen über das Objekt von Interesse 308 und den umgebenden Kontext, die zur Herstellung einer Rundumansicht eingesetzt werden können. Beispielsweise können, wenn sie zusammen analysiert werden, die verschiedenen Ansichten 302, 304 und 316 Informationen über verschiedene Seiten des Objekts von Interesse und über die Beziehung zwischen dem Objekt von Interesse und der Kulisse bieten. Nach verschiedenen Ausführungsformen können diese Informationen verwendet werden, um das Objekt von Interesse 308 in den Kontent und die Kulisse als Kontext zergliedern. Ferner können, wie ebenfalls vorstehend unter Bezugnahme auf 1 und 2 beschrieben, verschiedene Algorithmen auf Bilder angewendet werden, die von diesen Blickpunkten aus erzeugt wurden, um eine immersive, interaktive Erfahrung beim Betrachten einer Rundumansicht zu schaffen.
4A illustriert ein Beispiel der Separierung von Kontent und Kontext in einer Rundumansicht. Nach verschiedenen Ausführungsformen dieser Erfindung ist eine Rundumansicht eine interaktive digitale Medienrepräsentation mit multiplen Ansichten einer Szene 400. Unter Bezugnahme auf 4A wird ein Anwender 402 gezeigt, der in einer Szene 400 lokalisiert ist. Der Anwender 402 nimmt Bilder eines Objekts von Interesse, Beispielsweise einer Statue, auf. Die vom Anwender aufgenommenen Bilder konstituieren digitale visuelle Daten, die zur Erzeugung einer Rundumansicht eingesetzt werden können.
Nach verschiedenen Ausführungsformen dieser Offenlegung können die digitalen visuellen Daten in einer Rundumansicht semantisch und/oder praktisch in Kontent 404 und Kontext 406 separiert werden. Nach bestimmten Ausführungsformen kann Kontent 4040 Objekt(e), Person(en), oder Szene(n) von Interesse umfassen, während der Kontext 406 die verbliebenden Elemente der den Kontent 404 umgebenden Szene repräsentiert. In einigen Beispielen kann eine Rundumansicht den Kontent 404 als dreidimensionale Daten und den Kontext 406 als einen zweidimensionalen Panoramahintergrund repräsentieren. In anderen Beispielen kann eine Rundumansicht sowohl den Kontent 404 und Kontext 406 als zweidimensionale Panoramaszenen repräsentieren. In wieder anderen Beispielen können Kontent 4040 und Kontext 406 dreidimensionale Komponenten oder Aspekte umfassen. In besonderen Ausführungsformen hängt die Art, in der die Rundumansicht Kontent 404 und Kontext 406 abbildet, vom Aufnahmemodus ab, der zur Erfassung der Bilder eingesetzt wurde.
In einigen Beispielen, wie beispielsweise ohne darauf beschränkt zu sein: Aufnahme von Objekten, Personen, oder Teilen von Objekten oder Personen, wobei nur das Objekt, die Person oder Teile davon sichtbar sind, Aufnahme großer flacher Bereiche, und Aufnahmen von Szenen, wobei die erfassten Daten unendlich erscheinen (d. h. es gibt keine Subjekte nahe der Kamera), können der Kontent 404 und der Kontext 406 gleich sein. In diesen Beispielen kann die erzeugte Rundumansicht einige Merkmale haben, die anderen Typen digitaler Medien wie beispielsweise Panoramen ähnlich sind. Jedoch umfassen nach verschiedenen Ausführungen Rundumansichten zusätzliche Merkmale, die sie von diesen existierenden Typen digitaler Medien unterscheiden. Beispielsweise kann eine Rundumansicht Bewegungsdaten repräsentieren. Außerdem ist eine Rundumansicht nicht auf eine spezifisch zylindrische, sphärische oder translationale Bewegung beschränkt. Verschiedenen Bewegungen können eingesetzt werden, um Bilddaten mit einer Kamera oder einem anderen Aufnahmegerät aufzunehmen. Ferner, anders als bei einem gestitchten [aus Einzelbildern zusammengefügten] Panorama, kann eine Rundumansicht verschiedene Seiten des gleichen Objekts abbilden.
Obwohl eine Rundumansicht in einigen Applikationen in Kontent und Kontext separiert werden kann, kann eine Rundumansicht in anderen Anwendungen in Ebenen separiert werden. Unter Bezugnahme auf 4B wird ein Beispiel von Ebenenbildung in einer Rundumansicht gezeigt. In diesem Beispiel wird eine Rundumansicht 410 mit Ebenen gezeigt. In diesem Beispiel wird eine Rundumansicht 410 mit Ebenen in verschiedene Ebenen 418, 420 und 422 segmentiert. Jede Ebene 418, 420 und 422 kann ein Objekt (oder eine Reihe von Objekten), Personen, dynamische Szeneelemente, Hintergrund usw. umfassen. Ferner kann jeder dieser Ebenen 418, 420 und 422 eine Tiefe zugeordnet werden.
Nach verschiedenen Ausführungsformen können die verschiedenen Ebenen 418, 420 und 422 auf verschiedene Arten gezeigt wenden. Beispielsweise können verschiedene Filter (z. B. Graustufenfilter, Weichzeichnen usw.) auf einige Ebenen angewandt werden und auf andere nicht. In anderen Beispielen können verschiedene Ebenen in verschiedenen Geschwindigkeiten in Relation zueinander bewegt werden, so dass wenn ein Anwender über eine Rundumansicht wischt ein besserer dreidimensionaler Effekt geboten wird. Auf ähnliche Art können, wenn ein Anwender entlang der Parallaxrichtung wischt, die Ebenen unterschiedlich verdrängt werden, um einen besseren dreidimensionalen Effekt zu erzielen. Außerdem können beim Anzeigen einer Rundumansicht eine oder mehrere Ebenen weggelassen werden, so können beispielsweise unerwünschte Objekte usw. aus einer Rundumansicht entfernt werden.
In diesem Beispiel wird ein Anwender 412 gezeigt, der ein Aufnahmegerät 414 hält. Der Anwender 412 bewegt das Aufnahmegerät 414 entlang der Aufnahmebewegung 416. Werden die aufgenommenen Bilder zur Erzeugung einer Rundumansicht verwendet, werden die Ebenen 418, 420 und 422 tiefenbasiert separiert. Diese Ebenen können dann, je nach Applikation, verarbeitet oder in einer Rundumansicht anders betrachtet werden.
Unter Bezugnahme auf 4C wird ein Beispiel eines Prozesses zur Erzeugung einer Rundumansicht mit einer modifizierten Ebene in einer Rundumansicht 430 gezeigt. Insbesondere wird eine erste Rundumansicht mit einer ersten Ebene und einer zweiten Ebene bei 432 erstellt. Wie vorstehend unter Bezugnahme auf 4B gezeigt kann eine Rundumansicht in verschiedene Ebenen unterteilt werden. In diesem Beispiel umfasst die erste Ebene eine erste Tiefe und die zweite Ebene umfasst eine zweite Tiefe.
Als nächstes wird die erste Ebene bei 434 ausgewählt. Nach verschiedenen Beispielen umfasst die Auswahl der ersten Ebene die Auswahl von Daten innerhalb der ersten Tiefe. Noch spezifischer umfasst die Auswahl von Daten in der ersten Tiefe die Auswahl der in der ersten Tiefe lokalisierten visuellen Daten. Nach verschiedenen Ausführungsformen kann die erste Ebene Merkmale umfassen wie ein Objekt, eine Person, dynamische Szeneelemente, Hintergrund usw. In einigen Beispielen wird die Auswahl der ersten Ebene automatisch ohne Anwendereingaben durchgeführt. In anderen Beispielen wird die Auswahl der ersten Ebene halbautomatisch mit anwendergeführter Interaktion durchgeführt.
Nach der Auswahl der ersten Ebene wird ein Effekt auf die erste Ebene innerhalb der ersten Rundumansicht angewendet, um eine modifizierte erste Ebene zu erstellen bei 436. In einem Beispiel kann der angewandte Effekt ein Filter sein wie Weichzeichnerfilter, Graustufenfilter usw. In einem anderen Beispiel kann der angewandte Effekt die Bewegung der ersten Ebene in einer ersten Geschwindigkeit relativ zur zweiten Ebene umfassen, welche in einer zweiten Geschwindigkeit bewegt wird. Unterscheidet sich die erste Geschwindigkeit von der zweiten Geschwindigkeit, können in einigen Beispielen dreidimensionale Effekte verbessert werden. In einigen Applikationen kann ein Parallaxeffekt auftreten, wodurch ein dreidimensionaler Effekt erzeugt wird.
Als nächstes wird eine zweite Rundumansicht erzeugt, welche die modifizierte erste Ebene und die zweite Ebene enthält bei 438. Wie vorstehend beschrieben kann die Anwendung eines oder mehrerer Effekten auf die erste Ebene die dreidimensionalen Effekte einer Rundumansicht in einigen Applikation en verbessern. In diesen Applikationen kann die zweite Rundumansicht im Vergleich zur ersten Rundumansicht verbesserte dreidimensionale Effekte haben. Andere Effekte können in verschiedenen Beispielen angewendet werden und verschiedene Aspekte einer ersten Rundumansicht zur Erbringung einer zweiten Rundumansicht betonen oder vernachlässigen. Außerdem kann in einigen Applikationen eine Ebene in einer zweiten Rundumansicht weggelassen werden. Spezifisch wird, wenn die erste Rundumansicht eine dritte Ebene enthält, die zweite Rundumansicht diese dritte Ebene weglassen. In einem Beispiel könnte diese dritte Ebene ein Objekt oder eine Person umfassen, die in der erzeugten zweiten Rundumansicht „herauseditiert” werden. In einem anderen Beispiel könnte diese dritte Ebene einen Hintergrund oder Hintergrundelemente umfassen, und die zweite Rundumansicht würde diesen Hintergrund bzw. diese Hintergrundelemente nicht umfassen. Natürlich kann jedes Objekt oder Merkmal, je nach Applikation, in dieser weggelassenen dritten Ebene lokalisiert sein.
5A–5B illustrieren jeweils Beispiele konkaver und konvexer Ansichten, wobei beide Ansichten einen Rückkameraufnahmemodus nutzen. Insbesondere beim Einsatz einer Handykamera nutzen diese Ansichten die Kamera auf der Rückseite des Handys, von dem Anwender wegzeigend. In bestimmten Ausführungsformen können konkave und konvexe Ansichten die Art der Darstellung von Kontent und Kontext in einer Rundumansicht beeinflussen.
Unter Bezugnahme auf 5A wird ein Beispiel einer konkaven Ansicht 500 gezeigt, worin ein Anwender entlang einer Vertikalachse 508 steht. In diesem Beispiel hält der Anwender eine Kamera, so dass der Kamerastandort 502 die Achse 508 während der Bildaufnahme nicht verlässt. Wenn sich der Anwender jedoch um die Achse 508 herum dreht, nimmt die Kamera eine Panoramansicht der Szene um den Anwender herum auf und erstellt so eine konkave Ansicht. In dieser Ausführungsform werden das Objekt von Interesse 504 und die entfernte Kulisse 506 ähnlich betrachtet aufgrund der Art und Weise, in der die Bilder aufgenommen werden. In diesem Beispiel erscheinen alle Objekte in der konkaven Ansicht unendlich, so dass der Kontent nach dieser Ansicht gleich dem Kontext ist.
Unter Bezugnahme auf 5B wird ein Beispiel einer konvexen Ansicht 520 gezeigt, worin ein Anwender seine Position verändert während der Aufnahme von Bildern eines Objekts von Interesse 524. In diesem Beispiel bewegt sich der Anwender um das Objekt von Interesse 524 herum und nimmt Bilder von verschiedenen Seiten des Objekts von Interesse von den Kamerastandorten 528, 530 und 532 auf. Jedes der erhaltenen Bilder umfasst eine Ansicht des Objekts von Interesse sowie einen Hintergrund der entfernten Kulisse 526. In diesem Beispiel repräsentiert das Objekt von Interesse 524 den Kontent und die entfernte Kulisse 526 repräsentiert den Kontext in dieser konvexen Ansicht.
6A–6E illustrieren Beispiele verschiedener Aufnahmemodi für Rundumansichten. Obwohl verschiedene Bewegungen zur Aufnahme einer Rundumansicht verwendet werden können und diese nicht auf einen bestimmten Bewegungstyp beschränkt sind, können drei allgemeine Bewegungstypen zur Aufnahme bestimmter im Zusammenhang mit Rundumansichten beschriebenen Merkmale oder Ansichten genutzt werden. Diese drei Bewegungstypen können jeweils eine lokale konkave Rundumansicht, eine lokale konvexe Rundumansicht und eine lokale flache Rundumansicht erstellen. In einigen Beispielen kann eine Rundumansicht verschiedenen Bewegungstypen innerhalb der gleichen Rundumansicht umfassen.
Unter Bezugnahme auf 6A wird ein Beispiel einer Aufnahme einer rückwärts gerichteten, konkaven Rundumansicht gezeigt. Nach verschiedenen Ausführungsformen ist eine lokale konkave Rundumansicht eine Ansicht, in der die Blickwinkel der Kamera oder eines anderen Aufnahmegeräts divergieren. In einer Dimension kann dies mit der zur Aufnahme eines sphärischen 360° Panoramas (reine Rotation) verglichen werden, obwohl die Bewegung verallgemeinert werden kann so einer beliebigen gekrümmten Schwenkbewegung, in welcher der Blick nach außen gerichtet ist. In diesem Beispiel ist die Erfahrung die eines stationären Betrachters, der auf einen (möglicherweise dynamischen) Kontext heraus blickt.
In dieser beispielhaften Ausführungsform verwendet ein Anwender 602 eine Rückkamera 606 zur Aufnahme von Bildern zur Welt 600 hin und vom Anwender 602 weg gerichtet. Wie in verschiedenen Beispielen beschrieben bezieht sich eine Rückkamera auf ein Gerät mit einer Kamera, die vom Anwender weg gerichtet ist, so wie beispielsweise die Kamera auf der Rückseite eines Smartphones. Die Kamera wird in einer konkaven Bewegung 608 bewegt, so dass Ansichten 604a, 604b, und 604c verschiedene Teile des Aufnahmebereichs 609 erfassen.
Unter Bezugnahme auf 6B wird ein Beispiel einer Aufnahme einer rückwärts gerichteten, konvexen Rundumansicht gezeigt. Nach verschiedenen Ausführungsformen ist eine lokale konvexe Rundumansicht eine, in der Blickwinkel zu einem einzelnen Objekt von Interesse konvergieren. In einigen Beispielen kann eine lokale konvexe Rundumansicht die Erfahrung des Kreisens um einen Punkt herum vermitteln, so dass ein Betrachter mehrere Seiten des gleichen Objekts sehen kann. Dieses Objekt, welches ein „Objekt von Interesse” sein kann, kann von der Rundumansicht segmentiert werden, um zum Kontext zu werden. Frühere Technologien versagen darin, diesen Typ von Blickwinkeln in der medienteilenden Landschaft zu erkennen.
In dieser beispielhaften Ausführungsform verwendet ein Anwender 602 eine Rückkamera 606 zur Aufnahme von Bildern in Richtung zur Welt 600 und vom Anwender 602 weg gerichtet. Die Kamera wird in einer konvexen Bewegung 610 bewegt, so dass die Ansichten 612a, 612b und 612c verschiedene Teile des Aufnahmebereichs 611 erfassen. Wie vorstehend beschrieben kann die Welt 600 in einigen Beispielen ein Objekt von Interesse umfassen und die konvexe Bewegung 610 kann um dieses Objekt herum kreisen. Ansichten 612a, 612b und 612c können Ansichten verschiedener Seiten dieses Objekts in diesen Beispielen umfassen.
Unter Bezugnahme auf 6C wird ein Beispiel einer Aufnahme vorwärts gerichteten konkaven Rundumansicht gezeigt. Wie in verschiedenen Beispielen beschrieben bezieht sich eine Frontkamera auf ein Gerät mit einer Kamera, die zum Anwender hin gerichtet ist, wie beispielsweise die Kamera auf der Vorderseite eines Smartphones. Frontkameras werden beispielsweise allgemein zur Aufnahme von „Selfies” (d. h. Selbstporträts des Anwenders) eingesetzt.
In dieser beispielhaften Ausführungsform zeigt die Kamera 620 zum Anwender 602. Die Kamera folgt einer konkaven Bewegung 606, so dass die Ansichten 618a, 618b und 618 winklig voneinander divergieren. Der Aufnahmebereich 617 folgt einer konkaven Form, die den Anwender am Perimeter umfasst.
Unter Bezugnahme auf 6D wird ein Beispiel einer Aufnahme vorwärts gerichteten, konvexen Rundumansicht gezeigt. In dieser beispielhaften Ausführungsform zeigt die Kamera 626 zum Anwender 602. Die Kamera folgt einer konvexen Bewegung 622, so dass die Ansichten 624a, 624b und 624c zum Anwender 602 hin konvergieren. Der Aufnahmebereich 617 folgt einer konkaven Form, die den Anwender 602 umgibt.
Unter Bezugnahme auf 6E wird ein Beispiel einer Aufnahme einer rückwärts gerichteten, flachen Ansicht gezeigt. In bestimmten beispielhaften Ausführungsformen ist eine lokale flache Rundumansicht eine, in der die Rotation der Kamera im Vergleich zu ihrer Translation klein ist. In einer lokalen flachen Rundumansicht bleiben die Blickwinkel grob parallel und der Parallaxeffekt dominiert. In diesem Typ einer Rundumansicht kann es auch ein „Objekt von Interesse” geben, aber dessen Position bleibt in den verschiedenen Ansichten nicht fixiert. Frühere Technologien versagen auch darin, diesen Typ von Blickwinkeln in der medienteilenden Landschaft zu erkennen.
In dieser beispielhaften Ausführungsform ist die Kamera 632 vom Anwender 602 Weg und zur Welt 600 hin gerichtet. Die Kamera folgt einer allgemeinen linearen Bewegung 628, so dass der Aufnahmebereich 629 allgemein einer Linie folgt. Die Ansichten 630a, 630b und 630c haben allgemein parallele Blickachsen. Ein Objekt, das in verschiedenen Ansichten betrachtet wird, kann scheinbar in jeder Ansicht unterschiedliche oder verschobene Hintergrundkulissen haben. Außerdem kann in verschiedenen Ansichten eine leicht unterschiedliche Seite des Objekts sichtbar sein. Unter Nutzung des Parallaxeffekts kann Information über die Position und Merkmale des Objekts in einer Rundumansicht erzeugt werden, die mehr Information als ein beliebiges statisches Bild bietet.
Wie vorstehend beschrieben können verschiedene Modi zur Aufnahme von Bildern für eine Rundumansicht verwendet werden. Diese Modi, einschließlich lokal konkaven, lokal konvexen und lokal linearen Bewegungen können während der Aufnahme separate Einzelbilder oder während der kontinuierlichen Aufnahme einer Szene verwendet werden. Eine solche Aufnahme kann eine Reihe von Bildern während einer einzigen Session aufnehmen.
Nach verschiedenen Ausführungsformen dieser Erfindung kann eine Rundumansicht aus auf zahlreiche Weisen erzeugten Daten erzeugt werden. 7A illustriert ein Beispiel des Prozesses zur Aufnahme von Daten, die zur Erzeugung einer Rundumansicht verwendet werden können. In diesem Beispiel werden Daten gewonnen indem eine Kamera durch den Raum bewegt wird. Insbesondere betätigt ein Anwender eine Aufnahmetaste 702 an einem Aufnahmegerät 700, um mit der Aufzeichnung zu beginnen. Während die Bewegung des Aufnahmegerätes 716 einer allgemein nach links gerichteten Richtung folgt, bewegt sich ein Objekt 714 in einer allgemein nach rechts gerichteten Bewegung über den Bildschirm, wie durch die Bewegung von 716 angezeigt. Spezifisch drückt der Anwender die Aufnahmetaste in Ansicht 708 und bewegt dann das Aufnahmegerät nach links in Ansicht 710. Während das Aufnahmegerät nach links bewegt wird, scheint sich das Objekt 714 nach rechts zu bewegen zwischen Ansichten 710 und 712. In einigen Beispielen, kann wenn der Anwender die Aufnahme beendet hat erneut die Aufnahmetaste 702 betätigt werden. In anderen Beispielen kann der Anwender die aufnahmetaste drücken und während der Aufnahme gedrückt halten, um sie zum Beenden der Aufnahme loszulassen. In dieser Ausführungsform erfasst die Aufnahme eine Serie von Bildern, die zur Erzeugung einer Rundumansicht verwendet werden kann.
Nach verschiedenen Ausführungsformen können verschiedene Panoramatypen in Rundumansichten aufgenommen werden in Abhängigkeit von dem Typ der im Aufnahmeprozess eingesetzten Bewegung. Insbesondere können dynamische Panoramen, Objektpanoramen und Selfiepanoramen erzeugt werden basierend auf erfassten Daten. In einigen Ausführungsformen können die erfassten Daten aufgenommen werden wie im Hinblick auf 7A beschrieben.
7B–7F illustrieren Beispiele bzgl. dynamischer Panoramen, die mit Rundumansichten erzeugt werden können. Unter besonderer Bezugnahme auf 7B wird ein Beispiel eines Prozesses zur Aufnahme eines dynamischen Panoramas 720 gezeigt. In diesem Beispiel bewegt ein Anwender 722 ein Aufnahmegerät 724 entlang der Aufnahmebewegung 726. Diese Aufnahmebewegung 726 kann das Rotieren, Drehen, Winken, Überführen usw. des Aufnahmegeräts 724 umfassen. Während dieses Aufnahmeprozesses wird ein Panorama der Szene 728 erzeugt und dynamischer Kontent innerhalb der Szene bleibt erhalten. Beispielsweise werden bewegliche Objekte innerhalb des Panoramas als dynamischer Kontent konserviert.
Unter Bezugnahme auf 7C wird ein spezifisches Beispiel eines Prozesses zur Aufnahme eines dynamischen Panoramas 730 gezeigt, wobei ein Aufnahmegerät 732 um seine Mitte entlang einer Rotationsachse 734 bewegt wird. Diese reine Rotation erfasst ein Panorama der Szene 736. Nach verschiedenen Beispielen kann dieser Panoramatyp eine „flache” Szene liefern, die Ganzheiten in der Szene zu einem bestimmten Zeitpunkt erfasst. Diese „flache” Szene kann ein zweidimensionales Bild sein oder ein Bild, das auf einen Zylinder oder eine Oberfläche usw. projiziert wird.
Unter Bezugnahme auf 7D wird ein Beispiel eines dynamischen Panoramas 740 mit dynamischem Kontent 744 gezeigt. Nach der Erfassung eines Panoramas wie oben unter Bezugnahme auf 7C beschrieben, kann ein dynamisches Panorama 740 von einem Anwender navigiert werden. In diesem Beispiel wird der dynamische Kontent 744 animiert, wenn der Anwender durch das dynamische Panorama 740 navigiert. Wenn beispielsweise der Anwender über den Bildschirm 742 wischt ist der dynamische Kontent 744 zu sehen, wie er sich in Relation zur Szene 742 bewegt.
Unter Bezugnahme auf 7E wird ein Beispiel der Aufnahme eines dynamisches Panoramas mit einem 3D-Effekt gezeigt. In diesem Beispiel kann, wenn ein Aufnahmegerät nicht genau um seine Kameramitte rotiert wird (wie in 7C) ein 3D-Effekt erzielt werden, indem verschiedene Teile des Panoramas mit unterschiedlichen Geschwindigkeiten bewegt während, der Anwender durch den dynamischen Kontent navigiert. Obwohl eine Person oder ein Objekt 750 in der Nähe Artifakte in einem Standard-Panoramaaufnahmeprozess erzeugen würde, wenn ein Aufnahmegerät nicht genau um seine Kameramitte rotiert wird (wie in 7C), können diese „Unvollkommenheiten” genutzt werden, um für den Anwender einen 3D-Effekt zu erzeugen, indem das Objekt 750 in einer unterschiedlichen Geschwindigkeit bewegt wird während des Wischens/Navigierens durch ein dynamisches Panorama. Insbesondere verwendet das dargestellte Aufnahmegerät 745 eine Aufnahmebewegung 748, welche eine entfernte Szene 746 und eine nahe Person/ein nahes Objekt 750 erfasst. Diese Bewegungen der nahen Person/des nahen Objekts 750 kann in einigen Ausführungsformen als 3D-Bewegung innerhalb der Rundumansicht erfasst werden, wobei die entfernte Szene 746 statisch erscheint während der Anwender durch die Rundumansicht navigiert.
Unter Bezugnahme auf 7F wird ein Beispiel eines dynamischen Panoramas 750 mit Parallaxeffekt gezeigt. Dreidimensionale Effekte können repräsentiert werden durch Anwendung eines Parallaxeffekts, wenn man im rechten Winkel zur Panoramarichtung 752 wischt. Insbesondere werden, wenn man im rechten Winkel zur Panoramarichtung wischt, nahe Objekte verdrängt entlang der Parallaxrichtung 754, während die entfernte Szene stillsteht oder sich weniger bewegt als die nahen Objekte.
7G–7J illustrieren Beispiele in Bezug auf Objektpanoramen, die mit Rundumansichten erzeugt werden können. Unter Bezugnahme auf 7G wird ein Beispiel eines Prozesses zur Aufnahme eines dynamischen Panoramas gezeigt. Insbesondere wird ein Aufnahmegerät 766 um ein Objekt 762 herum entlang einer Aufnahmebewegung 760 bewegt. Ein bestimmtes Beispiel eines Aufnahmegerätes 766 ist ein Smartphone. Das Aufnahmegerät 766 erfasst auch eine Panoramaansicht des Hintergrunds 764 wobei verschiedene Ansichten und Winkel des Objekts 762 aufgenommen werden. Die resultierende Rundumansicht umfasst eine Panoramaansicht des Objekts 762.
In einigen Ausführungsformen kann eine Rundumansicht erzeugt werden indem ein Objektpanorama auf ein Hintergrundpanorama projiziert wird, ein Beispiel dafür wird in 7H gezeigt. Insbesondere wird ein Panorama 768 dieser Art gebildet unter Verwendung des Hintergrundpanoramas 770 und Projektion eines Vordergrundobjektpanoramas 772 auf das Hintergrundpanoramas 770. In einigen Beispielen kann ein Objektpanoramasegmentierter Kontent sein, der einer Rundumansicht entnommen wurde, was im Detail unter Bezugnahme auf 17A–17B beschrieben wird.
Nach verschiedenen Ausführungsformen können multiple Objekte ein Objektpanorama bilden. Unter Bezugnahme auf 7I wird ein Beispiel eines Aufnahmeprozesses für eine Gruppe von Objekten 780 gezeigt, welche ein Objektpanorama bilden. Wie gezeigt kann ein Aufnahmegerät 776 um ein Vordergrundobjekt, welches ein einzelnes Objekt oder eine Gruppe von Objekten 780 sein kann, die einen ähnlichen Abstand zum Aufnahmegerät haben, bewegt werden. Das Aufnahmegerät 776 kann um das Objekte oder die Gruppe von Objekten 780 herum bewegt werden entlang einer Aufnahmebewegung 778, so dass verschiedene Ansichten und Winkel der Objekte aufgenommen werden. Die resultierende Rundumansicht kann ein Objektpanorama der Gruppe von Objekten 780 mit einem entfernten Hintergrund 782 als Kontext umfassen.
Objektpanoramen ermöglichen nach verschiedenen Beispielen Anwendern die Navigation um das Objekt herum. Unter Bezugnahme auf 7J wird ein Beispiel der Änderung des Blickwinkels eines Objektpanoramas basierend auf Anwendernavigation gezeigt. In diesem Beispiel werden drei Ansichten eines Rundumansichtpanoramas 784 gezeigt. In diesem Rundumansichtpanorama wird ein Vordergrundobjekt 786 gezeigt vor einem Hintergrundobjekt 788. Während der Anwender das Panorama durch Wischbewegung oder andere Art der Interaktion mit der Rundumansicht navigiert können der Standort des Objekts, der Blickwinkel des Objekts oder beides geändert werden. In diesem Beispiel kann der Anwender in Richtung der Hauptpanoramaachse wischen. Diese Navigation kann das Vordergrundobjekt 786 in dieser Ansicht rotieren. In einigen Beispielen ändert sich das entfernte Hintergrundpanorama 788 möglicherweise nicht, während das Vordergrundobjektpanorama rotiert oder sich anders bewegt.
Nach verschiedenen Ausführungsformen können Objektpanoramen auch Parallaxeffekte umfassen. Diese Parallaxeffekte sind zu sehen, wenn man im rechten Winkel zur Richtung der Hauptpanoramaachse wischt/navigiert. Ähnlich wie in 7F können dreidimensionale Effekte repräsentiert werden, wenn man im rechten Winkel zur Richtung der Hauptpanoramaachse wischt. Insbesondere beim Wischen im rechten Winkel zur Richtung der Hauptpanoramaachse entlang der Parallaxrichtung werden nahe Objekte entlang der Parallaxrichtung verdrängt, während die entfernte Szene stillsteht oder sich weniger bewegt als die nahen Objekte.
Obwohl sich die vorigen Beispiele auf statischen Kontent und Hintergrundkontext in Objektpanoramen beziehen, kann dynamischer Kontent in das Objektpanorama eingebunden werden entweder als Vordergrundobjekt, Hintergrundkontext, oder beides. Beispielsweise kann dynamischer Kontent auf ähnliche Weise wie im Zusammenhang mit 7D beschrieben dargestellt werden. Auf ähnliche Weise kann auch dynamischer Kontext in Objektpanoramen eingebunden werden.
Ein Selfiepanorama ist ein anderer Panoramatyp, der in Rundumansichten enthalten sein kann. In einigen Beispielen kann ein Selfiepanorama segmentierter Kontent sein, der aus einer Rundumansicht entnommen wurde, wie im Detail Unter Bezugnahme auf 17A–17B beschrieben. 7K–7L illustrieren Beispiele im Bezug auf Selfiepanoramen, die mit Rundumansichten erzeugt werden können. Unter Bezugnahme auf 7K wird ein Beispiel eines Prozesses zur Aufnahme eines Selfiepanoramas 790 gezeigt. Insbesondere bewegt ein Anwender 794 ein Aufnahmegerät 792 entlang der Aufnahmebewegung 796 während der Aufnahme von Bildern des Anwenders 794. In einigen Beispielen kann das Aufnahmegerät 792 eine Frontkamera nutzen, wie beispielsweise die in einem Smartphone enthaltene. In anderen Beispielen kann eine Digitalkamera oder ein anderes Bildaufnahmegerät genutzt werden. Ein Selfiepanorama wird mit diesen Bildern erzeugt, wobei Hintergrund 798 den Kontext bildet.
Unter Bezugnahme auf 7L wird ein Beispiel eines Hintergrundpanoramas mit einem darauf projizierten Selfiepanorama gezeigt. In diesem Beispiel wird ein Rundumansichtpanorama 723 gebildet aus einem Hintergrundpanorama 725 mit einem darauf projizierten Selfiepanorama 721. Nach verschiedenen Beispielen kann das Selfiepanorama eine einzelne Person oder mehrere Personen umfassen, ähnlich wie das Objekt bzw. die gruppe von Objekten, die in Zusammenhang mit 7I beschrieben wurden. In diesem Beispiel können Selfiepanoramen dynamischen Kontent umfassen. Beispielsweise kann der Anwender auf das Aufnahmegerät blicken, während das Aufnahmegerät bewegt wird, oder der Anwender kann still halten, während er das Aufnahmegerät bewegt. Die Bewegungen des Anwenders können erfasst werden, während das Selfiepanorama 721 aufgenommen wird. Diese dynamischen Elemente werden in das Panorama eingebunden und können während der Interaktion mit dem resultierenden Selfiepanorama 721 angezeigt werden. So kann Beispielsweise das Blinzeln des Anwenders aufgenommen und erfasst werden. Die Navigation des Selfiepanoramas kann auf ähnliche Weise durchgeführt werden wie in Zusammenhang mit 7J beschrieben. Insbesondere können Standort und Blickpunkt der Person(en) im Selfiepanorama 721 durch den Anwender durch Wischen/Navigieren in Richtung der Hauptpanoramaachse geändert werden. Nach verschiedenen Ausführungsformen können Selfiepanoramen 721 auch Parallaxeffekte umfassen. Diese Parallaxeffekte sind zu sehen, wenn man im rechten Winkel zur Richtung der Hauptpanoramaachse wischt/navigiert. Außerdem können, ähnlich wie in 7F, dreidimensionale Effekte repräsentiert werden, während man im rechten Winkel zur Richtung der Hauptpanoramaachse wischt. Insbesondere beim durch Wischen/Navigieren in Richtung der Panoramarichtung entlang der Parallaxrichtung werden nahe Objekte entlang der Parallaxrichtung verdrängt, während die entfernte Szene stillsteht oder sich weniger bewegt als die nahen Objekte.
Wie vorstehend beschrieben können verschiedenen Panoramatypen mit Rundumansichten erzeugt werden. Außerdem können Rundumansichten auf verschiedene Weisen betrachtet und navigiert werden. Unter Bezugnahme auf 7M wird ein Beispiel erweiterter Ansichten von Panoramen gezeigt, die auf Anwendernavigation basierend zur Verfügung gestellt werden. In diesem Beispiel umfassen die möglichen Ansichten 727 eine vollständige Panoramaansicht 729, Aufnahmeansichten 731, und die erweiterte Ansicht 733. Eine vollständige Panoramaansicht 729 umfasst eine vollständige Ansicht der Information in einer Rundumansicht. Die Aufnahmeansichten 731 umfassen die visuellen Daten, die in Bildern und/oder Aufnahmen erfasst werden. Die erweiterte Ansicht 733 zeigt mehr als das, was während eines Zeitpunkts sichtbar ist in Aufnahmeansichten 731, aber weniger als die vollständige Panoramaansicht 729. Der Teil des Panoramas 729, der in einer erweiterten Ansicht 733 sichtbar ist, wird durch Anwendernavigation definiert. Eine erweiterte Ansicht 733, die besonders für Selfie- oder Objektpanoramen interessant ist, weil die erweiterte Ansicht dem Objekt/der Person im Panorama folgt und einer grö0ßerere/breitere Ansicht zeigt als die für die Kamera während der Aufnahme sichtbar gewesene. Im Wesentlichen wird dem Anwender in einer erweiterten Ansicht 733 mehr Kontext zur Verfügung gestellt während der Navigation der Rundumansicht.
Nach verschiedenen Ausführungsformen können, sobald eine Serie von Bildern aufgenommen wurde, diese Bilder zur Erzeugung einer Rundumansicht verwendet werden. Unter Bezugnahme auf 8 wird ein Beispiel einer Rundumansicht, in der dreidimensionaler Kontent mit einem zweidimensionalen Panoramakontext gemischt wird. In dieser beispielhaften Ausführungsform folgt die Bewegung des Aufnahmegeräts 820 einer lokal konvexen Bewegung, so dass sich das Aufnahmegerät um das Objekt von Interesse (d. h. eine auf einem Stuhl sitzende Person) herum bewegt. Das Objekt von Interesse wird als Kontent 808 bezeichnet, und die umgebende Kulisse (d. h. der Raum) wird als Kontext 810 bezeichnet. In dieser Ausführungsform ist während der Bewegung des Aufnahmegeräts 820 nach links um Kontent 808 herum die Kontentrotation relativ zum Aufnahmegerät 812 nach rechts und gegen den Uhrzeigersinn gerichtet. Ansichten 802, 804 und 806 zeigen einen Fortschritt der Rotation der auf einem Stuhl sitzenden Person in Relation zum Raum.
Nach verschiedenen Ausführungsformen kann eine Serie von Bildern, die zur Erzeugung einer Rundumansicht verwendet werden, von einem Anwender aufgenommen werden, der eine Szene, ein Objekt von Interesse usw. aufnimmt. Außerdem können in einigen Beispielen multiple Anwender zur Erfassung einer Serie von Bildern die zur Erzeugung einer Rundumansicht verwendet werden beitragen. Unter Bezugnahme auf 9 wird ein Beispiel einer Raum-Zeit Rundumansicht gezeigt, welche gleichzeitig von unabhängigen Beobachtern aufgenommen wird.
In dieser beispielhaften Ausführungsform befinden sich die Kameras 904, 906, 908, 910, 912 und 914 an verschiedenen Standorten. In einigen Beispielen können diese Kameras 904, 906, 908, 910, 912 und 914 mit unabhängigen Beobachtern assoziiert sein. Beispielsweise können die unabhängigen Beobachter im Publikum eines Konzerts, einer Show oder eines Ereignisses sein. In anderen Beispielen können die Kameras 904, 906, 908, 910, 912 und 914 auf Stativen oder Ständern usw. positioniert sein. In dieser Ausführungsform werden die Kameras 904, 906, 908, 910, 912 und 914 eingesetzt zur jeweiligen Aufnahme der Ansichten 904a, 906a, 908a, 910a, 912a und 914a eines Objekts von Interesse 900, wobei die Welt 902 die Hintergrundkulisse darstellt. Diese von den Kameras 904, 906, 908, 910, 912 und 914 aufgenommenen Bilder können zusammengefasst werden und in einigen Beispielen zusammen in einer einzigen Rundumansicht verwendet werden. Jede der Rundumansicht bietet einen unterschiedlichen Blickwinkel relativ zum Objekt von Interesse 900. Die Bilder von diesen verschiedenen Standorten werden zur Information über unterschiedliche Blickwinkel des Objekts von Interesse 900 zusammengefügt. Außerdem können die Kameras 904, 906, 908, 910, 912 und 914 eine Serie von Bildern von ihren jeweiligen Standorten über eine Zeitspanne hinweg bieten, sodass die aus dieser Serie von Bildern erzeugte Rundumansicht zeitliche Informationen umfassen und auch Bewegung über Zeit darstellen können.
Wie vorstehend im Hinblick auf verschiedene Ausführungsformen beschrieben, können Rundumansichten mit einer Vielzahl von Aufnahmemodi assoziiert sein. Außerdem kann eine Rundumansicht verschiedene Aufnahmemodi umfassen, oder verschiedene Aufnahmebewegungen in der gleichen Rundumansicht. Dementsprechend können Rundumansichten in einigen Beispielen in kleinere Beispiele separiert werden. Unter Bezugnahme auf 10 wird ein Beispiel der Separation einer komplexen Rundumansicht in kleinere, lineare Teile gezeigt In diesem Beispiel umfasst die komplexe Rundumansicht 1000 einen Aufnahmebereich 1026, der einer ausholenden L-Bewegung folgt, welche zwei separate lineare Bewegungen 1022 und 1024 der Kamera 1010 umfasst. Die mit diesen separaten linearen Bewegungen assoziierten Rundumansichten können in die lineare Rundumansicht 1002 und die lineare Rundumansicht 1004 heruntergebrochen werden. Es ist festzustellen, dass obwohl die linearen Rundumansichten 1002 und 1004 in einigen Ausführungsformen sequentiell und kontinuierlich aufgenommen werden können, diese linearen Rundumansichten 1002 und 1004 in anderen Ausführungsformen auch in separaten Sessions aufgenommen werden können.
In dieser beispielhaften Ausführungsformen können die lineare Rundumansicht 1002 und die lineare Rundumansicht 1004 unabhängig verarbeitet und mit einem Übergang 1006 verbunden werden, um eine kontinuierliche Erfahrung für den Anwender zu schaffen. Das Herunterbrechen der Bewegung in kleinere lineare Komponenten auf diese Weise kann verschiedene Vorteile bieten. Beispielsweise kann das Herunterbrechen dieser kleineren linearen Komponenten in diskrete ladbare Teile bei der Kompression der Daten für Bandweitenzwecke helfen. Auf ähnliche Weise können nicht lineare Rundumansichten ebenfalls in diskrete Komponenten heruntergebrochen werden. In einigen Beispielen können Rundumansichten basieren auf lokaler Aufnahmebewegung heruntergebrochen werden. Beispielsweise kann eine komplexe Bewegung in einen lokal konvexen Teil und einen linearen Teil heruntergebrochen werden. In einem anderen Beispiel kann eine komplexe Bewegung in separate lokal konvexe Teile heruntergebrochen werden. Es ist festzustellen, dass eine komplexe Rundumansicht 1000 eine beliebige Anzahl von Bewegungen umfassen kann, und dass eine komplexe Rundumansicht 1000 ein eine beliebige Anzahl separater Teile heruntergebrochen werden kann je nach Applikation.
Obwohl es in einigen Applikationen wünschenswert ist, komplexe Rundumansichten zu separieren, ist es in anderen Applikationen wünschenswert, multiple Rundumansichten zu kombinieren. Unter Bezugnahme auf 11 wird ein Beispiel eines Graphen gezeigt, der multiple Rundumansichten, kombiniert zu einer Multirundumansicht 1100, umfasst. In diesem Beispiel repräsentieren die Rechtecke verschiedene Rundumansichten 1102, 1104, 1106, 1108, 1110, 1112, 1114 und 1116 und die Länge jedes Rechtecks indiziert die dominante Bewegung jeder Rundumansicht. Linien zwischen den Rundumansichten indizieren mögliche Übergänge 1118, 1120, 1122, 1124, 1126, 1128, 1130 und 1132 zwischen ihnen.
In einigen Beispielen kann eine Rundumansicht einen sehr effizienten Weg zur räumlichen und zeitlichen Partitionierung einer Szene bieten. Für sehr große Szenen können die Daten der Multirundumansicht 1100 verwendet werden. Insbesondere kann eine Multirundumansicht 1100 eine Sammlung von Rundumansichten umfassen, die miteinander in einem räumlichen Graphen verbunden sind. Die einzelnen Rundumansichten können von einer einzelnen Quelle, wie beispielsweise einem einzelnen Anwender, oder von multiplen Quellen, wie beispielsweise multiplen Anwendern gesammelt wenden. Außerdem können die einzelnen Rundumansichten in einer Sequenz, parallel, oder völlig unkorreliert zu verschiedenen Zeitpunkten aufgenommen werden. Um die einzelnen Rundumansichten miteinander zu verbinden muss es jedoch eine gewissen Überlappung von Kontent, Kontext oder Standort geben oder einer Kombination dieser Merkmale. Dementsprechend müssen zwei beliebige Rundumansichten eine gewissen Überlappung von Kontent, Kontext oder Standort um einen Teil einer Multirundumansicht 1100 beitragen zu können. Einzelne Rundumansichten können durch diese Überlappung miteinander verknüpft werden und zusammen gestitched (geheftet) werden, um eine Multirundumansicht 1100 zu bilden. Nach verschiedenen Beispielen kann eine beliebige Kombination von Aufnahmegeräten mit Frontkamera, Rückkamera, oder Front- und Rückkamera verwendet werden.
In einigen Ausführungsformen können Multirundumansichten 1100 verallgemeinert werden um ganze Umgebungen vollständiger aufzunehmen. So wie „Photo Tours” Photographien in einen Graphen von diskreten, räumlich benachbarten Komponenten sammeln, können Rundumansichten zu einem vollständigen Szenegraph kombiniert werden. In einigen Beispielen kann dies erreicht werden durch Verwendung von Informationen, die beispielsweise von, ohne darauf beschränkt zu sein, erhalten wurde: Bildabgleich/-verfolgung, Tiefenabgleich/-verfolgung, IMU, Anwendereingaben, und/oder GPS. Innerhalb eines solchen Graphen oder einer Multirundumansicht kann ein Anwender zwischen verschiedenen Rundumansichten wechseln, entweder an den Endpunkten der aufgenommenen Bewegung, oder überall dort, wo es eine Überlappung mit anderen Rundumansichten im Graphen gibt. Ein Vorteil von Multirundumansichten gegenüber „Photo Tours” ist, dass ein Anwender die Rundumansichten nach Belieben navigieren kann und in Rundumansichten viel mehr visuelle Informationen gespeichert werden können. Im Gegensatz dazu haben traditionelle „Photo Tours” typischerweise begrenzte Ansichten, die dem Betrachter entweder automatisch gezeigt werden können, oder indem dem Anwender ermöglicht wird, durch ein Panorama mit einer Computermaus oder Tastenbefehlen zu blättern.
Nach verschiedenen Ausführungsformen wird eine Rundumansicht aus einer Reihe von Bildern erzeugt. Diese Bilder können von einem Anwender aufgenommen werden mit der Absicht eine Rundumansicht zu erzeugen oder aus einem Speicher abgerufen werden, je nach Applikation. Weil eine Rundumansicht nicht begrenzt oder eingeschränkt ist im Hinblick auf einen bestimmten Grad der Sichtbarkeit, kann sie wesentlich mehr visuelle Informationen über verschiedene Ansichten eines Objekts oder einer Szene bieten. Spezifischer kann, obwohl ein einzelner Blickpunkt zu wenig sein kann, um ein dreidimensionales Objekt zu beschreiben, können multiple Ansichten des Objekts mehr, spezifischere und detailliertere Information bieten. Diese multiplen Ansichten können genug Informationen bieten, damit eine visuelle Suchabfrage präzisiere Suchergebnisse erbringen kann. Weil eine Rundumansicht Ansichten von vielen Seiten eines Objekts bietet, können distinktive Ansichten, die zur Suche geeignet sind, aus der Rundumansicht ausgewählt oder von einem Anwender angefordert werden, falls keine distinktive Ansicht zur Verfügung steht. Beispielsweise wenn die aufgenommenen oder anderweitig verfügbaren Daten nicht ausreichen, um die Erkennung oder Erzeugung des Objekts oder der Szene von Interesse mit ausreichend hoher Gewissheit zu ermöglichen, kann ein Aufnahmesystem einen Anwender anleiten, das Aufnahmegerät weiter zu bewegen oder zusätzliche Bilddaten zur Verfügung zu stellen. In bestimmten Ausführungsformen kann, wenn festgestellt wird, dass eine Rundumansicht zusätzliche Ansichten braucht, um ein präziseres Modell zu erstellen, ein Anwender aufgefordert werden, zusätzliche Bilder zur Verfügung zu stellen.
Unter Bezugnahme auf 12 wird ein Beispiel eines Prozesses zur Aufforderung eines Anwenders nach weiteren Bildern 1200, um eine präzisere Rundumansicht zu erstellen, gezeigt. In diesem Beispiel werden Bilder von einem Aufnahmegerät oder Speicher bei 1202 empfangen. Als nächstes wird festgestellt, ob die verfügbaren Bilder ausreichen, um die Erkennung eines Objekts von Interesse bei 1204 zu ermöglichen. Wenn die Bilder nicht ausreichen, um die Erkennung eines Objekts von Interesse bei 1204 zu ermöglichen, wird der Anwender aufgefordert, ein oder mehrere zusätzliche Bilder aus verschiedenen Blickwinkeln zur Verfügung zu stellen bei 1206. In einigen Beispielen kann die Aufforderung an den Anwender, zusätzliche Bilder aus verschiedenen Blickwinkeln zur Verfügung zu stellen, auch einen Vorschlag für einen oder mehrere bestimmte Blickwinkel umfassen. Falls der Anwender aktiv Bilder aufnimmt, kann der Anwender in einigen Fällen aufgefordert werden, wenn ein bestimmter Blickwinkel erkannt wird. Nach verschiedenen Ausführungsformen können Vorschläge, einen oder mehrere bestimmte Blickwinkel zur Verfügung zu stellen, basierend auf den mit den bereits empfangenen Bildern assoziierten Standorten gemacht werden. Außerdem kann die Aufforderung an einen Anwender, ein oder mehrere zusätzliche Bilder aus verschiedenen Blickwinkeln zur Verfügung zu stellen, auch den Vorschlag umfassen, einen bestimmten Aufnahmemodus zu verwenden, wie beispielsweise lokal konkave Rundumansicht, lokale konvexe Rundumansicht, oder eine lokale flache Rundumansicht je nach Applikation.
Als nächstes empfängt das System dieses bzw. diese zusätzlichen Bild(er) vom Anwender bei 1208. Nachdem die zusätzlichen Bilder empfangen wurden wird erneut festgestellt, ob die Bilder zur Erkennung eines Objekts von Interesse ausreichen. Dieser Prozess wird fortgesetzt, bis eine Feststellung getroffen wurde, dass die Bilder ausreichen, um die Erkennung eines Objekts von Interesse zu ermöglichen. In einigen Ausführungsformen kann der Prozess an dieser Stelle enden und eine Rundumansicht erzeugt werden.
Optional kann, nachdem eine Feststellung getroffen wurde, dass die Bilder ausreichen, um die Erkennung eines Objekts von Interesse zu ermöglichen, eine Feststellung getroffen werden, ob die Bilder ausreichen, um das Objekt von Interesse von ähnlichen, aber nicht gleichen Gegenständen bei 1210 zu unterscheiden. Diese Feststellung kann hilfreich sein, insbesondere wenn visuelle Suche genutzt wird, Beispiele welcher weiter unten unter Bezugnahme auf 19–22 im Detail beschrieben werden. Insbesondere kann ein Objekt von Interesse Unterscheidungsmerkmale haben, die von bestimmten Blickwinkeln aus zu sehen sind, welche zusätzliche Ansichten erfordern. Ein Porträt einer Person kann beispielsweise die Frisur der Person nicht ausreichend zeigen, wenn nur Bilder aus Frontblickwinkeln aufgenommen werden. Zusätzliche Bilder von der Rückseite der Person können notwendig sein, um festzustellen, ob die Person kurze Haare trägt oder die Haare nur nach hinten frisiert hat. In einem weiteren Beispiel kann ein Bild einer Person, die ein Hemd trägt, zusätzliche Aufforderungen nötig machen falls es auf einer Seite einfarbig ist, aber zusätzliche Aufnahmen Muster oder andere Insignien beispielsweise auf den Ärmeln oder am Rückenteil usw. zeigen würden.
In einigen Beispielen umfasst die Feststellung, dass die Bilder nicht ausreichen, um das Objekt von Interesse von ähnlichen, aber nicht gleichen Gegenständen zu unterscheiden, die Feststellung, dass die Anzahl passender Suchergebnisse einen vorbestimmten Grenzwert übersteigen. Insbesondere wenn eine sehr große Anzahl von Suchergebnissen gefunden wurde kann festgestellt werden, dass zusätzliche Aufnahmen nötig werden, um die Suchkriterien einzugrenzen. Falls beispielsweise die Suche nach einem Henkelbecher eine große Anzahl passender Ergebnisse bringt, beispielsweise mehr als 20, können zusätzliche Ansichten des Henkelbechers nötig sein, um die Suchergebnisse zu filtern.
Falls die Bilder nicht ausreichen, um das Objekt von Interesse von ähnlichen, aber nicht gleichen Gegenständen zu unterscheiden bei 1210, wird der Anwender aufgefordert, ein oder mehrere zusätzliche Bilder aus verschiedenen Blickwinkeln zur Verfügung zu stellen bei 1212. In einigen Fällen kann die Aufforderung an einen Anwender, ein oder mehrere zusätzliche Bilder aus verschiedenen Blickwinkeln zur Verfügung zu stellen Vorschläge für einen oder mehrere bestimmte Blickwinkel umfassen. Falls der Anwender aktiv Bilder aufnimmt, kann der Anwender in einigen Fällen aufgefordert wenden, wenn ein bestimmter Blickwinkel entdeckt wird. Nach verschiedenen Ausführungsformen können Vorschläge für einen oder mehrere bestimmte Blickwinkel basierend auf den mit den bereits empfangenen Bildern assoziierten Standorten gemacht werden. Außerdem kann die Aufforderung an einen Anwender, ein oder mehrere zusätzliche Bilder aus verschiedenen Blickwinkeln zur Verfügung zu stellen, auch den Vorschlag umfassen, einen bestimmten Aufnahmemodus zu verwenden, wie beispielsweise lokal konkave Rundumansicht, lokale konvexe Rundumansicht, oder eine lokale flache Rundumansicht je nach Applikation.
Als nächstes erhält das System dieses bzw. diese zusätzlichen Bild(er) vom Anwender bei 1214. Nachdem die zusätzlichen Bilder empfangen wurden wird erneut festgestellt, ob die Bilder zur Erkennung eines Objekts von Interesse ausreichen. Diese r Prozess wird fortgesetzt, bis eine Feststellung getroffen wurde, dass die Bilder ausreichen, um die Erkennung eines Objekts von Interesse zu ermöglichen. Als nächstes endet der Prozess an dieser Stelle und eine Rundumansicht kann aus den Bildern erzeugt werden.
Unter Bezugnahme auf 13A–13B werden Beispiele gezeigt von Aufforderungen an einen Anwender, zusätzliche Bilder zur Verfügung zu stellen, um eine präzisere Rundumansicht zu erzeugen. Insbesondere wird ein Gerät 1300 gezeigt mit einem Suchbildschirm. In 13A wird ein Beispiel einer visuellen Suchabfrage 1302 gezeigt. Diese visuelle Suchabfrage 1302 umfasst ein Bild eines weißen Henkelbechers. Die Ergebnisse 1306 umfassen verschiedene Henkelbecher mit einem weißen Hintergrund. In bestimmten Ausführungsformen kann, wenn eine große Anzahl von Suchergebnissen gefunden wurde, eine Aufforderung 1304 erfolgen, um zusätzliche Bilddaten vom Anwender für die Suchabfrage anzufordern.
In 13B wird ein Beispiel einer weiteren visuellen Suche 1310 zur Verfügung gestellt in Antwort auf die Aufforderung 1304 in 13A. Diese visuelle Suchabfrage 1310 bietet einen unterschiedlichen Blickpunkt des Objekts sowie spezifischere Informationen über die Grafiken auf dem Henkelbecher. Diese visuelle Suchabfrage 1302 erbringt neue Ergebnisse 11312, welche zielgerichteter und präziser sind. In einigen Beispielen kann eine zusätzliche Aufforderung 1308 erfolgen, um den Anwender über den Abschluss der Suche zu benachrichtigen.
Nachdem eine Rundumansicht erzeugt wurde kann sie in bestimmten Ausführungsformen in verschiedenen Applikationen angewendet werden. Eine Applikation für eine Rundumansicht umfasst es, dem Anwender die Navigation einer Rundumansicht oder andersartige Interaktion damit zu ermöglichen. Nach verschiedenen Ausführungsformen wird eine Rundumansicht entworfen um das Gefühl zu simulieren, körperlich in einer Szene anwesend zu sein, während der Anwender mit der Rundumansicht interagiert. Diese Erfahrung hängt nicht nur vom Blickwinkel der Kamera, sondern auch vom Typ der betrachteten Rundumansicht ab. Obwohl eine Rundumansicht keine spezifische, fixierte Gesamtgeometrie haben muss, können in bestimmten Ausführungsformen verschiedene Typen von Geometrien in einem lokalen Segment einer Rundumansicht repräsentiert sein, so wie beispielsweise eine konkave, konvexe und flache Rundumansicht.
In bestimmten beispielhaften Ausführungsformen wird der Navigationsmodus durch den in einer Rundumansicht repräsentierten Geometrietyp informiert. In konkaven Rundumansichten beispielsweise kann der Akt des Rotierens eines Geräts (wie Beispielsweise eines Smartphones usw.) den des Rotierens eines stationären Beobachters, der auf eine umgebende Szene hinausblickt, nachahmen. In einigen Applikationen kann das Wischen über den Bildschirm in einer Richtung die Rotation der Ansicht in die entgegengesetzte Richtung veranlassen. Dieser Effekt ist ähnlich als wenn ein Anwender in einem Hohlzylinder stünde und dessen Wände verschöbe, so dass sie um den Anwender herum rotieren. In anderen Beispielen mit konvexen Rundumansichten kann das Rotieren des Geräts die Ansicht in der Richtung, in die es geneigt wird veranlassen, so dass das Objekt von Interesse zentriert bleibt. In einigen Applikationen veranlasst das Wischen über den Bildschirm in einer Richtung die Rotation des Blickwinkels in der gleichen Richtung: dies erzeugt den Eindruck der Rotation des Objekts von Interesse um dessen Achse, oder der Rotation des Anwenders um das Objekt herum. In einigen Beispielen mit flachen Ansichten kann Rotieren oder Bewegen eines Gerätes die Translation [Überführung] der Ansicht in die Richtung der Bewegung des Gerätes veranlassen. Außerdem kann das Wischen über den Bildschirm in einer Richtung Translation der Ansicht in die entgegengesetzte Richtung veranlassen, so als ob die Vordergrundobjekte zur Seite geschoben würden.
In einigen Beispielen kann ein Anwender in der Lage sein, eine Multipanoramaansicht oder einen Graphen von Rundumansichten zu navigieren, worin einzelne Rundumansicht einzeln geladen werden können, und weitere Rundumansichten nach Bedarf geladen werden können (z. B. wenn sie der aktuellen Rundumansicht benachbart sind oder sie überlappen, und/oder der Anwender zu ihnen hin navigiert). Falls der Anwender einen Punkt in einer Rundumansicht erreicht, wo zwei oder mehr Rundumansichten überlappen, kann der Anwender auswählen, welcher dieser überlappenden Rundumansichten zu folgen ist. In einigen Beispielen kann die Auswahl, welcher dieser überlappenden Rundumansichten zu folgen ist, auf der Richtung, in welcher der Anwender über das Gerät wischt oder es bewegt basieren.
Unter Bezugnahme auf 14 wird ein Beispiel eines Prozesses zur Navigation einer Rundumansicht 1400 gezeigt. In diesem Beispiel wird eine Anforderung eines Anwenders empfangen, ein Objekt von Interesse in einer Rundumansicht zu betrachten bei 1402. Nach verschiedenen Ausführungsformen kann die Anforderung auch eine generische Anforderung zur Betrachtung einer Rundumansicht ohne ein bestimmtes Objekt von Interesse sein, beispielsweise beim Betrachten einer Landschaft oder Panoramaansicht. Als nächstes wird ein dreidimensionales Modell des Objekts bei 1404 aufgerufen. Dieses dreidimensionale Modell kann eine gespeicherte Rundumansicht insgesamt oder teilweise umfassen. Beispielsweise kann das dreidimensionale Modell in einigen Applikationen eine segmentierte Kontentansicht sein. Ein erstes Bild wird dann von einem ersten Blickpunkt an ein Ausgabegerät gesendet bei 1406. Dieser erste Blickpunkt dient als Ausgangspunkt für die Betrachtung der Rundumansicht auf dem Ausgabegerät.
In dieser Ausführungsform wird dann eine Anwenderaktion empfangen zum Betrachten des Objekts von Interesse von einem zweiten Blickpunkt aus. Diese Anwenderaktion kann Bewegung (z. B. Kippen, überführen, rotieren usw.) eines Eingabegerätes, über den Bildschirm wischen usw. umfassen, je nach Applikation. Beispielsweise kann die Anwenderaktion einer mit einer lokal konkaven Rundumansicht, einer lokal konvexen Rundumansicht oder einer lokal flachen Rundumansicht usw. Nach verschiedenen Ausführungsformen kann eine Objektansicht um eine Achse herum rotiert werden, indem ein Gerät um die gleiche Achse rotiert wird. Beispielsweise kann die Objektansicht entlang einer vertikalen Achse rotiert werden, indem das Gerät um die vertikale Achse rotiert wird. Basierend auf den Merkmalen der Anwenderaktion wird das dreidimensionale Modell bei 1410 verarbeitet. Beispielsweise kann Bewegung des Eingabegeräts entdeckt werden, und ein entsprechender Blickpunkt des Objekts von Interesse gefunden werden. Je nach Applikation können sowohl das Eingabegerät als auch das Ausgabegerät in einem Mobilgerät enthalten sein usw. In einigen Beispielen entspricht das angeforderte Bild einem Bild, das vor der Erzeugung der Rundumansicht aufgenommen wurde. In anderen Beispielen wird das angeforderte Bild basierend auf dem dreidimensionalen Modell (.z. B. durch Interpolation usw.) aufgenommen. Ein Bild von diesem Blickpunkt kann zum Ausgabegerät bei 1412 gesendet werden. In einigen Ausführungsformen kann das ausgewählte Bild dem Ausgabegerät zusammen mit einem Grad der Gewissheit hinsichtlich der Präzision des ausgewählten Bilds zur Verfügung gestellt werden. Beispielsweise wenn Interpolationsalgorithmen verwendet werden zur Erzeugung eines Bildes von einem bestimmten Blickpunk kann der Grad der Gewissheit variieren, und kann dem Anwender in einigen Applikationen zur Verfügung gestellt werden In anderen Beispielen kann eine Meldung an das Ausgabegerät zur Verfügung gestellt werden, die anzeigt, dass die Information in der Rundumansicht nicht ausreicht, um die angeforderten Bilder zur Verfügung zu stellen.
In einigen Ausführungsformen können intermediäre Bilder gesendet werden zwischen dem ersten Bild bei 1406 und dem angeforderten Bild bei 1412. Insbesondere können diese intermediären Bilder Blickpunkten entsprechen, die zwischen einem mit dem ersten Bild assoziierten ersten Blickpunkt und einem mit dem angeforderten Bild assoziierten zweiten Blickpunkt lokalisiert sind. Ferner können diese intermediären Bilder ausgewählt werden basierend auf den Merkmalen der Anwenderaktion. Beispielsweise können die intermediären Bilder dem Pfad der Bewegung des mit der Anwenderaktion assoziierten Eingabegeräts folgend, so dass die intermediären Bilder eine visuelle Navigation des Objekts von Interesse bieten.
Unter Bezugnahme auf 15 wird ein Beispiel einer wischbasierten Navigation einer Rundumansicht gezeigt. In diesem Beispiel werden drei Ansichten des Geräts 1500 gezeigt, während ein Anwender eine Rundumansicht navigiert. Insbesondere ist die Eingabe 1510 ein Wischen des Anwenders über den Bildschirm des Geräts 1500. Wenn der Anwender von rechts nach links wischt, bewegt sich das Objekt von Interesse relativ zur Richtung des Wischens 1508. Spezifisch ermöglicht, wie in der Progression der Bilder 1506, 1504 und 1502 gezeigt, ermöglicht die Eingabe 1510 dem Anwender die Rotation um das Objekt von Interesse (d. h. der Mann mit der Sonnenbrille) herum.
In diesem Beispiel kann das Wischen über den Bildschirm eines Geräts der Rotation einer virtuellen Ansicht entsprechen. Jedoch können in anderen beispielhaften Ausführungsformen andere Eingabemodi verwendet werden. Beispielsweise kann eine Rundumansicht auch navigiert werden, in dem ein Gerät in verschiedene Richtungen geneigt und die Orientierungsausrichtung des Geräts zur Führung der Navigation in der Rundumansicht verwendet wird. In einem anderen Beispiel kann die Navigation auch auf der Bewegung des Bildschirms durch den Anwender basieren. Dementsprechend kann eine ausholende Bewegung dem Anwender ermöglichen, um die Rundumansicht herum zu sehen, so als ob der Betrachter das Gerät auf das Objekt von Interesse richten würde. In einem weiteren Beispiel kann eine Website verwendet werden, um Interaktion mit der Rundumansicht in einem Webbrowser. In diesem Beispiel stehen möglicherweise Wisch- und/oder Bewegungssensoren nicht zur Verfügung und können durch Interaktion mit einer Maus oder einem anderen Cursor oder Eingabegerät ersetzt werden.
Nach verschiedenen Ausführungsformen können Rundumansichten auch Tagging umfassen, das während der Navigation betrachtet werden kann. Tagging kann der Identifikation von Objekten, Personen, Produkten oder anderen Gegenständen in einer Rundumansicht dienen. Insbesondere ist das Tagging in einer Rundumansicht ein sehr leistungsfähiges Instrument zur Darstellung von Produkten gegenüber Anwendern/Kunden und zur Promotion dieser Elemente oder Gegenstände. In einem Beispiel kann ein Tag 1512 dem getaggten Gegenstand folgen, so dass der Gegenstand aus verschiedenen Blickwinkeln betrachtet werden kann, wobei die Tagstandorte gültig bleiben. Die Tags 1512 können verschiedene Typen von Daten speichern, beispielsweise einen Namen (z. B. Anwendername, Produktname usw.), eine Beschreibung, einen Link zu einer Website/einem Webshop, Preisinformationen, eine direkte Option zum Kauf eines getaggten Objekts, eine Liste ähnlicher Objekte usw. In einigen Beispielen können die Tags sichtbar werden, wenn ein Anwender einen Gegenstand in einer Rundumansicht auswählt. In anderen Beispielen können die Tags automatisch angezeigt werden. Außerdem können in einigen Applikationen zusätzliche Informationen aufgerufen werden durch Auswahl eines Tags 1512. Wenn beispielsweise ein Anwender einen Tag auswählt, können zusätzliche Informationen wie z. B. eine Beschreibung, ein Link usw. auf dem Bildschirm angezeigt werden.
In einigen Ausführungsformen kann ein Anwender ein Tag 1512 erstellen durch Auswahl eines Punktes oder einer Region in einem Blickpunkt einer Rundumansicht. Dieser Punkt bzw. diese Region wird dann automatisch in andere Blickpunkte propagiert. Alternativ können Taglokationen automatisch dem Anwender vorgeschlagen werden durch eine Applikation basierend auf verschiedenen Informationen, wie beispielsweise Gesichtserkennung, Objekterkennung, Objekte im Fokus, Objekte die als Vordergrund identifiziert wurden usw. In einigen Beispielen kann die Objekterkennung basierend auf einer Datenbank bekannter Objekte oder Objekttypen/-klassen durchgeführt werden.
In diesem Beispiel identifiziert Tag 1512 ein Shirt in einer Rundumansicht. Natürlich kann jeder beliebige Text oder Titel umfasst werden, wie z. B. ein Name, eine Marke usw. Dieser Tag 1512 kann auf eine bestimmte Lokation in der Rundumansicht gemappt werden, so dass der Tag mit der gleichen Lokation bzw. dem gleichen Punkt einer jeden ausgewählten Ansicht assoziiert ist. Wie vorstehend beschrieben, kann Tag 1512 zusätzliche Informationen umfassen, die in einigen Ausführungsformen durch Antippen aufgerufen werden können oder durch eine andere Art der Auswahl des Tags. Obwohl Tagging in 15 gezeigt wird ist zu beachten, dass in manchen Beispielen Rundumansichten kein Tagging enthalten sein kann.
Nach verschiedenen Ausführungsformen können Rundumansichten gespeichert und auf verschiedene Weisen aufgerufen werden. Außerdem können in manchen Applikationen Rundumansichten verwendet werden. Unter Bezugnahme auf 16A werden Beispiele eines geteilten Dienstes für Rundumansichten auf einem Mobilgerät 1602 und Browser 1604 gezeigt. Mobilgerät 1602 und Browser 1604 werden gezeigt als alternierende Miniaturansichten 1600, weil die Rundumansichten je nach Applikation über jeder der Schnittstellen aufgerufen werden können. Nach verschiedenen Ausführungsformen kann eine Serie von Rundumansichten einem Anwender auf verschiedenen Weisen gezeigt werden, einschließlich, ohne darauf beschränkt zu sein: eine Galerie, ein Feed und/oder eine Website. Beispielsweise kann eine Galerie genutzt werden, um einem Anwender eine Sammlung von Miniaturansichten zu zeigen. Diese Miniaturansichten können entweder vom Anwender oder automatisch aus den Rundumansichten ausgewählt werden. In einigen Beispielen kann die Größe der Miniaturansichten variieren basierend auf Merkmalen wie Beispielsweise, ohne darauf beschränkt zu sein: eine automatisch ausgewählte Größe, die auf der Struktur und Größe des darin enthaltenen Kontents basiert, und/oder der Popularität der Rundumansicht. In einem anderen Beispiel kann ein Feed genutzt wenden, um Rundumansichten mittels interaktiven Miniaturansichten zu zeigen.
In diesem Beispiel umfassen Miniaturansichten einer Rundumansicht von einem Mobilgerät 1602 Miniaturansichten 1604 und Titel/Label/Beschreibung 1604. Die Miniaturansichten 1604 können ein Bild aus der Rundumansicht umfassen. Titel/Label/Beschreibung 1604 können Informationen über die Rundumansicht wie Titel, Dateiname, Beschreibung des Kontents, Labels, Tags usw. umfassen.
Ferner umfassen in diesem Beispiel Miniaturansichten einer Rundumansicht von einem Browser 1604 Miniaturansichten 1606, Titel/Label/Beschreibung 1608 und Benachrichtigungen 1610. Die Miniaturansichten 1606 können ein Bild aus der Rundumansicht umfassen. Titel/Label/Beschreibung 1608 können Informationen über die Rundumansicht wie Titel, Dateiname, Beschreibung des Kontents, Labels, Tags usw. umfassen. Außerdem können Benachrichtigungen 1610 Informationen umfassen wie beispielsweise Kommentare über eine Rundumansicht, Updates über passenden Kontent, vorgeschlagenen Kontent usw. Obwohl in der Mobilversion nicht gezeigt, können Benachrichtigungen umfasst werden, Benachrichtigungen können in einigen Ausführungsformen aber auch im Interesse von Layout und räumlichen Erfordernissen entfallen. In anderen Beispielen können Benachrichtigungen als Teil einer Rundumansichtapplikation auf einem Mobilgerät zur Verfügung gestellt werden.
Unter Bezugnahme auf 16B werden Beispiele von auf Rundumansichten bezogenen Benachrichtigungen auf einem Mobilgerät gezeigt. Insbesondere werden alternative Benachrichtigungsbildschirme 1620 für ein Gerät 1622 gezeigt, welche verschieden Formate für Benachrichtigungen umfassen. In einigen Beispielen kann ein Anwender zwischen diesen Bildschirmen navigieren je nach Präferenzen des Anwenders.
In diesem Beispiel umfasst Bildschirm 1624 eine Benachrichtigung 1626, welche eine Empfehlung an den Anwender umfasst, basierend auf Kontent kürzlicher Rundumansichten. Insbesondere bezieht sich die Empfehlung auf eine Reise nach Griechenland basierend auf der Erkenntnis der Applikation, dass der Anwender eine Affinität zu Statuten hat. Diese Erkenntnis kann in einigen Beispielen von Kontent abgeleitet sein, der in den vom Anwender gespeicherten oder kürzlich angesehenen Rundumansichten gefunden wurde.
In diesem Beispiel umfasst Bildschirm 1628 Benachrichtigungen 1630 basierend auf Kontent aus vom Anwender gespeicherten oder durchblätterten usw. Rundumansichten. Eine Benachrichtigung ist beispielsweise eine Empfehlung für ein Paar Schuhe, die bei einem Händler in der Nähe verfügbar sind, welche den n Schuhen des Anwenders, die in einem Rundumansichtsmodell verfügbar sind. Diese Empfehlung umfasst auch einen Link zu einer Straßenkarte zum Händler. Diese Empfehlung kann auf einer Rundumansicht eines Paars Schuhe basieren, die der Anwender gespeichert hat. Die andere Benachrichtigung ist beispielsweise eine Empfehlung, sich mit einem anderen Anwender zu verbinden, der ein gemeinsames Interesse/Hobby teilt. In diesem Beispiel basiert die Empfehlung auf dem erkannten Interesse des Anwenders an Hüten. Diese Empfehlungen können in einigen Anwendungen automatisch als „Push”-Benachrichtigungen zur Verfügung gestellt werden. Der Kontent der Empfehlungen kann auf den Rundumansichten oder dem Browserverlauf des Anwenders basieren, in einigen Beispielen können auch Algorithmen für visuelle Suchen wie unter Bezugnahme auf 19–22 beschrieben verwendet werden.
Bildschirm 1630 zeigt eine weitere Form einer Benachrichtigung 1632 in diesem Beispiel. Verschiedene Icons für verschiedene Applikationen sind auf Bildschirm 1630 ersichtlich. Das Icon für die Rundumansichtsapplikation umfasst eine Benachrichtigung 1632, eingebettet in das Icon, welche Zeigt, wieviel Benachrichtigungen auf den Anwender warten. Wählt der Anwender das Icon aus, können die Benachrichtigungen und/oder die Applikation in verschiedenen Ausführungsformen gestartet werden.
Nach verschiedenen Ausführungsformen dieser Offenlegung können Rundumansichten verwendet werden um Objekte von statischen oder dynamischen Szenen zu segmentieren oder separieren. Weil Rundumansichten distinktive 3D-Modellierungsmerkmale umfassen sowie aus Bilddaten gewonnen Informationen bieten Rundumansichten eine einzigartige Möglichkeit zur Segmentierung. In einigen Beispielen kann das Objekt durch Behandlung eines Objekts von Interesse als Kontent der Rundumansicht und Ausdruck der verbleibenden Szene als Kontext heraus segmentiert und als separate Einheit behandelt werden. Außerdem kann der Kontext der Rundumansicht in einigen Beispielen genutzt werden, um den Segmentierungsprozess zu verfeinern. In verschiedenen Ausführungsformen kann der Kontent entweder automatisch oder halbautomatisch ausgewählt werden unter Nutzung anwendergeführter Interaktion. Ein wichtiger Nutzen der Rundumansichtsobjektsegmentierung ist im Kontext von Produktschaufenstern im e-commerce, ein Beispiel davon wird in 17B gezeigt. Außerdem kann ansichtsbasierte Objektsegmentierung genutzt werden, um Objektmodelle zu erstellen, die zum Training von Suchalgorithmen für künstliche Intelligenz geeignet sind, welche mit großen Datenbanken operieren können im Kontext von Applikationen für visuelle Suche.
Unter Bezugnahme auf 17 wird ein Beispiel eines Prozesses zur Durchführung der Objektsegmentierung 1700 gezeigt. Bei 1720 wird eine erste Rundumansicht eines Objekts erhalten. Als Nächstes wird Kontent aus der ersten Rundumansicht ausgewählt bei 1704. In einigen Beispielen wird der Kontent automatisch ohne Anwendereingaben ausgewählt. In anderen Beispielen wird der Kontent halbautomatisch unter Nutzung von anwendergeführter Interaktion ausgewählt. Dann wird der Kontent von der ersten Rundumansicht ausgewählt bei 1706. In einigen Beispielen wird der Kontent segmentiert durch Rekonstruktion eines Modells des Kontents in drei Dimensionen basieren auf der in der ersten Rundumansicht verfügbaren Information, einschließlich Bildern von multiplen Kamerablickpunkten. In bestimmten beispielhaften Ausführungsformen kann ein Mechanismus zur Auswahl und Initialisierung eines Segmentierungsalgorithmus, basierend auf iterativen Optimierungsalgorithmen (sie beispielsweise graphische Modelle) effizient eingesetzt werden durch Rekonstruktion des Objekts von Interesse oder Teilen desselben in drei Dimensionen aus multiplen Kamerablickpunkten, die in einer Rundumansicht verfügbar sind. Dieser Prozess kann über multiple Frames wiederholt und optimiert werden, bis die Segmentierung eine gewünschte Qualitätsausgabe erreicht hat. Außerdem kann die Segmentierung des Kontents auch die Nutzung des Kontexts zur Feststellung von Parametern des Kontents genutzt werden.
In diesem Beispiel wird, nachdem der Kontent von der ersten Rundumansicht segmentiert wurde, eine zweite Rundumansicht erzeugt, welche das Objekt umfasst ohne den Kontent oder die das Objekt umgebende Kulisse. Bei 1708 wird diese zweite Rundumansicht zur Verfügung gestellt. In einigen Beispielen kann die zweite Rundumansicht dann in einer Datenbank gespeichert werden. Diese zweite Rundumansicht kann in verschiedenen Applikationen genutzt werden. Beispielsweise umfasst der segmentierte Kontent ein Produkt zur Nutzung im e-commerce. Wie in 17B abgebildet kann der segmentierte Kontent genutzt werden, um ein Produkt aus verschiedenen Blickpunkten zu zeigen. Eine andere Applikation umfasst die Nutzung der zweiten Rundumansicht als ein Objektmodell zur Schulung künstlicher Intelligenz. In einer weiteren Applikation kann die zweite Rundumansicht für 3D-Drucken genutzt werden. In dieser Applikation werden Daten von der zweiten Rundumansicht an einen 3D-Drucker gesendet.
Obwohl diese Beispiele das Heraussegmentieren von Kontent aus einer ersten Rundumansicht beschrieben ist zu beachten, dass in anderen Beispielen auch Kontext heraussegmentiert werden kann. Beispielsweise kann in einigen Ausführungsformen die Hintergrundkulisse heraussegmentiert und als zweite Rundumansicht präsentiert werden. Insbesondere kann der Kontext aus der ersten Rundumansicht ausgewählt werden, und der Kontext kann aus der ersten Rundumansicht heraussegmentiert werden, so dass der Kontext separiert ist in ein distinktives, interaktives Modell. Die resultierende Rundumansicht würde dann die ein Objekt umgebende Kulisse umfassen, aber das Objekt selbst ausschließen. Ein segmentiertes Kontextmodell kann auch in verschiedene Applikationen genutzt werden. Beispielsweise können Daten von der resultierenden Rundumansicht an einen 3D-Drucker gesendet werden. In einigen Beispielen könnte dies als Panoramahintergrund auf eine flache oder gekrümmte Oberfläche gedruckt werden. Falls auch ein Kontextmodell gedruckt wird, kann das Objekt von Interesse vor den Panoramahintergrund platziert werden, um eine dreidimensionale „Fotografie” oder ein Modell der Rundumansicht zu erzeugen. In einer anderen Applikation kann der heraussegmentierte Kontext als Hintergrund für ein anderes Objekt von Interesse genutzt werden. Alternativ kann ein heraussegmentierter Kontext in einen neuen, heraussegmentierten Kontext platziert werden. In diesen Beispielen ermöglicht die Zurverfügungstellung von alternativem Kontent oder Kontext, Objekte von Interesse vor neue Hintergründe zu stellen usw. Beispielsweise kann eine Rundumansicht einer Person in verschiedene Hintergrundkontexte gestellt werden, und die Person in einer Rundumansicht auf einem Strand stehend und in einer anderen Rundumansicht im Schnee stehend zeigen.
Unter Bezugnahme auf 17b wird ein Beispiel eines segmentierten Objektes aus verschiedenen Winkeln betrachtet gezeigt. Insbesondere wird eine rotationale Ansicht 1720 eines Sportschuhs gezeigt. Objektansichten 1722, 1724. 1726, 1728 und 1730 zeigen den Sportschuh aus verschiedenen Winkeln oder Blickpunkten. Wie zu sehen ist, wird das Objekt selbst ohne jeglichen Hintergrund oder Kontext gezeigt. Nach verschiedenen Ausführungsformen können diese verschiedenen Ansichten des segmentierten Objekts automatisch aus Rundumansichtkontent erhalten werden. Eine Applikation dieses Typs von rotationalen Ansichten ist im e-commerce, wobei Produktansichten aus verschiedenen Blickwinkeln gezeigt werden. Eine weitere Applikation könnte nach verschiedenen Ausführungsformen in visueller Suche sein.
Nach verschiedenen Ausführungsformen können Rundumansichten aus Daten erzeugt werden, die von verschiedenen Quellen erhalten wurden, und können in zahlreichen Applikationen eingesetzt werden. Unter Bezugnahme auf 18 wird ein Blockdiagramm gezeigt, das ein Beispiel verschiedener Quellen zeigt, die zur Erzeugung von Rundumansichten genutzt werden können, sowie verschiedene Applikationen, die mit einer Rundumansicht genutzt werden können. In diesem Beispiel umfassen die Erzeugung einer Rundumansichten und Applikationen 1800 Quellen für Bilddaten 1808 wie beispielsweise Internetgalerie 1802, Datenlager 1804, und Anwender 1806. Insbesondere können Datenlager Datenbanken, Festplatte, Speichermedien usw. umfassen. Außerdem können Anwender 1806 Bilder und Informationen umfassen, die direkt von Anwendern erhalten wurde, beispielsweise während der Bilderfassung auf einem Smartphone usw. Obwohl diese bestimmten Beispiele von Datenquellen angegeben werden, können Daten auch von anderen Quellen erhalten werden. Diese Information kann in verschiedenen Ausführungsformen als Bilddaten 1808 gesammelt werden um eine Rundumansicht 1810 zu erzeugen.
In diesem Beispiel kann eine Rundumansicht 1810 in verschiedenen Applikationen genutzt werden. Wie gezeigt kann eine Rundumansichten in Applikationen wie e-commerce 1812, visuelle Suche 1814, 3D-Druck 1816, Filesharing 1818, Anwenderinteraktion 1820 und Entertainment 1822 genutzt werden. Natürlich dient diese Liste nur der Illustration, und Rundumansichten können natürlich auch in anderen, nicht explizit aufgeführten, Applikationen genutzt werden.
Wie vorstehend im Hinblick auf Segmentierung beschrieben, können Rundumansichten in e-commerce 1812 genutzt werden. Beispielsweise können Rundumansichten genutzt werden, um Einkäufern zu ermöglichen, ein Produkt aus verschiedenen Blickwinkeln zu betrachten. In einigen Applikationen können Einkäufer Rundumansichten sogar nutzten, um Größe, Abmessungen und Passform festzustellen Insbesondere kann ein Einkäufer ein Selbstmodell zur Verfügung stellen und von Rundumansichten feststellen, ob das Produkt dem Modell passen würde. Rundumansichten können auch in visueller Suche 1814 genutzt werden wie weiter unten unter Bezugnahme auf 19–22 im Detail beschrieben. Einige der visuellen Suchapplikationen können sich auch auf e-commerce beziehen, beispielsweise wenn ein Anwender versucht, ein bestimmtes Produkt zu finden, das auf eine visuelle Suchanfrage passt.
Eine andere Applikation von Segmentierung umfasst dreidimensionales Drucken (3D-Druck) 1816. Dreidimensionales Drucken wurde kürzlich als eine der zukünftigen disruptiven Technologien identifiziert, welche die Weltwirtschaft im nächsten Jahrzehnt verbessern werden. Nach verschiedenen Ausführungsformen kann Kontent aus einer Rundumansicht 3D-gedruckt werden. Außerdem kann der Panoramahintergrundkontext einer Rundumansicht ebenfalls gedruckt werden. In einigen Beispielen kann ein gedruckter Hintergrundkontext das finale 3D-Druckproudkt ergänzen für Anwender, die Erinnerungen im 3D-Druckformat konservieren möchten. Beispielsweise könnte der Kontext entweder als flache Ebene hinter dem 3D-Kontnet liegend gedruckt werden oder als jede andere geometrische Form (sphärisch, zylindrisch, U-förmig usw.).
Wie vorstehend unter Bezugnahme auf 16A beschrieben können Rundumansichten mit Miniaturansichten gespeichert werden für Anwenderzugriff. Diese Art der Applikation kann in einigen Beispielen für Filesharing 1818 zwischen Anwendern genutzt werden. Beispielsweise kann eine Site Infrastruktur für Anwender umfassen zum Teilen von Rundumansichten auf eine Art ähnlich wie bei aktuellen Photosharing Sites. Filesharing 1818 kann in einigen Applikationen auch direkt zwischen Anwendern implementiert werden.
Ebenfalls wie unter Bezugnahme auf 14 und 15 beschrieben ist Anwenderaktion eine weitere Applikation von Rundumansichten. Insbesondere kann ein Anwender zum eigenen Vergnügen oder zur Unterhaltung durch eine Rundumansicht navigieren In Erweiterung dieses Konzepts auf Entertainment 1822 können Rundumansichten in zahlreichen Weisen genutzt werden. Beispielsweise können Rundumansichten in Werbung, Videos usw. genutzt werden.
Wie vorstehend beschrieben ist visuelle Suche eine Applikation von Rundumansichten. 19, 20 und 22 bilden Beispiele ab von visueller Suche unter Nutzung von Rundumansichten. Nach verschiedenen Ausführungsformen kann die Nutzung von Rundumansichten wesentlich bessere diskriminative Leistung bei Suchergebnissen beringen als alle anderen bisherigen digitalen Medienrepräsentationen. Insbesondre ist die Fähigkeit zum Separieren von Kontent und Kontext in einer Rundumansicht ein wichtiger Aspekt, der in visueller Suche genutzt werden kann.
Existierende digitale Medienformate wie 2D-Bilder sind zum Indexieren ungeeignet, in dem Sinne, dass sie nativ nicht genug diskriminative Information haben. Als Ergebnis werden Milliarden Dollar für die Erforschung von Algorithmen und Mechanismen zur Extrahierung solcher Informationen aus ihnen investiert. Dies hat für einige Probleme zu zufriedenstellenden Ergebnissen geführt wie beispielsweise Gesichtserkennung. Im Allgemeinen ist das Problem der Bestimmung einer 3D-Form aus einem Einzelbild heraus jedoch in existierenden Technologien schlecht aufgestellt. Obwohl die Anzahl falsch positiver und falsch negativer Ergebnisse reduziert werden kann durch Einsatz von Sequenzen von Bildern oder 2D-Videos, sind die bisher verfügbaren 3D-Raumrekonstruktionsverfahren nach wie vor inadäquat.
Nach verschiedenen Ausführungsformen bieten zusätzliche Datenquellen wie lokationsbasierte Informationen, welche zur Erzeugung von Rundumansichten eingesetzt werden, wertvolle Informationen, welche die Fähigkeit zur visuellen Erkennung und Suche verbessern. In bestimmten beispielhaften Ausführungsformen tragen zwei Komponenten einer Rundumansicht, der Kontext und der Kontent, beide wesentlich zum visuellen Erkennungsprozess bei. In bestimmten beispielhaften Ausführungsformen kann die Verfügbarkeit dreidimensionaler Informationen, die der Kontent anbietet, die Anzahl von Hypothesen, die zur Erkennung eines Abfrageobjekts oder Teils einer Szene ausgewertet werden müssen, wesentlich reduzieren. Nach verschiedenen Ausführungsformen kann die dreidimensionale Information des Kontents bei der Kategorisierung (d. h. Bestimmen der allgemeinen Kategorie, zu der ein Objekt gehört) helfen und die zweidimensionale Texturinformation kann mehr über ein spezifisches Beispiel des Objekts aussagen. In vielen Fällen kann die Kontextinformation in einer Rundumansicht auch bei der Kategorisierung eines Abfrageobjekts helfen durch Erläuterung des Typs der Szene, in welcher der Abfrageobjekt lokalisiert ist.
zusätzlich zum Anbieten von Informationen, die zum Finden eines bestimmten Beispiels eines Objekts genutzt werden können, sind Rundumansichten auch nativ geeignete, um Fragen zu beantworten wie z. B.: „Welche anderen Objekte sind in Form und Erscheinung ähnlich?” Ähnlich wie bei den Top-N besten Suchergebnissen, die in Antwort auf eine Websuchanfrage erbracht werden, kann eine Rundumansicht in einigen Beispielen auch mit Objektkategorisierung und Erkennungsalgorithmen genutzt werden um die „besten Treffer” anzuzeigen.
Visuelle Suche unter Nutzung von Rundumansichten kann auf verschiedene Arten genutzt und/oder implementiert werden. In einem Beispiel kann visuelle Suche unter Nutzung von Rundumansichten zur Objekterkennung in der Robotik eingesetzt werden. In einem anderen Beispiel kann visuelle Suche unter Nutzung von Rundumansichten zur Pflege sozialer Medien genutzt werden. Insbesondere können durch Analyse der Daten von Rundumansichten, die in verschiedenen sozialen Meiden gepostet werden, und durch Erkennung von Objekten und Teilen von Szenen können bessere #Hashtag-Indexe automatisch erzeugt werden. Durch Erzeugung dieses Informationstyps können Feeds gepflegt und die Sucherfahrung verbessert werden.
Ein weiteres Beispiel, in dem visuelle Suche unter Nutzung von Rundumansichten in einem Shoppingkontext genutzt werden kann, kann als „Search & Shop” bezeichnet werden. Insbesondere kann diese visuelle Suche die Erkennung von Gegenständen ermöglichen, die in Form und Erscheinung ähnlich sind, aber in nahegelegenen Geschäften zu unterschiedlichen Preisen verkauft werden. Beispielsweise kann, unter Bezugnahme auf 21, eine visuelle Suchabfrage ähnliche, käuflich erhältliche Produkte erbringen.
Noch in weiteres Beispiel, in dem visuelle Suche unter Nutzung von Rundumansichten in einem Shoppingkontext genutzt werden kann, kann als „Search & Fit” bezeichnet werden. Nach verschiedenen Ausführungsformen können, weil Kontent von Rundumansichten dreidimensional ist, präzise Abmessungen extrahiert werden. Diese Information kann dann genutzt werden um festzustellen, ob ein bestimmtes, in einer Rundumansicht repräsentiertes Objekt, in einen bestimmten Kontext passen würde.
In einem weiteren Beispiel kann visuelle Suche unter Nutzung von Rundumansichten zur Leistung besserer Marktempfehlungsmaschinen genutzt werden. Beispielsweise durch Analyse des Typs von Objekten, die in von verschiedenen Anwendern erzeugten Rundumansichten vorkommen, können Fragen wie „Welche Art von Produkten nutzen Menschen wirklich im Alltag?” auf natürliche, private und nicht intrusive Art beantwortet werden. Die Sammlung dieses Informationstyps kann besserer Marktempfehlungsmaschinen erleichtern, unerwünschte Spam oder Anzeigen verringern und/oder stoppen und dadurch die Lebensqualität der meisten Anwender steigern. 16B zeigt eine Implementierung, in der Empfehlungen abgegeben werden können, nach verschiedenen Ausführungsformen dieser Erfindung.
Unter Bezugnahme auf 29 wird ein Beispiel eines Prozesses für die Durchführung visueller Suche nach einem Objekt 1900 gezeigt, wobei die Suchabfrage eine Rundumansicht des Objekts umfasst und die durchsuchten Daten dreidimensionale Modelle umfassen. Bei 1902 wird eine visuelle Suchabfrage empfangen, die eine erste Rundumansicht umfasst. Die erste Rundumansicht wird dann verglichen mit gespeicherten Rundumansichten bei 1904. In einigen Ausführungsformen kann dieser Vergleich die Extrahierung erster Maßinformationen für das Objekt aus der ersten Rundumansicht umfassen. Dann werden sie mit zweiten Maßinformationen verglichen, die aus einer oder mehreren gespeicherten Rundumansichten extrahiert wurden. I Beispielsweise kann dieser Typ von Maßinformationen zum Suchen nach Gegenständen wie Kleidung, Schuhen oder Accessoires genutzt werden.
Als nächstes wird eine Feststellung getroffen, ob welche der gespeicherten Rundumansichten der ersten Rundumansicht bei 1906 entsprechen. In einigen Beispielen basiert diese Feststellung darauf, ob das Subjekt einer der gespeicherten Rundumansichten in der Form dem Objekt der ersten Rundumansicht ähnelt. In anderen Beispielen basiert die Feststellung darauf, ob eines der Subjekte in den gespeicherten Rundumansichten in der Erscheinung dem Objekt der ersten Rundumansicht ähnelt. In weiteren Bespielen basiert diese Feststellung darauf, ob Subjekte in den gespeicherten Rundumansichten ähnliche Texturen wie die in der ersten Rundumansicht enthaltenen enthalten. In einigen Beispielen basiert diese Feststellung darauf, ob welche der mit den gespeicherten Rundumansichten assoziierten Kontexte dem Kontext der ersten Rundumansicht entsprechen. In einem weiteren Beispiel basiert diese Feststellung darauf, ob die mit einer gespeicherten Rundumansicht assoziierten Maßinformationen dimensional dem mit der ersten Rundumansicht assoziierten Objekt passt. Natürlich können alle diese Basen beliebig miteinander genutzt werden.
Nachdem diese Feststellung getroffen wurde wird bei 1908 eine Rangliste passender Ergebnisse erzeugt. In einigen Ausführungsformen umfasst die Erzeugung einer Rangliste passender Ergebnisse auch die Angabe, wie genau eine der gespeicherten Rundumansichten dimensional zum mit der ersten Maßinformation assoziierten Objekt passt. Nach verschiedenen Ausführungsformen kann diese Rangliste die Anzeige von Miniarturansichten passender Ergebnisse umfassen. In einigen Beispielen können Links zu Einzelhändlern in den Miniaturansichten enthalten sein. Außerdem können in einigen Applikationen Informationen über die passenden Ergebnisse wie Name, Marke, Preis, Bezugsquellen usw. enthalten sein.
Obwohl die vorstehenden Beispiele die Nutzung einer Rundumansicht als visuelle Suchanfrage zur Durchsuche gespeicherter Rundumansichten oder dreidimensionaler Modelle umfassen, umfasst die aktuelle Infrastruktur noch einen riesigen Vorrat an zweidimensionalen Bildern. Beispielsweise bietet das Internet Zugriff auf zahlreiche zweidimensionale Bilder, die leicht verfügbar sind. Dementsprechend kann die Nutzung einer Rundumansicht zur Durchsuche gespeicherter zweidimensionaler Bilder nach Treffern eine nützliche Applikation von Rundumansichten in der aktuellen zweidimensionalen Infrastruktur bieten.
Unter Bezugnahme auf 20 wird ein Beispiel eines Prozesses zur Durchführung einer visuellen Suche nach einem Objekt 2000 gezeigt, wobei die Suchanfrage eine Rundumansicht des Objekts umfasst und die durchsuchten Daten zweidimensionale Bilder umfassen. Bei 2002 wird eine visuelle Suchanfrage, die eine erste Rundumansicht umfasst, empfangen. Als nächstes werden eine oder mehrere Objektansichten aus der Rundumansicht bei 2004 ausgewählt. Insbesondere werden ein oder mehrere zweidimensionale Bilder aus der Rundumansicht ausgewählt. Weil diese Objektansicht(en) mit zweidimensionalen gespeicherten Bildern verglichen werden, kann die Auswahl multipler Ansichten die Wahrscheinlichkeit, einen Treffer zu finden, erhöhen. Ferner kann die Auswahl einer oder mehrerer Objektansichten aus der Rundumansicht die Auswahl von Objektansichten umfassen, welche die Erkennung von Unterscheidungsmerkmalen des Objekts ermöglichen.
In diesem Beispiel werden die Objektansicht(en) dann mit gespeicherten Bildern verglichen bei 2006. In einigen Ausführungsformen können ein oder mehrerer gespeicherte Bilder von den gespeicherten Rundumansichten extrahiert werden. Die se gespeicherten Rundumansichten können in einigen Beispielen aus einer Datenbank aufgerufen werden. In verschiedenen Beispielen umfasst der Vergleich einer oder mehrere Objektansichten mit den gespeicherten Bildern auch den Vergleich der Form des Objekts in der Rundumansicht mit den gespeicherten Bildern. In anderen Beispielen umfasst der der Vergleich einer oder mehrere Objektansichten mit den gespeicherten Bilden auch den Vergleich der Erscheinung des Objekts in der Rundumansicht mit den gespeicherten Bildern. Ferner kann der Vergleich einer oder mehrere Objektansichten mit den gespeicherten Bildern den Vergleich der Textur des Objekts in der Rundumansicht mit den gespeicherten Bildern umfassen. In einigen Ausführungsformen umfasst der der Vergleich einer oder mehrere Objektansichten mit den gespeicherten Bilden auch den Vergleich des Kontexts des Objekts in der Rundumansicht mit den gespeicherten Bildern. Natürlich kann jedes dieser Vergleichskriterien mit jedem anderen zusammen verwendet werden.
Als nächstes wird festgestellt, ob welche der gespeicherten Bilder der bzw. den Objektansichten bei 2008 entsprechen. Nachdem diese Feststellung getroffen wurde, wird eine Rangliste von passenden Ergebnissen erzeugt bei 2010. Nach verschiedenen Ausführungsformen kann diese Rangliste die Anzeige von Miniaturansichten der passenden Ergebnisse umfassen. In einigen Beispielen können die Miniaturansichten Links zu Einzelhändlern umfassen. Außerdem können in einigen Applikationen Informationen über die passenden Ergebnisse wie Name, Marke, Preis, Bezugsquellen usw. enthalten sein.
Unter Bezugnahme auf 21 wird ein Beispiel für einen visuellen Suchprozess 2100 gezeigt. In diesem Beispiel werden Bilder bei 2102 erhalten. Diese Bilder können von einem Anwender aufgenommen worden oder von gespeicherten Dateien abgerufen worden sein. Als nächstes wird in einigen Ausführungsformen eine Rundumansicht basierend auf den Bildern erzeugt. Diese Rundumansicht wird dann als visuelle Suchanfrage eingesetzt, die bei 2104 eingereicht wird. In diesem Beispiel kann eine Rundumansicht eingesetzt werden, um Fragen zu beantworten wie „Welche anderen Objekte in einer Datenbank sehen wie das Abfrageobjekt aus?”. Wie abgebildet können Rundumansichten dabei helfen, das visuelle Suchparadigma vom Finden anderer „Bilder, die wie die Abfrage aussehen” zum Finden andere „Objekte, die wie die Abfrage aussehen” verlagern wegen ihrer besseren semantischen Informationsfähigkeiten. Wie unter Bezugnahme auf 19 und 20 vorstehend beschrieben kann die Rundumansicht dann mit den gespeicherten Rundumansichten oder Bildern verglichen werden und eine Liste passender Ergebnisse kann bei 2106 zur Verfügung gestellt werden.
Obwohl die vorstehenden Beispiele die Nutzung einer Rundumansicht als Suchanfrage umfassen, kann es in einigen Ausführungsformen auch nützlich sein, Suchanfragen für zweidimensionale Bilder abzusetzen. Unter Bezugnahme auf 22 wird ein Beispiel eines Prozesses zur Durchführung einer visuellen Suchabfrage nach einem Objekt 2200 gezeigt, wobei die Suchabfrage eine zweidimensionale Ansicht des Objekts umfasst, und die durchsuchten Daten Rundumansicht(en) umfassen. Bei 2202 wird eine visuelle Suchabfrage, die eine zweidimensionale Ansicht eines zu suchenden Objekts umfasst, empfangen. In einigen Beispielen wird die zweidimensionale Ansicht aus einer Objektrundumansicht erhalten, wobei die Objektrundumansicht ein dreidimensionales Modell des Objekts umfasst. Als nächstes wird die zweidimensionale Ansicht mit Rundumansichten verglichen bei 2204. In einigen Beispielen kann die zweidimensionale Ansicht verglichen werden mit einer oder mehreren Kontentansichten in den Rundumansichten. Insbesondere kann die zweidimensionale Ansicht verglichen werden mit einem oder mehreren zweidimensionalen Bildern, die aus den Rundumansichten extrahiert wurden aus verschiedenen Blickwinkeln. Nach verschiedenen Beispielen können die aus Rundumansichten extrahierten zweidimensionalen Bilder Blickwinkeln entsprechen, welche die Erkennung von Unterscheidungsmerkmalen des Kontents leisten In anderen Beispielen umfasst der Vergleich der zweidimensionalen Ansicht mit einer oder mehreren Rundumansichten auch den Vergleich der zweidimensionalen Ansicht mit einem oder mehreren Kontentmodellen. Verschiedene Kriterien können zum Vergleich der Bilder oder Modelle genutzt werden wie Form, Erscheinung, Textur und Kontext des Objekts. Natürlich kann jedes dieser Vergleichskriterien beliebig mit anderen kombiniert werden.
Unter Bezugnahme auf 23 wird ein bestimmtes Beispiel eines Computersystems gezeigt, das zur Implementierung bestimmter Beispiele dieser Erfindung genutzt werden kann. Beispielsweise kann das Computersystem 2300 genutzt werden, um Rundumansichten nach verschiedenen, vorstehend beschriebenen Ausführungsformen zu leisten. Nach bestimmten beispielhaften Ausführungsformen umfasst ein System 2300, das zur Implementierung bestimmter beispielhafter Ausführungsformen dieser Erfindung geeignet ist, einen Prozessor 2301, ein Memory 2303, eine Schnittstelle 2311 und einen Bus 2315 (z. B. einen PCI-Bus). Die Schnittstelle 2311 kann separate Eingangs- und Ausgangsschnittstellen umfassen oder eine einzelne Schnittstelle sein, die beide Operationen unterstützt. Bei der Aktion unter der Steuerung geeigneter Software oder Firmware ist der Prozessor 2301 verantwortlich für solche Aufgaben wie Optimierung. Verschiedene spezifisch konfigurierte Geräte können auch anstelle eines Prozessors 2301 oder zusätzlcih zum Prozessor 2301 verwendet werden. Die komplette Implementierung kann auch in kundenspezifischer Hardware erfolgen. Die Schnittstelle 2311 ist typischerweise konfiguriert zum Senden und Empfangen von Datenpaketen oder Datensegmenten über ein Netzwerk. Bestimmte Beispiele von Schnittstellen, die das Gerät unterstützt, umfassen Ethernet-Schnittstellen, Frame-Relay-Schnittstellen, Kabelschnittstellen, DSL-Schnittstellen, Token-Ring-Schnittstellen und ähnliches.
Außerdem können verschiedene Hochgeschwindigkeitsschnittstellen zur Verfügung stehen, wie schnelle Ethernet-Schnittstellen, Gigabit-Ethernet-Schnittstellen, ATM-Schnittstellen, HSSI-Schnittstellen, Pos-Schnittstellen, FDDI-Schnittstellen und ähnliches. Allgemein können diese Schnittstellen Ports umfassen, die zur Kommunikation mit den geeigneten Medien geeignet sind. In manchen Fällen können sie auf einen unabhängigen Prozessor umfassen und in einigen Fällen flüchtiges RAM. Die unabhängigen Prozessoren können so kommunikationsintensive Aufgaben kontrollieren wie Packet Switching, Mediensteuerung und Management.
In bestimmten beispielhaften Ausführungsformen nutzt das System 2300 das Memory 2303 zum Speichern von Daten und Programmanweisungen und erhält ein Local Side Cache. Die Programmanweisungen können beispielsweise den Betrieb eines Betriebssystems und/oder eine oder mehrere Applikationen steuern. Das Memory bzw. die Memories können auch zur Speicherung aufgerufener Metadaten und als Batch angeforderter Metadaten konfiguriert sein.
Weil solche Informationen und Programmanweisungen eingesetzt werden können, um die hierin beschriebenen Systeme/Verfahren zu implementieren, bezieht sich diese Erfindung auf dingliche, maschinenlesbare Medien, welche Programmanweisungen, Statusinformationen usw. für verschiedene hierin beschriebenen Operationen umfassen. Beispiele maschinenlesbarer Medien umfassen Festplatten, Floppy Disks, Magnetbänder, optische Medien wie CD-ROM Disks und DVDs, magnetooptische Medien wie optische Disks und Hardwaregeräte, die spezifisch zur Speicherung und Ausführung von Programmanweisungen konfiguriert sind, so wie Read-Only Memory Devices (ROM) und Programmable Read-Only. Memory Devices (PROMs). Beispiele von Programmanweisungen umfassen sowohl Maschinencode, wie beispielsweise von einem Compiler erstellt, und Dateien, welche Code von höheren Ebenen enthalten, der mittels Interpreter vom Computer ausgeführt werden kann.
Obwohl viele der vorstehend beschriebenen Komponenten und Prozesse der Annehmlichkeit halber im Singular aufgeführt wurden, wird jede in der Technik bewanderte Person würdigen, dass auch multiple Komponenten und wiederholte Prozesse verwendet werden können, um die Techniken dieser Offenlegung zu praktizieren.
Während diese Offenlegung besonders mit Bezugnahme auf spezifische Ausführungsformen derselben gezeigt und beschrieben wurde, ist es für in der Technik bewanderte Personen selbstverständlich, dass Änderungen in Form und Details der offengelegten Ausführungsformen getätigt werden können, ohne von Geist und Umfang der Erfindung abzuweichen. Es ist daher gewollt, die Erfindung so zu interpretieren, dass sie alle Variationen und Äquivalente innerhalb des wahren Geists und Umfangs dieser Erfindung umfasst.

Claims

Verfahren, umfassend: Erzeugung einer ersten Rundumansicht eines Objekts, die erste Rundumansicht, entsprechend einer interaktiven digitalen Medienrepräsentation mit multiplen Ansichten, wobei die erste Rundumansicht eine erste Ebene und eine zweite Ebene umfasst, wobei die erste Ebene eine erste Tiefe und die zweite Ebene eine zweite Tiefe umfasst; Auswahl der ersten Ebene aus der ersten Rundumansicht, wobei die Auswahl der ersten Ebene die Auswahl von Daten innerhalb der ersten Tiefe umfasst; Anwendung eines Effektes auf die erste Ebene innerhalb der ersten Rundumansicht, um eine modifizierte erste Ebene zu erzeugen; und Erzeugung einer zweiten Rundumansicht, welche die modifizierte erste Ebene und die zweite Ebene umfasst.
Verfahren nach Anspruch 1, wobei die erste Rundumansicht eine dritte Ebene umfasst, wobei die dritte Ebene eine dritte Tiefe umfasst.
Verfahren nach Anspruch 2, wobei zur Erzeugung der zweiten Rundumansicht die modifizierte erste Ebene, die zweite Ebene und die dritte Ebene verwendet werden.
Verfahren nach Anspruch 1, wobei die erste Ebene ein Objekt umfasst.
Verfahren nach Anspruch 4, wobei das Objekt eine Person ist.
Verfahren nach Anspruch 1, wobei die erste Ebene dynamische Szeneelemente umfasst.
Verfahren nach Anspruch 1, wobei der Effekt ein Weichzeichnungsfilter ist.
Verfahren nach Anspruch 7, wobei der Effekt ein Graustufenfilter ist.
Verfahren nach Anspruch 1, wobei der Effekt die Bewegung der ersten Ebene mit einer ersten Geschwindigkeit umfasst, wobei die zweite Ebene in einer zweiten Geschwindigkeit bewegt wird und die erste Geschwindigkeit sich von der zweiten Geschwindigkeit unterscheidet.
Verfahren nach Anspruch 1, wobei die erste Rundumansicht eine dritte Ebene umfasst und die zweite Rundumansicht die dritte Ebene weglässt.
Verfahren nach Anspruch 1, wobei die Auswahl der ersten Ebene automatisch ohne Anwendereingabe durchgeführt wird.
Verfahren nach Anspruch 1, wobei das Objekt auf einem Gerät angezeigt wird, wobei der Blickwinkel des Objekts durch Neigen und Rotieren des Geräts manipuliert wird.
Verfahren nach Anspruch 12, wobei der Blickwinkel des Objekts durch rotieren des Geräts entlang einer Achse, die der gleichen Achse des Objekts entspricht, manipuliert wird.
Verfahren nach Anspruch 1, wobei das Objekt auf einem Gerät angezeigt wird, wobei der Blickwinkel des Objekts durch Wischen über das Display manipuliert wird.
Computerlesbares Medium, umfassend: Computercode zur Erzeugung einer ersten Rundumansicht eines Objekts, wobei die erste Rundumansicht einer interaktiven digitalen Medienrepräsentation mit multiplen Ansichten des Objekts entspricht, wobei die erste Rundumansicht eine erste Ebene und eine zweite Ebene umfasst, wobei die erste Ebene eine erste Tiefe und die zweite Ebene eine zweite Tiefe umfasst; Computercode zur Auswahl der ersten Ebene aus der ersten Rundumansicht, wobei die Auswahl der ersten Ebene die Auswahl von Daten innerhalb der ersten Tiefe umfasst; Computercode zur Anwendung eines Effektes auf die erste Ebene innerhalb der ersten Rundumansicht, um eine modifizierte erste Ebene zu erzeugen; und Computercode zur Erzeugung einer zweiten Rundumansicht, welche die modifizierte erste Ebene und die zweite Ebene umfasst.
Computerlesbares Medium nach Anspruch 15, wobei die erste Rundumansicht eine dritte Ebene umfasst, wobei die dritte Ebene eine dritte Tiefe umfasst.
Computerlesbares Medium nach Anspruch 16, wobei zur Erzeugung der zweiten Rundumansicht die modifizierte erste Ebene, die zweite Ebene und die dritte Ebene verwendet werden.
Computerlesbares Medium nach Anspruch 15, wobei die erste Ebene ein Objekt umfasst.
Computerlesbares Medium nach Anspruch 15, wobei die erste Ebene dynamische Szeneelemente umfasst.
System, umfassend: Mittel zur Erzeugung einer ersten Rundumansicht eines Objekts, die erste Rundumansicht, entsprechend einer interaktiven digitalen Medienrepräsentation mit multiplen Ansichten, wobei die erste Rundumansicht eine erste Ebene und eine zweite Ebene umfasst, wobei die erste Ebene eine erste Tiefe und die zweite Ebene eine zweite Tiefe umfasst; Mittel zur Auswahl der ersten Ebene aus der ersten Rundumansicht, wobei die Auswahl der ersten Ebene die Auswahl von Daten innerhalb der ersten Tiefe umfasst; Mittel zur Anwendung eines Effektes auf die erste Ebene innerhalb der ersten Rundumansicht, um eine modifizierte erste Ebene zu erzeugen; und Mittel zur Erzeugung einer zweiten Rundumansicht, welche die modifizierte erste Ebene und die zweite Ebene umfasst.