-
Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät. Die Erfindung betrifft weiterhin ein mobiles Endgerät, in dem ein erfindungsgemäßes Verfahren eingesetzt wird.
-
Die deutliche Leistungs- und Geschwindigkeitszunahme von Computern, Grafikkarten und - prozessoren, die Weiterentwicklung von Displays und auch die Entwicklung völlig neuer mobiler Endgeräte hat eine Vielzahl neuer Anwendungsmöglichkeiten für Virtual Reality (VR)- und Augmented Reality (AR)-Technologien eröffnet.
-
Virtual Reality (VR) ermöglicht es einem Nutzer, eine virtuelle, ihn umgebende digitale 3D-Welt mit geeigneten Hilfsmitteln zu erleben, diese von allen Seiten zu betrachten, sich in ihr zu bewegen und ggfs. sogar mit dieser zu interagieren. Der Nutzer nimmt seine reale Umgebung dann nicht mehr wahr.
-
Bei Augmented Reality (AR), auf Deutsch „erweiterte Realität“, handelt es sich dagegen um eine Anreicherung der durch den Nutzer wahrgenommenen realen Welt durch virtuelle Inhalte, insbesondere in Form von Texten, Grafiken, Animationen, Videos, statischen oder bewegten 3D-Objekten. Der Nutzer nimmt diese virtuellen Elemente typischerweise auf einem Display durch eine Einblendung in die reale Umgebung wahr. Dieses kann kontextunabhängig von der realen Umgebung, aber auch kontextabhängig, d.h. mit Bezug der dargestellten virtuellen Inhalte zu der realen Umgebung, erfolgen. Für eine kontextabhängige Darstellung wird ein Tracking benötigt, um die aktuelle Position und gegebenenfalls die aktuelle Blickrichtung des Nutzers zu erfassen. Da sich in der Fachwelt im deutschsprachigen Raum der Ausdruck „Augmented Reality“ gegenüber dem Ausdruck „erweiterte Realität“ durchgesetzt hat, wird im Folgenden ersterer benutzt.
-
Für die Darstellung von AR-/VR-Inhalten kommen verschiedene Anzeigegeräte in Betracht. So werden häufig Datenbrillen genutzt, die wie eine normale Brille getragen werden, aber eine oder mehrere Projektionseinheiten oder Anzeigen aufweisen, mit deren Hilfe dem Träger der Brille Informationen vor die Augen oder direkt auf die Netzhaut projiziert werden können.
-
Die Datenbrillen können monokular, d.h. mit einem Display für eines der Augen, binokular, d.h. mit je einem Display pro Auge, oder biokular, d.h. mit einem Display, welches Bilder für beide Augen generiert, ausgestaltet sein.
-
Je nachdem, ob es sich um eine VR- oder AR-Brille handelt, kann der Träger der Brille nur die virtuelle, ihn umgebende digitale 3D-Welt oder auch die ihn umgebende reale Umgebung wahrnehmen. Eine solche Datenbrille ist beispielsweise in der
US 2017/0108697 A1 beschrieben.
-
Die Anzeige von AR-Inhalten kann aber ebenso auch durch andere mobile Endgeräte wie beispielsweise Mobilfunkgeräte oder Computertablets generiert werden. Dabei werden virtuelle Elemente auf dem Display des jeweiligen Gerätes zusammen mit der von einer Kamera des jeweiligen Gerätes aufgenommenen Umgebung angezeigt.
-
Schließlich kann die Darstellung von AR-Inhalten auch durch eine Projektion von virtuellen Inhalten auf transparente Flächen, die einen Blick auf die reale Welt ermöglichen erfolgen, wie beispielsweise durch sogenannte Head-up-Displays, die darzustellende Inhalte auf die Frontscheibe eines Fahrzeugs projizieren.
-
Für die Akzeptanz von AR-NR-Technologien ist eine möglichst realistische und damit in hoher visueller Qualität stattfindende Darstellung von hoher Bedeutung, da die potentiellen Nutzer dieses bereits von anderen Anzeigetechnologien gewöhnt sind. Ebenso erwarten diese Nutzer kurze Antwortzeiten bzw. eine geringe Latenzzeit oder Latenz, denn nur eine geringe Latenz, d.h. nur eine geringe Verzögerung zwischen Nutzerbewegung und AR-/VR-Reaktion bzw. Anpassung der AR-/VR-Darstellung, lässt diese realistisch erscheinen.
-
Ein möglichst realistisches Visualisieren von AR-/VR-Inhalten erfordert die Berechnung großer Datenmengen und damit eine hohe Rechenleistung. Weiterhin resultieren hieraus ein hoher Speicherbedarf für die generierten Daten und eine hohe Leistungsaufnahme der die Berechnung durchführenden Prozessoren. Diese hohen Anforderungen können durch heutige mobile Endgeräte aufgrund ihrer begrenzten Leistungsfähigkeit nur bedingt erfüllt werden.
-
Die Erzeugung des darzustellenden Bildes, das sogenannte Rendering, kann auf einen Computer mit einer leistungsfähigen Grafikkarte, einen Renderserver oder bei besonders anspruchsvollen Berechnungen sogar einen Cluster solcher Computer, eine sogenannte Renderfarm, ausgelagert werden. Damit können die oben genannten technischen Engpässe zwar umgangen werden, die Übermittlung der generierten Daten an das mobile Endgerät kann jedoch eine deutliche Latenz aufweisen, die zu einem nicht akzeptablen Nutzererlebnis führen kann, da beispielsweise virtuelle Inhalte zu spät oder an der falschen Stelle angezeigt werden. Wenn das Rendering dagegen von dem mobilen Endgerät vorgenommen wird, kann zwar die durch die Übertragung verursachte Latenz verhindert werden, aber nicht die gewünscht Qualität gewährleistet werden.
-
Um diese konkurrierenden Anforderungen zu erfüllen, offenbart die
US 2017/0287097 A1 einen ersten Teil eines Bildes auf einem Server und einen zweiten Teil des Bildes auf einem Clientgerät zu rendern, wobei der erste Teil den Hintergrund-Anteil des Bildes und der zweite Teil den Vordergrund-Anteil des Bildes beinhalten kann. Das Clientgerät erfasst ferner Bewegungsdaten, die während des Renderings verwendet werden, um Benutzerbewegungen zu berücksichtigen. Der Server überträgt den ersten Teil des Bildes an das Clientgerät, welches den ersten und zweiten Teil des Bildes kombiniert und das kombinierte Bild zur Anzeige bringt. Hierbei kann durch das Clientgerät gemäß den Bewegungsdaten eine Korrektur des von dem Server gerenderten Teiles des Bildes erfolgen. Bei dem Clientgerät kann es sich hierbei um ein Smartphone, eine tragbare Spielekonsole, eine am Kopf befestigte Anzeige oder ein anderes mobiles Endgerät, mit dem VR- oder AR-Inhalte angezeigt werden können, handeln.
-
Ähnlich beschreibt die
WO 2015/102834 A1 ein Verfahren zum Entlastung der AR-Verarbeitung bei einer Wiedergabe von AR-Inhalten auf einem mobilen Endgerät, beispielsweise einem Mobilfunkgerät, einem Tabletcomputer oder einem tragbaren Computersystem wie einer mobilen Datenbrille. Ein Sensor des mobilen Endgeräts erfasst hierbei dessen Ort und Ausrichtung und sendet diese Daten an einen Server, um das Tracking oder das AR-Rendering ganz oder teilweise auszulagern. Die von dem Server erzeugten Daten werden dann an das mobile Endgerät übertragen, um auf diesem eine Visualisierung der AR-Inhalte zu ermöglichen. Hierbei kann eine Aktualisierung der von dem Server empfangenen Daten mittels aktualisierter Tracking-Daten erfolgen.
-
Die beschriebenen Verfahren erfordern eine Aufteilung des zu erzeugenden Bildes in Teilbereiche wie in den Vordergrund und Hintergrund oder in einen zentralen Bereich und Randbereiche um einen Teil der Berechnung durch ein mobiles Endgerät und einen Teil durch einen Server vornehmen zu können. Dieses setzt aber voraus, dass zunächst eine solche Aufteilung erfolgt und überhaupt möglich ist.
-
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät sowie ein entsprechendes mobiles Endgerät zur Verfügung zu stellen.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, sowie durch ein mobiles Endgerät gemäß Anspruch 10 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
-
Bei dem erfindungsgemäßen Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät werden aktuelle Positions- und/oder Blickrichtungsdaten eines Nutzers erfasst. Basierend auf den erfassten aktuellen Positions- und/oder Blickrichtungsdaten werden zukünftige Positions- und/oder Blickrichtungsdaten prädiziert. Es werden virtuelle Bildinhalte empfangen, die von einem Server für die prädizierten Positions- und/oder Blickrichtungsdaten berechnet worden sind und dem Nutzer angezeigt.
-
Durch die Prädiktion ist es möglich einerseits die darzustellenden AR-/VR-Inhalten durch eine serverseitige Berechnung in hoher Qualität zur Verfügung zu stellen und andererseits mit akzeptabler Antwortzeit auf dem mobilen Endgerät anzuzeigen.
-
Gemäß einer Ausführungsform der Erfindung werden zwischen dem Empfang zeitlich aufeinander folgender virtueller Bildinhalte die aktuellen Positions- und/oder Blickrichtungsdaten des Nutzers weiterhin erfasst und bereits empfangene virtuelle Bildinhalte durch das mobile Endgerät für eine perspektivische Anpassung der Darstellung bearbeitet.
-
Auf diese Weise kann bei einer Bewegung eines Nutzers solange durch das mobile Endgerät eine Korrektur der serverseitig generierten AR-/VR-Inhalte erfolgen bis neue Bildinhalte vom Server empfangen werden.
-
Vorteilhafterweise werden die erfassten Positions- und/oder Blickrichtungsdaten an den Server übertragen, wobei der Server basierend auf den erfassten aktuellen Positions- und/oder Blickrichtungsdaten zukünftige Positions- und/oder Blickrichtungsdaten prädiziert.
-
Insbesondere bei rechenaufwendigen Verfahren zur Prädiktion der zukünftigen Positions- und/oder Blickrichtungsdaten kann so das mobile Endgerät weiter entlastet werden.
-
In diesem Fall werden vorteilhafterweise die prädizierten Positions- und/oder Blickrichtungsdaten zusammen mit den virtuellen Bildinhalten von dem Server an das mobile Endgerät übertragen werden.
-
Dieses ermöglicht dem mobilen Endgerät auf einfache Weise zu überprüfen wie genau die prädizierten Positions- und/oder Blickrichtungsdaten mit den tatsächlichen Positions- und/oder Blickrichtungsdaten übereinstimmen.
-
Ebenso kann vorteilhafterweise das mobile Endgerät die zukünftigen Positions- und/oder Blickrichtungsdaten prädizieren und an den Server übertragen.
-
Gemäß einer Ausführungsform der Erfindung werden die von dem Server berechneten virtuellen Bildinhalte auf eine Kugel oder einen Kugelabschnitt abgebildet, wobei sich der Nutzer virtuell im Kugelzentrum dieser Kugel oder dieses Kugelabschnitts befindet.
-
Gemäß einer weiteren Ausführungsform der Erfindung werden zusätzlich für Positionsdaten des Nutzers, die sich in der Nähe der prädizierten Positionsdaten befinden, virtuelle Bildinhalte durch den Server berechnet und an das mobile Endgerät übertragen, wobei das mobile Endgerät von den empfangenen virtuellen Bildinhalten diejenigen verwendet, für die die Abweichung der Positionsdaten von den aktuellen Positionsdaten des Nutzers zum Zeitpunkt des Empfangs der virtuellen Bildinhalte oder zum Zeitpunkt der Darstellung auf dem mobilen Endgerät am geringsten ist.
-
Gemäß einer wiederum weiteren Ausführungsform der Erfindung liegt auf dem mobilen Endgerät ein Modell für die zu visualisierenden virtuellen Bildinhalte mit einer ersten Qualitätsstufe vor oder wird dort generiert. Hierbei liegt auf dem Server ein entsprechendes Modell, mit einer zweiten, im Vergleich zur ersten Qualitätsstufe höheren Qualitätsstufe vor oder wird dort generiert.
-
Weiterhin können vorteilhafterweise die serverseitig generierten Daten nach der Berechnung serverseitig in einer Datenbank gespeichert werden.
-
Dieses ermöglicht bereits generierte Daten mehrfach zu verwenden, ohne diese neu zu generieren, wenn die gleichen AR-/VR-Inhalte in ähnlicher oder identischer Position von einem mobilen Endgerät mehrfach oder von mehreren unterschiedlichen mobilen Endgeräten dargestellt werden. Ebenso können bereits vor der erstmaligen Darstellung für die zu erwartenden relevanten Positionen mobiler Endgeräte innerhalb der zu betrachtenden 3D-Szene die notwendigen virtuellen Inhalte vorberechnet und gespeichert werden, so dass beim Eintreffen eines Nutzers an der entsprechenden Position die generierten Bilder unmittelbar aus der Datenbank abgerufen und bereitgestellt werden können.
-
Vorzugsweise wird das erfindungsgemäße Verfahren in einem mobileren Endgerät, insbesondere einer mobilen Datenbrille, eingesetzt.
-
Hierbei wird gemäß einer Ausführungsform der Erfindung serverseitig nur ein Bild der virtuellen Bildinhalte berechnet und an die mobile Datenbrille übertragen, wobei die mobile Datenbrille aus dem empfangenen Bild gegebenenfalls getrennte virtuelle Bildinhalte für das linke und rechte Auge des Nutzers berechnet und anzeigt.
-
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit der Figur ersichtlich.
- 1 zeigt schematisch ein Ablaufdiagramm für ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
-
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.
-
1 zeigt schematisch ein Ausführungsbeispiel für das erfindungsgemäße Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät. Gemäß Verfahrensschritt 1 werden aktuelle Positions- und/oder Blickrichtungsdaten eines Nutzers erfasst. Diese Erfassung kann beispielsweise in regelmäßigen Zeitabständen oder auch zum Zeitpunkt der Betätigung eines Bedienelements des mobilen Endgerätes durch den Nutzer erfolgen.
-
Die aktuellen Positionsdaten können hierbei beispielsweise GPS-Koordinaten sein, die durch ein in dem mobilen Endgerät integriertes GPS-Modul ermittelt werden. Hierdurch lässt sich in einem weiträumigen geographischen Bereich die Position des Nutzers bestimmen. Ebenso können aber auch andere Ortungstechniken, wie beispielsweise eine WLAN- oder RFIDbasierte Ortung, Objekterkennung oder Kombinationen dieser Verfahren zur Positionsbestimmung verwendet werden. Eine bildbasierte Ortung ist hierbei möglich, wenn dem mobilen Endgerät beispielsweise Modelldaten von Gebäuden etc. vorliegen, die mit räumlichen Informationen verknüpft sind, so dass basierend darauf modellbasiert getrackt werden kann.
-
Kommt es für die Darstellung der AR-/VR-Inhalte nicht auf die geographische Position des Nutzers an, sondern vielmehr auf eine möglichst genaue relative Position zu einem realen oder virtuellen Objekt, so kann die Position des Nutzers beispielsweise durch die Auswertung von einem oder mehreren Kamerasignalen, Radar- oder Ultraschallsensoren ermittelt werden.
-
Ebenso kann die Blickrichtung des Nutzers auf verschiedene Weisen erfasst werden. So kann die Orientierung des mobilen Endgeräts, und damit auch die Ausrichtung des Kopfes des Nutzers bzw. die Blickrichtung durch einen Gyroskop-Sensor bestimmt werden. Ebenso können durch eine in dem mobilen Endgerät integrierte Kamera die Augen des Nutzers erfasst und für die Bestimmung der Blickrichtung ausgewertet werden. Hierbei können sogenannte Eye-Tracking-Systeme zum Einsatz kommen, die insbesondere in einer mobilen Datenbrille gut zu integrieren sind. Dabei wird die Augenpartie des Nutzers mit IR-Licht beleuchtet, mit einem hochauflösenden Kamerasensor das von den Augen reflektierte Licht erfasst und daraus die Position der Pupillen berechnet. In dem das Eye-Tracking-System als Referenz verwendet wird, kann dann die Blickrichtung des Nutzers errechnet werden. Ebenso kann bei einem im Display integrierten Tracking das vom Display ins Auge gestrahlte Licht wieder aufgenommen und daraus die Blickrichtung bestimmt werden.
-
In Verfahrensschritt 2 werden dann basierend auf den erfassten aktuellen Positions- und/oder Blickrichtungsdaten zukünftige Positions- und/oder Blickrichtungsdaten des Nutzers prädiziert.
-
Auch hier können verschiedene Verfahren angewendet werden. So kann eine Auswertung mehrerer vergangener aufeinanderfolgender Positions- und/oder Blickrichtungsdaten erfolgen und durch eine Extrapolation eine zukünftige Position oder Blickrichtung ermittelt werden, beispielsweise, wenn sich aus den vergangenen Positionsdaten eine lineare Bewegung mit konstanter Geschwindigkeit ergibt. Eine solche Prädiktion ist verhältnismäßig einfach und kann daher in dem mobilen Endgerät durchgeführt werden. Ebenso kann eine Prädiktion auch durch eine Auswertung mehrerer durch eine Kamera erfasster Bilder erfolgten. Da die hierfür erforderliche Bildanalyse vergleichsweise aufwendig ist, wird eine solche Prädiktion gegebenenfalls eher in dem Server durchgeführt. Weiterhin kann der Server für die Prädiktion selbstlernende Algorithmen anwenden oder auch Informationen, die diesem von anderen vernetzten Geräten bzgl. des mobilen Endgeräts zugeführt werden, auswerten. So kann eine Statistik darüber, wie sich bisher die meisten Nutzer von der aktuellen Position weiterbewegt haben oder ihre Blickrichtung verändert haben, ausgewertet werden. Falls der Nutzer mit einem Fahrzeug oder auch zu Fuß unterwegs ist und hierfür in einer Navigationsanwendung eine Route programmiert hat, so kann ausgehend von der aktuellen Position der weitere Streckenverlauf prädiziert werden.
-
Die aktuell erfassten und/oder prädizierten Positions- bzw. Blickrichtungsdaten werden von dem mobilen Endgerät drahtlos, beispielsweise mittels WLAN-, LTE- oder 5G-Übertragungsverfahren, an einen Server gesendet um die virtuellen Bildinhalte für die vorhergesagte Position bzw. Blickrichtung zu berechnen.
-
Bei den virtuellen Bildinhalten kann es sich hierbei um beliebige virtuelle Objekte handeln. So können beispielsweise 360-Grad-Ansichten von Städten aus der Straßenperspektive inklusive der sich dort befindlichen Sehenswürdigkeiten oder Gebäuden wie Museen, Sportstadien, Restaurants oder Geschäfte virtuell darstellt oder Informationen hierzu den real wahrgenommenen Ansichten überlagert werden. So können beispielsweise in Anwendungen, bei denen ein Nutzer eine Datenbrille trägt und sich mit einem Fahrzeug oder auch zu Fuß fortbewegt, umfassende und qualitativ hochwertige visuell wahrnehmbare Informationen zur Verfügung gestellt werden. Ebenso können beispielsweise detailgetreue virtuelle 3D-Modelle von komplexen Gegenständen wie beispielsweise Gebäuden oder Fahrzeugen, die ggfs. so nicht oder noch nicht existieren, durch den Nutzer betrachtet werden, wobei durch einen Positionswechsel verschiedene Perspektiven bzw. Seiten betrachtet werden können. Dieses kann in den unterschiedlichsten Bereichen wie der Planung, Konstruktion und Entwicklung oder auch für das Marketing oder den Vertrieb dieser komplexen Gegenstände genutzt werden.
-
Der Server berechnet mittels Algorithmen der algorithmischen Geometrie oder Computergrafik in hoher Qualität die virtuellen Bildinhalte, wobei diese dann üblicherweise in RGB aber ggfs. auch monochrom oder in einer anderen Farbgestaltung vorliegen können. Diese werden dann von dem Server an das mobile Endgerät gesendet und von diesem in einem Verfahrensschritt 3 empfangen.
-
In einem Verfahrensschritt 4 erfolgt dann eine Anzeige der virtuellen Bildinhalte auf einem Display des mobilen Geräts. Indem diese virtuellen Bildinhalte nicht für in der Vergangenheit liegende Positions- bzw. Blickrichtungsdaten sondern für eine Prädiktion dieser Daten zum Zeitpunkt der Darstellung der virtuellen Bildinhalte berechnet wurden, wird sichergestellt, dass selbst im Fall einer zeitaufwändigen serverseitigen Berechnung und einer zusätzlichen Verzögerung durch die Übertragung bei der Verwendung drahtloser Kommunikationstechniken eine hochqualitative Darstellung mit für den Nutzer kaum wahrnehmbare Latenz möglich ist.
-
Wenn die Bildwiederholrate aufeinanderfolgender von dem Server übertragener virtueller Bildinhalte nicht für eine ansprechende AR-/VR-Erfahrung ausreicht und beispielsweise zu einem Stottern des Bildes führen würde, kann bis zu dem Eintreffen eines neuen hochqualitativen virtuellen Bildes durch das mobile Endgerät eine perspektivische Anpassung der Sicht auf die AR-/VR-Inhalte erfolgen. Hierfür werden auch in den Zeiträumen zwischen dem Empfang aufeinanderfolgender Bildinhalte die Positions- bzw. Blickrichtungsdaten weiter erfasst und das zuletzt empfangene Bild in einem Verfahrensschritt 6 an die geänderte Position bzw. Blickrichtung angepasst und angezeigt. Hierbei kann zunächst in einem Verfahrensschritt 5 überprüft werden, ob bereits neue serverseitig berechnete virtuelle Inhalte vorliegen oder nicht.
-
Die perspektivische Anpassung kann beispielsweise so erfolgen, dass die von dem Server übertragenen virtuellen Bildinhalte als Textur auf die Oberfläche einer Kugel gemappt werden und je nach Blickrichtung ein Teil davon zur Anzeige gebracht wird. Der Anwender befindet sich dann virtuell innerhalb dieser Kugel, wobei das Bild so berechnet wurde, dass der Nutzer im Kugelzentrum ein unverzerrtes Bild angezeigt bekommt. Eine Änderung der Position bzw. Blickrichtung des Nutzers entspricht dann einer innerhalb der Kugel stattfindenden Translation bzw. Rotation, die dann bei unverändertem vom Server übertragenen Bild in dem mobilen Endgerät durch eine Anpassung der Tiefenwerte zu einer perspektivischen Korrektur der Darstellung führt. Hierbei muss nicht das komplette Bild für eine vollständige Kugel neu berechnet werden, wenn nicht davon auszugehen ist, dass der Nutzer sich zwischen zwei serverseitig berechneten Bildern einmal um 180° drehen kann oder wird. Stattdessen kann die Berechnung in diesem Fall auf einen Kugelabschnitt, wie beispielsweise eine Halbkugel, beschränkt werden. Ebenso kann die Textur auch auf die Oberfläche anders geformter dreidimensionaler virtueller Körper gemappt werden.
-
Gemäß einer Ausführungsform kann zusätzlich zur Berechnung der virtuellen Bildinhalte für die prädizierte Position eine entsprechende Berechnung durch den Server auch für weitere vorberechnete Positionen, die in der Nähe der prädizierten Position liegen, vorgenommen werden. Die berechneten Daten werden dem Endgerät ebenfalls zur Verfügung gestellt, welches dann diejenigen Daten verwendet, für die die vorberechnete Position am besten mit der zum Zeitpunkt der Darstellung aktuellen Position übereinstimmt. Hierbei kann insbesondere bei vergleichsweise großen Abständen der vorberechneten Positionen auch vorgesehen werden, zwischen den Daten der virtuellen Inhalte für benachbarte vorberechnete Positionen zu interpolieren. Ebenso kann vorgesehen werden, bei einer erfassten Bewegung des Nutzers von einer ersten Position zu einer zweiten Position zwischen den Daten der virtuellen Inhalte für zwei vorberechnete Positionen, die sich in der Nähe der ersten bzw. zweiten Position befinden, umzuschalten.
-
Gemäß einer weiteren Ausführungsform können auf dem mobilen Endgerät die zu visualisierenden 3D-Modelle in einer reduzierten Form, beispielsweise mit einem im Vergleich zu den serverseitig vorliegenden Modellen geringeren Detailgrad, vorliegen. Ebenso können diese durch das mobile Endgerät generiert werden, wobei dann Informationen über die vom mobilen Endgerät generierten 3D-Modelle dem Server mitgeteilt werden können und so gegebenenfalls auch eine Aktualisierung des serverseitig vorliegenden Modells ermöglicht. Bei den Informationen kann es sich beispielsweise um Parameter der verwendeten Algorithmen wie Dreiecksdaten, Hüllkörper (englisch: bounding volumes), die ein komplexes dreidimensionales Objekt umschließen und beispielsweise als Quader oder Würfel (englisch: bounding boxes) ausgestaltet sein können, Tiefenkarten (englisch: depth maps) oder andere prozedurale Daten handeln. Der Server prädiziert, wohin sich der Anwender bewegen wird und kombiniert die serverseitig vorliegenden Daten hoher Qualität mit den vom mobilen Endgerät gelieferten Daten.
-
Gemäß einer weiteren Ausführungsform kann bei einer stereoskopischen Darstellung der virtuellen Inhalte anstelle der serverseitigen Berechnung und Übertragung kompletter Bilder pro Auge auch nur ein Bild für das „Mittenauge“ und die Tiefeninformationen je Auge getrennt serverseitig berechnet werden, wobei bei weiter entfernten virtuellen Objekten aufgrund der begrenzten Auflösung der Anzeige des mobilen Gerätes die Bilder für das linke und rechte Auge nicht mehr unterscheidbar sind und damit auch nicht mehr getrennt berechnet werden müssen. Durch die Tiefeninformationen in einem sogenannten Z-Buffer („Z-Puffer“) wird hierbei pixelweise ermittelt, welche Bereiche der virtuellen Objekte vom Nutzer aus sichtbar sind und dargestellt werden müssen und welche Bereiche dagegen verdeckt sind. Ebenso kann vorgesehen sein, nur in regelmäßigen oder unregelmäßigen Zeitabständen komplett neue Bilder pro Auge zu übertragen und dazwischen jeweils nur die Änderungen der Tiefeninformationen zu übertragen und für eine Anpassung der darzustellenden Bilder zu verwenden.
-
Weiterhin kann vorgesehen werden, die serverseitig generierten Daten, bei denen es sich um komplette Bilder oder 3D-Modelle, oder auch die oben erwähnten Parameter handeln kann, nach dem erstmaligen Generieren und Anwenden durch ein mobiles Endgerät nicht zu verwerfen, sondern zwischenzuspeichern. Sollte dann erneut das gleiche oder auch ein anderes mobiles Endgerät durch einen Nutzer in die gleiche oder eine in unmittelbarer Nähe liegende Position bei gleicher oder ähnlicher Blickrichtung geführt werden, so können die bereits generierten Daten unmittelbar erneut verwendet werden, ohne dass diese noch mal generiert werden müssten. Ebenso können bereits vor dem erstmaligen Anwenden für die zu erwartenden relevanten Positionen mobiler Endgeräte die virtuellen Inhalte vorberechnet und gespeichert werden, sodass beim Eintreffen eines Nutzers an der entsprechenden Position die generierten Bilder aus einer Datenbank abgerufen und bereitgestellt werden können.
-
Um die Anforderungen an die Speichergröße einer solchen Datenbank zu reduzieren, kann es hierbei auch vorgesehen sein die generierten Bilddaten in komprimierter Form abzulegen. Vor der Anwendung der generierten Bilddaten erfolgt dann eine Dekomprimierung. Diese kann serverseitig oder auch erst in dem mobilen Endgerät erfolgen, wobei eine Dekomprimierung in dem mobilen Endgerät ermöglicht, die erforderliche Übertragungsbandbreite bei der Übertragung von dem Server zu reduzieren.
-
Die Erfindung kann zur Darstellung von AR-/VR-Inhalten auf beliebigen mobilen Endgeräten eingesetzt werden.
-
Bezugszeichenliste
-
- 1
- Verfahrensschritt mit Erfassung der aktuellen Positions- und/oder Blickrichtungsdaten
- 2
- Verfahrensschritt mit Prädiktion zukünftiger Positions- und/oder Blickrichtungsdaten
- 3
- Verfahrensschritt mit Empfang neuer AR-/VR-Inhalte
- 4
- Verfahrensschritt mit Anzeige der AR-/VR- Inhalte
- 5
- Verfahrensschritt mit Abfrage, ob auf dem Server neue AR-/VR-Inhalte vorliegen
- 6
- Verfahrensschritt mit Berechnung einer perspektivischen Anpassung der AR-/VR-Inhalte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2017/0108697 A1 [0007]
- US 2017/0287097 A1 [0013]
- WO 2015/102834 A1 [0014]
