DE102019001778B3

DE102019001778B3 - Verfahren und Anordnung zur Steuerung der Perspektive in immersiven Medien durch den Anwender

Info

Publication number: DE102019001778B3
Application number: DE102019001778.1A
Authority: DE
Inventors: Patentinhaber gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-03-13
Filing date: 2019-03-13
Publication date: 2020-07-09
Anticipated expiration: 2039-03-14

Abstract

Die Erfindung beinhaltet ein Verfahren und eine Vorrichtung, mit denen der Anwender (9) die Perspektive (7) in immersiven Medien in einem oder mehreren Freiheitsgraden steuert, durch räumlich kompatible Auslenkungen eines an seinem Körper angebrachten Sensors (8) mit nicht-isomorphen und nicht-linearen Übertragungsfunktionen. Der Sensor (8) kann relativ zu einer für den Anwender (9) bequemen Ausgangsposition in einer oder mehreren Dimensionen ausgelenkt werden, innerhalb eines definierten Wertebereichs. Für jeden Freiheitsgrad wird eine eindeutige und räumlich kompatible Beziehung zu den Auslenkungsdimensionen festgelegt. Für jede dieser Beziehungen wird eine nicht-isomorphe und nicht-lineare Übertragungsfunktion definiert, als Zusammenhang zwischen der Geschwindigkeit, mit der sich die Perspektive (7) in dem Freiheitsgrad bewegt, und den Auslenkungen des Sensors (8) in den zugeordneten Dimensionen. Eine Rechnereinheit registriert die Signale des Sensors (8) und berechnet auf der Grundlage der Übertragungsfunktionen aus der Auslenkung des Sensors (8) die Geschwindigkeit der Perspektive (7). Die Inhalte der betrachteten immersiven Medien werden aus der neuberechneten Perspektive (7) in einer Wiedergabeeinheit dargestellt. Damit kann der Anwender (9) - ohne selbst größere Bewegungen ausführen zu müssen - die Freiheitsgrade in ihrem gesamten Wertebereich steuern und zudem jederzeit in die für ihn bequeme Ausgangsposition zurückkehren.

Description

Die Erfindung betrifft ein Verfahren und eine Anordnung zur Steuerung der Perspektive in immersiven Medien durch den Anwender gemäß Oberbegriff des Anspruchs 1 bzw. des Anspruchs 2.
Stand der Technik
Eine wesentliche Funktionalität immersiver Medien besteht darin, dass der Anwender die Perspektive steuern kann, aus der er deren Inhalte betrachtet. Ein Beispiel sind Panoramaaufnahmen, die auch als 360-Grad-Videos bezeichnet werden. Dazu werden omnidirektionale Kameras verwendet, mit denen sich Bilder und Videos aus allen Richtungen in einem Bereich von 360 Grad horizontal als auch vertikal aufnehmen lassen. Diese Aufnahmen ergeben insgesamt ein Kugelpanorama. Bei der Wiedergabe nimmt der Anwender eine fixe Position ein, die der ursprünglichen Position der Kamera entspricht, und kann sich von dort aus in verschiedene Richtungen umsehen. Im Idealfall kann der Anwender dabei seine Perspektive in den drei Rotationsachsen (Nicken, Gieren und Rollen) steuern, er verfügt also über drei Freiheitsgrade. Ein zweites Beispiel sind volumetrische Videos. Dabei wird um das Set herum eine größere Menge von Kameras platziert, mit denen Personen dreidimensional und lebensecht aufgenommen werden. Mit Head-Mounted Displays (HMDs) oder ähnlichen Wiedergabegeräten kann sich dann der Anwender frei in der dargestellten Szene bewegen und die Personen aus weitgehend beliebigen Perspektiven betrachten. Dabei verfügt er über bis zu sechs Freiheitsgrade, indem er die Perspektive sowohl in den drei Rotations- als auch den drei Translationsachsen (x-, y- und z-Achse) steuern kann. Über analoge Möglichkeiten verfügt man in 3D-Spielen sowie Anwendungen für virtuelle Realität, erweiterte Realität und gemischte Realität, die im folgenden unter dem Begriff der immersiven Medien subsummiert werden.
Für die Steuerung der Perspektive durch den Anwender wurden verschiedene Technologien entwickelt. Eine Übersicht zum Stand der Technik kann man der Arbeit von Boletsis (2017) entnehmen, siehe Boletsis C., The new era of virtual reality locomotion: a systematic literature review of techniques and a proposed typology, Multimodal Technologies and Interaction 2017, 1, 24, doi:10.3390/mti1040024. Eine weitere Übersichtsarbeit ist die von AI Zayer, MacNeilage und Folmer (2018), siehe AI Zayer M., MacNeilage P., and Folmer E., Virtual locomotion: a survey, IEEE Transactions on Visualization and Computer Graphics 2018 Dec 18, doi: 10.1109/TVCG.2018.2887379 [Epub ahead of print].
Sehr verbreitet ist der isomorphe Ansatz, bei dem die Steuerung der Perspektive in der virtuellen Umgebung durch gleichartige Körperbewegungen in der realen Umgebung erfolgt. So kann der Anwender durch physisches Gehen entsprechende Translationen der Perspektive in der Ebene veranlassen. Allerdings sind virtuelle Umgebungen in der Regel sehr viel größer als die für das Gehen verfügbare reale Umgebung, so dass man auf diese Weise nicht den gesamten Raum erkunden kann. Zudem trägt der Anwender meistens ein HMD, das ihn visuell von der Außenwelt vollständig abschirmt, woraus sich eine gravierende Unfallgefahr ergibt. In US 10,403,043 B2 wird eine Methode dargestellt, mit der ein Anwender, der sich in einer virtuellen Umgebung bewegt, vor Kollisionen mit Objekten in seiner realen Umgebung bewahrt werden soll. Aber auch unter diesen Bedingungen muss aus Sicherheitsgründen die Möglichkeit zur Translation in der realen Umgebung eingeschränkt werden. Oder der Anwender muss sich in einem abgesperrten Bereich ohne Hindernisse bewegen, der einem Boxring nicht unähnlich ist.
Für Rotationen der Perspektive wird häufig die Metapher des sich Umsehens verwendet. Entsprechend werden dann isomorphe Rotationen des Kopfes zur Steuerung dieser Freiheitsgrade vorgesehen. Damit verbunden ist zum einen das Problem, dass ungünstige Kopfhaltungen über einen längeren Zeitraum beibehalten werden müssen, wenn beispielsweise der Anwender die Perspektive nach oben ausgerichtet, um Vorgänge in einem virtuellen Himmel zu beobachten. Darüber hinaus wird gegebenenfalls sogar die Beweglichkeit des Kopfes überfordert, wenn der Anwender etwa Vorgänge direkt hinter sich wahrnehmen möchte und dazu den Kopf um 180 Grad drehen müsste.
Eine beispielhafte Umsetzung des isomorphen Ansatzes ist in US 9,067,097 B2 beschrieben. Hierbei werden am Körper des Anwenders mehrere Sensoren angebracht, um Daten über dessen Körperhaltungen und Körperbewegungen zu sammeln. Diese werden von einer Rechnereinheit dazu genutzt, um einen Avatar in einer virtuellen Umgebung diese Haltungen und Bewegungen ausführen zu lassen, so dass er sich weitgehend so verhält wie der Anwender in der realen Umgebung.
Als Alternative zum isomorphen Ansatz wurden spezielle Eingabegeräte entwickelt. Dabei handelt es sich z.B. um Controller, mit denen durch Finger- und Handbewegungen die Perspektive in der virtuellen Umgebung gesteuert werden kann. In Ware und Slipp (1991) werden drei Geräte zur Steuerung der Perspektive mit der Hand untersucht, ein isometrischer Joystick, eine konventionelle Maus und ein Positionssensor, siehe Ware C. & Slipp L., Using velocity control to navigate 3D graphical environments: A comparison of three interfaces, Proceedings of the Human Factors and Ergonomics Society Annual Meeting, vol. 35, no. 5, pp. 300-304, Sep. 1991. Mit speziellen Finger- und Handgesten kann die Steuerung auch direkt vorgenommen werden, wie dies z.B. in Huang et al. (2019) dargestellt ist, siehe Huang R. et al., Design of finger gestures for locomotion in virtual reality, Virtual Reality & Intelligent Hardware 2019, 1(1), 1-9. Dieser Ansatz hat jedoch den Nachteil, dass dann die Hände nicht mehr oder nur eingeschränkt für andere Aufgaben zur Verfügung stehen. Eingabegeräte können z.B. auch spezielle Stühle oder Plattformen sein, bei denen man durch Verlagerung des Körperschwerpunkts die Perspektive in der virtuellen Umgebung steuert. Diese Geräte sind allerdings mit einem erheblichen finanziellen Aufwand verbunden, so dass sie bislang kaum in größerem Umfang verwendet werden.
Ein Beispiel für den nicht-isomorphen Ansatz sind die Experimente von Chen et al. (2016), siehe Chen W. et al., Refined experiment of the altered human joystick for user cohabitation in multi-stereoscopic immersive CVEs, IEEE VR International Workshop on 3D Collaborative Virtual Environments, IEEE, Jan 2016, Greenville, United States. In den Experimenten standen mehrere Anwender in einer räumlichen Wiedergabeeinrichtung für virtuelle Umgebungen. Dabei steuerten sie über am Kopf befestigte Marker die Perspektive durch Körperbewegungen in Analogie zu einem Joystick. Das heißt, durch mehr oder weniger starke Auslenkungen ihres Kopfes relativ zu einer neutralen Ausgangsposition bestimmten sie die Geschwindigkeit, mit der sich die Perspektive in der virtuellen Umgebung bewegte. Durch eine Beschränkung der Auslenkungen in der realen Umgebung konnten die Anwender gleichzeitig sicher mit der virtuellen Umgebung interagieren.
Den genannten Ansätzen ist jedoch gemeinsam, dass sie in einem deutlichen Kontrast zu den Bedürfnissen der Anwender stehen. Besondere Darbietungen - sei es im Kino, im Theater, in der Oper, im Konzert oder im Stadion - werden ganz überwiegend in einer sitzenden Körperhaltung und vorzugsweise in der Gruppe erlebt, wobei gerne gleichzeitig gegessen und getrunken wird. Eine überzeugende technische Lösung für die Steuerung der Perspektive in immersiven Medien muss auch diesen Bedürfnissen der Anwender gerecht werden.
Figurenliste

1 - Steuerung der Perspektive mit sechs Freiheitsgraden, den drei Translations- und den drei Rotationsachsen
2 - Sensor zur Steuerung der Perspektive mit sechs Auslenkungsdimensionen, den drei Translations- und den drei Rotationsachsen
3 - Anwender mit autonomem Head-Mounted Display, wobei der Sensor zur Steuerung der Perspektive zentral auf dem Kopf angebracht ist
4 - Zuordnung von Freiheitsgraden und Auslenkungsdimensionen in der sitzenden, stehenden und liegenden Körperhaltung, am Beispiel der Translation und der Rotation des Sensors in Bezug auf die z-Achse
5 - Übersicht über die Zuordnung der sechs Freiheitsgrade i und der sechs Auslenkungsdimension j sowie die Parameter der entsprechenden Übertragungsfunktionen im ersten Ausführungsbeispiel, wobei die Auslenkungsdimension des Rollens um die z-Achse dem Freiheitsgrad zum Ein- und Ausschalten der Steuerung der Perspektive zugeordnet ist
6 - Beispiele für Übertragungsfunktionen zwischen der Auslenkung d des Sensors und der Geschwindigkeit v der Perspektive in der z-Achse
7 - Beispiele für Übertragungsfunktionen zwischen der Auslenkung d des Sensors und der Geschwindigkeit v der Perspektive beim Gieren um die y-Achse
8 - Prinzipieller Aufbau einer erfindungsgemäßen Anordnung im zweiten Ausführungsbeispiel mit Orbit-Steuerung der Perspektive

Offenbarung der Erfindung
In immersiven Medien hat der Anwender (9) die Möglichkeit, die Perspektive (7) in bis zu sechs Freiheitsgraden zu steuern (1), den drei Translationsachsen x, y und z (1, 2, 3) und den drei Rotationsachsen Nicken, Gieren und Rollen (4, 5, 6). Der Erfindung liegt die Aufgabe zugrunde, ein technisches Verfahren und eine technische Anordnung zu schaffen, mit denen der Anwender (9) die Perspektive (7) weitgehend unbelastet durch spezielle technische sowie physische und psychische Anforderungen steuern kann. Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass der Anwender (9) die Freiheitsgrade der Perspektive (7) durch räumlich kompatible Auslenkungen eines an seinem Körper angebrachten Sensors (8) mit nicht-isomorphen und nicht-linearen Übertragungsfunktionen steuert.
Bei dem Verfahren nimmt der Anwender (9) zunächst eine für ihn bequeme Körperhaltung ein. Über eine Wiedergabeeinheit, beispielsweise ein HMD (10), werden die Inhalte immersiver Medien dargestellt. Die Perspektive (7), aus der die Inhalte wiedergegeben werden, kann der Anwender (9) in einem oder mehreren Freiheitsgraden steuern. Dabei sind durch die Anwendung Grenzen gesetzt, die beispielsweise durch Objekte (15) vorgegeben werden, in und durch die sich der Anwender (9) nicht bewegen soll.
Zur Steuerung der Freiheitsgrade werden am Körper des Anwenders (9) mittelbar oder unmittelbar ein oder mehrere Geräte zur Messung von Körperhaltungen und Körperbewegungen befestigt, die idealerweise in einem einzelnen Bauelement integriert sind. Dieses Bauelement wird im Folgenden als Sensor (8) bezeichnet (2). Der Anwender (9) kann den Sensor (8) relativ zu der für ihn bequemen Ausgangsposition in einer oder mehreren Dimensionen auslenken, wobei dies sowohl Translationen als auch Rotationen beinhaltet. Für jede Auslenkungsdimension wird ein Wertebereich definiert, der vom Anwender (9) aus Gründen von Komfort und Sicherheit nicht überschritten werden sollte. Durch eine geeignete Wahl der Grenzen für Rotationen kann sichergestellt werden, dass der Anwender (9) keine stark verdrehten Körperhaltungen einnehmen muss. Eine geeignete Wahl der Grenzen für Translationen ist insbesondere für die sichere Verwendung eines HMDs (10) von Bedeutung. Die Beschränkungen einer Auslenkungsdimension können sich in den beiden Richtungen unterscheiden. So kann man es dem Anwender (9) beispielsweise ermöglichen, sich entlang der z-Achse (3) relativ weit nach vorne zu beugen, er sich aber aus Sicherheitsgründen weniger weit zurücklehnen darf, indem die Auslenkung des Sensors (8) in der z-Achse (3) nach hinten stärker begrenzt wird.
Zwischen jedem Freiheitsgrad und einem oder mehreren Auslenkungsdimensionen wird eine eindeutige und räumlich kompatible Beziehung definiert. Für die meisten Anwendungen besteht dann eine räumlich kompatible Beziehung, wenn die Auslenkungen des Sensors (8) jeweils gleichsinnige Bewegungen der Perspektive (7) bewirken. Dann führt beispielsweise eine Auslenkung des Sensors (8) entlang der z-Achse (3) zu einer Bewegung der Perspektive (7) entlang der z-Achse (3). Dieses Prinzip wird im Folgenden als gleichsinnige Steuerung bezeichnet. Kompatibel bedeutet dabei auch, dass sich für gewöhnlich die Perspektive (7) nicht bewegt, wenn sich der Anwender (9) in der Ausgangsposition befindet.
Für jede dieser Beziehungen wird eine Übertragungsfunktion definiert. Die Übertragungsfunktionen sind jeweils nicht-isomorph, als Zusammenhang zwischen der Geschwindigkeit der Perspektive (7) in dem Freiheitsgrad und den Auslenkungen des Sensors (8) in den zugeordneten Dimensionen. Rotationen und Translationen folgen dabei dem gleichen Prinzip, wobei sie sich aber in der Regel in den Parametern der Übertragungsfunktionen unterscheiden, bedingt durch den unterschiedlichen Charakter der beiden Eingangsgrößen Auslenkungswinkel bzw. Auslenkungsdistanz. Das verwendete Prinzip hat den Vorteil, dass der Anwender (9) sich auch bei einer begrenzten Auslenkung des Sensors (8) in allen Freiheitsgraden beliebig weit in der virtuellen Umgebung bewegen und damit im Idealfall jede beliebige Perspektive (7) einnehmen kann. Die Übertragungsfunktionen sind zudem nicht-linear, es handelt sich also beispielsweise um Potenzfunktionen oder Exponentialfunktionen.
Der Anwender (9) lenkt durch Körperbewegungen den Sensor (8) relativ zu seiner Ausgangsposition aus und beendet dessen Auslenkung nach Erreichen der gewünschten Perspektive (7) durch Rückkehr in die Ausgangsposition. Die Auslenkungen werden von einer Rechnereinheit registriert, die mit einer Steuer-, einer Speicher- und einer Verarbeitungseinheit ausgestattet ist. Die Rechnereinheit ermittelt auf der Grundlage der auf der Speichereinheit abgelegten Übertragungsfunktionen aus der Auslenkung des Sensors (8) die Geschwindigkeit der Perspektive (7). Die Inhalte der vom Anwender (9) betrachteten immersiven Medien werden aus der neuberechneten Perspektive (7) in der Wiedergabeeinheit dargestellt. Kehrt der Anwender (9) in die Ausgangsposition zurück, wird die zu diesem Zeitpunkt eingenommene Perspektive (7) solange beibehalten, bis der Anwender (9) erneut Auslenkungen des Sensors (8) vornimmt. Damit ist z.B. sichergestellt, dass er von einer zeitweilig verdrehten immer wieder zu einer entspannten Ausgangshaltung zurückkehrt, um dann etwas hinter oder über sich über eine längere Zeit zu beobachten.
Das erfindungsgemäße Verfahren ist semantisch neutral. Es werden keine speziellen Fortbewegungsmetaphern verwendet, wie dies beim bisherigen Stand der Technik häufig der Fall ist, sodass es allgemeiner einsetzbar ist. Der Anwender (9) kann mit dem Verfahren - ohne selbst im realen Raum größere Bewegungen ausführen zu müssen - die Freiheitsgrade in ihrem gesamten Wertebereich steuern und zudem jederzeit in die für ihn bequeme Ausgangsposition zurückkehren. Mit der Begrenzung der Auslenkungen ergibt sich dadurch zugleich die Möglichkeit, dass mehrere Anwender (9) gleichzeitig in einem Raum agieren können. Das Verfahren stellt minimale Anforderungen an die Hardware, letztlich ist einzig der Sensor (8) zusätzlich zu den üblicherweise eingesetzten Geräten zur Wiedergabe immersiver Medien erforderlich.
Der Anwender (9) muss die Möglichkeit haben, die Steuerung der Perspektive (7) flexibel ein- und ausschalten zu können, z.B. um Pausen einzulegen, ohne dass er das HMD (10) oder die anderen verwendeten Geräte immer wieder ablegen und neu anlegen muss. Dies ist beispielsweise dann erforderlich, wenn der Anwender (9) etwas trinken möchte. In der Regel legt er dabei seinen Kopf in den Nacken und rotiert den Sensor (8) um die x-Achse (4), was bei eingeschalteter Steuerung zu einer entsprechenden Rotation der Perspektive (7) führen würde. Das Ein- und Ausschalten kann z.B. durch Verwendung des Rollens um die z-Achse (6) realisiert werden. Durch eine einfache Geste, das Rollen (6) des Kopfes nach links, kann der Anwender (9) die Steuerung der Perspektive (7) in der virtuellen Umgebung unterbrechen. Die zu diesem Zeitpunkt eingenommene Perspektive (7) wird dann beibehalten, unabhängig von den nachfolgenden Auslenkungen des Sensors (8). Durch das Rollen (6) des Kopfes nach rechts wird die Steuerung der Perspektive (7) wieder aktiviert. Die Wiedergabe der immersiven Medien kann während des gesamten Vorgangs weiterlaufen.
Benutzt der Anwender (9) ein HMD (10) als Wiedergabeeinheit, sollte beim Ausschalten der Steuerung wahlweise zusätzlich die reale Umgebung wahrnehmbar werden, so dass er sicher agieren kann, beispielsweise das Getränk greifen und wieder abstellen. Auch dann sollte es nicht erforderlich sein, dass der Anwender (9) sein HMD (10) absetzen muss, z.B. indem im Gerät eingebaute Frontkameras (11) die Außensicht auf die Bildschirme im HMD (10) übertragen.
Ein zeitweiliges Ausschalten der Steuerung ist auch beim Wechsel der Körperhaltung erforderlich (4). Bei einer sitzenden Körperhaltung ist dies beispielsweise der Fall, wenn der Anwender (9) von einer aufrechten in eine entspannt zurückgelehnte Sitzhaltung wechselt. Dann sollte der Anwender (9) die Möglichkeit haben, die Steuerung auszuschalten, eine neue Körperhaltung einzunehmen und die Steuerung wieder einzuschalten. Ein ähnliches Szenario liegt vor, wenn der Anwender (9) von der sitzenden in die stehende Körperhaltung wechselt oder umgekehrt. Auch hier ist eine kurzzeitige Unterbrechung der Steuerung notwendig, wobei dann zusätzlich auch aus Sicherheitsgründen die reale Umgebung eingeblendet werden sollte. Nach dem Wiedereinschalten der Steuerung wird die zu diesem Zeitpunkt eingenommene Körperhaltung als Ausgangsposition genommen, relativ zu der die Auslenkungen des Sensors (8) bestimmt werden.
Wechselt der Anwender (9) von einer sitzenden oder stehenden in eine liegende Körperhaltung, rotiert sein eigenes Koordinatensystem, sodass für räumlich kompatible Reaktionen zusätzlich die Zuordnung der Translations- und Rotationsachsen angepasst werden muss. Auslenkungen des Sensors (8) in der z-Achse (3) werden nun durch Ducken bzw. Strecken des Körpers bewirkt. Deshalb ist die z-Achse (3) des Sensors (8) nun der y-Achse (2) der Perspektive (7) zugeordnet, und das Rollen um die z-Achse (6) des Sensors (8) bewirken ein Gieren um die y-Achse (5) der Perspektive (7). Dabei ist noch die unterschiedliche Beweglichkeit in den Auslenkungsdimensionen zu berücksichtigen, beispielsweise durch die Anpassung von Parametern der Übertragungsfunktionen. Dadurch wird es dem Anwender (9) ermöglicht, dass er die Perspektive (7) im Liegen genauso steuern kann wie im Sitzen oder Stehen.
Änderungen der Körperhaltung können auch von Sensoren direkt erkannt werden, insbesondere wenn es sich um großräumigere Bewegungen wie dem Wechsel zwischen Sitzen, Stehen und Liegen handelt. Dann sollte aus Sicherheitsgründen die Steuerung der Perspektive (7) automatisch ausgeschaltet und die Darstellung der realen Umgebung eingeblendet werden, als Ergänzung zu den Umschaltmöglichkeiten des Anwenders (9).
Eine erfindungsgemäße Anordnung beinhaltet die genannten technischen Komponenten, mit denen der Anwender (9) weitgehend unbelastet durch spezielle technische sowie physische und psychische Anforderungen die Perspektive (7) in immersiven Medien in einem oder mehreren Freiheitsgraden steuern kann.
Als Wiedergabeeinheiten kommen verschiedene Technologien in Frage, insbesondere HMDs (10) und großflächige Projektionssysteme (14). Diese sollten so gestaltet sein, dass sich der Anwender (9) frei bewegen kann, ohne auf Kabel oder ähnliches achten zu müssen. HMDs (10) sollten bevorzugt als autonome Geräte ausgeführt sein, in denen alle zentralen technischen Komponenten (Sensor, Bildschirme, Stromversorgung sowie Rechnereinheit mit Steuer-, Speicher- und Verarbeitungseinheit) integriert sind.
Mit sechs Freiheitsgraden kann sich der Anwender (9) beliebig in der virtuellen Umgebung bewegen. Dies ist aber nicht bei allen immersiven Medien möglich und nicht in allen Anwendungskontexten optimal. So hat man bei konventionellen 360-Grad-Videos nur die drei Rotationsachsen als Freiheitsgrade zur Verfügung. Zudem kann oder möchte der Anwender (9) möglichweise auf einen oder mehrere Freiheitsgrade verzichten, etwa das Rollen um die z-Achse (6), das selten zum Betrachten von Medieninhalten genutzt wird. Die zugeordneten Auslenkungsdimensionen können dann zur Steuerung anderer Funktionen eingesetzt werden. Insofern sind die Anzahl der Freiheitsgrade sowie die Anzahl und Zuordnung der Auslenkungsdimensionen an die Eigenschaften der jeweiligen immersiven Medien und die Bedürfnisse des Anwenders (9) anzupassen.
Der Sensor (8) muss an einem Körperteil befestigt werden, das eine hinreichende Beweglichkeit zur Ausführung der erforderlichen Auslenkungen aufweist. Bei einer größeren Zahl von Dimensionen ist dies idealerweise zentral auf dem Kopf (3), so dass die Beweglichkeit von Kopf und Oberkörper für räumlich kompatible Auslenkungen des Sensors (8) verwendet werden kann.
Eine hohe Beweglichkeit weist auch die Hand auf. Diese könnte man beispielsweise mit einem Sensor (8) nutzen, der seine Daten kabellos überträgt. In einer sitzenden Haltung könnte der Anwender (9) den Arm auf eine Lehne auflegen und hätte mit der Kombination von Hand und Unterarm eine ähnliche Anordnung von Körperteilen wie bei der Kombination von Kopf und Oberkörper. Damit wäre jedoch der Nachteil verbunden, dass diese Hand dann nicht oder nur mit Einschränkungen für anderen Aufgaben verwendet werden kann, etwa für die Interaktion mit Objekten (15) in der virtuellen Umgebung. Eine weitere Alternative ist der Fuß, der zusammen mit dem Unterschenkel ebenfalls eine ähnliche Konfiguration von Körperteilen bildet. Allerdings ist dessen Beweglichkeit in der Regel nicht ausreichend trainiert, um die erforderlichen feinmotorischen Auslenkungen auszuführen.
Die Transformationseigenschaften der Beziehung zwischen der Perspektive (7) und dem Sensor (8) werden durch Übertragungsfunktionen spezifiziert. Eine solche Funktion ist für jeden Freiheitsgrad festzulegen. Die Steuerung der Perspektive (7) wird für den Anwender (9) erleichtert, wenn jedem Freiheitsgrad eine Auslenkungsdimension des Sensors (8) zugeordnet ist. Weiter ist von Vorteil, wenn alle Übertragungsfunktionen eine einheitliche Struktur aufweisen. Das bedeutet beispielsweise, dass Rotationen dann grundsätzlich genauso behandelt werden wie Translationen.
Bei der Wahl geeigneter Übertragungsfunktionen steht das Kriterium im Vordergrund, ob die Beziehung zwischen Auslenkung des Sensors (8) und Geschwindigkeit der Perspektive (7) vom Anwender (9) leicht erlernt und mühelos beherrscht werden kann. Dies gilt beispielsweise für Potenzfunktionen oder Exponentialfunktionen, sofern bei der mathematischen Ausformulierung der Beziehung wichtige Rahmenbedingungen beachtet werden.
Im Folgenden soll dies am Beispiel der Potenzfunktionen verdeutlicht werden, ohne dass damit eine einseitige Beschränkung der Erfindung auf diese Funktionen impliziert wird. Für Freiheitsgrad i und Dimension j können geeignete Beziehungen von Geschwindigkeit v_i und Auslenkung d_j aus der allgemeinen Funktionsgleichung $v_{i} (d_{j}) = s g n (d_{j}) \cdot (a_{i, j} \cdot {| d_{j} |}^{b_{i, j}} + c_{i, j})$
abgeleitet werden, mit den funktionsspezifischen Parametern a_i,j ≥ 0, b_i,j > 1, c_i,j, $d_{j}^{m i n}$
und $d_{j}^{m a x} .$
Dabei können die Werte für diese Parameter je nach Anwendungskontext im zeitlichen Verlauf variieren.
Das wichtigste Element der Übertragungsfunktion ist der Term |d_j|^b
i,j. Für b_i,j = 1 würde es sich um eine lineare Beziehung handeln. Dies hätte allerdings den Nachteil, dass bereits kleinste Auslenkungen des Sensors (8) zu Bewegungen der Perspektive (7) im virtuellen Raum führen würden. Bei kleineren Werte für b_i,j wäre dieser Effekt sogar noch stärker, etwa bei b_i,j = 0.5, der Quadratwurzelfunktion. Das würde vom Anwender (9) erfordern, dass er durch zusätzliche Muskelanspannung unwillkürliche Bewegungen des Körpers unterdrücken muss, was für ihn unbequem und anstrengend ist. Zudem können kleinere Bewegungen auch von außen induziert werden, wenn der Anwender (9) beispielsweise im Auto oder im Zug unterwegs ist. Dann ist es in der Regel unmöglich, diese äußeren Einflüsse durch eigene Bewegungen zu kompensieren.
Insofern ist es also erforderlich, dass der Effekt unwillkürlicher Bewegungen möglichst klein gehalten wird, die Übertragungsfunktion also eine geringe initiale Sensitivität aufweist. Eine Möglichkeit besteht in der Definition einer Totzone, beispielsweise über die ersten 10% des Wertebereichs der Auslenkungen. Innerhalb der Totzone hätten dann Auslenkungen des Sensors (8) überhaupt keine Auswirkungen auf die Geschwindigkeit der Perspektive (7), diese wäre konstant 0. Der Nachteil eines solchen Vorgehens besteht darin, dass der Übergang von der Totzone in den dynamischen Bereich für den Anwender (9) häufig abrupt erfolgt, indem die erste Ableitung der Übertragungsfunktion an dieser Stelle unstetig ist.
Deswegen wird hier als Alternative bevorzugt, dass eine geringe initiale Sensitivität durch eine geeignete Wahl der Parameter a_i,j und b_i,j der Übertragungsfunktion realisiert wird. Die initiale Sensitivität kann mit b_i,j > 1 verringert werden, beispielsweise mit b_i,j = 3, der kubischen Funktion. Zugleich führen dann größere Auslenkungen zu einer stärkeren Zunahme der Geschwindigkeit, mit der man größere Entfernungen zurücklegen kann. Mit der Festlegung des Wertebereiches für die Auslenkung durch $d_{j}^{m i n} und d_{j}^{m a x}$
kann aber die Geschwindigkeit nicht beliebig schnell werden.
Je größer b_i,j ist, desto geringer ist die initiale Sensitivität und umso ausgeprägter ist die Dynamik, mit der die Geschwindigkeit bei wachsender Auslenkung zunimmt. Damit wird zugleich deutlich, dass b_i,j nicht beliebig groß gewählt werden kann, da andernfalls die hohe Geschwindigkeit keine kontrollierten Bewegungen in der virtuellen Umgebung mehr zulässt. Insofern muss also ein Kompromiss zwischen einer ausreichenden Verringerung der initialen Sensitivität und einer begrenzten Dynamik der Übertragungsfunktion gefunden werden, der beispielsweise bei einer quadratischen Beziehung (b_i,j = 2) liegen kann. Geeignete Werte für b_i,j hängen auch von der physischen und psychischen Konstitution der Anwender (9), den technischen Eigenschaften der Anwendung sowie den Rahmenbedingungen seiner Nutzung ab und sollten deshalb auf der Grundlage von Anwendertests untersucht und festgelegt werden. Dabei kann dann geprüft werden, ob von außen induzierte Bewegungen eine zusätzliche Verringerung der initialen Sensitivität erforderlich machen.
Eine solche Verringerung kann auch in Kombination mit einem geeigneten Wert des Parameters a_i,j erzielt werden, mit 0 < a_i,j < 1. Der Parameter a_i,j kann zudem zeitweilig auf den Wert 0 gesetzt werden, wenn Bewegungen der Perspektive (7) im entsprechenden Freiheitsgrad unterbunden werden sollen. So kann beispielsweise für Neulinge die Bewegung in der virtuellen Umgebung erleichtert werden, indem nicht von vornherein alle Freiheitsgrade verfügbar sind, sondern zunächst nur eine Teilmenge, um dann später auch die anderen freizuschalten.
Der Parameter c_i,j hat unter normalen Bedingungen den Wert 0, so dass sich bei einer Auslenkung von 0 die Perspektive (7) nicht in der virtuellen Umgebung bewegt. Mit diesem Parameter lässt sich eine automatische Bewegung der Perspektive (7) in dem entsprechenden Freiheitsgrad realisieren, wenn der Anwender (9) in der virtuellen Umgebung keinen Einfluss auf diese Bewegung hat, etwa wenn er mit einer konstanten Geschwindigkeit auf einer Eisscholle treiben sollte. Allgemeiner lassen sich hier alle Bewegungseinflüsse implementieren, die zusätzlich auf die Veränderung der Perspektive (7) einwirken, so auch beim Autofahren oder dem Achterbahn fahren in der virtuellen Umgebung. Das bedeutet zugleich, dass diese Einflüsse in der Regel variabel sind, der Wert für c_i,j im Zeitverlauf also variieren kann.
Die Signumfunktion sgn(d_j) schließlich bewirkt, dass die Übertragungsfunktion punktsymmetrisch zum Ursprung des Koordinatensystems ist. Auslenkungen des Sensors (8) in den negativen Wertebereich führen damit auch zu negativen Werten für die Geschwindigkeit der Perspektive (7) in dem entsprechenden Freiheitsgrad, was einer Umpolung der Bewegungsrichtung entspricht.
Das erfindungsgemäße Verfahren sollte auch unter bestimmten Bedingungen mit konventionellen Verfahren zur Steuerung der Perspektive (7) in immersiven Medien kombiniert werden. Dies ist beispielsweise sinnvoll, wenn der Anwender (9) die Orientierung im virtuellen Raum verloren hat. Insbesondere Neulingen kann dies passieren, wenn sie in einer für sie ungewohnten virtuellen Umgebung unterwegs sind. Dann kann sich etwa durch wiederholte Rotationen in den drei Achsen für sie ein Zustand der Orientierungslosigkeit einstellen, so dass es ihnen schwer fällt, durch gezielte Kopfbewegungen wieder in eine unrotierte Lage zurückzukehren. Für solche Situationen sollte die Möglichkeit vorgesehen werden, die Perspektive (7) wieder auf ihre Ausgangswerte zurückzusetzen.
Ein zweiter Anlass für die Kombination mit konventionellen Verfahren liegt dann vor, wenn die virtuelle Umgebung in ihrer räumlichen Ausdehnung sehr groß ist. Da für den Sensor (8) in jeder Auslenkungsdimension der Wertebereich begrenzt ist, können bei der gegebenen Form der Übertragungsfunktionen keine beliebig großen Geschwindigkeiten erzielt werden. Deshalb sollten Anwendungen mit ausgedehnten virtuellen Umgebungen dem Anwender (9) auch die Möglichkeit bieten, an weit entfernte Orte zu springen, etwa durch Auswahl in einem Menü mit einer Menge von Zielorten oder durch Verwendung eines Verfahrens zur Teleportation.
In den meisten Anwendungsfällen beinhaltet eine räumlich kompatible Zuordnung von Freiheitsgraden und Auslenkungsdimensionen, dass die Auslenkungen des Sensors (8) jeweils gleichsinnige Bewegungen der Perspektive (7) bewirken, was hier als gleichsinnige Steuerung bezeichnet wird. Eine geeignete Zuordnung hängt aber auch vom semantischen Gehalt der immersiven Medien ab. Bewegt sich beispielsweise der Anwender (9) als Autofahrer oder als Skifahrer in der virtuellen Umgebung, sollten Auslenkungen des Sensors (8) in der x-Achse (1) zu einem Gieren der Perspektive (7) um die y-Achse (5) führen. Für eine räumlich kompatible Zuordnung muss also gegebenenfalls eine Translationsachse des Sensors (8) mit einer Rotationsachse der Perspektive (7) verknüpft werden.
Ein weiterer Grund für eine spezielle Zuordnung von Freiheitsgraden und Auslenkungsdimensionen sind besondere Aufgabenstellungen des Anwenders (9). So wird z.B. im Rahmen des virtuellen Prototyping ein digitaler Entwurf eines Produkts in einer virtuellen Umgebung dargestellt, damit sich der Anwender (9) einen Eindruck davon verschaffen kann, ob und inwieweit dieser bereits die ursprünglich formulierten Anforderungen erfüllt. Deshalb sollte die Steuerung der Perspektive (7) daraufhin ausgelegt sein, dass sich der Anwender (9) um das virtuelle Objekt (15) herumbewegen und es von allen Seiten betrachten kann. Entsprechend würden die Translationen der Perspektive (7) sich auf Kugeloberflächen mit dem zu beurteilenden Objekt (15) als Zentrum beziehen. Eine solche Steuerung der Perspektive (7) auf Umlaufbahnen oder kurz Orbit-Steuerung wird in den Ausführungsbeispielen erläutert.
Neben den räumlichen Freiheitsgraden der Perspektive (7) können mit dem erfindungsgemäßen Verfahren auch andere Freiheitsgrade immersiver Medien gesteuert werden. Ein Anwendungsfall ist die Position des Mauszeigers in einem Menü, das in die virtuelle Umgebung eingeblendet wird. Für die Wiedergabe immersiver Medien ist zudem die zeitliche Dimension von besonderer Bedeutung. Wenn der Anwender (9) z.B. die Aufzeichnung des Verhaltens einer Person zum Nachahmungslernen nutzen möchte, ist es für ihn hilfreich, dass er die zeitliche Position in den Medien analog zu einer räumlichen Dimension steuern kann. Das heißt, er sollte sich entlang der Zeitachse beliebig bewegen können, um sich die für ihn interessanten Verhaltensabschnitte wiederholt widergeben zu lassen. Ein zweiter zeitlicher Aspekt ist die Wiedergabegeschwindigkeit, die der Anwender (9) steuern können sollte, um einen Verhaltensabschnitt mehr oder weniger eingehend zu betrachten.
Die Steuerung dieser Freiheitsgrade kann mit Auslenkungsdimensionen erfolgen, die nicht für die Bewegung der Perspektive (7) im Raum benötigt werden. Wird z.B. das Rollen um die z-Achse (6) nicht benötigt, kann durch entsprechende Kopfrotationen die Geschwindigkeit der Wiedergabe verlangsamt und beschleunigt werden. Als Alternative besteht die Möglichkeit, andere Bewegungen des menschlichen Körpers zu messen, die unabhängig von den Bewegungen zur Steuerung der räumlichen Freiheitsgrade ausgeführt werden können. Als eine Option bieten sich Bewegungen des Kiefergelenks an. Mit einem Sensor, der z.B. in einem flexiblen Kinnriemen untergebracht ist, mit dem das HMD (10) am Kopf befestigt wird, können diese Bewegungen registriert und zur Steuerung der zeitlichen Freiheitsgrade genutzt werden. Der Sensor (8) kann in drei Dimensionen ausgelenkt werden, durch (a) scharnierartige Hebungen und Senkungen des Unterkiefers um die x-Achse (4), (b) Mahlbewegungen als Gieren des Unterkiefers um die y-Achse (5) sowie (c) Vor- und Zurückschieben des Unterkiefers entlang der z-Achse (3).
Insbesondere in Computerspielen gibt es eine Vielzahl von Freiheitsgraden, die in analoger Form vom Anwender (9) gesteuert werden können, beispielsweise Kräfte, die in der virtuellen Umgebung ausgeübt werden sollen. Und der menschliche Körper weist eine Vielzahl von Bewegungsmöglichkeiten auf, die zur Steuerung dieser Freiheitsgrade verwendet werden können. Dies schließt einzelne Paare von Muskelgruppen (Agonist und Antagonist) ein, wie sie beispielsweise von Bizeps und Trizeps gebildet werden. Bei der Umsetzung solcher Möglichkeiten sind die Kriterien Komfort und Sicherheit des Anwenders (9) in den Vordergrund zu stellen, als den Kernkriterien für Gestaltungslösungen nach dem erfindungsgemäßen Verfahren.
Ausführungsbeispiele
Ausführungsformen der erfindungsgemäßen Anordnung werden in zwei Beispielen dargestellt. Im ersten Ausführungsbeispiel wird zunächst ein einzelner Anwender (9) betrachtet, der immersive Medien in seiner häuslichen Umgebung erleben möchte, etwa ein volumetrisches Video. Idealerweise verwendet er dabei ein autonomes HMD (10), in dem alle erforderlichen technischen Komponenten in einem Gerät integriert sind, einschließlich eines Sensors (8), mit dem die Bewegung des HMDs (10) in den sechs Auslenkungsdimensionen registriert wird (3). Zusätzlich verfügt das HMD (10) über Frontkameras (11), mit denen der Anwender (9) seine reale Umgebung wahrnehmen kann, ohne das HMD (10) absetzen zu müssen. Eine Übersicht über die Zuordnung von Freiheitsgraden und Auslenkungsdimensionen sowie den Parametern der entsprechenden Übertragungsfunktionen zeigt 5.
In der Regel möchte der Anwender (9) die immersiven Medien in einer sitzenden Körperhaltung erleben. Hierzu kann er einen beliebigen Stuhl oder Sessel auswählen. Idealerweise sollte sich die Rückenlehne automatisch an jede Sitzposition anpassen, so dass der Rücken weiterhin optimal unterstützt wird, wenn der Anwender (9) sich nach vorne beugt oder zurücklehnt. Er kann die Perspektive (7), aus der die immersiven Medien dargestellt werden, nach dem Prinzip der gleichsinnigen Steuerung mit nicht-isomorphen Übertragungsfunktionen bewegen. Beugt sich der Anwender (9) beispielsweise nach vorne, bewegt er die Perspektive (7) mit einer gewissen Geschwindigkeit in der virtuellen Umgebung nach vorne. Diese Geschwindigkeit ist umso größer, je weiter er sich nach vorne beugt. Allerdings gibt es aus Sicherheitsgründen eine maximale Auslenkung des Sensors (8), wenn der Anwender (9) darüber hinaus geht erhält er einen entsprechenden Hinweis und die Geschwindigkeit nimmt nicht weiter zu. Im Ausführungsbeispiel wird einzig das Rollen um die z-Achse (6) nicht zur Steuerung der Perspektive (7) verwendet. Über mittlere Auslenkungen in dieser Dimension wird die Steuerung der Perspektive (7) analog zu einem Schalter ein- und ausgeschaltet, große Auslenkungen steuern zusätzlich die Frontkameras (11).
Im Folgenden wird dargestellt, wie man mit Bezug auf die Potenzfunktion in Gleichung (1) zweckmäßigerweise die Übertragungsfunktion für die Translationen in der z-Achse (3) bestimmt. Bei der Auslenkung des Sensors (8) um 0 cm soll auch die resultierende Geschwindigkeit 0 cm/s sein, damit ist der Parameter c_3,3 = 0. Der Parameter a_3,3 wird zunächst auf den Wert 1 gesetzt. Die maximale Auslenkung des Sensors (8) nach vorne soll 20 cm betragen. Zudem sollen als maximale Geschwindigkeit in der virtuellen Umgebung 5 km/h = 140 cm/s erreicht werden, was einem normalen Gehen entspricht. Mit Auslenkung in cm und Geschwindigkeit in cm/s ergibt sich folgende Gleichung zur Berechnung von b_3,3: $b_{3,3} = log (140) / log (20) = 1.6496$
Die entsprechende Übertragungsfunktion ist in 6 dargestellt. Mit diesem Wert von b_3,3 liegt die Dynamik der resultierenden Funktion noch unterhalb der einer quadratischen Funktion. Deswegen ist die initiale Sensitivität relativ hoch. Man kann diese durch eine geeignete Wahl von a_3,3 < 1 verringern, beispielsweise mit a_3,3 = 0.2. Dann berechnet sich b_3,3 mit $b_{3,3} = (log (140) - log (0.2)) / log (20) = 2.1868$
Die resultierende Übertragungsfunktion ist ebenfalls in 6 wiedergegeben. Die initiale Sensitivität ist nun deutlich geringer, ohne dass die Dynamik der Funktion den Anwender (9) überfordern würde. Der maximale Wert für die Auslenkung des Sensors (8) nach hinten wird aus Sicherheitsgründen auf-10 cm festgelegt. Dabei soll aber die gleiche Übertragungsfunktion wie für die Auslenkung nach vorne gelten. Damit beträgt die maximale Geschwindigkeit für Rückwärtsbewegungen -30.7489 cm/s oder -1.1070 km/h.
Die Parameter für die Translationen in der x- und der y-Achse (1, 2) sind in 5 aufgeführt. Diese unterscheiden sich von den Translationen in der z-Achse (3) einzig in dem Wertebereich der Auslenkung des Sensors (8). Für die Auslenkung in der x-Achse (1) wird in beiden Richtungen ein Wert von 20 cm zugelassen. Die Auslenkung in der y-Achse (2) wird in beiden Richtungen auf 10 cm beschränkt, da bei einer sitzenden Körperhaltung die Beweglichkeit in dieser Dimension im Allgemeinen geringer ist.
Rotationen erfolgen nach dem gleichen Prinzip. Dreht der Anwender (9) seinen Kopf um die y-Achse (5) nach rechts, so rotiert die Perspektive (7) in der y-Achse (5) mit einer gewissen Geschwindigkeit nach rechts. Je weiter das Gieren (5) nach rechts, desto schneller ist die Drehung der Perspektive (7). Auch hier gibt es wieder einen Maximalwert und mit der Rückkehr in den Ausgangszustand wird die Drehung beendet.
Im Folgenden wird dargestellt, wie man mit Bezug auf Gleichung (1) zweckmäßigerweise die Übertragungsfunktion für das Gieren um die y-Achse (5) bestimmt. Bei der Auslenkung des Sensors (8) um 0 Grad soll auch die resultierende Geschwindigkeit 0 Grad/s sein, damit ist der Parameter c_5,5 = 0. Der Parameter a_5,5 wird zunächst auf den Wert 1 gesetzt. Die Auslenkung des Sensors (8) wird in beiden Rotationsrichtungen auf 45 Grad begrenzt. Bei der genauen Festlegung der Grenzen kann auch auf biomechanische Untersuchungen und statistische Daten zur Beweglichkeit der Kopfgelenke und anderer Körperteile Bezug genommen werden. Als maximale Geschwindigkeit in der virtuellen Umgebung sollen 90 Grad/s erreicht werden, eine Rotation um 360 Grad dauert dann also 4 s. Mit Auslenkung in Grad und Geschwindigkeit in Grad/s ergibt sich folgende Gleichung zur Berechnung von b_5,5: $b_{5,5} = log (90) / log (45) = 1.1821$
Das Ergebnis ist in 7 dargestellt. Diesmal ist die Übertragungsfunktion fast linear und weist damit kaum eine Verringerung der initialen Sensitivität auf. Diese wird mit dem Parameter a_5,5 implementiert, wobei hier a_5,5 = 0.05 gewählt wird. Dann berechnet sich b_5,5 mit $b_{5,5} = (log (90) - log (0.05)) / log (45) = 1.9691$
Dann ergibt sich eine annähernd quadratische Funktion, und aus 7 ist ersichtlich, dass die initiale Sensitivität nun deutlich reduziert ist.
Die Parameter für die Rotationen um die x- und die z-Achse (4, 6) sind in 5 aufgeführt. Für das Nicken um die x-Achse (4) stimmen deren Werte mit denen für das Gieren um die y-Achse (5) überein. Die Auslenkung beim Rollen um die z-Achse (6) wird in beiden Richtungen auf 22.5 Grad halbiert, da die Beweglichkeit in dieser Dimension geringer ist. Dabei ist zu berücksichtigen, dass das Rollen (6) nicht zu einer Bewegung der Perspektive (7) führt, sondern als Schalter für die Aktivierung und Deaktivierung der Steuerung der Perspektive (7) und der Frontkameras (11) dient.
Diese Beziehung zwischen der Auslenkung des Sensors (8) und dem Wert für den Freiheitsgrad kann formal als Treppenfunktion dargestellt werden.
Das Ausführungsbeispiel kann zu einer Gruppensituation erweitert werden. Eingangs wurde festgestellt, dass mit den bisherigen Verfahren beispielsweise das Betrachten von volumetrischen Videos mit HMDs (10) durch mehrere Personen aus Sicherheitsgründen nicht möglich ist. Dies steht im Widerspruch zu dem Bedürfnis vieler Anwender (9) nach einem Gruppenerlebnis. Bei dem Ausführungsbeispiel wurde für die Translationen eine maximale Auslenkung des Sensors (8) um 20 cm festgelegt. Somit können auch größere Gruppen von Personen volumetrische Videos oder andere immersive Medien in einem Raum erleben.
Bei mehreren Anwendern (9) sollte das Video in den HMDs (10) synchronisiert abgespielt werden, um ein gemeinschaftliches Erleben der Inhalte sicherzustellen. Die Audio-Wiedergabe sollte ebenfalls über das Gerät erfolgen, damit sie an die individuelle räumliche Position des Anwenders (9) in der virtuellen Umgebung angepasst ist. Steht jemand auf, wird dies vom Sensor (8) seines HMDs (10) registriert und die Steuerung der Perspektive (7) für diesen Anwender (9) unterbrochen. Zudem werden die Frontkameras (11) seines HMDs (10) eingeschaltet, damit er sicher seinen Platz verlassen und später wieder zurückkehren kann. Durch Rollen des Kopfes um die z-Achse (6) kann er auch selbst solche Unterbrechungen initiieren, um beispielsweise zu essen und zu trinken. Im Unterschied zu konventionellen Kinos müssen die Sitze nicht mehr zu einer gemeinsamen Leinwand hin ausgerichtet werden. Aus atmosphärischen Gründen bietet es sich deshalb an, die Sitze in der Art einer Arena um ein Zentrum herum ansteigend anzuordnen. Emotionale oder verbale Reaktionen der Anwender (9) können so am besten kommuniziert und wahrgenommen werden.
Die Erfindung wird in einem zweiten Ausführungsbeispiel anhand einer Entwurfsbesprechung dargestellt (8). Solche Besprechungen sind ein integraler Bestandteil des virtuellen Prototyping, bei denen der digitale Entwurf eines neuen Produktes von einer größeren Menge von Personen daraufhin beurteilt wird, ob die ursprünglichen Zielvorgaben bereits in der erforderlichen Form umgesetzt wurden. Bei dem digitalen Prototypen kann es sich um ein einzelnes Objekt (15) handeln, z.B. ein Fahrzeug, oder um ein räumlich ausgedehnteres Modell, etwa bei der Fabrikplanung.
Beim virtuellen Prototyping werden in der Regel großflächige Projektionssysteme (14) verwendet, wobei die Anwender (9) Shutterbrillen (12) tragen, um einen stereoskopischen Eindruck zu erhalten. Im Vergleich zur Verwendung von HMDs (10) hat dies den Vorteil, dass die Personen nicht visuell von der Außenwelt abschirmt sind. Dies erleichtert das Gespräch über den Prototypen, und auf einem Tablet oder ähnlichem können Notizen gemacht und zusätzliche Unterlagen eingesehen werden. Idealerweise können direkt Eingaben an einem angeschlossenen CAD-Arbeitsplatz (13) gemacht werden, um in Echtzeit das Modell zu überarbeiten. Die Anwender (9) nehmen überwiegend eine stehende Körperhaltung ein und bewegen sich vor der Projektionsfläche (14), um während der Besprechung auf verschiedene Bauelemente des Prototypen zu zeigen.
Die Perspektive (7) der Darstellung wird bislang in der Regel mit einem Controller (etwa einer 3D-Maus) gesteuert, der von einer einzelnen Person mit der Hand betätigt wird. Dieser Anwender (9) ist dann insofern in seinen Handlungen eingeschränkt, als dass er nicht gleichzeitig ein Tablet verwenden oder in einem CAD-Rechner (13) Eingaben vornehmen kann. Die anderen Anwender (9) haben den Nachteil, dass sie nicht ohne weiteres selbst die Perspektive (7) steuern können.
Mit dem erfindungsgemäßen Verfahren können diese Probleme behoben werden. An der Shutterbrille (12) eines jeden Anwenders (9) kann ein Sensor (8) befestigt werden, der seine Daten kabellos an den Rechner sendet, von dem die Projektion (14) gesteuert wird. Mit dem bereits dargestellten Umschaltmechanismus durch Rollen um die z-Achse (6) kann jeder Anwender (9) sich frei vor der Projektionsfläche (14) bewegen, um auf einzelne Bauelemente zu zeigen, aber auch zeitweilig die Steuerung der Perspektive (7) in der virtuellen Umgebung übernehmen. Auf diese Weise ist auch ein Wechsel von der stehenden zur sitzenden Körperhaltung und umgekehrt möglich, wenn etwa Eingaben in den CAD-Rechner (13) gemacht werden sollen.
Handelt es sich bei dem zu beurteilenden Prototypen um ein einzelnes Objekt (15), ist die gleichsinnige Steuerung der Perspektive (7) nicht das bestmögliche Verfahren. Die Steuerung sollte vielmehr daraufhin ausgelegt sein, sich um das virtuelle Objekt (15) herumbewegen zu können, um es von allen Seiten zu betrachten. Entsprechend würden sich die Translationen der Perspektive (7) auf Kugeloberflächen mit dem zu beurteilenden Objekt (15) als Zentrum beziehen. Bei einer solchen Orbit-Steuerung werden alle Bewegungen relativ zu der räumlichen Position des digitalen Prototypen ausgeführt. Das heißt, in der Ausgangsposition befinden sich die Anwender (9) in einer gewissen Entfernung, und die Perspektive (7) ist auf das Objekt (15) ausgerichtet. Lenkt einer der Anwender (9) seinen Sensor (8) in der x-Achse (1) aus, betrachten sie weiterhin das Objekt (15) und bewegen sich auf einer Kreisbahn darum herum (16). Wird der Sensor (8) in der y-Achse (2) bewegt, betrachten sie das Objekt (15) auf einer Kreisbahn von oben bzw. unten. Bewegt einer der Anwender (9) seinen Sensor (8) in der z-Achse (3), nähern sie sich dem Objekt (15) bzw. entfernen sich von ihm. Durch Translationen bewegen sie sich also auf einer Kugelfläche um das Objekt (15), wobei sie zugleich den Radius der Kugel steuern können. Die Rotationen der Sensoren werden ebenfalls mit Bezug zum Objekt (15) umgesetzt, die Anwender (9) können sich also relativ dazu umsehen. Dieses Verfahren ist auf eine Gruppe von Objekten (15) anwendbar, indem die Bewegungen z.B. mit Bezug zum geometrischen Schwerpunkt dieser Gruppe ausgeführt werden.
Eine solche Orbit-Steuerung ist auch für immersive Medien aus dem Unterhaltungsbereich von Bedeutung. In diesen Medien geht es häufig um die Darstellung und Hervorhebung einzelner Personen, etwa in der Musik oder dem Schauspiel. Entsprechend ist für den Anwender (9) zeitweilig weniger die gleichsinnige Steuerung der Perspektive (7) relevant, sondern eher die Konzentration der Aufmerksamkeit auf diese Person, um sie eingehend zu betrachten und zu beobachten. Deshalb sollte man das Verfahren auch in die im ersten Ausführungsbeispiel dargestellten Szenarien für die Wiedergabe volumetrischer Videos integrieren und dem Anwender (9) die Möglichkeit geben, zwischen der gleichsinnigen und der Orbit-Steuerung der Perspektive (7) flexibel zu wechseln.
Bezugszeichenliste

1: Translation in der x-Achse
2: Translation in der y-Achse
3: Translation in der z-Achse
4: Rotation um die x-Achse (Nicken)
5: Rotation um die y-Achse (Gieren)
6: Rotation um die z-Achse (Rollen)
7: Perspektive mit sechs Freiheitsgraden
8: Sensor mit sechs Auslenkungsdimensionen
9: Anwender
10: Head-Mounted Display
11: Frontkameras
12: Shutterbrille
13: CAD-Arbeitsplatz
14: Großflächiges Projektionssystem
15: In der virtuellen Umgebung dargestelltes Objekt
16: Translation der Perspektive bei Auslenkung des Sensors entlang der x-Achse bei der Orbit-Steuerung

Claims

Verfahren mit dem der Anwender (9) weitgehend unbelastet durch spezielle technische sowie physische und psychische Anforderungen die Perspektive (7) in immersiven Medien in einem oder mehreren Freiheitsgraden steuern kann, dadurch gekennzeichnet, dass der Anwender (9) die Freiheitsgrade der Perspektive (7) durch räumlich kompatible Auslenkungen eines an seinem Körper befestigten Sensors (8) mit nicht-isomorphen und nicht-linearen Übertragungsfunktionen steuert, wobei im einzelnen der Anwender (9) eine für ihn bequeme Körperhaltung einnimmt, über eine Wiedergabeeinheit die Inhalte immersiver Medien dargestellt werden, die Perspektive (7), aus der die Inhalte wiedergegeben werden, in einer oder mehreren Freiheitsgraden vom Anwender (9) gesteuert werden kann, innerhalb der durch die Anwendung vorgegebenen Grenzen, am Körper des Anwenders (9) ein oder mehrere Geräte zur Messung von Körperhaltungen und Körperbewegungen mittelbar oder unmittelbar befestigt werden, die idealerweise in einem einzelnen Bauelement - dem Sensor (8) - integriert sind, der Sensor (8) vom Anwender (9) relativ zu der für ihn bequemen Ausgangsposition in einer oder mehreren Dimensionen ausgelenkt werden kann, innerhalb eines für jede Auslenkungsdimension festgelegten Wertebereichs, für jeden Freiheitsgrad eine eindeutige und räumlich kompatible Beziehung zu einer oder mehreren Auslenkungsdimensionen bestimmt wird, für jede dieser Beziehungen eine nicht-isomorphe und nicht-lineare Übertragungsfunktion definiert wird, als Zusammenhang zwischen der Geschwindigkeit der Bewegung der Perspektive (7) in dem Freiheitsgrad und den Auslenkungen des Sensors (8) in den zugeordneten Dimensionen, der Anwender (9) durch Körperbewegungen den Sensor (8) relativ zu seiner Ausgangsposition auslenkt und nach Erreichen der gewünschten Perspektive (7) durch Rückkehr in die Ausgangsposition dessen Auslenkung beendet, eine Rechnereinheit mit Steuer-, Speicher- und Verarbeitungseinheit gleichzeitig die Signale des Sensors (8) registriert und auf der Grundlage der auf der Speichereinheit abgelegten Übertragungsfunktionen aus der Auslenkung des Sensors (8) die Geschwindigkeit der Bewegung der Perspektive (7) errechnet, die Inhalte der vom Anwender (9) betrachteten immersiven Medien aus der neuberechneten Perspektive (7) in der Wiedergabeeinheit dargestellt werden, und die Steuerung der Perspektive (7) automatisch oder durch den Anwender (9) ein- und ausgeschaltet werden kann, gegebenenfalls ergänzt um das Ein- und Ausschalten einer Darstellung der realen Umgebung, wobei nach dem Wiedereinschalten der Steuerung die dann eingenommene Körperhaltung als Referenz für eine Neubestimmung der Ausgangsposition und/oder für eine Anpassung der Zuordnung von Freiheitsgraden und Auslenkungsdimensionen und/oder für die Änderung von Parametern der Übertragungsfunktionen verwendet wird, so dass der Anwender (9) - ohne selbst größere Bewegungen ausführen zu müssen - die Freiheitsgrade in ihrem gesamten Wertebereich steuern und zudem jederzeit in die für ihn bequeme Ausgangsposition zurückkehren kann.
Anordnung zur Steuerung einer Perspektive in immersiven Medien, bestehend aus einer Wiedergabeeinheit zur Darstellung der Inhalte der immersiven Medien, einem oder mehreren am Körper eines Anwenders (9) mittelbar oder unmittelbar befestigten Geräten zur Messung von Körperhaltungen und Körperbewegungen, und einer Rechnereinheit, wobei die Anordnung eingerichtet ist zur Durchführung eines Verfahrens nach Anspruch 1.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die vom Anwender (9) verwendete Wiedergabeeinheit so gestaltet ist, dass er sich frei bewegen kann, ohne auf Kabel o.ä. achten zu müssen, HMDs (10) sollten bevorzugt als autonome Geräte ausgeführt sein, in denen alle zentralen technischen Komponenten (Sensor, Bildschirme, Stromversorgung sowie Rechnereinheit mit Steuer-, Speicher- und Verarbeitungseinheit) integriert sind.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die Anzahl der Freiheitsgrade sowie die Anzahl und Zuordnung der Auslenkungsdimensionen an die Eigenschaften der jeweils verwendeten immersiven Medien und die Bedürfnisse des Anwenders (9) angepasst sind.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass der Sensor (8) an einem Körperteil befestigt wird, das eine hinreichende Beweglichkeit zur Ausführung der erforderlichen Auslenkungen aufweist, bei einer größeren Zahl von Dimensionen vorzugsweise am Kopf, mit Einschränkungen auch an der Hand und am Fuß.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass für Freiheitsgrad i und Dimension j die Übertragungsfunktion von Geschwindigkeit v_i und Auslenkung d_j die Form einer Potenzfunktion mit der allgemeinen Funktionsgleichung $v_{i} (d_{j}) = s g n (d_{j}) \cdot (a_{i, j} \cdot {| d_{j} |}^{b_{i, j}} + c_{i, j})$
hat, mit den funktionsspezifischen Parametern a_i,j ≥ 0, b_i,j > 1, c_i,j, $d_{j}^{m i n} und d_{j}^{m a x},$
wobei die Werte für diese Parameter je nach Anwendungskontext im zeitlichen Verlauf variieren können.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass das erfindungsgemäße Verfahren auch mit konventionellen Verfahren zur Steuerung der Perspektive (7) in immersiven Medien kombiniert wird, insbesondere mit dem Zurücksetzen auf eine festgelegte Ausgangsperspektive (7) und/oder der Auswahl eines Zielortes aus einem Menü und/oder der Verwendung eines Verfahrens zur T eleportation.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die Zuordnung von Freiheitsgraden und Auslenkungsdimensionen auf den semantischen Gehalt der Anwendung und/oder der Aufgabenstellung des Anwenders (9) abgestimmt ist und neben der räumlich gleichsinnigen Zuordnung auch geeignete Zuordnungen zur Steuerung von Fahrzeugen, dem Umkreisen von Objekten (15) auf Umlaufbahnen oder ähnlichem beinhalten kann.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass in den immersiven Medien vom Anwender (9) neben den Freiheitsgraden der Perspektive (7) auch andere Freiheitsgrade nach dem erfindungsgemäßen Verfahren gesteuert werden, insbesondere die Position eines Mauszeigers und/oder zeitliche Aspekte der Wiedergabe und/oder dort auszuübende Kräfte, gegebenenfalls durch geeignete Auswahl zusätzlicher Auslenkungsdimensionen und/oder geeignete Platzierung zusätzlicher Sensoren.