DE102021120629B3

DE102021120629B3 - Verfahren und Vorrichtung zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars, Computerprogramm zur Durchführung eines solchen Verfahrens

Info

Publication number: DE102021120629B3
Application number: DE102021120629.4A
Authority: DE
Inventors: Johannes Tümler; Stefan Twieg
Original assignee: Hochschule Anhalt Koerperschaft Des Oeffentlichen Rechts
Current assignee: Hochschule Anhalt Koerperschaft Des Oeffentlichen Rechts
Priority date: 2021-08-09
Filing date: 2021-08-09
Publication date: 2022-10-27
Anticipated expiration: 2041-08-10

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars sowie ein Computerprogramm mit Instruktionen zur Durchführung eines solchen Verfahrens. Der realphysische Avatar weist zumindest eine vom Anwender mittels zumindest eines Controllers steuerbare Hand auf. Bei dem Verfahren wird eine virtuelle Umgebung für den Anwender bereitgestellt (10). Zudem wird ein Bewegungsbefehl des Anwenders für den realphysischen Avatar erfasst (11). Entsprechend des Bewegungsbefehls wird dann eine Bewegung des realphysischen Avatars oder ein Wechsel zu einem weiteren realphysischen Avatar veranlasst (12).

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars sowie ein Computerprogramm mit Instruktionen zur Durchführung eines solchen Verfahrens.
Bereits seit Jahren lässt sich eine zunehmende Verbreitung digitaler Technologien in der Gesellschaft feststellen. Es steht zu erwarten, dass diese Digitalisierung der Gesellschaft im Alltag deutlich zunehmen wird. Virtual-, Augmented- und Mixed-Reality-Technologien und -Anwendungen stellen eine besondere Ausprägung der Digitalisierung dar. Bei Virtual Reality (VR) taucht der Nutzer in eine vollständige virtuelle, computergenerierte Welt ein. Für diesen Zweck werden üblicherweise Head-Mounted-Display-Geräte (HMD) genutzt.
Bei Augmented Reality (AR), auf Deutsch „erweiterte Realität“, handelt es sich um die Anreicherung der Wahrnehmung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Für die Darstellung von AR-Anzeigen können beispielsweise Datenbrillen genutzt werden. Eine Datenbrille wird wie eine normale Brille getragen, weist aber eine oder mehrere Projektionseinheiten oder Anzeigen auf, mit deren Hilfe dem Träger der Brille Informationen vor die Augen oder direkt auf die Netzhaut projiziert werden können. Die Brille ist dabei so gestaltet, dass der Träger auch die Umgebung wahrnehmen kann. Neue Technologien für Datenbrillen, beispielsweise Lichtfeldtechnologie, Fortschritte in der verwendeten Batterietechnik sowie der Einstieg großer Unternehmen in diese lassen eine steigende Akzeptanz dieser Geräte erwarten. Eine weitere Möglichkeit für die Darstellung von AR-Inhalten besteht in der Verwendung von Tablets oder Smartphones. In diesem Fall betrachtet der Nutzer auf dem Bildschirm des Geräts die reale Umgebung, die kontinuierlich von einer Kamera des Geräts gefilmt wird. Das Bild der realen Umgebung wird dabei durch zusätzliche virtuelle Inhalte angereichert, die ortskorrekt in das Bild eingefügt werden. Daneben existiert die sogenannte Spatial AR (SAR), auf Deutsch „räumliche erweiterte Realität“, auch als Projection-based AR (PbAR) bezeichnet, auf Deutsch „projektionsbasierte erweiterte Realität“. Bei dieser werden durch einen Projektor Bildinformationen so in die reale Umwelt projiziert, dass diese aus Perspektive (meist) einzelner Anwender die lagerichtige Wahrnehmung virtueller 3D-Geometrien erlauben. Bei allen oben genannten Geräten handelt es sich um Anzeigegeräte für virtuelle Objekte.
Bei Mixed Reality (MR), auf Deutsch „gemischte Realität“, werden Elemente von Virtual Reality und Augmented Reality verbunden, d.h. die reale Welt wird mit virtuellen Umgebungen verbunden, sodass eine neue Umwelt entsteht. Der Nutzer interagiert zeitgleich mit der realen und einer virtuellen Umgebung. Physikalische Objekte der realen Welt haben dabei Einfluss auf digitale Elemente. Oftmals wird der Begriff „Mixed Reality“ aber auch praktisch synonym zu Augmented Reality benutzt.
Virtual Reality, Augmented Reality und Mixed Reality können unter dem Kürzel xR zusammengefasst werden. Das Kürzel xR steht dabei für „any-R“, also eine beliebige Ausprägung von AR, VR oder MR.
Insgesamt ist absehbar, dass xR-Geräte, d.h. Systeme zur Präsentation von Augmented Reality, Virtual Reality oder Mixed Reality, bei Endkunden zunehmend stärker im Einsatz sein werden.
In xR-Szenarien findet eine Fortbewegung üblicherweise durch Gleiten oder Teleportieren statt. Beim Gleiten erfolgt eine kontinuierliche Verschiebung der x,y,z-Position entlang eines vom Nutzer angegebenen Bewegungspfades. Das Drücken einer vordefinierten Taste am xR-Controller bewirkt dabei eine kontinuierliche Verschiebung um eine feste oder eine veränderliche Geschwindigkeit in die ausgewählte Richtung. Beim Teleportieren erfolgt eine plötzliche, verzögerungsfreie Verschiebung der x,y,z-Position zu einer Zielkoordinate. Dazu muss der Anwender auf die Stelle zielen, d.h. die 3D-Koordinate, an die die Position geändert werden soll. Das Zielen geschieht üblicherweise mittels einer Zeigegeste an einem xR-Controller oder mit einem Joystick. Das Teleportieren ist in xR-Szenarien beliebt, da es die sogenannte Simulationsübelkeit reduziert. Beiden Ansätzen ist es gemein, dass per Controller oder Hand die Position des xR-Avatars gesteuert wird.
Bei manchen xR-Szenarien erfolgt eine Fortbewegung durch eine tatsächliche Bewegung im realen Raum. Der Anwender läuft dabei frei im realen Raum, während das xR-System aktiv ist. Im gleichen Verhältnis bewegt sich der xR-Avatar im virtuellen Raum. Erreicht der Anwender eine zuvor eingestellte räumliche Grenze, so wird diese als Warnung ins Sichtfeld eingeblendet.
Bei einer weiteren Lösung wird nur die Kopfrotation erfasst. Um den Anwender in diesen Szenarien eine Fortbewegung zu ermöglichen, werden zusätzliche Interaktionsflächen eingeblendet, die der durch einen Blick auswählen kann. Durch einen zeitlichen Trigger, d.h. die Dauer des Blicks auf das Objekt, oder durch das Drücken einer Taste an einem Controller wird die Positionsänderung ausgelöst
Die Ausrichtung bzw. Rotation des Kopfes wird üblicherweise frei in 360° bezüglich der x,y,z-Achsen erfasst. Zusätzlich kann auch eine Rotation durch feste Drehstufen erreicht werden, z.B. ± 15° um die Hochachse.
Bei xR-Anwendungen besteht die Möglichkeit, Roboter als realphysische Avatare einzusetzen. Ein Beispiel dafür ist der Real Remote Avatar von EXCIT3D (https://excit3d.de/real-remote-avatar/). Ziel einer solchen Anwendung ist es, dass der Anwender die Sicht des Roboters aus der Ego-Perspektive latenzarm wahrnehmen und steuern kann, die Hände des Roboters aus der Ego-Perspektive latenzarm wahrnehmen und steuern kann sowie die Fortbewegung des Roboters latenzarm steuern kann, sodass beim Anwender der Eindruck entsteht, sich mit dem Roboter durch den realphysischen Raum zu bewegen. Zusätzlich kann vorgesehen sein, dass der Anwender ein haptisches Feedback latenzarm an den Händen erhält. Was die Roboterhand berührt, wird auf Seite des xR-Systems für den Anwender spürbar. Insgesamt entsteht eine Immersion des Anwenders als Verkörperung im realphysischen Avatar, d.h. für die reale Person entsteht der Eindruck, sie wäre in den Roboterkörper inkarniert.
In Hinblick auf die Wahrnehmung der Sicht des Roboters kann eine kabelgebundene oder kabellose Übertragung von Kamerabildern erfolgen. Dabei können übliche Kameras oder eine 360°-Kamera zum Einsatz kommen. Die Darstellung erfolgt dann auf einer xR-Brille oder einem anderem xR-Display. Durch ein kontinuierliches Head-Tracking wird eine Anpassung der Sicht an Kopfbewegungen des Anwenders gewährleistet. Anstelle der Übertragung von Kamerabildern können auch andere Technologien eingesetzt werden, um ein ausreichend realistisches Abbild der Realität zu erzeugen. Beispiele dafür sind LIDAR-Sensoren oder bildbasierte 3D-Rekonstruktion, z.B. SfM-Algorithmen (SfM: Stucture from Motion; Struktur aus Bewegung). In diesem Fall können unmittelbar die Sensordaten oder ein vorverarbeitetes 3D-Modell an das xR-System übertragen werden.
In Bezug auf die Wahrnehmung und Steuerung der Hände des Roboters können auf Seite des xR-Systems Bewegungen der Hände erfasst werden, bspw. durch xR-Controller oder Hand-Tracking. Bewegt der xR-Nutzer die Hände, so werden diese Bewegungen kabelgebunden oder kabellos an den Roboter übertragen. Hebt der Anwender die realen Hände, so hebt auch der Roboter die Hände und diese werden für den Anwender in der xR-Darstellung sichtbar.
In Hinblick auf ein haptisches Feedback können taktile Sensoren an relevanten Flächen der Hände bzw. Greifvorrichtungen des Roboters angeordnet werden. Diese nehmen ein Berührungssignal binär (berührt / nicht berührt) oder in Abstufungen abhängig von der Intensität der Berührung bzw. des aufgebrachten Drucks auf. Die taktilen Sensordaten werden als Rohdaten oder vorverarbeitet an das xR-System übertragen und dem Anwender dort mittels haptischer Systeme vermittelt. Als haptische Systeme können z.B. Handschuhe verwendet werden, die mittels Mikrofluidtechnologie eine Vielzahl haptischer Signalpunkte bereitstellen. Eine weitere Möglichkeit besteht in der Nutzung von Wellenfeldsynthese.
In Bezug auf die Steuerung der Fortbewegung des Roboters, d.h. die Steuerung der Position in x,y,z sowie der Blickrichtung, erfasst das xR-System üblicherweise die Position und Ausrichtung des Kopfes sowie Position und Ausrichtung der Hände oder Handglieder. Bewegungen der Füße werden in der Regel nicht erfasst.
Die oben beschriebenen Ansätze für die Fortbewegung und die Rotation in xR-Szenarien gehen davon aus, dass sich der Anwender frei im Raum bewegen kann, insbesondere seinen Kopf frei in jede Richtung drehen kann, und der physische Raum des Anwenders ausreichend groß ist.
Liegende oder bewegungseingeschränkte Personen können xR-Systeme daher nur eingeschränkt verwenden. Das liegt beispielsweise daran, dass sie zwar ihren Kopf nach links und rechts drehen können, jedoch keine freie 360° Drehung durchführen können. Gleiches gilt für die Hände, die üblicherweise VR-Controller halten. Weiterhin können Sie nicht im realen Raum umherlaufen, wie es zur Bewegung in VR-simulierten 3D-Welten üblich ist.
Die bestehenden Lösungen erlauben zudem nicht oder nur eingeschränkt, mittels xR den realen Roboter zu steuern. Insbesondere das Prinzip des Teleportierens kann nicht umgesetzt werden.
Alternativ zu einem Roboter kann auch eine Mensch-Mensch-Kooperation aufgesetzt werden, indem anstelle eines Roboters ein Mensch mit entsprechender Sensortechnik ausgestattet ist. Der Anwender kann sich mit diesem Menschen verbinden und per Sprache im direkten Dialog Anweisungen geben, d.h. steuern.
WO 2015 / 105 572 A1 beschreibt ein Verfahren zum Betreiben eines Roboters. Bei dem Verfahren werden Bilder empfangen und durch Überlagern einer Darstellung des Roboters augmentiert. Die Roboterdarstellung enthält vom Benutzer auswählbare Bestandteile. Die augmentierten Bilder werden angezeigt und es wird ein Indikator für eine Auswahl von mindestens einem vom Benutzer auswählbaren Bestandteil der Roboterdarstellung empfangen. Daraufhin wird eine Absicht angezeigt, dem ausgewählten Bestandteil der Roboterdarstellung Befehle zu erteilen, und es wird eine Eingabe empfangen, die eine Benutzerinteraktion mit mindestens einem vom Benutzer auswählbaren Bestandteil repräsentiert. Auf der Grundlage der Benutzerinteraktion wird ein Befehl an den Roboter erteilt.
US 2016 / 0 046 023 A1 beschreibt ein Verfahren zur Steuerung eines humanoiden Roboters von einem entfernten Standort aus. Sensorvorrichtungen werden verwendet, um Positionen und Bewegungen eines Benutzers an einem Aufenthaltsort zu erfassen. Eine Rechenvorrichtung erzeugt eine virtuelle Figur auf der Grundlage der erfassten Positionen und Bewegungen des Benutzers und liefert eine Vielzahl von Ausgangsgrößen zur Steuerung des humanoiden Roboters auf der Grundlage der Bewegung der virtuellen Figur.
Es ist eine Aufgabe der Erfindung, Lösungen für eine Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars durch einen xR-Anwender mittels xR-Technologien bereitzustellen, die es ermöglichen, dass der realphysische Avatar beliebige Perspektiven im realen Raum einnehmen kann.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, durch ein Computerprogramm mit Instruktionen gemäß Anspruch 8 und durch eine Vorrichtung mit den Merkmalen des Anspruchs 9 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars durch einen Anwender, wobei der realphysische Avatar zumindest eine vom Anwender mittels zumindest eines Controllers steuerbare Hand und zumindest ein Bedienelement aufweist, die Schritte:

- Bereitstellen einer virtuellen Umgebung für den Anwender;
- Erfassen eines Bewegungsbefehls des Anwenders für den realphysischen Avatar, der aus einer Betätigung des zumindest einen Bedienelements durch den Anwender mittels der zumindest einen steuerbaren Hand resultiert; und
- Veranlassen einer Bewegung des realphysischen Avatars oder eines Wechsels zu einem weiteren realphysischen Avatar entsprechend des Bewegungsbefehls.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars durch einen Anwender, wobei der realphysische Avatar zumindest eine vom Anwender mittels zumindest eines Controllers steuerbare Hand und zumindest ein Bedienelement aufweist, veranlassen:

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch mobile Geräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen.
Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.
Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars durch einen Anwender, wobei der realphysische Avatar zumindest eine vom Anwender mittels zumindest eines Controllers steuerbare Hand und zumindest ein Bedienelement aufweist, auf:

- ein Grafikmodul zum Bereitstellen einer virtuellen Umgebung für den Anwender;
- ein Eingabemodul zum Erfassen eines Bewegungsbefehls des Anwenders für den realphysischen Avatar, der aus einer Betätigung des zumindest einen Bedienelements durch den Anwender mittels der zumindest einen steuerbaren Hand resultiert; und
- ein Steuermodul zum Veranlassen einer Bewegung des realphysischen Avatars oder eines Wechsels zu einem weiteren realphysischen Avatar entsprechend des Bewegungsbefehls.

Bei der erfindungsgemäßen Lösung wird es einem Anwender ermöglicht, einen virtuell verkörperten realphysischen Avatar zu steuern, obwohl ein dem Anwender zur Verfügung stehender Controller in erster Linie zur Steuerung einer Hand des realphysischen Avatars dient. Anstelle von räumlichen Bewegungen oder Kopfbewegungen des Anwenders werden dazu entsprechende Bewegungsbefehle erfasst und ausgewertet. Auf diese Weise ist es möglich, auch aus liegenden oder sitzenden Positionen einen realphysischen Avatar zu steuern und diesen zu unterschiedlichen realen Standpunkten zu bewegen. Die physischen Raumgrenzen des Anwender werden dadurch irrelevant. Zudem erhält der Anwender die Möglichkeit, zwischen den Standpunkten verschiedener realphysischer Avatare zu wechseln und auf diese Weise eine Art Teleportierung durchzuführen.
Die Hand des realphysischen Avatars muss nicht notwendigerweise eine menschliche Hand nachbilden. Andere Handäquivalente oder mit Werkzeugen ausgestattete Gliedmaßen sind ebenso möglich.
Erfindungsgemäß weist der realphysische Avatar zumindest ein Bedienelement auf und der Bewegungsbefehl resultiert aus einer Betätigung des zumindest einen Bedienelements durch den Anwender mittels der zumindest einen steuerbaren Hand. Bei dem zumindest einen Bedienelement kann es sich beispielsweise um einen Joystick, ein Tastenfeld oder ein berührungsempfindliches Bedienfeld handeln. Bei dieser Lösung sind am realphysischen Avatar physische Bedienelemente angebracht, die vom Kamerasystem des realphysischen Avatars erfasst werden können. Nutzt ein Anwender diesen realphysischen Avatar, so kann durch einfache Drehung des Kopfes um eine geringe Gradzahl auf diese realen Bedienelemente geblickt werden. Durch Tracking der xR-Controller, insbesondere Handschuhe, oder Hand-Tracking des Anwenders werden die Hände des realphysischen Avatars bewegt. Der Anwender sieht die resultierende Bewegung der Arme bzw. Hände durch das xR-System. Daher ist es möglich, dass der Anwender das reale Bedienelement am realphysischen Avatar durch das xR-System bedient. Damit kann ein bewegungseingeschränkter Anwender den realphysischen Avatar navigieren, ohne spezielle xR-Interaktionen erlernen zu müssen.
Gemäß einem Aspekt der Erfindung wird zumindest ein Bedienelement virtuell in die Sicht des Anwenders eingeblendet und ein Bewegungsbefehl resultiert aus einer Betätigung des zumindest einen Bedienelements durch den Anwender. Vorzugsweise ist das zumindest eine Bedienelement dabei durch eine Blickgeste betätigbar. Alternativ kann das zumindest eine Bedienelement durch einen Controller betätigbar sein. Bei dieser Lösung werden virtuelle Bedienelemente, wie z.B. Knöpfe oder Schaltflächen durch das xR-System in die Sicht des Anwenders eingeblendet. Diese können, ähnlich zur Lösung mit realen Bedienelementen, durch die xR-Controller bedient werden. Alternativ ist auch eine Betätigung der virtuelle Bedienelemente mittels Blickgesten möglich, wodurch eine komfortable Bedienung ohne Handbewegungen ermöglicht wird.
Alternativ oder zusätzlich besteht auch die Möglichkeit einer Steuerung mittels Spracheingaben, z.B. durch das Sprechen von Bewegungsbefehlen oder Anweisungen für sonstige Handlungen, und einer Rückmeldung durch das xR-System mittels Sprachausgaben.
Gemäß einem Aspekt der Erfindung ist zumindest ein Bedienelement an dem zumindest einen Controller angeordnet, durch das ein Modus aktivierbar ist, der eine Interaktion mit der virtuellen Umgebung mittels des zumindest einen Controllers erlaubt. Auf diese Weise können die realen Hände sowohl zur Interaktion mit der xR-Szene als auch zur Steuerung der Hände des realphysischen Avatars genutzt werden.
Gemäß einem Aspekt der Erfindung ist der Wechsel zu einem weiteren realphysischen Avatar durch eine Blickgeste oder einen Sprachbefehl auslösbar. Dies ermöglicht eine besonders einfache Steuerung des Wechsels.
Gemäß einem Aspekt der Erfindung ist der realphysische Avatar ein Roboter. Bei einem solchen Ansatz ist die Verwendung der erfindungsgemäßen Lösung besonders vorteilhaft. Unter einem Roboter ist dabei eine numerisch gesteuerte oder intelligente Maschine zu verstehen, deren vorhandene Intelligenz mit der Intelligenz des Anwenders koppelbar ist. Der Roboter weist Fortbewegungsmöglichkeiten auf, d.h. er kann fahren, kriechen, gleiten, gehen oder andere Formen der Fortbewegung nutzen. Vorzugsweise ist der Roboter in der Lage, sich autonom zu einer vom Anwender angewählten Zielposition zu begeben und dabei selbsttätig Hindernisse zu umgehen. Weitere besondere Merkmale sind Sensoren, gegebenenfalls ein Arm mit angestecktem Werkzeug, das z.B. ein Greifer oder ein Hand-Imitat sein kann, sowie eine bidirektionale Signalübertragung zum Anwender. Alternativ zu einem Roboter kann aber auch eine Mensch-Mensch-Kooperation realisiert werden, bei der ein Anwender sich mit einem Menschen verbinden und per Sprache im direkten Dialog Anweisungen geben kann.
Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem System für die Interaktion eines Anwenders mit einer virtuellen Umgebung eingesetzt. Ein solches System weist zum einen ein Anzeigegerät zum Anzeigen der virtuellen Umgebung für den Anwender auf, beispielsweise eine Datenbrille, ein Smartphone, ein Tablet oder einen Projektor. Das System weist zudem zumindest einem Controller zum Steuern zumindest einer steuerbaren Hand eines realphysischen Avatars auf.
Ein solches System kann beispielsweise durch Pflegedienstanbieter, kulturelle Einrichtungen wie Museen, private Haushalte, Militär oder Sicherheitsdienste genutzt werden.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

1 zeigt schematisch eine Datenbrille als Beispiel für ein Anzeigegerät für eine virtuelle Umgebung;
2 zeigt schematisch ein Verfahren zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars durch einen Anwender;
3 zeigt eine erste Ausführungsform einer Vorrichtung zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars durch einen Anwender;
4 zeigt eine zweite Ausführungsform einer Vorrichtung zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars durch einen Anwender;
5 zeigt schematisch ein System für die Interaktion eines Anwenders mit einer virtuellen Umgebung;
6 zeigt als Beispiel eines realphysischen Avatars einen Roboter mit einem Bedienelement;
7 zeigt ein virtuell in die Sicht des Anwenders eingeblendetes Bedienelement; und
8 zeigt einen Controller mit einem Bedienelement zum Wechsel in einen Interaktionsmodus.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.
1 zeigt schematisch eine Datenbrille 1 als Beispiel für ein Anzeigegerät für eine virtuelle Umgebung. Die Datenbrille 1 hat eine Tracking-Einheit 2, mit der eine Pose der Datenbrille 1 bestimmt werden kann. Mittels einer Grafikeinheit 3 kann die Anzeige der Datenbrille 1 entsprechend der ermittelten Pose angepasst werden. Dazu können die Tracking-Einheit 2 und die Grafikeinheit 3 miteinander Daten austauschen. Die von der Grafikeinheit 3 generierte Anzeige wird durch eine Projektionseinheit 4 eingeblendet. Im Beispiel in 1 wird ein monokulares Display genutzt, d.h. nur vor einem Auge des Nutzers ist ein Display angeordnet. Die vorliegend beschriebene Lösung kann selbstverständlich auch mit einer Datenbrille 1 mit einem binokularen Display, bei dem pro Auge ein Display genutzt wird, oder mit einem binokularen Display, bei dem für beide Augen ein gemeinsames Display genutzt wird, realisiert werden. Mögliche xR-Systeme beschränken sich allerdings nicht auf Datenbrillen 1 oder allgemeiner Head Mounted Displays. Es können insbesondere auch projektive Systeme verwendet werden.
2 zeigt schematisch ein Verfahren zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars durch einen Anwender. Beim realphysischen Avatar kann es sich insbesondere um einen Roboter handeln. Der realphysische Avatar weist zumindest eine vom Anwender mittels zumindest eines Controllers steuerbare Hand auf, sodass eine Bewegungssteuerung mittels des Controllers nicht ohne weitere Maßnahmen möglich ist. Bei dem Verfahren wird eine virtuelle Umgebung für den Anwender bereitgestellt 10. Zudem wird ein Bewegungsbefehl des Anwenders für den realphysischen Avatar erfasst 11. Entsprechend des Bewegungsbefehls wird dann eine Bewegung des realphysischen Avatars oder ein Wechsel zu einem weiteren realphysischen Avatar veranlasst 12. Für das Erfassen des Bewegungsbefehls weist der realphysische Avatar zumindest ein Bedienelement auf, z.B. einen Joystick, ein Tastenfeld oder ein berührungsempfindliches Bedienfeld, das durch den Anwender mittels der zumindest einen steuerbaren Hand betätigt werden kann. Zusätzlich kann zumindest ein Bedienelement virtuell in die Sicht des Anwenders eingeblendet werden, das durch den Anwender mittels des Controllers oder einer Blickgeste betätigt werden kann. Eine weitere Möglichkeit besteht darin, dass am Controller zumindest ein Bedienelement angeordnet ist, durch das ein Interaktionsmodus aktivierbar ist. In diesem Modus dient der Controller anstelle der Steuerung der Hand vielmehr zur Interaktion mit der virtuellen Umgebung. Insbesondere der Wechsel zu einem weiteren realphysischen Avatar kann auch durch eine Blickgeste oder einen Sprachbefehl ausgelöst werden. Die verschiedenen Ansätze können zudem vollständig oder in Teilen kombiniert werden.
3 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars A1 durch einen Anwender. Beim realphysischen Avatar A1 kann es sich insbesondere um einen Roboter handeln. Der realphysische Avatar A1 weist zumindest eine vom Anwender mittels zumindest eines Controllers steuerbare Hand auf, sodass eine Bewegungssteuerung mittels des Controllers nicht ohne weitere Maßnahmen möglich ist. Die Vorrichtung 20 hat einen Eingang 21, über den Informationen empfangen werden können, beispielsweise Signale eines vom Anwender bedienten Bedienelements BE. Ein Grafikmodul 22 ist dazu eingerichtet, eine virtuelle Umgebung für den Anwender bereitzustellen. Ein Eingabemodul 23 ist dazu eingerichtet, einen Bewegungsbefehl K des Anwenders für den realphysischen Avatar A1 zu erfassen. Ein Steuermodul 24 ist dazu eingerichtet, entsprechend des Bewegungsbefehls K eine Bewegung des realphysischen Avatars A1 oder einen Wechsel zu einem weiteren realphysischen Avatar A2 zu veranlassen. Dazu kann das Steuermodul 24 entsprechende Steuerbefehle SB über einen Ausgang 27 der Vorrichtung 20 bereitstellen. Für das Erfassen des Bewegungsbefehls K weist der realphysische Avatar A1 zumindest ein Bedienelement BE auf, z.B. einen Joystick, ein Tastenfeld oder ein berührungsempfindliches Bedienfeld, das durch den Anwender mittels der zumindest einen steuerbaren Hand betätigt werden kann. Zusätzlich kann zumindest ein Bedienelement BE virtuell in die Sicht des Anwenders eingeblendet werden, das durch den Anwender mittels des Controllers oder einer Blickgeste betätigt werden kann. Eine weitere Möglichkeit besteht darin, dass am Controller zumindest ein Bedienelement BE angeordnet ist, durch das ein Interaktionsmodus aktivierbar ist. In diesem Modus dient der Controller anstelle der Steuerung der Hand vielmehr zur Interaktion mit der virtuellen Umgebung. Insbesondere der Wechsel zu einem weiteren realphysischen Avatar A2 kann auch durch eine Blickgeste oder einen Sprachbefehl ausgelöst werden. Die verschiedenen Ansätze können zudem vollständig oder in Teilen kombiniert werden.
Das Grafikmodul 22, das Eingabemodul 23 und das Steuermodul 24 können von einem Kontrollmodul 25 gesteuert werden. Über eine Benutzerschnittstelle 28 können gegebenenfalls Einstellungen des Grafikmoduls 22, des Eingabemoduls 23, des Steuermoduls 24 oder des Kontrollmoduls 25 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 26 der Vorrichtung 20 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Das Grafikmodul 22, das Eingabemodul 23, das Steuermodul 24 sowie das Kontrollmodul 25 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 21 und der Ausgang 27 können auch als kombinierte bidirektionale Schnittstelle implementiert sein.
4 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars durch einen Anwender. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder eine andere prozessorbasierte Datenverarbeitungsvorrichtung. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.
Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.
Die Speicher 26, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.
5 zeigt schematisch ein System S für die Interaktion eines Anwenders B mit einer virtuellen Umgebung U. Das System S umfasst ein Anzeigegerät AG zum Anzeigen der virtuellen Umgebung U für den Anwender B. Das System S umfasst zudem zumindest einen Controller CON, mit dem der Anwender B zumindest eine steuerbare Hand H eines realphysischen Avatars A1 steuern kann. Wie zuvor schon erläutert findet eine Fortbewegung in xR-Szenarien üblicherweise durch Gleiten oder Teleportieren statt. Während das Gleiten durch eine Bewegung des realphysischen Avatars A1 realisiert werden kann, ist eine Positionsänderung durch Teleportieren mit einem realphysischen Avatar A1 physikalisch nicht möglich. Aus diesem Grund umfasst das System S vorzugsweise mindestens einen weiteren realphysischen Avatar A2. Der Anwender B kann dann zwischen den realphysischen Avataren A1, A2 wechseln. Die verschiedenen Bestandteile des Systems S können von einem zentralen Rechner R kontrolliert werden.
Nachfolgend sollen zwei Beispiele einer solchen Teleportierung am Anwendungsbeispiel eines Museums beschrieben werden. Dabei werden als realphysische Avatare A1, A2 zwei Roboter genutzt. Im ersten Beispiel fahren die Roboter automatisch vordefinierte feste Positionen im Museum an, bevor der Anwender B die Roboter nutzt. Der erste Roboter befindet sich an einer ersten realen Position, der zweite Roboter an einer vordefinierten zweiten Position. Der Anwender nutzt nun zunächst den ersten Roboter. Ist alles erledigt und der Anwender möchte in den zweiten Roboter wechseln, kann dies mittels eines Sprachbefehls, wie z.B. das Kommando „Roboterwechsel“, oder einer Blickgeste auf eine im Sichtfeld des Anwenders B eingeblendete virtuellen Schaltfläche durchgeführt werden. Das System S prüft nun, ob der zweite Roboter tatsächlich bereit ist. Falls dies der Fall ist, wechselt der Anwender in den zweiten Roboter. Der erste Roboter fährt daraufhin eine dritte Position an, usw.
Beim zweiten Beispiel werden keine vordefinierten festen Positionen genutzt. Die Roboter besitzen üblicherweise Sensoren, durch die sie ein digitales Abbild des realen Raumes erfassen. Daher sind dem System S die geometrische Form des realen Raumes und der Objekte im Raum bekannt. Dieses Abbild ist vorzugsweise mindestens in Auflösungen von ca. 10-30 cm pro gesichertem 3D-Datenpunkt verfügbar. Dieses 3D-Modell des Raumes wird mit dem 3D-Modell des xR-Systems kombiniert. Dabei stellt das 3D-Modell kein visuelles Modell dar, d.h., es wird nicht angezeigt. Vielmehr ist es ein verstecktes Modell, mit dem andere Objekte der virtuellen Welt kollidieren können. Mittels des Controllers CON oder einer Blickgeste auf eine virtuelle Schaltfläche kann der Anwender einen Ruf-Modus aktivieren und deaktivieren. Bei aktiviertem Ruf-Modus kann der Anwender dann mittels des Controllers CON oder Blickgesten auf virtuelle Schaltflächen auf die Stelle am Boden zeigen, zu der der zweite Roboter sich bewegen soll. Hierbei wird zur Berechnung der Kollision des Zielpunktes das 3D-Modell des Raumes verwendet und auf Seite des Systems S in die Zielkoordinate für den zweiten Roboter umgerechnet. Sobald sich der zweite Roboter an die entsprechende Stelle bewegt hat, kann der Anwender in den zweiten Roboter wechseln.
6 zeigt als Beispiel eines realphysischen Avatars A1 einen Roboter mit einem Bedienelement BE. Der Roboter weist zumindest eine Hand H auf, die vom Anwender mittels eines Controllers gesteuert werden kann. Am Roboter sind physische Bedienelemente BE angebracht, die vom Kamerasystem des Roboters erfasst werden können. Nutzt ein Anwender diesen Roboter, so kann er durch einfache Drehung des Kopfes um eine geringe Gradzahl auf diese realen Bedienelemente BE blicken und diese mit der Hand H des Roboters bedienen. Im dargestellten Beispiel handelt es sich bei den Bedienelementen BE um einen Joystick. Es kann aber auch eine Tastatur, ein berührungsempfindliches Bedienfeld, etc. verwendet werden. Die Signale des Bedienelements BE werden vom System erfasst und in Bewegungsvektoren für den Roboter umgerechnet. Eine Vorwärtsbewegung wird dabei vorzugsweise in Richtung des Blicks des Anwenders interpretiert, damit der Anwender den Bezug zu seiner Interaktion nicht verliert. Solange die Bewegung aktiv ist, bzw. der Roboter den aktuellen Schritt nicht abgeschlossen hat, kann auf Seite des xR-Systems ein Symbol eingeblendet werden, dass die Bewegung aktiv ist, und/oder eine Audio-Ausgabe abgespielt werden. Falls eine Bewegung nicht in die gewünschte Richtung ausgeführt werden kann, wird dies vorzugsweise ebenfalls entsprechend vermittelt. Es ist sinnvoll, wenn der reale Roboter bei einer Rückwärtsbewegung einen Warnton abspielt und ein entsprechendes visuelles Signal für eventuell in der Nähe des Roboters befindliche reale Personen anzeigt.
7 zeigt ein virtuell in die Sicht des Anwenders eingeblendetes Bedienelement BE. Da die Bewegung der Hände des Anwenders an den Roboter übertragen wird und die Bewegung der Hände des Roboters bewirkt, können die Hände des Anwenders gegebenenfalls nicht als Interaktionselement in der virtuellen Sicht genutzt werden. Daher können als Bedienelemente BE virtuelle Schaltflächen eingeblendet werden, die sich in der Sicht des Anwenders mitbewegen. Die Bewegung der virtuellen Schaltflächen kann beispielsweise folgendermaßen gestaltet sein. Blickt der Anwender nach links, so bleiben die Schaltflächen kurz im Raum stehen, um dann am rechten Bildschirmrand mitgenommen zu werden. Blickt der Anwender nun wieder nach rechts, so bleiben die Schaltflächen an ihrer derzeitigen Raumposition stehen, bis der linke Bildschirmbereich erreicht wurde und sie dann dort mitgenommen werden. Blickt der Anwender auf die virtuellen Schaltflächen, so werden entsprechende Funktionen aktiviert. Zudem ist auch die Verwendung einer virtuellen Schaltfläche für einen Wechsel des Bedienmodus möglich, wie sie nachfolgend anhand von 8 für ein reales Bedienelement beschrieben wird.
8 zeigt einen Controller CON mit einem Bedienelement BE zum Wechsel in einen Interaktionsmodus. Insbesondere xR-Controller haben üblicherweise eine Vielzahl von Tasten. Eine dieser Tasten kann damit belegt sein, dass zwischen einem ersten Modus, in dem die Hand bzw. der Arm des Roboters bewegt wird, und einem zweiten Modus, in dem mit der xR-Szene interagiert werden kann, gewechselt werden kann. Der Wechsel zwischen den Modi kann beispielsweise durch Umschalten oder gedrückt Halten erfolgen. Beim Umschalten bewirkt eine erste Betätigung des Bedienelements BE einen Wechsel des Modus, eine zweite Betätigung einen Wechsel zurück in den vorherigen Modus. Beim gedrückt Halten ist der Interaktionsmodus so lange aktiv, wie das Bedienelement BE betätigt wird. Durch Loslassen des Bedienelement BE wird wieder in den vorherigen Modus gewechselt. Welcher Modus beim gedrückt Halten aktiv sein soll, liegt im Ermessen des Fachmanns. Wenn der Interaktionsmodus aktiv ist, kann mit dem Controller CON oder den Händen auf eingeblendete virtuelle Schaltflächen gezeigt werden, die eine Bewegung des Roboters bewirken. Auch die Kombination mit der zuvor beschriebenen Teleportierung ist im Interaktionsmodus möglich, indem z.B. auf eine entsprechende Stelle im Raum gezeigt wird.
Bezugszeichenliste

1: Datenbrille
2: Tracking-Einheit
3: Grafikeinheit
4: Projektionseinheit
10: Bereitstellen einer virtuellen Umgebung
11: Erfassen eines Bewegungsbefehls
12: Veranlassen einer Bewegung oder eines Wechsels eines realphysischen Avatars
20: Vorrichtung
21: Eingang
22: Grafikmodul
23: Eingabemodul
24: Steuermodul
25: Kontrollmodul
26: Speicher
27: Ausgang
28: Benutzerschnittstelle
30: Vorrichtung
31: Speicher
32: Prozessor
33: Eingang
34: Ausgang
A1: Realphysischer Avatar
A2: Weiterer realphysischer Avatar
AG: Anzeigegerät
B: Anwender
BE: Bedienelement
CON: Controller
H: Steuerbare Hand
K: Bewegungsbefehl
R: Rechner
S: System
SB: Steuerbefehl
U: Virtuelle Umgebung

Claims

Verfahren zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars (A1) durch einen Anwender (B), wobei der realphysische Avatar (A1) zumindest eine vom Anwender (B) mittels zumindest eines Controllers (CON) steuerbare Hand (H) und zumindest ein Bedienelement (BE) aufweist, mit den Schritten: - Bereitstellen (10) einer virtuellen Umgebung (U) für den Anwender (B); - Erfassen (11) eines Bewegungsbefehls (K) des Anwenders (B) für den realphysischen Avatar (A1), der aus einer Betätigung des zumindest einen Bedienelements (BE) durch den Anwender (B) mittels der zumindest einen steuerbaren Hand (H) resultiert; und - Veranlassen (12) einer Bewegung des realphysischen Avatars (A1) oder eines Wechsels zu einem weiteren realphysischen Avatar (A2) entsprechend des Bewegungsbefehls (K).
Verfahren gemäß Anspruch 1, wobei das zumindest eine Bedienelement (BE) ein Joystick, ein Tastenfeld oder ein berührungsempfindliches Bedienfeld ist.
Verfahren gemäß Anspruch 1 oder 2, wobei zumindest ein Bedienelement (BE) virtuell in die Sicht des Anwenders (B) eingeblendet wird und ein Bewegungsbefehl (K) aus einer Betätigung des zumindest einen Bedienelements (BE) durch den Anwender (B) resultiert.
Verfahren gemäß Anspruch 3, wobei das zumindest eine Bedienelement (BE) durch eine Blickgeste betätigbar ist.
Verfahren gemäß Anspruch 1, wobei zumindest ein Bedienelement (BE) an dem zumindest einen Controller (CON) angeordnet ist, durch das ein Modus aktivierbar ist, der eine Interaktion mit der virtuellen Umgebung (U) mittels des zumindest einen Controllers (CON) erlaubt.
Verfahren gemäß einem der vorherigen Ansprüche, wobei der Wechsel zu einem weiteren realphysischen Avatar (A2) durch eine Blickgeste oder einen Sprachbefehl auslösbar ist.
Verfahren gemäß einem der vorherigen Ansprüche, wobei der realphysische Avatar (A1) ein Roboter ist.
Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 7 zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars (A1) durch einen Anwender (B) veranlassen.
Vorrichtung (20) zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars (A1) durch einen Anwender (B), wobei der realphysische Avatar (A1) zumindest eine vom Anwender (B) mittels zumindest eines Controllers (CON) steuerbare Hand (H) und zumindest ein Bedienelement (BE) aufweist, mit: - einem Grafikmodul (22) zum Bereitstellen (10) einer virtuellen Umgebung (U) für den Anwender (B); - einem Eingabemodul (23) zum Erfassen (11) eines Bewegungsbefehls (K) des Anwenders (B) für den realphysischen Avatar (A1), der aus einer Betätigung des zumindest einen Bedienelements (BE) durch den Anwender (B) mittels der zumindest einen steuerbaren Hand (H) resultiert; und - einem Steuermodul (24) zum Veranlassen (12) einer Bewegung des realphysischen Avatars (A1) oder eines Wechsels zu einem weiteren realphysischen Avatar (A2) entsprechend des Bewegungsbefehls (K).
System (S) für die Interaktion eines Anwenders (B) mit einer virtuellen Umgebung (U), mit einem Anzeigegerät (AG) zum Anzeigen der virtuellen Umgebung (U) für den Anwender (B) und zumindest einem Controller (CON) zum Steuern zumindest einer steuerbaren Hand (H) eines realphysischen Avatars (A1), dadurch gekennzeichnet, dass das System (S) eine Vorrichtung (20) gemäß Anspruch 9 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 7 auszuführen.