DE102016109153A1

DE102016109153A1 - Verfahren zum einstellen einer blickrichtung in einer darstellung einer virtuellen umgebung

Info

Publication number: DE102016109153A1
Application number: DE102016109153.7A
Authority: DE
Inventors: Christopher Mutschler; Tobias Feigl; Christian Daxer; Bercea Cosmin-Ionut; Stephan OTTO
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2016-05-18
Filing date: 2016-05-18
Publication date: 2017-11-23
Also published as: WO2017198441A1; US10885663B2; EP3458935A1; JP2019519842A; CN109313488A; CA3022914A1; JP6676785B2; KR20190005222A; US20190180471A1; KR102184619B1

Abstract

Vorgeschlagen wird ein Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung. Das Verfahren beinhaltet ein Aufnehmen eines bekannten Objektes in einer realen Umgebung mit einer Aufnahmevorrichtung. Weiterhin beinhaltet das Verfahren ein Bestimmen eines Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um eine Gierachse der Darstellung der virtuellen Umgebung basierend auf der Aufnahme des Objekts, einer bekannten Position der Aufnahmevorrichtung in der realen Umgebung und einer momentanen Blickrichtung in der Darstellung der virtuellen Umgebung. Das Verfahren beinhaltet ferner ein Drehen der Blickrichtung in der Darstellung der virtuellen Umgebung um den Rotationsversatz.

Description

Technisches Gebiet
Ausführungsbeispiele befassen sich mit der Darstellung einer virtuellen Umgebung. Insbesondere befassen sich Ausführungsbeispiele mit einem Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung.
Hintergrund
Als virtuelle Realität (Virtual Reality, VR) wird die Darstellung und gleichzeitige Wahrnehmung einer computergenerierten, interaktiven virtuellen Umgebung und ihrer physikalischen Eigenschaften bezeichnet. Um ein Gefühl der Immersion zu erzeugen, kann eine Darstellung der virtuellen Umgebung an einen Benutzer z. B. über eine am Kopf des Benutzers befestigte Anzeigevorrichtung erfolgen. Solche Vorrichtungen sind als Head-Mounted Display (HMD), Head-Mounted Display Unit oder Head-Mounted Unit (HMU) bekannt. Die Anzeigevorrichtung stellt die virtuelle Umgebung z. B. auf einem augennahen Bildschirm dar oder projiziert sie direkt auf die Netzhaut des Benutzers. Die Orientierung, d. h. die Blickrichtung, in der Darstellung der virtuellen Umgebung wird dabei durch Drehen um eine Querachse (Nickachse, pitch axis) der Darstellung der virtuellen Umgebung, Drehen um eine Längsachse (Rollachse, roll axis) der Darstellung der virtuellen Umgebung und/oder Drehen um eine Gierachse (Vertikalachse, Hochachse, yaw axis) der Darstellung der virtuellen Umgebung eingestellt. Die Querachse, die Längsachse und die Gierachse stehen dabei senkrecht aufeinander.
Um die Darstellung der virtuellen Umgebung an Bewegungen des Benutzers anzupassen, d. h. um gemäß den Bewegungen des Benutzers durch die virtuelle Umgebung zu navigieren, kann die Position des Kopfes des Benutzers erfasst werden. Beispielsweise können eine Position sowie eine Orientierung des Kopfes des Benutzers in der realen Umgebung, d. h. in der realen Welt, bestimmt werden, um die Darstellung der virtuellen Umgebung anzupassen. Entsprechend kann die Wahrnehmung der eigenen Person in der realen Umgebung vermindert und die Identifikation mit der virtuellen Umgebung vergrößert werden. Um die Position des Kopfes des Benutzers zu erfassen, können z. B. die Ausbreitungszeiten eines Radiosignals von einem einzelnen Sender am Kopf des Benutzers zu mehreren entfernten Empfängern genutzt werden. So kann z. B. über ein Time-Difference-of-Arrival(TDoA)-Verfahren aus den unterschiedlichen Differenzzeiten zwischen dem Aussenden des Radiosignals durch den Sender und dem Empfangen des Radiosignals durch den jeweiligen Empfänger eine Position des Kopfes des Benutzers mit einer Genauigkeit im einstelligen Zentimeterbereich bestimmt werden. Der Sender kann dabei z. B. in einer am Kopf des Benutzers befestigten Anzeigevorrichtung integriert sein oder unabhängig von der am Kopf des Benutzers befestigten Anzeigevorrichtung am Kopf des Benutzers angebracht sein. Ein Benutzer kann somit z. B. durch freies Bewegen in der echten Umgebung die dargestellte Position in der virtuellen Umgebung ändern. Alternativ kann z. B. über ein kamerabasiertes Verfahren, ein Time-of-Flight(ToF)-Verfahren, ein Round Trip Time(RTT)-Verfahren bzw. eine inertiale Messeinheit (Inertial Measurement Unit, IMU) die Position des Kopfes des Benutzers erfasst werden.
Die Orientierung des Kopfes des Benutzers kann beispielsweise über entsprechende Sensorik (z. B. Gyroskop, Magnetometer, Akzelerometer) der am Kopf des Benutzers befestigten Anzeigevorrichtung bestimmt werden. Wenn die am Kopf des Benutzers befestigte Anzeigevorrichtung beispielsweise ein Mobilkommunikationsgerät, wie etwa ein Smartphone, sowie eine Fixiervorrichtung zum Befestigen des Mobilkommunikationsgeräts am Kopf des Benutzers aufweist, kann bereits im Mobilkommunikationsgerät vorhandene Sensorik zur Bestimmung der Orientierung des Kopfes des Benutzers genutzt werden. Ein Benutzer kann somit z. B. durch Drehen oder Neigen des Kopfes in der echten Umgebung die die Blickrichtung in der virtuellen Umgebung ändern. Bei einem Drehen des Kopfes in der echten Umgebung wird z. B. die Blickrichtung in der virtuellen Umgebung durch ein Drehen um die Gierachse der Darstellung der virtuellen Umgebung geändert. Beispielsweise kann das Magnetometer verwendet werden, um die Orientierung in der realen Umgebung hinreichend stabil zu bestimmen. Für ein abgeschlossenes Gebiet in der realen Umgebung kann z. B. eine Magnetfeldkarte erstellt werden, so dass mit einem entsprechend kalibriertem Magnetometer die Orientierung des Kopfes des Benutzers in der realen Umgebung bestimmt werden kann.
Die Bestimmung der Orientierung des Kopfes des Benutzers mittels der oben genannten Sensorik kann jedoch zu Orientierungsfehlern führen. So liefern Magnetometer mitunter falsche Messwerte, so dass die gemessene Orientierung des Kopfes nicht mit der wahren Orientierung des Kopfes in der realen Umgebung übereinstimmt. Auch eine näherungsweise Orientierungsbestimmung des Kopfes mittels Koppelung der Messwerte eines Gyroskops und eines Akzelerometers kann aufgrund von Messfehlern der einzelnen Sensorelemente zu einer Diskrepanz zwischen der gemessenen bzw. bestimmten Orientierung des Kopfes und der wahren Orientierung des Kopfes in der realen Umgebung führen. So kann beispielsweise die Kombination und Integration fehlerhafter Messwerte über einen längeren Zeitraum zu Abweichungen zwischen der bestimmten Orientierung des Kopfes und der wahren Orientierung des Kopfes in der realen Umgebung führen. Auch häufige und intensive Änderungen der Drehrate der Sensorik (z. B. Wechsel zwischen langsamen und schnellen Drehbewegungen des Kopfes) können zu mitunter erheblichen Abweichungen zwischen der bestimmten Orientierung des Kopfes und der wahren Orientierung des Kopfes in der realen Umgebung führen, wobei der Fehler mit dem Ausmaß der Drehratenänderung ansteigt. Entsprechend ist auch die Orientierung der Darstellung der virtuellen Umgebung, die auf den Messwerten beruht, verfälscht.
Ein Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung bis zu etwa ±15° wird dabei von einem Benutzer für gewöhnlich nicht wahrgenommen. Läuft ein Benutzer z. B. in der realen Umgebung geradeaus, so realisiert er mitunter nicht, wenn die Blickrichtung in der Darstellung der virtuellen Umgebung bis zu etwa ±15° davon abweicht (d. h. die Blickrichtung bis zu etwa 15° nach links bzw. rechts um die Gierachse rotiert ist). Mit anderen Worten: Der Benutzer nimmt bis zu einem gewissen Grad nicht wahr, dass er sich im Gegensatz zur realen Umgebung in der virtuellen Umgebung nicht geradeaus, sondern schräg bewegt. Größere Abweichungen werden jedoch von dem Benutzer wahrgenommen und mindern das Gefühl der Immersion. Aufgrund der Messfehler der Sensorik kann es mitunter zu einem solch unerwünscht großen Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung kommen. Insbesondere bei einer Nutzung der Darstellung der virtuellen Umgebung durch den Benutzer über einen längeren Zeitraum kann es aufgrund der Integration der fehlerhaften Messwerte zu einem merklichen Versatz der Blickrichtung in der Darstellung der virtuellen Umgebung kommen. Mitunter kann die wahrnehmbare Abweichung der Blickrichtung in der Darstellung der virtuellen Umgebung auch zu einem Unwohlsein bei dem Benutzer führen.
Es besteht somit ein Bedürfnis, eine Möglichkeit zur Korrektur der Blickrichtung in der Darstellung der virtuellen Umgebung bereitzustellen.
Zusammenfassung
Ausführungsbeispiele eines Verfahrens zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung ermöglichen dies. Dabei umfasst das Verfahren ein Aufnehmen eines bekannten Objektes in einer realen Umgebung mit einer Aufnahmevorrichtung (z. B. ein Bild, ein Video oder eine Tonaufnahme). Ferner umfasst das Verfahren ein Bestimmen eines Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um eine Gierachse der Darstellung der virtuellen Umgebung basierend auf der Aufnahme des Objekts, einer bekannten Position der Aufnahmevorrichtung in der realen Umgebung und einer momentanen Blickrichtung in der Darstellung der virtuellen Umgebung. Das Verfahren umfasst weiterhin ein Drehen der Blickrichtung in der Darstellung der virtuellen Umgebung um den Rotationsversatz.
Die Aufnahmevorrichtung kann räumlich in unmittelbarer Nähe zum Benutzer angeordnet sein. Beispielsweise kann die Aufnahmevorrichtung am Körper des Benutzers (etwa am Kopf) befestigt werden. Aus der Aufnahme des Objekts und der bekannten Position der Aufnahmevorrichtung in der realen Umgebung kann die Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt werden, die daher näherungsweise als Orientierung des Kopfes des Benutzers in der realen Umgebung angenommen werden kann. Daraus kann unter Heranziehung der Informationen über die momentane Blickrichtung in der Darstellung der virtuellen Umgebung der Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung bestimmt und die Darstellung der virtuellen Umgebung entsprechend korrigiert werden. Die Darstellung der virtuellen Umgebung kann somit an die tatsächliche Position und Orientierung des Kopfes des Benutzers in der realen Umgebung angepasst werden. Mithin erlauben Ausführungsbeispiele des vorgeschlagenen Verfahrens somit eine Kalibration der Blickrichtung in der Darstellung der virtuellen Umgebung. Bei einem Benutzer kann somit ein verbessertes Gefühl der Immersion erzeugt werden.
Weitere Ausführungsbeispiele betreffen ein zweites Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung. Das Verfahren umfasst dabei ein Aufnehmen eines bekannten Objektes in einer realen Umgebung mit einer Aufnahmevorrichtung (z. B. ein Bild, ein Video oder eine Tonaufnahme). Weiterhin umfasst das Verfahren ein Bestimmen eines Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um eine Gierachse der Darstellung der virtuellen Umgebung basierend auf der Aufnahme des Objekts und einer momentanen Blickrichtung in der Darstellung der virtuellen Umgebung. Zudem umfasst das Verfahren ein Drehen der Blickrichtung in der Darstellung der virtuellen Umgebung um den Rotationsversatz.
Aus der Aufnahme des Objekts kann die Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt werden. Ist die Aufnahmevorrichtung räumlich in unmittelbarer Nähe zum Benutzer angeordnet (z. B. am Kopf des Benutzers), kann die Orientierung der Aufnahmevorrichtung in der realen Umgebung näherungsweise als Orientierung des Kopfes des Benutzers in der realen Umgebung angenommen werden. Daraus kann zusammen mit den Informationen über die momentane Blickrichtung in der Darstellung der virtuellen Umgebung der Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung bestimmt und die Darstellung der virtuellen Umgebung entsprechend korrigiert werden. Die Darstellung der virtuellen Umgebung kann somit an die tatsächliche Position und Orientierung des Kopfes des Benutzers in der realen Umgebung angepasst werden. Mithin erlauben Ausführungsbeispiele des vorgeschlagenen Verfahrens somit eine Kalibration der Blickrichtung in der Darstellung der virtuellen Umgebung. Bei einem Benutzer kann somit ein verbessertes Gefühl der Immersion erzeugt werden.
Weitere Ausführungsbeispiele betreffen ein drittes Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung. Das Verfahren umfasst dabei ein Aufnehmen eines in einer realen Umgebung am Körper eines Benutzers angeordneten Objektes mit einer am Kopf des Benutzers angeordneten Aufnahmevorrichtung zu einem ersten Zeitpunkt und zu einem späteren zweiten Zeitpunkt (z. B. ein Bild, ein Video oder eine Tonaufnahme). Weiterhin umfasst das Verfahren ein Bestimmen eines Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um eine Gierachse der Darstellung der virtuellen Umgebung basierend auf den Aufnahmen des Objektes zu dem ersten Zeitpunkt und zu dem zweiten Zeitpunkt sowie Messwerten zumindest eines weiteren am Kopf des Benutzers befestigten Sensors. Das Verfahren umfasst ferner ein Drehen der Blickrichtung in der Darstellung der virtuellen Umgebung um den Rotationsversatz.
Aus den Aufnahmen des Objektes zu dem ersten Zeitpunkt und zu dem zweiten Zeitpunkt sowie den Messwerten des zumindest einen weiteren am Kopf des Benutzers befestigten Sensors kann jeweils ein effektive Rotation der Aufnahmevorrichtung um die Gierachse des Kopfes des Benutzers zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt bestimmt werden. Die Differenz zwischen den beiden bestimmten Werten für die Rotation der Aufnahmevorrichtung um die Gierachse des Kopfes des Benutzers kann näherungsweise als Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung angenommen werden. Die Darstellung der virtuellen Umgebung kann damit entsprechend korrigiert werden. Die Darstellung der virtuellen Umgebung kann somit an die tatsächliche Position und Orientierung des Kopfes des Benutzers in der realen Umgebung angepasst werden. Mithin erlauben Ausführungsbeispiele des vorgeschlagenen Verfahrens somit eine Kalibration der Blickrichtung in der Darstellung der virtuellen Umgebung. Bei einem Benutzer kann somit ein verbessertes Gefühl der Immersion erzeugt werden.
Ausführungsbeispiele umfassen in einem weiteren Aspekt ein Programm mit einem Programmcode zum Durchführen eines der vorgeschlagenen Verfahren, wenn der Programmcode auf einem Computer, einem Prozessor oder einer programmierbaren Hardwarekomponente ausgeführt wird.
Figurenkurzbeschreibung
Ausführungsbeispiele werden nachfolgend bezugnehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:
1 ein Beispiel eines Verfahrens zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung;
2 ein Beispiel eines Zusammenhangs zwischen einem Objekt in der realen Umgebung und einer Aufnahme des Objekts;
3a ein erstes Beispiel für ein Objekt;
3b ein zweites Beispiel für ein Objekt;
3c ein drittes Beispiel für ein Objekt;
3d ein viertes Beispiel für ein Objekt;
4 beispielhafte Merkmale in einem Objekt;
5 ein Beispiel einer Zuordnung der Positionen von Merkmalen eines Objekts in der realen Umgebung zur Position der jeweiligen Merkmals in einer Aufnahme des Objekts;
6 ein Beispiel eines Histogramms bestimmter Orientierungen der Aufnahmevorrichtung in der realen Umgebung;
7 eine Abfolge zueinander rotierter Aufnahme eines selben Objekts;
8 ein Beispiel eines weiteren Verfahrens zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung;
9a eine Aufnahme eines fünften Beispiels für ein Objekt;
9b eine korrespondierende Binäraufnahme zu der in 9a gezeigten Aufnahme;
9c eine Aufnahme eines sechsten Beispiels für ein Objekt;
9d eine korrespondierende Binäraufnahme zu der in 9b gezeigten Aufnahme;
10 ein Beispiel eines weiteren Verfahrens zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung;
11a ein Beispiel eines Zusammenhangs zwischen einem Bewegungsvektor eines Benutzers, einer tatsächlichen Blickrichtung des Benutzers und einer aus Messwerten zumindest eines weiteren am Kopf des Benutzers angeordneten Sensors bestimmten Blickrichtung in der Darstellung der virtuellen Umgebung zu einem ersten Zeitpunkt; und
11b ein Beispiel eines Zusammenhangs zwischen einem Bewegungsvektor eines Benutzers, einer tatsächlichen Blickrichtung des Benutzers und einer aus Messwerten zumindest eines weiteren am Kopf des Benutzers angeordneten Sensors bestimmten Blickrichtung in der Darstellung der virtuellen Umgebung zu einem zweiten Zeitpunkt.
Beschreibung
Verschiedene Ausführungsbeispiele werden nun ausführlicher unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargestellt sind. In den Figuren können die Dickenabmessungen von Linien, Schichten und/oder Regionen um der Deutlichkeit Willen übertrieben dargestellt sein.
Bei der nachfolgenden Beschreibung der beigefügten Figuren, die lediglich einige exemplarische Ausführungsbeispiele zeigen, können gleiche Bezugszeichen gleiche oder vergleichbare Komponenten bezeichnen. Ferner können zusammenfassende Bezugszeichen für Komponenten und Objekte verwendet werden, die mehrfach in einem Ausführungsbeispiel oder in einer Zeichnung auftreten, jedoch hinsichtlich eines oder mehrerer Merkmale gemeinsam beschrieben werden. Komponenten oder Objekte, die mit gleichen oder zusammenfassenden Bezugszeichen beschrieben werden, können hinsichtlich einzelner, mehrerer oder aller Merkmale, beispielsweise ihrer Dimensionierungen, gleich, jedoch gegebenenfalls auch unterschiedlich ausgeführt sein, sofern sich aus der Beschreibung nicht etwas anderes explizit oder implizit ergibt.
Obwohl Ausführungsbeispiele auf verschiedene Weise modifiziert und abgeändert werden können, sind Ausführungsbeispiele in den Figuren als Beispiele dargestellt und werden hierin ausführlich beschrieben. Es sei jedoch klargestellt, dass nicht beabsichtigt ist, Ausführungsbeispiele auf die jeweils offenbarten Formen zu beschränken, sondern dass Ausführungsbeispiele vielmehr sämtliche funktionale und/oder strukturelle Modifikationen, Äquivalente und Alternativen, die im Bereich der Erfindung liegen, abdecken sollen. Gleiche Bezugszeichen bezeichnen in der gesamten Figurenbeschreibung gleiche oder ähnliche Elemente.
Man beachte, dass ein Element, das als mit einem anderen Element „verbunden” oder „verkoppelt” bezeichnet wird, mit dem anderen Element direkt verbunden oder verkoppelt sein kann oder dass dazwischenliegende Elemente vorhanden sein können. Wenn ein Element dagegen als „direkt verbunden” oder „direkt verkoppelt” mit einem anderen Element bezeichnet wird, sind keine dazwischenliegenden Elemente vorhanden. Andere Begriffe, die verwendet werden, um die Beziehung zwischen Elementen zu beschreiben, sollten auf ähnliche Weise interpretiert werden (z. B., „zwischen” gegenüber „direkt dazwischen”, „angrenzend” gegenüber „direkt angrenzend” usw.).
Die Terminologie, die hierin verwendet wird, dient nur der Beschreibung bestimmter Ausführungsbeispiele und soll die Ausführungsbeispiele nicht beschränken. Wie hierin verwendet, sollen die Singularformen „einer”, „eine”, „eines” und „der, die, das” auch die Pluralformen beinhalten, solange der Kontext nicht eindeutig etwas anderes angibt. Ferner sei klargestellt, dass die Ausdrücke wie z. B. „beinhaltet”, „beinhaltend”, aufweist” und/oder „aufweisend”, wie hierin verwendet, das Vorhandensein von genannten Merkmalen, ganzen Zahlen, Schritten, Arbeitsabläufen, Elementen und/oder Komponenten angeben, aber das Vorhandensein oder die Hinzufügung von einem bzw. einer oder mehreren Merkmalen, ganzen Zahlen, Schritten, Arbeitsabläufen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
Solange nichts anderes definiert ist, haben sämtliche hierin verwendeten Begriffe (einschließlich von technischen und wissenschaftlichen Begriffen) die gleiche Bedeutung, die ihnen ein Durchschnittsfachmann auf dem Gebiet, zu dem die Ausführungsbeispiele gehören, beimisst. Ferner sei klargestellt, dass Ausdrücke, z. B. diejenigen, die in allgemein verwendeten Wörterbüchern definiert sind, so zu interpretieren sind, als hätten sie die Bedeutung, die mit ihrer Bedeutung im Kontext der einschlägigen Technik konsistent ist, solange dies hierin nicht ausdrücklich anders definiert ist.
1 zeigt ein Verfahren 100 zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung. Bei der virtuellen Umgebung handelt es sich um eine computergenerierte, interaktive Welt mit vorgegebenen physikalischen Eigenschaften, die z. B. an einen Benutzer ausgegeben werden kann. Die Blickrichtung in der Darstellung der virtuellen Umgebung entspricht dabei der Orientierung (Ausrichtung) des in der Darstellung der virtuellen Umgebung gezeigten Ausschnitts der virtuellen Umgebung in der virtuellen Umgebung. Die Darstellung der virtuellen Umgebung kann beispielsweise die virtuelle Umgebung aus einer Egoperspektive oder Ich-Perspektive wiedergeben, d. h. die virtuellen Umgebung wird so wiedergegeben, wie ein Benutzer sie sehen würde, wenn er sich tatsächlich in der virtuellen Umgebung bewegen würde. Entsprechend entspräche die Blickrichtung in der Darstellung der virtuellen Umgebung der Blickrichtung des Benutzers, wenn er sich tatsächlich in der virtuellen Umgebung bewegen würde. Die Blickrichtung in der Darstellung der virtuellen Umgebung wird dabei durch Drehen um die Querachse der Darstellung der virtuellen Umgebung, Drehen um die Längsachse der Darstellung der virtuellen Umgebung und/oder Drehen um die Gierachse der Darstellung der virtuellen Umgebung eingestellt.
Das Verfahren 100 umfasst dabei ein Aufnehmen 102 eines bekannten Objektes in einer realen Umgebung (d. h. der realen, echten Welt) mit einer Aufnahmevorrichtung. Bei dem bekannten Objekt kann es sich sowohl um ein speziell für das vorgeschlagene Verfahren platziertes Objekt in der realen Umgebung handeln, als auch um ein bereits in der realen Umgebung vorhandenes Objekt. Beispielsweise kann das Objekt in einem Bereich in der realen Umgebung, in dem sich der Benutzer bewegt, platziert sein oder ein bereits vorhandenes Element dieses Bereichs sein. Bei dem Objekt kann es sich sowohl um ein im Wesentlichen zweidimensionales (flächiges) Objekt, d. h. ein Objekt dass sich im Wesentlichen in lediglich zwei Raumrichtungen erstreckt, als auch um ein dreidimensionales Objekt, d. h. ein Objekt das sich in ähnlichen Größenordnungen in alle drei Raumrichtungen erstreckt, handeln. Bewegt sich der Benutzer in der realen Umgebung z. B. innerhalb eines Raumes oder einer Halle, kann das bekannte Objekt z. B. ein Objekt des Raumes bzw. der Halle sein, wie etwa ein Fenster, eine Beleuchtungsvorrichtung, eine Tür, ein Pfosten, ein Träger, Einrichtungsgegenstand oder ein sonstiges Element des Raumes bzw. der Halle. Alternativ kann das Objekt z. B. ein Poster, eine Projektion, eine Schallquelle oder ein sonstiges Element sein, das in dem Raum bzw. der Halle speziell für das vorgeschlagene Verfahren platziert wurde.
Bei der Aufnahme kann es sich z. B. um ein Stehbild (d. h. eine Einzelaufnahme), ein Video (d. h. eine Abfolge von Bildern) oder eine Tonaufnahme, d. h. ein Aufzeichnung von Schall, (z. B. Geräusche, Töne, Musik oder Sprache) handeln. Entsprechend kann die Aufnahmevorrichtung eine Stehbildkamera, eine Videokamera, ein (Stereo-)Tonaufnahmegerät oder eine Kombination davon umfassen.
Ferner umfasst das Verfahren 100 ein Bestimmen 104 eines Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung basierend auf der Aufnahme des Objekts, einer bekannten Position der Aufnahmevorrichtung in der realen Umgebung und einer momentanen Blickrichtung in der Darstellung der virtuellen Umgebung. Die Aufnahmevorrichtung kann räumlich in unmittelbarer Nähe zum Benutzer angeordnet sein. Als Position der Aufnahmevorrichtung kann dann z. B. eine im regulären Betrieb eines VR-Systems gemessene Position des Benutzers in der realen Umgebung verwendet werden. Wird die Position des Benutzers wie oben beschrieben z. B. über eine Flugzeitmessung bestimmt, kann der Sender z. B. am Kopf des Benutzers und die Aufnahmevorrichtung räumlich nahe zu diesem angeordnet werden, um die Position der Aufnahmevorrichtung in der realen Umgebung möglichst genau zu kennen. Die momentane Blickrichtung in der Darstellung der virtuellen Umgebung kann beispielsweise von einer Anzeigevorrichtung (z. B. HMD, HMU), die die Darstellung der virtuellen Umgebung an den Benutzer ausgibt (und optional auch berechnet), oder einem Rechner, der die virtuellen Umgebung berechnet (z. B. Back-End eines VR-Systems), empfangen werden.
Aus der Aufnahme des Objekts und der bekannten Position der Aufnahmevorrichtung in der realen Umgebung kann die Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt werden, die näherungsweise als Orientierung des Benutzers bzw. dessen Kopfes in der realen Umgebung angenommen werden kann. Daraus kann unter Heranziehung der Informationen über die momentane Blickrichtung in der Darstellung der virtuellen Umgebung der Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung bestimmt werden. Einige Beispiele für die Bestimmung der Orientierung der Aufnahmevorrichtung in der realen Umgebung als auch der Bestimmung des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung werden in der nachfolgenden Beschreibung näher erläutert.
Das Verfahren 100 umfasst weiterhin ein Drehen 106 der Blickrichtung in der Darstellung der virtuellen Umgebung um den Rotationsversatz. Mit anderen Worten: Die Blickrichtung in der Darstellung der virtuellen Umgebung wird durch eine Drehung um die Gierachse der Darstellung der virtuellen Umgebung korrigiert, wobei die Richtung und die Magnitude der Drehung durch den Rotationsversatz bestimmt sind. Die Darstellung der virtuellen Umgebung wird somit um den Rotationsversatz korrigiert. Die Darstellung der virtuellen Umgebung kann somit an die tatsächliche Position und Orientierung des Kopfes des Benutzers in der realen Umgebung angepasst werden. Mithin erlaubt das Verfahren 100 somit eine Kalibration der Blickrichtung in der Darstellung der virtuellen Umgebung. Insbesondere kann mit dem Verfahren 100 eine fehlerhaft bestimmte Orientierung in der realen Umgebung bzw. ein Abdriften der Blickrichtung in der Darstellung der virtuellen Umgebung, das von Messfehlern der gewöhnlich verwendeten Sensorik zur Bestimmung der Position und Ausrichtung (des Kopfes) eines Benutzers herrührt, korrigiert werden.
Wie bereits oben angedeutet, kann das Verfahren 100 in einigen Ausführungsbeispielen ferner ein Ausgeben der Darstellung der virtuellen Umgebung an einen Benutzer umfassen. Das Ausgeben der Darstellung der virtuellen Umgebung an den Benutzer kann dabei z. B. über eine am Kopf des Benutzers befestigte Anzeigevorrichtung erfolgen, die ferner die Aufnahmevorrichtung umfasst. Bei einer derartigen Anordnung kann die Orientierung der Aufnahmevorrichtung in der realen Umgebung näherungsweise als Orientierung des Kopfes des Benutzers in der realen Umgebung angenommen werden.
In einigen Ausführungsbeispielen umfasst die am Kopf des Benutzers befestigte Anzeigevorrichtung ein Mobilkommunikationsgerät (z. B. ein Smartphone). Wie oben angedeutet, kann im gewöhnlichen Betrieb des VR-Systems bereits im Mobilkommunikationsgerät vorhandene Sensorik (z. B. Gyroskop, Magnetometer, Akzelerometer) zur Bestimmung der Orientierung des Kopfes des Benutzers in der realen Umgebung verwendet werden. Durch Verwenden der Kamera des Mobilkommunikationsgeräts als Aufnahmevorrichtung kann ein Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung aufgrund von Messfehlern der Sensorik des Mobilkommunikationsgeräts korrigiert werden. Für die Kalibration der Darstellung der virtuellen Umgebung kann somit auf bereits durch das Mobilkommunikationsgerät bereitgestellte Ressourcen zurückgegriffen werden. Mit anderen Worten: Das Verfahren 100 kann unmittelbar (d. h. online) auf dem Mobilkommunikationsgerät ausgeführt werden. Das Verfahren 100 kann somit ohne zusätzliche Hardwarekomponenten eine Kalibration der Darstellung der virtuellen Umgebung ermöglichen. Alternativ kann z. B. ein Teil des Verfahrens 100 durch das Mobilkommunikationsgerät und ein anderer Teil des Verfahrens 100, wie etwa das Bestimmen 104 des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung, durch ein bereits vorhandenes Back-End des VR-Systems, das der Benutzer verwendet, ausgeführt werden (d. h. offline). Der bestimmte Rotationsversatz kann dann z. B. vom Back-End an das Mobilkommunikationsgerät gesendet werden, so dass dieses die Blickrichtung in der aktuellen Darstellung der virtuellen Umgebung um den Rotationsversatzdrehen kann. Die vorbeschriebene Funktionalität kann z. B. durch ein Update für eine oder mehrere bereits existierende Softwarekomponenten des VR-Systems (z. B. Software für das Mobilkommunikationsgerät oder Software für das Back-End) implementiert werden.
In einigen Ausführungsbeispielen kann das Bestimmen 104 des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung ein Bestimmen einer Orientierung der Aufnahmevorrichtung in der realen Umgebung basierend auf der Aufnahme des Objekts und der bekannten Position der Aufnahmevorrichtung in der realen Umgebung umfassen (beispielhafte Verfahren hierzu werden nachfolgend erläutert). Ferner kann das Bestimmen 104 des Rotationsversatzes ein Bestimmen einer Soll-Blickrichtung in der Darstellung der virtuellen Umgebung basierend auf der Orientierung der Aufnahmevorrichtung in der realen Umgebung umfassen. Beispielsweise kann die bestimmte Orientierung der Aufnahmevorrichtung in der realen Umgebung einem Algorithmus für die Berechnung der Darstellung der virtuellen Umgebung bereitgestellt werden, der darauf basierend eine Darstellung der virtuellen Umgebung berechnet. Insbesondere wenn die Aufnahmevorrichtung am Kopf des Benutzers angeordnet ist, kann die Soll-Blickrichtung in der virtuellen Umgebung diejenige Blickrichtung in der virtuellen Umgebung sein, die der tatsächlichen Position und Orientierung des Kopfes des Benutzers in der realen Umgebung entspricht. Beispielsweise kann die Aufnahmevorrichtung in Blickrichtung geradeaus des Benutzers in der realen Umgebung oder vertikal zu dieser ausgerichtet sein. Die Blickrichtung in der berechneten Darstellung der virtuellen Umgebung kann folglich als Soll-Blickrichtung angesehen werden.
Aus der Soll-Blickrichtung in der Darstellung der virtuellen Umgebung und der momentanen Blickrichtung in der Darstellung der virtuellen Umgebung wird gemäß Ausführungsbeispielen nunmehr der Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung bestimmt. Dies kann beispielsweise durch einen Vergleich der Soll-Blickrichtung und der momentanen Blickrichtung in der Darstellung der virtuellen Umgebung geschehen. Mit anderen Worten: Es wird bestimmt, wie stark die momentane Blickrichtung in der Darstellung der virtuellen Umgebung relativ zu der Soll-Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung rotiert ist.
Die Darstellung der virtuellen Umgebung kann z. B. durch die am Kopf des Benutzers befestigte Anzeigevorrichtung (z. B. umfassend ein Mobilkommunikationsgerät) gerendert werden.
Die Bestimmung der Soll-Blickrichtung für einen Zeitpunkt t₀ kann z. B. durch ein Back-End des VR-Systems ausgeführt werden und anschließend an das am Kopf des Benutzers befestigte Mobilkommunikationsgerät gesendet werden. Aus der Soll-Blickrichtung in der Darstellung der virtuellen Umgebung für den Zeitpunkt t₀ und der momentanen Blickrichtung in der Darstellung der virtuellen Umgebung zum Zeitpunkt t₀ kann das Mobilkommunikationsgerät dann den Rotationsversatz der Blickrichtung um die Gierachse der Darstellung der virtuellen Umgebung zum Zeitpunkt t₀ bestimmen. Unter der Annahme, dass ein weiterer Drift der Blickrichtung in der Darstellung der virtuellen Umgebung zwischen dem Zeitpunkt t₀ und einem späteren Zeitpunkt t₁ zu vernachlässigen ist, kann das Mobilkommunikationsgerät z. B. die Blickrichtung in der Darstellung der virtuellen Umgebung für den Zeitpunkt t₁ um den Rotationsversatz der Blickrichtung zum Zeitpunkt t₀ drehen, d. h. korrigieren. Entsprechend kann die Darstellung der virtuellen Umgebung mit einer korrekten Blickrichtung an den Benutzer ausgegeben werden.
Das oben beschriebene Verfahren kann während der Nutzung des VR-Systems wiederholt ausgeführt werden. So kann z. B. ein weiterer Drift der Blickrichtung in der Darstellung der virtuellen Umgebung zwischen dem Zeitpunkt t₀ und dem späteren Zeitpunkt t₁ korrigiert werden. Auch kann das Verfahren nach einer erfolgten Korrektur zumindest teilweise erneut ausgeführt werden, um die vorangegangene Korrektur zu verifizieren.
In 2 ist beispielhaft gezeigt, wie die Orientierung einer Aufnahmevorrichtung in der realen Umgebung basierend auf einer Aufnahme 210 eines bekannten Objekts 220 und einer bekannten Position C der Aufnahmevorrichtung in der realen Umgebung bestimmt werden kann. Das Objekt 220 kann als eine Menge an Weltpunkten M aufgefasst werden. Die Aufnahme 210 kann als eine Menge an Bildpunkten m aufgefasst werden.
Die Orientierung der Aufnahmevorrichtung und somit der Blickwinkel in der Aufnahme 210 kann allgemein aus einer Transformation bestimmt werden, welche die Weltpunkte M des Objekts 220 in entsprechende Bildpunkte m der Aufnahme 210 überführt. Allgemein kann die Transformation wie folgt dargestellt werden: m = KR[I| – C]M (1), wobei I die Einheitsmatrix sowie K und R die Zerlegung der Kameramatrix der Aufnahmevorrichtung darstellen, wobei K die intrinsische Matrix, welche die Fokallänge, den Hauptpunkt der Kamera und die Abweichungen der Achsen des Bildkoordinatensystems von der angenommenen Orthogonalität (axis skew) beschreibt, und R eine allgemeine Drehmatrix darstellt. R kann dabei als ein Produkt dreier Drehmatrizen R_x, R_y und R_z um zueinander orthogonale Einheitsrichtungen X, Y und Z dargestellt werden. Von einem definierten Ursprungspunkt in der realen Umgebung kann z. B. X nach rechts zeigen, Y nach oben (d. h. gen Himmel) zeigen und Z in die Tiefe (d. h. nach vorne) zeigen. Die Einheitsrichtung Y entspricht somit der Gierachse (Vertikalachse), d. h. eine Drehung um diese Achse verschiebt eine Aufnahme horizontal. Die Achsen des Koordinatensystems der virtuellen Umgebung können verschieden zu den zueinander orthogonalen Einheitsrichtungen X, Y und Z gewählt sein. Eine Position in der realen Umgebung kann dann über eine Koordinatentransformation in eine Position in der virtuellen Umgebung übersetzt werden. Entsprechend kann Gleichung (1) wie folgt umgeformt werden: m = KR_xR_yR_z[I| – C]M (2) R –1 / zK^–1m = R_xR_y[I| – C]M (3)
Die drei Drehmatrizen R_x, R_y und R_z können dabei in Abhängigkeit von einem Winkel α, der die gesuchte horizontale Ausrichtung der Aufnahmevorrichtung in der realen Umgebung angibt. Mit anderen Worten: Winkel α definiert eine Orientierung (Ausrichtung) der Aufnahmevorrichtung in der von X und Z aufgespannten Ebene. Die Drehmatrizen R_x, R_y und R_z sind wie üblich definiert:
Unter der Annahme, dass R_x(α), R_z(α), K und C bekannt sind, kann R_v(α) aus einem korrespondieren M ↔ Paar bestimmt werden. R_x(α) und R_z(α) können z. B. mittels der bereits im Mobilkommunikationsgerät vorhandenen Sensorik bestimmt werden (z. B. über den Gravitationsvektor). Dabei können die Koeffizienten aus Gleichung (3) wie folgt zusammengefasst werden: C_q = R –1 / zK^–1 (7) C_p = R_x[I – C] (8)
Entsprechend kann Gleichung (3) wie folgt dargestellt werden: C_qm = R_yC_pM (9) bzw. Y = R_yX (10), wobei Y = C_qm und X = C_pM.
Entsprechend kann Gleichung (10) wie folgt umformuliert werden:
Ausmultiplizieren von Gleichung (11) ergibt folgendes Gleichungssystem: u' = u·cosα + sinα / cosα – u·sinα (12) v' = v / cosα – u·sinα (13) 1 = 1 (14)
Dieses Gleichungssystem kann wie folgt nach dem Winkel α aufgelöst werden: u'·(cosα – u·sinα) = u·cosα + sinα (15) u'·cosα – u'·u·sinα = u·cosα + sinα (16) u'·cosα – u·cosα – u'·u·sinα – sinα = 0 (17) cosα·(u' – u) – sinα·(u'·u + 1) = 0 (18) sinα·(–u'·u – 1) + cosα·(u' – u) = 0 (19)
Mit (–u'·u – 1) = α und (u' – u) = b ergibt sich: a·sinα + b·cosα = 0 (20)
Aus Gleichung (21) folgt: a·sinα + b·cosα = sin(α + tan^–1( b / a)) = 0 (22) a·sinα + b·cosα = α + tan^–1( b / a) = 0 (23) α = –tan^–1( b / a) = –tan^–1( u' – u / –u'·u – 1) für a = –u'·u – 1 > 0 (24) α = tan^–1(– b / a) = tan^–1(– u' – u / –u'·u – 1) für a = –u'·u – 1 > 0 (25) cos(α – tan^–1( a / b)) = 0 (26) sin(α – tan^–1( a / b) + π / 2) = 0 (27) α = tan^–1( a / b) + π / 2 = tan^–1( –u'·u – 1 / u' – u) + π / 2 für b = u' – u > 0 (28) α = –tan^–1(– a / b) – π / 2 = –tan^–1( u'·u + 1 / u' – u) – π / 2 für b = u' – u > 0 (29)
u' und u können für jedes korrespondiere M ↔ m Paar bestimmt werden, sodass der Winkel α für jedes Paar bestimmt werden kann.
In 3a bis 3d sind nachfolgend einige Beispiele für mögliche Objekte gezeigt. Dabei zeigt 3a ein amorphes Muster 310 mit verschiedenen Graustufen, 3b ein Muster 320 mit Kreisen verschiedener Größen und Graustufen, 3c eine Abbildung 330 von Bäumen und 3d eine Kollage 340 von Zeichenfolgen (z. B. Wörter oder Zahlen). Wie aus den 3a bis 3d deutlich wird, kann das Objekt vielfältig sein. Die in den 3a bis 3d gezeigten Muster können z. B. auf einer vertikalen Ebene in der realen Umgebung angebracht sein (z. B. mittels eines Posters oder mittels Projektion). Beispielsweise können die in den 3a bis 3d gezeigten Muster in Form eines Posters oder als Projektion an einer Seitenwand eines Raumes oder einer Halle dargestellt werden. Das Objekt ist jedoch nicht auf die Bespiele der 3a bis 3d beschränkt. In der folgenden Beschreibung werden noch weitere Beispiele für mögliche Objekte gezeigt.
Gemäß Ausführungsbeispielen umfasst das Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung ein Bestimmen einer Transformation, die zumindest einen Teil der Aufnahme des bekannten Objekts mit zumindest einem Teil einer Vergleichsaufnahme in Übereinstimmung bringt. Die Vergleichsaufnahme kann Informationen über die Position des bekannten Objekts in der realen Umgebung bereitstellen. Beispielsweise kann eine Datenbank mit Vergleichsaufnahmen vorgehalten werden, die verschiedenen Objekte bzw. ein Objekt aus verschiedenen Perspektiven zeigen. Dabei sind für jede Vergleichsaufnahme zusätzlich Informationen über die Position des darauf gezeigten Objekts in der realen Welt gespeichert (vorgehalten). Diese Informationen, die den Weltpunkten M in dem Beispiel der 2 entsprechen, können verwendet werden, um gemäß den im Beispiel der 2 gezeigten Grundsätzen, die Orientierung der Aufnahmevorrichtung in der realen Umgebung zu bestimmen. In den nachfolgenden 4 bis 7 werden beispielhaft zwei verschiedene Ansätze zur Bestimmung der Orientierung der Aufnahmevorrichtung in der realen Umgebung auf Basis des Bestimmens einer Transformation, die zumindest einen Teil der Aufnahme des bekannten Objekts mit zumindest einem Teil einer Vergleichsaufnahme in Übereinstimmung bringt, erläutert.
Zur Erläuterung des ersten Ansatzes ist in 4 ein Muster mit Kreisen verschiedener Größen und Graustufen in Form eines an einer Wand der realen Umgebung angebrachten Posters 400 als Beispiel für ein Objekt gezeigt. Das Muster umfasst eine Mehrzahl an Merkmalen 410-1, 410-2, ..., 410-n. Die Merkmale 410-1, 410-2, ..., 410-n können über Merkmalsextraktionsverfahren bestimmt werden. Beispiele für Merkmalsextraktionsverfahren sind z. B. der Scale-Invariant Feature Transform (SIFT) Algorithmus, der Speeded Up Robust Features (SURF) Algorithmus oder der Binary Robust Independent Elementary Features (BRIEF) Algorithmus. Diese Merkmale können als Vergleichsmerkmale in einer Datenbank gespeichert werden, d. h. die Mehrzahl an Vergleichsmerkmalen der Datenbank kann verschiedene Merkmale des Objekts umfassen. Ebenso können die Vergleichsmerkmale in der Datenbank aus verschiedenen Aufnahmen desselben Objekts stammen, da die Merkmale je nach Blickrichtung in der Vergleichsaufnahme unterschiedlich sein können. Mitunter werden Merkmale nur bei einem bestimmten Blickwinkel der Aufnahme durch das Merkmalsextraktionsverfahren erkannt. Sind nun bei dem beispielhaften Poster 400, welches das Muster trägt, die Positionen der vier Ecken 401, 402, 403, 404 des Posters 400 in der realen Umgebung bekannt, so kann auch den einzelnen Vergleichsmerkmalen der Datenbank jeweils eine Position in der realen Umgebung zugeordnet werden. In 4 ist jeder der Ecken 401, 402, 403, 404 des Posters 400 jeweils eine beispielhafte dreidimensionale Koordinate bezogen auf die reale Umgebung zugeordnet (z. B. X = 16.58, Y = 3.19, Z = 30.35 für die Ecke 401), so dass auch für jedes Merkmal 410-1, 410-2, ..., 410-n jeweils eine Position in der realen Umgebung bestimmt werden kann. Entsprechend kann jedes der Vergleichsmerkmale mit seiner zugeordneten Position in der Datenbank gespeichert werden.
Diese Vergleichsmerkmale können nun genutzt werden, um die Orientierung der Aufnahmevorrichtung in der realen Umgebung basierend auf der Aufnahme eines Objekts und der bekannten Position der Aufnahmevorrichtung in der realen Umgebung zu bestimmen. Mit der Aufnahmevorrichtung wird nun zunächst von einer bekannten Position aus eine Aufnahme des Objekts gemacht – im Beispiel der 4 also eine Aufnahme des Posters 400 mit dem Muster. Beispielsweise ist die Aufnahmevorrichtung Bestandteil einer am Kopf des Benutzers befestigte Anzeigevorrichtung zur Ausgabe der Darstellung der virtuellen Umgebung, so dass durch die Messung der Position des Kopfes des Benutzers im Betrieb des VR-Systems auch die Position der Aufnahmevorrichtung näherungsweise (im Wesentlichen) bekannt ist.
In der Aufnahme wird zumindest ein Merkmal des Objekts erkannt. Dafür wird ein Merkmalsextraktionsverfahren auf die Aufnahme angewandt (z. B. einer der oben genannten Algorithmen). In der Aufnahme des Objekts selbst wird weiterhin eine Position des Merkmals bestimmt. Es werden also die Koordinaten des Merkmals im Koordinatensystem der Aufnahme bestimmt. Weiterhin wird ein Vergleichsmerkmal aus der Mehrzahl an Vergleichsmerkmalen der Datenbank identifiziert, das dem Merkmal des Objekts in der Aufnahme entspricht. Wie oben beschrieben, ist der Mehrzahl an Vergleichsmerkmalen dabei jeweils eine Position in der realen Umgebung zugeordnet ist. Zur Identifizierung können z. B. bekannte Bildregistrierungsverfahren verwendet werden. Um möglichst schnell und effizient das Vergleichsmerkmal aus der Mehrzahl an Vergleichsmerkmalen der Datenbank zu identifizieren kann z. B. ein Nächste Nachbarn(Nearest Neighbour)-Verfahren verwendet werden, das die Position des Merkmals in der Aufnahme des Objekts, die Positionen in der realen Umgebung der Mehrzahl an Vergleichsmerkmalen und die bekannte Position der Aufnahmevorrichtung in der realen Umgebung als Eingangsgrößen erhält.
Aus der bekannten Position der Aufnahmevorrichtung in der realen Umgebung, der Position des Merkmals in der Aufnahme und der Position in der realen Umgebung, die dem identifizierten Vergleichsmerkmal zugeordnet ist, kann nun die Orientierung der Aufnahmevorrichtung in der realen Umgebung gemäß den in 2 gezeigten Grundsätzen bestimmt werden. Bezogen auf das in 2 gezeigte Verfahren zur Bestimmung der Orientierung der Aufnahmevorrichtung in der realen Umgebung entspricht die bekannte Position, von welcher das Poster 400 aufgenommen wird, der bekannten Position C der Aufnahmevorrichtung in der realen Umgebung. Die Position des Merkmals in der Aufnahme einem Bildpunkt m und die Position in der realen Umgebung, die dem identifizierten Vergleichsmerkmal zugeordnet ist, einem Weltpunkt M. Somit kann gemäß den in 2 gezeigten Grundsätzen eine Transformation bestimmt werden, die die Position des Merkmals in der Aufnahme mit der Position in der realen Umgebung, die dem identifizierten Vergleichsmerkmal zugeordnet ist, in Übereinstimmung bringt. Entsprechend kann die Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt werden.
Wie bereits aus 4 ersichtlich ist, können in einer Aufnahme eines Objekts mehrere Merkmale erkannt werden. Mit anderen Worten: Bei dem Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung können mehrere Merkmale des Objekts erkannt werden. Entsprechend kann für die Mehrzahl an erkannten Merkmalen des Objekts eine Mehrzahl an Vergleichsmerkmalen aus der Datenbank identifiziert werden. Für die mehreren erkannten Merkmale des Objekts kann jeweils eine Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt werden.
Eine beispielhafte Zuordnung 500 von Merkmalen des Objekts in der Aufnahme zu Vergleichsmerkmalen ist in 5 gezeigt. In der 5 ist jeweils die Position eines in der Aufnahme des Objekts erkannten Merkmals des Objekts (Bildpunkt) und die Position in der realen Umgebung (Weltpunkt), die dem jeweiligen identifizierten Vergleichsmerkmal zugeordnet ist, gezeigt. Die Positionen sind dabei jeweils in gewillkürten Einheiten (arbitrary units) angegeben. Korrespondierende Bildpunkte und Weltpunkte sind in 5 mit einer Geraden verbunden. Wie aus der 5 ersichtlich ist, ist die Steigung der jeweiligen Gerade – mit Ausnahme der Geraden 501 bis 507 – in etwa ähnlich. Für die Zuordnung der Bildpunkt zu den Weltpunkten können z. B. Brute-Force oder Fast Library for Approximate Nearest Neighbors (FLANN) basierte Algorithmen verwendet werden. Wie bereits aus den im Wesentlichen parallelen Geraden der 5 ersichtlich ist, wurden somit im Wesentlichen gleiche bzw. ähnliche Orientierungen der Aufnahmevorrichtung in der realen Umgebung für die mehreren erkannten Merkmale des Objekts bestimmt.
Dies wird deutlicher aus dem in 6 gezeigten Histogramm 600, in dem die Häufigkeiten der für die mehreren erkannten Merkmale des Objekts bestimmten Orientierungen der Aufnahmevorrichtung in der realen Umgebung eingezeichnet sind. Die Orientierung ist in Form des Winkels α aufgetragen, der die Rotation um die Hochachse der Aufnahme anzeigt. Bezogen auf das oben ausgeführte Beispiel mit den Raumrichtungen X, Y, Z entspricht der Winkel α somit einer Orientierung (Ausrichtung) der Aufnahmevorrichtung in der von X und Z aufgespannten Ebene, d. h. einer Rotation um Y. Die Häufigkeit ist logarithmisch aufgetragen.
Aus 6 ist ersichtlich, dass der Winkels α für einige erkannte Merkmale des Objekts zu ca. –65°, für einige erkannte Merkmale des Objekts zu ca. 60°, für einige erkannte Merkmale des Objekts zu ca. 64°, für weitaus mehr erkannte Merkmale des Objekts zu ca. 90° und für noch mehr erkannte Merkmale des Objekts zu ca. 91° bestimmt wurde.
Gemäß Ausführungsbeispielen wird nun diejenige der für die mehreren erkannten Merkmale des Objekts bestimmten Orientierungen der Aufnahmevorrichtung in der realen Umgebung als Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt wird, die ein Qualitätskriterium erfüllt. Bezogen auf das Beispiel der 6, kann z. B. dasjenige ein Grad breite Intervall (Bin) des Histogramms mit der größten Anzahl an Einträgen gewählt werden. Das Qualitätskriterium kann daher z. B. sein, dass die Orientierung der Aufnahmevorrichtung in der realen Umgebung die am häufigsten bestimmte Orientierung ist. Daneben können noch weitere Qualitätskriterien herangezogen werden. Beispielsweise kann gefordert werden, dass das gewählte Intervall eine Mindestzahl an Einträgen aufweisen muss, oder dass das gewählte Bin mindestens einen vorbestimmten Anteil der mehreren erkannten Merkmale des Objekts repräsentieren muss (d. h. das Bin muss mindestens für den vorbestimmten Anteil der mehreren erkannten Merkmale des Objekts die jeweils dafür bestimmte Orientierung repräsentieren).
Im Beispiel der 6 sind die Häufigkeit für 90° und 91° dominant und absolut in einem ähnlichen Bereich, sodass beide Orientierungen ein gewähltes Qualitätskriterium erfüllen können. Entsprechend kann bei benachbarten bzw. ähnlichen Orientierungen (d. h. bei benachbarten Bins oder Bins, die nur von einer geringen Anzahl dazwischenliegender Bins getrennt sind) auch der Mittelwert der beiden Orientierungen als Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt werden. Optional kann auch eine Wichtung der benachbarten bzw. ähnlichen Orientierungen erfolgen (z. B. gemäß ihrer Häufigkeit).
Im Rahmen der Beschreibung von 7 wird im Folgenden der zweite Ansatz zur Bestimmung der Orientierung der Aufnahmevorrichtung in der realen Umgebung auf Basis des Bestimmens einer Transformation, die zumindest einen Teil der Aufnahme des bekannten Objekts mit zumindest einem Teil einer Vergleichsaufnahme in Übereinstimmung bringt, erläutert.
Bei dem zweiten Ansatz umfasst das Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung ein Bestimmen einer Vergleichsaufnahme aus einer Mehrzahl an Vergleichsaufnahmen einer Datenbank. Das Bestimmen der Vergleichsaufnahme aus der Mehrzahl an Vergleichsaufnahmen der Datenbank basiert dabei auf der bekannten Position der Aufnahmevorrichtung in der realen Umgebung. Mit anderen Worten: Es wird eine Vergleichsaufnahme aus der Datenbank gewählt, für die aufgrund der Position der Aufnahmevorrichtung eine hohe Wahrscheinlichkeit besteht, dass sie das Objekt überhaupt zeigt bzw. das Objekt aus einer ähnlichen oder gleichen Perspektive zeigt. Eine Orientierung zumindest der gewählten Vergleichsaufnahme in der realen Umgebung ist dabei bekannt. In der Datenbank kann selbstverständlich auch für jede der Mehrzahl an Vergleichsaufnahmen jeweils die Orientierung in der realen Umgebung hinterlegt sein.
Weiterhin umfasst das Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung ein Bestimmen einer Rotation der Aufnahme des Objekts relativ zu der Vergleichsaufnahme. Das heißt, es wird eine Bildregistrierung der Aufnahme des Objekts gegen die Vergleichsaufnahme durchgeführt. Dafür können bekannte Bildregistrierungsverfahren, wie etwa der Enhanced Correlation Coefficient (ECC) Algorithmus, verwendet werden. Dazu kann die Aufnahme des Objekts z. B. schrittweise gegenüber der Vergleichsaufnahme rotiert werden, wie dies durch die Abfolge der Aufnahmen 701 bis 710 in 7 angedeutet ist. In den Aufnahmen 701 bis 710 ist jeweils ein Dachfenster als Beispiel für ein Objekt in der realen Umgebung, in welcher sich der Benutzer bewegt, abgebildet. Die Aufnahmen sind dabei von links nach rechts jeweils 1° entgegen dem Uhrzeigersinn zueinander rotiert. Der ECC Algorithmus bestimmt für jede Rotation eine Korrelation mit dem Vergleichsbild. Anschließend wird die beste Korrelation gewählt und eine entsprechende Transformationsmatrix bestimmt. Aus der Transformationsmatrix kann wiederum die Orientierung, d. h. die Rotation, der Aufnahme des Objekts relativ zu der Vergleichsaufnahme bestimmt werden.
Aus der Orientierung der Vergleichsaufnahme in der realen Umgebung und der Rotation der Aufnahme des Objekts relativ zu der Vergleichsaufnahme wird im Weiteren die Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt (durch Kombination der beiden Informationen).
Wie in 7 angedeutet, kann der zweite Ansatz z. B. für sich vertikal ausschließlich über dem Benutzer erstreckende Objekte verwendet werden. Beispielsweise kann, während die Darstellung der virtuellen Umgebung an den Benutzer ausgegeben wird, die Aufnahmevorrichtung vertikal zu einer Blickrichtung geradeaus des Benutzers in der realen Umgebung ausgerichtet sein. Mit anderen Worten: Die Aufnahmevorrichtung kann in der realen Umgebung gen Himmel bzw. in Richtung der Decke eines Raumes oder einer Halle, in der sich der Benutzer bewegt, ausgerichtet sein. Das Objekt kann entsprechend z. B. eine Beleuchtungsvorrichtung, ein (Dach-)Fenster, ein Träger, ein Balken an der Decke des Raumes bzw. der Halle sein. Entsprechend kann die Mehrzahl an Vergleichsaufnahmen in der Datenbank z. B. verschiedene Aufnahmen der Decke des Raumes bzw. der Halle umfassen. Alternativ kann die Aufnahmevorrichtung in der realen Umgebung auch in Richtung des Bodens eines Raumes oder einer Halle, in der sich der Benutzer bewegt, ausgerichtet sein. Das Objekt kann dann z. B. eine im Boden eingelassene Lichtquelle (Laser, LED) oder eine Markierung (z. B. einer Notfallkennzeichnung), wie etwa ein Pfeil (z. B. leuchtender Pfeil), sein. Generell kann ein Objekt gemäß der vorliegenden Offenbarung auch ein speziell gekennzeichnetes Objekt, wie etwa ein speziell eingefärbtes Objekt (chroma keying), sein.
Erfolgt das Ausgeben der Darstellung der virtuellen Umgebung an den Benutzer wiederum über eine am Kopf des Benutzers befestigte Anzeigevorrichtung, kann die Anzeigevorrichtung ferner die Aufnahmevorrichtung umfassen. Die Anzeigevorrichtung kann dabei wiederum ein Mobilkommunikationsgerät nebst Fixiervorrichtung zur Befestigung des Mobilkommunikationsgeräts am Kopf des Benutzers umfassen. Dadurch kann eine Kamera des Mobilkommunikationsgeräts als Aufnahmevorrichtung verwendet werden. Somit kann ohne zusätzliche Hardwarekomponenten eine Kalibration der Darstellung der virtuellen Umgebung ermöglicht werden. Um mit der Kamera des Mobilkommunikationsgeräts Aufnahmen von der Decke oder dem Boden des Raumes bzw. der Halle machen zu können, kann z. B. ein periskopartige Vorrichtung verwendet werden, deren eine Öffnung zur Decke oder dem Boden hin ausgerichtet ist und deren andere Öffnung zur Linse der Kamera des Mobilkommunikationsgeräts hin ausgerichtet ist. Über Spiegel bzw. Prismen im Inneren der periskopartigen Vorrichtung können die einfallenden Lichtstrahlen von der ursprünglichen Einfallsrichtung (senkrecht zur ersten Öffnung) hin zu der gewünschten Ausfallsrichtung (senkrecht zur zweiten Öffnung) abgelenkt werden.
Um die Bildregistrierung zu vereinfachen und somit die notwendige Rechenleistung zu reduzieren, können die Mehrzahl an Vergleichsaufnahmen Binäraufnahmen sein. Entsprechend umfasst das Bestimmen der Rotation der Aufnahme des Objekts relativ zu der Vergleichsaufnahme ein Konvertieren der Aufnahme des Objekts in eine Binäraufnahme des Objekts sowie ein Bestimmen der Rotation der Binäraufnahme des Objekts relativ zu der Vergleichsaufnahme umfassen. Für das Bestimmen der Rotation der Binäraufnahme des Objekts relativ zu der Vergleichsaufnahme können wiederum die oben beschriebenen Bildregistrierungsverfahren verwendet werden.
Weiterhin kann die Auflösung der Mehrzahl an Vergleichsaufnahmen beschränkt sein (z. B. auf 320×240 Pixel), um Rechenleistung zu sparen. Entsprechend kann das Verfahren ein Skalieren der Aufnahme des Objekts umfassen, d. h. die ursprüngliche Auflösung wird auf eine Zielauflösung skaliert (z. B. von 1920×1080 Pixel auf 320×240 Pixel). Wie angedeutet kann die Zielauflösung niedriger sein als die ursprüngliche Auflösung. Durch die reduzierte Anzahl an Pixeln in der Aufnahme des Objekts kann Rechenzeit eingespart werden.
Anstatt die gesamte Aufnahme mit einer Referenzaufnahme zu vergleichen, kann auch die Orientierung des Objekts in der Aufnahme bestimmt und mit einer Referenzrichtung verglichen werden (z. B. gemäß den in Zusammenhang mit 9a bis 9d beschriebenen Verfahren), um die Orientierung der Aufnahmevorrichtung in der realen Umgebung zu bestimmen.
Nachfolgend ist in 8 ein Verfahren 800 zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung gemäß einem zweiten Aspekt der vorliegenden Offenbarung gezeigt.
Das Verfahren 800 umfasst dabei ein Aufnehmen 802 eines bekannten Objektes in einer realen Umgebung mit einer Aufnahmevorrichtung – wie oben beschrieben. Das heißt, bei der Aufnahme kann es sich z. B. um ein Stehbild, ein Video oder eine Tonaufnahme handeln. Entsprechend kann die Aufnahmevorrichtung eine Stehbildkamera, eine Videokamera, ein Tonaufnahmegerät oder eine Kombination davon umfassen.
Ferner umfasst das Verfahren 800 ein Bestimmen 804 eines Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung basierend auf der Aufnahme des Objekts und einer momentanen Blickrichtung in der Darstellung der virtuellen Umgebung. Die momentane Blickrichtung in der Darstellung der virtuellen Umgebung kann beispielsweise von einer Anzeigevorrichtung (z. B. HMD, HMU), die die Darstellung der virtuellen Umgebung an den Benutzer ausgibt (und optional auch berechnet), oder einem Rechner, der die virtuellen Umgebung berechnet (z. B. Back-End eines VR-Systems), empfangen werden.
Die Aufnahmevorrichtung kann dabei – wie oben beschrieben – räumlich in unmittelbarer Nähe zum Benutzer angeordnet sein (z. B. am Kopf des Benutzers). Aus der Aufnahme des Objekts kann die Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt werden, die näherungsweise als Orientierung des Kopfes des Benutzers in der realen Umgebung angenommen werden kann. Daraus kann unter Heranziehung der Informationen über die momentane Blickrichtung in der Darstellung der virtuellen Umgebung der Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung bestimmt werden. Einige Beispiele für die Bestimmung der Orientierung der Aufnahmevorrichtung in der realen Umgebung als auch der Bestimmung des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung werden in der nachfolgenden Beschreibung näher erläutert.
Das Verfahren 800 umfasst weiterhin ein Drehen 806 der Blickrichtung in der Darstellung der virtuellen Umgebung um den Rotationsversatz. Mit anderen Worten: Die Blickrichtung in der Darstellung der virtuellen Umgebung wird durch eine Drehung um die Gierachse der Darstellung der virtuellen Umgebung korrigiert, wobei die Richtung und die Magnitude der Drehung durch den Rotationsversatz bestimmt sind. Die Darstellung der virtuellen Umgebung wird somit um den Rotationsversatz korrigiert. Die Darstellung der virtuellen Umgebung kann somit an die tatsächliche Position und Orientierung des Kopfes des Benutzers in der realen Umgebung angepasst werden. Mithin erlaubt somit auch das Verfahren 800 eine Kalibration der Blickrichtung in der Darstellung der virtuellen Umgebung. Insbesondere kann auch mit dem Verfahren 800 eine fehlerhaft bestimmte Orientierung in der realen Umgebung bzw. ein Abdriften der Blickrichtung in der Darstellung der virtuellen Umgebung, das von Messfehlern der gewöhnlich verwendeten Sensorik zur Bestimmung der Position und Ausrichtung (des Kopfes) eines Benutzers herrührt, korrigiert werden.
Wie auch das Verfahren 100 kann das Verfahren 800 in einigen Ausführungsbeispielen ferner ein Ausgeben der Darstellung der virtuellen Umgebung an einen Benutzer umfassen. Das Ausgeben der Darstellung der virtuellen Umgebung an den Benutzer kann dabei z. B. über eine am Kopf des Benutzers befestigte Anzeigevorrichtung erfolgen, die ferner die Aufnahmevorrichtung umfasst. Bei einer derartigen Anordnung kann die Orientierung der Aufnahmevorrichtung in der realen Umgebung näherungsweise als Orientierung des Kopfes des Benutzers in der realen Umgebung angenommen werden.
In einigen Ausführungsbeispielen umfasst die am Kopf des Benutzers befestigte Anzeigevorrichtung ein Mobilkommunikationsgerät (z. B. ein Smartphone). Wie oben angedeutet, kann im gewöhnlichen Betrieb des VR-Systems bereits im Mobilkommunikationsgerät vorhandene Sensorik (z. B. Gyroskop, Magnetometer, Akzelerometer) zur Bestimmung der Orientierung des Kopfes des Benutzers in der realen Umgebung verwendet werden. Durch Verwenden der Kamera des Mobilkommunikationsgeräts als Aufnahmevorrichtung kann ein Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung aufgrund von Messfehlern der Sensorik des Mobilkommunikationsgeräts korrigiert werden. Für die Kalibration der Darstellung der virtuellen Umgebung kann somit auf bereits durch das Mobilkommunikationsgerät bereitgestellte Ressourcen zurückgegriffen werden. Mit anderen Worten: Das Verfahren 800 kann unmittelbar (d. h. online) auf dem Mobilkommunikationsgerät ausgeführt werden. Auch das Verfahren 800 kann somit ohne zusätzliche Hardwarekomponenten eine Kalibration der Darstellung der virtuellen Umgebung ermöglichen. Alternativ kann z. B. ein Teil des Verfahrens 800 durch das Mobilkommunikationsgerät und ein anderer Teil des Verfahrens 800, wie etwa das Bestimmen 804 des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung, durch ein bereits vorhandenes Back-End des VR-Systems, das der Benutzer verwendet, ausgeführt werden (d. h. offline). Der bestimmte Rotationsversatz kann dann z. B. vom Back-End an das Mobilkommunikationsgerät gesendet werden, so dass dieses die Blickrichtung in der aktuellen Darstellung der virtuellen Umgebung um den Rotationsversatz drehen kann. Die vorbeschriebene Funktionalität kann z. B. durch ein Update für eine oder mehrere bereits existierende Softwarekomponenten des VR-Systems (z. B. Software für das Mobilkommunikationsgerät oder Software für das Back-End) implementiert werden.
In einigen Ausführungsbeispielen kann das Bestimmen 804 des Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung ein Bestimmen einer Orientierung der Aufnahmevorrichtung in der realen Umgebung basierend auf der Aufnahme des Objekts und einer Referenzrichtung umfassen (beispielhafte Verfahren hierzu werden nachfolgend erläutert). Bei der Referenzrichtung handelt es sich um eine Richtung in der realen Umgebung, deren Orientierung relativ zu der des Objekts bekannt ist. Mit anderen Worten: Man nutzt Kenntnisse über die Orientierung des Objekts relativ zu der Referenzrichtung für die Bestimmung der Orientierung der Aufnahmevorrichtung in der realen Umgebung. Ferner kann das Bestimmen 804 des Rotationsversatzes ein Bestimmen einer Soll-Blickrichtung in der Darstellung der virtuellen Umgebung basierend auf der Orientierung der Aufnahmevorrichtung in der realen Umgebung umfassen. Beispielsweise kann die bestimmte Orientierung der Aufnahmevorrichtung in der realen Umgebung einem Algorithmus für die Berechnung der Darstellung der virtuellen Umgebung bereitgestellt werden, der darauf basierend eine Darstellung der virtuellen Umgebung berechnet. Insbesondere wenn die Aufnahmevorrichtung am Kopf des Benutzers angeordnet ist, kann die Soll-Blickrichtung in der virtuellen Umgebung diejenige Blickrichtung in der virtuellen Umgebung sein, die der tatsächlichen Position und Orientierung des Kopfes des Benutzers in der realen Umgebung entspricht. Beispielsweise kann die Aufnahmevorrichtung vertikal zur Blickrichtung geradeaus des Benutzers in der realen Umgebung ausgerichtet sein. Die Blickrichtung in der berechneten Darstellung der virtuellen Umgebung kann folglich als Soll-Blickrichtung angesehen werden.
Aus der Soll-Blickrichtung in der Darstellung der virtuellen Umgebung und der momentanen Blickrichtung in der Darstellung der virtuellen Umgebung wird gemäß Ausführungsbeispielen nunmehr der Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung bestimmt. Dies kann beispielsweise durch einen Vergleich der Soll-Blickrichtung und der momentanen Blickrichtung in der Darstellung der virtuellen Umgebung geschehen. Mit anderen Worten: Es wird bestimmt, wie stark die momentane Blickrichtung in der Darstellung der virtuellen Umgebung relativ zu der Soll-Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung rotiert ist.
In den nachfolgenden 9a bis 9d werden beispielhaft zwei verschiedene Ansätze zur Bestimmung der Orientierung der Aufnahmevorrichtung in der realen Umgebung auf Basis einer Orientierung des Objekts in der Aufnahme und einer Referenzrichtung erläutert.
Zur Erläuterung des ersten Ansatzes ist in 9a eine Aufnahme 900 des Daches einer Halle, in welcher sich der Benutzer in der realen Umgebung bewegt, gezeigt. Die Aufnahme 900 zeigt dabei einen Teil einer länglichen Beleuchtungsvorrichtung 910, welche ein beispielhaftes Objekt darstellt. Das Objekt ist dabei aber nicht auf längliche Beleuchtungsvorrichtungen beschränkt. Das Objekt kann z. B. auch ein Fenster, ein Träger oder ein Muster an der Decke der Halle bzw. allgemein eines Raumes in der realen Umgebung, in welchem sich der Benutzer bewegt, sein. Bei dem Objekt kann es sich allgemein um ein Objekt handeln, das sich vertikal ausschließlich über dem Benutzer erstreckt. Entsprechend kann die Aufnahmevorrichtung vertikal zu einer Blickrichtung geradeaus des Benutzers in der realen Umgebung ausgerichtet sein, d. h. die Aufnahmevorrichtung kann gen Himmel bzw. zur Decke ausgerichtet sein. Alternativ kann die Aufnahmevorrichtung in der realen Umgebung auch in Richtung des Bodens eines Raumes oder einer Halle, in der sich der Benutzer bewegt, ausgerichtet sein. Das Objekt kann dann z. B. eine im Boden eingelassene Lichtquelle (Laser, LED) oder eine Markierung (z. B. einer Notfallkennzeichnung), wie etwa ein Pfeil (z. B. leuchtender Pfeil), sein. Erfolgt das Ausgeben der Darstellung der virtuellen Umgebung an den Benutzer über eine am Kopf des Benutzers befestigte Anzeigevorrichtung, die dabei wiederum ein Mobilkommunikationsgerät nebst Fixiervorrichtung zur Befestigung des Mobilkommunikationsgeräts am Kopf des Benutzers umfasst, kann eine Kamera des Mobilkommunikationsgeräts als Aufnahmevorrichtung verwendet werden. Somit kann ohne zusätzliche Hardwarekomponenten eine Kalibration der Darstellung der virtuellen Umgebung ermöglicht werden. Um mit der Kamera des Mobilkommunikationsgeräts Aufnahmen von der Decke oder dem Boden des Raumes bzw. der Halle machen zu können, kann z. B. ein periskopartige Vorrichtung verwendet werden, deren eine Öffnung zur Decke oder dem Boden hin ausgerichtet ist und deren andere Öffnung zur Linse der Kamera des Mobilkommunikationsgeräts hin ausgerichtet ist.
Das Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung umfasst gemäß dem ersten Ansatz ein Konvertieren der Aufnahme des Objekts in eine Binäraufnahme des Objekts. Die zur Aufnahme 900 korrespondierende Binäraufnahme 900' ist in 9b gezeigt. Um die Binäraufnahme zu erzeugen, kann optional z. B. ein umgebungsabhängiger Schwellwert für die Separation zwischen den beiden möglichen Zuständen in der Binäraufnahme ermittelt bzw. definiert werden. Weiterhin umfasst das Verfahren ein Erkennen von Kandidaten für das Objekt in der Binäraufnahme des Objekts. In der Binäraufnahme 900' ist dies der Bereich 910', der zu der länglichen Beleuchtungsvorrichtung 910 korrespondiert. Zwar ist in der in 9b gezeigten Binäraufnahme 900' nur ein Kandidat 910' für das Objekt gezeigt, jedoch können abhängig von der gemachten Aufnahme auch zwei, drei, vier oder mehr Kandidaten für das Objekt in der Aufnahme bzw. der korrespondierenden Binäraufnahme erkannt werden. Dazu können optional zunächst die jeweilige große bzw. kleine Hauptachse als auch der Schwerpunkt eines Kandidaten bestimmt werden.
Das Verfahren umfasst ferner ein Bestimmen einer jeweiligen (linearen) Exzentrizität e der Kandidaten für das Objekt. Das heißt, für jeden der erkannten Kandidaten wird eine Exzentrizität bestimmt. Die bestimmte lineare Exzentrizität erlaubt es, abzuschätzen, ob der mögliche Kandidat ein eher kreisförmiges (e ≈ 0) oder ein eher längliches (e ≈ 1) Objekt ist. Für die Binäraufnahme 900' wird daher die Exzentrizität des Bereichs 910', der der einzige Kandidat in dem Bild ist, bestimmt. Da der Bereich 910' länglich ist, wird für diesen ein Wert der Exzentrizität von ungefähr eins bestimmt.
Weiterhin umfasst das Verfahren ein Bestimmen einer Orientierung einer Hauptachse desjenigen Kandidaten als Orientierung des Objekts in der Aufnahme, dessen Exzentrizität über einem Schwellwert liegt und dessen Hauptachse länger als Hauptachsen der sonstigen Kandidaten für das Objekt mit einer Exzentrizität über dem Schwellwert ist. Für alle Kandidaten wird somit ihre bestimmte Exzentrizität mit einem Schwellwert verglichen, um diejenigen Kandidaten zu bestimmen, die ein längliches Objekt repräsentieren. Beispielsweise kann der Schwellwert daher 0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85 oder 0.9 betragen. Von den verbliebenen Kandidaten für das Objekt wird derjenige mit der längsten Hauptachse ausgewählt. Die Orientierung dieses Kandidaten in der Aufnahme wird als Orientierung des Objekts in der Aufnahme bestimmt.
Die Orientierung des Kandidaten in der Aufnahme kann z. B. auf Basis eines Hilfsvektors 920 bestimmt werden, wobei der Hilfsvektor 920 die Blickrichtung geradeaus des Benutzers anzeigt. Den Hilfsvektor 920 in Blickrichtung geradeaus des Benutzers zu definieren kann es ermöglichen, die Orientierung der Aufnahmevorrichtung als im Wesentlichen identisch zur Orientierung des Benutzers in der realen Umgebung anzusehen. Entsprechend kann aus der bestimmten Orientierung der Aufnahmevorrichtung diejenige Blickrichtung in der virtuellen Umgebung als Soll-Blickrichtung in der Darstellung der virtuellen Umgebung bestimmt werden, die der tatsächlichen Position und Orientierung des Kopfes des Benutzers in der realen Umgebung entspricht. Für den Bereich 910' kann daher bestimmt werden, dass die Orientierung 930 seiner Hauptachse einen Winkel von 89° gegenüber dem Hilfsvektor 920 aufspannt. Das heißt, die Hauptachse des Bereichs 910' ist 89° gegen den Hilfsvektor 920 rotiert. Somit wird die Orientierung 930 der Hauptachse des Bereichs 910' als Orientierung des Objekts in der Aufnahme bestimmt.
Gemeinsam mit der Information über die Referenzrichtung kann aus der Orientierung des Objekts in der Aufnahme die Orientierung der Aufnahmevorrichtung bestimmt werden. Wie oben angedeutet handelt es sich bei der Referenzrichtung um eine Richtung in der realen Umgebung, deren Orientierung relativ zu der des Objekts bekannt ist. Mit anderen Worten: Die Orientierung (Ausrichtung) des Objekts relativ zu der Referenzrichtung ist bekannt. Die Referenzrichtung kann z. B. für eine bekannte Umgebung festgelegt oder aus Referenzaufnahmen bestimmt werden. Bewegt sich der Benutzer in der realen Umgebung z. B. innerhalb einer Halle mit im Wesentlichen rechteckiger Grundfläche kann eine Ecke der Grundfläche als Ursprung definiert werden. Ausgehend vom Ursprung können (analog zu dem Beispiel der 2) drei orthogonale Raumachsen X, Y und Z definiert werden. Von dem definierten Ursprungspunkt in der Ecke der Grundfläche kann z. B. X nach rechts zeigen (d. h. im Wesentlichen entlang einer ersten Begrenzung der Grundfläche verlaufen), Y nach oben (d. h. gen Himmel) zeigen (d. h. im Wesentlichen senkrecht auf der Grundfläche stehen) und Z in die Tiefe (d. h. nach vorne) zeigen (d. h. im Wesentlichen entlang einer zweiten Begrenzung der Grundfläche verlaufen, die orthogonal zur ersten Begrenzung der Grundfläche ist). Die Einheitsrichtung Y entspricht somit der Gierachse, d. h. eine Drehung um diese Achse verschiebt eine Aufnahme horizontal. Als Referenzrichtung kann dann z. B. die Raumachse Z gewählt werden, die im Wesentlichen entlang der zweiten Begrenzung der Grundfläche verläuft. Die Orientierung des Objekts – im Beispiel der 9a somit der länglichen Beleuchtungsvorrichtung 910 – relativ zu der Referenzrichtung ist bekannt. Beispielsweise kann die längliche Beleuchtungsvorrichtung 910 orthogonal zur Referenzrichtung Z verlaufen, d. h. im Umkehrschluss parallel zur Raumrichtung X.
Aus der bestimmten Orientierung des Objekts in der Aufnahme und der bekannten Orientierung des Objekts relativ zu der Referenzrichtung kann nun die Orientierung der Aufnahmevorrichtung bestimmt werden. In dem obigen Bespiel wird somit die Orientierung des Hilfsvektors 920 in der realen Umgebung bestimmt. Somit kann eine Orientierung der Aufnahmevorrichtung in der von den Raumrichtungen X und Z aufgespannten Ebene bestimmt werden.
Um Rechenleistung zu sparen, kann die Auflösung der auszuwertenden Aufnahme beschränkt sein (z. B. auf 320×240 Pixel). Entsprechend kann das Verfahren ein Skalieren der Aufnahme des Objekts umfassen, d. h. die ursprüngliche Auflösung wird auf eine Zielauflösung skaliert (z. B. von 1920×1080 Pixel auf 320×240 Pixel). Wie angedeutet kann die Zielauflösung niedriger sein als die ursprüngliche Auflösung. Durch die reduzierte Anzahl an Pixeln in der Aufnahme des Objekts kann Rechenzeit eingespart werden.
Im Rahmen der Beschreibung von 9c und 9d wird im Folgenden der zweite Ansatz zur Bestimmung der Orientierung der Aufnahmevorrichtung in der realen Umgebung auf Basis einer Orientierung des Objekts in der Aufnahme und einer Referenzrichtung erläutert.
Zur Erläuterung des zweiten Ansatzes ist in 9c eine Aufnahme 940 des Daches einer Halle, in welcher sich der Benutzer in der realen Umgebung bewegt, gezeigt. Die Aufnahme 900 zeigt dabei eine (lineare) Anordnung kreisförmiger Beleuchtungsvorrichtungen 951, 952, 953, welche ein beispielhaftes Objekt darstellt. Das Objekt ist dabei aber nicht auf eine Anordnung kreisförmiger Beleuchtungsvorrichtungen beschränkt. Das Objekt kann allgemein jede Anordnung kreisförmiger Objekte an der Decke der Halle bzw. allgemein eines Raumes in der realen Umgebung, in welchem sich der Benutzer bewegt, sein. Bei dem Objekt kann es sich allgemein um ein Objekt handeln, das sich vertikal ausschließlich über dem Benutzer erstreckt. Alternativ kann die Aufnahmevorrichtung in der realen Umgebung auch in Richtung des Bodens eines Raumes oder einer Halle, in der sich der Benutzer bewegt, ausgerichtet sein. Das Objekt kann dann z. B. eine im Boden eingelassene Lichtquelle (Laser, LED) oder eine Markierung, wie etwa ein Pfeil, sein. Entsprechend kann die Aufnahmevorrichtung vertikal zu einer Blickrichtung geradeaus des Benutzers in der realen Umgebung ausgerichtet sein, d. h. die Aufnahmevorrichtung kann gen Himmel (d. h. zur Decke) oder gen Boden ausgerichtet sein. Erfolgt das Ausgeben der Darstellung der virtuellen Umgebung an den Benutzer über eine am Kopf des Benutzers befestigte Anzeigevorrichtung, die dabei wiederum ein Mobilkommunikationsgerät nebst Fixiervorrichtung zur Befestigung des Mobilkommunikationsgeräts am Kopf des Benutzers umfasst, kann eine Kamera des Mobilkommunikationsgeräts als Aufnahmevorrichtung verwendet werden. Somit kann ohne zusätzliche Hardwarekomponenten eine Kalibration der Darstellung der virtuellen Umgebung ermöglicht werden. Um mit der Kamera des Mobilkommunikationsgeräts Aufnahmen von der Decke oder dem Boden des Raumes bzw. der Halle machen zu können, kann z. B. ein periskopartige Vorrichtung verwendet werden, deren eine Öffnung zur Decke oder dem Boden hin ausgerichtet ist und deren andere Öffnung zur Linse der Kamera des Mobilkommunikationsgeräts hin ausgerichtet ist.
Das Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung umfasst gemäß dem zweiten Ansatz wiederum ein Konvertieren der Aufnahme des Objekts in eine Binäraufnahme des Objekts. Die zur Aufnahme 940 korrespondierende Binäraufnahme 940' ist in 9d gezeigt. Um die Binäraufnahme zu erzeugen, kann optional z. B. ein umgebungsabhängiger Schwellwert für die Separation zwischen den beiden möglichen Zuständen in der Binäraufnahme ermittelt bzw. definiert werden.
Weiterhin umfasst das Verfahren ein Erkennen von kreisförmigen Objekten in der Binäraufnahme des Objekts. Jeweilige Radien der kreisförmigen Objekte sind dabei von einem vorbestimmten Wertebereich umfasst. Mit anderen Worten: Es werden nur kreisförmige Objekte erkannt, deren Wert für den Radius größer als ein erster Schwellwert und kleiner als ein zweiter Schwellwert ist. Die Schwellwerte können dabei auf Basis von Informationen über die reale Umgebung, in der sich der Benutzer bewegt, gewählt werden (z. B. Höhe des Daches bzw. Abstand der Beleuchtungsvorrichtungen vom Boden, Abmessungen der Beleuchtungsvorrichtungen). Für das Erkennen von kreisförmigen Objekten in der Binäraufnahme kann z. B. ein Circular Hough Transfrom (CHT) basierter Algorithmus verwendet werden. Entsprechend werden in der Binäraufnahme die kreisförmigen Objekte 951', 952' und 953' erkannt, welche der Anordnung kreisförmiger Beleuchtungsvorrichtungen 951, 952, 953 in der Aufnahme 940 entsprechen. Nicht als kreisförmige Objekt werden hingegen die den 952' und 953' benachbarten hellen Bereiche 952'' und 953'' in der Binäraufnahme 940', da diese das Radiuskriterium nicht erfüllen. Die den 952' und 953' benachbarten hellen Bereiche 952'' und 953'' in der Binäraufnahme 940' entsprechen den optischen Effekten 954, 955 in der Aufnahme 940 und stellen somit keine Objekte in der realen Umgebung dar. Es können daher mit Hilfe des Radiuskriteriums effektiv optische Störeffekte vom weiteren Verfahren zur Bestimmung der Orientierung der Aufnahmevorrichtung ausgeschlossen werden.
Weiterhin umfasst das Verfahren ein Bestimmen von Abständen der kreisförmigen Objekte zueinander. Dafür können z. B. die Mittelpunkte der kreisförmigen Objekte 951', 952' und 953' bestimmt werden und die Abstände der Mittelpunkte zueinander bestimmt werden. In die Abstandsbestimmung können auch die Radien der jeweiligen kreisförmigen Objekte miteinbezogen werden.
Zudem umfasst das Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung gemäß dem zweiten Ansatz ein Bestimmen der Orientierung des Objekts in der Aufnahme auf Basis der Abstände der kreisförmigen Objekte zueinander. Aus den Abständen der kreisförmigen Objekte kann eine Relation zwischen den einzelnen kreisförmigen Objekten zueinander bestimmt werden. Dabei können z. B. wiederum Informationen über die reale Umgebung, in der sich der Benutzer bewegt, verwendet werden. In dem in den 9c und 9d gezeigten Beispiel können z. B. die Abstände zwischen den einzelnen Beleuchtungsvorrichtungen der linearen Anordnung kreisförmiger Beleuchtungsvorrichtungen 951, 952, 953 in der realen Umgebung sowie der Abstand der linearen Anordnung kreisförmiger Beleuchtungsvorrichtungen 951, 952, 953 zu einer weiteren linearen Anordnung kreisförmiger Beleuchtungsvorrichtungen (nicht in 9c gezeigt verwendet werden) herangezogen werden. Allgemein können Informationen über die Geometrie und die Beschaffenheit des von der Aufnahmevorrichtung erfassbaren Bereichs in der realen Umgebung (z. B. eine Decke eines Raums oder einer Halle) in die Bestimmung der Relation der einzelnen Objekte zueinander miteinbezogen werden.
In 9d wird für die Abständen der kreisförmigen Objekte 951', 952' und 953' zueinander bestimmt, dass diese den Abständen einer linearen Anordnungen von Beleuchtungsvorrichtungen in der realen Umgebung entsprechen und die kreisförmigen Objekte 951', 952' und 953' somit ein bekanntes Objekt in der realen Umgebung repräsentieren. Entsprechend wird aus den jeweiligen Positionen der kreisförmigen Objekte 951', 952' und 953' in der Binäraufnahme ein Richtungsvektor 970 des von den kreisförmigen Objekten 951', 952' und 953' repräsentierten Objekts in der Aufnahme bestimmt. Dazu kann z. B. eine Gerade an die Mittelpunkt der kreisförmigen Objekten 951', 952' und 953' angepasst (gefittet) werden.
Die Orientierung des Richtungsvektors 970 (d. h. des Objekts) in der Aufnahme kann z. B. wiederum auf Basis eines Hilfsvektors 960 bestimmt werden, der z. B. die Blickrichtung geradeaus des Benutzers anzeigt. Für den Richtungsvektor 970 kann daher bestimmt werden, dass die Orientierung des Objekts einen Winkel von 35° gegenüber dem Hilfsvektor 960 aufspannt. Das heißt, die von dem Richtungsvektor 970 repräsentierte linearen Anordnung kreisförmiger Beleuchtungsvorrichtungen 951, 952, 953 ist 35° gegen den Hilfsvektor 960 rotiert. Somit ist die Orientierung des Richtungsvektors 970 als Orientierung des Objekts in der Aufnahme bestimmt.
Gemeinsam mit der Information über die Referenzrichtung kann aus der Orientierung des Objekts in der Aufnahme die Orientierung der Aufnahmevorrichtung bestimmt werden. Wie oben angedeutet handelt es sich bei der Referenzrichtung um eine Richtung in der realen Umgebung, deren Orientierung relativ zu der des Objekts bekannt ist. Bezugnehmend auf das in der Beschreibung von 9b beispielhaft eingeführte Koordinatensystem XYZ, kann als Referenzrichtung z. B. wiederum die Raumachse Z gewählt werden, die im Wesentlichen entlang der zweiten Begrenzung der Grundfläche verläuft. Die Orientierung des Objekts – im Beispiel der 9c somit der linearen Anordnung kreisförmiger Beleuchtungsvorrichtungen 951, 952, 953 – relativ zu der Referenzrichtung ist bekannt. Beispielsweise kann die lineare Anordnung kreisförmiger Beleuchtungsvorrichtungen 951, 952, 953 orthogonal zur Referenzrichtung Z verlaufen, d. h. im Umkehrschluss parallel zur Raumrichtung X.
Aus der bestimmten Orientierung des Objekts in der Aufnahme und der bekannten Orientierung des Objekts relativ zu der Referenzrichtung kann nun die Orientierung der Aufnahmevorrichtung bestimmt werden. In dem obigen Bespiel wird somit die Orientierung des Hilfsvektors 960 in der realen Umgebung bestimmt. Somit kann eine Orientierung der Aufnahmevorrichtung in der von den Raumrichtungen X und Z aufgespannten Ebene bestimmt werden.
Um Rechenleistung zu sparen, kann die Auflösung der auszuwertenden Aufnahme beschränkt sein (z. B. auf 320×240 Pixel). Entsprechend kann das Verfahren ein Skalieren der Aufnahme des Objekts umfassen, d. h. die ursprüngliche Auflösung wird auf eine Zielauflösung skaliert (z. B. von 1920×1080 Pixel auf 320×240 Pixel). Wie angedeutet kann die Zielauflösung niedriger sein als die ursprüngliche Auflösung. Durch die reduzierte Anzahl an Pixeln in der Aufnahme des Objekts kann Rechenzeit eingespart werden.
Bei dem in Zusammenhang mit den 9c und 9d beschriebenen Ansatz wurde davon ausgegangen, dass die Aufnahmevorrichtung Aufnahmen in einer Ebene, die im Wesentlichen orthogonal zu einer Ebene, in der sich der Benutzer bewegt, macht. Beispielsweise, dass der Besucher sich in einer Halle bewegt und die Aufnahmevorrichtung unter einem Winkel von im Wesentlichen 90° zur Decke der Halle Aufnahmen von dieser macht. Jedoch kann die Aufnahmevorrichtung auch relativ zur Decke geneigt sein (z. B. wenn die Aufnahmevorrichtung am Kopf des Benutzers befestigt ist und dieser eine Nick- oder Neigebewegung mit dem Kopf ausführt). Um auch in solchen Situation die Abstände der kreisförmigen Objekte in der Binäraufnahme korrekt bestimmen zu können, können zusätzlich neben einer bekannten Position der Aufnahmevorrichtung in realen Umgebung (z. B. durch VR-System bestimmte Position des Benutzers in der realen Umgebung) auch momentane Messwerte z. B. eines Gyroskop und/oder eines Akzelerometers eines Mobilkommunikationsgeräts, das als Anzeigevorrichtung für die virtuelle Umgebung sowie als Aufnahmevorrichtung genutzt wird, verwendet werden.
Auch können momentane Messwerte eines Gyroskop und/oder eines Akzelerometers eines Mobilkommunikationsgeräts, das als Anzeigevorrichtung für die virtuelle Umgebung sowie als Aufnahmevorrichtung genutzt wird, ganz allgemein (d. h. in allen Ausführungsbeispielen der vorliegenden Offenbarung) genutzt werden, um zu bestimmen, ob ein geeigneter Moment vorliegt, eine Aufnahme zu machen. Beispielsweise kann bestimmt werden, dass die Aufnahmevorrichtung nur in einem bestimmten Wertebereich der Messwerte Aufnahmen macht. Damit kann verhindert werden, dass Aufnahmen ausgewertet werden, die aufgrund der Orientierung der Aufnahmevorrichtung in der realen Umgebung Unschärfen oder sonstigen Bildverzerrungen aufweisen. Somit kann vermieden werden, dass eine fehlerhafte Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt und somit die Blickrichtung in der virtuellen Umgebung um einen fehlerhaften Rotationsversatz gedreht wird.
In einigen Ausführungsbeispielen wird über die am Kopf des Benutzers befestigte Anzeigevorrichtung, welche die Aufnahmevorrichtung umfasst, eine Aufnahme einer am Körper des Benutzers (z. B. Bauch, Hosenbund) befestigten Lichtquelle gemacht. Beispielsweise kann am Rumpf des Benutzers ein Laser angeordnet werden, der in Richtung einer Geradeausbewegung des Benutzers (d. h. im Wesentlich entlang einer Blickrichtung geradeaus des Benutzers) einen Laserstrahl emittiert. Somit ist die Lichtquelle bzw. der Laserstrahl das bekannte Objekt, welches von der Aufnahmevorrichtung aufgenommen wird. Aus der momentanen Position der Aufnahmevorrichtung und der bekannten Position der Aufnahmevorrichtung zu zumindest einem vorangehenden Zeitpunkt wird eine Orientierung des Körpers in der realen Umgebung bestimmt (d. h. der Bewegungsvektor zum Zeitpunkt der Aufnahme wird als Orientierung des Körpers angenommen). Mit anderen Worten: Die Orientierung des Körpers in der realen Umgebung dient als Referenzrichtung. Aus der Orientierung des Laserstrahls in der Aufnahme wird nun die Orientierung der Aufnahmevorrichtung relativ zum Laserstrahl bestimmt. Die Orientierung des Laserstrahls in der Aufnahme kann z. B. gemäß dem in Zusammenhang 9a und 9b beschriebenen Verfahren bestimmt werden. Da die Richtung des Laserstrahls der Referenzrichtung entspricht, kann die absolute Orientierung der Aufnahmevorrichtung in der realen Umgebung aus der Aufnahme des Laserstrahls bestimmt werden. Entsprechend kann aus der absoluten Orientierung in der realen Umgebung eine Soll-Blickrichtung in der Darstellung der virtuellen Umgebung bestimmt werden, so dass durch Vergleich mit der momentanen Blickrichtung in der Darstellung der virtuellen Umgebung wiederum der Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung bestimmt werden kann. Die Blickrichtung in der Darstellung der virtuellen Umgebung kann dann um den Rotationsversatz gedreht, d. h. korrigiert, werden.
In 10 ist ein weiteres Verfahren 1000 zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung gezeigt.
Das Verfahren 1000 umfasst dabei ein Aufnehmen 1002 eines in einer realen Umgebung am Körper des Benutzers angeordneten Objektes mit einer am Kopf des Benutzers angeordneten Aufnahmevorrichtung zu einem ersten Zeitpunkt t₀ und zu einem späteren zweiten Zeitpunkt t₁. Bei dem Objekt kann es sich z. B. um eine am Körper des Benutzers (z. B. Bauch oder Hosenbund) befestigte Lichtquelle handeln. Beispielsweise kann am Rumpf des Benutzers ein Laser angeordnet werden, der in Richtung einer Geradeausbewegung des Benutzers (d. h. im Wesentlich entlang einer Blickrichtung geradeaus des Benutzers) einen Laserstrahl emittiert.
Ein Benutzer kann seinen Kopf durch Drehen um eine Querachse des Kopfes, Drehen um eine Längsachse des Kopfes und/oder Drehen um eine Gierachse des Kopfes bewegen. Die Querachse, die Längsachse und die Gierachse des Kopfes stehen dabei senkrecht aufeinander. Da die Aufnahmevorrichtung am Kopf des Benutzers angeordnet ist, ist auch diese um die Querachse, die Längsachse und die Gierachse des Kopfes bewegbar.
Wie oben beschrieben, kann die Darstellung der virtuellen Umgebung an den Benutzer über eine am Kopf des Benutzers befestigte Anzeigevorrichtung ausgegeben werden. Im gewöhnlichen Betrieb des VR-Systems kann dann z. B. in der Anzeigevorrichtung (HMD) vorhandene Sensorik (z. B. Gyroskop, Magnetometer, Akzelerometer) zur Bestimmung der Orientierung des Kopfes des Benutzers in der realen Umgebung verwendet werden. Insbesondere kann somit eine Drehstellung des Kopfes um seine Gierachse bestimmt werden. Jedoch ist die Bestimmung der Orientierung des Kopfes mit der vorhandene Sensorik – wie oben dargestellt – fehlerbehaftet. Neben der obigen Sensorik, d. h. zumindest einem weiteren Sensor, kann die Anzeigevorrichtung ferner die Aufnahmevorrichtung umfassen. Daher umfasst das Verfahren 1000 weiterhin ein Bestimmen 1004 eines Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um eine Gierachse der Darstellung der virtuellen Umgebung basierend auf den Aufnahmen des Objektes zu dem ersten Zeitpunkt t₀ und zu dem zweiten Zeitpunkt t₁ sowie Messwerten zumindest eines weiteren am Kopf des Benutzers befestigten Sensors.
Der Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um eine Gierachse der Darstellung der virtuellen Umgebung entspricht dabei einem Rotationsversatz der Aufnahmevorrichtung um die Gierachse des Kopfes des Benutzers. Dieser wird durch einen Vergleich der aus den Aufnahmen des Objektes zu den Zeitpunkten t₀ und t₁ bestimmten Rotation der Aufnahmevorrichtung um die Gierachse des Kopfes des Benutzers und der aus den Messwerten zwischen den Zeitpunkten t₀ und t₁ des zumindest einen weiteren am Kopf des Benutzers befestigten Sensors bestimmten Rotation der Aufnahmevorrichtung um die Gierachse des Kopfes des Benutzers bestimmt. Somit kann der Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung bestimmt werden, ohne die absolute Orientierung der Aufnahmevorrichtung bzw. des Kopfes des Benutzers in der realen Umgebung bestimmen zu müssen. Vielmehr ist es ausreichend, den relativen Rotationsversatz der Aufnahmevorrichtung bzw. des HMD um die Gierachse des Kopfes zu bestimmen.
Das Verfahren 1000 umfasst daher zudem ein Drehen 1006 der Blickrichtung in der Darstellung der virtuellen Umgebung um den Rotationsversatz. Mit anderen Worten: Die Blickrichtung in der Darstellung der virtuellen Umgebung wird durch eine Drehung um die Gierachse der Darstellung der virtuellen Umgebung korrigiert, wobei die Richtung und die Magnitude der Drehung durch den Rotationsversatz bestimmt sind. Die Darstellung der virtuellen Umgebung wird somit um den Rotationsversatz korrigiert. Die Darstellung der virtuellen Umgebung kann somit an die tatsächliche Position und Orientierung des Kopfes des Benutzers in der realen Umgebung angepasst werden. Mithin erlaubt somit auch das Verfahren 1000 eine Kalibration der Blickrichtung in der Darstellung der virtuellen Umgebung. Insbesondere kann auch mit dem Verfahren 1000 eine fehlerhaft bestimmte Orientierung in der realen Umgebung bzw. ein Abdriften der Blickrichtung in der Darstellung der virtuellen Umgebung, das von Messfehlern der gewöhnlich verwendeten Sensorik zur Bestimmung der Position und Ausrichtung (des Kopfes) eines Benutzers herrührt, korrigiert werden.
Gemäß einigen Ausführungsbeispielen umfasst das Bestimmen 1004 des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung ein Bestimmen einer ersten Rotation der Aufnahmevorrichtung um die Gierachse des Kopfes des Benutzers zwischen dem ersten Zeitpunkt t₀ und dem zweiten Zeitpunkt t₁ basierend auf den Aufnahmen des Objektes zu dem ersten Zeitpunkt t₀ und zu dem zweiten Zeitpunkt t₁. Dabei wird für den ersten Zeitpunkt t₀ die Orientierung der Aufnahmevorrichtung relativ zum Laserstrahl aus der Aufnahme des Laserstrahls zu dem ersten Zeitpunkt t₀ bestimmt. Beispielsweise kann der Laserstrahl in Richtung einer Geradeausbewegung des Benutzers gerichtet sein und der Benutzer blickt geradeaus, so dass eine Drehung der Aufnahmevorrichtung um die Gierachse des Kopfes von 0° relativ zu dem Laserstrahl als erste Orientierung bestimmt wird. Für den zweiten Zeitpunkt t₁ wird die Orientierung der Aufnahmevorrichtung relativ zum Laserstrahl aus der Aufnahme des Laserstrahls zu dem zweiten Zeitpunkt t₁ bestimmt. Hat der Benutzer den Kopf zum Zeitpunkt t₁ z. B. zur Seite gedreht, wird eine von der ersten Orientierung verschiedene zweite Orientierung des Laserstrahls in der Aufnahme bestimmt, d. h. eine von 0° verschiedene Drehung der Aufnahmevorrichtung um die Gierachse des Kopfes relativ zu dem Laserstrahl. Die Orientierung des Laserstrahls in der Aufnahme kann z. B. gemäß dem in Zusammenhang 9a und 9b beschriebenen Verfahren bestimmt werden. Es wird also der relative Drehwinkel um die Gierachse des Kopfes zwischen der Orientierung des Kopfes zum ersten Zeitpunkt t₀ und der Orientierung des Kopfes zum zweiten Zeitpunkt t₁ aus den beiden Aufnahmen bestimmt.
Ferner umfasst das Bestimmen 1004 des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung in diesen Ausführungsbeispielen ein Bestimmen einer zweiten Rotation der Aufnahmevorrichtung um die Gierachse des Kopfes des Benutzers zwischen dem ersten Zeitpunkt t₀ und dem zweiten Zeitpunkt t₁ basierend auf den Messwerten des zumindest einen weiteren am Kopf des Benutzers befestigten Sensors. Mit anderen Worten: Als Vergleichswert wird aus den Messwerten des zumindest einen weiteren am Kopf des Benutzers befestigten Sensors zwischen den Zeitpunkten t₀ und t₁ wiederum die effektive (d. h. totale) Rotation um die Gierachse des Kopfes bestimmt. Es wird also der relative Drehwinkel um die Gierachse des Kopfes zwischen der Orientierung des Kopfes zum ersten Zeitpunkt t₀ und der Orientierung des Kopfes zum zweiten Zeitpunkt t₁ aus den Messwerten bestimmt. Aufgrund von Messfehlern der Sensorik der Anzeigevorrichtung kann die aus den Messewerten bestimmte Rotation um die Gierachse des Kopfes jedoch fehlerhaft sein. Da diese im VR-System für die Bestimmung der Blickrichtung in der Darstellung der virtuellen Umgebung verwendet wird, kann auch Blickrichtung in der Darstellung der virtuellen Umgebung fehlerhaft sein, d. h. um die Gierachse der Darstellung der virtuellen Umgebung verdreht sein.
Daher umfasst das Bestimmen 1004 des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung in diesen Ausführungsbeispielen weiterhin ein Bestimmen des Rotationsversatzes um die Gierachse des Kopfes zwischen der ersten Rotation und der zweiten Rotation als Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung. Mit anderen Worten: Der Rotationsversatz um die Gierachse des Kopfes zwischen der ersten Rotation und der zweiten Rotation repräsentiert die Differenz (d. h. den Unterschied) zwischen der ersten Rotation, die aus den Aufnahmen des Objekts bestimmt wird, und der zweiten Rotation, die aus den Messwerten des zumindest einen weiteren Sensors bestimmt wird. Der resultierende Rotationsversatz um die Gierachse des Kopfes des Benutzers aufgrund der Messfehler der Sensorik der Anzeigevorrichtung (d. h. des HMD) wird somit also mittels der exakten Bestimmung der Drehung der Anzeigevorrichtung relativ zu dem Objekt am Körper des Benutzers bestimmt (z. B. dem Laserstrahl). Der relative Rotationsversatz der Aufnahmevorrichtung bzw. des HMD um die Gierachse des Kopfes kann daher als Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung angenommen werden, so dass diese entsprechend um den Rotationsversatz der Aufnahmevorrichtung bzw. des HMD um die Gierachse des Kopfes korrigiert werden kann.
In den nachfolgenden Figuren 11a und 11b sind beispielhaft Zusammenhänge zwischen einem Bewegungsvektor eines Benutzers 1000 in der realen Umgebung, einer tatsächlichen Blickrichtung v_real des Benutzers 1100 in der realen Umgebung und einer aus den Messwerten des zumindest einen weiteren am Kopf 1102 des Benutzers 1100 angeordneten Sensors bestimmten Blickrichtung v_vr in der Darstellung der virtuellen Umgebung gezeigt. In den Figuren 11a und 11b bewegt sich der Benutzer 1100 zwischen dem ersten Zeitpunkt t₀ und dem späteren zweiten Zeitpunkt t₁ entlang des Bewegungsvektors p, welcher z. B. durch Positionsmessungen m(t₀) und m(t₁) zu den beiden Zeitpunkten t₀ und t₁ bestimmbar ist.
11a zeigt dabei die Situation zum ersten Zeitpunkt t₀. Zu diesem Zeitpunkt blickt der Benutzer 1100 geradeaus, d. h. in Richtung seines Bewegungsvektors p. Die tatsächliche Orientierung des Kopfes des Benutzers wird für den ersten Zeitpunkt t₀ mittels einer Aufnahmevorrichtung, welche von einem am Kopf 1102 des Benutzers 1100 angeordneten HMD 1104 umfasst ist, bestimmt. Wie oben ausgeführt, wird mit der Aufnahmevorrichtung eine erste Aufnahme eines am Körper 1106 des Benutzers 1100 angeordneten Objekts (z. B. Lichtquelle; Laserlichtquelle, die Laserstrahl emittiert) gemacht und daraus ein relative Orientierung des Kopfes zu dem Objekt für den ersten Zeitpunkt t₀ bestimmt. Die Ausrichtung des Objekts relativ zum Körper 1106 (z. B. Rumpf) des Benutzers 1100 ist dabei bekannt. Beispielsweise kann ein Laserstrahl in Richtung einer Geradeausbewegung des Benutzers 1100 gerichtet sein, so dass eine Rotation der Aufnahmevorrichtung um die Gierachse des Kopfes von 0° relativ zu dem Laserstrahl als erste Orientierung bestimmt wird. Da der Laserstrahl in Richtung der Geradeausbewegung des Benutzers 1100 gerichtet ist, entspricht die Richtung des Laserstrahls im Wesentlichen dem Bewegungsvektor p des Benutzers 1100, so dass auch die Rotation θ der Aufnahmevorrichtung um die Gierachse des Kopfes relativ zu dem Bewegungsvektor p des Benutzers 1100 bekannt ist, hier also eine Rotation von 0°. Da der Bewegungsvektor bekannt ist, ist somit die absolute Orientierung der Aufnahmevorrichtung und damit auch des Kopfes 1102 des Benutzers 1100 in der realen Umgebung bekannt.
Im gewöhnlichen Betrieb des VR-Systems wird mittels zumindest eines weiteren von dem MMD 1104 umfassten Sensors (z. B. Gyroskop, Magnetometer, Akzelerometer) ebenfalls die Orientierung des Kopfes 1102 des Benutzers 1100 in der realen Umgebung bestimmt und daraus die Blickrichtung v_vr in der Darstellung in der virtuellen Umgebung bestimmt. Für den ersten Zeitpunkt t₀ sei nun die aus den Messwerten des zumindest einen weiteren am Kopf 1102 des Benutzers 1100 angeordneten Sensors bestimmte Blickrichtung des Benutzers 1100 in der realen Umgebung identisch zu der aus der Aufnahme bestimmten tatsächlichen Blickrichtung v_real des Benutzers 1100 in der realen Umgebung. Somit entspräche auch die Blickrichtung v_vr in der Darstellung der virtuellen Umgebung im Wesentlich dem Bewegungsvektor p des Benutzers 1100, so dass zwischen der tatsächlichen Blickrichtung v_real des Benutzers 1100 in der realen Umgebung und der Blickrichtung v_vr in der Darstellung der virtuellen Umgebung eine Rotation θ von im Wesentlichen 0° angenommen werden kann. Mit anderen Worten: Der Rotationsversatz um die Gierachse der Darstellung der virtuellen Umgebung beträgt im Wesentlichen 0°.
In 11b ist nun die Situation zum zweiten Zeitpunkt t₁ gezeigt. Auch zum zweiten Zeitpunkt t₁ blickt der Benutzer 1100 geradeaus, d. h. im Wesentlichen in Richtung seines Bewegungsvektors p. Aus der zweiten Aufnahme des am Körper 1106 des Benutzers angeordneten Objekts (z. B. Laser) zum zweiten Zeitpunkt t₁ wird daher wiederum eine Rotation der Aufnahmevorrichtung um die Gierachse des Kopfes von 0° relativ zu z. B. dem Laserstrahl als zweite Orientierung bestimmt wird, d. h. die Rotation θ der Aufnahmevorrichtung um die Gierachse des Kopfes relativ zu dem Bewegungsvektor p des Benutzers 1100 ist wiederum 0°. Für den zweiten Zeitpunkt t₁ ist nun die aus den Messwerten des zumindest einen weiteren am Kopf 1102 des Benutzers 1100 angeordneten Sensors bestimmte Blickrichtung des Benutzers 1100 in der realen Umgebung aufgrund von Messfehlern nicht identisch zu der aus der zweiten Aufnahme bestimmten tatsächlichen Blickrichtung v_real des Benutzers 1100 in der realen Umgebung. Daher entspricht auch die Blickrichtung v_vr in der Darstellung der virtuellen Umgebung fälschlicherweise nicht im Wesentlichen dem Bewegungsvektor p des Benutzers 1100, so dass zwischen der tatsächlichen Blickrichtung v_real des Benutzers 1100 in der realen Umgebung und der Blickrichtung v_vr in der Darstellung der virtuellen Umgebung ein von 0° verschiedene Rotation ϑ besteht. Mit anderen Worten: Der Rotationsversatz um die Gierachse der Darstellung der virtuellen Umgebung ist verschieden von 0°. Die Konsequenz des von 0° verschiedenen Rotationsversatzes um die Gierachse der Darstellung der virtuellen Umgebung ist, dass der Benutzer sich in der virtuellen Umgebung nicht im Wesentlichen entlang des Bewegungsvektors p bewegt, sondern schräg zu diesem. Liefe der Benutzer z. B. in der realen Umgebung geradeaus nach vorne, würde er sich in der realen Umgebung schräg nach vorne bewegen.
Um nun die Blickrichtung in der Darstellung der virtuellen Umgebung zu korrigieren, kann wie oben dargestellt (siehe Beschreibung der 11) der relative Rotationsversatz um die Gierachse des Kopfes 1102 des Benutzers 1100 zwischen der aus den beiden Aufnahmen bestimmten Rotation und der aus den Messwerten des zumindest einen weiteren Sensors bestimmten Rotation verwendet werden. Alternativ kann die absolute Orientierung der Aufnahmevorrichtung (und somit des Kopfes 1102) in der realen Umgebung, welche aufgrund der Kenntnis der relativen Ausrichtung der Aufnahmevorrichtung zu dem bekannten Bewegungsvektor bestimmbar ist, verwendet werden, um eine Soll-Blickrichtung in der Darstellung der virtuellen Umgebung zu bestimmen und die Blickrichtung in der Darstellung der virtuellen Umgebung um den Rotationsversatz zwischen der Soll-Blickrichtung und der momentanen Blickrichtung in der Darstellung der virtuellen Umgebung zu korrigieren (d. h. um die Gierachse der Darstellung der virtuellen Umgebung zu drehen). Somit kann eine Kalibration der Blickrichtung in der Darstellung der virtuellen Umgebung ermöglicht werden.
Die in der vorstehenden Beschreibung, den nachfolgenden Ansprüchen und den beigefügten Figuren offenbarten Merkmale können sowohl einzeln wie auch in beliebiger Kombination für die Verwirklichung eines Ausführungsbeispiels in ihren verschiedenen Ausgestaltungen von Bedeutung sein und implementiert werden.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-Ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einer programmierbaren Hardwarekomponente derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird.
Eine programmierbare Hardwarekomponente kann durch einen Prozessor, einen Computerprozessor (CPU = Central Processing Unit), einen Grafikprozessor (GPU = Graphics Processing Unit), einen Computer, ein Computersystem, einen anwendungsspezifischen integrierten Schaltkreis (ASIC = Application-Specific Integrated Circuit), einen integrierten Schaltkreis (IC = Integrated Circuit), ein Ein-Chip-System (SOC = System an Chip), ein programmierbares Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikroprozessor (FPGA = Field Programmable Gate Array) gebildet sein.
Das digitale Speichermedium kann daher maschinen- oder computerlesbar sein. Manche Ausführungsbeispiele umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem oder einer programmierbare Hardwarekomponente derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Ein Ausführungsbeispiel ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Programm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Programm, Firmware, Computerprogramm oder Computerprogrammprodukt mit einem Programmcode oder als Daten implementiert sein, wobei der Programmcode oder die Daten dahin gehend wirksam ist bzw. sind, eines der Verfahren durchzuführen, wenn das Programm auf einem Prozessor oder einer programmierbaren Hardwarekomponente abläuft. Der Programmcode oder die Daten kann bzw. können beispielsweise auch auf einem maschinenlesbaren Träger oder Datenträger gespeichert sein. Der Programmcode oder die Daten können unter anderem als Quellcode, Maschinencode oder Bytecode sowie als anderer Zwischencode vorliegen.
Ein weiteres Ausführungsbeispiel ist ferner ein Datenstrom, eine Signalfolge oder eine Sequenz von Signalen, der bzw. die das Programm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom, die Signalfolge oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, um über eine Datenkommunikationsverbindung, beispielsweise über das Internet oder ein anderes Netzwerk, transferiert zu werden. Ausführungsbeispiele sind so auch Daten repräsentierende Signalfolgen, die für eine Übersendung über ein Netzwerk oder eine Datenkommunikationsverbindung geeignet sind, wobei die Daten das Programm darstellen.
Ein Programm gemäß einem Ausführungsbeispiel kann eines der Verfahren während seiner Durchführung beispielsweise dadurch umsetzen, dass dieses Speicherstellen ausliest oder in diese ein Datum oder mehrere Daten hinein schreibt, wodurch gegebenenfalls Schaltvorgänge oder andere Vorgänge in Transistorstrukturen, in Verstärkerstrukturen oder in anderen elektrischen, optischen, magnetischen oder nach einem anderen Funktionsprinzip arbeitenden Bauteile hervorgerufen werden. Entsprechend können durch ein Auslesen einer Speicherstelle Daten, Werte, Sensorwerte oder andere Informationen von einem Programm erfasst, bestimmt oder gemessen werden. Ein Programm kann daher durch ein Auslesen von einer oder mehreren Speicherstellen Größen, Werte, Messgrößen und andere Informationen erfassen, bestimmen oder messen, sowie durch ein Schreiben in eine oder mehrere Speicherstellen eine Aktion bewirken, veranlassen oder durchführen sowie andere Geräte, Maschinen und Komponenten ansteuern.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.

Claims

Verfahren (100) zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung, umfassend: Aufnehmen (102) eines bekannten Objektes in einer realen Umgebung mit einer Aufnahmevorrichtung; Bestimmen (104) eines Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um eine Gierachse der Darstellung der virtuellen Umgebung basierend auf der Aufnahme des Objekts, einer bekannten Position der Aufnahmevorrichtung in der realen Umgebung und einer momentanen Blickrichtung in der Darstellung der virtuellen Umgebung; und Drehen (106) der Blickrichtung in der Darstellung der virtuellen Umgebung um den Rotationsversatz.
Verfahren nach Anspruch 1, wobei das Bestimmen (104) des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung Folgendes umfasst: Bestimmen einer Orientierung der Aufnahmevorrichtung in der realen Umgebung basierend auf der Aufnahme des Objekts und der bekannten Position der Aufnahmevorrichtung in der realen Umgebung; Bestimmen einer Soll-Blickrichtung in der Darstellung der virtuellen Umgebung basierend auf der Orientierung der Aufnahmevorrichtung in der realen Umgebung; und Bestimmen des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung aus der Soll-Blickrichtung in der Darstellung der virtuellen Umgebung und der momentanen Blickrichtung in der Darstellung der virtuellen Umgebung.
Verfahren nach Anspruch 2, wobei das Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung ein Bestimmen einer Transformation, die zumindest einen Teil der Aufnahme des Objekts mit zumindest einem Teil einer Vergleichsaufnahme in Übereinstimmung bringt, umfasst.
Verfahren nach Anspruch 2, wobei das Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung Folgendes umfasst: Erkennen eines Merkmals des Objekts in der Aufnahme; Bestimmen einer Position des Merkmals in der Aufnahme; Identifizieren eines Vergleichsmerkmals aus einer Mehrzahl an Vergleichsmerkmalen einer Datenbank, das dem Merkmal des Objekts in der Aufnahme entspricht, wobei der Mehrzahl an Vergleichsmerkmalen jeweils eine Position in der realen Umgebung zugeordnet ist; und Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung basierend auf der bekannten Position der Aufnahmevorrichtung in der realen Umgebung, der Position des Merkmals in der Aufnahme und der Position in der realen Umgebung, die dem identifizierten Vergleichsmerkmal zugeordnet ist.
Verfahren nach Anspruch 4, wobei bei dem Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung mehrere Merkmale des Objekts erkannt werden, wobei für die mehreren erkannten Merkmale des Objekts jeweils eine Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt wird, und wobei diejenige der für die mehreren erkannten Merkmale des Objekts bestimmten Orientierungen der Aufnahmevorrichtung in der realen Umgebung als Orientierung der Aufnahmevorrichtung in der realen Umgebung bestimmt wird, die ein Qualitätskriterium erfüllt.
Verfahren nach Anspruch 4 oder Anspruch 5, wobei die Mehrzahl an Vergleichsmerkmalen verschiedene Merkmale des Objekts umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Objekt ein auf einer vertikalen Ebene angebrachtes Muster ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren ferner ein Ausgeben der Darstellung der virtuellen Umgebung an einen Benutzer umfasst, und wobei die Aufnahmevorrichtung in Blickrichtung geradeaus des Benutzers in der realen Umgebung ausgerichtet ist.
Verfahren nach Anspruch 2, wobei das Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung Folgendes umfasst: Bestimmen, basierend auf der bekannten Position der Aufnahmevorrichtung in der realen Umgebung, einer Vergleichsaufnahme aus einer Mehrzahl an Vergleichsaufnahmen einer Datenbank, wobei eine Orientierung der Vergleichsaufnahme in der realen Umgebung bekannt ist; Bestimmen einer Rotation der Aufnahme des Objekts relativ zu der Vergleichsaufnahme; Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung basierend auf der Orientierung der Vergleichsaufnahme in der realen Umgebung und der Rotation der Aufnahme des Objekts relativ zu der Vergleichsaufnahme.
Verfahren nach Anspruch 9, wobei die Mehrzahl an Vergleichsaufnahmen Binäraufnahmen sind, und wobei das Bestimmen der Rotation der Aufnahme des Objekts relativ zu der Vergleichsaufnahme Folgendes umfasst: Konvertieren der Aufnahme des Objekts in eine Binäraufnahme des Objekts; und Bestimmen der Rotation der Binäraufnahme des Objekts relativ zu der Vergleichsaufnahme.
Verfahren nach Anspruch 9 oder Anspruch 10, wobei das Verfahren ferner ein Ausgeben der Darstellung der virtuellen Umgebung an einen Benutzer umfasst, und wobei die Aufnahmevorrichtung vertikal zu einer Blickrichtung geradeaus des Benutzers in der realen Umgebung ausgerichtet ist.
Verfahren nach Anspruch 11, wobei sich das Objekt vertikal ausschließlich über oder ausschließlich unter dem Benutzer erstreckt.
Verfahren nach Anspruch 8, Anspruch 11 oder Anspruch 12, wobei das Ausgeben der Darstellung der virtuellen Umgebung an den Benutzer über eine am Kopf des Benutzers befestigte Anzeigevorrichtung erfolgt, und wobei die Anzeigevorrichtung ferner die Aufnahmevorrichtung umfasst.
Verfahren nach Anspruch 13, wobei die Anzeigevorrichtung ein Mobilkommunikationsgerät umfasst, und wobei die Aufnahmevorrichtung eine Kamera des Mobilkommunikationsgeräts ist.
Verfahren (800) zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung, umfassend: Aufnehmen (802) eines bekannten Objektes in einer realen Umgebung mit einer Aufnahmevorrichtung; Bestimmen (804) eines Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um eine Gierachse der Darstellung der virtuellen Umgebung basierend auf der Aufnahme des Objekts und einer momentanen Blickrichtung in der Darstellung der virtuellen Umgebung; und Drehen (806) der Blickrichtung in der Darstellung der virtuellen Umgebung um den Rotationsversatz.
Verfahren nach Anspruch 15, wobei das Bestimmen (804) des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung Folgendes umfasst: Bestimmen einer Orientierung der Aufnahmevorrichtung in der realen Umgebung basierend auf einer Orientierung des Objekts in der Aufnahme und einer Referenzrichtung; Bestimmen einer Soll-Blickrichtung in der Darstellung der virtuellen Umgebung basierend auf der Orientierung der Aufnahmevorrichtung in der realen Umgebung; und Bestimmen des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung aus der Soll-Blickrichtung in der Darstellung der virtuellen Umgebung und der momentanen Blickrichtung in der Darstellung der virtuellen Umgebung.
Verfahren nach Anspruch 16, wobei das Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung Folgendes umfasst: Konvertieren der Aufnahme des Objekts in eine Binäraufnahme (900') des Objekts; Erkennen von Kandidaten (910') für das Objekt in der Binäraufnahme (900') des Objekts; Bestimmen einer jeweiligen Exzentrizität der Kandidaten (910') für das Objekt; und Bestimmen einer Orientierung einer Hauptachse desjenigen Kandidaten (910') als Orientierung des Objekts in der Aufnahme, dessen Exzentrizität über einem Schwellwert liegt und dessen Hauptachse länger als Hauptachsen der sonstigen Kandidaten für das Objekt mit einer Exzentrizität über dem Schwellwert ist.
Verfahren nach Anspruch 16, wobei das Bestimmen der Orientierung der Aufnahmevorrichtung in der realen Umgebung Folgendes umfasst: Konvertieren der Aufnahme des Objekts in eine Binäraufnahme (940') des Objekts; Erkennen von kreisförmigen Objekten (951', 952', 953') in der Binäraufnahme (900') des Objekts, wobei jeweilige Radien der kreisförmigen Objekte von einem vorbestimmten Wertebereich umfasst sind; Bestimmen von Abständen der kreisförmigen Objekte (951', 952', 953') zueinander; Bestimmen der Orientierung des Objekts in der Aufnahme auf Basis der Abstände der kreisförmigen Objekte (951', 952', 953') zueinander.
Verfahren nach einem der Ansprüche 15 bis 18, wobei das Verfahren ferner ein Ausgeben der Darstellung der virtuellen Umgebung an einen Benutzer umfasst, und wobei die Aufnahmevorrichtung vertikal zu einer Blickrichtung geradeaus des Benutzers in der realen Umgebung ausgerichtet ist.
Verfahren nach Anspruch 19, wobei sich das Objekt vertikal ausschließlich über oder ausschließlich unter dem Benutzer erstreckt.
Verfahren nach Anspruch 19 oder Anspruch 20, wobei das Ausgeben der Darstellung der virtuellen Umgebung an den Benutzer über eine am Kopf des Benutzers befestigte Anzeigevorrichtung erfolgt, und wobei die Anzeigevorrichtung ferner die Aufnahmevorrichtung umfasst.
Verfahren nach Anspruch 21, wobei die Anzeigevorrichtung ein Mobilkommunikationsgerät umfasst, und wobei die Aufnahmevorrichtung eine Kamera des Mobilkommunikationsgeräts ist.
Verfahren (1000) zum Einstellen einer Blickrichtung in einer Darstellung einer virtuellen Umgebung, umfassend: Aufnehmen (1002) eines in einer realen Umgebung am Körper eines Benutzers angeordneten Objektes mit einer am Kopf des Benutzers angeordneten Aufnahmevorrichtung zu einem ersten Zeitpunkt und zu einem späteren zweiten Zeitpunkt; Bestimmen (1004) eines Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um eine Gierachse der Darstellung der virtuellen Umgebung basierend auf den Aufnahmen des Objektes zu dem ersten Zeitpunkt und zu dem zweiten Zeitpunkt sowie Messwerten zumindest eines weiteren am Kopf des Benutzers befestigten Sensors; und Drehen (1006) der Blickrichtung in der Darstellung der virtuellen Umgebung um den Rotationsversatz.
Verfahren nach Anspruch 23, wobei das Bestimmen (1004) des Rotationsversatzes der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung Folgendes umfasst: Bestimmen einer ersten Rotation der Aufnahmevorrichtung um eine Gierachse des Kopfes des Benutzers zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt basierend auf den Aufnahmen des Objektes zu dem ersten Zeitpunkt und zu dem zweiten Zeitpunkt; Bestimmen einer zweiten Rotation der Aufnahmevorrichtung um die Gierachse des Kopfes des Benutzers zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt basierend auf den Messwerten des zumindest einen weiteren am Kopf des Benutzers befestigten Sensors; und Bestimmen des Rotationsversatzes zwischen der ersten Rotation und der zweiten Rotation als Rotationsversatz der Blickrichtung in der Darstellung der virtuellen Umgebung um die Gierachse der Darstellung der virtuellen Umgebung.
Verfahren nach Anspruch 23 oder Anspruch 24, wobei das Verfahren ferner ein Ausgeben der Darstellung der virtuellen Umgebung an den Benutzer über eine am Kopf des Benutzers befestigte Anzeigevorrichtung umfasst, und wobei die Anzeigevorrichtung ferner die Aufnahmevorrichtung als auch den zumindest einen weiteren Sensor umfasst.