-
Die vorliegende Erfindung betrifft ein Verfahren zum Betrieb eines kopfgetragenen Anzeigemittels zur Darstellung eines von einer Datenverarbeitungseinrichtung simulierten virtuellen Raumes, bei dem mithilfe von dem Anzeigemittel zugeordneten Bewegungssensoren Bewegungen eines Benutzers in Bewegungsdatensätzen erfasst und an die Datenverarbeitungseinrichtung übertragen werden und mithilfe der Datenverarbeitungseinrichtung aufgrund der Bewegungsdatensätze eine Neuausrichtung des Benutzers in dem virtuellen Raum erfolgt und in regelmäßigen oder unregelmäßigen Abständen Bilder zur Ausgabe auf dem Anzeigemittel erstellt und an dieses übertragen werden.
-
Derartige Betriebsverfahren und entsprechende Anzeigemittel sind im Stand der Technik bereits bekannt. Üblicherweise werden Anzeigemittel dieser Art in einer Art Brillenform getragen, so dass die Anzeigen dieser Anzeigemittel die Sicht des Trägers, also des Benutzers im virtuellen Raum, verlegen und stattdessen einen virtuellen Blick des Benutzers in den simulierten virtuellen Raum eröffnen. Hierzu befindet sich die Anzeige des Anzeigemittels im Blickfeld des Benutzers und er sieht die auf dem Anzeigemittel dargestellten Bilder. Diese Bilder werden von der Datenverarbeitungseinrichtung anhand des dort angelegten virtuellen Raums gerendert und an das Anzeigemittel zur Darstellung übertragen.
-
Nachdem das Anzeigemittel mit seiner Anzeige den gesamten Blickbereich des Benutzers ausfüllt, entsteht für den Benutzer der Eindruck, als ob die von der Anzeige dargestellten Bilder mehr oder weniger der Realität entsprechen würden. Dementsprechend weisen Anzeigemittel auch Bewegungssensoren auf, welche die Kopfbewegungen in alle Raumrichtungen nachvollziehen und diese Bewegungsdaten an die Datenverarbeitungseinrichtung weiterleiten. Anhand dieser Bewegungsdaten wird die Datenverarbeitungseinrichtung den neuen Blickwinkel des Benutzers bestimmen und den virtuellen Raum aus dem entsprechenden Blickwinkel erneut darstellen. Problematisch ist hierbei jedoch, dass die Datenverarbeitungseinrichtung für die Erstellung der einzelnen Bilder eine gewisse Zeit benötigt, da diese insbesondere bei hoher Bildqualität sehr rechenintensiv sind und dadurch erst nach einer gewissen Rechenzeit zur Verfügung stehen. Dies bedeutet, dass bei insbesondere schnellen Kopfbewegungen des Benutzers mit dem im Sichtfeld befindlichen Anzeigemittel ein so genannter Nachzieheffekt entsteht, also der Benutzer zwar wahrnimmt, dass er seinen Kopf bewegt, aber das Bild vor seinen Augen gleich bleibt. Dies führt zu einer verschlechterten Raumwahrnehmung des Benutzers im virtuellen Raum und kann auch bis hin zum Unwohlsein des Benutzers führen.
-
Zwar kann dies durch schnellere Übertragungswege der Bilder und den Einsatz schnellerer Datenverarbeitungseinrichtungen insbesondere mit leistungsfähigeren Grafikprozessoren verbessert werden, jedoch sind derartige verbesserte Hardwarestrukturen mit entsprechend hohen Kosten verbunden, so dass sich die Frage stellt, ob alternativ auch ein sinnvoller Betrieb mit kostengünstigerer Hardware möglich ist.
-
Insbesondere im Zusammenhang mit kopfgetragenen Displays ist eine Bewegungsfreiheit im Raum sehr wichtig, so dass hier üblicherweise auch mit Funkübertragungen gearbeitet wird. Derartige Funkübertragungen sind zusätzlich zeitintensiv, da Funkverbindungen aufgrund des Übertragungsmediums fehleranfälliger sind und ein wiederholtes Übertragen einzelner Datenpakete hier häufiger stattfindet, ebenso wie es häufiger zu Kollisionen kommen kann.
-
Vor diesem Hintergrund liegt der vorliegenden Erfindung die Aufgabe zu Grunde, ein Verfahren zum Betrieb eines kopfgetragenen Anzeigemittels aufzuzeigen, welches insbesondere auch trotz eines Funkbetriebs und gegebenenfalls auch des Einsatzes langsamerer Rechenhardware an der Datenverarbeitungseinrichtung Nachzieheffekte vermeiden und ein möglichst realistisches Bild für den Benutzer das aufgetragenen Anzeigemittels im virtuellen Raum erzeugen kann.
-
Gelöst wird diese Aufgabe durch ein Verfahren zum Betrieb eines kopfgetragenen Anzeigemittels gemäß den Merkmalen des Anspruchs 1. Weitere, sinnvolle Ausgestaltungen eines derartigen Verfahrens können den Unteransprüchen entnommen werden.
-
Erfindungsgemäß ist vorgesehen, dass ein derartiges kopfgetragenes Anzeigemittel mit einer Datenverarbeitungseinrichtung kommuniziert, welche einen virtuellen Raum simuliert. Während das Anzeigemittel mit ihm zugeordneten Bewegungssensoren Bewegungen des Benutzers erfasst und an die Datenverarbeitungseinrichtung weiterreicht, erstellt aufgrund der Bewegungen des Benutzers die Datenverarbeitungseinrichtung neue Bilder zur Darstellung auf der Anzeige des Anzeigemittels und passt hierbei die Betrachtungsrichtung des virtuellen Raums und die absolute Position des Benutzers im virtuellen Raum aufgrund der Bewegungsdaten des Anzeigemittels und gegebenenfalls auch weiterer Eingabemittel an. Hierbei ist es erfindungsgemäß vorgesehen, dass das Anzeigemittel jedem Bewegungsdatensatz einen Zeitstempel zuordnet, anhand dessen der Zeitpunkt der jeweils gespeicherten und erfassten Bewegung nachvollzogen werden kann. Dieser Bewegungsdatensatz wird dann an die Datenverarbeitungseinrichtung übermittelt, was bereits eine gewisse Zeit in Anspruch nimmt. Erst nach Eintreffen dieses Bewegungsdatensatzes kann nunmehr die Datenverarbeitungseinrichtung ein entsprechend den Bewegungsdaten neu ausgerichtetes Bild rendern und zurück an das Anzeigemittel schicken, wobei zunächst das Rendern und dann auch das Versenden des Bildes an das Anzeigemittel wiederum Zeit in Anspruch nimmt. Diese Gesamtzeit von einer Bewegung bis zum Empfang eines entsprechend neu ausgerichteten Bildes wird von dem Anzeigemittel dadurch überbrückt, dass die Bewegungen auch im Anzeigemittel gespeichert werden, so dass der Zeitstempel einer versandten Bewegung mit dem Zeitstempel des empfangenen Bildes verglichen werden kann. Die Datenverarbeitungseinrichtung wird den empfangenen Zeitstempel des letzten für die Neuausrichtung des Benutzers berücksichtigten Bewegungsdatensatzes dem Bild mitgeben, so dass eine Relation zwischen letztem berücksichtigtem Datensatz und Bild hergestellt werden kann.
-
Die seit dem Absenden des zuletzt berücksichtigten Datensatzes erfolgten weiteren Bewegungsdatensätze werden nunmehr ausgelesen oder anderweitig einer Verschiebung des empfangenen Bildes zu Grunde gelegt, welche die seither erfolgten Bewegungen berücksichtigt. Ein einmal empfangenes Bild wird also zunächst einmal in die Position gerückt, in der das Bild mittlerweile durch weitere Kopfbewegungen des Benutzers verrutscht wäre und dann bis zum Eintreffen des nächsten Bildes, mit dem in gleicher Weise verfahren wird, weiter verschoben, so dass mit jeder Bewegung des Kopfes ohne Übertragungszeiten sofort eine Reaktion des Anzeigemittels erfolgt. Für den Benutzer ergibt sich aufgrund dieser sehr kurzen und wenig rechenintensiven Verschiebung des Bildes auf dem Anzeigemittel der Eindruck einer flüssigen Darstellung, bei welcher keine Nachzieheffekte feststellbar sind.
-
Es stellt sich hiermit die Situation ein, dass im Fall einer ständigen Bewegung kein einziges Bild in seiner eigentlichen Position dargestellt wird, sondern regelmäßig zunächst eine Verschiebung des Bildes stattfindet, bevor die Ausgabe auf dem Anzeigemittel erfolgt. Bis zum Eintreffen des nächsten Bildes wird aufgrund weiterer Bewegungen das einmal empfangene Bild solange entsprechend weiterer Bewegungen verschoben, bis das nächste, ebenfalls wie beschrieben verschobene Bild eingeblendet wird und das alte Bild überschreibt.
-
Grundsätzlich ergibt sich hierbei das Problem, dass bei einer Verschiebung des Bildes, welches seiner Größe nach für das Anzeigemittel erstellt ist, Bereiche sichtbar werden, welche von dem Bild nicht mehr erfasst werden. Das Bild wird praktisch über seinen eigenen Rand hinaus verschoben, so dass das Bild praktisch für den Benutzer an einem Ort stehen bleibt, während sich der Kopf des Benutzers von dem Bild weg bewegt. Das Bild erzeugt hierbei den Eindruck eines Wandbildes, von dem sich der Benutzer abwendet. Um diesen Eindruck zu mindern ist es zunächst in einer einfachsten Lösung möglich, das von der Datenverarbeitungseinrichtung erstellte Bild größer zu erstellen, als es von der Anzeige des Anzeigemittels dargestellt werden kann. Hierdurch wird sichergestellt, dass auch bei einem Verschieben des Bildes immer noch ausschließlich Teile des Bildes betrachtet werden und kein undefinierter Bildbereich in den Anzeigebereich tritt.
-
Eine derartige Lösung ist jedoch bei vielen grafischen Lösungen nicht möglich, insbesondere dann, wenn eine bildgebende Software nicht speziell für den Betrieb mit einem erfindungsgemäßen Anzeigemittel hergerichtet ist. Dann kann in den hierdurch ausgeblendeten Randbereichen wertvolle Information vorhanden sein, welche jedoch bei einer solchen Lösung standardmäßig nicht angezeigt würde. In solchen Fällen oder bei einer starken Bewegung trotz überlappender Ränder kann bei einem Überschreiten der Bildränder ein Auffüllen der nicht mehr von dem gerenderten Bild abgedeckten Bildpunkte entweder mit Kopien der Randpixel gefüllt werden, oder mit hieraus berechneten Artefakten, welche für den Benutzer zwar erkennbar, aufgrund ihrer Darstellung jedoch nicht störend wahrgenommen werden können. Alternativ ist es möglich, grundsätzlich die freien, nicht von dem Bild abgedeckten Bildpunkte mit einer vorgegebenen oder einer rechnerisch bestimmten Farbe aufzufüllen. Im Falle des Auffüllens mit einer rechnerisch bestimmten Farbe kann beispielsweise aus dem Gesamtbild eine Ambientefarbe bestimmt werden, mit welcher grundsätzlich der Rand des Bildes ausgefüllt wird.
-
Gerade in dem Fall, dass die verwendete bildgebende Software nicht speziell für die Verwendung mit dem erfindungsgemäßen Anzeigemittel hergerichtet ist, wird üblicherweise eine Übersetzung der Bewegungsdaten des Anzeigemittels in Steuerbefehle der Datenverarbeitungseinrichtung erfolgen müssen. Hierzu kann ein Kommunikationsinterface in Hardware- oder auch Software-Form vorgesehen sein, welches die erstellten Bilder der Datenverarbeitungseinrichtung empfängt und an das Anzeigemittel weiterleitet und umgekehrt die Bewegungsdatensätze des Anzeigemittels erfasst, in Steuerbefehle für die Datenverarbeitungseinrichtung umsetzt und mit diesen die Datenverarbeitungseinrichtung mit Steuersignalen versorgt.
-
Idealerweise handelt es sich bei der Datenverbindung zwischen der Datenverarbeitungseinrichtung und dem Anzeigemittel um eine drahtlose Verbindung, beispielsweise kann hierfür eine Bluetooth-, WLAN- oder Funkverbindung vorgesehen sein.
-
Mit einigem Vorteil kann das Anzeigemittel hierbei auch als eine Art Brillengestell ausgestaltet sein, welches aus einem Kopfgestell und einer Aufnahme für ein Smartphone besteht. Das Smartphone, welches sämtliche für eine Bewegungserfassung erforderlichen Sensoren in heutiger Ausgestaltung ohne Weiteres aufweist, hat ein genügend großes und in der Regel hochauflösendes Display, welches als Anzeige des Anzeigemittels geeignet ist. Zudem verfügt ein Smartphone in der Regel auch über sämtliche Empfangsmöglichkeiten nach unterschiedlichen Funkstandards, so dass es als Anzeigemittel geeignet ist.
-
Konkret kann hierfür ein solches Kopfgestell eine Aufnahme für das Smartphone oberhalb des Sichtbereichs eines Benutzers aufweisen, so dass im Normalfall der Benutzer unter dem Smartphone hindurch sehen würde. Aufgrund einer Spiegelanordnung wird der Blick des Benutzers dann auf die Anzeige des sich eigentlich über ihm befindlichen Smartphones gelenkt, so dass das Smartphone trotz eines Mindestabstands des Auges von dem Anzeigemittel möglichst nah am Kopf des Benutzers gelagert ist. Im Falle herkömmlicher Anzeigemittel besteht die Problematik, dass aufgrund des Mindestabstands zwischen Anzeigemittel und Auge die Anzeigen relativ weit von dem Auge entfernt aufgestellt werden müssen, was eine Verlagerung des Kopfschwerpunkts auf das Anzeigemittel zu bewirkt. Durch die genannte Spiegelanordnung wird trotz des relativ schweren Smartphones der Kopfschwerpunkt kaum verlagert, mit dem Ergebnis, dass Ermüdungserscheinungen aufgrund des Tragens des Anzeigemittels deutlich vermindert werden. Eine derartige Lösung ist auch unabhängig von dem hier beschriebenen Verfahren allgemein als Anzeigemittel einsetzbar.
-
Die vorstehend beschriebene Erfindung wird im Folgenden anhand eines Ausführungsbeispiels näher erläutert.
-
Es zeigen
-
1 den Ablauf einer Übertragung von Bewegungsdaten und einer Rückübertragung von Bilddaten zwischen einem Anzeigemittel und einer Datenverarbeitungseinrichtung in Form eines schematischen Schaubildes,
-
2 das Kommunikationsprinzip zwischen einem Anzeigemittel und einer Datenverarbeitungseinrichtung mit zwischengeschaltetem Kommunikationsinterface in einer schematischen Darstellung, sowie
-
3 ein Anzeigemittel mit einem Kopfgestell und einem darin aufgenommenen Smartphone, welches die Funktion der Anzeige übernimmt in einer seitlichen, schematischen Draufsicht.
-
1 zeigt die Kommunikationswege zwischen einem Anzeigemittel 1 und einer Datenverarbeitungseinrichtung 2, wobei zunächst auf der mit t bezeichneten Zeitleiste zu einem Zeitpunkt Bewegungsdatensätze mit einem Zeitstempel 4 versehen werden und sodann eine Übertragung 10 zur Datenverarbeitungseinrichtung 2 erfolgt. Aufgrund der zuletzt erfolgten Bewegung verursachten diese Bewegungsdatensätze, welche zur Datenverarbeitungseinrichtung 2 übertragen werden, eine tatsächlich abzubildende Situation 6. Es handelt sich hierbei um das Bild, welches anschließend von der Datenverarbeitungseinrichtung 2 zu berechnen sein wird. Die Berechnung startet, sobald die Übertragung 10 zur Datenverarbeitungseinrichtung 2 abgeschlossen ist. Das Rendern 9 des Bildes 3 nimmt wiederum einige Zeit in Anspruch, so dass nach dem Rendern 9 des Bildes 3 eine Übertragung 11 des Bildes 3 zum Anzeigemittel 1 erfolgt. Auf dem Anzeigemittel 1 erfolgt dann die Ausgabe 5 des Bildes 3, wobei das Bild 3 nicht mittig in der Anzeige des Anzeigemittels 1 dargestellt wird. Aufgrund der mittlerweile eingetretenen zusätzlichen Bewegungen des Anzeigemittels 1, welche aufgrund von Kopfbewegungen des Benutzers eingetreten sind, wird das Bild 3 nach oben und nach rechts verschoben, was als Reaktion auf eine Bewegung des Kopfes eines Benutzers, welcher das Anzeigemittel 1 trägt, nach unten und links darstellt. Diese Bewegung findet zwischen der Zeitstempelung 4 und der Ausgabe 5 des Bildes 3 statt. Das zuletzt dargestellte Bild der Datenverarbeitungseinrichtung 2 wurde auf dem Anzeigemittel 1 ebenfalls bereits verschoben dargestellt, so dass sich inhaltlich für den Benutzer eine durchgehend sauber animierte Simulation des virtuellen Raumes ergibt. Beim Verschieben des Bildes 3 auf der Anzeige des Anzeigemittels 1 entstehen hinausgeschobene Bildabschnitte 8, welche auf dem Anzeigemittel keinen Platz mehr finden. Umgekehrt können im unteren und linken Bildbereich der Anzeige keine Bildpunkte des Bildes mehr untergebracht werden, so dass hier Artefakte 7 der Randpixel dargestellt werden um das Bild zu füllen.
-
2 zeigt den grundsätzlichen Kommunikationsablauf zwischen einem Anzeigemittel 1 und einer Datenverarbeitungseinrichtung 2. Diese kann über ein Kommunikationsinterface 12 erfolgen, welches in der 2 als Hardwareeinheit dargestellt ist. Diese kann ohne Weiteres jedoch auch als Softwareeinheit direkt auf der Datenverarbeitungseinrichtung 2 ablaufen. Von dem Anzeigemittel 1 erfolgt eine Übertragung von Bewegungsdatensätzen 13 an das Kommunikationsinterface 12, welches diese Bewegungsdatensätze 13 in Steuerbefehle 15 für die Datenverarbeitungseinrichtung 2 umsetzt. In Abhängigkeit von diesen Steuerbefehlen 15 wird eine Bewegung im virtuellen Raum, welcher auf der Datenverarbeitungseinrichtung 2 simuliert wird, umgesetzt und es werden neue Bilder 14 gerendert und diese Bilder 14 wiederum über das Kommunikationsinterface 12 an das Anzeigemittel 1 übertragen. Als Anzeigemittel 1 ist hier ein Smartphone 17 dargestellt, welches die Funktion der Anzeige innerhalb des Anzeigemittels übernehmen kann.
-
Eine hierfür geeignete Lösung ist in 3 dargestellt. Diese Lösung umfasst ein Kopfgestell 16, an welchem oberhalb des Sichtbereichs eines Benutzers das Smartphone 17 mit der Bildseite nach unten angeordnet ist. Aufgrund einer Spiegelanordnung 18 wird der Benutzer über die Spielanordnung 18 auf die Anzeige des Smartphones 17 blicken und damit den Eindruck erhalten, der Benutzer befinde sich in dem auf dem Smartphone-Display dargestellten virtuellen Raum. Nachdem das Smartphone 17 sämtliche Kommunikations- und Bewegungssensoreinrichtungen enthält, sowie ein geeignetes Display für die hochauflösende Darstellung des virtuellen Raumes besitzt, eignet sich dieses hervorragend für den Einsatz in einem Anzeigemittel 1. Aufgrund der Anordnung des Smartphones 17 oberhalb des Sichtbereichs des Benutzers kann dieses deutlich näher am Benutzer gelagert werden, so dass sich der Schwerpunkt der Gesamtanordnung möglichst dicht am Kopf hält und damit der Tragekomfort für den Benutzer deutlich erhöht wird.
-
Vorstehend beschrieben ist somit ein Verfahren zum Betrieb eines kopfgetragenen Anzeigemittels, welches durch ein Verschieben der empfangenen Bilder anhand der zwischen dem Senden der Bewegungsdaten und dem Empfangen neuer Bilder eingetretenen Bewegungen den Nachzieheffekt auch bei langsameren Systemen vermeidet und damit eine lebensnähere Simulation virtueller Räume ermöglicht.
-
Bezugszeichenliste
-
- 1
- Anzeigemittel
- 2
- Datenverarbeitungseinrichtung
- 3
- Bild
- 4
- Zeitstempel
- 5
- Ausgabe
- 6
- abzubildende Situation
- 7
- Artefakte
- 8
- hinausgeschobene Bildabschnitte
- 9
- Rendern des Bildes
- 10
- Übertragung zur Datenverarbeitungseinrichtung
- 11
- Übertragung zum Anzeigemittel
- 12
- Kommunikationsinterface
- 13
- Bewegungsdatensätze
- 14
- Bilder
- 15
- Steuerbefehle
- 16
- Kopfgestell
- 17
- Smartphone
- 18
- Spiegelanordnung
