DE102014015103A1

DE102014015103A1 - Device for head mounted displays

Info

Publication number: DE102014015103A1
Application number: DE102014015103.4A
Authority: DE
Inventors: Anmelder Gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-10-10
Filing date: 2014-10-10
Publication date: 2016-04-14

Abstract

Head Mounted Diplays sind beschränkt auf Bildinformationen zur Abbildung von virtuellen Welten. Durch die Anbringung von Vibrationselementen in, an und um einen Head Mounted Display, kann die Abbildungsgenauigkeit der virtuellen Welt verbessert werden. Oder, wenn eine symbolische Abbildung von Bewegungsenergien der virtuellen Welt auf die menschliche Haut, in Form von intensitätsparalellen und richtungsadäquaten Vibrationsreizungen erfolgt, kann der Simulator-Krankheit entgegengewirkt werden.Head Mounted Diplays are limited to image information for mapping virtual worlds. By attaching vibration elements in, on and around a head mounted display, the imaging accuracy of the virtual world can be improved. Or, if a symbolic depiction of movement energies of the virtual world on the human skin takes place in the form of intensity-parallel and direction-adequate vibration stimuli, the simulator's disease can be counteracted.

Description

Sämtliche Arten von bilddarstellenden Medien, die vom Nutzer im Gesicht beziehungsweise auf den Augen getragen werden und die Bildinformation so direkt auf kürzestem Weg dem Sichtfeld des Nutzers bereitstellen, egal ob diese Medien nun Head Mounted Displays, Videobrillen oder sonst wie genannt werden, diese Brillen für Virtuelle Realität (von nun BfVR) nutzen nur Lichtinformationen ihrer bilddarstellenden Einheiten für die Sinnesreizung des Nutzers. Es ist also zu erkennen, das BfVR nur wenig von der möglichen Sinneswahrnehmung des Menschen nutzen, was die realitätsnahe Abbildung der virtuellen Welt einschränkt, und damit auch die Simulator-Krankheit begünstigt.All types of image-representing media that are worn by the user in the face or on the eyes and provide the image information so directly by the shortest route to the user's field of vision, whether these media are now called head mounted displays, video glasses or otherwise, these glasses for Virtual reality (from now BfVR) use only light information of their image-representing units for the sensory irritation of the user. It can thus be seen that the BfVR uses only a small amount of the possible sensory perception of humans, which limits the close-to-reality depiction of the virtual world, and thus also favors simulator disease.

Der in Patentanspruch 1 angeführten Erfindung liegt das Problem zugrunde, dass bei Nutzern von BfVR außerhalb der Lichtemissionen der bilddarstellenden Einheit oder Einheiten, ebenso Hautreize in Form von Vibrationen hervorzurufen, um mehr Realitätsnähe und Einbindung des Nutzers zu erreichen.The claimed in claim 1 invention is based on the problem that users of BfVR outside the light emissions of Bilddarstellenden unit or units, as well as skin irritation in the form of vibrations, in order to achieve greater realism and involvement of the user.

Dieses Problem wird mit den in Patentanspruch 1 aufgeführten Merkmalen erreicht. Durch die Verwendung von Vibrationselementen in der BfVR, ist es nun möglich Hautreize auszuüben. Stärken- und Punktgenau ist bei entsprechender Ansteuerung nun möglich, die Hautoberfläche zu aktivieren Durch die Ansteuerungsmöglichkeiten der Vibrationselemente gemäß Anspruch 1, entstehen viele Möglichkeiten der Nutzung. So kann etwa ein Filmstudio Vibrationsdaten für die in seinem Film dargestellten Körper und Ereignisse als Datensatz zum Betrieb der Vibrationselemente in einer BfVR bereitstellen. Diese Daten dienen beispielsweise dazu einen in einem Film gezeigten und dort laufenden Motor zusätzlich auf der Haut des BfVR Nutzers durch Vibrationen abzubilden. Der Datensatz könnte in dem Bildkabel und oder im Bildsignal integriert sein, oder per Funk an die BfVR übermittelt werden. Besonders effektiv könnte die Erfindung gemäß Anspruch 1 genutzt werden in Simulation-, Computer- und Videospielanwendungen die in Echtzeit eine virtuelle Welt dem Nutzer abbilden. In den Befehlsätzen der verwendeten Software (Simulation, Computer oder Videospiel), könnten Berechnungen für Vibrationsdaten von erzeugten Körpern oder Ereignissen integriert werden und ebenso an die BfVR gesendet werden. Gerade in Verbindung mit Headtracking und Positionaltracking können die errechneten Vibrationsdaten eines Objektes gemäß der Position des Nutzer und seines Kopfes in Echtzeit angepasst werden. Aber auch eine Errechnung der Vibrationsdaten zur Ansteuerung der Vibrationselemente in der BfVR aus zum Beispiel den Bassfrequenzen eines Tonsignal ist einfach möglich. Eine interne oder externe Erweiterung einer BfVR, also ein Soundprozessor oder Prozessor könnte die Funktionsdaten aus dem Tonsignal mittels gängiger Algorithmen ableiten, also zum Beispiel tiefere Frequenzen stärker durch Vibration abbilden als nicht so tiefe Bassfrequenzen.This problem is achieved with the features listed in claim 1. By using vibration elements in the BfVR, it is now possible to exert skin irritation. Strength and exact point is now possible with appropriate control to activate the skin surface By the control options of the vibrating elements according to claim 1, many possibilities of use arise. For example, a film studio may provide vibration data for the bodies and events depicted in its film as a record for operating the vibratory elements in a BfVR. These data are used, for example, to image a motor shown in a film and there in addition on the skin of the BfVR user by means of vibrations. The data set could be integrated in the image cable and / or image signal, or transmitted to the BfVR by radio. The invention according to claim 1 could be used particularly effectively in simulation, computer and video game applications which map a virtual world to the user in real time. In the instruction sets of the software used (simulation, computer or video game), calculations for vibration data of generated bodies or events could be integrated and also sent to the BfVR. Especially in connection with head tracking and position tracking, the calculated vibration data of an object can be adjusted according to the position of the user and his head in real time. But also a calculation of the vibration data for controlling the vibration elements in the BfVR from, for example, the bass frequencies of a sound signal is easily possible. An internal or external extension of a BfVR, so a sound processor or processor could derive the function data from the sound signal using common algorithms, ie, for example, represent deeper frequencies by vibration stronger than not so deep bass frequencies.

Eine weitere vorteilhafte Ausgestaltung der Erfindung ist in dem Patentanspruch 2 angeben. Die Weiterbildung nach Anspruch 2 ermöglicht es die Befestigungsstrukturen einer BfVR, die den Halt der BfVR an dem Gesicht oder an dem Kopf des Nutzers ermöglichen, diese Strukturen ebenso mit Vibrationselementen zu versehen, um die Abbildungsfläche der virtuellen Welt zu erweitern. Da jede BfVR entweder durch Brillenbügel, oder elastischen Bändern oder starren Konstruktionen an dem Kopf des Nutzers befestigt wird, kann durch die Anbringung von Vibrationselementen in diesen Strukturen, ohne extra vom Nutzer zu tragende Vorrichtungen, die Vibrationsreizung über den Befestigungsmechanismus der BfVR ausgeweitet werden. Da BfVR häufig mittels den Kopf umreichenden Konstruktionen befestigt werden, kann der Wirkungseffekt dieser Erfindung ebenso um den ganzen Kopf erweitert werden.A further advantageous embodiment of the invention is specified in the patent claim 2. The development according to claim 2 makes it possible for the attachment structures of a BfVR to enable the BfVR to be held on the user's face or head, as well as to provide these structures with vibrating elements in order to expand the imaging surface of the virtual world. Since each BfVR is fastened to the user's head either by eyeglass temples, or elastic bands or rigid constructions, by attaching vibrating elements in these structures, without any user-worn devices, the vibration irritation can be extended via the BfVR mounting mechanism. Since BfVRs are often attached by means of head-surrounding constructions, the effect of this invention can also be extended around the whole head.

Eine weitere vorteilhafte Ausgestaltung der Erfindung ist in dem Patentanspruch 3 angeben. Die Weiterbildung nach Anspruch 3 ermöglicht es Vibrationselemente im gesamten Kopfbereich zu verwenden, selbst wenn die BfVR oder Teile davon nur einen wesentlich kleineren Bereich abdecken. So kann durch Verwendung, beispielsweise einer Mütze oder eines Stirnbandes, in das die Vibrationselemente integriert sind, die in den vorausgehenden Punkten beschrieben Effekte erzielt werden. Die BfVR kann so wesentlich kleiner und leichter gebaut werden, und nur bei Bedarf kann die Vibrationsleistung per Zusatzvorrichtung aktiviert werden.A further advantageous embodiment of the invention is specified in the patent claim 3. The development according to claim 3 makes it possible to use vibration elements in the entire head area, even if the BfVR or parts thereof cover only a much smaller area. Thus, by using, for example, a cap or a headband in which the vibration elements are integrated, the effects described in the preceding points can be achieved. The BfVR can be built much smaller and lighter, and only if necessary, the vibration power can be activated by additional device.

Eine weitere vorteilhafte Ausgestaltung der Erfindung ist in dem Patentanspruch 4 angeben. Die Weiterbildung nach Anspruch 4 ermöglicht es Kräfte, die resultieren aus den Bewegungen und Aktionen des Nutzers in der virtuellen Welt, genauer dem Fehlen dieser Kräfte in der Echtwelt, bestimmte Ersatzereignisse auf Vibrationsbasis zuzuordnen und auszulösen über die Vibrationselemente. Die sogenannte Simulatorkrankheit (engl. Simulator Sickness) oder Motion Sickness, also ein Unwohlsein des Nutzers, entsteht durch die Diskrepanz zwischen dargestellten Kräften in der virtuellen Welt, und deren Fehlen in der Echtwelt, also der Wahrnehmung des Nutzers. Da aber das Gehirn bei der Entstehung dieses Phänomens federführend ist, und nicht das jeweilige Körperteil dem die Krafteinwirkung fehlt, ist es möglich das Gehirn mit anderen Reizen abzulenken von dem Fehlen echter Kräfte, wie positiver oder negativer Beschleunigung. Somit könnte ein Teil oder sämtliche Vibrationselemente, wie sie bisher beschrieben worden sind, dafür verwendet werden fehlende Energiereize auf dem menschlichen Körper durch beispielsweise intensitätsparalelle und richtungsadäquate Vibrationsreizungen zu ersetzen. Hierdurch wird das Gehirn teilweise oder vollständig von dem Fehlen von Energiereizen abgelenkt und oder auf die neuen Vibrationsreize umgelernt, und die Simulator-Krankheit tritt nicht, vermindert oder verspätet ein. Im Idealfall würden die Betriebsdaten für die so entstehenden Vibrationsereignisse direkt von der Computer-Engine bereitgestellt werden, die auch die virtuelle Welt erstellt. Aber auch hier könnten Filmstudios die Daten für ihren Film bereitstellen. Aber auch interne oder externe Erweiterungen könnten aus Tonfrequenzen des Tonsignals die Betriebsdaten für die Vibrationselemente der BfVR errechnen.A further advantageous embodiment of the invention is specified in the patent claim 4. The development according to claim 4 makes it possible forces that result from the movements and actions of the user in the virtual world, more precisely, the lack of these forces in the real world, assign specific replacement events on vibration basis and trigger on the vibration elements. The so-called simulator disease (English Simulator Sickness) or Motion Sickness, ie a discomfort of the user, is caused by the discrepancy between forces shown in the virtual world, and their absence in the real world, so the perception of the user. But since the brain is the leader in the development of this phenomenon, and not the respective body part which lacks the force, it is possible to divert the brain with other stimuli from the absence of real forces, such as positive or negative acceleration. Thus, some or all of the vibratory elements heretofore described could be used to substitute for lack of energy gain on the human body by, for example, intensity-parallel and directionally-adequate vibration stimuli. As a result, the brain is partially or completely distracted from the lack of energy stimuli and / or relearned to the new vibrational stimuli, and the simulator disease does not occur, diminished or delayed. Ideally, the operational data for the resulting vibration events would be provided directly by the computer engine that also creates the virtual world. But even here, film studios could provide the data for their film. Internal or external extensions could also calculate the operating data for the vibration elements of the BfVR from sound frequencies of the sound signal.

Eine weitere vorteilhafte Ausgestaltung der Erfindung ist in dem Patentanspruch 5 angeben. Die Weiterbildung nach Anspruch 5 ermöglicht es, die im Anspruch 4 beschriebenen intensitätsparalellen und richtungsadäquaten Vibrationsreizungen, die als Ersatz für Energieereignisse in der virtuellen Welt der Echtwahrnehmung des Nutzers bereitgestellt werden, auf den gesamten Körper des Nutzers auszuweiten. Durch die Integration von Vibrationselementen in kleidungsstückartige Strukturen, oder in elastische Stoffstrukturen, die um entsprechende Körperteile gezogen werden können, kann nun der Wirkungseffekt der in Anspruch 4 und dessen Beschreibung beschrieben wird, erweitert werden auf beliebige Körperstellen und Teile des Nutzers. Die Vibrationselemente könnten mit der BfVR per Funk oder Kabel verbunden sein, oder eigenständig durch ein beispielsweise ebenso am Körper getragenes Steuergerät betrieben werden. Das Steuergerät könnte wie bereits beschrieben die Funktionsdaten für die Vibrationselemente selber aus dem Tonsignal erstellen, oder die Funktionsdaten selber direkt von der Bildquelle beziehen, sowie beispielsweise auch über eine eigene Stromversorgung verfügen.A further advantageous embodiment of the invention is specified in the patent claim 5. The development according to claim 5 makes it possible to extend the intensity-parallel and direction-adequate vibration stimuli described in claim 4, which are provided as a substitute for energy events in the virtual world of the user's real perception, to the entire body of the user. By integrating vibrating elements into garment-like structures, or into elastic fabric structures that can be pulled around corresponding body parts, the effect of the effect described in claim 4 and its description can now be extended to arbitrary parts of the body and parts of the user. The vibrating elements could be connected to the BfVR by radio or cable, or be operated independently by, for example, also worn on the body controller. As already described, the control unit could itself generate the function data for the vibration elements from the sound signal, or obtain the function data itself directly from the image source, and also have, for example, its own power supply.

Beispiel 1:Example 1:

Mit der folgenden Passage sollen einige der in den Patentansprüchen erwähnten Möglichkeiten im Einsatz beschrieben werden. Es dient nur als ein Beispiel der vielen Kombinationsmöglichkeiten, die sich aus den in den Patentansprüchen erwähnten Eigenschaften ableiten lassen. Ebenso sind erwähnte Technologietypen nur beispielhaft für die Möglichkeiten, die sich aus den Patentansprüchen ergeben.The following passage is intended to describe in practice some of the possibilities mentioned in the claims. It serves only as an example of the many possible combinations that can be derived from the properties mentioned in the patent claims. Likewise, mentioned technology types are only examples of the possibilities arising from the claims.

Eine BfVR, die mittels elastischer Zugbänder am Kopf der Nutzers getragen wird, diese BfVR wird selbst mit Vibrationselementen ausgestattet. Zusätzlich sind in den elastischen Zugbändern der BfVR, die den Kopf umreichen, ebenso Vibrationselemente verbaut. Und da sämtliche Vibrationselemente einzeln mit der Platine verbunden sind, können die Vibrationselemente auch einzeln ausgelöst werden und in ihrer Intensität gesteuert werden. Da diese BfVR neben einem Bildkabel auch per USB mit dem Betriebscomputer verbunden ist, der die Daten der Headtrackingsensoren und Positionaltrackingsensoren der BfVR durch das USB-Kabel erhält, bekommt die Vibrationsplatine die Betriebsdaten der Vibrationselemente ebenso per USB von dem Betriebscomputer. Die Betriebsdaten für die Vibrationselemente werden von der auf dem Betriebscomputer laufenden Software-Engine bereitgestellt, die die virtuelle Welt für den Nutzer der BfVR erzeugt, sowie dessen Aktionen in die virtuelle Welt übersetzt. Der Nutzer der BfVR bekommt eine virtuelle Welt dargestellt, bei der auf dem auf 360 Grad ersichtlichen Umfeld permanent um ihn herum Sprenggranaten einschlagen. Die ihn erreichenden Druckwellen lösen an der Seite an der sie den Nutzer in der virtuellen Welt treffen, also an der passenden Seite des BfVR Aufbaus, entsprechende Vibrationselemente aus. Je stärker die Druckwelle, je stärker die Vibration. Dreht sich der Nutzer in der Echtwelt, wird die Drehung in die virtuelle Welt übersetzt, sowie aus der virtuellen Welt heraus dann die Vibrationsausrichtung der Vibrationselemente in der Echtwelt übernommen.A BfVR, which is carried by means of elastic drawstrings on the user's head, this BfVR is itself equipped with vibration elements. In addition, in the elastic drawstrings of the BfVR, which surround the head, also installed vibration elements. And since all vibration elements are individually connected to the board, the vibration elements can also be triggered individually and controlled in their intensity. Since this BfVR is also connected via USB to the operating computer which receives the data of the head tracking sensors and position tracking sensors of the BfVR through the USB cable, the vibration board also gets the operating data of the vibration elements via USB from the operation computer. The operating data for the vibration elements are provided by the software engine running on the operating computer, which generates the virtual world for the user of the BfVR and translates its actions into the virtual world. The user of the BfVR is presented with a virtual world in which explosive grenades constantly strike around him on the 360-degree-visible environment. The pressure waves reaching it release corresponding vibration elements on the side where they hit the user in the virtual world, ie on the appropriate side of the BfVR structure. The stronger the pressure wave, the stronger the vibration. If the user rotates in the real world, the rotation is translated into the virtual world, and then, from the virtual world, the vibrational orientation of the vibration elements in the real world is taken over.

Beispiel 2:Example 2:

Diese Beispiel basiert technisch auf dem Aufbau von Beispiel 1, nur dass jetzt auftretende Kräfte wie negative oder positive Beschleunigungen symbolisch mit Vibrationselementen auf die Haut des Nutzers abgebildet werden. Wenn sich der Nutzer in der virtuellen Welt schnell nach vorne bewegt oder nach vorne bewegt wird, während er in diesem Beispiel immer sitzt in der Echtwelt, wird ein Vibrationsreiz auf der Stirn des Nutzers ausgelöst. Die Entschleunigung oder negative Beschleunigung dagegen, wird durch einen starken Vibrationsreiz auf der Kopfrückseite begleitet. Bei einer starken Beschleunigung des Nutzer zur linken Seite der virtuellen Welt, würde also dann ein starker Vibrationsreiz die gesamte linke Kopfseite treffen, und bei der Entschleunigung die rechte Kopfseite. Eine schwache Bewegung in der virtuellen Welt könnte mit einer schwachen Vibration einhergehen, also mit einer geringeren Wirkung auf die Oberfläche und Tiefe der Haut. Besonders starke, oder gar wenn in der Echtwelt stattfindende lebensgefährliche Energieniveaus in der virtuellen Welt, können durch eine Gesamtauslösung aller Vibrationselemente abgebildet werden. So könnte ein tiefer Sturz und der Aufprall in der virtuellen Welt beispielsweise sämtliche Vibrationselemente auslösen, um genug Reizvolumen für das Gehirn des Nutzers zu erzeugen. Wenn keine oder nur sehr geringe Kräfte auf den Nutzer wirken, wären die Vibrationselemente natürlich nicht im Betrieb.This example is technically based on the structure of Example 1, except that now occurring forces such as negative or positive accelerations are symbolically imaged with vibration elements on the skin of the user. If the user in the virtual world quickly moves forward or is moved forward, while in this example always sitting in the real world, a vibration stimulus is triggered on the forehead of the user. The deceleration or negative acceleration, however, is accompanied by a strong vibration stimulus on the back of the head. With a strong acceleration of the user to the left side of the virtual world, so then would a strong vibration stimulus hit the entire left side of the head, and in the deceleration of the right side of the head. A faint movement in the virtual world could be accompanied by a weak vibration, with less effect on the surface and depth of the skin. Particularly strong, or even if in the real world, life-threatening energy levels in the virtual world, can be represented by a total triggering of all vibration elements. For example, a deep fall and the impact in the virtual world could trigger all vibratory elements to generate enough stimulus volume for the user's brain. Of course, if there are no or very little forces acting on the user, the vibration elements would of course not be in operation.

Claims

Device for "Glasses for Virtual Reality", from now on abbreviated "BfVR" and in English "Head Mounted displays "and abbreviated as" HMD ", or called video glasses, or augmented reality glasses, or whatever called technical devices, which are from now on BfVR, which are worn by their users in front of the eyes, by bilddarstellender Technology and lenses optical content to the field of view of the user from the short distance available, which also sensors for head tracking and or position tracking can be integrated in the overall structure, characterized in that one or more vibration elements are integrated into the overall design, as for example, mass use in mobile telephones or the operating devices (also called controllers, gamepad or joystick) of computer and video games, the function of the vibrating elements being ideally controlled by a signal provided by the creator of the image information, such as a film studio for a film the vibra and / or the environmental vibrations of bodies or events that are no longer mapped in the image information on the BfVR's imaging technology and the Represent the environment of the film world, and that if the image source is not installed in the BfVR, the image source transmits the function data to the BfVR, for example via USB cable or wirelessly via light or wireless, and or that the function signal for the vibration or the vibrating elements, for example free resources or frequencies of the image signal and / or the image signal cable is integrated, and or, if it is in real-time calculated contents, such as computer simulations or video games, then the function signal for the vibrating elements, for example, also in real time matching the Bildin or, for example, a manufacturer of a BfVR generates the SDK (Software Developer Kit), with which developers generate content for the BfVR, expand the instruction sets for operating the vibrating element (s), and / or the Graphics or game engine that derives vibration data from the bodies represented in the virtual world, and or, for example, or the software developer or the software developer to assign specific function data for the BfVR vibration elements to each body or event in the virtual world, or that the functional data for the Vibration elements are generated, for example, by an external or internal control unit of the BfVR, possibly on the basis of FGPA to minimize time delays, in which the image content represented by the BfVR and / or the corresponding audio signals on their frequency information, such as the bass frequencies, be analyzed, and vibration data can be calculated from it, and that each vibrating element can be operated individually if possible, and that, for example, an operating board is integrated into the overall structure to which the vibrating elements are connected, and the operating and control pulses for the vibrating element or elements from the operating signal translated and or extracted and sent to the respective vibrating element, as well as this power board preferably also provides the required energy, as well as this gets provided, and sends to the one or more vibration elements in the BfVR.

Device according to claim 1, characterized in that if the BfVR is held or fixed to the head of the user by means of a construction surrounding the head, such as elastic bands or also for example a rigid head surrounding the user's head, or the BfVR is like normal glasses is worn by means of ironing on the head, that then vibration elements are also integrated and or exclusively in this construction surrounding the head or in the eyeglass temple.

Device according to claim 1, and or or 2 characterized in that the one or more vibration elements are not installed in parts of the BfVR, or only in the BfVR itself and not in the holding elements according to claim 2, but in an additional head of the user if possible surrounding structure, such as similar in appearance to a cap or headband, and such headgear is fixedly or detachably connected to the vibrating element (s), such as USB, to the BfVR, and the operational data and operating power from the BfVR and, or or that the headgear with the vibrating element (s) has an independent connection with the signal source, as well as having the vibrating element (s) in all manifestations and forms of connection of the headgear to the vibrating element (s) itself, or also about the intern e or external functional signal generating unit that generates the function signal of the vibration or the vibration of, for example, the sound signal.

Device according to claim 1, and and or 2, and or 3, characterized in that the vibrating element or elements are not and / or only partially used for the imaging of appropriate vibration or vibration events in the virtual world, but to map forces that the user in the real world, if he were to experience the movements or actions in the virtual world in real life, such as negative or positive acceleration, and that the virtual forces in the real perception of the User is missing, which is given these missing forces by directionally adequate vibration events on the user's head.

Device according to claim 1 and or 2 and or 3 and or 4, characterized in that the vibration or the vibration elements represent the movement forces from the virtual world symbolically but directionally adequate in the real world in the form of vibrations, as in claim 4, that the one or more vibration elements in garment-like structures are integrated and worn by the user on the body, or that the vibration or the vibration elements symbolically map the movement forces from the virtual world but directionally adequate in the real world in the form of vibrations as in claim 4, the one or more vibration elements on elastic bands are attached, which can be worn by the user around body parts, such as in each case around an arm, and or a leg, and or the rib cage, and or the neck or elsewhere on the body.