ES2935124T3 - Sistema de visualización de imágenes, procedimiento de control del sistema de visualización de imágenes, sistema de distribución de imágenes y dispositivo de visualización montado en la cabeza - Google Patents

Sistema de visualización de imágenes, procedimiento de control del sistema de visualización de imágenes, sistema de distribución de imágenes y dispositivo de visualización montado en la cabeza Download PDF

Info

Publication number
ES2935124T3
ES2935124T3 ES16884970T ES16884970T ES2935124T3 ES 2935124 T3 ES2935124 T3 ES 2935124T3 ES 16884970 T ES16884970 T ES 16884970T ES 16884970 T ES16884970 T ES 16884970T ES 2935124 T3 ES2935124 T3 ES 2935124T3
Authority
ES
Spain
Prior art keywords
information
image display
display device
head
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES16884970T
Other languages
English (en)
Inventor
Hiroshi Fukuda
Hitoshi Araki
Takuma Motoki
Naoki Ota
Tsuyoshi Takeuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meleap Inc
Original Assignee
Meleap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meleap Inc filed Critical Meleap Inc
Application granted granted Critical
Publication of ES2935124T3 publication Critical patent/ES2935124T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Se proporciona un sistema de juego 100 al que se aplica un sistema de visualización de imágenes, que comprende: una pantalla montada en la cabeza 300, que comprende además una cámara que captura una imagen del mundo real y una pantalla que muestra una fusión de información de video del mundo virtual con información de video del mundo real que ha sido capturada por la cámara; un sensor de movimiento 400 que detecta, como información de acción, un movimiento del cuerpo de un usuario que usa la pantalla montada en la cabeza 300; y un marcador 200 que es para detectar información de posición del usuario. La información de vídeo del mundo virtual se controla sobre la base de la información de acción y la información de posición. Por lo tanto, es posible controlar la información de video que se muestra en una pantalla montada en la cabeza de acuerdo con la posición y el movimiento de un usuario. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Sistema de visualización de imágenes, procedimiento de control del sistema de visualización de imágenes, sistema de distribución de imágenes y dispositivo de visualización montado en la cabeza
Campo de la invención
La presente invención se refiere a un sistema de visualización de imágenes y a un procedimiento para controlar el sistema de visualización de imágenes.
Técnica anterior
Convencionalmente, un dispositivo de visualización montado en la cabeza (HMD) se conoce como un dispositivo que puede integrar información de vídeo del mundo virtual en información de vídeo del mundo real en tiempo real (por ejemplo, véase el documento de patente 1). Sin embargo, aunque el dispositivo de visualización montado en la cabeza del documento de patente 1 puede visualizar la información de vídeo del mundo virtual, el dispositivo de visualización montado en la cabeza del documento de patente 1 no puede cambiar esta información de vídeo según el movimiento (en particular, el movimiento de una mano o una pierna) de un portador que lleve el dispositivo de visualización montado en la cabeza o similar. Así, es difícil mejorar la sensación de inmersión (sensación de presencia) del portador.
Técnica relacionada
Documentos
Documento de patente 1: JP 2015-226110A.
Documento de patente 2: La Solicitud de patente europea EP 1060772 A2 proporciona un aparato de realidad mixta y un procedimiento de presentación de realidad mixta, que puede presentar la realidad incluso cuando una pluralidad de jugadores comparte un espacio de realidad mixta común. Los objetos virtuales se superponen para ocultar dispositivos como un HMD y similares que lleva otro jugador. Además, se divulga un aparato de interfaz de usuario al que el usuario (jugador) puede acostumbrarse fácilmente, y que puede reconocer con precisión las instrucciones (comandos) que el usuario (jugador) pretendía. El aparato de interfaz de usuario tiene un sensor de ubicación/postura fijado a la cabeza del usuario, y un sensor de ubicación/postura fijado a su mano, analiza la acción de la mano sobre la base de la posición relativa de la ubicación/postura de la mano con respecto a las de la cabeza, y estima el estado de acción actual a partir del resultado del análisis. El aparato determina entonces una instrucción de usuario (comando de jugador) en base al estado de la acción.
Documento de patente 3: La Solicitud de patente estadounidense US2010/079356 A1 proporciona un sistema de visualización montado en la cabeza y procedimientos de funcionamiento que permiten a los usuarios acoplar y desacoplar un dispositivo electrónico portátil, como un dispositivo electrónico portátil de mano, con un dispositivo separado montado en la cabeza (por ejemplo, integra temporalmente los dispositivos separados en una sola unidad). El dispositivo electrónico portátil puede estar acoplado físicamente al dispositivo montado en la cabeza, de manera que el dispositivo electrónico portátil puede llevarse en la cabeza del usuario.
Documento de patente 4: La Solicitud de patente estadounidense US2014/125698 A1 divulga un sistema de juego que comprende un dispositivo de visualización transparente, un subsistema lógico y un subsistema de almacenamiento que guarda instrucciones. Cuando son ejecutadas por el subsistema lógico, las instrucciones muestran en el dispositivo de visualización transparente un área virtual, un avatar controlado por el usuario y un avatar del oponente. El escenario virtual parece estar integrado en un espacio físico cuando éste se ve a través del dispositivo de visualización transparente. En respuesta a la recepción de una entrada del usuario, las instrucciones también pueden visualizar en el dispositivo de visualización transparente un avatar actualizado controlado por el usuario. Documento de patente 5: La Solicitud de patente europea EP1117074 A2 permite la presentación del punto de vista objetivo del vídeo de RA a un tercero que no sea un jugador del juego de RA. Documento de patente 6: La Solicitud de patente internacional WO2015123771 A1 divulga el uso de sensores de potencial muscular para determinar los gestos del portador.
Documento no de patente 1: “Registro superior de la realidad aumentada mediante la integración del seguimiento de puntos de referencia y el seguimiento magnético”, de State A et al, presenta un procedimiento de seguimiento híbrido para el registro preciso entre objetos reales y virtuales para aplicaciones de realidad aumentada, que combina la precisión del seguimiento basado en la visión con la robustez del seguimiento magnético sin comprometer el rendimiento en tiempo real o la usabilidad.
Problemas a resolver por la invención
Un objeto de la presente invención es proporcionar un sistema de visualización de imágenes y un procedimiento para controlar el sistema de visualización de imágenes que puede controlar la información de vídeo mostrada en un dispositivo de visualización montado en la cabeza de acuerdo con la posición y el movimiento de un portador.
Medios para resolver los problemas
El objeto anterior se consigue con la presente invención según las reivindicaciones adjuntas.
Efectos de la invención
Según la presente invención, dado que la información de vídeo del mundo virtual que se muestra en el dispositivo de visualización montado en la cabeza puede controlarse según la posición y el movimiento del portador, es posible mejorar la comodidad.
Breve descripción de los dibujos
La Fig. 1 es un diagrama de configuración que muestra una primera realización de un sistema de juego al que se aplica un sistema de visualización de imágenes y un procedimiento para controlar el sistema de visualización de imágenes de la presente invención.
La Fig. 2 es una vista que muestra un ejemplo de un campo de visión de RA visualizado en un dispositivo de visualización montado en la cabeza.
La Fig. 3 es una vista que muestra otro ejemplo del campo de visión de RA visualizado en el dispositivo de visualización montado en la cabeza.
La Fig. 4 es una vista que muestra ejemplos modificados de la disposición de un marcador.
La Fig. 5 es una vista en perspectiva que muestra el dispositivo de visualización montado en la cabeza. La Fig. 6 es una vista que muestra un ejemplo de una imagen mostrada en la pantalla de un terminal móvil del dispositivo de visualización montado en la cabeza.
La Fig. 7 es un diagrama de bloques del sistema de juego mostrado en la Fig. 1.
La Fig. 8 es un diagrama de configuración que muestra una segunda realización del sistema de juego al que se aplica el sistema de visualización de imágenes y el procedimiento para controlar el sistema de visualización de imágenes de la presente invención.
La Fig. 9 es un diagrama de bloques del sistema de juego mostrado en la Fig. 8.
Descripción detallada de las realizaciones preferentes
A continuación, se describirá detalladamente un sistema de visualización de imágenes y un procedimiento para controlar el sistema de visualización de imágenes de la presente invención basado en las realizaciones preferentes que se muestran en los dibujos adjuntos.
<Primera realización>
En primer lugar, se describirá un sistema de visualización de imágenes y un procedimiento para controlar el sistema de visualización de imágenes según una primera realización de la presente invención.
La Fig. 1 es un diagrama de configuración que muestra una primera realización de un sistema de juego al que se aplica el sistema de visualización de imágenes y el procedimiento para controlar el sistema de visualización de imágenes de la presente invención. Cada una de las Figs. 2 y 3 es una vista que muestra un ejemplo de un campo de visión de RA visualizado en un dispositivo de visualización montado en la cabeza. La Fig. 4 es una vista que muestra ejemplos modificados de la disposición de un marcador. La Fig. 5 es una vista en perspectiva que muestra el dispositivo de visualización montado en la cabeza. La Fig. 6 es una vista que muestra un ejemplo de una imagen visualizada en la pantalla de un terminal móvil del dispositivo de visualización montado en la cabeza. La Fig. 7 es un diagrama de bloques del sistema de juego mostrado en la Fig. 1. A este respecto, a efectos de ilustración, se omite una representación gráfica para un mundo real en cada una de las Figs. 2, 3 y 6.
Como se muestra en la Fig. 1, un sistema de juego 100 al que se aplican el sistema de visualización de imágenes y el procedimiento para controlar el sistema de visualización de imágenes de la presente invención tiene principalmente un marcador 200 dispuesto en un campo F, un dispositivo de visualización montado en la cabeza 300 y un sensor de movimiento (una parte de detección de información del movimiento) 400 que son llevados por un jugador (un portador) P, una cámara (un dispositivo de captura) 500 para capturar al jugador P, un dispositivo de visualización (un dispositivo de visualización de imágenes) 600 para visualizar un vídeo capturado por la cámara 500 y un servidor 700.
En el sistema de juego 100 descrito anteriormente, se muestra en el dispositivo de visualización montado en la cabeza 300 un vídeo obtenido mediante la integración de información de vídeo del mundo real con información de vídeo del mundo virtual, y la información de vídeo del mundo virtual se cambia en función de la posición (información de la posición) y el movimiento (información del movimiento) del jugador P. En concreto, el sistema de juego 100 está configurado para controlar la información de vídeo del mundo virtual en función de la posición y el movimiento del jugador P. Por lo tanto, según el sistema de juego 100, es posible proporcionar al jugador P una RA (realidad aumentada) sensible al cuerpo.
A continuación, se describirá un ejemplo de juego realizado mediante el sistema de juego 100. Este juego es un juego de tipo batalla para luchar con un monstruo M. Como se muestra en el campo de visión AR (una imagen vista por el jugador P) que se muestra en la Fig. 2, el monstruo M (la información de vídeo del mundo virtual) creado a partir de CG (Computer Graphics) aparece delante de los ojos del jugador P que lleva el dispositivo de visualización montado en la cabeza 300 (es decir, el monstruo M aparece en la información de vídeo del mundo real vista por el jugador P). El jugador P puede mover su propio cuerpo para invocar órdenes (instrucciones) correspondientes a su movimiento. Entonces, el jugador P puede utilizar los comandos para luchar con el monstruo M y el jugador P puede ganar la batalla con el monstruo M cuando un punto de golpe del monstruo disminuye a cero. Además, como se muestra en el campo de visión AR mostrado en la Fig. 3, las imágenes de ataque del jugador P y del monstruo M, las imágenes de los puntos de impacto del jugador P y del monstruo M y otras similares son visualizadas por los CGs durante la batalla. Esto permite dar sensación de presencia a la batalla con el monstruo M. En este sentido, los comandos no son especialmente limitados. Dependiendo del contenido del juego, los ejemplos de los comandos incluyen un comando de ataque (ataque de habilidad especial, ataque mágico y similares), un comando de defensa (guardia, evasión, magia de curación y similares) y un comando para cambiar un arma.
Además, la batalla entre el jugador P y el monstruo M se visualiza como un vídeo visto desde un punto de vista de la cámara 500 mediante el uso de la cámara 500 y este vídeo creado se muestra en el dispositivo de visualización 600 como se muestra en la Fig. 1. Así, otras personas (espectadores) además del jugador P pueden ver la batalla entre el jugador P y el monstruo M. Esto permite mejorar la sensación de unión entre el jugador P y los espectadores. En este sentido, el vídeo mostrado en el dispositivo de visualización 600 puede distribuirse a lugares remotos a través de Internet. En lo sucesivo, cada componente contenido en el sistema de juego 100 se describe en secuencia. [Servidor]
El servidor 700 es un motor de juego para el sistema de juego 100 y tiene la función de realizar contenidos de juego del sistema de juego 100. Además, el servidor 700 está conectado al dispositivo de visualización montado en la cabeza 300 y a la cámara 500, por lo que se puede transmitir y recibir información entre los mismos. A este respecto, aunque el procedimiento de conexión al servidor 700 puede ser una conexión por cable o una conexión inalámbrica, el dispositivo de visualización montado en la cabeza 300 y la cámara 500 se conectan al servidor 700 a través de la red Wi-Fi (marca registrada) en esta realización.
A este respecto, aunque el servidor 700 es un denominado "servidor físico" situado en las proximidades del campo F en esta realización, el servidor 700 puede ser un denominado "servidor virtual" representado por un servidor en la nube (un servidor en la web).
[Marcador]
El marcador 200 es colocado en el borde del campo F, como se muestra en la Fig. 1, y se dispone en un plano sustancialmente vertical (por ejemplo, la superficie de una pared de una habitación, un tabique dispuesto en una habitación y similares). Este marcador 200 tiene un patrón predeterminado. Al realizar el reconocimiento de imágenes de este patrón con una cámara 312 provista en el dispositivo de visualización montado en la cabeza 300, es posible obtener información de la posición tridimensional (información sobre una posición y una postura) del dispositivo de visualización montado en la cabeza 300 (el jugador P) .
A este respecto, el patrón, la disposición y similares del marcador 200 no están particularmente limitados, siempre que el reconocimiento de la imagen del marcador 200 pueda realizarse utilizando la cámara 312 del dispositivo de visualización montado en la cabeza 300. El patrón, la disposición y similares del marcador 200 pueden seleccionarse adecuadamente en función del uso previsto. Por ejemplo, como se muestra en la Fig. 4, el marcador 200 puede estar dispuesto en una superficie de suelo o dispuesto de forma que cruce dos o más superficies (una superficie de pared, una superficie de suelo y una superficie de techo) con diferentes orientaciones. Además, el marcador 200 es un marcador tridimensional que utiliza objetos sólidos, como una estructura y un ornamento. Además, por ejemplo, en el caso de jugar a este juego en una habitación, se puede utilizar como marcador 200 una forma propia de la habitación (en particular, una parte distinguible, como una estructura que contenga una columna y una ventana y un accesorio interior que contenga una pintura y una iluminación a la que se pueda realizar fácilmente el reconocimiento de la imagen). En este caso, la forma de la habitación se escanea previamente y estos datos escaneados pueden utilizarse como marcador. Así, este caso tiene la ventaja de que no es necesario preparar especialmente el marcador.
[Sensor de movimiento]
El sensor de movimiento 400 está configurado para ser llevado en un brazo del jugador P para detectar el movimiento del brazo. Un sensor de aceleración 410 para detectar una aceleración y un sensor de velocidad angular 420 para detectar una velocidad angular están incorporados en el sensor de movimiento 400, como se ha descrito anteriormente. Las señales de detección (información del movimiento) del sensor de aceleración 410 y del sensor de velocidad angular 420 se transmiten al dispositivo de visualización montado en la cabeza 300. Aunque el procedimiento de conexión entre el sensor de movimiento 400 y el dispositivo de visualización montado en la cabeza 300 puede ser un procedimiento con cable o un procedimiento inalámbrico, el sensor de movimiento 400 se conecta al dispositivo de visualización montado en la cabeza 300 a través del Bluetooth (marca registrada) en la presente realización.
A este respecto, una configuración del sensor de movimiento 400 no está particularmente limitada, siempre que pueda detectar el movimiento del brazo. El sensor de movimiento 400 tiene además un sensor de potencial muscular que puede detectar el potencial muscular y utilizar este sensor de potencial muscular para detectar si la mano del jugador P está bien o no está bien agarrada o para detectar el movimiento de los dedos (por ejemplo, piedra, tijeras y papel) y el movimiento de una muñeca (flexión y estiramiento de la muñeca, giro de la muñeca). Si el movimiento de los dedos puede ser detectado como se ha descrito anteriormente, será posible preparar más comandos que los mencionados anteriormente y por lo tanto será posible realizar la batalla con una manera más precisa. Además, el sensor de movimiento 400 se lleva en el brazo.
[Dispositivo de visualización montado en la cabeza]
Como se muestra en la Fig. 5, el dispositivo de visualización montado en la cabeza 300 tiene un terminal móvil 310 y una montura 320 a la cual el terminal móvil 310 se puede unir de forma desmontable.
El terminal móvil 310 tiene una pantalla (una parte de visualización de imágenes) 311 dispuesta en una superficie (una superficie frontal) del mismo y la cámara 312 (una parte de captura 312) dispuesta en la otra superficie (una superficie trasera) del mismo para capturar el mundo real en el lado opuesto a la pantalla 311. Aunque el terminal móvil 310 descrito anteriormente no está particularmente limitado, un teléfono inteligente, un terminal de tableta y similares pueden ser utilizados como el terminal móvil 310, por ejemplo. Además, un teléfono inteligente o similar propiedad del jugador P puede utilizarse como terminal móvil 310. De este modo, es posible mejorar la comodidad del dispositivo de visualización montado en la cabeza 300.
Por otra parte, la montura 320 tiene un cuerpo principal de la montura 330 y una banda 340 para fijar el cuerpo principal de la montura 330 en la cabeza del jugador P. Además, el cuerpo principal de la montura 330 tiene una forma de caja que cubre los ojos del jugador P. En un estado en el que el dispositivo de visualización montado en la cabeza 300 se lleva en la cabeza, el cuerpo principal de la montura 330 tiene una porción frontal 331 posicionada delante de los ojos del jugador P, una porción superior 332 posicionada en el lado superior, una porción inferior 333 posicionada en el lado inferior (el lado de los pies del jugador P con respecto a un espacio S posicionado entre el terminal móvil 310 y los ojos del jugador P), porciones laterales 334, 335 posicionadas en los lados laterales (lados izquierdo y derecho del jugador P con respecto al espacio S) y una porción de lente 336 posicionada entre los ojos y la porción frontal 331 (en el espacio S). Además, en una parte del cuerpo principal de la montura 330 que entra en contacto con la cabeza, hay una parte de absorción de impactos 337 realizada de esponja o similar.
Además, una porción de ranura (una porción de soporte) 350 a la que se une el terminal móvil 310 y un mecanismo de bloqueo 360 para fijar el terminal móvil 310 a la porción de ranura 350 se proporcionan en la porción frontal 331. La porción de ranura 350 puede soportar de forma desmontable el terminal móvil 310. La porción de ranura 350, como se ha descrito anteriormente, tiene un puerto de la ranura 351 provisto en el lado lateral de la porción frontal 331. El terminal móvil 310 puede insertarse en la porción de ranura 350 a través de este puerto de la ranura 351. Además, en la porción de ranura 350 se proporciona una porción de ventana 352 para permitir la captura de la cámara 312. La porción de ventana 352 de esta realización está constituida por una abertura. El terminal móvil 310 está unido a la porción de ranura 350, como se ha descrito anteriormente, en un estado en el que la pantalla 311 está dirigida hacia el lado de los ojos del jugador P y la cámara 312 está dirigida hacia el lado frontal del jugador P. Por otra parte, el mecanismo de bloqueo 360 puede abrir y cerrar el puerto de la ranura 351 moviendo pivotantemente una placa de bloqueo 361. La inserción del terminal móvil 310 en la porción de ranura 350 se habilita abriendo el puerto de la ranura 351 y el terminal móvil 310 puede fijarse a la porción de ranura 350 cerrando el puerto de la ranura 351. Además, al enganchar una ranura 361a provista en la placa de bloqueo 361 con un tornillo 362 provisto en la porción lateral 335 y apretar el tornillo 362, es posible mantener un estado en el que el puerto de la ranura 351 esté cerrado.
Además, la porción superior 332 no transmite sustancialmente la luz y, por lo tanto, sirve como una sombra para bloquear la luz exterior (en particular, la luz del sol y la luz de la iluminación del techo). Al proporcionar la porción superior 332, como se ha descrito anteriormente, resulta más fácil ver la imagen mostrada en la pantalla 311 del terminal móvil 310. Por otro lado, cada una de la porción inferior 333 y las porciones laterales 334, 335 tiene una porción de ventana a través de la cual puede pasar la luz. Con esta configuración, el jugador P puede ver (visualizar) un mundo externo (el mundo real) desde el lado inferior y los lados laterales del cuerpo principal de la montura 330 a través de las porciones de ventana, incluso en el estado de uso. Así, se mejora la seguridad en el estado de portado. En este sentido, la porción de ventana de la porción inferior 333 está constituida por un miembro de placa sustancialmente incoloro y transparente 333a y las ventanas de las porciones laterales 334, 335 están respectivamente constituidas por aberturas (agujeros pasantes) 334a, 335a en esta realización. Sin embargo, las configuraciones de las porciones de ventana no están particularmente limitadas. Por ejemplo, todas las porciones de ventana de la porción inferior 333 y las porciones laterales 334, 335 pueden estar constituidas respectivamente por aberturas o constituidas por miembros de placa incoloros y transparentes. Además, un miembro de espejo (un miembro que es considerado como un espejo de un lado brillante (un exterior) y considerado como un miembro transparente a través del cual el exterior puede ser visto de un lado oscuro (el lado del jugador P)) puede ser utilizado en lugar del miembro de placa incoloro y transparente.
Además, la porción de lente 336 tiene una lente 336L para el ojo izquierdo del jugador P y una lente 336R para el ojo derecho del jugador P. Con la porción de lente 336 como se ha descrito anteriormente, es posible ampliar la pantalla 311 del terminal móvil 310 y visualizar la pantalla ampliada 311.
En el dispositivo de visualización montado en la cabeza 300, como se ha descrito anteriormente, la información de vídeo del mundo real capturada por la cámara 312 se muestra en la pantalla 311 y el jugador P puede ver el mundo real que se extiende delante del jugador P a través del vídeo mostrado en la pantalla 311. Además, la información de vídeo del mundo virtual (el monstruo M y los comandos descritos anteriormente) se integra con la información de vídeo del mundo real mencionada anteriormente en tiempo real y esta información de vídeo integrada se muestra en la pantalla 311. Con esta configuración, es posible realizar una Ra con el dispositivo de visualización montado en la cabeza 300.
En esta realización, la pantalla 311 se divide en un área de imagen 311L para el ojo izquierdo y un área de imagen 311R para el ojo derecho, como se muestra en la Fig. 6, y la misma imagen sin disparidad se muestra en estas áreas de imagen 311L, 311R para proporcionar al jugador P el vídeo como una imagen de visión plana 2D. Sin embargo, por ejemplo, la imagen de vídeo del mundo virtual puede proporcionarse como una imagen de visión estereoscópica 3D mostrando una imagen estereoscópica que tenga una disparidad en las áreas de imagen 311L, 311R. Además, por ejemplo, en el caso en el que el terminal móvil 310 puede crear una imagen de visión estereoscópica pseudo 3D a partir de la información de vídeo de la cámara 312 o en un caso en el que la cámara 312 esté constituida por una cámara estereoscópica y pueda proporcionar la imagen de visión estereoscópica 3D, la información de vídeo del mundo real puede proporcionarse también como la imagen de visión estereoscópica 3D mostrando la información de vídeo del mundo real como una imagen estereoscópica.
En el caso presente, como se muestra en la Fig. 7, el terminal móvil 310 tiene una parte de determinación del movimiento 313, una parte de determinación de posición (una parte de detección de información de la posición) 314 y una parte de creación de información de vídeo 315.
La parte de determinación del movimiento 313 recibe la señal de detección (la información del movimiento) del sensor de movimiento 400 y detecta el movimiento del brazo del jugador P a partir de la señal de detección recibida. Además, la parte de determinación del movimiento 313 determina si el movimiento detectado del brazo coincide o no con el movimiento registrado preliminarmente del brazo y selecciona un comando (instrucción) correspondiente a este movimiento del brazo si el movimiento coincide con el movimiento registrado. Una pluralidad de comandos se registra en la parte de determinación del movimiento 313. Por ejemplo, el movimiento de que los brazos se crucen delante de la cara corresponde a "defensa", el movimiento de que el brazo se mueva rápidamente hacia el lado delantero corresponde a "ataque", el movimiento de que el brazo se balancee rápidamente corresponde a "cambio de arma" y similares. En el caso de que el movimiento del brazo detectado por la parte determinante del movimiento 313 coincida con la orden de "defensa" registrada, la parte determinante del movimiento 313 selecciona la "defensa". La parte de determinación de la posición 314 realiza el reconocimiento de la imagen del marcador 200 utilizando la cámara 312 para obtener una coordenada posicional de la cámara 312, la cual se basa en el marcador 200 como referencia. En concreto, los datos de la imagen del marcador 200 se registran en el terminal móvil 310 por adelantado. La parte de determinación de la posición 314 compara los datos de la imagen registrada y la imagen del marcador 200 capturada por la cámara 312 (en un punto de un tamaño, una orientación y similares) para calcular la información de la posición del jugador P (la cámara 312) con el uso de una posición de marcador como punto de origen. Con esta configuración, se puede obtener la información de la posición tridimensional del jugador P. En este caso, dado que el marcador 200 registrado en el terminal móvil 310 por adelantado está configurado para tener un tamaño y una posición que son realistas con respecto a la información del campo (una posición, una forma, un tamaño y similares del campo F), es posible obtener con mayor precisión la información de la posición del jugador P (la cámara 312). Además, la parte de determinación de la posición 314 realiza la determinación de una posición de emisión de la habilidad (la magia) y la determinación de la colisión de la habilidad (determinación de si la habilidad del enemigo alcanza o no al jugador P) en tiempo real en base a la información de la posición del jugador P. Además, la parte de determinación de la posición 314 permite que un objeto virtual correspondiente al jugador P siga al jugador P y utilize este objeto virtual para realizar la determinación de la colisión entre la habilidad y el jugador P. Así, es posible realizar la determinación de la colisión con mayor precisión. En este sentido, el objeto virtual está configurado para ser incoloro y transparente y, por lo tanto, el jugador P no puede ver el objeto virtual en la pantalla 311.
A este respecto, la parte de determinación de la posición 314 puede adoptar cualquier configuración, siempre que pueda obtener al menos una coordenada posicional bidimensional del jugador P.
La parte de creación de información de vídeo 315 crea la información de vídeo del mundo virtual (el monstruo M, la habilidad, la magia y similares) que debe visualizarse en la pantalla 311 en base a la información del juego recibida del servidor 700, el resultado de la determinación de la parte de determinación del movimiento 313 y la información de la posición obtenida por la parte de determinación de la posición 314 e integra la información de vídeo creada con la información de vídeo del mundo real en tiempo real para visualizar esta información de vídeo integrada en la pantalla 311.
Además, el vídeo visualizado en la pantalla se almacena en el terminal móvil 310 y en el servidor 700 y, por lo tanto, el jugador P puede comprobar el vídeo después de jugar el juego. Además, el vídeo puede distribuirse a usuarios remotos (terminales móviles remotos, ordenadores personales remotos y similares) desde el servidor 700 a través de Internet.
Hasta lo mencionado anteriormente, aunque se ha descrito el dispositivo de visualización montado en la cabeza 300, la configuración del dispositivo de visualización montado en la cabeza 300 no está particularmente limitada, siempre que tenga las funciones descritas anteriormente. Por ejemplo, aunque cada una de la porción superior 332, la porción inferior 333 y las porciones laterales 334, 335 del cuerpo principal de la montura 330 tiene una forma de placa plana y están conectadas ortogonalmente entre sí, cada una de estas porciones puede estar curvada y conectada entre sí para formar una forma ovalada en su conjunto. Además, las porciones de conexión (porciones de esquina) de la porción superior 332, la porción inferior 333 y las porciones laterales 334, 335 pueden estar biseladas para tener una forma curva. Además, por ejemplo, aunque el dispositivo de visualización montado en la cabeza 300 adopta la configuración en la que se utiliza el terminal móvil 310 en esta realización, el dispositivo de visualización montado en la cabeza 300 puede adoptar una configuración en la que no se utiliza el terminal móvil. En concreto, se puede emplear como dispositivo de visualización montado en la cabeza 300 un dispositivo de visualización de tipo transmisivo óptico o de tipo transmisivo de vídeo en la que el cuerpo principal de la montura 330 tiene la función de visualización de imágenes.
[Cámara]
La cámara 500 está dispuesta de forma fija fuera del campo F para capturar un área completa del campo F. Además, la cámara 500 crea información de vídeo vista desde un punto de vista de la cámara 500 cambiando la información de vídeo del mundo virtual mostrada en el dispositivo de visualización montado en la cabeza 300 (es decir, la información del mundo virtual que el jugador P está experimentando) en base a la diversa información como la información de la posición del jugador P transmitida desde el servidor 700 y los tipos de comandos (ataque, defensa y similares) seleccionados por el jugador P. A continuación, la información de vídeo creada se integra con la información de vídeo del mundo real capturada por la cámara 500 en tiempo real para crear un vídeo para los espectadores y este vídeo para los espectadores se muestra en el dispositivo de visualización 600.
A este respecto, el vídeo de los espectadores creado como se ha descrito anteriormente se almacena en el servidor 700 y el jugador P puede comprobar el vídeo de los espectadores después de jugar al juego. Además, el vídeo de los espectadores puede distribuirse a terminales remotos (usuarios remotos) desde el servidor 700 a través de Internet. Así, es posible ver el juego del jugador P incluso en lugares remotos para experimentar el juego conjuntamente.
La cámara 500 descrita anteriormente no está particularmente limitada. Por ejemplo, se utiliza como cámara 500 un terminal móvil (como un teléfono inteligente y una tableta) que tiene una función de cámara. Utilizando dicho terminal móvil, es posible crear la información de vídeo del mundo virtual en el terminal móvil, de la misma manera que el terminal móvil 310 descrito anteriormente y realizar fácilmente la comunicación con el servidor 700, simplificando así la configuración del sistema. Además, como cámara 500 puede utilizarse una cámara fotográfica digital, una cámara de vídeo digital y similares (en lo sucesivo, "cámara digital"). En este caso, la cámara digital está conectada a un ordenador personal y la creación de la información de vídeo del mundo virtual y la comunicación con el servidor 700, tal como se ha descrito anteriormente, son realizadas por el ordenador personal. Mediante el uso de la cámara digital, es posible mejorar la calidad de la imagen, ya que se puede realizar la captura con mayor resolución y el mayor número de fotogramas en comparación con el terminal móvil.
A este respecto, aunque la cámara 500 está dispuesta fuera del campo F en esta realización, la disposición de la cámara 500 no está limitada a lo mencionado. Por ejemplo, la cámara 500 puede estar dispuesta en el campo F o la cámara 500 puede estar dispuesta por encima del campo F (un espacio superior con respecto al campo F) suspendiendo la cámara 500 del techo, por ejemplo. Además, aunque la cámara 500 es fija en esta realización, la cámara 500 puede estar dispuesta de forma que la cámara 500 pueda moverse. Al disponer la cámara 500 de forma que pueda moverse, es posible capturar un vídeo siguiendo el movimiento del jugador P, mejorando así la sensación de presencia del vídeo mostrado en el dispositivo de visualización 600.
[Dispositivo de visualización]
El dispositivo de visualización 600 es un dispositivo de visualización para los espectadores (personas distintas del jugador P) y está dispuesta en las proximidades del campo F, por ejemplo. Como se ha descrito anteriormente, el vídeo de los espectadores (el vídeo obtenido mediante la integración de la información de vídeo del mundo real captada por la cámara 500 con la información de vídeo del punto de vista de la cámara 500 creada al cambiar la información de vídeo del mundo virtual mostrada en el dispositivo de visualización montado en la cabeza 300) se muestra en esta dispositivo de visualización 600. Al disponer el dispositivo de visualización 600 como se ha descrito anteriormente, los espectadores también pueden experimentar la misma RA que el jugador P está experimentando, mejorando así la sensación de presencia del juego.
A este respecto, aunque la imagen mostrada en el dispositivo de visualización 600 puede ser una imagen de visión plana 2D o una imagen de visión estereoscópica 3D, la imagen de visión plana 2D se muestra en el dispositivo de visualización 600 en esta realización.
Además, el dispositivo de visualización 600 no está particularmente limitada mientras pueda visualizar una imagen. Por ejemplo, la pantalla 600 puede adoptar una configuración en la que se proyecte una imagen sobre un dispositivo de visualización o una superficie de pared mediante un proyector. Además, un terminal móvil (un teléfono inteligente, una tableta y similares) de cada espectador puede utilizarse como dispositivo de visualización 600. En este caso, el vídeo se distribuye al terminal móvil de cada espectador desde el servidor 700.
Hasta ahora se ha descrito el sistema de juego 100. A este respecto, aunque en esta realización se ha descrito el caso en el que un jugador P juega el juego, el número de jugadores P no está particularmente limitado a uno. El número de jugadores P puede ser dos o más y los dos o más jugadores P pueden luchar contra el monstruo M en cooperación entre sí. En este caso, el dispositivo de visualización montado en la cabeza 300 (el terminal móvil 310) que lleva cada jugador P está configurada para recibir diversas informaciones (la información de la posición, la información del movimiento y similares) de otros jugadores P. Además del monstruo M y los comandos autoseleccionados por cada jugador P, los comandos seleccionados por los otros jugadores P también se muestran en el dispositivo de visualización montado en la cabeza 300 que lleva cada jugador P como el vídeo.
<Segunda realización>
A continuación, se describirá un sistema de visualización de imágenes y un procedimiento para controlar el sistema de visualización de imágenes según una segunda realización de la presente invención.
La Fig. 8 es un diagrama de configuración que muestra la segunda realización del sistema de juego al que se aplica el sistema de visualización de imágenes y el procedimiento para controlar el sistema de visualización de imágenes de la presente invención. La Fig. 9 es un diagrama de bloques del sistema de juego mostrado en la Fig. 8.
A continuación, el sistema de visualización de imágenes y el procedimiento para controlar el sistema de visualización de imágenes según la segunda realización de la presente invención se describirán poniendo énfasis en los aspectos que difieren de la realización descrita anteriormente, omitiendo los mismos aspectos en la descripción.
El sistema de visualización de imágenes y el procedimiento para controlar el sistema de visualización de imágenes según la segunda realización tienen las mismas configuraciones que las de la primera realización descrita anteriormente, excepto que los contenidos del juego se modifican. A este respecto, se añaden los mismos números de referencia a los mismos componentes que los de la realización descrita anteriormente.
Como se muestra en las Figs. 8 y 9, el sistema de juego 100 de la presente realización tiene principalmente un par de marcadores 200A, 200B dispuestos en el campo F, un dispositivo de visualización montado en la cabeza 300A y un sensor de movimiento 400A llevados por un primer jugador P1, un dispositivo de visualización montado en la cabeza 300B y un sensor de movimiento 400B llevados por un segundo jugador P2, la cámara 500 para capturar al primer jugador P1 y al segundo jugador P2, el dispositivo de visualización 600 para visualizar el vídeo capturado por la cámara 500 y el servidor 700.
Un juego realizado utilizando el sistema de juego 100 de la presente realización es un juego de tipo batalla en el que el primer jugador P1 y el segundo jugador P2 luchan entre sí. El primer jugador P1 y el segundo jugador P2 se colocan uno frente al otro y cada jugador P1, P2 mueve su cuerpo para atacar al jugador contrario o defenderse del ataque del jugador contrario para la batalla. Los comandos invocados por cada jugador P1, P2 son visualizados por los CGs y mostrados en los dispositivos de visualización montados en la cabeza 300A, 300B respectivamente llevadas por los jugadores P1, P2. Además, la batalla entre el primer jugador P1 y el segundo jugador P2 es visualizada por la cámara 500 y este vídeo se muestra en el dispositivo de visualización 600.
[Marcadores]
Los marcadores 200A, 200B están dispuestos respectivamente en ambos extremos del campo F, de forma que se enfrentan entre sí. Además, el marcador 200A está dispuesto en la parte delantera del primer jugador P1 (la parte trasera del segundo jugador P2) y se utiliza como marcador para obtener la información de la posición del primer jugador P1. Por otro lado, el marcador 200B está dispuesto en la parte delantera del segundo jugador P2 (la parte trasera del primer jugador P1) y se utiliza como marcador para obtener la información de la posición del segundo jugador P2. A este respecto, cada uno de los marcadores 200A, 200B tiene la misma configuración que el marcador 200 explicado en la primera realización descrita anteriormente. Además, las disposiciones de los marcadores 200A, 200B no se limitan a las disposiciones descritas anteriormente, siempre que puedan obtener respectivamente la información de la posición del primer jugador P1 y del segundo jugador P2 (por ejemplo, véase la Fig. 4).
[Sensores de movimiento]
El sensor de movimiento 400A lo lleva en un brazo el primer jugador P1 y una señal de detección del sensor de movimiento 400A se transmite al dispositivo de visualización montado en la cabeza 300A que lleva el primer jugador P1. Además, el sensor de movimiento 400B lo lleva en un brazo el segundo jugador P2 y una señal de detección del sensor de movimiento 400B se transmite al dispositivo de visualización montado en la cabeza 300B que lleva el segundo jugador P2. En este sentido, cada uno de los sensores de movimiento 400A, 400B tiene la misma configuración que el sensor de movimiento 400 explicado en la primera realización descrita anteriormente.
[Dispositivos de visualización montados en la cabeza]
El dispositivo de visualización montado en la cabeza 300A realiza el reconocimiento de la imagen del marcador 200A para obtener la información de la posición del primer jugador P1. Además, el dispositivo de visualización montado en la cabeza 300A detecta el movimiento del brazo del primer jugador P1 en base a la señal de detección del sensor de movimiento 400A y selecciona los comandos correspondientes al movimiento detectado del brazo. A continuación, el dispositivo de visualización montado en la cabeza 300A crea información de vídeo del mundo virtual basada en la información de la posición del primer jugador P1, los comandos seleccionados por el primer jugador P1 y diversa información (la información del juego, la información de la posición del segundo jugador P2, los comandos seleccionados por el segundo jugador P2 y similares) recibida del servidor 700 e integra la información de vídeo creada con la información de vídeo del mundo real en tiempo real para visualizar esta información de vídeo integrada.
Por otra parte, el dispositivo de visualización montado en la cabeza 300B realiza el reconocimiento de la imagen del marcador 200B para obtener la información de la posición del segundo jugador P2. Además, el dispositivo de visualización montado en la cabeza 300B detecta el movimiento del brazo del jugador P2 en base a la señal de detección del sensor de movimiento 400B y selecciona los comandos correspondientes al movimiento detectado del brazo. A continuación, el dispositivo de visualización montado en la cabeza 300B crea información de vídeo del mundo virtual basada en la información de la posición del primer jugador P2, los comandos seleccionados por el primer jugador P2 y diversa información (la información del juego, la información de la posición del primer jugador P1, los comandos seleccionados por el primer jugador P1 y similares) recibida del servidor 700 e integra la información de vídeo creada con la información de vídeo del mundo real en tiempo real para visualizar esta información de vídeo integrada.
Cada uno de los dispositivos de visualización montados en la cabeza 300A, 300B descritos anteriormente tiene la misma configuración que el dispositivo de visualización montado en la cabeza explicado en la primera realización descrita anteriormente.
Hasta ahora se ha descrito la segunda realización. Aunque el sistema de juego de tipo batalla uno a uno se ha descrito en la presente realización, el número de jugadores no está particularmente limitado. El estilo de batalla del sistema de juego 100 puede ser un estilo de varios a varios, como un estilo de dos a dos, un estilo de tres a tres. Hasta ahora, aunque el sistema de visualización de imágenes y el procedimiento para controlar el sistema de visualización de imágenes de la presente invención se han descrito en base a las realizaciones ilustradas en los dibujos, la presente invención no se limita a las mismas. La configuración de cada componente puede ser sustituida por una configuración arbitraria que tenga la misma función. Además, pueden añadirse otros componentes arbitrarios a la presente invención. Además, las realizaciones pueden combinarse adecuadamente entre sí.
Además, aunque la configuración en la que el sistema de visualización de imágenes y el procedimiento para controlar el sistema de visualización de imágenes se aplican al sistema de juego que se ha descrito en las realizaciones descritas anteriormente, el campo al que se aplican el sistema de visualización de imágenes y el procedimiento para controlar el sistema de visualización de imágenes no se limita al campo del juego. Por ejemplo, el sistema de visualización de imágenes y el procedimiento para controlar el sistema de visualización de imágenes pueden aplicarse a una simulación de diseño para la electrónica doméstica, un coche, un avión y similares.
Aplicabilidad industrial
El sistema de juego 100 al que se aplica el sistema de visualización de imágenes de la presente invención contiene el dispositivo de visualización montado en la cabeza 300 que tiene la cámara para capturar el mundo real y el dispositivo de visualización para visualizar la información de vídeo obtenida mediante la integración de la información de vídeo del mundo real capturada por esta cámara con la información de vídeo del mundo virtual, el sensor de movimiento 400 para detectar el movimiento del cuerpo del portador que lleva el dispositivo de visualización montado en la cabeza 300 como información del movimiento y el marcador 200 utilizado para detectar la información de la posición del portador. El sistema de juego 100 controla la información de vídeo del mundo virtual en base a la información del movimiento y la información de la posición. Según esta configuración, es posible controlar la información de vídeo mostrada en el dispositivo de visualización montado en la cabeza según la posición y el movimiento del portador. Por la razón expuesta, la presente invención tiene aplicabilidad industrial.
Descripción de los signos de referencia
100— Sistema de juego; 200, 200A, 200B— Marcador; 300, 300A, 300B— Dispositivo de visualización montado en la cabeza; 310— Terminal móvil; 311— Pantalla; 311L, 311R— Área de imagen; 312— Cámara; 313— Parte que determina el movimiento; 314— Parte que determina la posición; 315— Parte de creación de información de vídeo; 320— Montura; 330— Cuerpo principal de la montura; 331— Porción frontal; 332— Porción superior; 333— Porción inferior; 333a— Miembro de placa; 334, 335— Porción lateral; 334a, 335a— Apertura; 336— Porción de lente; 336L, 336R— Lente; 337— Porción de absorción de impactos; 340— Banda; 350— Porción de ranura; 351— Puerto de la ranura; 352— Porción de ventana; 360— Mecanismo de bloqueo; 361— Placa de bloqueo; 361a— Ranura; 362— Tornillo; 400, 400A, 400B— Sensor de movimiento; 410— Sensor de aceleración; 420— Sensor de velocidad angular; 500— Cámara; 600— Dispositivo de visualización; 700— Servidor; F— Campo; M— Monstruo; P— Jugador; P1— Primer jugador; P2— Segundo jugador; S— Espacio

Claims (4)

REIVINDICACIONES
1. Un sistema de visualización de imágenes, que comprende:
un dispositivo de visualización montado en la cabeza (300, 300A, 300B) que tiene una parte de captura (312) para obtener la primera información de vídeo del mundo real mediante la captura de un mundo real y una parte de visualización de imágenes (311) para visualizar el primer vídeo obtenido mediante la integración de la primera información de vídeo del mundo real capturada por la parte de captura (312) con la primera información de vídeo del mundo virtual;
una parte de detección de información del movimiento (400, 400A, 400B) para detectar el movimiento del cuerpo de un portador (P, P1, P2) que lleva el dispositivo de visualización montado en la cabeza (300, 300A, 300B) como información del movimiento;
una parte de detección de información de la posición (314) para detectar la información de la posición del portador (P, P1, P2);
en el que el sistema de visualización de imágenes comprende además
un dispositivo de captura (500) configurado para capturar un campo predeterminado (F) en el que existe el portador (P, P1, P2) para obtener una segunda información de vídeo del mundo real; y
un dispositivo de visualización de imágenes (600) para visualizar el segundo vídeo obtenido mediante la integración de la segunda información de vídeo del mundo real obtenida por el dispositivo de captura (500) con la segunda información de vídeo del mundo virtual obtenida mediante el cambio de la primera información de vídeo del mundo virtual con un punto de vista del dispositivo de captura (500) que es diferente de un punto de vista del portador,
en el que el sistema de visualización de imágenes está configurado para controlar la primera información de vídeo del mundo virtual y la segunda información de vídeo del mundo virtual en base a la información del movimiento y la información de la posición,
en el que la parte de detección de información de la posición (314) está configurada para obtener la información de la posición del portador (P, P1, P2) realizando el reconocimiento de imágenes de un marcador (200, 200A, 200B) dispuesto en un espacio con el uso de la parte de captura (312) del dispositivo de visualización montado en la cabeza (300, 300A, 300B),
el marcador (200, 200A, 200B) es un marcador tridimensional que utiliza objetos sólidos en el espacio, el segundo vídeo visualizado en el dispositivo de visualización de imágenes (600) es diferente del primer vídeo visualizado en la parte de visualización de imágenes (311) de el dispositivo de visualización montado en la cabeza (300, 300A, 300B), y
la parte de detección de información del movimiento (400, 400A, 400B) que está configurada para ser llevada en un brazo del portador (P, P1, P2) y tiene un sensor de aceleración (410) para detectar una aceleración, un sensor de velocidad angular (420) para detectar una velocidad angular y un sensor de potencial muscular para detectar un potencial muscular del brazo del portador (P, P1, P2).
2. El sistema de visualización de imágenes según la reivindicación 1, en el que la parte de detección de información de la posición (314) está configurada para obtener información de la posición tridimensional del portador (P, P1, P2).
3. El sistema de visualización de imágenes según una cualquiera de las reivindicaciones 1 o 2, en el que el dispositivo de visualización montado en la cabeza (300, 300A, 300B) tiene un terminal móvil (310) que incluye la parte de captura (312) y la parte de visualización de imágenes (311) y una montura (320) que está configurada para ser llevada en la cabeza del portador (P, P1, P2) y al cual el terminal móvil (310) está unido de forma desmontable.
4. Un procedimiento para controlar un sistema de visualización de imágenes, el sistema de visualización de imágenes contiene un dispositivo de visualización montado en la cabeza (300, 300A, 300B) que tiene una parte de captura (312) para obtener una primera información de vídeo del mundo real mediante la captura de un mundo real y una parte de visualización de imágenes (311) para visualizar un primer vídeo obtenido mediante la integración de la primera información de vídeo del mundo real capturada por la parte de captura (312) con una primera información de vídeo del mundo virtual, una parte de detección de información del movimiento (400, 400A, 400B) para detectar el movimiento de un cuerpo de un portador (P, P1, P2) que lleva el dispositivo de visualización montado en la cabeza (300, 300A, 300B) como información del movimiento, una parte de detección de información de la posición (314) para detectar información de la posición del portador (P, P1, P2), el procedimiento en el que el procedimiento comprende además:
el sistema contiene además un dispositivo de captura (500) configurado para capturar un campo predeterminado (F) en el que existe el portador (P, P1, P2) para obtener una segunda información de vídeo del mundo real y un dispositivo de visualización de imágenes (600) para visualizar el segundo vídeo, y en el que el sistema de visualización de imágenes permite que el dispositivo de visualización de imágenes (600) muestre el segundo vídeo obtenido mediante la integración de la segunda información de vídeo del mundo real obtenida por el dispositivo de captura (500) con la segunda información de vídeo del mundo virtual obtenida mediante el cambio de la primera información de vídeo del mundo virtual con un punto de vista del dispositivo de captura (500) que es diferente de un punto de vista del portador,
el sistema de visualización de imágenes está configurado para controlar la primera información de vídeo del mundo virtual y la segunda información de vídeo del mundo virtual en base a la información del movimiento y la información de la posición,
la parte de detección de información de la posición (314) está configurada para obtener la información de la posición del portador (P, P1, P2) realizando el reconocimiento de imágenes de un marcador (200, 200A, 200B) dispuesto en un espacio con el uso de la parte de captura (312) del dispositivo de visualización montado en la cabeza (300, 300A, 300B),
el marcador (200, 200A, 200B) es un marcador tridimensional que utiliza objetos sólidos en el espacio, el segundo vídeo visualizado en el dispositivo de visualización de imágenes (600) es diferente del primer vídeo visualizado en la parte de visualización de imágenes (311) del dispositivo de visualización montado en la cabeza (300, 300A, 300B), y
la parte de detección de información del movimiento (400, 400A, 400B) que está configurada para ser llevada en un brazo del portador (P, P1, P2) y tiene un sensor de aceleración (410) para detectar una aceleración, un sensor de velocidad angular (420) para detectar una velocidad angular y un sensor de potencial muscular para detectar un potencial muscular del brazo del portador (P, P1, P2).
ES16884970T 2016-01-15 2016-02-16 Sistema de visualización de imágenes, procedimiento de control del sistema de visualización de imágenes, sistema de distribución de imágenes y dispositivo de visualización montado en la cabeza Active ES2935124T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016006653A JP6362631B2 (ja) 2016-01-15 2016-01-15 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
PCT/JP2016/054459 WO2017122367A1 (ja) 2016-01-15 2016-02-16 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ

Publications (1)

Publication Number Publication Date
ES2935124T3 true ES2935124T3 (es) 2023-03-01

Family

ID=59311108

Family Applications (1)

Application Number Title Priority Date Filing Date
ES16884970T Active ES2935124T3 (es) 2016-01-15 2016-02-16 Sistema de visualización de imágenes, procedimiento de control del sistema de visualización de imágenes, sistema de distribución de imágenes y dispositivo de visualización montado en la cabeza

Country Status (14)

Country Link
US (1) US10558048B2 (es)
EP (2) EP3496047B1 (es)
JP (1) JP6362631B2 (es)
KR (1) KR102060453B1 (es)
CN (1) CN107209959B (es)
AU (1) AU2016386349B2 (es)
CA (1) CA3010069C (es)
ES (1) ES2935124T3 (es)
IL (1) IL260534B (es)
MY (1) MY189621A (es)
PH (1) PH12018501504B1 (es)
RU (1) RU2693684C1 (es)
SG (1) SG11201805203YA (es)
WO (1) WO2017122367A1 (es)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
US10853651B2 (en) * 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
EP3316080B1 (en) 2016-10-26 2021-08-25 HTC Corporation Virtual reality interaction method, apparatus and system
KR102656425B1 (ko) * 2016-12-07 2024-04-12 삼성전자주식회사 영상을 표시하는 전자 장치 및 방법
JP2018148257A (ja) * 2017-03-01 2018-09-20 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
CN111164654B (zh) * 2017-11-23 2025-07-18 英特尔公司 自适应中心凹形编码器以及全局运动预测因子
CN107976810A (zh) * 2017-12-13 2018-05-01 深圳市虚拟现实科技有限公司 配备尺度调节装置的虚拟现实头显
JP6857795B2 (ja) * 2017-12-28 2021-04-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
US10559276B2 (en) * 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
KR101869220B1 (ko) * 2018-03-28 2018-06-19 강원철 헤드 마운트 디스플레이를 활용한 가상현실 기반의 유영 시스템
JP6368881B1 (ja) * 2018-04-09 2018-08-01 チームラボ株式会社 表示制御システム，端末装置，コンピュータプログラム，及び表示制御方法
US10974134B2 (en) * 2018-06-15 2021-04-13 Incyte Corporation Advanced gaming visualization system
KR102242703B1 (ko) * 2018-10-24 2021-04-21 주식회사 알파서클 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법
CN111167115A (zh) * 2018-11-09 2020-05-19 致伸科技股份有限公司 交互式游戏系统
JP7385238B2 (ja) * 2019-01-07 2023-11-22 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム
CN110119197A (zh) * 2019-01-08 2019-08-13 佛山市磁眼科技有限公司 一种全息互动系统
JP7243193B2 (ja) * 2019-01-10 2023-03-22 セイコーエプソン株式会社 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
US10880163B2 (en) * 2019-01-31 2020-12-29 Dell Products, L.P. System and method for hardware management and configuration in a datacenter using augmented reality and available sensor data
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
TWI731430B (zh) * 2019-10-04 2021-06-21 財團法人工業技術研究院 資訊顯示方法與資訊顯示系統
JP2021058482A (ja) * 2019-10-08 2021-04-15 聡 耿 コントローラを使用したゲーム方法
JP2021087580A (ja) * 2019-12-03 2021-06-10 株式会社スクウェア・エニックス ゲーム装置、ゲーム処理方法及びプログラム
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
WO2021117693A1 (ja) * 2019-12-12 2021-06-17 株式会社村田製作所 生体活動観測装置
JP7000408B2 (ja) * 2019-12-24 2022-01-19 株式会社スクウェア・エニックス ゲーム装置、ゲーム処理方法及びプログラム
US12154330B2 (en) 2020-01-09 2024-11-26 Maxell, Ltd. Space recognition system, space recognition method and information terminal
US11277597B1 (en) * 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
CN111966213B (zh) * 2020-06-29 2024-11-26 青岛小鸟看看科技有限公司 图像处理方法、装置、设备及存储介质
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11925863B2 (en) * 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
GB2598930A (en) * 2020-09-18 2022-03-23 Zappar Ltd Viewing equipment
CN114253389B (zh) * 2020-09-25 2023-05-23 宏碁股份有限公司 整合动作感测器的增强现实系统与增强现实显示方法
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
CN114578954A (zh) * 2020-11-28 2022-06-03 上海光之里科技有限公司 一种增强现实显示装置及其显示控制方法
US20240316450A1 (en) * 2020-12-08 2024-09-26 Konami Digital Entertainment Co., Ltd. Game program, game processing method, and game device
US12086324B2 (en) 2020-12-29 2024-09-10 Snap Inc. Micro hand gestures for controlling virtual and graphical elements
EP4272051B8 (en) 2020-12-30 2026-03-04 Snap Inc. Augmented reality precision tracking and display
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
RU2750848C1 (ru) * 2020-12-31 2021-07-05 Илья Викторович Осипов Способ управления группой электронных устройств
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
KR20230164185A (ko) 2021-04-08 2023-12-01 스냅 인코포레이티드 가상 및 그래픽 요소들을 제어하기 위한 매핑된 손 영역들 사이의 양손 상호 작용들
CN117178247A (zh) 2021-04-19 2023-12-05 斯纳普公司 用于动画化及控制虚拟和图形元素的手势
CN115729402A (zh) * 2021-08-30 2023-03-03 北京字跳网络技术有限公司 一种对象显示方法、装置、电子设备及存储介质
US12164741B2 (en) 2022-04-11 2024-12-10 Meta Platforms Technologies, Llc Activating a snap point in an artificial reality environment
CN115300897A (zh) * 2022-07-29 2022-11-08 小派科技（上海）有限责任公司 分离式虚拟系统的空间定位方法、虚拟系统
JP7654274B2 (ja) * 2022-07-29 2025-04-01 小派科技(杭州)有限公司 インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法
KR102684194B1 (ko) * 2023-12-05 2024-07-12 한화시스템(주) 함교 증강현실 시스템 및 이의 동작 방법

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278418B1 (en) * 1995-12-29 2001-08-21 Kabushiki Kaisha Sega Enterprises Three-dimensional imaging system, game device, method for same and recording medium
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP3413127B2 (ja) * 1999-06-11 2003-06-03 キヤノン株式会社 複合現実感装置及び複合現実感提示方法
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
ATE543546T1 (de) 1999-06-11 2012-02-15 Canon Kk Vorrichtung und verfahren zur darstellung eines von mehreren benutzern geteilten raumes, wo wirklichkeit zum teil einbezogen wird, entsprechende spielvorrichtung und entsprechendes schnittstellenverfahren
JP3363861B2 (ja) * 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP2004038470A (ja) * 2002-07-02 2004-02-05 Canon Inc 複合現実感装置および情報処理方法
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
JP2010257081A (ja) * 2009-04-22 2010-11-11 Canon Inc 画像処理方法及び画像処理装置
JP5227910B2 (ja) * 2009-07-21 2013-07-03 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム画像表示方法及びゲーム画像表示プログラム
US8944928B2 (en) * 2010-08-26 2015-02-03 Blast Motion Inc. Virtual reality system for viewing current and previously stored or calculated motion data
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
JP5697487B2 (ja) * 2011-02-25 2015-04-08 任天堂株式会社 画像処理システム、画像処理方法、画像処理装置、および画像処理用プログラム
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
JP5891131B2 (ja) * 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
RU2015145510A (ru) * 2013-03-26 2017-05-03 Сейко Эпсон Корпорейшн Наголовное устройство отображения, способ управления наголовным устройством отображения и система отображения
JP6304242B2 (ja) * 2013-04-04 2018-04-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5874698B2 (ja) * 2013-08-29 2016-03-02 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
RU138628U1 (ru) * 2013-11-06 2014-03-20 Станислав Александрович Власов Очки дополненной реальности
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
EP2886172A1 (en) * 2013-12-18 2015-06-24 Microsoft Technology Licensing, LLC Mixed-reality arena
US10585484B2 (en) * 2013-12-30 2020-03-10 Samsung Electronics Co., Ltd. Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device
WO2015123771A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality
WO2015123774A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP3117263B1 (en) * 2014-03-14 2018-05-09 Sony Interactive Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
JP6274971B2 (ja) 2014-05-26 2018-02-07 株式会社Ｎｔｔドコモ ヘッドマウントディスプレイ
WO2015192117A1 (en) 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US9746984B2 (en) 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US10297082B2 (en) * 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
US10449445B2 (en) * 2014-12-11 2019-10-22 Elwha Llc Feedback for enhanced situational awareness
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ

Also Published As

Publication number Publication date
SG11201805203YA (en) 2018-07-30
JP6362631B2 (ja) 2018-07-25
US10558048B2 (en) 2020-02-11
CA3010069A1 (en) 2017-07-20
PH12018501504B1 (en) 2020-10-07
WO2017122367A1 (ja) 2017-07-20
EP3404624A1 (en) 2018-11-21
EP3496047A1 (en) 2019-06-12
CN107209959A (zh) 2017-09-26
AU2016386349A1 (en) 2018-07-05
MY189621A (en) 2022-02-21
JP2017126302A (ja) 2017-07-20
KR102060453B1 (ko) 2019-12-30
AU2016386349B2 (en) 2019-04-18
CN107209959B (zh) 2019-07-23
EP3404624B1 (en) 2022-10-12
PH12018501504A1 (en) 2019-04-08
IL260534B (en) 2019-07-31
EP3404624A4 (en) 2019-04-17
US20190025595A1 (en) 2019-01-24
EP3496047B1 (en) 2022-11-02
RU2693684C1 (ru) 2019-07-03
KR20180103066A (ko) 2018-09-18
CA3010069C (en) 2019-11-19

Similar Documents

Publication Publication Date Title
ES2935124T3 (es) Sistema de visualización de imágenes, procedimiento de control del sistema de visualización de imágenes, sistema de distribución de imágenes y dispositivo de visualización montado en la cabeza
US9311754B2 (en) Image processing device, image processing method, and image processing system
ES2646924T3 (es) Dispositivo de salida de vídeo, dispositivo de observación de vídeo en 3D, dispositivo de presentación visual de vídeo y método de salida de vídeo
KR101926178B1 (ko) 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템
JP2022530012A (ja) パススルー画像処理によるヘッドマウントディスプレイ
ES2746448T3 (es) Realidad mediada
US10564801B2 (en) Method for communicating via virtual space and information processing apparatus for executing the method
CN116210021A (zh) 确定角加速度
JP4413203B2 (ja) 画像呈示装置
JP2026012379A (ja) ゲームプログラム、ゲーム処理方法、及びゲーム装置
JP2013069301A (ja) 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
JP6722244B2 (ja) プログラム、情報処理方法及び情報処理装置
KR20240169656A (ko) 포즈 추적기들을 사용한 오디오 소스 분리를 갖는 안경류
ES2924844A1 (es) Dispositivo de visualizacion para realidad virtual compartida, sistema que comprende dicho dispositivo, y procedimiento de realidad virtual compartida usando dicho sistema
KR20230052297A (ko) 게임 프로그램, 게임 처리 방법 및 게임 장치