ES2809165T3 - Aparato para realidad aumentada - Google Patents

Aparato para realidad aumentada Download PDF

Info

Publication number
ES2809165T3
ES2809165T3 ES17764453T ES17764453T ES2809165T3 ES 2809165 T3 ES2809165 T3 ES 2809165T3 ES 17764453 T ES17764453 T ES 17764453T ES 17764453 T ES17764453 T ES 17764453T ES 2809165 T3 ES2809165 T3 ES 2809165T3
Authority
ES
Spain
Prior art keywords
image
handheld device
accessory
display screen
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17764453T
Other languages
English (en)
Inventor
Zvi Lapidot
Ehud Tirosh
Oded Arnon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Veeride Ltd
Original Assignee
Veeride Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Veeride Ltd filed Critical Veeride Ltd
Application granted granted Critical
Publication of ES2809165T3 publication Critical patent/ES2809165T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0272—Details of the structure or mounting of specific components for a projector or beamer module assembly
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0254—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets comprising one or a plurality of mechanically detachable modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/21—Combinations with auxiliary equipment, e.g. with clocks or memoranda pads
    • H04M1/215—Combinations with auxiliary equipment, e.g. with clocks or memoranda pads by non-intrusive coupling means, e.g. acoustic couplers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

Un accesorio (2) configurado para montarse en una pantalla de presentación visual (200) de un dispositivo de mano (100) con el fin de proyectar la información presentada visualmente en dicha pantalla de presentación visual sobre la realidad y, con ello, convertir el dispositivo de mano en un dispositivo de mano de realidad aumentada, comprendiendo el accesorio un alojamiento, teniendo el alojamiento (102): una superficie delantera y una superficie trasera, una abertura delantera (103), que se extiende desde la superficie delantera hasta la superficie trasera y a través de la cual un usuario puede observar la realidad, una abertura trasera (109) en la superficie trasera, estando el alojamiento configurado para conectarse mecánicamente al dispositivo de mano, con la abertura trasera que se solapa con una parte (201) de la pantalla de presentación visual; un espejo semitransparente (106), colocado en la abertura delantera y entre las superficies delantera y trasera; un espejo (104) y óptica de visualización (108), teniendo el espejo (104) una superficie reflectante dirigida hacia la pantalla de presentación visual para dirigir la luz desde esta hacia arriba, en dirección a la óptica de visualización (108), la óptica de visualización (108) configurada para obtener, mediante el espejo (104), a través de la abertura trasera del accesorio, una imagen de información generada por el dispositivo de mano y presentada visualmente en dicha parte de la pantalla de presentación visual, y para proyectar dicha imagen de información sobre el espejo semitransparente (106) con el fin de dirigir dicha imagen a un ojo (203) de un usuario, de modo que el usuario que sostiene el dispositivo de mano con el accesorio montado en él ve a través de la abertura frontal del accesorio la imagen de información superpuesta sobre dicha realidad.

Description

DESCRIPCIÓN
Aparato para realidad aumentada
Campo de la invención
La invención se refiere a aplicaciones de realidad aumentada que utilizan teléfonos inteligentes (smartphones).
Antecedentes de la invención
La realidad aumentada utiliza la visión directa o indirecta de la realidad, de tal manera que la realidad se incrementa aún más mediante la superposición de información adicional, generalmente generada por computadora, sobre la realidad. Los dispositivos que utilizan la visualización directa de la realidad generalmente contienen un dispositivo de presentación visual de visión a su través, es decir, un espejo semitransparente (generalmente denominado combinador), a través del cual se puede observar la realidad y combinarla con la información superpuesta.
Estos dispositivos suelen contener un elemento de localización como GPS y elementos de orientación como IMU (unidad de medición inercial), que además contiene giroscopios, acelerómetros y magnetómetros.
Un ejemplo de un dispositivo de realidad aumentada de este tipo es el HMD (dispositivo de presentación visual montado en la cabeza), por ejemplo, el HoloLens de Microsoft. Estos dispositivos suelen ser voluminosos y pesados en comparación con las gafas normales, menos cómodos, menos estéticos, y caros. Estos inconvenientes se encuentran entre las principales barreras que impiden que los HMD obtengan una amplia aceptación del consumidor.
Para superar estos inconvenientes, se están haciendo intentos de usar el teléfono móvil para aplicaciones de realidad aumentada. Los teléfonos móviles contienen cámara incorporada, GPS, IMU, pantalla, procesador y conectividad inalámbrica, y se utilizan de forma generalizada como producto de consumo. De este modo, los teléfonos móviles se prestan como plataformas para aplicaciones de Realidad Aumentada. Sin embargo, los teléfonos móviles solo permiten la visualización indirecta de la realidad en su pantalla de presentación visual. Por lo tanto, cuando se utilizan aplicaciones de teléfono inteligente para realidad aumentada, la información superpuesta se combina con la imagen de la realidad captada por la cámara del teléfono, en lugar de con la realidad en sí.
Las aplicaciones de telefonía móvil para realidad aumentada incluyen aplicaciones desarrolladas por, por ejemplo, Layar y Metaio.
Dado que la visión de la realidad es indirecta, es decir, solo aparece una imagen de la realidad, en oposición a la realidad en sí misma, en la pantalla de presentación visual del teléfono inteligente, las aplicaciones de teléfono móvil según se ha descrito anteriormente tienen inconvenientes importantes porque las imágenes de presentación visual son 2D, dependen del campo de visión de la cámara y, como tales, no proporcionan ni sensación de distancia ni sentido de las dimensiones de los objetos, lo que dificulta en gran medida la orientación.
Otro intento de proporcionar realidad aumentada en un teléfono inteligente es la introducción de teléfonos con pantallas de presentación visual transparentes, es decir, el Zuk de Lenovo (http://gadgets.ndtv.com/mobiles/news/lenovos-zukunveils-transparent-displav-smartphone-prototype-728043). En esta aplicación, el usuario puede ver la realidad a través del dispositivo de presentación visual transparente, mientras se muestra información adicional en la pantalla de presentación visual. Una desventaja importante es que la información visualmente presentada no se puede alinear con el paisaje debido al paralaje; es decir, incluso si el teléfono está estable y el usuario/a mueve la cabeza, la ubicación de la anotación en el paisaje cambiará. Esto se debe a que el paisaje está lejos (por lo común, a entre decenas y cientos de metros), mientras que el dispositivo de presentación visual del teléfono está cerca (por lo común, a entre 23 cm y 30 cm).
El documento US2014104692 divulga un dispositivo de presentación visual que se puede montar en la cabeza y que comprende un bastidor destinado a ser montado en la cabeza de un usuario y que define una posición de visualización ocular situada delante del ojo de un usuario. Un soporte de dispositivo móvil está configurado para sostener un dispositivo móvil en el bastidor. Se proyecta una imagen reflejada de una pantalla del dispositivo móvil soportado, en el campo de visión del usuario.
El documento US2012050144 divulga un aparato de realidad aumentada montado en la cabeza y portátil y que tiene una pantalla de presentación visual, un dispositivo reflectante y un dispositivo informático configurado de tal manera que un usuario puede ver el reflejo del dispositivo de presentación visual, superpuesto a la vista de la realidad.
El documento US2014152531 divulga un dispositivo de presentación visual montado en la cabeza y que presenta visualmente imágenes procedentes de un dispositivo móvil.
Compendio de la invención
La presente invención supera las deficiencias anteriores mediante el uso de un teléfono móvil normal como dispositivo de realidad aumentada, tal y como se conoce en sí, pero con la mejora adicional de combinar información superpuesta a la propia realidad, en lugar de a la imagen de la realidad. De esta manera, la invención hace posible la combinación de la superposición sin paralaje, como se verá claramente más adelante.
Un sistema de realidad aumentada de acuerdo con la invención también permite designar un objeto real por el usuario, tal como un edificio, y extraer su ubicación de una base de datos, como la Street View, utilizando la posición del teléfono, la orientación de la cámara y la imagen del objeto.
De manera similar, cuando se conoce la ubicación del objeto, el sistema puede dirigir al usuario al objeto y designarlo.
En ambos casos, de acuerdo con esta invención, una vez que se ha designado un objeto, se puede extraer una imagen de alta resolución de ese objeto de una base de datos tal como la Street View.
Una vez que la imagen de alta resolución del objeto ha sido extraída de la base de datos, la imagen puede ser superpuesta a la realidad, permitiendo al usuario realizar operaciones electrónicas de acercamiento y alejamiento.
En caso de ausencia de dicha base de datos, la distancia al objeto puede determinarse/estimarse a partir de su imagen, sin tener que recurrir a coordenadas conocidas, basándose en la imagen, utilizando métodos de adiestramiento conocidos como el Deep Learning (es decir, la divulgación de Yann LeCun, Yoshua Bengio y Geoffrey Hinton: "Deep Learning'', Nature, vol. 521, págs. 436-444, 2015) Para adiestrar tales métodos, se proporciona al algoritmo de adiestramiento un gran conjunto de datos de imágenes con profundidad conocida (distancia de los puntos de la imagen desde la cámara) a al menos una posición de objetivo de cada imagen. A partir de este conjunto de adiestramiento, el algoritmo determina automáticamente un conjunto de parámetros para la estimación de la distancia a las posiciones deseadas en una nueva imagen.
Breve descripción de los dibujos
Para comprender la invención y ver cómo se puede llevar a cabo en la práctica, se describirán a continuación realizaciones solo a modo de ejemplo no limitativo, con referencia a los dibujos adjuntos, en los que:
la Figura 1 es una representación esquemática de la invención que muestra un teléfono inteligente al que está unido mecánicamente un visor;
la Figura 2 es un diagrama de bloques que muestra la capacidad funcional de un visor de acuerdo con una primera realización de la invención;
la Figura 3 muestra esquemáticamente los componentes ópticos de un visor en relación con la pantalla de presentación visual del teléfono inteligente, de acuerdo con una segunda realización de la invención;
la Figura 4 muestra esquemáticamente una parte de la pantalla de presentación visual del teléfono inteligente correspondiente a un área de interés, de acuerdo con la segunda realización;
la Figura 5a es una representación gráfica de un visor conectado a un teléfono inteligente, de acuerdo con la segunda realización;
la Figura 5b muestra gráficamente los componentes ópticos de un visor en relación con la pantalla de presentación visual del teléfono inteligente;
la Figura 6 es un diagrama de bloques que muestra esquemáticamente una tercera realización de la invención; y
la Figura 7 es un diagrama de flujo que resume la manera en que se puede designar un objeto de acuerdo con diferentes realizaciones de la invención.
Descripción detallada
En la siguiente descripción de algunas realizaciones, los componentes idénticos que aparecen en más de una figura o que comparten funciones similares serán referenciados por los mismos símbolos de referencia.
La Figura 1 representa esquemáticamente una realización de la invención que muestra un teléfono inteligente 100 al que está unido mecánicamente un visor 2 (que constituye un accesorio). El visor 2, como se muestra en la Figura 2, incluye un alojamiento 102 que contiene un controlador 21, acoplado a un motor óptico 22, que opcionalmente puede ser el Lumus OE-32 (véase el sitio http://lumus-optical.com/#plx products section), el cual tiene un dispositivo de presentación visual transparente (combinador) 23, que es parcialmente transparente para que el usuario pueda observar el paisaje real a través de él. El dispositivo de presentación visual transparente 23 también se usa para proyectar información superpuesta generada por el teléfono inteligente 100 en la parte superior del paisaje.
Una primera forma de realización del visor 2 se detalla adicionalmente en la Figura 2. El controlador 21 tiene un receptor de USB 25, que está configurado para conectarse a una puerta USB (no mostrada) del teléfono inteligente y divide la señal de USB generada por el teléfono hacia sus componentes, es decir, control (I2C, circuito ínter-integrado, conocido en la técnica), alimentación energética y vídeo. El receptor de USB también convierte la señal de vídeo en una señal de RGB de 24 bits en paralelo. Esta señal de vídeo convertida es transportada a un convertidor de velocidad de fotogramas (FRC) 26 que aumenta la velocidad de los fotogramas de vídeo para que coincida con un microdispositivo de presentación visual 27 al que el FRC 26 suministra la señal de vídeo convertida. El microdispositivo de presentación visual 27 puede ser un LED orgánico (OLED), pero se logra una mayor intensidad de iluminación si se trata de un LCOS (cristal líquido sobre sílice - “Liquid Crystal On Silicon”-). Si el microdispositivo de presentación visual 27 está construido con tecnología LCOS, la señal de I2C se suministra a un modulador por ancho de impulsos (PWM) 28, el cual controla la intensidad del LED 32 que ilumina el microdispositivo de presentación visual. El microdispositivo de presentación visual de LCOS 27 suministra la imagen al dispositivo de presentación visual transparente 23 a través de una óptica acoplada 30, que proyecta ópticamente la imagen generada por el microdispositivo de presentación visual al dispositivo de presentación visual transparente. La señal de I2C también se usa para controlar el microdispositivo de presentación visual 27 y el FRC 26. En el caso menos preferido de que el microdispositivo de presentación visual 27 sea un OLED, el PWM 28 y el LED 32 se omiten y el I2C controla el OLED directamente. La potencia se suministra a través del receptor de USB 25 a los componentes relevantes, es decir, al microdispositivo de presentación visual 27 y al LED 32. Alternativamente, se puede usar una batería externa (no mostrada) para minimizar el drenaje de la batería del teléfono.
Alternativamente, en lugar de usar la interfaz de USB del teléfono, puede utilizarse una conexión telefónica diferente, tal como la interfaz Moto-Z (http://newatlas.com/moto-z-review/44485/).
La imagen visualmente presentada en el dispositivo de presentación visual transparente 23 se superpone en el paisaje real preferiblemente en el infinito, por lo que no existe paralaje entre el paisaje y la información superpuesta.
Otra realización se muestra esquemáticamente en las Figuras 3 y 4. El alojamiento 102 del visor 2 está unido mecánicamente al teléfono inteligente 100, ya sea directamente o usando un adaptador. Los medios mecánicos para conectar accesorios a los teléfonos inteligentes son conocidos en la técnica, es decir, el accesorio de la cámara para iPhone Pictar de Miggo (https: //www.dpreview.com/news/1219763835/miggo-wants-to-dslr-your-iphone-with-thepictar-grip) o los accesorios de lentes de Zeiss para teléfonos inteligentes (http://petapixel.com/2016/01/06/zeiss-is-¡umping-into-the-world-of-smartphone-lens-accessories). La información visualmente presentada en la pantalla de presentación visual 200 del teléfono inteligente (en este ejemplo, los números “1234”, en un área de interés 201 de la Figura 4) es proyectada por el visor 2 sobre el paisaje real. A continuación, se explicará la forma en que se hace esto.
Por lo tanto, el visor 2 incluye un espejo 104 que tiene una superficie reflectante dirigida hacia la pantalla de presentación visual 200 del teléfono inteligente para dirigir la luz desde la misma hacia la óptica que se muestra generalmente como 108. La óptica 108 crea una imagen de la información visualmente presentada en la pantalla de prestación visual del teléfono. preferiblemente en el infinito, de manera que no haya paralaje con el paisaje. La óptica 108 también puede integrarse con, o acoplarse a, un mecanismo de enfoque (no mostrado) para mover la óptica 108 hacia arriba y hacia abajo de tal modo que la información visualmente presentada aparezca a una distancia diferente del infinito, preferiblemente hasta unos pocos metros, a fin de adaptar el uso del visor para aplicaciones de interior. Un espejo semitransparente (combinador) 106 dirige esta imagen al ojo 203 del observador. En consecuencia, el observador ve la información proyectada 200' en el infinito, superpuesta sobre el paisaje real, que también es visto por el observador a través del espejo semitransparente 106.
Una descripción más detallada de esta realización se muestra en las Figuras 5a y 5b. El visor 2 se conecta a un teléfono inteligente 100. El observador 203 (Figura 3) observa el paisaje y la información superpuesta a través de una abertura 103.
Como se puede ver en la figura, el alojamiento 102 tiene superficies delantera y trasera con una abertura delantera 103 que se extiende desde la superficie delantera hasta la superficie trasera y a través de la cual un usuario puede observar la realidad. El alojamiento tiene una abertura trasera 109 en su superficie trasera. El alojamiento 102 está configurado para unirse mecánicamente al teléfono inteligente 100 de tal modo que la abertura trasera que se superpone a una parte 201 de la pantalla de presentación visual 200 del teléfono inteligente. El espejo semitransparente 106 se coloca en la abertura delantera, entre las superficies delantera y trasera. La óptica de visualización 108 obtiene a través de la abertura trasera 109 una imagen de información generada por el teléfono inteligente 100 y presentada visualmente en la parte 201 de la pantalla de presentación visual 200, y proyecta la imagen en el espejo semitransparente 106 para dirigir la imagen al ojo 203 del usuario, de modo que el usuario que sostiene el dispositivo de mano con el accesorio montado en él, ve a través de la abertura frontal 103 la imagen de información superpuesta a la realidad.
Se muestran más detalles de la óptica 108 en la Figura 5b. La óptica 108 contiene dos dobletes idénticos 108', 108" que están diseñados para que la imagen, a través del espejo 104, de su plano focal posterior combinado coincida con la pantalla de presentación visual 200 del teléfono inteligente. Como resultado, se crea una imagen de la pantalla de presentación visual del teléfono inteligente en el infinito. También se muestra en la Figura 5b una lente de campo 107 que se emplea para corregir distorsiones y aberraciones en los bordes del campo de visión.
Parámetros típicos de esta realización son los siguientes:
■ Las dimensiones del área de interés 201 son 40 mm (horizontal) y 22,5 mm (vertical).
■ La óptica 108 tiene una distancia focal típicamente de 75 mm y, por lo tanto, el área de interés 201 se proyecta en un campo de visión de 30° (horizontal) y 16,7° (vertical).
Otra realización utiliza la pantalla de presentación visual del teléfono inteligente como entrada a la óptica acoplada 30 (que se muestra en la Figura 2), en lugar del microdispositivo de presentación visual 27.
Es claro para los expertos en la técnica que pueden realizarse diseños similares con diferentes parámetros para dar como resultado campos de visión diferentes.
La Figura 6 muestra otra realización en la que la óptica acoplada 30 proyecta la imagen directamente desde el área de interés 201 de la pantalla de presentación visual 200 del teléfono inteligente al dispositivo de presentación visual transparente 23. La óptica acoplada está adaptada al tamaño del área de interés 201. El dispositivo de presentación visual transparente 23 puede ser similar a los dispositivos de presentación visual transparentes utilizados en gafas inteligentes como las Google Glass, Epson Moverio, ODG R-7, Vuzix Smart Glasses. El dispositivo de presentación visual transparente puede ser uno de los dispositivos de presentación visual basados en guía de ondas, tales como el utilizado en el Lumus OE-32 mencionado anteriormente (denominado por Lumus como "LOE" o "guía de ondas óptica reflectante") o la Hololens de Microsoft.
Para superponer información relevante sobre un objeto (ya sea en la realidad o en su imagen), es importante designar el objeto correctamente, es decir, la posición del teléfono, la dirección y la distancia desde la que se ve, y se debe conocer su imagen. Esto también es importante para habilitar la designación del objeto a otro visor situado en una posición diferente. En algunos casos, por ejemplo, cuando se ve desde una cierta distancia, el objeto no se puede observar nítidamente, ya sea en una pantalla de presentación visual, utilizando la cámara del teléfono que se ha mostrado como 101 en la Figura 1, ya sea a simple vista. En estos casos, también es importante proporcionar al usuario una imagen de alta resolución y superponerla sobre el objeto (ya sea en una pantalla de presentación visual, ya sea en la realidad).
Hay dos formas de acercar/alejar una imagen. La forma “convencional” es usar el zoom óptico para cambiar la distancia focal de la óptica mediante el uso de una lente de zoom. Cuando la distancia focal aumenta, los campos de visión se vuelven más estrechos (lo que se conoce como “acercar”) y cuando la distancia focal disminuye, los campos de visión se amplían (lo que se conoce como “alejar”).
Otra forma común en las cámaras digitales es acercar la imagen mirando solo una parte de la imagen y ampliándola mediante el uso de técnicas digitales, a fin de cubrir toda el área de la pantalla. Esto generalmente se llama “zoom electrónico”.
La invención proporciona un zoom mejorado, como sigue. Una vez que se ha designado un objeto, se extrae una imagen de alta resolución del objeto de una base de datos (tal como la Street View) y se superpone a la realidad (o a su imagen). De esta manera, se proporciona la capacidad de ver imágenes de objetos en alta resolución, incluso si el observador provisto de su teléfono inteligente está ubicado a una distancia que no permite obtener imágenes de alta resolución del objeto.
Como se ha explicado, la manera en que se puede designar un objeto se puede hacer de dos modos distintos:
1. Como se muestra en la Figura 7, el usuario dirige el visor a un objeto. La ubicación y orientación del teléfono, así como una imagen del objeto captada por la cámara del teléfono, se utilizan para extraer datos del objeto, es decir, coordenadas e imagen, de una base de datos tal como la Street View. Esto puede hacerse de la siguiente manera. Usando la posición y dirección de la cámara del teléfono, se calcula la posición aproximada del objeto. A continuación, la imagen del objeto captada por la cámara del teléfono se hace coincidir con las imágenes de la base de datos de Street View de esta posición aproximada, y se identifica el objeto en la base de datos Street View. La base de datos Street View contiene las posiciones de la cámara de Street View, así como las distancias y direcciones desde la cámara hasta los objetos. Usando estos datos se puede determinar la posición del objeto.
2. El sistema utiliza coordenadas de posición conocidas de un objeto para dirigir al usuario al objeto. Las coordenadas conocidas también se envían a una base de datos, tal como la Street View.
En ambos casos, una vez que la imagen de alta resolución del objeto se ha extraído de la base de datos, la imagen puede ser transformada de manera que aparezca tal como se ve desde la posición del teléfono, y se superpone a la realidad, lo que permite realizar operaciones de acercamiento y acercamiento electrónicas por parte del usuario.

Claims (13)

REIVINDICACIONES
1. Un accesorio (2) configurado para montarse en una pantalla de presentación visual (200) de un dispositivo de mano (100) con el fin de proyectar la información presentada visualmente en dicha pantalla de presentación visual sobre la realidad y, con ello, convertir el dispositivo de mano en un dispositivo de mano de realidad aumentada, comprendiendo el accesorio un alojamiento, teniendo el alojamiento (102):
una superficie delantera y una superficie trasera,
una abertura delantera (103), que se extiende desde la superficie delantera hasta la superficie trasera y a través de la cual un usuario puede observar la realidad,
una abertura trasera (109) en la superficie trasera,
estando el alojamiento configurado para conectarse mecánicamente al dispositivo de mano, con la abertura trasera que se solapa con una parte (201) de la pantalla de presentación visual;
un espejo semitransparente (106), colocado en la abertura delantera y entre las superficies delantera y trasera; un espejo (104) y óptica de visualización (108),
teniendo el espejo (104) una superficie reflectante dirigida hacia la pantalla de presentación visual para dirigir la luz desde esta hacia arriba, en dirección a la óptica de visualización (108),
la óptica de visualización (108) configurada para obtener, mediante el espejo (104), a través de la abertura trasera del accesorio, una imagen de información generada por el dispositivo de mano y presentada visualmente en dicha parte de la pantalla de presentación visual, y para proyectar dicha imagen de información sobre el espejo semitransparente (106) con el fin de dirigir dicha imagen a un ojo (203) de un usuario, de modo que el usuario que sostiene el dispositivo de mano con el accesorio montado en él ve a través de la abertura frontal del accesorio la imagen de información superpuesta sobre dicha realidad.
2. El accesorio de acuerdo con la reivindicación 1, en donde el dispositivo de mano (100) es un teléfono inteligente.
3. El accesorio de acuerdo con la reivindicación 1 o 2, en donde la óptica de visualización (108) está configurada para crear una imagen de la información visualmente presentada en la pantalla de presentación visual preferiblemente en el infinito.
4. El accesorio de acuerdo con la reivindicación 3, en donde la óptica (108) incluye un par de dobletes ópticos (108', 108") diseñados para que la imagen, a través del espejo (104), de su plano focal posterior combinado coincida con la pantalla de presentación visual (200).
5. El accesorio de acuerdo con la reivindicación 3 o 4, en donde la óptica (108) está integrada con, o acoplada a, un mecanismo de enfoque para mover la óptica de modo que la información visualmente presentada aparezca más cerca que en el infinito, preferiblemente hasta unos pocos metros, y adaptar, con ello, el uso del visor para aplicaciones de interior.
6. El accesorio de acuerdo con la reivindicación 1 o 2, que incluye además una lente de campo (107) configurada para corregir distorsiones y aberraciones en los bordes del campo de visión de la óptica de visualización.
7. El accesorio de acuerdo con la reivindicación 1 o 2, en donde el alojamiento está dimensionado para captar una imagen de una porción reducida de la pantalla de presentación visual, quedando el resto de la pantalla de presentación visual sin oscurecer por el alojamiento.
8. Un accesorio (2) configurado para montarse en un dispositivo de mano (100) para proyectar información generada por el dispositivo de mano sobre la realidad y convertir así el dispositivo de mano en un dispositivo de mano de realidad aumentada, comprendiendo el accesorio:
un alojamiento (102), configurado para unirse mecánicamente al dispositivo de mano;
un dispositivo de presentación visual transparente (23) dentro del alojamiento, que es parcialmente transparente para que un usuario pueda observar la realidad a través de ella;
un controlador (21) dentro del alojamiento configurado para recibir del dispositivo de mano una señal electrónica representativa de dicha información y convertir dicha señal electrónica en una imagen, y
óptica de visualización (30) dentro del alojamiento configurada para proyectar ópticamente dicha imagen de información sobre el dispositivo de presentación visual transparente a través de la cual un usuario que sostiene el dispositivo de mano con el accesorio montado en él ve la imagen de información superpuesta sobre dicha realidad.
9. El accesorio de acuerdo con la reivindicación 8, en donde:
el controlador (21) está configurado para conectarse a un bus de datos del dispositivo de mano con el fin de recibir de este una señal de datos representativa de dicha información, y para suministrar una señal de vídeo convertida a un microdispositivo de presentación visual (27) para presentar visualmente una imagen representativa de dicha información, y
la óptica de visualización es una óptica acoplada (30) que proyecta ópticamente la imagen generada por el microdispositivo de presentación visual al dispositivo de presentación visual transparente (23).
10. El accesorio de acuerdo con la reivindicación 9, en donde el microdispositivo de presentación visual (27) es de cristal líquido sobre silicio y la señal de datos se suministra a un modulador por ancho de impulsos (28) adaptado para controlar la intensidad de iluminación del microdispositivo de presentación visual.
11. El accesorio de acuerdo con una cualquiera de las reivindicaciones 8 a 10, en donde el dispositivo de presentación visual transparente es una guía de ondas óptica.
12. El accesorio de acuerdo con una cualquiera de las reivindicaciones anteriores, que además está configurado para obtener una imagen de alta resolución de un objeto designado visualmente presentado por el dispositivo de mano y superponer la imagen de alta resolución sobre la realidad.
13. El accesorio de acuerdo con la reivindicación 12, que está configurado para extraer la imagen de alta resolución del objeto de una base de datos y para transformar la imagen de modo que aparezca tal como se ve desde una posición del dispositivo de mano, lo que permite realizar operaciones de acercamiento y alejamiento electrónicas por parte del usuario.
ES17764453T 2016-08-18 2017-08-03 Aparato para realidad aumentada Active ES2809165T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL247360A IL247360B (en) 2016-08-18 2016-08-18 A device and method for augmented reality
PCT/IL2017/050859 WO2018033903A1 (en) 2016-08-18 2017-08-03 Apparatus and method for augmented reality

Publications (1)

Publication Number Publication Date
ES2809165T3 true ES2809165T3 (es) 2021-03-03

Family

ID=57612753

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17764453T Active ES2809165T3 (es) 2016-08-18 2017-08-03 Aparato para realidad aumentada

Country Status (8)

Country Link
US (1) US10962778B2 (es)
EP (1) EP3497545B1 (es)
JP (2) JP7353174B2 (es)
KR (1) KR102200491B1 (es)
CN (1) CN109643157B (es)
ES (1) ES2809165T3 (es)
IL (1) IL247360B (es)
WO (1) WO2018033903A1 (es)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102104705B1 (ko) * 2016-11-23 2020-05-29 최해용 휴대용 혼합 현실 장치
IL260356A (en) 2018-07-01 2018-11-29 Veeride Ltd Optical accessory for field registration You have seen a simulation of the accessory with a software application on the computing device
US10963030B2 (en) 2019-04-22 2021-03-30 Motorola Solutions, Inc. Method and apparatus for displaying an image from a communications device
KR20210117418A (ko) * 2020-03-19 2021-09-29 삼성전자주식회사 전자 장치의 화면을 홀로그램으로 표시하는 거치 장치
WO2022198242A1 (en) * 2021-03-19 2022-09-22 Digilens, Inc. Smart device mounted augmented reality displays

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6637896B2 (en) * 2001-10-31 2003-10-28 Motorola, Inc. Compact projection system and associated device
SE531104C2 (sv) 2002-12-30 2008-12-16 Abb Research Ltd Metod och system för programmering av en industrirobot
US8353598B2 (en) * 2008-08-22 2013-01-15 Texas Instruments Incorporated Display systems and methods for mobile devices
US20120050144A1 (en) 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
US9459457B2 (en) 2011-12-01 2016-10-04 Seebright Inc. Head mounted display with remote control
US8970960B2 (en) * 2011-12-22 2015-03-03 Mattel, Inc. Augmented reality head gear
JP6060512B2 (ja) * 2012-04-02 2017-01-18 セイコーエプソン株式会社 頭部装着型表示装置
KR102028732B1 (ko) * 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US8820936B2 (en) * 2012-10-03 2014-09-02 Htc Corporation Electronic device having 3-D image projection mechanism and 3-D image projection method of the same
US20140104692A1 (en) * 2012-10-11 2014-04-17 Sony Computer Entertainment Europe Limited Head mountable display
CN104216118A (zh) * 2013-06-03 2014-12-17 约翰·T·默里 具有远程控制件的头部安装式显示器
GB201310359D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
EP3108287A4 (en) * 2014-02-18 2017-11-08 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
TW201606350A (zh) * 2014-08-12 2016-02-16 Automotive Res & Testing Ct 抬頭顯示裝置
JP3197950U (ja) * 2015-03-18 2015-06-11 育子 杉原 画像観察フレーム
CN204613516U (zh) * 2015-04-21 2015-09-02 杨振亚 头戴式手机类小屏幕多功能拓展装置
JP3202424U (ja) 2015-11-20 2016-02-04 和矢 橋口 拡張現実提供装置
US9922464B2 (en) * 2016-05-10 2018-03-20 Disney Enterprises, Inc. Occluded virtual image display
CN105824123A (zh) * 2016-05-13 2016-08-03 深圳中科呼图信息技术有限公司 一种增强现实头戴装置
US10725301B2 (en) * 2016-12-08 2020-07-28 Darwin Hu Method and apparatus for transporting optical images
US11258890B2 (en) * 2018-07-30 2022-02-22 IKIN, Inc. Portable terminal accessory device for holographic projection and user interface

Also Published As

Publication number Publication date
IL247360B (en) 2021-09-30
CN109643157A (zh) 2019-04-16
CN109643157B (zh) 2022-08-16
JP2023174650A (ja) 2023-12-08
EP3497545A1 (en) 2019-06-19
WO2018033903A1 (en) 2018-02-22
US10962778B2 (en) 2021-03-30
EP3497545B1 (en) 2020-06-24
JP2019534493A (ja) 2019-11-28
IL247360A0 (en) 2016-12-29
US20190227314A1 (en) 2019-07-25
KR102200491B1 (ko) 2021-01-08
JP7353174B2 (ja) 2023-09-29
KR20190040015A (ko) 2019-04-16

Similar Documents

Publication Publication Date Title
ES2809165T3 (es) Aparato para realidad aumentada
US11231897B2 (en) Display system, display device, information display method, and program
CN105739093B (zh) 透过式增强现实近眼显示器
KR20170055908A (ko) 모자형 가상현실 디스플레이 영상시스템
JP6978192B2 (ja) 帽子型仮想現実ディスプレー映像システム
CN110060614B (zh) 头部佩戴型显示装置及其控制方法、显示系统
CN110383140A (zh) 增强现实眼镜
JP2021511699A (ja) センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム
JP2019534493A5 (es)
US11663941B2 (en) Eyewear projector brightness control
EP3234675B1 (en) Modular camera attachment for optical devices
EP4335263A1 (en) Thermal architecture for smart glasses
US20220342222A1 (en) Eyewear having a projector with heat sink shields
US11792371B2 (en) Projector with field lens
TWM506295U (zh) 透明式近眼顯示裝置
CN105278211A (zh) 一种可充分放大远景进行拍摄的数码相机