ES2899753T3 - Aparato y procedimiento para controlar un dispositivo de realidad aumentada - Google Patents

Aparato y procedimiento para controlar un dispositivo de realidad aumentada Download PDF

Info

Publication number
ES2899753T3
ES2899753T3 ES14702688T ES14702688T ES2899753T3 ES 2899753 T3 ES2899753 T3 ES 2899753T3 ES 14702688 T ES14702688 T ES 14702688T ES 14702688 T ES14702688 T ES 14702688T ES 2899753 T3 ES2899753 T3 ES 2899753T3
Authority
ES
Spain
Prior art keywords
region
boundary
optical device
world scene
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES14702688T
Other languages
English (en)
Inventor
Kexi Liu
Frederick D Kim
Martin H Renschler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Application granted granted Critical
Publication of ES2899753T3 publication Critical patent/ES2899753T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Un procedimiento (1500) para controlar un dispositivo óptico configurado para visualizar contenido, comprendiendo el procedimiento: detectar (1502) una mirada de un usuario en una primera región en una escena del mundo real; establecer (1504) un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real; realizar (1510) un procedimiento de reconocimiento de objetos en la primera región dentro del límite; abstenerse (1512) de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región; visualizar (1516) al menos una herramienta de edición de fotos; editar (1518) la primera región dentro del límite usando la al menos una herramienta de edición de fotos en base a al menos uno de un comando de voz y un comando de gesto antes de capturar una foto de la escena del mundo real.

Description

DESCRIPCIÓN
Aparato y procedimiento para controlar un dispositivo de realidad aumentada
ANTECEDENTES
Campo
La presente divulgación se refiere en general a un aparato y procedimiento para controlar un dispositivo de realidad aumentada.
Antecedentes
Las interfaces de usuario para realidad aumentada en pantallas de dispositivos móviles no son suficientemente intuitivas. Los procedimientos tradicionales de interacción con la realidad aumentada en un dispositivo móvil requieren que los usuarios apunten el dispositivo de cerca del objetivo para aumentar el contenido y toquen la pantalla del dispositivo móvil para un control adicional. Esto requiere un cambio de contenido constante entre mirar la pantalla y mirar objetos reales en escenas del mundo real. Por lo tanto, los procedimientos tradicionales de interacción con la realidad aumentada no son suficientemente intuitivos. Como tal, se necesitan procedimientos mejorados de interacción con la realidad aumentada para potenciar la eficacia así como la experiencia y el control del usuario.
Con pantallas móviles avanzadas, tales como dispositivos ópticos montados en la cabeza configurados para visualizar contenido, el campo de visión se amplía enormemente. Por lo tanto, las técnicas de procesamiento eficaces y las entradas de usuario heterogéneas para señalar a y aumentar objetos de interés son rasgos característicos valiosos para un sistema de realidad aumentada. Se llama la atención sobre el documento TAKUMI TOYAMA ET AL "Gaze guided object recognition using a head-mounted eye tracker", PROCEEDINGS OF THE SYMPOSIUM ON EYE TRACKING RESEARCH AND APPLICATIONS, ETRA '12, 1 de enero 2012, página 91. Este documento se refiere a la aplicación de rastreadores de ojos portátiles de interacción inteligente con el entorno combinando la tecnología de rastreo ocular con el reconocimiento de objetos en tiempo real. Se llama la atención además sobre el documento REITMAYR G ET AL "Collaborative Augmented Reality for Outdoor Navigation and Information Browsing", INTERNET CITATION, 2003.
Además, se llama la atención sobre el documento Tracy Falke: "Augmented reality and the future of visual search", 28 de julio de 2011, URL:http://www.bruceclay.com/blog/augmented-reality-and-the-future-of-visual-search/.
Finalmente, se llama la atención sobre el documento US 2012/212499 A1 que se refiere a un ocular montado en la cabeza interactivo con un procesador integrado para manejar contenido para visualización y una fuente de imagen integrada para introducir el contenido en un ensamblaje óptico a través del que el usuario ve un entorno circundante y el contenido visualizado. Se puede adaptar una prestación de detección de movimiento integrada para detectar movimientos del ocular montado en la cabeza cuando se lleva por el usuario. El procesador integrado puede determinar un tipo de movimiento y reducir la aparición del contenido visualizado en base al tipo de movimiento.
SUMARIO
De acuerdo con la presente invención, se proporciona un procedimiento para controlar un dispositivo óptico configurado para visualizar contenido, como se expone en la reivindicación 1, un aparato para controlar un dispositivo óptico configurado para visualizar contenido, como se expone en la reivindicación 6, y un medio legible por ordenador, como se expone en la reivindicación 11. Otros modos de realización se reivindican en las reivindicaciones dependientes. En un aspecto de la divulgación, se proporcionan un aparato, un procedimiento y un producto de programa informático. El aparato detecta una mirada en una primera región en una escena del mundo real, establece un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real, realiza un procedimiento de reconocimiento de objetos en la primera región dentro del límite, y se abstiene de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
La FIG. 1 es un diagrama que ilustra un dispositivo óptico configurado para visualizar contenido.
La FIG. 2 ilustra una escena del mundo real.
La FIG. 3 ilustra una escena del mundo real que está siendo observada por un usuario a través de las lentes de un dispositivo óptico.
La FIG. 4 ilustra una escena del mundo real que está siendo observada por un usuario a través de las lentes de un dispositivo óptico.
La FIG. 5 ilustra una escena del mundo real que está siendo observada por un usuario a través de las lentes de un dispositivo óptico.
La FIG. 6 ilustra una escena del mundo real que está siendo observada por un usuario a través de las lentes de un dispositivo óptico.
La FIG. 7 ilustra una escena del mundo real que está siendo observada por un usuario a través de las lentes de un dispositivo óptico.
La FIG. 8 ilustra una escena del mundo real que está siendo observada por un usuario a través de las lentes de un dispositivo óptico.
La FIG. 9 ilustra una escena del mundo real que está siendo observada por un usuario a través de las lentes de un dispositivo óptico.
a FIG. 10 ilustra una escena del mundo real que está siendo observada por un usuario a través de las lentes de un dispositivo óptico.
La FIG. 11 es un diagrama de flujo de un procedimiento para un dispositivo óptico configurado para visualizar contenido.
La FIG. 12 es un diagrama de flujo de un procedimiento para un dispositivo óptico configurado para visualizar contenido.
La FIG. 13 es un diagrama de flujo de un procedimiento para un dispositivo óptico configurado para visualizar contenido.
La FIG. 14 es un diagrama de flujo de un procedimiento para un dispositivo óptico configurado para visualizar contenido.
La FIG. 15 es un diagrama de flujo de un procedimiento para un dispositivo óptico configurado para visualizar contenido.
La FIG. 16 es un diagrama de flujo de un procedimiento para un dispositivo óptico configurado para visualizar contenido.
La FIG. 17 es un diagrama de flujo conceptual que ilustra la operación de diferentes módulos/medios/componentes en un aparato ejemplar.
La FIG. 18 es un diagrama que ilustra un ejemplo de una implementación de equipo físico para un aparato que emplea un sistema de procesamiento.
DESCRIPCIÓN DETALLADA
La descripción detallada expuesta a continuación en relación con los dibujos adjuntos está destinada como una descripción de diversas configuraciones y no está destinada a representar las únicas configuraciones en las que se pueden practicar los conceptos descritos en el presente documento. La descripción detallada incluye detalles específicos para el propósito de proporcionar una comprensión exhaustiva de diversos conceptos. Sin embargo, será evidente para los expertos en la técnica que estos conceptos se pueden practicar sin estos detalles específicos. En algunos casos, estructuras y componentes bien conocidos se muestran en forma de diagrama de bloques para evitar confundir dichos conceptos.
Ahora se presentarán varios aspectos para controlar un dispositivo de realidad aumentada con referencia a diversos aparatos y procedimientos. Estos aparatos y procedimientos se describirán en la siguiente descripción detallada y se ilustrarán en los dibujos adjuntos por diversos bloques, módulos, componentes, circuitos, etapas, procesos, algoritmos, etc. (denominados conjuntamente "elementos"). Estos elementos se pueden implementar usando equipo electrónico, programa informático o cualquier combinación de los mismos. Que dichos elementos se implementen como equipo físico o programa informático depende de la aplicación particular y restricciones de diseño impuestas en el sistema global.
A modo de ejemplo, un elemento, o cualquier parte de un elemento, o cualquier combinación de elementos se puede implementar con un "sistema de procesamiento" que incluye uno o más procesadores. Los ejemplos de procesadores incluyen microprocesadores, microcontroladores, procesadores de señales digitales (DSP), matrices de puertas programables en campo (FPGA), dispositivos lógicos programables (PLD), máquinas de estado, lógica cerrada, circuitos de equipo físico discretos y otro equipo físico adecuado configurado para realizar las diversas funcionalidades descritas a lo largo de esta divulgación. Uno o más procesadores en el sistema de procesamiento pueden ejecutar programas informáticos. Se debe interpretar ampliamente que programa informático quiere decir instrucciones, conjuntos de instrucciones, código, segmentos de código, código de programa, programas, subprogramas, módulos de programa informático, aplicaciones, aplicaciones de programa informático, paquetes de programa informático, rutinas, subrutinas, objetos, ejecutables, hilos de ejecución, procedimientos, funciones, etc., ya se refieran a programa informático, soporte lógico inalterable, soporte lógico personalizado, microcódigo, lenguaje de descripción de equipo físico o de otro modo.
En consecuencia, en uno o más modos de realización ejemplares, las funciones descritas se pueden implementar en equipo físico, programa informático, soporte lógico inalterable o cualquier combinación de los mismos. Si se implementan en el programa informático, las funciones se pueden almacenar en o codificar como una o más instrucciones o código en un medio legible por ordenador. Los medios legibles por ordenador incluyen medios de almacenamiento por ordenador. Un medio de almacenamiento puede ser cualquier medio disponible al que se puede acceder por un ordenador. A modo de ejemplo, y sin limitación, dichos medios legibles por ordenador pueden comprender RAM, ROM, EEPROM, CD-ROM u otro almacenamiento en disco óptico, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético, o cualquier otro medio que se puede usar para llevar o almacenar el código de programa deseado en forma de instrucciones o estructuras de datos y que se puede acceder por un ordenador. El disco, como se usa en el presente documento, incluye disco compacto (CD), disco láser, disco óptico, disco versátil digital (DVD), disquete y disco Blu-ray, donde los disquetes normalmente reproducen datos magnéticamente, mientras que los discos reproducen datos ópticamente con láseres. Las combinaciones de lo anterior también se deben incluir dentro del alcance de medios legibles por ordenador.
La FIG. 1 es un diagrama que ilustra un dispositivo óptico 100 configurado para visualizar contenido. Como se muestra en la FIG. 1, el dispositivo óptico 100 incluye una montura 102, partes de patilla 104 y 106 y lentes 108 y 110 montadas en la montura 102. El dispositivo óptico 100 incluye además cámaras traseras 112 y 118, cámaras frontales 114 y 120 y sensores 116 y 122. En un aspecto, cada uno de los sensores 116 y 122 puede incluir uno o más sensores de tipo de proximidad para detectar gestos de la mano y uno o más micrófonos para detectar comandos de voz.
En un aspecto, el dispositivo óptico 100 se puede configurar como una pantalla de realidad aumentada (AR) (también denominada "gafas AR" o una "pantalla montada en la cabeza") que permite a un usuario interaccionar con entornos cotidianos de manera intuitiva. En una configuración, la lente 108 y/o la lente 110 pueden estar formadas de un material transparente, tal como vidrio o plástico, para permitir que un usuario observe claramente escenas del mundo real cuando lleva puesto el dispositivo óptico 100. El dispositivo óptico 100 se puede configurar para proyectar contenido, tal como imágenes AR digitales, a través de la lente 108 y/o la lente 110 usando procedimientos conocidos en la técnica. En consecuencia, el usuario puede observar simultáneamente una escena del mundo real y el contenido digital proyectado mientras lleva puesto el dispositivo óptico 100.
En un aspecto, con referencia a la FIG. 1, la cámara frontal 114 y/o la cámara frontal 120 pueden capturar el campo de visión del usuario. La cámara trasera 112 y/o la cámara trasera 118 pueden detectar la mirada de un usuario cuando el usuario observa una escena del mundo real a través de las lentes 108 y 110. Un ejemplo de una escena del mundo real observada por un usuario a través de las lentes 108 y 110 se ilustra en la FIG. 2. Como se muestra en la FIG. 2, la escena del mundo real 200 incluye un automóvil 202 en primer plano e incluye un mercado 204, una señal de autobús 206 y un edificio 208 al fondo.
La FIG. 3 ilustra una escena del mundo real 300 que está siendo observada por un usuario a través de las lentes 108 y 110 del dispositivo óptico 100. En la FIG. 3, el usuario puede mirar fijamente el automóvil 202 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región en la escena del mundo real 300 donde se encuentra el automóvil 202 usando la cámara trasera 112 y/o la cámara trasera 118. A continuación, el dispositivo óptico 100 puede establecer un límite 310 que rodea la región. El dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 310 y se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones fuera del límite 310.
La FIG. 4 ilustra una escena del mundo real 400 que está siendo observada por un usuario a través de las lentes 108 y 110 del dispositivo óptico 100. En la FIG. 4, el usuario puede mirar fijamente el automóvil 202 mientras el automóvil 202 se mueve a lo largo de la carretera 422 y el dispositivo óptico 100 puede detectar la mirada del usuario cuando la mirada sigue el automóvil 202 en movimiento. Como se muestra en la FIG. 4, el dispositivo óptico 100 puede establecer inicialmente el límite 409 en la región de la escena del mundo real 400 correspondiente a la mirada detectada del usuario. A continuación, el dispositivo óptico 100 puede rastrear la mirada del usuario para establecer dinámicamente el límite 410 en la región de la escena del mundo real 400 correspondiente a la mirada detectada del usuario cuando la mirada sigue el automóvil 202. A continuación, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 410 y se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones fuera del límite 410.
La FIG. 5 ilustra una escena del mundo real 500 que está siendo observada por un usuario a través de las lentes 108 y 110 del dispositivo óptico 100. En la FIG. 5, el usuario puede mirar fijamente el automóvil 202 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región en la escena del mundo real 500 donde se encuentra el automóvil 202 usando la cámara trasera 112 y/o la cámara trasera 118. A continuación, el dispositivo óptico 100 puede establecer un límite 510 que rodea la región. El dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 510 y se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones fuera del límite 510. En un aspecto, el dispositivo óptico 100 puede ajustar dinámicamente el tamaño del límite 510 si el procedimiento de reconocimiento de objetos no logra determinar un objeto. Por ejemplo, como se muestra en la FIG. 5, si el procedimiento de reconocimiento de objetos no puede identificar el automóvil 202 dentro del límite 510, el dispositivo óptico 100 puede incrementar el tamaño del límite 510 al tamaño del límite 520. En una configuración, el tamaño de un límite se puede incrementar en una cantidad predeterminada. Por ejemplo, el dispositivo móvil puede incrementar el tamaño de un límite duplicando el tamaño del límite original.
En otro aspecto, como se muestra en la FIG. 6, el dispositivo óptico 100 puede disminuir el tamaño del límite. Por ejemplo, si el nivel de alimentación de batería del dispositivo óptico 100 es bajo y el dispositivo óptico 100 está funcionando en un estado de ahorro de energía, el dispositivo óptico 100 puede reducir el límite 630 al tamaño del límite 640 en la escena del mundo real 600. En una configuración, el tamaño de un límite se puede reducir en una cantidad predeterminada. Por ejemplo, el dispositivo óptico 100 puede reducir el tamaño de un límite a la mitad del tamaño del límite original. A continuación, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 640 y se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones fuera del límite 640. Por lo tanto, al reducir el tamaño del límite y realizar el procedimiento de reconocimiento de objetos en la región dentro del límite reducido, el dispositivo óptico 100 puede reducir la cantidad de procesamiento necesario para reconocer un objeto y, por lo tanto, puede conservar la alimentación de batería.
La FIG. 7 ilustra una escena del mundo real 700 que está siendo observada por un usuario a través de las lentes 108 y 110 del dispositivo óptico 100. En la FIG. 7, el usuario puede mirar fijamente la señal de autobús 206 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región de la escena del mundo real 700 donde se encuentra la señal de autobús 206 usando la cámara trasera 112 y/o la cámara trasera 118. El dispositivo óptico 100 puede establecer un límite 710 que rodea la región. A continuación, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 710 y se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones fuera del límite 710. En un aspecto, el dispositivo óptico 100 puede ajustar el aumento (también denominado "ampliación") de una parte de la escena del mundo real 700 dentro del límite 710 como se muestra en la escena del mundo real 800 de la FIG. 8. En un aspecto, el dispositivo óptico 100 puede realizar el aumento en respuesta a un gesto de la mano y/o un comando de voz recibido por medio del sensor 116 y/o el sensor 122. En una configuración, el gesto de la mano puede ser un gesto de "pellizcar para ampliar". En otro aspecto, el dispositivo óptico 100 puede realizar el aumento cuando la duración de la mirada del usuario excede un umbral de tiempo. En otro aspecto, el dispositivo óptico 100 puede realizar el aumento cuando el objeto dentro del límite 710 se reconoce antes de exceder un umbral de tiempo para proporcionar una mejor visión del objeto. En una configuración, los iconos de aplicación (no mostrados en la FIG. 8) visualizados próximos al objeto por el dispositivo óptico 100 también se pueden aumentar.
La FIG. 9 ilustra una escena del mundo real 900 que está siendo observada por un usuario a través de las lentes 108 y 110 del dispositivo óptico 100. En la FIG. 9, el usuario puede mirar fijamente el automóvil 202 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región de la escena del mundo real 900 donde se encuentra el automóvil 202 usando la cámara trasera 112 y/o la cámara trasera 118. A continuación, el dispositivo óptico 100 puede establecer un límite 910 que rodea la región. El dispositivo óptico 100 puede visualizar una interfaz de edición de fotos 912 que incluye una o más herramientas de edición de fotos, que se pueden usar para editar la región dentro del límite 910 antes de capturar una foto de la escena del mundo real 900 con la cámara frontal 114 y/o la cámara frontal 120. Por ejemplo, las herramientas de edición de fotos pueden incluir una herramienta de aplicación de filtro artístico 914 y/u otras herramientas de edición de fotos, tales como una herramienta de inserción de imágenes prediseñadas, una herramienta de saturación de color, una herramienta de conversión de tono sepia y una herramienta de conversión de blanco y negro. En un aspecto, las herramientas de edición de fotos se pueden aplicar o deshabilitar en respuesta a un comando de voz y/o un gesto de la mano recibido por medio del sensor 116 y/o el sensor 122. El dispositivo óptico 100 puede capturar y almacenar una foto de la escena del mundo real 900 editada usando las herramientas de edición de fotos analizadas previamente.
La FIG. 10 ilustra una escena del mundo real 1000 que está siendo observada por un usuario a través de las lentes 108 y 110 del dispositivo óptico 100. En la FIG. 10, el usuario puede mirar fijamente el automóvil 202 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región de la escena del mundo real 1000 donde se encuentra el automóvil 202 usando la cámara trasera 112 y/o la cámara trasera 118. A continuación, el dispositivo óptico 100 puede establecer un límite 1010 que rodea la región. A continuación, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 1010 y se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones fuera del límite 1010. A continuación, el dispositivo óptico 100 puede reconocer el automóvil 202 y puede resaltar el automóvil 202 como se muestra en la FIG. 10. En la configuración de la FIG. 10, el dispositivo óptico 100 puede almacenar el automóvil reconocido 202 en una memoria del dispositivo óptico 100 en respuesta a un comando de voz y/o un gesto de la mano recibido por medio del sensor 116 y/o el sensor 122. Posteriormente, el usuario puede mirar fijamente el automóvil 1002 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región de la escena del mundo real 1000 donde se encuentra el automóvil 1002 usando la cámara trasera 112 y/o la cámara trasera 118. El dispositivo óptico 100 puede establecer un límite 1012 que rodea la región. A continuación, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 1012 y se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones fuera del límite 1012. A continuación, el dispositivo óptico 100 puede reconocer el automóvil 1002. El dispositivo óptico 100 puede almacenar el automóvil reconocido 1002 en una memoria del dispositivo óptico 100 en respuesta a un comando de voz y/o un gesto de la mano recibido por medio del sensor 116 y/o el sensor 122. A continuación, el dispositivo óptico 100 puede comparar el automóvil 202 previamente reconocido y almacenado con el automóvil 1002. El dispositivo óptico 100 puede indicar si el automóvil 202 es igual que o diferente del automóvil 1002.
La FIG. 11 es un diagrama de flujo 1100 de un procedimiento para un dispositivo óptico configurado para visualizar contenido. En la etapa 1102, el dispositivo óptico 100 detecta una mirada en una primera región en una escena del mundo real. En un aspecto, con referencia a la FIG. 1, la cámara trasera 112 y/o la cámara trasera 118 pueden detectar la mirada del usuario cuando el usuario observa una escena del mundo real a través de las lentes 108 y 110 del dispositivo óptico 100. La escena del mundo real puede incluir el entorno físico dentro del campo de visión de un usuario del dispositivo óptico 100. Un ejemplo de una escena del mundo real observada por un usuario a través de las lentes 108 y 110 se ilustra en la FIG. 2. Como se muestra en la FIG. 2, la escena del mundo real 200 incluye un automóvil 202 en primer plano e incluye un mercado 204, una señal de autobús 206 y un edificio 208 al fondo. En otros aspectos, la escena del mundo real puede ser una escena del mundo real en interiores, tal como el interior de una casa, una oficina o una biblioteca. Por ejemplo, el usuario puede mirar fijamente el automóvil 202 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región de la escena del mundo real 200 donde se encuentra el automóvil 202 usando la cámara trasera 112 y/o la cámara trasera 118.
En la etapa 1104, el dispositivo óptico 100 establece un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede establecer un límite 310 que rodea la región de la escena del mundo real 300 donde se encuentra el automóvil 202. En un aspecto, el límite se puede visualizar en la lente 108 y/o la lente 110 del dispositivo óptico 100 de modo que el límite se superpone a una parte de la escena del mundo real 300 cuando el usuario observa la escena del mundo real usando el dispositivo óptico 100. Aunque el límite establecido por el dispositivo óptico 100 se describe en el presente documento como de forma rectangular, se debe entender que el límite puede tener cualquiera de varias formas diferentes, tales como una forma circular.
En la etapa 1106, el dispositivo óptico 100 realiza un procedimiento de reconocimiento de objetos en la primera región dentro del límite. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 310. En una configuración, el dispositivo óptico 100 puede realizar el procedimiento de reconocimiento de objetos capturando una imagen de la escena del mundo real 300 usando la cámara frontal 114 y/o la cámara frontal 120 y aplicando un algoritmo de reconocimiento de objetos en una región de la imagen correspondiente a la región dentro del límite 310. El dispositivo óptico 100 puede comparar los datos generados por el algoritmo de reconocimiento de objetos con una base de datos de objetos para determinar si los datos coinciden con cualquiera de los objetos en la base de datos de objetos para reconocer un objeto. En un aspecto, la base de datos se puede almacenar en el dispositivo óptico 100. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede determinar que los datos generados por el algoritmo de reconocimiento de objetos coinciden con un objeto identificado como un automóvil en la base de datos de objetos.
En la etapa 1108, el dispositivo óptico 100 se abstiene de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones de la escena del mundo real 300 fuera del límite 310.
La FIG. 12 es un diagrama de flujo 1200 de un procedimiento para un dispositivo óptico configurado para visualizar contenido. En la etapa 1202, el dispositivo óptico 100 detecta una mirada en una primera región en una escena del mundo real. En un aspecto, con referencia a la FIG. 1, la cámara trasera 112 y/o la cámara trasera 118 pueden detectar la mirada del usuario cuando el usuario observa una escena del mundo real a través de las lentes 108 y 110 del dispositivo óptico 100. La escena del mundo real puede incluir el entorno físico dentro del campo de visión de un usuario del dispositivo óptico 100. Un ejemplo de una escena del mundo real observada por un usuario a través de las lentes 108 y 110 se ilustra en la FIG. 2. Como se muestra en la FIG. 2, la escena del mundo real 200 incluye un automóvil 202 en primer plano e incluye un mercado 204, una señal de autobús 206 y un edificio 208 al fondo. En otros aspectos, la escena del mundo real puede ser una escena del mundo real en interiores, tal como el interior de una casa, una oficina o una biblioteca. Por ejemplo, el usuario puede mirar fijamente el automóvil 202 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región de la escena del mundo real 200 donde se encuentra el automóvil 202 usando la cámara trasera 112 y/o la cámara trasera 118.
En la etapa 1204, el dispositivo óptico 100 establece un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real. Por ejemplo, con referencia a la FIG. 4, el dispositivo óptico 100 puede establecer un límite 409 que rodea la región donde se encuentra el automóvil 202. En un aspecto, el límite se puede visualizar en la lente 108 y/o la lente 110 del dispositivo óptico 100 de modo que el límite se superpone a una parte de la escena del mundo real cuando el usuario observa la escena del mundo real usando el dispositivo óptico 100. Aunque el límite establecido por el dispositivo óptico 100 se describe en el presente documento como de forma rectangular, se debe entender que el límite puede tener cualquiera de varias formas diferentes, tales como una forma circular.
En la etapa 1206, el dispositivo óptico 100 realiza un procedimiento de reconocimiento de objetos en la primera región dentro del límite. Por ejemplo, con referencia a la FIG. 4, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 409. En una configuración, el dispositivo óptico 100 puede realizar el procedimiento de reconocimiento de objetos capturando una imagen de la escena del mundo real 400 usando la cámara frontal 114 y/o la cámara frontal 120 y aplicando un algoritmo de reconocimiento de objetos en una región de la imagen correspondiente a la región dentro del límite 409. El dispositivo óptico 100 puede comparar los datos generados por el algoritmo de reconocimiento de objetos con una base de datos de objetos para determinar si los datos coinciden con cualquiera de los objetos en la base de datos de objetos para reconocer un objeto. En un aspecto, la base de datos se puede almacenar en el dispositivo óptico 100. Por ejemplo, con referencia a la FIG. 4, el dispositivo óptico 100 puede determinar que los datos generados por el algoritmo de reconocimiento de objetos coinciden con un objeto identificado como un automóvil en la base de datos de objetos.
En la etapa 1208, el dispositivo óptico 100 se abstiene de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región. Por ejemplo, con referencia a la FIG. 4, el dispositivo óptico 100 se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones de la escena del mundo real 400 fuera del límite 409.
En la etapa 1210, el dispositivo óptico 100 detecta una mirada en una tercera región de la escena del mundo real. Por ejemplo, el usuario puede mirar fijamente el automóvil 202 mientras se mueve a lo largo de la calle 422 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región de la escena del mundo real 400 donde se encuentra el automóvil 202 usando la cámara trasera 112 y/o la cámara trasera 118.
En la etapa 1212, el dispositivo óptico 100 establece un límite que rodea la tercera región, excluyendo el límite al menos una cuarta región en la escena del mundo real. Por ejemplo, con referencia a la FIG. 4, el dispositivo óptico 100 puede establecer un límite 410 que rodea la región donde se encuentra el automóvil 202. En un aspecto, el límite se puede visualizar en la lente 108 y/o la lente 110 del dispositivo óptico 100 de modo que el límite se superpone a una parte de la escena del mundo real cuando el usuario observa la escena del mundo real usando el dispositivo óptico 100.
En la etapa 1214, el dispositivo óptico 100 realiza un procedimiento de reconocimiento de objetos en la tercera región dentro del límite. Por ejemplo, con referencia a la FIG. 4, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 410. En una configuración, el dispositivo óptico 100 puede realizar el procedimiento de reconocimiento de objetos capturando una imagen de la escena del mundo real 400 usando la cámara frontal 114 y/o la cámara frontal 120 y aplicando un algoritmo de reconocimiento de objetos en una región de la imagen correspondiente a la región dentro del límite 410. El dispositivo óptico 100 puede comparar los datos generados por el algoritmo de reconocimiento de objetos con una base de datos de objetos para determinar si los datos coinciden con cualquiera de los objetos en la base de datos de objetos para reconocer un objeto. En un aspecto, la base de datos se puede almacenar en el dispositivo óptico 100. Por ejemplo, con referencia a la FIG. 4, el dispositivo óptico 100 puede determinar que los datos generados por el algoritmo de reconocimiento de objetos coinciden con un objeto identificado como un automóvil en la base de datos de objetos.
En la etapa 1216, el dispositivo óptico 100 se abstiene de realizar un procedimiento de reconocimiento de objetos en la al menos la cuarta región. Por ejemplo, con referencia a la FIG. 4, el dispositivo óptico 100 se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones de la escena del mundo real 400 fuera del límite 410.
La FIG. 13 es un diagrama de flujo 1300 de un procedimiento para un dispositivo óptico configurado para visualizar contenido. En la etapa 1302, el dispositivo óptico 100 detecta una mirada en una primera región en una escena del mundo real. En un aspecto, con referencia a la FIG. 1, la cámara trasera 112 y/o la cámara trasera 118 pueden detectar la mirada del usuario cuando el usuario observa una escena del mundo real a través de las lentes 108 y 110 del dispositivo óptico 100. La escena del mundo real puede incluir el entorno físico dentro del campo de visión de un usuario del dispositivo óptico 100. Un ejemplo de una escena del mundo real observada por un usuario a través de las lentes 108 y 110 se ilustra en la FIG. 2. Como se muestra en la FIG. 2, la escena del mundo real 200 incluye un automóvil 202 en primer plano e incluye un mercado 204, una señal de autobús 206 y un edificio 208 al fondo. En otros aspectos, la escena del mundo real puede ser una escena del mundo real en interiores, tal como el interior de una casa, una oficina o una biblioteca. Por ejemplo, el usuario puede mirar fijamente el automóvil 202 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región de la escena del mundo real 200 donde se encuentra el automóvil 202 usando la cámara trasera 112 y/o la cámara trasera 118.
En la etapa 1304, el dispositivo óptico 100 establece un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede establecer un límite 310 que rodea la región donde se encuentra el automóvil 202. En un aspecto, el límite se puede visualizar en la lente 108 y/o la lente 110 del dispositivo óptico 100, de modo que el límite se superpone a la vista del usuario de la escena del mundo real cuando el usuario observa la escena del mundo real usando el dispositivo óptico 100. Aunque el límite establecido por el dispositivo óptico 100 se describe en el presente documento como de forma rectangular, se debe entender que el límite puede tener cualquiera de varias formas diferentes, tales como una forma circular.
En la etapa 1306, el dispositivo óptico 100 realiza un procedimiento de reconocimiento de objetos en la primera región dentro del límite. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 310. En una configuración, el dispositivo óptico 100 puede realizar el procedimiento de reconocimiento de objetos capturando una o más imágenes de la escena del mundo real 300 usando la cámara frontal 114 y/o la cámara frontal 120 para generar uno o más marcos de imagen. A continuación, el dispositivo óptico 100 puede aplicar un algoritmo de reconocimiento de objetos en una región del uno o más marcos de imagen correspondientes a la región dentro del límite 310. El dispositivo óptico 100 puede comparar los datos generados por el algoritmo de reconocimiento de objetos para cada marco de imagen con una base de datos de objetos para determinar si los datos coinciden con cualquiera de los objetos en la base de datos de objetos para reconocer un objeto. En un aspecto, la base de datos se puede almacenar en el dispositivo óptico 100. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede determinar que los datos generados por el algoritmo de reconocimiento de objetos coinciden con un objeto identificado como un automóvil en la base de datos de objetos.
En la etapa 1308, el dispositivo óptico 100 se abstiene de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones de la escena del mundo real 300 fuera del límite 310.
En la etapa 1310, el dispositivo óptico 100 almacena un recuento de veces consecutivas que se ha reconocido un objeto dentro del límite. En una configuración, el recuento puede representar el número de veces que se ha reconocido un objeto dentro del límite en cada uno de los marcos de imagen consecutivos. En un aspecto, el dispositivo óptico 100 puede almacenar además cada objeto reconocido con éxito.
En la etapa 1312, el dispositivo óptico 100 puede determinar si el recuento supera un umbral. Por ejemplo, el umbral puede ser un número entero predeterminado. Si el recuento supera el umbral, a continuación en la etapa 1314, el dispositivo óptico 100 puede resaltar el objeto. En un aspecto, el dispositivo óptico 100 puede resaltar el objeto visualizando un color transparente (por ejemplo, amarillo) en una región de la lente 108 y/o lente 110 del dispositivo óptico 100 correspondiente a la región en la que se encuentra el objeto, de modo que el objeto parece estar resaltado cuando el usuario observa el objeto. En otro aspecto, el dispositivo óptico 100 puede determinar además si el recuento excede un umbral dentro de un período de tiempo predeterminado y puede eliminar un marco de imagen más temprano si se ha excedido el período de tiempo predeterminado.
En la etapa 1316, el dispositivo óptico 100 puede visualizar un icono próximo al objeto. En un aspecto, el dispositivo óptico 100 puede visualizar el icono en una región de la lente 108 y/o la lente 110 del dispositivo óptico 100 correspondiente a una región próxima a donde se encuentra el objeto. En una configuración, el icono se puede configurar para iniciar una función del dispositivo óptico 100. En otra configuración, el icono se puede configurar para proporcionar información relacionada con el objeto.
Si el recuento no excede el umbral (1312), a continuación en la etapa 1302, el dispositivo óptico 100 detecta una mirada en una primera región en una escena del mundo real.
La FIG. 14 es un diagrama de flujo 1400 de un procedimiento para un dispositivo óptico configurado para visualizar contenido. En la etapa 1402, el dispositivo óptico 100 detecta una mirada en una primera región en una escena del mundo real. En una configuración, el dispositivo óptico 100 puede iniciar la detección de la mirada en respuesta a un comando de voz y/o un gesto de la mano. En un aspecto, con referencia a la FIG. 1, la cámara trasera 112 y/o la cámara trasera 118 pueden detectar la mirada del usuario cuando el usuario observa una escena del mundo real a través de las lentes 108 y 110 del dispositivo óptico 100. La escena del mundo real puede incluir el entorno físico dentro del campo de visión de un usuario del dispositivo óptico 100. Un ejemplo de una escena del mundo real observada por un usuario a través de las lentes 108 y 110 se ilustra en la FIG. 2. Como se muestra en la FIG.
2, la escena del mundo real 200 incluye un automóvil 202 en primer plano e incluye un mercado 204, una señal de autobús 206 y un edificio 208 al fondo. En otros aspectos, la escena del mundo real puede ser una escena del mundo real en interiores, tal como el interior de una casa, una oficina o una biblioteca. Por ejemplo, el usuario puede mirar fijamente el automóvil 202 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región de la escena del mundo real 200 donde se encuentra el automóvil 202 usando la cámara trasera 112 y/o la cámara trasera 118.
En la etapa 1404, el dispositivo óptico 100 establece un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede establecer un límite 310 que rodea la primera región. En un aspecto, el límite se puede visualizar en la lente 108 y/o 110 del dispositivo óptico 100, de modo que el límite se superpone a la vista del usuario de la escena del mundo real cuando el usuario observa la escena del mundo real usando el dispositivo óptico 100. Aunque el límite establecido por el dispositivo óptico 100 se describe en el presente documento como de forma rectangular, se debe entender que el límite puede tener cualquiera de varias formas diferentes, tales como una forma circular.
En la etapa 1406, el dispositivo óptico 100 realiza un procedimiento de reconocimiento de objetos en la primera región dentro del límite. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 310. En una configuración, el dispositivo óptico 100 puede realizar el procedimiento de reconocimiento de objetos capturando una o más imágenes de la escena del mundo real 300 usando la cámara frontal 114 y/o la cámara frontal 120 para generar uno o más marcos de imagen. A continuación, el dispositivo óptico 100 puede aplicar un algoritmo de reconocimiento de objetos en una región del uno o más marcos de imagen correspondientes a la región dentro del límite 310. El dispositivo óptico 100 puede comparar los datos generados por el algoritmo de reconocimiento de objetos para cada marco de imagen con una base de datos de objetos para determinar si los datos coinciden con cualquiera de los objetos en la base de datos de objetos para reconocer un objeto. En un aspecto, la base de datos se puede almacenar en el dispositivo óptico 100. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede determinar que los datos generados por el algoritmo de reconocimiento de objetos coinciden con un objeto identificado como un automóvil en la base de datos de objetos.
En la etapa 1408, el dispositivo óptico 100 se abstiene de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones de la escena del mundo real 300 fuera del límite 310.
En la etapa 1410, el dispositivo óptico 100 almacena un recuento de un número de veces que se ha reconocido un objeto dentro del límite. En una configuración, el recuento puede representar el número de veces que se ha reconocido un objeto dentro del límite en uno o más de los marcos de imagen consecutivos. En un aspecto, el dispositivo óptico 100 puede almacenar además cada objeto reconocido con éxito.
En la etapa 1412, el dispositivo óptico 100 puede establecer dinámicamente un umbral en base a al menos uno de un tipo de objeto, un historial y una preferencia del usuario. En un aspecto, el umbral puede ser un número entero. Por ejemplo, si el tipo de objeto es estacionario y fácil de identificar, tal como un edificio, se puede usar un valor umbral menor. Como otro ejemplo, si el tipo de objeto es móvil y más difícil de identificar, tal como un automóvil, se puede usar un valor umbral mayor.
En la etapa 1414, el dispositivo óptico 100 puede determinar si el recuento supera un umbral. Si el recuento supera el umbral, a continuación en la etapa 1416, el dispositivo óptico 100 puede resaltar el objeto. En un aspecto, el dispositivo óptico 100 puede resaltar el objeto visualizando un color transparente (por ejemplo, amarillo) en una región de la lente 108 y/o lente 110 del dispositivo óptico 100 correspondiente a una región en la que se encuentra el objeto, de modo que el objeto parece estar resaltado cuando el usuario observa el objeto. En otro aspecto, el dispositivo óptico 100 puede determinar además si el recuento excede un umbral dentro de un período de tiempo predeterminado y puede eliminar un marco de imagen más temprano si se ha excedido el período de tiempo predeterminado.
En la etapa 1418, el dispositivo óptico 100 puede visualizar un icono próximo al objeto. En un aspecto, el dispositivo óptico 100 puede visualizar el icono en una región de la lente 108 y/o la lente 110 del dispositivo óptico 100 correspondiente a una región próxima a donde se encuentra el objeto. En una configuración, el icono se puede configurar para iniciar una función del dispositivo óptico 100. En otra configuración, el icono se puede configurar para proporcionar información relacionada con el objeto.
Si el recuento no excede el umbral (1414), a continuación en la etapa 1402, el dispositivo óptico 100 detecta una mirada en una primera región en una escena del mundo real.
La FIG. 15 es un diagrama de flujo 1500 de un procedimiento para un dispositivo óptico configurado para visualizar contenido. En la etapa 1502, el dispositivo óptico 100 detecta una mirada en una primera región en una escena del mundo real. En una configuración, el dispositivo óptico 100 puede iniciar la detección de la mirada en respuesta a un comando de voz y/o un gesto de la mano. En un aspecto, con referencia a la FIG. 1, la cámara trasera 112 y/o la cámara trasera 118 pueden detectar la mirada del usuario cuando el usuario observa una escena del mundo real a través de las lentes 108 y 110 del dispositivo óptico 100. La escena del mundo real puede incluir el entorno físico dentro del campo de visión de un usuario del dispositivo óptico 100. Un ejemplo de una escena del mundo real observada por un usuario a través de las lentes 108 y 110 se ilustra en la FIG. 2. Como se muestra en la FIG.
2, la escena del mundo real 200 incluye un automóvil 202 en primer plano e incluye un mercado 204, una señal de autobús 206 y un edificio 208 al fondo. En otros aspectos, la escena del mundo real puede ser una escena del mundo real en interiores, tal como el interior de una casa, una oficina o una biblioteca. Por ejemplo, el usuario puede mirar fijamente el automóvil 202 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región de la escena del mundo real 200 donde se encuentra el automóvil 202 usando la cámara trasera 112 y/o la cámara trasera 118.
En la etapa 1504, el dispositivo óptico 100 establece un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede establecer un límite 310 que rodea la región de la escena del mundo real 200 donde se encuentra el automóvil 202. En un aspecto, el límite se puede visualizar en la lente 108 y/o la lente 110 del dispositivo óptico 100 de modo que el límite se superpone a una parte de la escena del mundo real cuando el usuario observa la escena del mundo real usando el dispositivo óptico 100. Aunque el límite establecido por el dispositivo óptico 100 se describe en el presente documento como de forma rectangular, se debe entender que el límite puede tener cualquiera de varias formas diferentes, tales como una forma circular.
En la etapa 1506, el dispositivo óptico 100 recibe al menos uno de un comando de voz y un comando de gesto. En un aspecto, el comando de voz y el comando de gesto se pueden recibir por medio del sensor 116 y/o el sensor 122 del dispositivo óptico 100.
En la etapa 1508, el dispositivo óptico 100 puede ajustar un aumento de la primera región dentro del límite en respuesta al al menos uno del comando de voz y el comando de gesto. Por ejemplo, con referencia a la escena del mundo real 700 en la FIG. 7, el dispositivo óptico 100 puede ajustar el aumento de una parte de la escena del mundo real 700 dentro del límite 710 como se muestra en la escena del mundo real 800 de la FIG. 8. En un aspecto, el dispositivo óptico 100 puede realizar la ampliación en respuesta al comando de voz y/o al gesto de la mano. En una configuración, el gesto de la mano puede ser un gesto de "pellizcar para ampliar", de modo que el aumento de una parte de la escena del mundo real 700 dentro del límite 710 se incrementa cuando el usuario realiza un gesto de pellizcar.
En la etapa 1510, el dispositivo óptico 100 realiza un procedimiento de reconocimiento de objetos en la primera región dentro del límite. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 310. En una configuración, el dispositivo óptico 100 puede realizar el procedimiento de reconocimiento de objetos capturando una imagen de la escena del mundo real 300 usando la cámara frontal 114 y/o la cámara frontal 120 y aplicando un algoritmo de reconocimiento de objetos en una región de la imagen correspondiente a la región dentro del límite 310. El dispositivo óptico 100 puede comparar los datos generados por el algoritmo de reconocimiento de objetos con una base de datos de objetos para determinar si los datos coinciden con cualquiera de los objetos en la base de datos de objetos para reconocer un objeto. En un aspecto, la base de datos se puede almacenar en el dispositivo óptico 100. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 puede determinar que los datos generados por el algoritmo de reconocimiento de objetos coinciden con un objeto identificado como un automóvil en la base de datos de objetos.
En la etapa 1512, el dispositivo óptico 100 se abstiene de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región. Por ejemplo, con referencia a la FIG. 3, el dispositivo óptico 100 se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones de la escena del mundo real 300 fuera del límite 310.
En la etapa 1514, el dispositivo óptico 100 realiza al menos una de una operación para acercar un centro de la primera región dentro del límite, una operación para ampliar el límite o una operación para entrar en un estado de ahorro de energía. En un aspecto, el dispositivo óptico 100 puede acercar un centro de la primera región dentro del límite cuando la duración de la mirada del usuario excede un umbral de tiempo. En otro aspecto, el dispositivo óptico 100 puede acercar un centro de la primera región dentro del límite cuando se reconoce el objeto dentro del límite antes de exceder un umbral de tiempo para proporcionar una mejor visión del objeto. En una configuración, el dispositivo óptico 100 también puede acercar uno o más iconos de aplicación próximos al objeto.
Por ejemplo, con referencia a la FIG. 5, el dispositivo óptico 100 puede ajustar dinámicamente el tamaño del límite 510 si el procedimiento de reconocimiento de objetos no logra determinar un objeto. Por ejemplo, si el procedimiento de reconocimiento de objetos no puede identificar el automóvil 202 dentro del límite 510, el dispositivo óptico 100 puede incrementar el tamaño del límite 510 al tamaño del límite 520. En una configuración, el tamaño del límite se puede incrementar en una cantidad predeterminada. Por ejemplo, el dispositivo óptico 100 puede incrementar el tamaño del límite duplicando el tamaño del límite original.
En la etapa 1516, el dispositivo óptico 100 visualiza al menos una herramienta de edición de fotos. En un aspecto, con referencia a la FIG. 9, el dispositivo óptico 100 puede visualizar una interfaz de edición de fotos 912 que incluye una o más herramientas de edición de fotos. Por ejemplo, las herramientas de edición de fotos pueden incluir una herramienta de aplicación de filtro artístico 914 y/u otras herramientas de edición de fotos, tales como una herramienta de inserción de imágenes prediseñadas, una herramienta de saturación de color, una herramienta de conversión de tono sepia y una herramienta de conversión de blanco y negro. En un aspecto, las herramientas de edición de fotos se pueden aplicar o deshabilitar en respuesta a un comando de voz y/o un gesto de la mano recibido por medio del sensor 116 y/o el sensor 122.
En la etapa 1518, el dispositivo óptico 100 puede editar la primera región dentro del límite usando la al menos una herramienta de edición de fotos en base a al menos uno de un comando de voz y un comando de gesto. Por ejemplo, con referencia a la FIG. 9, la al menos una herramienta de edición de fotos se puede usar para editar la región dentro del límite 910 antes de capturar una foto de la escena del mundo real 900 con la cámara frontal 114 y/o la cámara frontal 120.
En la etapa 1520, el dispositivo óptico 100 puede almacenar una imagen de la primera región editada. Por ejemplo, con referencia a la FIG. 9, el dispositivo óptico 100 puede capturar y almacenar una foto de la escena del mundo real 900 editada usando las herramientas de edición de fotos analizadas previamente.
La FIG. 16 es un diagrama de flujo 1600 de un procedimiento para un dispositivo óptico configurado para visualizar contenido. En la etapa 1602, el dispositivo óptico 100 detecta una mirada en una primera región en una escena del mundo real. En un aspecto, con referencia a la FIG. 10, la cámara trasera 112 y/o la cámara trasera 118 pueden detectar la mirada del usuario cuando el usuario observa una escena del mundo real a través de las lentes 108 y 110 del dispositivo óptico 100. La escena del mundo real puede incluir el entorno físico dentro del campo de visión de un usuario del dispositivo óptico 100. Un ejemplo de una escena del mundo real observada por un usuario a través de las lentes 108 y 110 se ilustra en la FIG. 10. Como se muestra en la FIG. 10, la escena del mundo real 1000 incluye un automóvil 202 en primer plano e incluye un mercado 204, una señal de autobús 206 y un edificio 208 al fondo. En otros aspectos, la escena del mundo real puede ser una escena del mundo real en interiores, tal como el interior de una casa, una oficina o una biblioteca. Por ejemplo, el usuario puede mirar fijamente el automóvil 202 y el dispositivo óptico 100 puede detectar la mirada del usuario en una región de la escena del mundo real 1000 donde se encuentra el automóvil 202 usando la cámara trasera 112 y/o la cámara trasera 118.
En la etapa 1604, el dispositivo óptico 100 establece un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real. Por ejemplo, con referencia a la FIG. 10, el dispositivo óptico 100 puede establecer un límite 1010 que rodea la región donde se encuentra el automóvil 202. En un aspecto, el límite se puede visualizar en la lente 108 y/o la lente 110 del dispositivo óptico 100 de modo que el límite se superpone a una parte de la escena del mundo real cuando el usuario observa la escena del mundo real usando el dispositivo óptico 100. Aunque el límite establecido por el dispositivo óptico 100 se describe en el presente documento como de forma rectangular, se debe entender que el límite puede tener cualquiera de varias formas diferentes, tales como una forma circular.
En la etapa 1606, el dispositivo óptico 100 realiza un procedimiento de reconocimiento de objetos en la primera región dentro del límite. Por ejemplo, con referencia a la FIG. 10, el dispositivo óptico 100 puede realizar un procedimiento de reconocimiento de objetos en la región dentro del límite 1010. En una configuración, el dispositivo óptico 100 puede realizar el procedimiento de reconocimiento de objetos capturando una imagen de la escena del mundo real 1000 usando la cámara frontal 114 y/o la cámara frontal 120 y aplicando un algoritmo de reconocimiento de objetos en una región de la imagen correspondiente a la región dentro del límite 1010. El dispositivo óptico 100 puede comparar los datos generados por el algoritmo de reconocimiento de objetos con una base de datos de objetos para determinar si los datos coinciden con cualquiera de los objetos en la base de datos de objetos para reconocer un objeto. En un aspecto, la base de datos se puede almacenar en el dispositivo óptico 100. Por ejemplo, con referencia a la FIG. 10, el dispositivo óptico 100 puede determinar que los datos generados por el algoritmo de reconocimiento de objetos coinciden con un objeto identificado como un automóvil en la base de datos de objetos.
En la etapa 1608, el dispositivo óptico 100 se abstiene de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región. Por ejemplo, con referencia a la FIG. 10, el dispositivo óptico 100 se puede abstener de realizar el procedimiento de reconocimiento de objetos en regiones de la escena del mundo real 1000 fuera del límite 1010.
En la etapa 1610, el dispositivo móvil almacena al menos un primer objeto reconocido en respuesta a al menos uno de entre un primer comando de voz y un primer comando de gesto. Por ejemplo, con referencia a la FIG. 10, el dispositivo óptico 100 puede almacenar el automóvil 202 en una memoria del dispositivo óptico 100 en respuesta a al menos uno de entre un primer comando de voz y un primer comando de gesto.
En la etapa 1612, el dispositivo óptico 100 almacena al menos un segundo objeto reconocido en respuesta a al menos uno de entre un segundo comando de voz y un segundo comando de gesto. Por ejemplo, con referencia a la FIG. 10, el dispositivo óptico 100 puede reconocer el automóvil 1002 dentro del límite 1012 y puede almacenar el automóvil 1002 en una memoria del dispositivo óptico 100 en respuesta a al menos uno de un segundo comando de voz y un segundo comando de gesto.
En la etapa 1614, el dispositivo óptico 100 compara el al menos el primer objeto reconocido y el segundo objeto reconocido. En un aspecto, el dispositivo óptico 100 puede indicar si el automóvil 202 es igual que o diferente del automóvil 1002.
La FIG. 17 es un diagrama de flujo conceptual 1700 que ilustra la operación de diferentes módulos/medios/componentes en un aparato ejemplar 1702. El aparato 1702 puede ser un dispositivo óptico, tal como el dispositivo óptico 100 mostrado en la FIG. 1. El aparato 1702 incluye un módulo de detección de mirada 1703, un módulo de establecimiento de límites 1704, un módulo de reconocimiento de objetos 1706, un módulo de abstención de reconocimiento de objetos 1708, un módulo de recepción 1710, un módulo de ajuste de aumento 1712, un módulo de visualización de herramienta de edición de fotos 1714, un módulo de edición 1716, un módulo de establecimiento de umbrales 1718, un módulo de determinación 1720, un módulo de almacenamiento 1722, un módulo de comparación 1724, un módulo de resaltado 1726, un módulo de visualización de iconos 1728 y un módulo de realización de operaciones 1730.
En un aspecto, el módulo de detección de mirada 1703 detecta la mirada de un usuario en una región de una escena del mundo real. El módulo de establecimiento de límites 1704 establece un límite que rodea la región de la escena del mundo real. El módulo de reconocimiento de objetos 1706 realiza un procedimiento de reconocimiento de objetos en la región dentro del límite. En una configuración, el procedimiento de reconocimiento de objetos se realiza en la primera región dentro del límite para uno o más de una pluralidad de marcos de imagen de la escena del mundo real. El módulo de abstención de reconocimiento de objetos 1708 se abstiene de realizar el procedimiento de reconocimiento de objetos en regiones fuera del límite. El módulo de detección de mirada 1703 puede detectar la mirada en una tercera región en la escena del mundo real y el módulo de establecimiento de límites 1704 puede establecer el límite para rodear la tercera región mientras se excluye al menos una cuarta región en la escena del mundo real.
En un aspecto, el módulo de almacenamiento 1722 almacena un primer recuento de veces consecutivas que se ha reconocido un objeto dentro del límite o un segundo recuento de un número de veces que se ha reconocido un objeto dentro del límite. El módulo de determinación 1720 determina si el primer recuento o el segundo recuento excede un umbral. El módulo de resaltado 1726 resalta el objeto cuando el primer recuento o el segundo recuento excede el umbral. El módulo de visualización de iconos 1728 visualiza un icono próximo al objeto cuando el primer recuento o el segundo recuento excede el umbral.
En otro aspecto, el módulo de almacenamiento 1722 almacena al menos un primer objeto reconocido en respuesta a al menos uno de un primer comando de voz y un primer comando de gesto y almacena al menos un segundo objeto reconocido en respuesta a al menos uno de un segundo comando de voz y un segundo comando de gesto. A continuación, el módulo de comparación 1724 compara el al menos el primer objeto reconocido y el segundo objeto reconocido para determinar si el primer objeto reconocido es igual que o diferente del segundo objeto reconocido.
En un aspecto, el procedimiento de reconocimiento de objetos se realiza en la primera región dentro del límite para uno o más de una pluralidad de marcos de imagen de la escena del mundo real y el módulo de almacenamiento 1722 almacena un recuento de un número de veces que se ha reconocido un objeto dentro del límite. El módulo de establecimiento de umbrales 1718 establece dinámicamente un umbral en base a al menos uno de un tipo de objeto, un historial y una preferencia del usuario. El módulo de determinación 1720 determina si el recuento excede el umbral. El módulo de resaltado 1726 resalta el objeto cuando el recuento excede el umbral. El módulo de visualización de iconos 1728 visualiza un icono próximo al objeto cuando el recuento excede el umbral.
El módulo de realización de operaciones 1730 realiza al menos una de una operación para acercar un centro de la primera región dentro del límite, una operación para ampliar el límite o una operación para entrar en un estado de ahorro de energía si no se ha reconocido ningún objeto en la primera región dentro del límite.
El módulo de recepción 1710 recibe al menos uno de un comando de voz y un comando de gesto. El módulo de ajuste de aumento 1712 ajusta un aumento de la primera región dentro del límite en respuesta al al menos uno del comando de voz y el comando de gesto.
El módulo de visualización de herramienta de edición de fotos 1714 visualiza al menos una herramienta de edición de fotos. El módulo de edición 1716 edita la primera región dentro del límite usando la al menos una herramienta de edición de fotos en base a al menos uno de un comando de voz y un comando de gesto. El módulo de almacenamiento 1722 almacena una imagen de la primera región editada.
El aparato puede incluir módulos adicionales que realizan cada una de las etapas del algoritmo en los diagramas de flujo mencionados anteriormente de las FIGS. 11-16. Como tal, cada etapa en los diagramas de flujo mencionados anteriormente de las FIGS. 11-16 se puede realizar por un módulo y el aparato puede incluir uno o más de esos módulos. Los módulos pueden ser uno o más componentes de equipo físico configurados específicamente para llevar a cabo los procesos/algoritmos establecidos, implementados por un procesador configurado para realizar los procesos/algoritmos establecidos, almacenados en un medio legible por ordenador para su implementación por un procesador, o alguna combinación de los mismos.
La FIG. 18 es un diagrama que ilustra un ejemplo de una implementación de equipo físico para un aparato 1702' que emplea un sistema de procesamiento 1814. El sistema de procesamiento 1814 se puede implementar con una arquitectura de bus, representada en general por el bus 1824. El bus 1824 puede incluir cualquier número de buses y puentes de interconexión dependiendo de la aplicación específica del sistema de procesamiento 1814 y las restricciones de diseño globales. El bus 1824 enlaza juntos diversos circuitos incluyendo uno o más procesadores y/o módulos de equipo físico, representados por el procesador 1804, los módulos 1703, 1704, 1706, 1708, 1710, 1712, 1714, 1716, 1718, 1720, 1722, 1724, 1726, 1728 y 1730, y el medio legible por ordenador 1806. El bus 1824 también puede enlazar diversos otros circuitos tales como fuentes de temporización, periféricos, reguladores de voltaje y circuitos de gestión de potencia, que son bien conocidos en la técnica y, por lo tanto, no se describirán además.
El sistema de procesamiento 1814 incluye un procesador 1804 acoplado a un medio legible por ordenador 1806. El procesador 1804 es responsable del procesamiento general, incluyendo la ejecución del programa informático almacenado en el medio legible por ordenador 1806. El programa informático, cuando se ejecuta por el procesador 1804, hace que el sistema de procesamiento 1814 realice las diversas funciones descritas supra para cualquier aparato particular. El medio legible por ordenador 1806 también se puede usar para almacenar datos que se manipulen por el procesador 1804 cuando se ejecuta el programa informático. El sistema de procesamiento incluye además al menos uno de los módulos 1703, 1704, 1706, 1708, 1710, 1712, 1714, 1716, 1718, 1720, 1722, 1724, 1726, 1728 y 1730. Los módulos pueden ser módulos de programa informático que se ejecutan en el procesador 1804, residentes/almacenados en el medio legible por ordenador 1806, uno o más módulos de equipo físico acoplados al procesador 1804 o alguna combinación de los mismos.
En una configuración, el aparato 1702/1702' incluye medios para detectar una mirada en una primera región en una escena del mundo real, medios para establecer un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real, medios para realizar un procedimiento de reconocimiento de objetos en la primera región dentro del límite, medios para abstenerse de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región, medios para detectar la mirada en una tercera región en la escena del mundo real, medios para establecer el límite para rodear la tercera región mientras se excluye al menos una cuarta región en la escena del mundo real, medios para almacenar un primer recuento de veces consecutivas que se ha reconocido un objeto dentro del límite o un segundo recuento de un número de veces que se ha reconocido un objeto dentro del límite, medios para determinar si el primer recuento o el segundo recuento excede un umbral, medios para resaltar el objeto cuando el primer recuento o el segundo recuento excede el umbral, medios para visualizar un icono próximo al objeto cuando el primer recuento o el segundo recuento excede el umbral, medios para realizar al menos una operación, incluyendo la al menos una operación al menos una de una operación para acercar un centro de la primera región dentro del límite, una operación para ampliar el límite o una operación para entrar en un estado de ahorro de energía si no se ha reconocido ningún objeto en la primera región dentro del límite, medios para almacenar un recuento de un número de veces que se ha reconocido un objeto dentro del límite, medios para establecer dinámicamente un umbral en base a al menos uno de un tipo de objeto, un historial y una preferencia del usuario, medios para determinar si el recuento excede el umbral, medios para resaltar el objeto cuando el recuento excede el umbral, medios para visualizar un icono próximo al objeto cuando el recuento excede el umbral, medios para recibir al menos uno de un comando de voz y un comando de gesto, medios para ajustar un aumento de la primera región dentro del límite en respuesta al al menos uno del comando de voz y el comando de gesto, medios para visualizar al menos una herramienta de edición de fotos, medios para editar la primera región dentro del límite usando la al menos una herramienta de edición de fotos en base a al menos uno de un comando de voz y un comando de gesto, medios para almacenar una imagen de la primera región editada, medios para almacenar al menos un primer objeto reconocido en respuesta a al menos uno de un primer comando de voz y un primer comando de gesto, medios para almacenar al menos un segundo objeto reconocido en respuesta a al menos uno de un segundo comando de voz y un segundo comando de gesto, y medios para comparar el al menos el primer objeto reconocido y el segundo objeto reconocido.
Los medios mencionados anteriormente pueden ser uno o más de los módulos mencionados anteriormente del aparato 1702 y/o el sistema de procesamiento 1814 del aparato 1702' configurado para realizar las funciones enumeradas por los medios mencionados anteriormente.
Por lo tanto, al reducir el tamaño del límite y realizar el procedimiento de reconocimiento de objetos en la región dentro del límite reducido, el dispositivo óptico puede reducir la cantidad de procesamiento necesario para reconocer un objeto y, por lo tanto, puede conservar la alimentación de batería. Además, los aspectos divulgados en el presente documento mejoran la interacción con la realidad aumentada coordinando gestos de manos, rastreo de ojos/cabeza y comandos de voz.
Se entiende que el orden o jerarquía específicos de etapas en los procedimientos divulgados es una ilustración de enfoques ejemplares. En base a las preferencias de diseño, se entiende que el orden o jerarquía específicos de las etapas en los procesos se pueden reordenar. Además, algunas etapas se pueden combinar u omitir. Las reivindicaciones de procedimiento adjuntas presentan elementos de las diversas etapas en orden de muestra y no se pretende que se limiten al orden o jerarquía específicos presentados.
La descripción previa se proporciona para permitir que cualquier experto en la técnica practique los diversos aspectos descritos en el presente documento. Diversas modificaciones a estos modos de realización serán fácilmente evidentes para los expertos en la técnica, y los principios genéricos definidos en el presente documento se pueden aplicar a otros aspectos. Por tanto, las reivindicaciones no están destinadas a limitar los aspectos mostrados en el presente documento, sino a conceder el alcance total consecuente con el lenguaje de las reivindicaciones, en el que la referencia a un elemento en singular no está destinado a querer decir "uno y solo uno "a menos específicamente así se establezca, sino más bien "uno o más". A menos que se especifique de otro modo, el término "algunos" se refiere a uno o más. Además, nada de lo divulgado en el presente documento está destinado a dedicarse al público independientemente de si dicha divulgación se enumera explícitamente en las reivindicaciones. Ningún elemento de reivindicación se debe interpretar como un medio más una función a menos que el elemento se enumere expresamente usando la frase "medios para".

Claims (15)

REIVINDICACIONES
1. Un procedimiento (1500) para controlar un dispositivo óptico configurado para visualizar contenido, comprendiendo el procedimiento:
detectar (1502) una mirada de un usuario en una primera región en una escena del mundo real;
establecer (1504) un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real;
realizar (1510) un procedimiento de reconocimiento de objetos en la primera región dentro del límite; abstenerse (1512) de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región; visualizar (1516) al menos una herramienta de edición de fotos;
editar (1518) la primera región dentro del límite usando la al menos una herramienta de edición de fotos en base a al menos uno de un comando de voz y un comando de gesto antes de capturar una foto de la escena del mundo real.
2. El procedimiento (1500) de la reivindicación 1, en el que si no se ha reconocido ningún objeto en la primera región dentro del límite, el procedimiento comprende además realizar (1514) al menos una de una operación de acercar un centro de la primera región dentro del límite, una operación para ampliar el límite o una operación para entrar en un estado de ahorro de energía.
3. El procedimiento (1500) de la reivindicación 1, que comprende además:
recibir (1506) al menos uno de un comando de voz y un comando de gesto; y
ajustar (1508) un aumento de la primera región dentro del límite en respuesta al al menos uno del comando de voz y el comando de gesto.
4. El procedimiento de la reivindicación 1, que comprende además:
almacenar una imagen de la primera región editada.
5. El procedimiento de la reivindicación 1, en el que la herramienta de edición de fotos incluye al menos una de una herramienta de filtro, una herramienta de imágenes prediseñadas, una herramienta de saturación de color, una herramienta de conversión de tono sepia y una herramienta de conversión de blanco y negro.
6. Un aparato (1700) para controlar un dispositivo óptico configurado para visualizar contenido, comprendiendo el aparato:
medios (1703) para detectar una mirada de un usuario en una primera región en una escena del mundo real; medios (1704) para establecer un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real;
medios (1706) para realizar un procedimiento de reconocimiento de objetos en la primera región dentro del límite; medios (1708) para abstenerse de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región, comprendiendo además:
medios (1714) para visualizar al menos una herramienta de edición de fotos;
medios (1716) para editar la primera región dentro del límite usando la al menos una herramienta de edición de fotos en base a al menos uno de un comando de voz y un comando de gesto antes de capturar una foto de la escena del mundo real.
7. El aparato (1700) de la reivindicación 6, que comprende además medios (1730) para realizar al menos una operación, comprendiendo la al menos una operación al menos una de una operación para acercar un centro de la primera región dentro del límite, una operación para ampliar el límite o una operación para entrar en un estado de ahorro de energía si no se ha reconocido ningún objeto en la primera región dentro del límite.
8. El aparato (1700) de la reivindicación 6, que comprende además:
medios (1710) para recibir al menos uno de un comando de voz y un comando de gesto; y
medios (1712) para ajustar un aumento de la primera región dentro del límite en respuesta al al menos uno del comando de voz y el comando de gesto.
9. El aparato de la reivindicación 6, que comprende además:
medios para almacenar una imagen de la primera región editada.
10. El aparato de la reivindicación 6, en el que la herramienta de edición de fotos incluye al menos una de una herramienta de filtro, una herramienta de imágenes prediseñadas, una herramienta de saturación de color, una herramienta de conversión de tono sepia y una herramienta de conversión de blanco y negro.
11. Un producto de programa informático, que comprende:
un medio legible por ordenador (1806) que comprende un código que, cuando se ejecuta en un procesador, está dispuesto para llevar a cabo:
detectar una mirada en una primera región en una escena del mundo real;
establecer un límite que rodea la primera región, excluyendo el límite al menos una segunda región en la escena del mundo real;
realizar un procedimiento de reconocimiento de objetos en la primera región dentro del límite;
abstenerse de realizar un procedimiento de reconocimiento de objetos en la al menos la segunda región; visualizar al menos una herramienta de edición de fotos;
editar la primera región dentro del límite usando la al menos una herramienta de edición de fotos en base a al menos uno de un comando de voz y un comando de gesto antes de capturar una foto de la escena del mundo real.
12. El producto de programa informático de la reivindicación 11, comprendiendo además el medio legible por ordenador un código para realizar al menos una de una operación para acercar un centro de la primera región dentro del límite, una operación para ampliar el límite o una operación para entrar en un estado de ahorro de energía si no se ha reconocido ningún objeto en la primera región dentro del límite.
13. El producto de programa informático de la reivindicación 11, comprendiendo además el medio legible por ordenador un código para:
recibir al menos uno de un comando de voz y un comando de gesto; y
ajustar un aumento de la primera región dentro del límite en respuesta al al menos uno del comando de voz y el comando de gesto.
14. El producto de programa informático de la reivindicación 11, comprendiendo además el medio legible por ordenador un código para:
almacenar una imagen de la primera región editada.
15. El producto de programa informático de la reivindicación 11, en el que la herramienta de edición de fotos incluye al menos una de una herramienta de filtro, una herramienta de imágenes prediseñadas, una herramienta de saturación de color, una herramienta de conversión de tono sepia y una herramienta de conversión de blanco y negro.
ES14702688T 2013-01-13 2014-01-10 Aparato y procedimiento para controlar un dispositivo de realidad aumentada Active ES2899753T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/740,256 US10359841B2 (en) 2013-01-13 2013-01-13 Apparatus and method for controlling an augmented reality device
PCT/US2014/011134 WO2014110437A1 (en) 2013-01-13 2014-01-10 Apparatus and method for controlling an augmented reality device

Publications (1)

Publication Number Publication Date
ES2899753T3 true ES2899753T3 (es) 2022-03-14

Family

ID=50033807

Family Applications (1)

Application Number Title Priority Date Filing Date
ES14702688T Active ES2899753T3 (es) 2013-01-13 2014-01-10 Aparato y procedimiento para controlar un dispositivo de realidad aumentada

Country Status (7)

Country Link
US (2) US10359841B2 (es)
EP (1) EP2943853B1 (es)
JP (1) JP6254193B2 (es)
KR (1) KR102159313B1 (es)
CN (2) CN109901722B (es)
ES (1) ES2899753T3 (es)
WO (1) WO2014110437A1 (es)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
JP6205189B2 (ja) * 2013-06-28 2017-09-27 オリンパス株式会社 情報提示システム及び情報提示システムの制御方法
JP6221535B2 (ja) * 2013-09-11 2017-11-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2015054562A1 (en) * 2013-10-11 2015-04-16 Interdigital Patent Holdings, Inc. Gaze-driven augmented reality
KR102173123B1 (ko) * 2013-11-22 2020-11-02 삼성전자주식회사 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
US20150145887A1 (en) * 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
US10802582B1 (en) * 2014-04-22 2020-10-13 sigmund lindsay clements Eye tracker in an augmented reality glasses for eye gaze to input displayed input icons
US10282057B1 (en) * 2014-07-29 2019-05-07 Google Llc Image editing on a wearable device
JP2016033763A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US9959591B2 (en) 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
JP6421543B2 (ja) * 2014-10-17 2018-11-14 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US10140768B2 (en) 2014-10-17 2018-11-27 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, and computer program
JP6358038B2 (ja) * 2014-10-17 2018-07-18 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US9898868B2 (en) * 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
CN104598138B (zh) * 2014-12-24 2017-10-17 三星电子（中国）研发中心 电子地图控制方法及装置
KR20160080851A (ko) * 2014-12-29 2016-07-08 엘지전자 주식회사 디스플레이 장치 및 제어 방법
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2016190773A1 (en) 2015-05-28 2016-12-01 Motorola Solutions, Inc. Virtual push-to-talk button
EP3109733B1 (en) * 2015-06-22 2020-07-22 Nokia Technologies Oy Content delivery
US9829976B2 (en) * 2015-08-07 2017-11-28 Tobii Ab Gaze direction mapping
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
IL241446B (en) * 2015-09-10 2018-05-31 Elbit Systems Ltd Display adjustments on user screens and guiding users' attention
CN106372095B (zh) * 2015-10-16 2020-02-07 北京智谷睿拓技术服务有限公司 电子地图显示方法、装置及车载设备
IL243422B (en) 2015-12-30 2018-04-30 Elbit Systems Ltd Information management is displayed according to the directions of the user's gaze
US9939635B2 (en) * 2016-02-29 2018-04-10 Brillio LLC Method for providing notification in virtual reality device
US20170286785A1 (en) * 2016-04-05 2017-10-05 Ford Global Technologies, Llc Interactive display based on interpreting driver actions
WO2017193297A1 (en) * 2016-05-11 2017-11-16 Intel Corporation Movement mapping based control of telerobot
US10089071B2 (en) 2016-06-02 2018-10-02 Microsoft Technology Licensing, Llc Automatic audio attenuation on immersive display devices
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
CN107728776A (zh) * 2016-08-11 2018-02-23 成都五维译鼎科技有限公司 信息采集的方法、装置、终端及系统及用户终端
US10339708B2 (en) * 2016-11-01 2019-07-02 Google Inc. Map summarization and localization
WO2018097632A1 (en) * 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Method and device for providing an image
CN108347520A (zh) * 2017-01-23 2018-07-31 阿里巴巴集团控股有限公司 情景模式的发送方法及装置、应用的启动方法及装置
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
CN108089701A (zh) * 2017-12-07 2018-05-29 北京奇虎科技有限公司 一种虚拟现实vr场景的展示方法和装置
CN108280434A (zh) * 2018-01-25 2018-07-13 北京小米移动软件有限公司 显示信息的方法和装置
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
JP6711379B2 (ja) * 2018-08-22 2020-06-17 セイコーエプソン株式会社 頭部装着型表示装置、コンピュータープログラム
US20200082576A1 (en) * 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
CN111751987B (zh) 2019-03-29 2023-04-14 托比股份公司 全息眼睛成像设备
US11275889B2 (en) * 2019-04-04 2022-03-15 International Business Machines Corporation Artificial intelligence for interactive preparation of electronic documents
SE1950758A1 (en) * 2019-06-19 2020-10-27 Tobii Ab Method and system for determining a refined gaze point of a user
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
JP2021140085A (ja) * 2020-03-06 2021-09-16 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
CN113836973A (zh) * 2020-06-23 2021-12-24 中兴通讯股份有限公司 终端控制方法、装置、终端及存储介质
US12095865B2 (en) 2020-12-11 2024-09-17 International Business Machines Corporation Identifying a voice command boundary
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN113359996A (zh) * 2021-08-09 2021-09-07 季华实验室 生活辅助机器人控制系统、方法、装置及电子设备
CN114971764A (zh) * 2022-04-08 2022-08-30 浙江赟燊商业信息系统科技有限公司 一种基于HoloLens的存储和匹配系统及方法
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372096B2 (ja) 1993-12-28 2003-01-27 株式会社東芝 画像情報アクセス装置
JPH11242733A (ja) 1998-02-24 1999-09-07 Sanyo Electric Co Ltd 省電力制御装置
GB0011438D0 (en) 2000-05-12 2000-06-28 Koninkl Philips Electronics Nv Memory aid
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6707418B2 (en) * 2002-07-12 2004-03-16 Itt Manufacturing Enterprises, Inc. Correlating single continuous wave radar space object observation for initial orbit determination
JP4604597B2 (ja) 2004-07-30 2011-01-05 トヨタ自動車株式会社 状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法
EP1775712A1 (en) * 2005-10-13 2007-04-18 Sony Ericsson Mobile Communications AB Automatic theme creator
JP2007184683A (ja) 2006-01-04 2007-07-19 Eastman Kodak Co 画像データ処理装置及び方法
JP4984640B2 (ja) 2006-05-17 2012-07-25 トヨタ自動車株式会社 認識装置、地図データ作成装置および認識方法
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
JP4810440B2 (ja) 2007-01-09 2011-11-09 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
US7954067B2 (en) * 2007-03-16 2011-05-31 Apple Inc. Parameter setting superimposed upon an image
US20080229232A1 (en) * 2007-03-16 2008-09-18 Apple Inc. Full screen editing of visual media
JP5159515B2 (ja) 2008-08-26 2013-03-06 キヤノン株式会社 画像処理装置およびその制御方法
KR20100028344A (ko) * 2008-09-04 2010-03-12 삼성전자주식회사 휴대단말의 영상 편집 방법 및 장치
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US8897603B2 (en) * 2009-08-20 2014-11-25 Nikon Corporation Image processing apparatus that selects a plurality of video frames and creates an image based on a plurality of images extracted and selected from the frames
KR101598632B1 (ko) * 2009-10-01 2016-02-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 이동 단말기 및 그의 태그 편집 방법
US20120242698A1 (en) 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US20120212499A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20110273466A1 (en) 2010-05-10 2011-11-10 Canon Kabushiki Kaisha View-dependent rendering system with intuitive mixed reality
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
JP5751898B2 (ja) 2011-04-05 2015-07-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム及び記憶媒体
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US9117483B2 (en) * 2011-06-03 2015-08-25 Michael Edward Zaletel Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition
JP5868618B2 (ja) 2011-06-14 2016-02-24 オリンパス株式会社 情報処理装置、画像処理システム及びプログラム
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9131192B2 (en) * 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
US8482527B1 (en) * 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
US9279983B1 (en) * 2012-10-30 2016-03-08 Google Inc. Image cropping
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device

Also Published As

Publication number Publication date
KR20150107781A (ko) 2015-09-23
WO2014110437A1 (en) 2014-07-17
EP2943853B1 (en) 2021-11-17
JP6254193B2 (ja) 2017-12-27
CN109901722A (zh) 2019-06-18
CN104937519A (zh) 2015-09-23
US11366515B2 (en) 2022-06-21
US20190278367A1 (en) 2019-09-12
EP2943853A1 (en) 2015-11-18
JP2016503217A (ja) 2016-02-01
KR102159313B1 (ko) 2020-09-23
CN109901722B (zh) 2022-07-29
US20140198129A1 (en) 2014-07-17
CN104937519B (zh) 2019-05-10
US10359841B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
ES2899753T3 (es) Aparato y procedimiento para controlar un dispositivo de realidad aumentada
US10996846B2 (en) Neural network system for gesture, wear, activity, or carry detection on a wearable or mobile device
US11320655B2 (en) Graphic interface for real-time vision enhancement
US9607440B1 (en) Composite image associated with a head-mountable device
US20150287244A1 (en) Eyepiece-type display apparatus and display control method therefor
US9442292B1 (en) Directional array sensing module
US20150331486A1 (en) Image processing device, image processing method and program
JP2018527649A (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
US20140152539A1 (en) Apparatus and method for an infrared contactless gesture system
KR20200051591A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP2014146871A (ja) ウェアラブル型表示装置及びプログラム
WO2016144419A1 (en) Night driving system and method
KR20150011742A (ko) 사용자 단말 장치 및 그 제어 방법
KR20140128489A (ko) 영상 인식과 터치 인터페이스를 이용한 스마트 안경 및 그의 제어 방법
JP2024534528A (ja) 焦点遷移を補強するための注意追跡
CN115702439A (zh) 用于分离相机的双系统光学对准
CA2842264C (en) A device with enhanced augmented reality functionality
US11302285B1 (en) Application programming interface for setting the prominence of user interface elements
JP6276170B2 (ja) 表示装置および表示方法
CN115797815B (zh) Ar翻译的处理方法及电子设备
WO2021044732A1 (ja) 情報処理装置、情報処理方法及び記憶媒体
KR20240018607A (ko) 동적 트랜스코드 스로틀링을 갖는 디바이스
KR20240030881A (ko) 가상 컨텐츠 출력 방법 및 이를 지원하는 전자장치
KR20140130327A (ko) 착용형 전자 장치 및 그의 제어 방법