ES2759054T3 - Región basada en gestos del cuerpo humano y selección de volumen para HMD - Google Patents

Abstract

Un procedimiento para seleccionar un objeto de realidad aumentada, RA, en un dispositivo montado en la cabeza, HMD (120), que comprende: definir (205) una región de interés, RDI, (305) en base a un primer gesto formado por una forma (315) por al menos una mano de un usuario que proporciona al menos un contorno parcial de la RDI; mostrar (210) al usuario una forma en el HMD, en el que la forma da un contorno de la RDI; mostrar (215) al usuario una pluralidad de objetos de RA (405, 410, 415, 420, 425, 505, 510, 515), estando asociado cada uno de la pluralidad de objetos de RA con uno de una pluralidad de objetivos en el interior de la RDI; reducir (220) el tamaño de la RDI en base a un segundo gesto para formar una RDI de tamaño reducido, el segundo gesto realizado por un primer movimiento de al menos una mano del usuario; y seleccionar (225) un objeto de RA específico de la pluralidad de objetos de RA, el objeto de RA específico asociado con un primer objetivo de una pluralidad de objetivos dentro de la RDI de tamaño reducido.

Description

DESCRIPCIÓN

Región basada en gestos del cuerpo humano y selección de volumen para HMD

ANTECEDENTES

[0001] Los aspectos de la divulgación se relacionan con la selección de un objeto de realidad aumentada (RA) en pantalla montada en la cabeza (HMD) usando gestos del cuerpo humano.

[0002] Un HMD se puede desarrollar ahora como un dispositivo ligero y asequible con cierto grado de potencia de procesamiento integrado o bien proporcionado por un dispositivo anfitrión que se conecta a1HMD, tal como un teléfono inteligente.

[0003] Un HMD puede incluir una o más cámaras egocéntricas montadas en la montura de gafas. Un HMD también puede incluir sensores ópticos, acelerómetros, GPS, giroscopios, brújulas de estado sólido, IDRF y sensores inalámbricos. Un HMD puede tener un área de pantalla transparente dentro del campo de visión de un usuario en la que un usuario puede ver tanto objetos físicos como objetos virtuales en la pantalla.

[0004] Usando las cámaras integradas, un HMD puede capturar imágenes y vídeos de acuerdo con la entrada de usuario. Los procedimientos convencionales incluyen que un usuario toque un botón en e1HMD para capturar una imagen en el campo de visión del usuario.

[0005] El documento de ISMAIL HARITAOGLU. "InfoScope: Link from Real World to Digital Information Space". LECTURE NOTES IN COMPUTER SCIENCE/COMPUTATIONAL SCIENCE, (EUROCRYPT) CHES 2008, SPRINGER, DE, (20010101), vol. 2201. ISBN 978-3-540-24128-7, PÁGINA 247 - 255, XP002471698 divulga un sistema de aumento de información y aplicaciones que integran un dispositivo de mano con una cámara para fotocromía para proporcionar servicios de percepción de información potenciados a los usuarios. El sistema usa una cámara para fotocromía como dispositivo de entrada para capturar imágenes de vistas del mundo real y utiliza técnicas de visión por ordenador para extraer información del mundo real, convertirlas al mundo digital como información textual y aumentarlas de nuevo a la localización de la escena original. Los documentos "Multimodal interaction in an augmented reality scenario", ACM, 2 PENN PLAZA, SUITE 701 - NEW YORK USA, octubre 2004 (10-2004), y US 2011/158478 A1 (YAMADA SHOJI [JP] ETAL), 30 de junio de 2011, divulgan la interacción con un HMD por medio de gestos.

BREVE SUMARIO

[0006] De acuerdo con la presente invención, se proporcionan un procedimiento como se expone en la reivindicación 1, un medio legible por ordenador como se expone en la reivindicación 9 y un dispositivo montado en la cabeza como se expone en la reivindicación 10. Los modos de realización de la invención se reivindican en las reivindicaciones dependientes.

[0007] Se describen determinados modos de realización que permiten que un usuario seleccionar uno o más objetos de realidad aumentada (RA) en un casco de realidad virtual (HMD) sin que un usuario toque físicamente el HMD.

[0008] En algunos modos de realización, un HMD puede definir una región de interés (RDI) en base a un gesto formado por al menos una mano de un usuario. Posteriormente, el HMD puede mostrar al usuario una forma en el HMD. En al menos una disposición, la forma da un contorno de la RDI. Adicionalmente, e1HMD puede mostrar al usuario una pluralidad de objetos de RA, estando asociado cada uno de la pluralidad de objetos de RA con un objetivo en el interior de la RDI. Además, el HMD puede reducir el tamaño de la RDI en base a un primer movimiento de al menos una mano del usuario para formar una RDI de tamaño reducido. En al menos una disposición, se usa la RDI de tamaño reducido para seleccionar un objeto de RA específico de la pluralidad de objetos de RA. En una o más disposiciones, el procedimiento para reducir el tamaño de la RDI comprende acercar 1 las manos del usuario entre sí. Adicionalmente, el HMD puede desconectar la RDI de tamaño reducido en base a una acontecimiento de desconexión. Por ejemplo, se puede producir el acontecimiento de desconexión cuando al menos una mano del usuario está lejos de la RDI, cuando al menos un dedo y pulgar del usuario están cerrados entre sí, o cuando un comando de voz del usuario.

[0009] En otra disposición, en la que múltiples aumentos se asocian con el objeto de RA específico, e1HMD puede mostrar además al usuario un aumento correspondiente de los múltiples aumentos asociados con el objeto de RA específico en base a un segundo movimiento de al menos una mano del usuario en la dirección del objeto de RA específico.

[0010] En otra disposición, el HMD puede capturar además el texto en el interior de la RDI de tamaño reducido; e inicializar una traducción en base al texto capturado. El HMD también puede realizar un reconocimiento visual automático y una búsqueda visual de la RDI o RDI de tamaño reducido.

[0011] En otra disposición, el HMD puede usar el tamaño reducido para acortar un campo de visión durante un vídeo compartido con uno o más de otros usuarios.

[0012] En algunos modos de realización, un dispositivo montado en la cabeza (HMD) para seleccionar un objeto de realidad aumentada (RA) puede comprender: uno o más procesadores; y una memoria que almacena instrucciones legibles por ordenador que, cuando se ejecutan por el uno o más procesadores, provocan que el HMD: defina una región de interés (RDI) en base a un gesto formado por al menos una mano de un usuario; muestre al usuario una forma en el HMD, en el que la forma da un contorno de la RDI; muestre al usuario una pluralidad de objetos de RA, estando asociado cada uno de la pluralidad de objetos de RA con un objetivo en el interior de la RDI; y reduzca el tamaño de la RDI en base a un primer movimiento de al menos una mano del usuario para formar una RDI de tamaño reducido, en el que se usa la RDI de tamaño reducido para seleccionar un objeto de RA específico de la pluralidad de objetos de RA.

[0013] En algunos modos de realización, uno o más medios legibles por ordenador que almacenan instrucciones ejecutables por ordenador para seleccionar un objeto de realidad aumentada (RA) en un dispositivo montado en la cabeza (HMD) que, cuando se ejecutan, pueden provocar que uno o más dispositivos informáticos incluidos en un HMD: definan una región de interés (RDI) en base a un gesto formado por al menos una mano de un usuario; muestren al usuario una forma en el HMD, en los que la forma da un contorno de la RDI; muestren al usuario una pluralidad de objetos de RA, estando asociado cada uno de la pluralidad de objetos de RA con un objetivo en el interior de la RDI; y reduzcan el tamaño de la RDI en base a un primer movimiento de al menos una mano del usuario para formar una RDI de tamaño reducido, en los que se usa la RDI de tamaño reducido para seleccionar un objeto de RA específico de la pluralidad de objetos de RA.

[0014] En algunos modos de realización, un dispositivo montado en la cabeza (HMD) para seleccionar un objeto de realidad aumentada (RA) puede comprender: medios para definir una región de interés (RDI) en base a un gesto formado por al menos una mano de un usuario; medios para mostrar al usuario una forma en e1HMD, en el que la forma da un contorno de la RDI; medios para mostrar al usuario una pluralidad de objetos de RA, estando asociado cada uno de la pluralidad de objetos de RA con un objetivo en el interior de la RDI; y medios para reducir el tamaño de la RDI en base a un primer movimiento de al menos una mano del usuario para formar una RDI de tamaño reducido, en el que se usa la RDI de tamaño reducido para seleccionar un objeto de RA específico de la pluralidad de objetos de RA.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

[0015] Los aspectos de la divulgación se ilustran a modo de ejemplo. En las figuras adjuntas, los mismos números de referencia indican elementos similares y:

las FIGS. 1A y 1B ilustran diagramas simplificados de un HMD que puede incorporar uno o más modos de realización;

la FIG. 2 ilustra un diagrama de flujo que describe un procedimiento sin contacto de interacción con HMD para seleccionar objetivos de RA, de acuerdo con un modo de realización;

las FIGS. 3A y 3B ilustran procedimientos para seleccionar una región de interés (RDI), de acuerdo con un modo de realización;

la FIG. 4 ilustra una RDI con cinco objetivos mostrados en el HMD, de acuerdo con un modo de realización;

la FIG. 5 ilustra una RDI de tamaño reducido con tres objetivos mostrados en e1HMD, de acuerdo con un modo de realización;

la FIG. 6 ilustra un diagrama de flujo para seleccionar una capa específica de aumento para objetivos de RA;

la FIG. 7 ilustra un usuario que navega a través de múltiples aumentos desplazándose en la dirección del objetivo usando un VDI;

la FIG. 8 ilustra un diagrama de flujo para iniciar aplicaciones inteligentes (por ejemplo, traducción, búsqueda visual) en base a la RDI; y

la FIG. 9 ilustra un ejemplo de un dispositivo informático en el que se pueden implementar uno o más modos de realización.

DESCRIPCIÓN DETALLADA

[0016] Se describirán ahora varios modos de realización ilustrativos con respecto a los dibujos adjuntos, que forman parte de los mismos.

[0017] Los modos de realización de la presente invención se dirigen hacia la selección de un objeto de realidad aumentada (RA) en un casco de realidad virtual (HMD) usando gestos del cuerpo humano. Algunos modos de realización divulgan procedimientos para seleccionar uno o más objetos de realidad aumentada (RA) en un casco de realidad virtual (HMD) sin que un usuario toque físicamente el HMD.

[0018] Un HMD puede proporcionar una funcionalidad de realidad aumentada (RA) superponiendo objetos físicos vistos por un usuario con contenido digital (por ejemplo, texto, fotografías, vídeo) asociado con los objetos físicos o asociado con la localización y/o contexto del usuario, por ejemplo. Por ejemplo, un HMD con capacidades de realidad aumentada (RA) puede disponer imágenes tanto del mundo físico como de objetos virtuales sobre el campo de visión del usuario. Como resultado, un HMD puede proporcionar a los usuarios una experiencia de RA móvil y colaborativa.

[0019] Como se usa en el presente documento, el término HMD se refiere a un dispositivo que captura datos del sensor de distancias y tiene una capacidad de visualización vinculada a un procesador móvil, que puede ser un dispositivo separado en relación con el dispositivo montado en la cabeza. En un modo de realización, e1HMD 120 puede ser un accesorio para una CPU de dispositivo móvil (por ejemplo, el procesador de un teléfono móvil, tableta, teléfono inteligente, etc.) con el procesamiento principal del sistema de control de HMD que se realiza en el procesador del dispositivo móvil. En otro modo de realización, el HMD 120 puede comprender un procesador, una memoria, una pantalla y una cámara.

[0020] En otro modo de realización, el HMD puede incluir una interfaz inalámbrica para conectarse con internet, una red inalámbrica local u otro dispositivo informático. En otro modo de realización, se puede asociar un proyector en el HMD para posibilitar la proyección de imágenes en superficies. El HMD es preferentemente liviano y está construido para evitar el uso de componentes pesados, lo que podría provocar que el dispositivo fuera incómodo de llevar. El HMD también se puede hacer funcionar para que reciba entradas de audio/gestuales de un usuario. Dichas entradas gestuales o de audio pueden ser comandos de voz o un gesto del usuario reconocido, que cuando se reconoce por un dispositivo informático puede provocar que ese dispositivo ejecute un comando correspondiente.

[0021] La realidad aumentada (RA) puede ser una vista en vivo, directa o indirecta, de un entorno físico del mundo real cuyos elementos se aumentan por la entrada sensorial generada por ordenador, tal como, pero sin limitarse a, datos de sonido, texto, gráficos, vídeo y GPS.

[0022] Usando la tecnología de RA, tal como el reconocimiento de objetos, la información sobre el mundo real circundante del usuario se vuelve interactiva y digitalmente manipulable. La información artificial sobre el entorno del usuario y sus objetos se puede superponer en el mundo real.

[0023] Además, aunque los modos de realización se describen en el presente documento con respecto a un HMD, los expertos en la materia apreciarán que se pueden utilizar otras formas de cascos de realidad virtual. Por ejemplo, los modos de realización descritos en el presente documento se pueden implementar con respecto a una o más lentes de contacto que un usuario puede llevar y/o se pueden implementar en otra forma de visualización a través de la que un usuario puede percibir un campo de visión.

[0024] Algunos modos de realización permiten interaccionar con un HMD para seleccionar puntos de interés (PDI) y objetivos de RA geolocalizados. Detectando un gesto del cuerpo humano natural, el sistema puede activar que un HMD seleccione un subconjunto de PDI u objetivos de RA dentro de la RDI vistos a través de las gafas.

[0025] Los diversos modos de realización incluyen procedimientos de selección de objetivos de RA en un sistema de realidad aumentada, incluyendo definir una RDI en base al gesto del usuario capturando datos espaciales con uno o más sensores virtuales, mostrar una forma que da un contorno de la RDI en la pantalla de1HMD, calcular parámetros, incluyendo la distancia con respecto al HMD que se corresponde con los objetivos de RA, mostrar una pluralidad de objetos de RA dentro de la RDI, reducir el tamaño de la RDI en base al movimiento de la mano del usuario y usar una RDI de tamaño reducido para seleccionar un objetivo de RA específico. En un modo de realización, el procedimiento puede incluir actualizar continuamente la pantalla del objeto virtual generado de modo que el objeto virtual aparezca anclado para mostrarse a medida que el usuario gira la cabeza.

[0026] Las FIGS. 1A-B ilustran diagramas simplificados de un HMD 120 que puede incorporar uno o más modos de realización.

[0027] El diagrama de flujo ilustrado por la FIG. 2 describe un procedimiento sin contacto de interacción con HMD para seleccionar PDI (puntos de interés) y objetivos de RA geolocalizados, de acuerdo con un modo de realización.

Detectando un gesto del cuerpo humano natural, el HMD puede seleccionar un subconjunto de los PDI u objetivos de RA vistos a través de las gafas. La FIG. 3A ilustra un procedimiento ejemplar de interacción con HMD para seleccionar un objeto de RA usando el procedimiento descrito en la FIG. 2. El gesto puede implicar orientar los dedos índice y pulgar de ambas manos en la dirección ortogonal como se muestra en la FIG. 3A y FIG. 4. Después de que la RDI se haya reconocido por el HMD, un usuario puede seleccionar los PDI y objetivos de RA geolocalizados en un espacio bi o tridimensional especificando además la RDI o el volumen de interés (VDI), tal como se muestra en la FIG. 3B, FIG. 5 y FIG. 7.

[0028] De acuerdo con otro modo de realización, se puede usar una cámara habilitada para profundidad (por ejemplo, una cámara estereoscópica) en el HMD para usar VDI para seleccionar un aumento cuando el objeto de RA tiene múltiples aumentos asociados con él. La cámara habilitada para profundidad puede reconocer el movimiento de las manos delante del usuario o en la vista de la cámara. Con estas cámaras, e1HMD puede reconocer la posición de las manos del usuario en relación con el objetivo y, por lo tanto, mostrar diferentes aumentos en base a la posición.

[0029] Por ejemplo, un usuario puede seleccionar una capa específica de aumento para objetivos de RA, como se describe además en el diagrama de flujo ilustrado por la FIG. 6. En primer lugar, un usuario puede seleccionar un objetivo de RA específico seleccionando la RDI. Además, si se asocian múltiples aumentos con un objetivo de RA dado, el usuario puede navegar a través de ellos desplazándose en la dirección del objetivo usando VDI. Por ejemplo, en la FIG. 7, para el cartel de película 720, el usuario puede navegar a través de tres aumentos diferentes 705, 710, 715 que muestran: el nombre de la película con reseña; el tráiler; y los horarios de proyección asociados con la película. Dependiendo de la posición de las manos, el aumento de RA correspondiente se muestra al usuario.

[0030] De acuerdo con otro modo de realización, el sistema puede iniciar aplicaciones inteligentes (por ejemplo, traducción, búsqueda visual) en base a la RDI, como se describe además en el diagrama de flujo ilustrado por la FIG. 8. Por ejemplo, se puede alimentar una RDI en un sistema de búsqueda visual o un traductor basado en el reconocimiento óptico de caracteres (OCR) y los resultados mostrarse en e1HMD.

[0031] De acuerdo con otro modo de realización, se puede utilizar la RDI para acortar el campo de visión para compartir vídeos. Por ejemplo, se trata la RDI como la vista compartida para una comunicación basada en vídeo, de modo que solo una parte de su campo de visión (por ejemplo, presentación, documento) se comparte con usuarios remotos.

Definir una región de interés usando gestos de la mano

[0032] La FIG. 1A es la ilustración simplificada 100 de un HMD 120 configurado para definir una región de interés (RDI) en base a los gestos de un usuario, de acuerdo con un modo de realización. En este modo de realización, un HMD 120 llevado por un usuario 110 tiene una cámara y/u otro(s) sensor(es) configurado(s) para seguir a la mano 130 del usuario para definir la RDI. Haciendo esto, el HMD 120 puede mostrar una forma que da un contorno de la RDI en la pantalla 140 del HMD 120. Esto puede permitir que el usuario dé una respuesta en tiempo real para ajustar la RDI según se desee, eliminando la necesidad de una interfaz separada (por ejemplo, panel táctil, botones) para recibir la entrada de usuario. Se pueden incorporar otras interfaces en e1HMD 120, dependiendo de la funcionalidad deseada. El HMD 120 puede utilizar las una o más cámara(s) preinstalada(s) 150 para seguir a la mano 130 del usuario para determinar la RDI.

[0033] La FIG. 1B es una ilustración de un modo de realización de un HMD 120 que puede utilizar las técnicas proporcionadas en el presente documento. El modo de realización mostrado incluye pantallas 140 y una o más cámaras 150. Este modo de realización incluye una montura similar a unas gafas que pueden descansar sobre la nariz y las orejas de un usuario 110, situando las pantallas 140 delante de los ojos de un usuario.

[0034] Los diversos modos de realización posibilitan que el HMD 120 capture los gestos de la mano 130 del usuario usando los sensores en el HMD 120. En un modo de realización, la cámara 150 puede ser una cámara de realidad virtual, que puede generar datos de imágenes que un procesador puede analizar para estimar distancias con respecto a los objetos en la imagen a través del análisis trigonométrico de las imágenes. De forma alternativa o además, el HMD 120 puede incluir uno o más sensores de medición de distancias (por ejemplo, un telémetro láser o sónico) que pueden medir distancias con respecto a las diversas superficies dentro de la imagen. En los diversos modos de realización, se puede usar una variedad de diferentes tipos de sensores y algoritmos de medición de distancias en una vista obtenida como imagen para medir distancias con respecto a los objetos dentro de una escena vista por el usuario 110. Además, se puede usar más de un sensor y tipo de sensor en e1HMD 120.

[0035] Además, el HMD 120 puede incluir sensores de orientación, tales como acelerómetros, giroscopios, sensores magnéticos, sensores ópticos, sensores de nivel mecánicos o electrónicos, y sensores inerciales que solos o en combinación pueden proporcionar datos al procesador del dispositivo con respecto a la orientación de nivel superior/inferior del dispositivo (por ejemplo, detectando la orientación de la fuerza de gravedad) y, por tanto, la orientación de la posición de la cabeza del usuario (y desde esa perspectiva de visualización). Además, e1HMD 120 puede incluir sensores de orientación rotacional, tales como una brújula electrónica y acelerómetros que pueden proporcionar datos al procesador del dispositivo con respecto a la orientación y movimiento hacia la izquierda/derecha. Conjuntamente, los sensores (incluidos acelerómetros, giroscopios, sensores magnéticos, sensores ópticos, sensores de nivel mecánicos o electrónicos, sensores inerciales y brújulas electrónicas) se configuran para proporcionar datos con respecto a la orientación superior/inferior y rotacional de1HMD 120 (y, por tanto, de la perspectiva de visualización del usuario).

[0036] El HMD 120 se puede configurar para reconocer las entradas de usuario, lo que se puede hacer a través de gestos que se pueden obtener como imágenes por la cámara. La distancia con respecto al objeto reconocido dentro de la imagen se puede determinar a partir de datos recopilados de la imagen capturada y los sensores de distancias. El HMD 120 puede proporcionar datos del sensor de imágenes y distancias y recibir información de visualización de un procesador móvil que puede estar separado del HMD 120, tal como en un teléfono inteligente u otro dispositivo móvil.

[0037] Al menos una porción de las pantallas 140 es transparente, lo que proporciona un área de pantalla transparente que posibilita que un usuario vea no solo imágenes mostradas en las pantallas 140, sino también objetos físicos en el entorno del usuario. El nivel de transparencia de las imágenes mostradas en la pantalla 140 puede variar, dependiendo de la funcionalidad deseada de las pantallas 140, las configuraciones de una interfaz gráfica de usuario (IGU) mostrada en la pantalla 140 y/o una aplicación de software ejecutada por e1HMD 120 (por ejemplo, un vídeo, un mapa, un navegador de internet). Aunque los modos de realización mostrados en las FIGS.

1A-B ilustran una pantalla 140 situada en una montura con forma de gafas, se pueden utilizar otras tecnologías que pueden proporcionar un área de pantalla transparente (por ejemplo, un proyector de retina u otro sistema óptico) en otros modos de realización.

[0038] Además, la(s) cámara(s) 150 (por ejemplo, cámaras que miran hacia afuera) pueden capturar imágenes del entorno del usuario, incluyendo la mano 130 del usuario y/u otros objetos que se pueden controlar por el usuario 110 para proporcionar la entrada al HMD 120. Las cámaras pueden incluir otros tipos de sensores que proporcionan imágenes y/u otra información a una unidad de procesamiento que posibilita que e1HMD 120 siga a un objeto físico (por ejemplo, PDI) delante del usuario. En un modo de realización, e1HMD 120 puede emplear una cámara 150 que puede determinar la profundidad (por ejemplo, una cámara estereoscópica) para igualmente seguir a la profundidad de un objeto. De acuerdo con un modo de realización, se puede utilizar la cámara de profundidad cuando se usa el VDI para mostrar múltiples aumentos, como se muestra en la FIG. 7.

[0039] La(s) cámara(s) 150 pueden tener un campo de visión que posibilite que HMD 120 siga a un objeto (por ejemplo, gestos de la mano) que aparece dentro del área de pantalla transparente desde la perspectiva del usuario. Los modos de realización pueden cambiar a un modo de bajo consumo cuando el objeto físico no esté dentro del área de pantalla transparente desde la perspectiva del usuario 110. En algunos modos de realización, la(s) cámara(s) 150 puede(n) tener un campo de visión que sea más amplio que el área de pantalla transparente, para permitir que el HMD 120 comience a ejecutar y/o aumentar a escala algoritmos de seguimiento de objetos cuando el HMD 120 determine que el objeto físico se aproxima al área de pantalla transparente (desde la perspectiva del usuario 110).

Seleccionar un objetivo de RA específico de una pluralidad de objetivos de RA

[0040] La FIG. 2 es un diagrama de flujo que ilustra un modo de realización de un procedimiento 200 de selección de un objeto de realidad aumentada (RA) en un casco de realidad virtual (HMD). En el bloque 205, e1HMD define una región de interés (RDI) en base al gesto del usuario.

[0041] Se puede usar un algoritmo de detección para detectar el gesto de un usuario. E1HMD puede detectar un gesto predeterminado de un usuario y definir la RDI en función del gesto del usuario. Por ejemplo, el gesto de un usuario puede incluir orientar los dedos índice y pulgar de ambas manos en la dirección ortogonal para crear una forma rectangular como se ilustra en las FIGS. 3a y 3B. En otros casos, el gesto del usuario puede incluir un puño, una mano abierta, la orientación con el/los dedo(s), una rotación de la mano, una ola, un movimiento de uno o más dedos y cualquier combinación de los mismos.

[0042] Adicionalmente, de acuerdo con otro modo de realización, se pueden producir un gesto del usuario posterior después de que se defina la RDI. Por ejemplo, el gesto puede incluir alejar/acercar las manos del usuario para cambiar el tamaño de la RDI. En otros casos, el gesto del usuario posterior puede incluir un gesto de toque para tomar una fotografía, un gesto de empuje para guiar a un objeto de RA por la pantalla, un gesto de golpe ligero para mover el objeto de RA, un gesto de giro para rotar el objeto de RA, un gesto de agarre/arrastre para las operaciones de zum, un gesto de deslizamiento para desplazarse a través de los medios.

[0043] Como se indica anteriormente, el área de pantalla transparente puede ser al menos una porción de una pantalla y/o medios de pantalla de un HMD 120 configurado para permitir que un usuario vea imágenes mostradas en la pantalla, así como un objeto físico en el entorno del usuario. El usuario puede seleccionar una RDI en base al gesto de la mano del usuario. La FIG. 3A ilustra además cómo el HMD 120 identifica la RDI.

[0044] En el bloque 210, se define y muestra al usuario una forma que da un contorno de la RDI dentro del área de pantalla transparente. La forma puede ser, por ejemplo, una superposición rectangular que da un contorno de la RDI en el HMD 120. La forma puede dar al usuario la respuesta visual de la localización de la RDI. La forma por sí mismo puede o no estar resaltada y/o de otro modo indicada en el área de pantalla transparente. La definición de la forma se puede realizar, por ejemplo, por una unidad de procesamiento, memoria y/u otros medios informáticos, que pueden ser parte de un sistema informático incorporado en y/o acoplado comunicativamente con el HMD. La forma se puede mostrar como que se extiende desde un elemento de visualización, por ejemplo, desde el borde de la pantalla de visualización. Además, como se analiza con más detalle a continuación, la forma se puede asociar con elementos interactivos, contenido digital y/u objetos físicos en una aplicación de RA u otro software. Dicho contorno puede cambiar en tamaño, forma y localización dentro del área de pantalla puesto que, por ejemplo, un usuario se mueve en relación con un objeto físico. Como resultado, lo resaltado que muestra la forma asociada con el/los objeto(s) seleccionado(s) se puede o no mostrar en todo momento.

[0045] Los diversos modos de realización posibilitan que un HMD 120 represente una forma virtual que da un contorno de la RDI en la pantalla 140. Esto posibilita que el HMD 120 proporcione una experiencia de realidad aumentada que puede facilitar las interacciones con un dispositivo informático y la colaboración y respuesta en tiempo real del usuario.

[0046] En algunos modos de realización, el HMD 120 puede procesar gestos reconocidos como comandos de entrada para ejecutar tareas en el HMD 120. Se pueden implementar procedimientos en un dispositivo informático que tenga un procesador configurado con instrucciones ejecutables por el procesador para realizar las operaciones. El procesador puede comenzar la operación recibiendo datos del sensor con respecto a una orientación del HMD 120. Adicionalmente, el procesador puede recibir datos de imágenes de las cámaras 150, así como datos de otros sensores incluidos en el HMD 120 descrito anteriormente. Por tanto, el procesador puede obtener toda la información recopilada por el HMD 120 con respecto a imágenes y distancias con respecto a los objetos dentro del campo de visión de la(s) cámara(s) 150. El procesador puede calcular datos de distancias y orientación de objetos en la RDI. Estos cálculos pueden usar procedimientos trigonométricos bien conocidos cuando las imágenes se proporcionan en bloque, mediciones directas cuando se usan sensores de distancias para proporcionar datos de distancias y combinaciones de información sobre distancias obtenida a partir de sensores y calculada a partir de imágenes. Además, el procesador puede procesar la imagen usando datos del sensor de distancias, datos de la cámara y los datos de distancia y orientación.

[0047] Además, el procesador puede seguir a la mano 130 del usuario durante un intervalo de tiempo para determinar si se reconoce un gesto predeterminado. En esta determinación, el procesador puede determinar si se reconoce cualquier gesto en el campo de visión. Si se reconoce el gesto, el procesador puede hacer coincidir sustancialmente el gesto reconocido con un comando de entrada almacenado en la memoria de1HMD 120. El procesador puede ejecutar el comando de entrada que se corresponde con el gesto reconocido.

[0048] De acuerdo con un modo de realización, una vez que se identifica la RDI, se puede capturar una fotografía y/o vídeo de la imagen en el interior de la RDI cuando el usuario 110 se desconecta. Por ejemplo, si el usuario continúa manteniendo el gesto de la mano después de recibir la forma que da un contorno de la RDI, tal como una pose de sujeción de cámara, el HMD 120 se puede configurar para capturar la imagen dibujada por la RDI después de que el usuario se desconecte. Un ejemplo de un acontecimiento de desconexión puede ser cuando las manos del usuario se mueven rápidamente lejos de la RDI. Por lo tanto, a diferencia de un HMD convencional, un usuario no necesita tocar realmente un botón en el HMD convencional para tomar una fotografía.

[0049] De acuerdo con otro modo de realización, el HMD 120 puede capturar un vídeo de tamaño de almacenamiento intermedio fijo. En este caso, se puede usar el mecanismo de gestos como un activador para indicar al HMD que guarde todas las tramas a partir de la última duración predeterminada (por ejemplo, 30 segundos). Por ejemplo, un usuario que lleva el HMD 120 puede que haya acabado de ver el salto de una ballena en el océano y solicitar verbalmente al HMD 120 que grabe los últimos 30 segundos. Por lo tanto, e1HMD 120 puede tener una funcionalidad en la que esté almacenando de forma intermedia las tramas y, en base a un gesto reconocido o comando de voz, el HMD 120 pueda almacenar esas tramas en la memoria.

[0050] En el bloque 215, después de que se haya reconocido la RDI, el HMD 120 muestra al usuario 110 una pluralidad de objetos de RA (por ejemplo, Rita's Fashion 405 en la FIG. 4) asociados con objetivos en el interior de la RDI. Adicionalmente, se pueden seguir los objetivos inicialmente en el interior de la RDI a medida que el usuario mueve la RDI o el campo de visión del usuario. Los medios para el seguimiento se pueden realizar por una cámara, sensor y/u otros componentes configurados para capturar mediciones de la imagen y/o de posición, conectados comunicativamente con una unidad de procesamiento, memoria y/u otros medios informáticos configurados para determinar una posición en base a mediciones de la imagen y/o de posición. Los componentes para seguir al objetivo se pueden calibrar con componentes para mostrar imágenes en el área de pantalla transparente, lo que posibilita que el HMD determine lo que el usuario ve.

[0051] Los medios de seguimiento pueden incluir cualquiera de una variedad de algoritmos de seguimiento. Determinados algoritmos de seguimiento pueden seguir simplemente a un único punto (por ejemplo, una coordenada en el área de pantalla transparente) y/o región asociados con el objeto y/o una localización en el objeto (por ejemplo, la(s) mano(s) del usuario). Los algoritmos de seguimiento más sofisticados pueden seguir otros rasgos característicos, tales como la distancia al objeto. Los modos de realización pueden seguir a múltiples y/o diferentes objetivos para una interacción con RA.

[0052] Una vez que la pluralidad de objetos de RA se muestra al usuario usando el bloque 215, a continuación, el usuario puede querer seleccionar un objeto de RA específico, como se describe en el bloque 220, para una manipulación adicional del objeto seleccionado.

[0053] Por ejemplo, cuando un usuario lleva el HMD y pueden aparecer de repente anuncios y publicidad asociados con una pluralidad de objetos de RA. Puede ser una distracción y molestia si todas las funcionalidades cobran vida al mismo tiempo. Reduciendo el tamaño de la RDI, el usuario puede reducir el número de objetos de RA para la interacción.

[0054] En el bloque 220, un usuario puede reducir o agrandar el tamaño de la RDI en base al movimiento de la mano del usuario, como se ilustra además en las FIGS. 3A-3B. Manipulando la RDI usando la respuesta del usuario en tiempo real, el usuario 110 puede seleccionar un objeto de RA específico en tiempo real. Aquí, de nuevo, los medios para reducir o agrandar el tamaño de la RDI pueden incluir una unidad de procesamiento, memoria y/u otros medios informáticos acoplados a una pantalla que muestra la RDI.

[0055] En el bloque 225, el HMD 120, que usa la RDI de tamaño reducido del bloque 220, selecciona un objeto de RA específico de la pluralidad de objetos de RA en el bloque 215. Por ejemplo, usando Vuforia de Qualcomm, los objetivos de RA se pueden mostrar en una pantalla 140 de HMD por el HMD 120.

[0056] La funcionalidad de realidad aumentada se puede usar en innumerables situaciones para posibilitar que el usuario conozca más sobre el entorno del usuario. Por ejemplo, como se describe más adelante en las FIGS. 6 y 7, un HMD 120 puede reconocer un cartel de película con la RA asociada con el cartel de película, a continuación, el HMD 120 puede mostrar un botón virtual "reproducir tráiler", que se puede activar con otro gesto de la mano. Se contemplan otras innumerables situaciones. Por tanto, las técnicas proporcionadas en el presente documento se pueden trasladar a situaciones de realidad aumentada, lo que posibilita las interacciones con elementos de contenido digital, desde la perspectiva del usuario, con respecto al objeto seleccionado. Debido a que estos elementos interactivos están ligados a objetos seleccionados en el entorno del usuario, la RDI correspondiente en la pantalla 140 del HMD se puede mover y modificar a escala en relación con la posición del objeto seleccionado. Adicionalmente, de acuerdo con algunos modos de realización, el objeto de RA seleccionado se puede manipular además, a continuación, usando los procedimientos descritos en las FIGS. 6 y 8.

[0057] Un ejemplo de una plataforma de RA es la plataforma de realidad aumentada Vuforia™ de Qualcomm, que puede proporcionar más información a la pantalla 140 del HMD y/o dispositivo móvil una vez que un usuario haya seleccionado un objetivo a través del uso de realidad aumentada. Por ejemplo, la funcionalidad de visión por ordenador de Vuforia puede reconocer una variedad de objetivos visuales 2D y 3D, y mostrar la RA asociada con los objetivos reconocidos. Por lo tanto, un usuario puede seleccionar un objetivo del mundo real y la RA asociada con el objetivo seleccionado se puede mostrar en la pantalla 140 del HMD 120. En algunos casos, pueden saltar anuncios de la página impresa o el envase del producto puede cobrar vida en los estantes de venta al por menor. Adicionalmente, los productos por sí mismos pueden proporcionar una interactividad potenciada para proporcionar instrucciones.

[0058] Por lo tanto, la RA puede potenciar el valor de los medios y anuncios impresos, productos de consumo y envases y materiales educativos. La RA asociada con el objetivo seleccionado en el bloque 225 puede posibilitar la interactividad con el mundo real. Por ejemplo, se puede asociar la RA con anuncios impresos, productos y envases, y en entornos de venta al por menor.

[0059] Se debe apreciar que las etapas específicas ilustradas en la FIG. 2 proporcionan un ejemplo de un procedimiento 200 para posibilitar la interacción del usuario con un HMD 120. Los modos de realización alternativos pueden incluir alteraciones a los modos de realización mostrados. Por ejemplo, los modos de realización alternativos pueden incluir definir la forma dentro del área de pantalla transparente, mostrar la forma que da un contorno de la RDI, mostrar la(s) RA en diferentes puntos durante el procedimiento 200. Aún otros modos de realización pueden incluir realizar acciones para calibrar la definición de la RDI, mostrar la forma y seguir a los componentes con los componentes de pantalla del HMD 120. Además, se pueden añadir, eliminar o combinar rasgos característicos adicionales dependiendo de las aplicaciones particulares. Un experto en la técnica reconocería muchas variaciones, modificaciones y alternativas.

Definir una RDI en base al gesto del usuario

[0060] Las FIGS. 3A y 3B ilustran un procedimiento sin contacto de interacción con HMD para seleccionar un objeto de RA 320 específico. Detectando un gesto del cuerpo humano natural, e1HMD 120 se puede activar para capturar la imagen o vídeo visto a través de las gafas. Como se ilustra en la FIG. 3A, las manos se disponen de tal modo que se forme un rectángulo, siendo los dedos y pulgares los bordes. El área en el interior de este rectángulo se puede tratar como la región de interés (RDI) para el usuario 110.

[0061] La FIG. 3A ilustra un procedimiento para definir la RDI 305 en base al gesto del usuario, como se describe previamente en el bloque 205. Por ejemplo, el gesto puede implicar orientar los dedos índice 350 y pulgar 355 de ambas manos en la dirección ortogonal.

[0062] Como se ilustra en la FIG. 3A, el gesto puede incluir orientar los dedos índice y pulgar de ambas manos en la dirección ortogonal para crear un rectángulo. En un caso, el gesto puede incluir usar el pulgar 355 y los dedos 360 para formar una forma en C. En otros casos, el gesto puede incluir un puño, una mano abierta, la orientación con el/los dedo(s), una rotación de la mano, una ola, un movimiento de uno o más dedos y cualquier combinación de los mismos.

[0063] La FIG. 3B ilustra un procedimiento para reducir o agrandar el tamaño de la RDI 305 para seleccionar un objeto de RA 320 específico. Por ejemplo, el gesto puede implicar juntar las manos para reducir el tamaño de la RDI. De forma alternativa, el gesto puede implicar mover las manos hacia afuera para agrandar el tamaño de la RDI.

[0064] De acuerdo con otros modos de realización, una vez que se haya definido la RDI, el usuario puede manipular los objetos de RA en el interior de la RDI usando un gesto del usuario posterior. Por ejemplo, el gesto puede incluir alejar/acercar las manos del usuario para cambiar el tamaño de la RDI. En otros casos, el gesto del usuario posterior puede incluir un gesto de toque para tomar una fotografía, un gesto de empuje para guiar a un objeto de RA por la pantalla, un gesto de golpe ligero para mover el objeto de RA, un gesto de giro para rotar el objeto de RA, un gesto de agarre/arrastre para las operaciones de zum, un gesto de deslizamiento para desplazarse a través de los medios y cualquier combinación de los mismos.

[0065] El HMD 120 puede seguir a la mano 130 del usuario, posibilitando que el usuario 110 interaccione y defina una RDI 305. Por ejemplo, el usuario puede hacer un gesto de diversos modos, tal como moviendo la mano 130 del usuario para formar un rectángulo, conectándose en una pose de sujeción de cámara, realizando un movimiento predeterminado o manteniendo una forma de la mano en la proximidad del elemento durante una cantidad de tiempo umbral.

[0066] Un ejemplo de una pose de sujeción de cámara es para que el usuario 110 cree dos contornos en C usando sus manos. Sin embargo, con la pose de sujeción de cámara, las manos solo se pueden alejar horizontalmente, no diagonalmente, y, por lo tanto, el cambio de tamaño de la RDI no se puede redefinir como un área rectangular más grande, solo una más ancha.

[0067] En otro modo de realización, la RDI se puede basar en una mano en una forma en L como la base de la RDI en relación con la distancia entre el centro de la vista de la cámara y la mano 130 del usuario. En este ejemplo, se pueden usar el campo de visión del usuario en el HMD 120 y donde está la esquina de la "L" que se define por la mano para definir la RDI. Una respuesta del HMD 120 puede ser un pequeño punto rojo que señale el centro de la pantalla 140 y un rectángulo que señale el borde de la RDI. La RDI se puede hacer más grande o más pequeña dependiendo de la mano 130 del usuario en relación con el campo de visión central.

[0068] El HMD 120, después de reconocer la selección del gesto, puede mostrar al usuario una forma 315 en el HMD. La forma 315 (por ejemplo, la superposición rectangular) puede dar un contorno de la RDI 305. El usuario puede ajustar la RDI 305 en tiempo real moviendo la(s) mano(s) hacia adentro o hacia afuera. Dependiendo de la funcionalidad deseada, si solo se usa una mano, la forma mostrada en el HMD 120 se puede anclar a un punto en la pantalla (por ejemplo, un punto en el medio de la pantalla) de modo que el usuario pueda ajustar la forma en consecuencia sin la necesidad de que ambas manos dibujen el borde de la forma.

[0069] Por ejemplo, el HMD 120 identifica la RDI 305 (por ejemplo, un rectángulo) trazando las yemas o el dibujo formado por la forma de las manos. Una vez que se detecta la RDI 305, el HMD 120 se muestra al usuario como la proyección superpuesta de la forma 315 en las gafas con HMD, como se menciona previamente en el bloque 210. A continuación, el usuario puede ajustar el tamaño de la RDI como se menciona previamente en el bloque 220, moviendo las manos antes de la desconexión, como se muestra en la FIG. 3B.

[0070] La FIG. 3B ilustra cómo se puede ajustar la RDI seleccionada en base a una entrada de usuario en tiempo real. Por ejemplo, la RDI 305 se selecciona inicialmente por el usuario en la FIG. 3A. En la FIG. 3B, el objeto de RA 320 se puede seleccionar acercando las manos entre sí o alejándolas. E1HMD que usa técnicas de reconocimiento de objetos puede determinar que la RDI 305 esté disminuyendo o agrandándose en base al movimiento de la mano del usuario.

[0071] De acuerdo con otro modo de realización, el sistema puede usar gestos de la mano y/o comandos de voz para activar la cámara en el HMD. Una vez que se identifica la RDI de tamaño reducido, se puede capturar una fotografía y/o vídeo de la imagen en el interior de la RDI 305. De forma alternativa, se pueden usar el mecanismo de gestos y el comando de voz como un activador para indicar al HMD que guarde todas las tramas a partir de la última duración predeterminada (por ejemplo, 30 segundos).

[0072] Además, se puede producir un acontecimiento de desconexión cuando las manos están lo suficientemente lejos del campo de visión del objetivo. También se puede producir el acontecimiento de desconexión si los dedos y pulgares están cerrados entre sí o por un comando accionado por voz. El acontecimiento de desconexión puede señalar al HMD 120 que la detección y selección de la RDI 305 se ha completado. Por lo tanto, de acuerdo con un modo de realización, el HMD 120 puede apagar algunos de los sensores y pasar a un modo de bajo consumo.

[0073] Un acontecimiento de desconexión puede incluir cuando las manos no están lo suficientemente cerca. El HMD 120 puede seguir continuamente a las manos y la forma formado por el borde de las manos; por lo tanto, el HMD 120 puede determinar cuándo las manos están alejadas en una distancia predeterminada.

[0074] Por lo tanto, el HMD 120 puede determinar si las manos se han alejado en más de un umbral, a continuación, puede suponer que se ha producido la desconexión. Por ejemplo, un usuario puede alejar su mano, de modo que no estén cerca de la RDI.

[0075] Sin embargo, el HMD 120 puede implementar un rasgo característico que puede distinguir cuándo el usuario está intentando hacer más grande la región de interés o si el usuario está intentando desconectarse cuando las manos se alejan. Por ejemplo, el HMD 120 puede distinguir entre cambiar el tamaño de la RDI frente a un acontecimiento de desconexión en base a la localización de las manos en relación con la RDI y la velocidad del movimiento de la mano.

[0076] De forma alternativa, cerrar solo una mano puede ser un acontecimiento de desconexión. Por ejemplo, cuando el HMD 120 determina que no puede detectar una trama octogonal a partir del dibujo de las manos, el HMD 120 puede suponer que el usuario se ha desconectado.

Mostrar una pluralidad de objetos de RA

[0077] La FIG. 4 ilustra un ejemplo de la vista de un usuario a través de la pantalla 140 de un HMD 120. Como se ilustra en la FIG. 4, se muestra una pluralidad de objetos de RA asociados con objetivos en el interior de la RDI 305 en la pantalla 140. Como se menciona previamente en el bloque 215, después de que un usuario seleccione una RDI 305, el HMD 120 muestra al usuario una pluralidad de objetos de RA asociados con objetivos (por ejemplo, puntos de interés (PDI)) en el interior de la RDI. Adicionalmente, se pueden seguir los objetivos inicialmente en el interior de la RDI a medida que el usuario mueve la RDI 305 o el campo de visión del usuario.

[0078] Una vez que se haya definido la RDI 305, el HMD 120 puede mostrar al usuario los objetivos que tienen aplicaciones de RA asociadas. Una vez que el HMD haya detectado la RDI 305 y/o muestre al usuario una forma 315 que da un contorno de la RDI, puede iniciar las aplicaciones de RA. Después de que e1HMD detecte una RDI 305, puede iniciar la aplicación de RA asociada dentro de la RDI 305. Por ejemplo, en la FIG. 4, al usuario se le muestran cinco objetos (por ejemplo, PDI) con aplicaciones de RA asociadas. En este ejemplo, los siguientes cinco objetos están en el interior de la RDI: Rita's Fashion 405, que está a 50 metros; Starbucks 410; Henry's diner 415; Henry's diner 420; y el cine 425. De acuerdo con un modo de realización, la pantalla 140 también puede mostrar otra información pertinente sobre los objetos (por ejemplo, reseñas, distancia del usuario).

[0079] En algunos casos, los anunciantes pueden registrar su publicidad/logotipos/envoltorios de proyectos como objetivos de RA. Por ejemplo, usando Vuforia de Qualcomm, los objetivos pueden tener información adicional que se puede mostrar en una pantalla 140 de HMD usando RA. Por lo tanto, cuando un usuario reduce la RDI 305 para seleccionar un objetivo de RA 320, una animación de RA asociada con el objetivo seleccionado puede dar información adicional.

[0080] La FIG. 5 ilustra un ejemplo de la RDI 305 que se reduce por el usuario, lo que da como resultado que se muestren menos objetivos de RA o PDI en la pantalla 140. Como se describe en el bloque 220, un usuario puede reducir el tamaño de la RDI 305 usando gestos de la mano (por ejemplo, acercando las manos entre sí). Usando el tamaño reducido, la pantalla 140 en la FIG. 5 ahora solo tiene 3 PDI (Starbucks 505, Henry's Diner 510, Henry's Diner 515) en el interior de la RDI. Reduciendo el tamaño de la RDI, el número de objetivos en el interior de la RDI se ha reducido de cinco PDI en la FIG. 4 a tres PDI en la FIG. 5. De acuerdo con otro modo de realización, el usuario puede reducir además el tamaño de la RDI de modo que solo un objetivo de RA 320 esté en el interior de la RDI 305.

[0081] De acuerdo con algunos modos de realización, un objetivo de RA 320 seleccionado puede tener múltiples aumentos asociados con él. Durante esta situación, un usuario puede usar técnicas de volumen de interés (VDI), como se describe además en las FIGS. 6 y 7, para seleccionar una capa específica de aumento para el objetivo de RA 320 seleccionado.

Usar el volumen de interés cuando un objetivo seleccionado tenga múltiples aumentos

[0082] La FIG. 6 es un diagrama de flujo que ilustra un modo de realización de un procedimiento 600 para definir un volumen de interés (VDI) usando gestos de la mano a lo largo de la dirección del objetivo (por ejemplo, el eje z). Por ejemplo, el usuario puede navegar a través de los puntos geolocalizados o diferentes aumentos para el mismo objetivo desplazando una o más manos a lo largo del eje z. Como se muestra en la FIG. 2, un usuario ha reducido el tamaño de la RDI para seleccionar un objetivo. Después de seleccionar un objetivo, en algunos casos, el objetivo seleccionado puede tener múltiples aumentos asociados con él.

[0083] En el bloque 605, el HMD ya ha definido una RDI en base al gesto del usuario, como se describe previamente en la FIG. 2. Manipulando la RDI usando la respuesta del usuario en tiempo real, el usuario puede seleccionar una RA específica en tiempo real, similar al bloque 225. Además, si se asocian múltiples aumentos con un objetivo de RA dado, un usuario puede especificar una capa específica usando el procedimiento descrito en el bloque 610.

[0084] En el bloque 610, un usuario puede navegar a través de los múltiples aumentos desplazándose en la dirección (por ejemplo, el eje z) del objetivo seleccionado. Por ejemplo, un usuario puede seleccionar una capa específica de aumento para un objetivo de RA 320 navegando a través de ellos desplazándose en la dirección del objetivo usando un VDI, como se ilustra en la FIG. 7.

[0085] En el bloque 615, el sistema muestra al usuario diferentes aumentos asociados con el objetivo seleccionado en base a la posición de la mano del usuario (por ejemplo, a lo largo del eje z como se ilustra en la FIG. 7).

[0086] La FIG. 7 ilustra la interacción y visualización en tiempo real de diferentes aumentos en base a la posición de la mano del usuario. Por ejemplo, un usuario puede seleccionar un cartel de película usando el procedimiento descrito en la FIG. 2. En algunos casos, pueden existir múltiples aumentos asociados con el cartel de película seleccionado. Usando el procedimiento descrito en la FIG. 6, el usuario puede navegar a través de los diferentes aumentos asociados con el cartel de película.

[0087] Como se ilustra en las diferentes posiciones en la FIG. 7, se pueden mostrar diferentes aumentos al usuario en base a la posición de la mano del usuario. Por ejemplo, cuando la posición de la mano del usuario está en 705, la pantalla 140 del HMD 120 muestra el nombre de la película y las reseñas. Se puede producir la posición 710 cuando la posición de la mano del usuario se acerca en la dirección del objetivo 720 (por ejemplo, el eje z) en relación con la posición 705. En la posición 710, en este ejemplo, el aumento para reproducir el tráiler de la película se muestra en la pantalla 140. A medida que la posición de la mano del usuario se acerca al objetivo, en la posición 715, se pueden mostrar los horarios de proyección de la película y la opción de adquirir entradas en línea. Finalmente, en este ejemplo, en la posición más cercana al objetivo 720, e1HMD 120 puede mostrar imágenes asociadas con la película.

[0088] Como se ilustra en el ejemplo en las FIGS. 6 y 7, el HMD 120 puede usar posiciones de la mano y/o gestos de la mano para definir un VDI. En base al VDI, el HMD 120 puede mostrar diferentes aumentos asociados con un objetivo seleccionado. De forma alternativa, una vez que se selecciona un objetivo, e1HMD 120 puede implementar otros modos en base a las preferencias del usuario o funciones reconocidas de gestos predeterminados, como se ilustra en la FIG. 8.

Ejemplo de otras implementaciones una vez que se selecciona el objetivo

[0089] La FIG. 8 es un diagrama de flujo que ilustra un modo de realización de un procedimiento 800 de inicio de una aplicación inteligente en base a la RDI seleccionada. Un ejemplo de una aplicación inteligente puede incluir un traductor visual. Por ejemplo, se puede alimentar la imagen capturada en el interior de la RDI en un sistema de búsqueda visual o un (OCR). En este ejemplo, se puede usar el OCR para determinar y reconocer el texto de la imagen. De acuerdo con los caracteres reconocidos, un traductor puede traducir automáticamente y se pueden mostrar los resultados en la pantalla 140.

[0090] Para ilustrar este modo de realización en el bloque 805, el usuario puede seleccionar un objetivo o texto específico para su traducción. De forma similar al procedimiento descrito en la FIG. 2, el usuario puede usar gestos de la mano para dar un contorno de una RDI 305 para seleccionar un texto para su traducción.

[0091] En el bloque 810, un usuario puede solicitar una traducción del texto específico en la RDI 305. Por ejemplo, el usuario puede usar comandos de voz o gestos de la mano predeterminados para iniciar la traducción. De forma alternativa, el HMD 120 puede reconocer automáticamente un idioma extranjero e iniciar una traducción sin la solicitud de un usuario.

[0092] En el bloque 815, el HMD 120 puede usar un sistema de búsqueda visual o un OCR para reconocer el texto en la RDI 305. Se pueden utilizar procedimientos convencionales para el reconocimiento de texto por e1HMD 120.

[0093] En el bloque 820, el HMD 120 puede traducir el texto reconocido a un idioma especificado por el usuario y mostrarlo en la pantalla 140. Por ejemplo, el idioma puede ser un idioma por defecto, predeterminado en base al uso anterior o especificado en tiempo real por el usuario. Adicionalmente, e1HMD 120 puede leer el texto traducido en voz alta al usuario 110. Se pueden utilizar procedimientos convencionales para la traducción de texto por el HMD 120.

[0094] La FIG. 8 ilustra un ejemplo de una implementación una vez que se selecciona el objetivo usando gestos de la mano. Los modos de realización alternativos pueden incluir alteraciones a los modos de realización mostrados. Por ejemplo, los modos de realización alternativos pueden incluir que el HMD reconozca automáticamente un idioma extranjero y traduzca el texto sin la solicitud de un usuario. Además, se pueden añadir, eliminar o combinar rasgos característicos adicionales dependiendo de las aplicaciones particulares. Un experto en la técnica reconocería muchas variaciones, modificaciones y alternativas.

[0095] De acuerdo con otro modo de realización, se puede utilizar la RDI para acortar el campo de visión para compartir vídeos. El HMD 120 puede usar la RDI como la vista compartida durante un modo de colaboración. Cuando un usuario quiere compartir una parte de su campo de visión, el usuario puede seleccionar una RDI 305 usando el procedimiento descrito en la FIG. 2. Durante un modo de colaboración, e1HMD 120 puede tratar la RDI 305 como la vista compartida para una comunicación basada en vídeo, de modo que solo una parte de su campo de visión (por ejemplo, presentación, documento) se comparte con usuarios remotos. De acuerdo con un modo de realización, se puede finalizar la vista compartida una vez que se produzca un acontecimiento de desconexión. Los modos de realización alternativos pueden incluir alteraciones a los modos de realización mostrados. Además, se pueden añadir, eliminar o combinar rasgos característicos adicionales dependiendo de las aplicaciones particulares.

[0096] La FIG. 9 ilustra un ejemplo de un dispositivo informático en el que se pueden implementar uno o más modos de realización.

[0097] El sistema de ordenador 900 puede incluir además (y/o puede estar en comunicación con) uno o más dispositivos de almacenamiento no transitorios 925 que pueden comprender, sin limitación, un almacenamiento local y/o accesible en red, y/o pueden incluir, sin limitación, una unidad de disco, un sistema de antena con alimentación directa, un dispositivo de almacenamiento óptico, un dispositivo de almacenamiento de estado sólido, tal como una memoria de acceso aleatorio ("RAM") y/o una memoria de solo lectura ("ROM"), que puede ser programable, actualizable de manera inmediata y/o similares. Dichos dispositivos de almacenamiento se pueden configurar para implementar cualquier almacenamiento de datos apropiado, incluyendo, sin limitación, diversos sistemas de archivos, estructuras de bases de datos y/o similares. Por ejemplo, se pueden usar los dispositivos de almacenamiento 925 para almacenar de forma intermedia un vídeo capturado desde la cámara 150 de1HMD 120, en caso de que el usuario quiera capturar todas las tramas a partir de la última duración predeterminada.

[0098] El sistema de ordenador 900 también puede incluir un subsistema de comunicaciones 930, que puede incluir, sin limitación, un módem, una tarjeta de red (inalámbrica o cableada), un dispositivo de comunicación por infrarrojos, un dispositivo de comunicación inalámbrica y/o un conjunto de chips (tal como un dispositivo Bluetooth™, un dispositivo 802.11, un dispositivo WiFi, un dispositivo WiMax, componentes de comunicación móvil, etc.) y/o similares. El subsistema de comunicaciones 930 puede incluir una o más interfaces de comunicación de entrada y/o salida para permitir que se intercambien los datos con una red, otros sistemas de ordenador y/o cualquier otro dispositivo/periférico eléctrico. En muchos modos de realización, el sistema de ordenador 900 comprenderá además una memoria de trabajo 935, que puede incluir un dispositivo RAM o ROM, como se describe anteriormente. Se puede usar el subsistema de comunicaciones 930 para conectar e1HMD 120 al teléfono inteligente del usuario.

[0099] El sistema de ordenador 900 también puede comprender elementos de software, mostrados como que están localizados actualmente dentro de la memoria de trabajo 935, incluyendo un sistema operativo 940, controladores de dispositivo, bibliotecas ejecutables y/u otro código, tal como una o más aplicaciones 945, que pueden comprender programas de ordenador proporcionados por diversos modos de realización, y/o que se pueden diseñar para implementar procedimientos y/o configurar sistemas, proporcionados por otros modos de realización, como los descritos en el presente documento. Únicamente a modo de ejemplo, se puede implementar una porción de uno o más procedimientos descritos con respecto al/a los procedimiento(s) analizado(s) anteriormente, tal como el procedimiento 200 descrito en relación con la FIG. 2, como código y/o instrucciones ejecutables por un ordenador (y/o una unidad de procesamiento dentro de un ordenador); en un aspecto, a continuación, se pueden usar dicho código y/o instrucciones para configurar y/o adaptar un ordenador de uso general (u otro dispositivo) para realizar una o más operaciones de acuerdo con los procedimientos descritos.

[0100] Un conjunto de estas instrucciones y/o código se puede almacenar en un medio de almacenamiento legible por ordenador no transitorio, tal como el/los dispositivo(s) de almacenamiento 925 descrito(s) anteriormente. En algunos casos, se puede incorporar el medio de almacenamiento dentro de un sistema de ordenador, tal como el sistema de ordenador 900. En otros modos de realización, el medio de almacenamiento puede estar separado de un sistema de ordenador (por ejemplo, un medio extraíble, tal como un disco óptico) y/o proporcionarse en un paquete de instalación, de modo que el medio de almacenamiento se pueda usar para programar, configurar y/o adaptar un ordenador de uso general con las instrucciones/código almacenados en el mismo. Estas instrucciones pueden tomar la forma de un código ejecutable, que sea ejecutable por el sistema de ordenador 900 y/o pueden tomar la forma de un código fuente y/o instalable que, tras su compilación y/o instalación en el sistema de ordenador 900 (por ejemplo, usando cualquiera de una variedad de compiladores, programas de instalación, componentes de compresión/descompresión, etc. disponibles en general), a continuación, toma la forma de un código ejecutable.

[0101] Será evidente para los expertos en la técnica que se pueden realizar variaciones sustanciales de acuerdo con requisitos específicos. Por ejemplo, también se puede usar hardware personalizado y/o se pueden implementar elementos particulares en el hardware, software (incluyendo software portátil, tal como miniaplicaciones en Java, etc.) o en ambos. Además, se puede emplear una conexión con otros dispositivos informáticos, tales como dispositivos de entrada/salida de red.

[0102] Como se menciona anteriormente, en un aspecto, algunos modos de realización pueden emplear un sistema de ordenador (tal como el sistema de ordenador 900) para realizar los procedimientos de acuerdo con diversos modos de realización de la invención. De acuerdo con un conjunto de modos de realización, algunos o todos los procedimientos de dichos procedimientos se realizan por el sistema de ordenador 900 en respuesta al procesador 910 ejecutando una o más secuencias de una o más instrucciones (que se pueden incorporar en el sistema operativo 940 y/o u otro código, tal como un programa de aplicación 945) contenidas en la memoria de trabajo 935. Dichas instrucciones se pueden leer en la memoria de trabajo 935 desde otro medio legible por ordenador, tal como uno o más de los dispositivos de almacenamiento 925. Únicamente a modo de ejemplo, la ejecución de las secuencias de instrucciones contenidas en la memoria de trabajo 935 puede provocar que el/los procesador(es) 910 realice(n) uno o más procedimientos de los procedimientos descritos en el presente documento. Adicionalmente o de forma alternativa, se pueden ejecutar porciones de los procedimientos descritos en el presente documento a través de hardware especializado. Únicamente a modo de ejemplo, se puede implementar una porción de uno o más procedimientos descritos con respecto al/a los procedimiento(s) analizado(s) anteriormente, tal como el procedimiento 200 descrito en relación con la FIG. 2, por el procesador 910 en el HMD 120. De forma alternativa, el HMD 120 se puede conectar a un teléfono inteligente por medio del subsistema de comunicaciones 930, y se puede implementar el procedimiento de la FIG. 2 por el procesador 910 en el teléfono inteligente.

[0103] Los términos "medio legible por máquina" y "medio legible por ordenador", como se usan en el presente documento, se refieren a cualquier medio que participa para proporcionar datos que provocan que una máquina opere de una manera específica. En un modo de realización implementado usando el sistema de ordenador 900, diversos medios legibles por ordenador pueden estar implicados para proporcionar instrucciones/código al/a los procesador(es) 910 para su ejecución y/o se pueden usar para almacenar y/o transportar dichas instrucciones/código. En muchas implementaciones, un medio legible por ordenador es un medio de almacenamiento físico y/o tangible. Dicho medio puede tomar la forma de medios no volátiles o medios volátiles. Los medios no volátiles incluyen, por ejemplo, discos ópticos y/o magnéticos, tales como el/los dispositivo(s) de almacenamiento 925. Los medios volátiles incluyen, sin limitación, una memoria dinámica, tal como la memoria de trabajo 935.

[0104] Las formas comunes de medios legibles por ordenador físicos y/o tangibles incluyen, por ejemplo, un disquete, un disco flexible, un disco duro, una cinta magnética, o cualquier otro medio magnético, un CD-ROM, cualquier otro medio óptico, cualquier otro medio físico con patrones de orificios, una RAM, una PROM, EPROM, una FLASH-EPROM, cualquier otro chip o cartucho de memoria o cualquier otro medio desde el que un ordenador pueda leer instrucciones y/o código.

[0105] Se puede implicar a diversas formas de medios legibles por ordenador para transportar una o más secuencias de una o más instrucciones al/a los procesador(es) 910 para su ejecución. Únicamente a modo de ejemplo, las instrucciones se pueden transportar inicialmente en un disco magnético y/o disco óptico de un ordenador remoto. Un ordenador remoto puede cargar las instrucciones en su memoria dinámica y enviar las instrucciones como señales sobre un medio de transmisión para recibirse y/o ejecutarse por el sistema de ordenador 900.

[0106] El subsistema de comunicaciones 930 (y/o componentes del mismo) recibirá en general señales y, a continuación, el bus 905 puede transportar las señales (y/o los datos, instrucciones, etc. transportados por las señales) a la memoria de trabajo 935, desde la que el/los procesador(es) 910 recupera(n) y ejecuta(n) las instrucciones. Las instrucciones recibidas por la memoria de trabajo 935 se pueden almacenar opcionalmente en un dispositivo de almacenamiento no transitorio 825, antes o bien después de la ejecución por el/los procesador(es) 910.

[0107] Los procedimientos, sistemas y dispositivos analizados anteriormente son ejemplos. Diversas configuraciones pueden omitir, sustituir o añadir diversos procedimientos o componentes según resulte apropiado. Por ejemplo, en configuraciones alternativas, se pueden realizar los procedimientos en un orden diferente al descrito y/o se pueden añadir, omitir y/o combinar diversos pasos. Además, las características descritas con respecto a determinadas configuraciones se pueden combinar en otras diversas configuraciones. De forma similar se pueden combinar diferentes aspectos y elementos de las configuraciones. Además, la tecnología evoluciona y, por tanto, muchos de los elementos son ejemplos y no limitan el alcance de la divulgación o reivindicaciones.

[0108] Los detalles específicos se dan en la descripción para proporcionar una comprensión exhaustiva de las configuraciones de ejemplo (incluyendo las implementaciones). Sin embargo, se pueden poner en práctica configuraciones sin estos detalles específicos. Por ejemplo, se han mostrado circuitos, procedimientos, algoritmos, estructuras y técnicas bien conocidos sin detalles innecesarios para evitar perturbar los modos de realización. Esta descripción solo proporciona configuraciones de ejemplo, y no limita el alcance, la aplicabilidad o las configuraciones de las reivindicaciones. Más bien, la descripción precedente de las configuraciones proporcionará a los expertos en la técnica una descripción que posibilite la implementación de las técnicas descritas.

[0109] Además, se pueden describir configuraciones como un procedimiento que se represente como un diagrama de flujo o diagrama de bloques. Aunque cada uno puede describir las operaciones como un procedimiento secuencial, muchas de las operaciones se pueden realizar en paralelo o simultáneamente. Además, el orden de las operaciones se puede reorganizar. Un procedimiento puede tener etapas adicionales no incluidas en la figura. Además, se pueden implementar ejemplos de los procedimientos por hardware, software, firmware, middleware, microcódigo, lenguajes de descripción de hardware o cualquier combinación de los mismos. Cuando se implemente en software, firmware, middleware o microcódigo, el código de programa o segmentos de código para realizar las tareas necesarias se puede almacenar en un medio legible por ordenador no transitorio, tal como un medio de almacenamiento. Los procesadores pueden realizar las tareas descritas.

Claims (15)

REIVINDICACIONES

1. Un procedimiento para seleccionar un objeto de realidad aumentada, RA, en un dispositivo montado en la cabeza, HMD (120), que comprende:

definir (205) una región de interés, RDI, (305) en base a un primer gesto formado por una forma (315) por al menos una mano de un usuario que proporciona al menos un contorno parcial de la RDI;

mostrar (210) al usuario una forma en el HMD, en el que la forma da un contorno de la RDI;

mostrar (215) al usuario una pluralidad de objetos de RA (405, 410, 415, 420, 425, 505, 510, 515), estando asociado cada uno de la pluralidad de objetos de RA con uno de una pluralidad de objetivos en el interior de la RDI;

reducir (220) el tamaño de la RDI en base a un segundo gesto para formar una RDI de tamaño reducido, el segundo gesto realizado por un primer movimiento de al menos una mano del usuario; y

seleccionar (225) un objeto de RA específico de la pluralidad de objetos de RA, el objeto de RA específico asociado con un primer objetivo de una pluralidad de objetivos dentro de la RDI de tamaño reducido.

2. El procedimiento de la reivindicación 1, en el que el primer gesto se forma por una forma de ambas manos del usuario.

3. El procedimiento de la reivindicación 2, en el que el primer movimiento para reducir el tamaño de la RDI comprende acercar las manos del usuario entre sí.

4. El procedimiento de la reivindicación 1, en el que múltiples aumentos se asocian con el objeto de RA específico, comprendiendo además el procedimiento:

mostrar al usuario un aumento correspondiente de los múltiples aumentos asociados con el objeto de RA específico en base a un segundo movimiento de al menos una mano del usuario en la dirección del objeto de RA específico.

5. El procedimiento de la reivindicación 1, que comprende además:

capturar el texto en el interior de la RDI de tamaño reducido; y

inicializar la traducción en base al texto capturado.

6. El procedimiento de la reivindicación 1, que comprende además:

realizar una búsqueda de reconocimiento visual en el interior de la RDI de tamaño reducido.

7. El procedimiento de la reivindicación 1, comprendiendo además el procedimiento:

desactivar la RDI de tamaño reducido en base a un acontecimiento de desconexión.

8. El procedimiento de la reivindicación 7, en el que se produce el acontecimiento de desconexión cuando la al menos una mano del usuario está lejos de la RDI, cuando al menos un dedo y pulgar del usuario están cerrados entre sí, o cuando un comando de voz para la desconexión se realiza por el usuario.

9. Uno o más medios legibles por ordenador que almacenan instrucciones ejecutables por ordenador para realizar un procedimiento como se expone en una de las reivindicaciones 1 a 8.

10. Un dispositivo montado en la cabeza, HMD, para seleccionar un objeto de realidad aumentada, RA, que comprende:

medios para definir una región de interés, RDI, en base a un primer gesto formado por una forma de al menos una mano de un usuario que proporciona al menos un contorno parcial de la RDI;

medios para mostrar al usuario una forma en el HMD, en el que la forma da un contorno de la RDI; medios para mostrar al usuario una pluralidad de objetos de RA, estando asociado cada uno de la pluralidad de objetos de RA con uno de una pluralidad de objetivos en el interior de la RDI;

medios para reducir el tamaño de la RDI en base a un segundo gesto para formar una RDI de tamaño reducido, el segundo gesto realizado por un primer movimiento de al menos una mano del usuario; y seleccionar un objeto de RA específico de la pluralidad de objetos de RA, el objeto de RA específico asociado con un primer objetivo de una pluralidad de objetivos dentro de la RDI de tamaño reducido.

11. El HMD de la reivindicación 10, en el que el primer gesto se forma por una forma de ambas manos del usuario.

12. El HMD de la reivindicación 11, en el que el primer movimiento para reducir el tamaño de la RDI comprende acercar las manos del usuario entre sí.

13. El HMD de la reivindicación 10, en el que múltiples aumentos se asocian con el objeto de RA específico, que comprende además:

medios para mostrar al usuario un aumento correspondiente de los múltiples aumentos asociados con el objeto de RA específico en base a un segundo movimiento de al menos una mano del usuario en la dirección del objeto de RA específico.

14. El HMD de la reivindicación 10, que comprende además:

medios para capturar el texto en el interior de la RDI de tamaño reducido; y

medios para inicializar la traducción en base al texto capturado.

15. El HMD de la reivindicación 10, que comprende además:

medios para realizar una búsqueda de reconocimiento visual en el interior de la RDI de tamaño reducido.