ES2956209T3

ES2956209T3 - Técnicas para el tecleo de múltiples dedos en realidad mixta

Info

Publication number: ES2956209T3
Application number: ES19843023T
Authority: ES
Inventors: Julia Schwarz
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2019-01-10
Filing date: 2019-12-24
Publication date: 2023-12-15
Anticipated expiration: 2039-12-24
Also published as: EP3908907A1; EP3908907B1; US20200225735A1; US10901495B2; WO2020146145A1

Abstract

Se proporcionan sistemas y métodos para detectar la entrada del usuario en un entorno de realidad mixta que se representa con uno o más hologramas. Se presenta un receptor de entrada que incluye una pluralidad de elementos de entrada. Se identifica un controlador de entrada que incluye los actuadores individuales, en donde cada actuador correspondiente de los actuadores individuales está configurado para, cuando interactúa con uno o más elementos de entrada del receptor de entrada que están asignados al actuador correspondiente y cuando el estado de entrada del correspondiente El actuador es un estado activo, proporciona información al usuario dentro del entorno de realidad mixta. Posteriormente, se detecta la presencia de un atributo de activación del controlador de entrada y, en respuesta a la detección del atributo de activación, el estado de entrada de un actuador correspondiente cambia de un estado inactivo a un estado activo para proporcionar una entrada del usuario. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Técnicas para el tecleo de múltiples dedos en realidad mixta

Antecedentes

La "realidad aumentada" normalmente se refiere a experiencias virtuales en las que objetos virtuales se sitúan visualmente dentro del mundo real, de tal forma que un usuario experimenta contenido virtual y el mundo real simultáneamente. Por el contrario, la "realidad virtual" normalmente se refiere a experiencias virtuales inmersivas en las que una visión del usuario del mundo real está completamente oscurecida y sólo se perciben objetos virtuales. Normalmente, "realidad mixta" se refiere a entornos de realidad aumentada o de realidad virtual. Sin embargo, en aras de la claridad y la simplicidad, los términos realidad mixta, realidad virtual y realidad aumentada se utilizan indistintamente en este documento.

Los sistemas de realidad mixta normalmente se configuran como visualizadores montados en la cabeza que generan y/o renderizan el contenido de realidad mixta. Los continuos avances en las capacidades de hardware y las tecnologías de renderizado han aumentado en gran medida el realismo de los objetos y escenas virtuales visualizados por un usuario dentro de entornos de realidad mixta. Por ejemplo, objetos virtuales se pueden situar dentro de un entorno de realidad mixta de tal manera que dan la impresión de que el objeto virtual es parte del mundo real.

Algunos sistemas de realidad mixta están configurados para seguir el movimiento de partes del cuerpo de un usuario, como las manos del usuario, mientras el usuario interactúa con objetos virtuales en el entorno de realidad mixta. Además, algunos sistemas de realidad mixta están configurados para replicar partes del cuerpo del usuario dentro de la realidad mixta, de tal forma que el usuario pueda ver y controlar partes del cuerpo virtualizadas dentro del entorno de realidad mixta. Por ejemplo, una mano de un usuario puede presentarse como una oclusión de holograma que se mueve dentro del entorno de realidad mixta en respuesta directa a los movimientos de su propia mano en el mundo real. A la vez que el usuario mueve su mano en el mundo real, la oclusión de la mano también se mueve, de tal forma que es capaz de interactuar con otros objetos virtuales dentro del entorno de realidad mixta.

Muchos sistemas de realidad mixta permiten a los usuarios usar partes de su cuerpo (o herramientas u otros controladores manipulados por ellos) para interactuar con objetos virtuales en el entorno de realidad mixta. Por ejemplo, algunos sistemas de realidad mixta permiten a un usuario usar sus manos (o representaciones virtuales de las mismas) para interactuar con un teclado virtual, una pantalla táctil u otro receptor de entrada virtual.

Sin embargo, existen varios obstáculos a la hora de optimizar la capacidad de un usuario para usar sus manos para interactuar con receptores de entrada virtual en entornos de realidad mixta. Por ejemplo, por el contrario con dispositivos de entrada físicos, receptores de entrada virtuales como teclados virtuales no proporcionan a los usuarios ninguna retroalimentación de fuerza física para informarles que han presionado con éxito una tecla virtual. Consecuentemente, si un usuario intenta interactuar con un teclado virtual, a menudo moverá involuntariamente sus dedos a través del teclado virtual y causará presiones de tecla accidentales con otras teclas cercanas a la tecla destinada. Por ejemplo, cuando un usuario intenta presionar la tecla "F" con su dedo índice en un teclado QWERTY virtual, la mano del usuario puede moverse involuntariamente a través del teclado virtual, causando que su dedo medio presione accidentalmente la tecla "D" y/o su dedo anular presione accidentalmente la tecla "S". En otro ejemplo, cuando el pulgar de un usuario descansa más bajo que sus otros dedos, el pulgar del usuario pasará inadvertidamente a través del teclado virtual y resultará en una presión accidental de la barra espaciadora.

Una posible solución para abordar este problema incluye restringir los puntos de entrada de la mano del usuario a solo la punta del dedo índice del usuario. Esta solución, sin embargo, elimina la posibilidad de una interfaz de múltiples dedos con receptores de entrada virtuales. Otra posible solución incluye realizar análisis de movimiento en todos los dedos del usuario y aplicar heurística para inferir la palabra tecleada. Sin embargo, esta solución puede ser muy costosa desde el punto de vista computacional y, en ocasiones, puede resultar en que el sistema se retrase ligeramente y no responda a las interacciones reales del usuario. Esto, a su vez, puede resultar en que el usuario proporciona gestos de entrada exagerados y/o adicionales que pueden exacerbar aún más el problema.

En consecuencia, existe una necesidad continua en el campo de la realidad mixta de proporcionar una interacción con múltiples dedos mejorada con receptores de entrada virtuales en entornos de realidad mixta. El objeto reivindicado en el presente documento no se limita a realizaciones que resuelven cualquier desventaja o que operan sólo en entornos como los descritos anteriormente. Más bien, estos antecedentes solo se proporcionan para ilustrar un área de tecnología ejemplar donde se pueden poner en práctica algunas realizaciones descritas en el presente documento.

El documento EP 2977855 A1 describe un método de entrada de un dispositivo aumentado que comprende una unidad de visualizador y una unidad de cámara, en el que la unidad de visualización representa al menos una tecla virtual, caracterizado por los pasos del método:

- determinar qué tecla virtual fue seleccionada como entrada por un usuario;

- determinar si la entrada fue desencadenada por el usuario.

El documento GB 2470 654 A describe un método para la entrada de datos usando un teclado virtual u otro dispositivo similar. Cada símbolo o función de entrada se mapea a un parámetro de actuación de una región de entrada virtual del dispositivo de entrada de datos y a un subconjunto de objetos de entrada del conjunto completo de objetos de entrada, por ejemplo, uno o más dedos de las manos del usuario. Un módulo de entrada detecta la actuación de una región de entrada. Luego, un procesador determina el parámetro asociado con la actuación y la identidad del objeto u objetos en el subconjunto usado en la actuación, obteniendo así el símbolo o función de entrada requerido. La región de entrada puede ser dos o más regiones de entrada, cada una puede estar asignada a un dispositivo receptor con el procesador enviando el símbolo o función de entrada requerido al dispositivo receptor asignado a la región actuada. El módulo de entrada puede tener una o dos cámaras de video.

El documento WO 2016/010797 A1 describe que se proporcionan realizaciones que se refieren a la visualización de imágenes holográficas de teclados y manos en un entorno holográfico. En una realización, se recibe información de profundidad de una posición real de una mano de un usuario. Usando la información de profundidad, una imagen holográfica de la mano que representa la mano del usuario se visualiza en un plano de mano virtual en el entorno holográfico. En respuesta a recibir del usuario una entrada de activación del teclado y usar la información de profundidad, la imagen holográfica del teclado se visualiza de forma adaptativa en un plano de teclado virtual en el entorno holográfico a una distancia virtual debajo de la imagen holográfica de la mano que representa la mano del usuario.

El documento WO 2012/048380 A1 describe un método para proporcionar una interfaz que comprende recibir información de contacto indicativa de puntos de contacto entre los dedos de al menos una mano y una superficie. El método comprende además mapear sobre la superficie una pluralidad de elementos de interfaz, cada uno correspondiente a una tecla en un teclado, estando asignado cada elemento a uno de una pluralidad de grupos, teniendo cada grupo uno de los dedos asociado para la activación de los elementos en el grupo, en el que cada grupo se mapea a la superficie de acuerdo con información de contacto para el dedo asociado. Otro aspecto de la inventiva incluye recibir de forma recurrente la información de contacto y mapear de forma recurrente cada grupo en la superficie de acuerdo con la información de contacto para el dedo asociado de modo que el grupo rastrea la posición de reposo del dedo asociado.

El documento US 2012/260207 A1 describe que un teclado virtual es representado visualmente en una superficie de visualización de pantalla táctil de un dispositivo informático. Se representan visualmente imágenes parciales del teclado, en las que una imagen parcial puede ser una tecla, denominada la tecla más probable que tocará el usuario, o un grupo de teclas, que puede incluir algunas teclas menos probables o circundantes que pueden tocarse. Sensores debajo o cerca de la superficie del visualizador detectan un contorno de las manos del usuario y determinan qué dedo es el que se mueve más rápido, que se supone que es el dedo usado para tocar una tecla. La clave más probable se determina en base al dedo que se mueve más rápido y puede visualizarse antes de que el dedo toque la superficie. Si no se toca la tecla más probable, se puede actualizar un perfil de usuario que contiene hábitos de escritura del usuario para reflejar que se tocó una tecla menos probable.

El documento WO 2012/144666 A1 describe un visualizador y un método de control del mismo. El visualizador incluye un visualizador, una cámara que captura un gesto en un espacio tridimensional; y un controlador que visualiza selectivamente un teclado virtual que corresponde a un gesto de la mano para la entrada de caracteres en el dispositivo de representación virtual cuando el gesto capturado incluye el gesto de la mano para la entrada de caracteres. En consecuencia, el teclado virtual que corresponde al gesto de la mano para la entrada de caracteres se visualiza, de modo que el usuario no puede realizar una operación adicional para representar visualmente el teclado virtual.

El documento WO 02/29711 A2 describe que un sistema de tiempo de vuelo de distancia tridimensional (10) se divulga en el que los valores de distancia son adquiridos por una pluralidad de sensores independientemente entre sí (20). Para su uso con este y sistemas similares, la precisión y resolución de la distancia Z son mejoradas mediante el uso de diversas técnicas que incluyen sobremuestreo de datos de sensores adquiridos y la formación de promedios corredores o la formación de promedios móviles. Los datos adquiridos pueden rechazarse si no cumplen con los criterios asociados con la distancia, la luminosidad, la velocidad o la información de forma estimada informada por los sensores vecinos. Se usa un subobjetivo que tiene al menos una zona reflectante precalibrada para mejorar la precisión de la medición del sistema. El error elíptico se corrige mediante el uso de un método divulgado, y un mapeo reversible de valores Z en RGB es proporcionado.

Breve sumario

Las realizaciones divulgadas incluyen métodos y sistemas para detectar y aplicar selectivamente entrada de usuario a elementos de entrada presentados dentro de un entorno de realidad mixta.

En algunas realizaciones, un sistema de realidad mixta renderiza un entorno de realidad mixta con uno o más hologramas. Luego, el sistema de realidad mixta presenta un receptor de entrada dentro del entorno de realidad mixta como un holograma. El receptor de entrada incluye una pluralidad de elementos de entrada que están configurados para recibir selectivamente entradas de una pluralidad de actuadores individuales de un controlador de entrada en base a un estado de entrada de los actuadores individuales y un mapeo de los actuadores individuales a diferentes elementos de entrada.

En algunas realizaciones, durante el uso, el sistema de realidad mixta identifica un controlador de entrada que incluye los actuadores individuales, en el que cada actuador correspondiente de los actuadores individuales se configura para, al interactuar con uno o más elementos de entrada del receptor de entrada que están mapeados al actuador correspondiente y cuando el estado de entrada del actuador correspondiente está en un estado activo, proporciona entrada de usuario dentro del entorno de realidad mixta. Posteriormente, el sistema de realidad mixta detecta una presencia de un atributo desencadenante del controlador de entrada que es operable, cuando está presente en el entorno de realidad mixta, para cambiar selectivamente el estado de entrada del actuador correspondiente de un estado inactivo a un estado activo para el uno o más elementos de entrada que están mapeados al actuador correspondiente. Finalmente, en respuesta a detectar la presencia del atributo desencadenante del controlador de entrada, el sistema de realidad mixta modifica selectivamente el estado de entrada del actuador correspondiente del estado inactivo al estado activo para posibilitar que el actuador correspondiente proporcione la entrada de usuario cuando el actuador correspondiente interactúa con uno o más elementos de entrada que están mapeados al actuador correspondiente dentro del entorno de realidad mixta. En otras realizaciones, un sistema de realidad mixta identifica un controlador de entrada para proporcionar entrada en el entorno de realidad mixta, incluyendo el controlador de entrada una pluralidad de actuadores, en donde los actuadores individuales de la pluralidad de actuadores están configurados para interactuar con uno o más elementos de entrada de un receptor de entrada para proporcionar la entrada de usuario correspondiente a través de uno o más elementos de entrada de un receptor de entrada en el entorno de realidad mixta. Luego, el sistema de realidad mixta identifica el receptor de entrada que comprende un holograma que incluye una pluralidad de elementos de entrada que están configurados cada uno, cuando interactúan con uno o más de la pluralidad de actuadores, para recibir la entrada de usuario correspondiente. Posteriormente, el sistema de realidad mixta mapea cada uno de los actuadores individuales de la pluralidad de actuadores a un conjunto respectivo de los elementos de entrada del receptor de entrada, de tal forma que cada uno de los actuadores individuales está configurado para proporcionar únicamente entrada de usuario al conjunto respectivo de elementos de entrada a los que está asociado y en los que al menos un primer actuador de la pluralidad de actuadores está mapeado a un primer conjunto de elementos de entrada que es diferente de un segundo conjunto de elementos de entrada que está mapeado a un segundo actuador de la pluralidad de actuadores . Este sumario se proporciona para presentar una selección de conceptos en una forma simplificada que se describen con más detalle a continuación en la descripción detallada. Este sumario no pretende identificar características clave o características esenciales del objeto reivindicado, ni pretende ser usado como ayuda para determinar el alcance del objeto reivindicado.

Características y ventajas adicionales se establecerán en la descripción que sigue, y en parte serán obvias a partir de la descripción, o podrán aprenderse mediante la práctica de las enseñanzas del presente documento. Las características y ventajas de la invención se pueden realizar y obtener por medio de los instrumentos y combinaciones particularmente señalados en las reivindicaciones adjuntas. Las características de la presente invención resultarán más evidentes a partir de la siguiente descripción y las reivindicaciones adjuntas, o podrán aprenderse mediante la práctica de la invención como se establece a continuación.

La invención se encuentra en las reivindicaciones independientes. Realizaciones preferidas se encuentran en las reivindicaciones dependientes.

La figura 8 y la descripción correspondiente no forman parte de la invención, pero son útiles para la comprensión de la misma.

Breve descripción de los dibujos

Para describir la manera en que las ventajas y características mencionadas anteriormente y otras se pueden obtener, una descripción más particular del objeto brevemente descrito anteriormente se aportará haciendo referencia a realizaciones específicas que se ilustran en los dibujos adjuntos. Entendiendo que estos dibujos representan sólo realizaciones típicas y, por lo tanto, no deben considerarse de alcance limitativo, las realizaciones serán descritas y explicadas con especificidad y detalle adicionales mediante el uso de los dibujos que se acompañan en los que:

La figura 1 ilustra una realización de un controlador de entrada posicionado cerca de un receptor de entrada en un entorno de realidad mixta;

La figura 2 ilustra un mapeo ejemplar de uno o más elementos de entrada de un receptor de entrada a actuadores correspondientes de un controlador de entrada en un entorno de realidad mixta;

Las figuras 3A y 3B ilustran un mapeo ejemplar adicional de uno o más elementos de entrada de un receptor de entrada a actuadores de un controlador de entrada en respuesta a la detección de un cambio en la posición del controlador de entrada con respecto al receptor de entrada;

Las figuras 4A-4E ilustran una realización de un controlador de entrada que incluye una pluralidad de actuadores individuales y atributos desencadenantes ejemplares para cambiar selectivamente el estado de entrada de un actuador de un estado inactivo a un estado activo;

La figura 5 ilustra realizaciones ejemplares de atributos desencadenantes de un controlador de entrada para cambiar selectivamente el estado de entrada de un actuador de un estado inactivo a un estado activo;

La figura 6 ilustra una realización ejemplar de un actuador que proporciona entrada de usuario en un receptor de entrada de realidad mixta en un entorno de realidad mixta;

La figura 7 muestra un diagrama de flujo ejemplar que representa un método para detectar entrada de usuario en un entorno de realidad mixta;

La figura 8 muestra un diagrama de flujo ejemplar que representa un método para detectar interacción usuarioobjeto en un entorno de realidad mixta usando restricciones direccionales; y

La figura 9 ilustra un sistema informático ejemplar que puede usarse para realizar las realizaciones descritas en el presente documento.

Descripción detallada

Al menos algunas realizaciones divulgadas en el presente documento se relacionan con sistemas de realidad mixta configurados para detectar la entrada de usuario en un entorno de realidad mixta. Muchos sistemas de realidad mixta detectan el movimiento de los controladores de entrada de usuario, que a veces se implementan como parte del cuerpo de un usuario tal como sus manos, para permitir a los usuarios interactuar con objetos virtuales en el entorno de realidad mixta. A modo de ejemplo, algunos sistemas de realidad mixta permiten a un usuario usar sus manos (o representaciones virtuales de las mismas) para interactuar con un teclado virtual, visualizador táctil u otro receptor de entrada virtual.

Un desafío asociado con la detección de entrada de usuario en un entorno de realidad mixta es que los objetos de realidad mixta y receptores de entrada no ofrecen resistencia física a los gestos del usuario. En un ejemplo, un teclado virtual no proporciona retroalimentación de fuerza física a los dedos de un usuario y, por lo tanto, no informa físicamente al usuario que el usuario ha presionado con éxito una tecla virtual. Debido a esto, si un usuario intenta interactuar con un teclado virtual, el usuario puede mover involuntariamente sus dedos y mano a través del teclado virtual y causar interacciones entre el controlador y el elemento de entrada en una pluralidad de casos no intencionados. Este problema existe para los teclados virtuales, así como para otros tipos de interfaces de menú que incluyen una pluralidad de elementos de entrada seleccionables individualmente (por ejemplo, teclas, botones, elementos de menú, iconos, etc.)

Algunas soluciones que intentan abordar este problema incluyen restringir el punto de entrada de la mano del usuario solo a la punta del dedo índice. Sin embargo, esta solución, en algunos casos, elimina la posibilidad de interaccionar con una interfaz de múltiples dedos con receptores de entrada virtuales. Otra posible solución incluye realizar análisis de movimiento en todos los dedos del usuario y aplicar heurística para inferir la palabra escrita. Sin embargo, esta solución puede resultar computacionalmente costosa para un sistema de realidad mixta.

Esta divulgación incluye realizaciones que pueden abordar algunos o todos los desafíos antes mencionados con la detección de detectar entrada de usuario en un entorno de realidad mixta. En algunas realizaciones, después de renderizar un entorno de realidad mixta que incluye un receptor de entrada y un controlador de entrada, un sistema de realidad mixta detecta la presencia de un atributo desencadenante del controlador de entrada para cambiar un estado de entrada de un actuador del controlador de entrada desde un estado inactivo a un estado activo, en el que el actuador se vuelve operable para proporcionar entrada de usuario a un elemento de entrada cuando está en el estado activo.

Los expertos en la técnica reconocerán que, en algunos casos, las realizaciones divulgadas en el presente documento proporcionan beneficios significativos sobre los sistemas y métodos convencionales para detectar entrada de usuario en entornos de realidad mixta. Por ejemplo, algunas realizaciones divulgadas proporcionan a los usuarios una funcionalidad de sistema de realidad mixta que aminora y/o elimina la entrada involuntaria de entradas de usuario en receptores de entrada de realidad mixta.

Habiendo descrito algunas de las diversas características y beneficios de alto nivel de las realizaciones divulgadas, ahora se dirigirá la atención a las figuras 1 a 8. Estas figuras ilustran diversas funcionalidades, ejemplos, ilustraciones de apoyo y métodos relacionados con la detección de interacciones usuario-objeto en entornos de realidad mixta. Posteriormente, se dirigirá la atención a la figura 9, que presenta un sistema informático de ejemplo que puede usarse para facilitar los principios divulgados.

Las siguientes realizaciones se discuten en el contexto de un sistema de realidad mixta (por ejemplo, el sistema informático 900 ilustrado en la figura 9) donde un entorno de realidad mixta que incluye uno o más hologramas se presenta a un usuario en un visualizador de realidad mixta y donde el usuario puede interactuar con uno o más objetos. Un control operado por el usuario (por ejemplo, la mano de un usuario) para interactuar con el entorno de realidad mixta puede ser rastreado por el sistema de realidad mixta (ver la figura 9 y la discusión relevante de los sensores 920 y 930) de forma tal que el sistema de realidad mixta detecta movimiento, posturas, y/u otras características del control del usuario. En respuesta a la detección de ciertos movimientos, posturas y/u otras variables/valores en base a tales movimientos y/o posturas del control de usuario, el sistema de realidad mixta puede ejecutar ciertos comandos y/o entradas para conformar la experiencia de usuario en base a recibir selectivamente y/o procesar la entrada en base a mapeos predefinidos entre los atributos de elemento de control (por ejemplo, postura, tipo, orientación, velocidad, etc.) y atributos de elemento de entrada (preferencias para una entrada aceptable).

Ahora se dirige la atención a la figura 1, que ilustra una realización de un controlador de entrada 110 posicionado cerca de un receptor de entrada 120 en un entorno de realidad mixta 105. Como se ilustra en la figura 1, el controlador de entrada 110 está realizado como la mano de un usuario (o una representación virtual de la misma), y el receptor de entrada 120 está realizado como un teclado virtual de diseño QWERTY. Las manos del usuario incluyen varios dedos para interactuar con el teclado virtual, y el teclado virtual incluye varias teclas para recibir entradas de la mano del usuario (por ejemplo, las teclas alfanuméricas, modificadoras, de cursor, comando del sistema y otras teclas del teclado virtual).

En la representación actual, la mano del usuario es un tipo de controlador de entrada 110 que tiene una pluralidad de diferentes actuadores 111 (por ejemplo, dedos) y el teclado es un ejemplo de un objeto de entrada (por ejemplo, un receptor de entrada 120) con una pluralidad de elementos de entrada 121 individual. En otras realizaciones, el teclado es un holograma virtual presentado en un entorno de realidad mixta. Además, o alternativamente, la mano del usuario puede ser una representación holográfica de la mano del usuario que mapea la mano de un usuario real.

En otras realizaciones, se proporcionan diferentes tipos de receptores y controladores de entrada como hologramas y/o componentes del mundo real para implementar las realizaciones divulgadas. Por ejemplo, los expertos en la técnica también reconocerán que controladores de entrada más allá de los ilustrados en la figura 1 están dentro del alcance de esta divulgación. Por ejemplo, un controlador de entrada puede implementarse como cualquier objeto que incluya una pluralidad de actuadores individuales que son configurables para interactuar con uno o más elementos de entrada de un receptor de entrada. A modo de ejemplo, un controlador de entrada puede implementarse como una pluralidad de varillas de control operadas por el usuario. Además, se apreciará que el receptor de entrada no necesita ser realizado como un teclado virtual de diseño QWERTY, y que el receptor de entrada es implementable como cualquier objeto virtual que incluye una pluralidad de elementos de entrada que están configurados para recibir selectivamente entrada desde actuadores individuales de un controlador de entrada. Por ejemplo, en algunas realizaciones, un receptor de entrada es un teclado virtual con diseño ABCDE, Dvorak, Colemak o Workman, o una pantalla táctil, digitalizador o tableta virtual. En otras realizaciones, el objeto virtual es una interfaz de menú con una pluralidad de objetos o iconos seleccionables. Un controlador también puede ser un controlador de objeto distinto de una representación de la mano de un usuario, tal como, pero no limitado a, una varilla con diferentes porciones (por ejemplo, extremos) o elementos adjuntos que actúan como actuadores separados.

Como se señaló, la figura 1 solo se proporciona como una referencia y no como una limitación real del tipo de controladores y receptores de entrada que se pueden usar. De hecho, se apreciará que las realizaciones divulgadas incluyen y/o aplican a diferentes tipos de controladores y/o receptores de entrada, incluidas varias combinaciones de componentes virtuales (por ejemplo, hologramas) y diferentes formas y configuraciones de controladores (distintos de las manos) y receptores de entrada (distintos a teclados).

La figura 2 ilustra un mapeo ejemplar de uno o más elementos de entrada de un receptor de entrada a actuadores correspondientes de un controlador de entrada en un entorno de realidad mixta. En algunos ejemplos, debido a que los dispositivos receptores de realidad mixta no son físicos, la mano o el controlador de un usuario pueden desviarse de su localización destinada con respecto al receptor de entrada, particularmente cuando un usuario está realizando tecleo táctil y no mira al receptor de entrada virtual mientras está interactuando con él. En consecuencia, un usuario puede presionar inadvertidamente elementos de entrada no deseados durante la interacción con un receptor de entrada de realidad mixta.

Para aminorar este problema, en algunas realizaciones, un sistema de realidad mixta mapea cada actuador individual de un controlador de entrada de realidad mixta a un conjunto o subconjunto correspondiente de elementos de entrada del receptor de entrada de realidad mixta. Como tal, en tales realizaciones, cada actuador individual se configura para proporcionar o posibilitar selectivamente que la entrada de usuario se introduzca, reciba y/o procese solo en el subconjunto de elementos de entrada del receptor de entrada al que el actuador individual/correspondiente está mapeado. El mapeo se puede almacenar en memoria del sistema de realidad mixta o se puede acceder a él de forma remota desde otro sistema durante, por ejemplo, implementaciones de procesamiento en la nube.

Como se representa en la figura 2, se muestran correlaciones visuales, correspondientes a los mapeos, entre los diferentes dedos (por ejemplo, actuadores) de la mano del usuario (por ejemplo, controlador de entrada) y los conjuntos o subconjuntos de teclas (por ejemplo, elementos de entrada) de un teclado de realidad mixta (por ejemplo, objeto de entrada). En la realización ilustrada, los dedos índices 201 del usuario están mapeados a todas las teclas, de tal modo que un usuario puede elegir interactuar con todas las teclas del teclado sólo con sus dedos índice. Además, en esta realización, los pulgares 203 del usuario sólo están mapeados para proporcionar entrada a la barra espaciadora 251 del teclado. Los dedos medios 205 del usuario están mapeados a las teclas E, D y C (para el dedo medio izquierdo del usuario, indicado por el número 253) y a las teclas I, K y coma/menor que (para el dedo medio derecho del usuario, denotado por el número 255). Los dedos anulares 207 del usuario están mapeados a las teclas W, S y X (para el dedo anular izquierdo del usuario, denotado por el número 257) y a las teclas O, L y punto/mayor que (para el dedo anular derecho del usuario, denotado por el número 259). Como se muestra, los meñiques del usuario están mapeados a las teclas Tabulador, Bloque Mayúscula y Mayúscula izquierda (para el meñique izquierdo del usuario, denotado por el número 261) y a las teclas Retroceso y Mayúscula derecha (para el meñique derecho del usuario, denotado por el número 263). A este respecto, cada uno de la pluralidad de actuadores (dedos) se mapea a un subconjunto correspondiente diferente de la pluralidad de elementos de entrada (teclas) del receptor de entrada (teclado).

Se apreciará que los mapeos entre actuadores individuales y conjuntos de elementos de entrada no se limitan a los ilustrados en la figura 2. Por ejemplo, los meñiques de un usuario pueden mapearse adicionalmente a las teclas Q, A y Z (para el meñique izquierdo del usuario) y a la P, la tecla punto y coma/dos puntos y la tecla de barra diagonal/signo de interrogación (para el meñique derecho del usuario). Además, se pueden mapear varios dedos de usuario a varias teclas numéricas de un teclado de realidad mixta.

También cabe señalar que el sistema de realidad mixta puede mapear actuadores individuales a conjuntos de elementos de entrada de un receptor de entrada de diversas maneras. Por ejemplo, en algunas realizaciones, el sistema de realidad mixta mapea los actuadores a los elementos de entrada de una manera estática, como predefiniendo los mapeos antes de recibir entrada de usuario desde los actuadores en el receptor de entrada. En otro ejemplo, el sistema de realidad mixta mapea los actuadores en los elementos de entrada de manera dinámica, tal como detectando la posición o el reposicionamiento de los actuadores en relación a los elementos de entrada y cambiando el mapeo en base a la posición o el reposicionamiento de los actuadores respecto a los elementos de entrada. Las realizaciones de mapeo alternativas pueden ser beneficiosas, por ejemplo, en situaciones en las que un usuario teclea de una manera no convencional o tiene una configuración de mano irregular (por ejemplo, un usuario al que le falta un dedo).

Además, las implementaciones de mapeo dinámico pueden resultar beneficiosas en situaciones en las que un usuario debe reposicionar su(s) controlador(es) de entrada para interactuar con ciertos elementos de entrada de un receptor de entrada. A modo de ejemplo, la figura 3A ilustra un teclado virtual 320 que incluye una porción de diseño QWERTY 321 y un teclado numérico 323. Para que un usuario proporcione entrada en el teclado numérico 323, el usuario debe posicionar su controlador de entrada (que se muestra aquí como mano 310) sobre el teclado numérico 323 para interactuar con los elementos de entrada del teclado numérico 323. En algunos casos, el usuario alterna entre usar la porción de diseño QWERTY 321 del teclado y el teclado numérico 323 del teclado, y viceversa. Como tal, el sistema de realidad mixta detecta si el usuario ha cambiado la posición de su mano 310 de estar sobre la porción de diseño QWERTY 321 al teclado numérico 323, o viceversa (indicado por la flecha de la figura 3A).

Al detectar que el usuario ha colocado su mano 310 sobre el teclado numérico 323, el sistema de realidad mixta cambia entonces el mapeo de los actuadores (dedos) del controlador de entrada de usuario (mano 310) para corresponder con los elementos de entrada del teclado numérico. 323, en lugar de los elementos de entrada de la parte de diseño QWERTY 321. Esto se demuestra en la figura 3B, donde, en respuesta a detectar que el usuario posiciona su mano 310 sobre el teclado numérico 323, el sistema de realidad mixta mapea el dedo índice 301 del usuario a las teclas 7, 4 y 1 (indicadas por el número 351) del teclado numérico 323. Además, el dedo medio 305 del usuario está mapeado a las teclas 8, 5 y 2 (indicadas por el número 355) del teclado numérico 323, el dedo anular 307 del usuario está mapeado a las teclas 9, 6 y 3 (indicadas por el número 357) del teclado numérico 323, y el pulgar 303 del usuario está mapeado a las teclas 0 y punto decimal (indicadas por el número 353) del teclado numérico 323.

Se apreciará que los mapeos entre actuadores individuales y conjuntos de elementos de entrada no se limitan a las ilustradas en la figura 3B. Por ejemplo, los meñiques de un usuario pueden mapearse adicionalmente a las teclas e Intro del teclado numérico. Además, se pueden mapear diversos dedos de usuario a diversas teclas numéricas de un teclado de realidad mixta en otras configuraciones.

El mapeo para cualquier porción de un receptor de entrada también puede basarse en atributos/afinidad de entrada de los elementos de entrada que reciben entrada en combinación con los atributos o propiedades de los controladores, tales como el tipo de controlador o identificadores (por ejemplo, un dedo particular o tipo/identificador de varilla), así como, o alternativamente, a cualquier otro atributo(s) particular(es) de los elementos del controlador (por ejemplo, postura, orientación, velocidad, etc.)

Ahora se dirige la atención a las figuras 4A-4E, que ilustran una realización de un controlador de entrada que incluye una pluralidad de actuadores individuales y atributos desencadenantes ejemplares para cambiar selectivamente el estado de entrada de un actuador de un estado inactivo a un estado activo. Para evitar la interacción involuntaria del usuario entre los actuadores y los elementos de entrada del receptor de entrada, un estado de entrada de los diversos actuadores del controlador de entrada puede, en algunas realizaciones, conmutarse entre un estado activo y un estado inactivo. Cuando un actuador está en un estado activo, el actuador está habilitado para proporcionar entrada de usuario al interactuar con un elemento de entrada de un receptor de entrada (por ejemplo, un elemento de entrada al que está mapeado el actuador, como se describe en las figuras 2 y 3B). Por el contrario, cuando un actuador está en un estado inactivo, el actuador está deshabilitado para proporcionar entrada de usuario a los elementos de entrada del receptor de entrada, incluso cuando el actuador interactúa con un elemento de entrada del receptor de entrada.

En algunas realizaciones, el sistema de realidad mixta detecta la presencia de un atributo desencadenante asociado con el controlador de entrada o los actuadores en él. En respuesta a detectar la presencia del atributo desencadenante, el sistema de realidad mixta modifica selectivamente el estado de entrada de un actuador correspondiente del estado inactivo al estado activo para posibilitar que el actuador correspondiente proporcione entrada de usuario a un elemento de entrada cuando el actuador interactúa con el elemento de entrada.

Los atributos desencadenantes asociados con el controlador de entrada que son detectables por el sistema de realidad mixta pueden adoptar varias formas. Por ejemplo, como se ilustra en las figuras 4A-4E, el atributo desencadenante se basa en una postura de uno o más de los actuadores individuales del controlador de entrada. Las figuras 4A-4E muestran, en la realización ilustrada, una pluralidad de posturas asociadas con la mano del usuario, y el sistema de realidad mixta detecta la presencia de cualquiera de estas posturas como un atributo desencadenante para modificar el estado de entrada del dedo del usuario (por ejemplo, actuador) que corresponde a la postura detectada.

Las posturas de las figuras 4A-4E corresponden a algunas de las configuraciones en las que un usuario puede poner su mano para escribir en un teclado. La figura 4A muestra la postura ejemplar de la mano de un usuario 451 cuando presiona una tecla en un teclado con un dedo índice 401, y cuando el sistema de realidad mixta detecta una postura correspondiente 451, el sistema de realidad mixta modifica selectivamente el estado de entrada del dedo índice 401 al estado activo, como indica la porción inferior de la figura 4A que muestra un dedo índice resaltado 401. La figura 4B muestra la postura ejemplar de la mano de un usuario 453 cuando presiona una tecla en un teclado con el pulgar 403, y cuando el sistema de realidad mixta detecta una postura correspondiente 453, el sistema de realidad mixta modifica selectivamente el estado de entrada del pulgar 403 al estado activo, como indica la porción inferior de la figura 4B que muestra un pulgar resaltado 403. La figura 4C muestra una postura ejemplar de la mano de un usuario 455 cuando presiona una tecla en un teclado con un dedo medio 405, y cuando el sistema de realidad mixta detecta una postura correspondiente 455, el sistema de realidad mixta modifica selectivamente el estado de entrada del dedo medio 405 al estado activo, como indica por la porción inferior de la figura 4C que muestra un dedo medio resaltado 405.

La figura 4D muestra la postura de la mano de un usuario ejemplar 457 cuando presiona una tecla en un teclado con un dedo anular 407, y cuando el sistema de realidad mixta detecta una postura correspondiente 457, el sistema de realidad mixta modifica selectivamente el estado de entrada del dedo anular 407 al estado activo, como indica la porción inferior de la figura 4D que muestra un dedo anular resaltado 407. La figura 4E muestra la postura ejemplar de la mano de un usuario 459 cuando presiona una tecla en un teclado con un meñique 409, y cuando el sistema de realidad mixta detecta una postura correspondiente 459, el sistema de realidad mixta modifica selectivamente el estado de entrada del meñique 409 al estado activo, como indica la porción inferior de la figura 4E que muestra un meñique resaltado 409. A este respecto, en algunas realizaciones, el sistema selectivamente modifica el estado de entrada de uno o más actuadores de un controlador de entrada (por ejemplo, dedos de una mano) en base a una postura de un conjunto de actuadores individuales del controlador de entrada.

Los expertos en la técnica reconocerán que, en algunas realizaciones, cuando un dedo o actuador de un controlador de entrada está en un estado activo, el dedo o actuador está configurado para proporcionar entrada de usuario sólo a los elementos de entrada del receptor de entrada al que está mapeado el dedo o actuador para proporcionas entrada de usuario a través de interacción. Además, cuando el dedo del usuario u otro actuador de un controlador de entrada está en un estado activo, puede resaltarse visualmente con coloración, texturización, animación (pulsaciones) o cualquier otro tipo de resaltado que se renderice temporalmente mientras el actuador está en un estado activo y que se elimina cuando está en estado inactivo. El resaltado visual puede renderizarse como un holograma visualizado por el usuario en un visualizador de realidad mixta como un holograma que está mapeado y que se superpone visualmente al objeto de control del mundo real, tal como el dedo de un usuario (ya sea solo parcialmente o, alternativamente, completamente). Cuando el actuador es un holograma en sí mismo, el resaltado visual se puede aplicar directamente al visualizador del actuador. En otras realizaciones, el actuador entra y sale de un estado activo sin que se genere o renderice ninguna información visual al usuario para reflejar los estados activo/inactivo del objeto/actuador(es) de control.

Atributos desencadenantes adicionales asociados con el controlador de entrada para modificar selectivamente el estado de entrada de uno o más actuadores también son posibles, algunos de los cuales se ilustran en la figura 5. En al menos una realización mostrada en la figura 5, el atributo desencadenante del controlador de entrada se basa en una característica de movimiento de un conjunto de uno o más de los actuadores individuales de la pluralidad de actuadores del controlador de entrada. La flecha 511 ilustrada en la figura 5 indica una velocidad o aceleración del dedo índice 501 del usuario a medida que se mueve hacia abajo hacia las teclas 521 del teclado virtual 520. En la realización ilustrada, el sistema de realidad mixta detecta características de movimiento (por ejemplo, velocidad y/o aceleración) de los actuadores (por ejemplo, el dedo índice del usuario 501) del controlador de entrada (por ejemplo, la mano del usuario 510), y donde las características de movimiento de un actuador particular exceden un valor de umbral predeterminado para el actuador particular (por ejemplo, un umbral velocidad o aceleración), el sistema de realidad mixta modifica selectivamente el estado de entrada del actuador particular (por ejemplo, de un estado inactivo a un estado activo, o viceversa).

En otras realizaciones, el atributo desencadenante del controlador de entrada se basa en una posición de un conjunto de uno o más de los actuadores individuales de la pluralidad de actuadores con respecto a un conjunto de uno o más elementos de entrada del receptor de entrada. Por ejemplo, como se muestra en la figura 5, el dedo índice 501 del usuario está en proximidad más cercana del receptor de entrada virtual 520 que los otros dedos del usuario. En la realización ilustrada, el sistema de realidad mixta detecta una distancia entre los diversos actuadores del controlador de entrada 510 y uno o más de los elementos de entrada 521 del receptor de entrada 520. Al detectar que la distancia entre un actuador particular (por ejemplo, índice dedo 501) y uno o más de los elementos de entrada 521 del receptor de entrada 520 alcanza un umbral de distancia predeterminado, el sistema de realidad mixta modifica selectivamente el estado de entrada del actuador particular de un estado inactivo a un estado activo.

Como se muestra en la figura 5, la distancia entre el dedo índice 501 del usuario y uno o más elementos de entrada 521 del receptor de entrada 520 está dentro de un umbral de distancia predeterminado, y el dedo índice del usuario 501 está más cerca de los elementos de entrada 521 del receptor de entrada 520 que cualquier otro dedo. En consecuencia, el sistema de realidad mixta modifica el estado de entrada del dedo índice 501 del usuario a un estado activo.

En algunas realizaciones, cuando un conjunto de más de un actuador alcanza el umbral de distancia predeterminado, el sistema de realidad mixta cambia el estado de entrada para cada actuador en el conjunto a un estado activo, o solo cambia el estado del actuador en el conjunto que está en la proximidad más cercana a uno o más elementos de entrada del receptor de entrada.

Los expertos en la técnica reconocerán que otros mecanismos son adecuados para detectar la presencia de un atributo desencadenante asociado con el controlador de entrada y están dentro del alcance de esta divulgación. Por ejemplo, un atributo desencadenante del controlador de entrada puede basarse en una entrada previa detectada por el receptor de entrada. A modo de ejemplo, si el sistema de realidad mixta recibe una entrada de usuario en el receptor de entrada correspondiente a una pulsación de la tecla T seguida de la tecla H, el sistema de realidad mixta identifica esta secuencia de entrada de usuario detectada como un atributo desencadenante y, basado en una predicción de que el usuario presionará la tecla E, modifica selectivamente el estado de entrada del dedo medio izquierdo del usuario a un estado activo en anticipación de que el usuario presione la tecla E para deletrear la palabra "the".

La figura 6 ilustra una realización ejemplar de un actuador de un controlador de entrada que proporciona entrada de usuario en un receptor de entrada de realidad mixta en un entorno de realidad mixta. En particular, la figura 6 muestra el dedo índice 601 de la mano 610 de un usuario interactuando con un teclado virtual 620 para proporcionar entrada de usuario dentro de un entorno de realidad mixta. En la realización ilustrada, sólo un dedo, el dedo índice 601 del usuario, interactúa con una tecla 621 del teclado virtual 620.

En algunas realizaciones, el sistema de realidad mixta está configurado de tal forma que el estado de entrada de solo un único actuador de la pluralidad de actuadores se establece en el estado activo a la vez, mientras que los otros actuadores se establecen en el estado inactivo. Como tal, en algunas implementaciones, al modificar el estado de entrada de un actuador del estado inactivo al estado activo, el sistema de realidad mixta modifica el estado de entrada de un actuador previamente activo del estado activo al estado inactivo. Por ejemplo, en la figura 6, si el dedo medio 603 del usuario estaba previamente activo, una vez que el sistema de realidad mixta detecta la presencia de un atributo desencadenante para el dedo índice 601 del usuario, el sistema de realidad mixta cambia el estado de entrada del dedo índice 601 a un estado activo y el estado de entrada del dedo medio 603 a un estado inactivo. En algunos casos, esta funcionalidad reduce el número de presiones de elementos de receptor de entrada inintencionadas en un entorno de realidad mixta.

En algunas realizaciones, se pretende que múltiples elementos de entrada del receptor de entrada de realidad mixta se presionen simultáneamente. Por ejemplo, hay entradas de teclado alternativas disponibles para muchas teclas del teclado si la tecla Mayús. o la tecla Control se presionan simultáneamente con otra tecla. En consecuencia, en algunas realizaciones, el sistema de realidad mixta se configura para permitir selectivamente que más de una clave esté en estado activo simultáneamente. A modo de ejemplo, el sistema de realidad mixta, en algunas realizaciones, detecta una entrada de usuario que corresponde a una presión en una tecla que desbloquea entradas alternativas en un receptor de entrada virtual (tal como una tecla Mayús o Control en un teclado virtual), y en respuesta a esta detección, el sistema de realidad mixta permite selectivamente que más de un actuador del controlador de entrada esté en el estado activo simultáneamente (por ejemplo, para permitir al usuario utilizar las entradas alternativas posibles gracias a la tecla Mayús o Control).

La siguiente discusión se refiere ahora a un número de métodos y actos de método que pueden realizarse. Aunque los actos del método pueden discutirse en un orden determinado o ilustrarse en un diagrama de flujo como si ocurrieran en un orden particular, no se requiere ningún orden particular a menos que se indique específicamente, o se requiera porque un acto dependiente de otro acto se complete antes de que se realice el acto.

La figura 7 muestra un diagrama de flujo 700 que representa actos de métodos asociados con la detección de entradas de usuario en un entorno de realidad mixta y de una manera que incluye la activación selectiva de diferentes actuadores basándose en atributos desencadenantes. En particular, el diagrama de flujo ilustrado 700 incluye actos de renderizado de un entorno de realidad mixta (702), presentar un receptor de entrada que incluye una pluralidad de elementos de entrada (704), identificar un controlador de entrada que incluye actuadores individuales (706), detectar una presencia de un atributo desencadenante (708), modificando selectivamente el estado de entrada del actuador correspondiente del estado inactivo al estado activo (710), y modificar el estado de entrada de al menos un actuador diferente del estado activo al estado inactivo (712)

El acto 702 incluye el renderizado de un entorno de realidad mixta. En algunas realizaciones, el entorno de realidad mixta incluye uno o más hologramas que se presentan a un usuario en un dispositivo visualizador de realidad mixta y donde el usuario puede interactuar con uno o más objetos.

El acto 704 incluye presentar un receptor de entrada que incluye una pluralidad de elementos de entrada. En algunas realizaciones, el receptor de entrada es un teclado virtual de diseño QWERTY con varias teclas para recibir entrada de la mano del usuario (por ejemplo, las teclas alfanuméricas, modificadoras, de cursor, de comando del sistema y otras teclas del teclado virtual). En otras realizaciones, el receptor de entrada se puede implementar como cualquier objeto virtual que incluye una pluralidad de elementos de entrada que están configurados para recibir selectivamente entrada de actuadores individuales de un controlador de entrada. Por ejemplo, en algunas realizaciones, un receptor de entrada es un teclado con diseño ABCDE, Dvorak, Colemak o Workman virtual, o una pantalla táctil virtual, digitalizador, tableta u otro receptor de entrada. Además, en algunas realizaciones, el receptor de entrada incluye varias porciones, tales como una porción QWERTY y una porción de teclado numérico.

El acto 706 incluye identificar un controlador de entrada que incluye actuadores individuales. En algunas realizaciones, el controlador de entrada es la mano de un usuario (o una representación virtual de la misma), o cualquier objeto que incluye una pluralidad de actuadores individuales que sean configurables para interactuar con uno o más elementos de entrada de un receptor de entrada. A modo de ejemplo, un controlador de entrada puede implementarse como una pluralidad de varillas de control operadas por el usuario, que podrían ser dedos del usuario, por ejemplo.

El acto 708 incluye detectar la presencia de un atributo desencadenante. En algunas realizaciones, el atributo desencadenante está asociado con el controlador de entrada y se basa en una postura de uno o más de los actuadores individuales del controlador de entrada, una característica de movimiento (por ejemplo, velocidad, localización absoluta o localización relativa a los elementos de entrada, velocidad, etc.) de un conjunto de uno o más de los actuadores individuales de la pluralidad de actuadores del controlador de entrada, una posición de un conjunto de uno o más de los actuadores individuales de la pluralidad de actuadores con respecto a un conjunto de uno o más elementos de entrada del receptor de entrada, y/o entrada previa detectada por el receptor de entrada.

El acto 710 incluye modificar selectivamente el estado de entrada del actuador correspondiente del estado inactivo al estado activo. En algunas realizaciones, el estado de entrada de sólo un simple actuador de la pluralidad de actuadores se establece en el estado activo a la vez, mientras que los otros actuadores se establecen en el estado inactivo. En otras realizaciones, el sistema de realidad mixta está configurado para permitir selectivamente que más de una tecla esté en estado activo simultáneamente, tal como cuando una tecla que desbloquea entradas alternativas en un receptor de entrada virtual se presiona. En aún otras realizaciones, el número de teclas que se permite que estén en el estado activo no está restringido. Cuando se puede seleccionar más de un elemento de entrada al mismo tiempo, el sistema puede activar selectivamente múltiples actuadores para proporcionar entrada al mismo tiempo.

El acto 712 incluye modificar el estado de entrada de al menos un actuador diferente del estado activo al estado inactivo. En algunas realizaciones, el acto 712 se realiza particularmente cuando el sistema de realidad mixta solo permite que un actuador del controlador de entrada esté en estado activo a la vez. Cuando un actuador está en un estado activo, y cuando ese actuador en el estado activo interseca un plano o espacio asociado con un elemento de entrada particular, entonces la entrada es generada por el elemento de entrada (en base a los atributos de control del elemento de entrada especificados por la aplicación de control para ese elemento de entrada). En algunos casos, el sistema genera la entrada asociada con el elemento de entrada automáticamente en respuesta a la detección de que el actuador en estado activo interseca el elemento de entrada. Esto puede incluir que el sistema envíe una notificación a la aplicación de control del evento de entrada que es suficiente para generar la entrada.

En algunos casos, sólo se puede recibir una única entrada en el objeto de entrada a la vez y/o sólo un único actuador un único actuador del controlador se puede utilizar activamente para proporcionar entrada a la vez, para evitar que se procesen entradas adicionales de entrada inadvertidas. En otras realizaciones, todos o un subconjunto de actuadores seleccionados (y a veces solo pares de actuadores particulares) pueden proporcionar entrada simultáneamente en un mismo objeto de entrada.

Cuando el estado de entrada del objeto(s) se activa o desactiva, un identificador/resaltado visual se puede representar con el(los) objeto(s) de entrada para reflejar qué objeto(s) está(n) activo(s) en un momento dado. Los expertos en la técnica reconocerán que, en algunas realizaciones, el método 700 se lleva a cabo donde cada actuador individual de un controlador de entrada de realidad mixta se mapea a un conjunto o subconjunto correspondiente de elementos de entrada del receptor de entrada de realidad mixta. Como tal, en tales realizaciones, cada actuador individual se configura para proporcionar selectivamente entrada de usuario sólo al subconjunto de elementos de entrada a los que está mapeado el actuador individual.

Aunque la descripción anterior se ha centrado en realizaciones en las que un sistema de realidad mixta detecta la presencia de un evento desencadenante para modificar selectivamente el estado de un actuador de un controlador de entrada para permitir que el actuador interactúe con un elemento de entrada o conjunto de elementos de entrada de un receptor de entrada al que se mapea el actuador, los expertos en la técnica reconocerán que existen otras realizaciones dentro del alcance de esta divulgación para optimizar la detección de la entrada de usuario en un entorno de realidad mixta. Estas realizaciones pueden, en algunos casos, permitir una mayor precisión en la detección de entrada de usuario de una manera computacionalmente económica. La figura 8 muestra un diagrama de flujo 800 que representa actos asociados con métodos para detectar entrada de usuario en un entorno de realidad mixta de una manera computacionalmente ligera. En particular, el método 800 incluye actos de identificar un controlador de entrada que incluye una pluralidad de actuadores (802), identificar el receptor de entrada que incluye una pluralidad de elementos de entrada (804), mapear cada uno de los actuadores individuales a un conjunto respectivo de los elementos de entrada del receptor de entrada (806), detectar un reposicionamiento de uno o más actuadores con respecto a la pluralidad de elementos de entrada (808), y remapear uno o más actuadores individuales a un conjunto diferente de elementos de entrada del receptor de entrada (810).

El acto 802 incluye identificar un controlador de entrada que incluye una pluralidad de actuadores. En algunas realizaciones, el controlador de entrada está adaptado para proporcionar entrada en el entorno de realidad mixta, y los actuadores individuales de la pluralidad de actuadores están configurados para interactuar con uno o más elementos de entrada de un receptor de entrada para proporcionar la entrada de usuario correspondiente a través de uno o más elementos de entrada de un receptor de entrada en el entorno de realidad mixta. En algunas realizaciones, el controlador de entrada se incorpora como la mano de un usuario, con los dedos del usuario funcionando como actuadores.

El acto 804 incluye identificar el receptor de entrada incluyendo una pluralidad de elementos de entrada. En algunas realizaciones, cada uno de los elementos de entrada de la pluralidad de elementos de entrada está configurado, cuando interactúan con uno o más de la pluralidad de actuadores, para recibir la entrada de usuario correspondiente. En algunas realizaciones, un teclado virtual sirve como receptor de entrada, sirviendo sus teclas como elementos de entrada del mismo. Además, en algunas realizaciones, el receptor de entrada incluye varias porciones, tales como una porción QWERTY y una porción de teclado numérico.

El acto 806 incluye mapear cada uno de los actuadores individuales a un conjunto respectivo de los elementos de entrada del receptor de entrada. En algunas realizaciones, el mapeo se realiza de manera tal que cada uno de los actuadores individuales está configurado para proporcionar solo entrada de usuario al conjunto respectivo de elementos de entrada al que está asociado y en donde al menos un primer actuador de la pluralidad de actuadores está mapeado a un primer conjunto de elementos de entrada que es diferente de un segundo conjunto de elementos de entrada que está mapeado a un segundo actuador de la pluralidad de actuadores. En algunas realizaciones, el mapeo se realiza sin detectar primero la presencia de un atributo desencadenante para cambiar el estado de entrada de un actuador a un estado activo.

En algunos casos, el mapeo se produce dinámicamente, en respuesta a la detección de un gesto de entrada que implica una interacción de uno o más actuadores con elementos de entrada, o alternativamente, un gesto que precede al gesto de entrada real. En otras realizaciones, el mapeo es un mapeo predefinido, uno que se establece antes de detectar el gesto de entrada. El mapeo almacenado puede almacenarse en el sistema de almacenamiento (925) que se mantiene localmente y/o en uno o más sistemas remotos 940 (figura 9).

El acto 808 incluye detectar un reposicionamiento de uno o más actuadores con respecto a la pluralidad de elementos de entrada. En algunas realizaciones, el reposicionamiento ocurre cuando un usuario reposiciona su controlador de entrada, o los actuadores individuales en él, para interactuar con o proporcionar entrada de usuario a un conjunto diferente de elementos de entrada del receptor de entrada. A modo de ejemplo, el reposicionamiento detectado puede corresponder a un usuario que cambia la posición de su mano de estar sobre una porción de un teclado de diseño QWERTY a estar sobre un teclado numérico de un teclado, o viceversa. En otros casos, el reposicionamiento detectado es un usuario que reconfigura la posición de sus dedos o manos para proporcionar entrada de usuario a una pantalla táctil virtual de una manera alternativa. El acto 810 incluye remapear uno o más actuadores individuales a un conjunto diferente de elementos de entrada del receptor de entrada. En algunos casos, el cambio de los elementos de entrada del receptor de entrada al que uno o más de los actuadores individuales del controlador de entrada están mapeados. A modo de ejemplo no limitativo, cuando la mano derecha de un usuario se posiciona sobre una porción de un teclado de diseño QWERTY, el dedo medio del usuario se mapea a un primer conjunto de teclas del teclado (por ejemplo, I, K y coma/menos que las teclas de la porción del diseño QWERTY). Al determinar que el usuario ha reposicionado su mano derecha sobre un teclado numérico del teclado, el dedo medio se mapea posteriormente a un segundo conjunto de teclas del teclado (por ejemplo, las teclas 8, 5 y 2 del teclado numérico).

En algunos casos, las teclas/elementos de entrada mapeados para un actuador particular sólo se activan selectivamente durante el mapeo dinámico del actuador particular a los elementos de entrada correspondientes, de tal forma que el actuador particular no desencadenaría inadvertidamente entrada si intersecara otra tecla (no mapeada) durante su uso en el entorno de realidad mixta.

Las realizaciones divulgadas pueden, en algunos casos, proporcionar diversas ventajas sobre los sistemas y métodos convencionales para detectar entrada de usuario en entornos de realidad mixta. Algunas de estas ventajas incluyen proporcionar a los usuarios funcionalidad que aminora y/o elimina la entrada inintencionada de entradas de entrada de usuario en receptores de entrada de realidad mixta.

Habiendo descrito las diversas características y funcionalidades de algunas de las realizaciones divulgadas, ahora se dirige la atención a la figura 9, que ilustra un sistema informático 900 de ejemplo que puede usarse para facilitar las operaciones descritas en el presente documento.

El sistema informático 900 puede adoptar diversas formas diferentes. Por ejemplo, en la figura 9, el sistema informático 900 está incorporado como un visualizador montado en la cabeza (HMD). Aunque el sistema informático 900 puede estar incorporado como un HMD, el sistema informático 900 también puede ser un sistema distribuido que incluye uno o más componentes/dispositivos informáticos conectados que están en comunicación con el HMD. En consecuencia, el sistema informático 900 puede incorporarse en cualquier forma y no se limita estrictamente a la representación ilustrada en la figura 9. A modo de ejemplo, el sistema informático 900 puede incluir un proyector, un ordenador de escritorio, un ordenador portátil, una tableta, un teléfono móvil, servidor, centro de datos y/o cualquier otro sistema informático.

En su configuración más básica, el sistema informático 900 incluye diversos componentes diferentes. Por ejemplo, la figura 9 muestra que el sistema informático 900 incluye al menos una unidad de procesamiento de hardware 905 (también conocida como "procesador"), interfaces de entrada/salida (I/O) 910, motores de renderizado de gráficos 915, uno o más sensores 920 y almacenamiento. 925. Se presentarán más detalles sobre la unidad de procesamiento de hardware 905 momentáneamente.

El almacenamiento 925 puede ser una memoria física del sistema, que puede ser volátil, no volátil o alguna combinación de ambas. El término "memoria" también puede usarse en el presente documento para referirse al almacenamiento masivo no volátil, tal como medios de almacenamiento físico. Si el sistema informático 900 está distribuido, la capacidad de procesamiento, memoria y/o almacenamiento también puede estar distribuido. Como se usa en el presente documento, el término "módulo ejecutable", "componente ejecutable" o incluso "componente" puede referirse a objetos, rutinas o métodos de software que pueden ejecutarse en el sistema informático 900. Los diferentes componentes, módulos, motores y servicios descritos en el presente documento pueden implementarse como objetos o procesadores que se ejecutan en el sistema informático 900 (por ejemplo, como hilos separados).

Las realizaciones divulgadas pueden comprender o utilizar un ordenador de propósito especial o de propósito general que incluye hardware de ordenador, tal como, por ejemplo, uno o más procesadores (tal como la unidad de procesamiento de hardware 905) y memoria del sistema (tal como almacenamiento 925), como se analiza con mayor detalle a continuación. Las realizaciones también incluyen medios físicos y otros medios legibles por ordenador para transportar o almacenar instrucciones y/o estructuras de datos ejecutables por ordenador. Tales medios legibles por ordenador pueden ser cualquier medio disponible al que pueda acceder un sistema informático de propósito general o de propósito especial. Los medios legibles por ordenador que transportan instrucciones ejecutables por ordenador en forma de datos son medios físicos de almacenamiento de ordenador. Los medios legibles por ordenador que transportan instrucciones ejecutables por ordenador son medios de transmisión. Por lo tanto, a modo de ejemplo y no limitativo, las realizaciones actuales pueden comprender al menos dos clases distintivamente diferentes de medios legibles por ordenador: medios de almacenamiento por ordenador y medios de transmisión.

Los medios de almacenamiento informático son dispositivos de almacenamiento de hardware, como RAM, ROM, EEPROM, CD-ROM, unidades de estado sólido (SSD) que se basan en RAM, memoria Flash, memoria de cambio de fase (PCM), u otros tipos de memoria, u otro almacenamiento en disco óptico, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético, o cualquier otro medio que pueda usarse para almacenar medios de código de programa deseados en forma de instrucciones, datos o estructuras de datos ejecutables por ordenador y que pueda ser accesible por un ordenador de propósito general o de propósito especial.

El sistema informático 900 también puede estar conectado (mediante una conexión por cable o inalámbrica) a sensores externos 930 (por ejemplo, una o más cámaras remotas, acelerómetros, giroscopios, sensores acústicos, magnetómetros, etc.). Se apreciará que los sensores externos incluyen sistemas de sensores (por ejemplo, un sistema de sensores que incluye un emisor de luz y una cámara), en lugar de únicamente aparatos sensores individuales. Además, el sistema informático 900 también puede conectarse a través de una o más redes cableadas o inalámbricas 935 a sistema(s) remoto(s) 940 que están configurados para realizar cualquiera de los procesamientos descritos con respecto al sistema informático 900.

Durante el uso, un usuario del sistema informático 900 puede percibir información (por ejemplo, un entorno de realidad mixta) a través de una pantalla de visualizador que está incluida entre las interfaces de I/O 910 y que es visible para el usuario. Las interfaces de I/O 910 pueden incluir los elementos de entrada descritos en el presente documento, que están vinculados a una o más aplicaciones subyacentes que generan información para la escena de realidad mixta.

Las interfaces de I/O 910 y los sensores 920/930 también incluyen dispositivos de detección de gestos, rastreadores oculares y/u otros componentes de detección de movimiento (por ejemplo, cámaras, giroscopios, acelerómetros, magnetómetros, sensores acústicos, sistemas de posicionamiento global ("GPS"), etc.) que son capaces de detectar posicionamiento y movimiento de uno o más objetos del mundo real, tales como la mano de un usuario, un lápiz óptico y/o cualquier otro objeto u objetos [por ejemplo, controladores/actuadores de entrada y elementos de entrada) con los que el usuario puede interactuar mientras está inmerso en la escena.

El motor de renderización de gráficos 915 está configurado, con la unidad de procesamiento de hardware 905, para renderizar uno o más objetos virtuales dentro de la escena. Como resultado, los objetos virtuales se mueven con precisión en respuesta a un movimiento del usuario y/o en respuesta a la entrada de usuario mientras el usuario interactúa dentro de la escena virtual.

Una "red", como la red 935 mostrada en la figura 9, se define como uno o más enlaces de datos y/o conmutadores de datos que habilitan el transporte de datos electrónicos entre sistemas informáticos, módulos y/u otros dispositivos electrónicos. Cuando la información se transfiere, o se proporciona, a través de una red (ya sea cableada, inalámbrica o una combinación de cableada e inalámbrica) a un ordenador, el ordenador ve adecuadamente la conexión como un medio de transmisión. El sistema informático 900 incluirá uno o más canales de comunicación que se usan para comunicarse con la red 935. Los medios de transmisión incluyen una red que se puede usar para transportar datos o medios de código de programa deseados en forma de instrucciones ejecutables por ordenador o en la forma de estructuras de datos. Además, se puede acceder a estas instrucciones ejecutables por ordenador mediante un ordenador de propósito general o de propósito especial. Las combinaciones de lo anterior también deben incluirse dentro del alcance de los medios legibles por ordenador.

Al llegar a diversos componentes de sistema informático, los medios de código de programa en forma de instrucciones o estructuras de datos ejecutables por ordenador se pueden transferir automáticamente desde medios de transmisión a medios de almacenamiento informáticos (o viceversa). Por ejemplo, instrucciones ejecutables por ordenador o estructuras de datos recibidas a través de una red o enlace de datos pueden almacenarse en memoria intermedia RAM dentro de un módulo de interfaz de red (por ejemplo, una tarjeta de interfaz de red o "NIC") y luego eventualmente transferirse a la RAM del sistema informático y/o a medios de almacenamiento informático menos volátiles en un sistema informático. Por lo tanto, debe entenderse que los medios de almacenamiento informático pueden incluirse en componentes del sistema informático que también (o incluso principalmente) utilizan medios de transmisión.

Las instrucciones ejecutables por ordenador (o interpretables por ordenador) comprenden, por ejemplo, instrucciones que causan que un ordenador de propósito general, un ordenador de propósito especial o un dispositivo de procesamiento de propósito especial realice una determinada función o grupo de funciones. Las instrucciones ejecutables por ordenador pueden ser, por ejemplo, binarios, instrucciones de formato intermedio tales como lenguaje ensamblador o incluso código fuente. Aunque el objeto de la divulgación se ha descrito en un lenguaje específico de características estructurales y/o actos metodológicos, debe entenderse que el objeto definido en las reivindicaciones adjuntas no se limita necesariamente a las características o actos descritos anteriormente. Más bien, las características y acciones descritas se divulgan como formas de ejemplo de implementación de las reivindicaciones.

Los expertos en la técnica apreciarán que las realizaciones pueden practicarse en entornos informáticos de red con muchos tipos de configuraciones de sistemas informáticos, incluidos ordenadores personales, ordenadores de sobremesa, ordenadores portátiles, procesadores de mensajes, dispositivos portátiles, sistemas multiprocesador, electrónicas de consumo basadas en microprocesador o programables, PC de red, miniordenadores, ordenadores centrales, teléfonos móviles, PDA, buscapersonas, enrutadores, conmutadores y similares. Las realizaciones también se pueden practicar en entornos de sistemas distribuidos donde los sistemas informáticos locales y remotos que están vinculados (ya sea mediante enlaces de datos cableados, enlaces de datos inalámbricos o mediante una combinación de enlaces de datos cableados e inalámbricos) a través de una red realizan tareas (por ejemplo, computación en la nube, servicios en la nube y similares). En un entorno de sistema distribuido, los módulos de programa pueden localizarse en dispositivos de almacenamiento de memoria tanto locales como remotos.

Adicional o alternativamente, la funcionalidad descrita en el presente documento se puede realizar, al menos en parte, mediante uno o más componentes lógicos de hardware (por ejemplo, la unidad de procesamiento de hardware 905). Por ejemplo, y sin limitación, los tipos ilustrativos de componentes lógicos de hardware que se pueden usar incluyen matrices de puertas programables en campo (FPGA), circuitos integrados específicos de programa o de aplicación (ASIC), productos estándar específicos de programa (ASSP), sistemas de sistema On-A-Chip (SOC), dispositivos lógicos programables complejos (CPLD), unidades centrales de procesamiento (CPU) y otros tipos de hardware programable.

La presente invención puede realizarse de otras formas específicas sin salir de sus características. Las realizaciones descritas deben considerarse en todos los aspectos únicamente como ilustrativas y no restrictivas. Por lo tanto, el alcance de la invención está indicado por las reivindicaciones adjuntas más que por la descripción anterior.

Claims

REIVINDICACIONES

1. Un sistema (900) configurado para detectar la entrada de usuario en un entorno de realidad mixta, comprendiendo el sistema:

uno o más procesadores (905); y

uno o más medios legibles por ordenador (925) que tienen almacenadas instrucciones ejecutables por ordenador que son operables, cuando son ejecutadas por uno o más procesadores, para configurar el sistema para realizar lo siguiente:

renderizar (702) un entorno de realidad mixta con uno o más objetos virtuales;

presentar (704) un receptor de entrada que comprende uno de un teclado, pantalla táctil, digitalizador o tableta, dentro del entorno de realidad mixta como un objeto virtual, incluyendo el receptor de entrada una pluralidad de elementos de entrada que están configurados para recibir selectivamente entrada de una pluralidad de dedos individuales de la mano de un usuario en base a un estado de entrada de los dedos individuales y un mapeo predefinido de los dedos individuales a diferentes elementos de entrada;

identificar (706) la mano del usuario que incluye los dedos individuales, en el que cada dedo correspondiente de los dedos individuales está configurado para, al interactuar con uno o más elementos de entrada del receptor de entrada que se mapean de acuerdo con el mapeo predefinido al dedo correspondiente y cuando el estado de entrada del dedo correspondiente es un estado activo, proporcionar entrada de usuario dentro del entorno de realidad mixta;

detectar (708) una presencia de un atributo desencadenante de la mano del usuario que es operable, cuando está presente en el entorno de realidad mixta, para cambiar selectivamente el estado de entrada del dedo correspondiente de un estado inactivo a un estado activo para el uno o más elementos de entrada que se mapean de acuerdo con el mapeo predefinido al dedo correspondiente; y

en respuesta a detectar la presencia del atributo desencadenante de la mano del usuario, modificar selectivamente (710) el estado de entrada del dedo correspondiente desde el estado inactivo al estado activo para posibilitar que el dedo correspondiente proporcione la entrada de usuario cuando el dedo correspondiente interactúa con uno o más elementos de entrada que se mapean de acuerdo con el mapeo predefinido al dedo correspondiente dentro del entorno de realidad mixta, mientras que el estado de entrada de al menos otro dedo de los dedos individuales de la mano del usuario permanece en el estado inactivo, en el que, mientras el estado de entrada del al menos otro dedo de los dedos individuales de la mano del usuario permanece en el estado inactivo, el al menos otro dedo está deshabilitado para proporcionar entrada de usuario en el receptor de entrada dentro del entorno de realidad mixta cuando el al menos otro dedo interactúa con un elemento de entrada de la pluralidad de elementos de entrada del receptor de entrada de una manera que de otro modo se procesaría como entrada de usuario interactuando con el uno o más elementos de entrada si el al menos otro dedo estuviera, alternativamente, en el estado activo.

2. El sistema de la reivindicación 1, en el que cada uno de los dedos individuales de la pluralidad de dedos individuales se mapea a un subconjunto correspondiente diferente de la pluralidad de elementos de entrada para proporcionar selectivamente entrada de usuario cuando interactúa con la pluralidad de elementos de entrada.

3. El sistema de la reivindicación 1, en el que el atributo desencadenante de la mano del usuario se basa en una postura de un conjunto de dedos individuales de la pluralidad de dedos individuales de la mano del usuario.

4. El sistema de la reivindicación 1, en el que el atributo desencadenante de la mano del usuario se basa en una característica de movimiento de un conjunto de uno o más de los dedos individuales de la pluralidad de dedos individuales de la mano del usuario.

5. El sistema de la reivindicación 1, en el que el atributo desencadenante de la mano del usuario se basa en una posición de un conjunto de uno o más de los dedos individuales de la pluralidad de dedos individuales respecto a un conjunto de uno o más elementos de entrada del receptor de entrada.

6. El sistema de la reivindicación 1, en el que el atributo desencadenante de la mano del usuario se basa en una entrada anterior detectada por el receptor de entrada.

7. El sistema de la reivindicación 1, en el que el estado de entrada de sólo un único dedo de la pluralidad de dedos individuales se establece en el estado activo y en el que el estado de entrada de todos los demás dedos de la pluralidad de dedos individuales se establece en el estado inactivo.

8. El sistema de la reivindicación 7, en el que las instrucciones ejecutables por ordenador son operables además para configurar el sistema para, en respuesta a modificar selectivamente el estado de entrada del dedo correspondiente desde el estado inactivo al estado activo, modificar el estado de entrada de al menos un dedo diferente de la pluralidad de dedos individuales desde el estado activo al estado inactivo.

9. Un método (700) para detectar entrada de usuario en un entorno de realidad mixta, comprendiendo el método: renderizar (702) un entorno de realidad mixta con uno o más objetos virtuales;

detectar (708) una presencia de un atributo desencadenante de la mano del usuario que es operable, cuando está presente en el entorno de realidad mixta, para cambiar selectivamente el estado de entrada del dedo correspondiente de un estado inactivo a un estado activo para uno o más elementos de entrada que son mapeados de acuerdo con el mapeo predefinido al dedo correspondiente; y

10. El método de la reivindicación 9, en el que cada uno de los dedos individuales de la pluralidad de dedos individuales se mapea a un subconjunto correspondiente diferente de la pluralidad de elementos de entrada para proporcionar selectivamente entrada de usuario cuando interactúa con la pluralidad de elementos de entrada.

11. El método de la reivindicación 9, en el que el atributo desencadenante de la mano del usuario se basa en una postura de un conjunto de dedos individuales de la pluralidad de dedos individuales de la mano del usuario.

12. El método de la reivindicación 9, en el que el atributo desencadenante de la mano del usuario se basa en una característica de movimiento de un conjunto de uno o más de los dedos individuales de la pluralidad de dedos individuales de la mano del usuario.

13. El método de la reivindicación 9, en el que el atributo desencadenante de la mano del usuario se basa en una posición de un conjunto de uno o más de los dedos individuales de la pluralidad de dedos individuales respecto a un conjunto de uno o más elementos de entrada del receptor de entrada.

14. El método de la reivindicación 9, en el que el atributo desencadenante de la mano del usuario se basa en una entrada previa detectada por el receptor de entrada.

15. El método de la reivindicación 9, en el que el estado de entrada de sólo un único dedo de la pluralidad de dedos individuales se establece en el estado activo y en el que el estado de entrada de todos los demás dedos de la pluralidad de dedos individuales se establece en el estado inactivo.