ES2759786T3 - Reactivación rápida de gestos - Google Patents

Reactivación rápida de gestos Download PDF

Info

Publication number
ES2759786T3
ES2759786T3 ES13721427T ES13721427T ES2759786T3 ES 2759786 T3 ES2759786 T3 ES 2759786T3 ES 13721427 T ES13721427 T ES 13721427T ES 13721427 T ES13721427 T ES 13721427T ES 2759786 T3 ES2759786 T3 ES 2759786T3
Authority
ES
Spain
Prior art keywords
user
gesture
computer system
user gesture
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES13721427T
Other languages
English (en)
Inventor
Francis Macdougall
Evan Hildreth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Application granted granted Critical
Publication of ES2759786T3 publication Critical patent/ES2759786T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Abstract

Un procedimiento para el control de gestos en un dispositivo de comunicación móvil (1202), que comprende: detectar (104) un primer gesto de usuario (1100) que cumple una primera condición para entrar en un modo de funcionamiento (1102) en el dispositivo de comunicación móvil (1202); salir (108) del modo de funcionamiento (1102); y detectar (110) un segundo gesto de usuario (1104) que cumple una segunda condición para volver a entrar en el modo de funcionamiento (1102); donde el primer gesto de usuario (1100) y el segundo gesto de usuario (1104) son realizados por una extremidad de usuario y donde la detección del primer gesto de usuario (1100) y la detección del segundo gesto de usuario (1104) se realizan sin que la extremidad de usuario toque el dispositivo de comunicación móvil (1202), donde la primera condición es detectar el primer gesto de usuario (1100) durante un primer período de tiempo (1101) y la segunda condición es detectar el segundo gesto de usuario (1104) durante un segundo período de tiempo (1105), donde el segundo período de tiempo (1105) es más corto que el primer período de tiempo (1101) o donde la primera condición es detectar el primer gesto de usuario (1100) dentro de una primera región (1204) y la segunda condición es detectar el segundo gesto de usuario (1104) dentro de una segunda región (1206), donde la segunda región (1206) es más grande o igual que la primera región (1204).

Description

DESCRIPCIÓN
Reactivación rápida de gestos
ANTECEDENTES
[0001] Los aspectos de la divulgación se refieren a tecnologías informáticas. En particular, los aspectos de la divulgación se refieren a sistemas, procedimientos, aparatos y medios legibles por ordenador que realizan reconocimiento de gestos.
[0002] Cada vez más, los dispositivos informáticos, tales como teléfonos inteligentes, tabletas electrónicas, asistentes digitales personales (PDA) y otros dispositivos, incluyen pantallas táctiles, acelerómetros, cámaras, sensores de proximidad, micrófonos y/u otros sensores que pueden permitir que estos dispositivos capten el movimiento y/u otras condiciones detectadas como una forma de datos de entrada de usuario. En algunos dispositivos, por ejemplo, pueden reconocerse movimientos y/o acciones particulares, por ejemplo gestos que corresponden a comandos particulares en diferentes situaciones. Por ejemplo, un dispositivo puede reconocer un gesto, tal como un toque hacia la izquierda (por ejemplo, en el que un usuario mueve su mano hacia la izquierda frente al dispositivo), como correspondiente a un comando de "página anterior" mientras se muestra una aplicación de navegador y a un comando de "pista anterior" mientras se muestra una aplicación de reproductor de medios. En este ejemplo, un usuario puede hacer que el dispositivo ejecute estos comandos realizando los gestos correspondientes en cada una de estas situaciones.
[0003] El vídeo de YouTube "ScreenDimmer: Save Battery Life On Your iDevice!”, publicado el 20 de junio de 2011 y disponible en http://www.youtube.com/watch?v=3Dba0WMZ6BY, muestra un desbloqueo de pantalla, seguido de una pantalla activa, seguida de una pantalla atenuada, seguida de una pantalla activa en el iPod de Apple, donde la segunda activación de pantalla implica un gesto más simple que la primera activación de pantalla.
[0004] El manual de Samsung para la Smart TV LED de 2012 (serie ES8000), disponible en http://downloadcenter.samsung.com/content/UM/201208/20120821134242408/[EnG_US]WEB-EpAt Sc E-2003-0821.pdf, describe cómo volver a entrar en un modo de control de gestos con un gesto "simplemente levante la mano en 3 segundos", que es menos estricto que "agite la mano tres o cuatro veces de lado a lado de manera deliberada" para controlar el televisor con movimiento.
[0005] Los aspectos de la divulgación proporcionan maneras más cómodas, intuitivas y funcionales de realizar el reconocimiento de gestos. En un sistema táctil, el dedo de un usuario toca la superficie de vidrio de un dispositivo informático, después se mueve en la dirección de un gesto, y luego se levanta desde la superficie de vidrio, dando una clara indicación del comienzo y el final del gesto. En los sistemas sin contacto, no existe una manera inherentemente clara de determinar el comienzo y el final de un gesto.
[0006] Los modos de realización de la invención proporcionan técnicas mejoradas para abordar estos problemas.
BREVE SUMARIO
[0007] Estos y otros problemas pueden resolverse de acuerdo con los modos de realización de la presente invención, descritos en el presente documento. Los modos de realización pueden resolver problemas asociados a la activación de un sistema de control de gestos y/o la interpretación de entradas repetitivas proporcionadas al sistema.
[0008] Se proporcionan sistemas, procedimientos, aparatos y medios legibles por ordenador para activar y volver a activar un modo gestual para realizar un seguimiento de gestos sucesivos. Algunos modos de realización implican que el sistema informático detecte los gestos en los que el usuario mantiene su mano quieta en una posición, área, región o ubicación constante. En otros modos de realización, el sistema informático detecta que una extremidad del usuario, tal como una mano, está colocada de una manera específica (palma abierta, etc.). Otro enfoque detecta que el usuario se está moviendo hacia la posición original detectada de la mano, pero luego cambia de dirección e inicia un nuevo gesto en la dirección del gesto detectado originalmente. En algunas implementaciones, el sistema informático detecta la estabilidad de la extremidad humana para determinar un gesto para activar y volver a activar el sistema de control de gestos.
[0009] En algunos modos de realización, un procedimiento incluye detectar un primer gesto de usuario que cumple una primera condición para entrar en un modo de funcionamiento en un dispositivo informático. El procedimiento puede incluir además salir del modo de funcionamiento. El procedimiento puede incluir además detectar un segundo gesto de usuario que cumpla una segunda condición para volver a entrar en el modo de funcionamiento en función de la detección del primer gesto de usuario, en el que la segunda condición es menos estricta que la primera condición.
[0010] En algunos modos de realización, el modo de funcionamiento es un modo de seguimiento de gestos que comprende realizar un seguimiento del primer gesto de usuario o del segundo gesto de usuario durante un período de tiempo.
[0011] En algunos modos de realización, el seguimiento del primer gesto de usuario o del segundo gesto de usuario comprende el uso de uno o más de entre un seguimiento mediante sensor de profundidad, un seguimiento mediante sensor 2D, un seguimiento de histograma y un seguimiento mediante sensor de ultrasonidos.
[0012] En algunos modos de realización, el modo de funcionamiento es un modo de comando que comprende ejecutar uno o más comandos.
[0013] En algunos modos de realización, la detección del primer gesto de usuario o del segundo gesto de usuario comprende obtener una pluralidad de imágenes usando un sensor de imagen.
[0014] En algunos modos de realización, el primer y segundo gestos de usuario son gestos fijos.
[0015] En algunos modos de realización, el primer y segundo gestos de usuario son gestos dinámicos.
[0016] En algunos modos de realización, la primera condición es detectar el primer gesto de usuario durante un primer período de tiempo y la segunda condición es detectar el segundo gesto de usuario durante un segundo período de tiempo, donde el segundo período de tiempo es más corto que el primer período de tiempo.
[0017] En algunos modos de realización, la primera condición es detectar el primer gesto de usuario dentro de una primera región y la segunda condición es detectar el segundo gesto de usuario dentro de una segunda región, donde la segunda región es mayor que o igual a la primera región.
[0018] En algunos modos de realización, la detección del primer gesto de usuario comprende determinar si una extremidad de usuario está firme dentro de la primera región al detectar que cualquier movimiento asociado a la extremidad de usuario está por debajo de un umbral de movimiento predefinido en la primera región durante un período de tiempo.
[0019] En algunos modos de realización, la extremidad de usuario es una mano.
[0020] En algunos modos de realización, el procedimiento incluye además proporcionar retroalimentación que indica volver a entrar en el modo de funcionamiento en respuesta a la detección.
[0021] En algunos modos de realización, el procedimiento incluye además que la segunda condición incluya un comando correspondiente al segundo gesto de usuario que sea equivalente a un comando correspondiente a un gesto realizado entre el primer gesto de usuario y el segundo gesto de usuario. El procedimiento puede incluir además omitir un requisito de que el segundo gesto de usuario cumpla la primera condición en función de, al menos en parte, la detección del segundo gesto del usuario que cumple la segunda condición.
[0022] En algunos modos de realización, la primera condición comprende un movimiento o trayectoria en una primera dirección, y en donde la segunda condición comprende un cambio de dirección de modo que una dirección de movimiento resultante esté sustancialmente alineada con la primera dirección.
[0023] En algunos modos de realización, el procedimiento incluye realizar la detección del primer gesto de usuario y la detección del segundo gesto de usuario sin que un usuario toque el dispositivo informático.
[0024] En algunos modos de realización, un aparato incluye un dispositivo de captura de imágenes configurado para capturar imágenes y un procesador acoplado al dispositivo de captura de imágenes. El procesador puede estar configurado para detectar un primer gesto de usuario que cumpla una primera condición para entrar en un modo de funcionamiento. El procesador puede estar configurado además para salir del modo de funcionamiento. El procesador puede estar configurado además para detectar, basándose en imágenes capturadas por el dispositivo de captura de imágenes, un segundo gesto de usuario que cumple una segunda condición para volver a entrar en el modo de funcionamiento en función de la detección del primer gesto de usuario, donde la segunda condición es menos estricta que la primera condición.
[0025] En algunos modos de realización, un aparato incluye medios para detectar un primer gesto de usuario que cumple una primera condición para entrar en un modo de funcionamiento. En algunos modos de realización, un aparato incluye además medios para salir del modo de funcionamiento. En algunos modos de realización, el aparato incluye además medios para detectar un segundo gesto de usuario que cumple una segunda condición para volver a entrar en el modo de funcionamiento en función de la detección del primer gesto de usuario, donde la segunda condición es menos estricta que la primera condición.
[0026] En algunos modos de realización del aparato, el modo de funcionamiento es un modo de seguimiento de gestos que comprende realizar un seguimiento del primer gesto de usuario o del segundo gesto de usuario durante un período de tiempo.
[0027] En algunos modos de realización del aparato, el aparato comprende además medios para realizar un seguimiento del primer gesto de usuario o del segundo gesto de usuario usando uno o más de entre un seguimiento mediante sensor de profundidad, un seguimiento mediante sensor 2D, un seguimiento de histograma y un seguimiento mediante sensor de ultrasonidos.
[0028] En algunos modos de realización del aparato, el modo de funcionamiento es un modo de comando que comprende ejecutar uno o más comandos.
[0029] En algunos modos de realización del aparato, la primera condición es detectar el primer gesto de usuario durante un primer período de tiempo y la segunda condición es detectar el segundo gesto de usuario durante un segundo período de tiempo, donde el segundo período de tiempo es más corto que el primer período de tiempo.
[0030] En algunos modos de realización del aparato, la primera condición es detectar el primer gesto de usuario dentro de una primera región y la segunda condición es detectar el segundo gesto de usuario dentro de una segunda región, donde la segunda región es mayor que o igual a la primera región.
[0031] En algunos modos de realización del aparato, los medios para detectar el primer gesto de usuario o los medios para detectar el segundo gesto de usuario comprenden medios para obtener una pluralidad de imágenes usando un sensor de imagen.
[0032] En algunos modos de realización del aparato, el primer y segundo gestos de usuario son gestos dinámicos.
[0033] En algunos modos de realización del aparato, el primer y segundo gestos de usuario son gestos dinámicos.
[0034] En algunos modos de realización del aparato, los medios para detectar del primer gesto de usuario comprenden medios para determinar si una extremidad de usuario está firme dentro de la primera región al detectar que cualquier movimiento asociado a la extremidad de usuario está por debajo de un umbral de movimiento predefinido en la primera región durante un período de tiempo.
[0035] En algunos modos de realización del aparato, la extremidad de usuario es una mano.
[0036] En algunos modos de realización del aparato, la primera condición es detectar el primer gesto de usuario con respecto a un primer nivel de confianza y la segunda condición es detectar el segundo gesto de usuario con respecto a un segundo nivel de confianza, donde el segundo nivel de confianza es más bajo que el primer nivel de confianza.
[0037] Algunos modos de realización del aparato comprenden además medios para proporcionar retroalimentación que indica volver a entrar en el modo de funcionamiento en respuesta a la detección.
[0038] En algunos modos de realización del aparato, la segunda condición comprende un comando correspondiente al segundo gesto de usuario que es equivalente a un comando correspondiente a un gesto realizado entre el primer gesto de usuario y el segundo gesto de usuario, y el aparato comprende además medios para omitir un requisito de que el segundo gesto de usuario cumpla la primera condición en función de, al menos en parte, la detección del segundo gesto de usuario que cumple la segunda condición.
[0039] En algunos modos de realización del aparato, la primera condición comprende un movimiento o trayectoria en una primera dirección, y la segunda condición comprende un cambio de dirección de modo que una dirección de movimiento resultante esté sustancialmente alineada con la primera dirección.
[0040] En algunos modos de realización del aparato, los medios para detectar el primer gesto de usuario detectan el primer gesto de usuario y los medios para detectar el segundo gesto de usuario detectan el segundo gesto de usuario sin que un usuario toque el dispositivo informático.
[0041] En algunos modos de realización, un medio legible por procesador incluye instrucciones legibles por procesador configuradas para hacer que un procesador detecte un primer gesto de usuario que cumpla una primera condición para entrar en un modo de funcionamiento. Las instrucciones pueden estar configuradas además para hacer que el procesador salga del modo de funcionamiento. Las instrucciones pueden estar configuradas además para hacer que el procesador detecte un segundo gesto de usuario que cumpla una segunda condición para volver a entrar en el modo de funcionamiento en función de la detección del primer gesto de usuario, en el que la segunda condición es menos estricta que la primera condición.
[0042] En algunos modos de realización, un procedimiento incluye detectar un primer gesto de activación. El procedimiento puede incluir además detectar un primer gesto después de la detección del primer gesto de activación. El procedimiento puede incluir además detectar un segundo gesto. El procedimiento puede incluir además determinar que un comando correspondiente al primer gesto es equivalente a un comando correspondiente al segundo gesto. El procedimiento puede incluir además omitir un requisito de un segundo gesto de activación en función de, al menos en parte, la determinación.
[0043] En algunos modos de realización, un procedimiento para su uso con un sistema que requiere gestos de activación incluye detectar un gesto de activación, donde el gesto de activación incluye una primera postura de una mano mantenida durante un primer período de tiempo en una primera posición. El procedimiento puede incluir además detectar un primer gesto posterior a la detección del gesto de activación, donde el primer gesto incluye un primer movimiento de la mano. El procedimiento puede incluir además determinar que la mano ha vuelto sustancialmente a la primera posición durante un segundo período de tiempo, siendo el segundo período de tiempo menor que el primer período de tiempo. El procedimiento puede incluir además detectar un segundo gesto posterior para determinar que la mano ha vuelto a la segunda posición incluyendo un segundo movimiento de la mano.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
[0044] La naturaleza y las ventajas de varios modos de realización pueden entenderse mejor haciendo referencia a las siguientes figuras. En las figuras adjuntas, componentes o rasgos característicos similares pueden tener la misma etiqueta de referencia. Además, se pueden distinguir diversos componentes del mismo tipo posponiendo a la etiqueta de referencia un guion y una segunda etiqueta que distingue entre los componentes similares. Si solo se usa la primera etiqueta de referencia en la memoria descriptiva, la descripción es aplicable a uno cualquiera de los componentes similares que tienen la misma primera etiqueta de referencia, independientemente de la segunda etiqueta de referencia.
La FIG. 1 es un diagrama de flujo que ilustra un modo de realización ejemplar de la invención para entrar y salir de un modo de funcionamiento de acuerdo con los modos de realización de la presente invención.
La FIG. 2 es un diagrama de flujo que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de y responder a un gesto de acuerdo con los modos de realización de la presente invención.
La FIG. 3 es un diagrama de flujo que ilustra un modo de realización ejemplar de la invención para detectar una extremidad de usuario firme de acuerdo con los modos de realización de la presente invención.
La FIG. 4 es un diagrama de flujo que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar una extremidad de usuario firme de acuerdo con los modos de realización de la presente invención.
La FIG. 5 es un diagrama de flujo que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar un retorno de una extremidad de usuario dentro de una región de acuerdo con los modos de realización de la presente invención.
La FIG. 6 es un diagrama de flujo que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar un retorno de una extremidad de usuario firme dentro de una región de acuerdo con los modos de realización de la presente invención.
La FIG. 7 es un diagrama de flujo que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar una extremidad de usuario firme y proporcionar retroalimentación al usuario de acuerdo con los modos de realización de la presente invención.
La FIG. 8 es un diagrama de flujo que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar un retorno de una extremidad de usuario dentro de una región y proporcionar retroalimentación al usuario de acuerdo con los modos de realización de la presente invención. La FIG. 9 es un diagrama de flujo que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar un retorno de una extremidad de usuario firme dentro de una región y proporcionar retroalimentación al usuario de acuerdo con los modos de realización de la presente invención.
La FIG. 10 es un diagrama de flujo que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de gestos sucesivos y detectar un cambio en la dirección del gesto de acuerdo con los modos de realización de la presente invención.
La FIG. 11 ilustra la entrada en un modo de funcionamiento de gestos y la reentrada en un modo de funcionamiento de gestos de acuerdo con los modos de realización de la presente invención.
Las FIGS. 12A-12C ilustran la entrada en un modo de funcionamiento de gestos y la reentrada en un modo de funcionamiento de gestos de acuerdo con los modos de realización de la presente invención.
Las FIGS. 13A-13B ilustran indicaciones que se muestran a un usuario cuando entra en un modo de funcionamiento de gestos y vuelve a entrar en un modo de funcionamiento de gestos de acuerdo con los modos de realización de la presente invención.
La FIG. 14 ilustra un sistema informático ejemplar que incorpora partes del dispositivo empleado en la puesta en práctica de los modos de realización de la invención.
DESCRIPCIÓN DETALLADA
[0045] El alcance de la presente invención se define solo mediante las reivindicaciones independientes adjuntas. Los modos de realización están definidos por las reivindicaciones dependientes, independientemente de cualquier otro uso del término "modo de realización".
[0046] Los aspectos de la divulgación proporcionan maneras más cómodas, intuitivas y funcionales de realizar el reconocimiento de gestos. En un sistema táctil, un dedo toca la superficie de vidrio de una pantalla y después se mueve en la dirección de un gesto, y después se levanta del vidrio, lo que requiere interacción táctil con el usuario. Sin embargo, hay muchas situaciones en las que un usuario no puede o no desea tocar la pantalla para responder a una indicación. Por ejemplo, un usuario puede estar conduciendo un automóvil y no desear apartar la vista de la carretera para tocar un botón o región específicos en una interfaz de usuario. Estos y otros muchos escenarios muestran el inconveniente de tener interfaces que se pueden activar a través del tacto.
[0047] Con fines ilustrativos, los modos de realización de la invención se describen en el presente documento usando la postura de una mano. Sin embargo, cualquier extremidad del usuario puede usarse para posturas y gestos. En algunos modos de realización, el cuerpo, la cara o la cabeza del usuario pueden usarse para realizar un gesto. Los expertos en la técnica reconocerán otros gestos que se pueden realizar. En algunos modos de realización, una postura puede comprender un tipo de gesto, y los modos de realización que describen un gesto pueden usarse cuando el gesto comprende una postura. Además, los modos de realización analizados con respecto a una postura pueden usarse con otros gestos en algunas implementaciones. En algunos modos de realización, un gesto o postura puede ser realizado por un usuario y/o ser detectado por un dispositivo o sistema sin que el usuario toque una pantalla del dispositivo o sistema o haga contacto de otro modo con el dispositivo o sistema. Por ejemplo, como se describe en más detalle a continuación, una postura o gesto puede detectarse usando un sensor de imágenes, ultrasonidos y/o profundidad en algunos modos de realización.
[0048] En el presente documento se describen técnicas para un procedimiento y aparato para volver a activar el control de gestos en un sistema de seguimiento. Un gesto de activación puede incluir que un usuario mantenga una postura particular durante un período de tiempo predeterminado, por ejemplo, mantener una extremidad humana, tal como una mano, en una determinada posición o una postura de la mano para activar el sistema de seguimiento. Una postura de activación permite que un sistema de gestos ignore los movimientos de las manos que no están destinados a ser gestos de control y, por lo tanto, puede hacer que un sistema sea más robusto. En algunos sistemas, los movimientos del usuario se ignoran antes de la detección de un gesto de activación. Después de detectar el gesto de activación, se puede identificar un comando gestual a partir de un gesto del usuario. Después de esto, el sistema puede volver a ignorar los movimientos del usuario hasta que se detecte otro gesto de activación. El retardo asociado a un gesto de activación es, en general, aceptable para un usuario si el usuario planea realizar un solo gesto, pero el requerir un gesto de activación antes de cada comando gestual puede ser ineficiente si el usuario quiere hacer una serie de gestos, por ejemplo recorrer una lista de opciones o pasar una serie de páginas de un libro virtual.
[0049] Los modos de realización de la invención describen técnicas para permitir al usuario evitar una reactivación completa, tal como un segundo gesto de activación, para gestos repetitivos en sucesión. Los sistemas, procedimientos, aparatos y medios legibles por ordenador descritos pueden detectar el retorno de un objeto de control o extremidad humana, tal como una mano, a una región predeterminada para volver a activar gestos adicionales una vez que el sistema informático detecta y responde a un primer gesto de una serie de gestos.
[0050] A continuación se describen con más detalle diversas implementaciones para modos de realización de la invención. Algunos modos de realización implican que el sistema informático detecte un gesto en el que el usuario mantiene su mano quieta en una posición, área, región o ubicación constante. En otros modos de realización, el sistema informático detecta el requisito de que la extremidad de usuario, tal como una mano, se coloque de una manera específica (palma abierta, etc.). Otro enfoque detecta que el usuario se está moviendo hacia la posición original detectada de la mano, pero luego cambia de dirección e inicia un nuevo gesto en la dirección del gesto detectado originalmente. En algunas implementaciones, el sistema informático detecta la estabilidad de la extremidad humana para determinar un gesto para activar el sistema de control de gestos. La cantidad de tiempo predeterminada puede configurarse de modo que un usuario pueda acortar el proceso dependiendo de sus preferencias.
Seguimiento mediante sensor 2D
[0051] Un modo de realización ejemplar comprende capturar la escena delante de un sistema informático capturando una pluralidad de imágenes usando un sensor de imágenes bidimensional (2D) tal como una cámara y analizar esas imágenes para identificar una postura de mano conocida (tal como una mano abierta). Una técnica para identificar una postura de mano puede basarse en el marco de detección de objetos Viola-Jones; sin embargo, se puede usar cualquier medio adecuado para determinar que la mano está presente. Una vez que el sistema informático detecta la mano en una postura de mano durante un período de tiempo predeterminado, se puede usar un mecanismo de retroalimentación opcional para indicar al usuario que se ha activado un "modo gestual".
[0052] En algunas implementaciones, el sistema informático usa un algoritmo de detección de gestos para determinar la dirección en la que la mano se mueve desde la ubicación de activación inicial para efectuar un "toque" hacia la izquierda, derecha, arriba o abajo. Algunas implementaciones pueden usar uno o más de entre el seguimiento de Kanade-Lucas-Tomasi (KLT), un seguimiento de histograma, un bosque aleatorio de decisión, un agrupamiento de K medios y un flujo óptico o cualquier algoritmo adecuado para realizar un seguimiento de los gestos. Una vez que el sistema informático determina el toque, el sistema puede generar una señal de toque para la aplicación activa y la aplicación responderá adecuadamente.
[0053] A continuación, el usuario puede querer volver a activar el sistema para realizar otro toque en rápida sucesión. En un modo de realización, el sistema informático puede facilitar la reactivación del gesto al detectar la mano del usuario en la ubicación o región de seguimiento original (o un área dentro de una distancia umbral de la misma) y en la postura de mano deseada para permitir la detección de gestos nuevamente. En otro modo de realización, el sistema informático puede detectar que la mano ha vuelto a la región predeterminada sin necesidad de una postura de mano específica. En otro modo de realización más, el sistema informático puede detectar una mano y/o una postura de mano y también un período de tiempo predeterminado de la mano en la región predeterminada para volver a activar el sistema de seguimiento de gestos. En todas las técnicas de activación anteriores, el sistema informático puede proporcionar al usuario un mecanismo de retroalimentación opcional (sonoro o visual o de otro tipo) para indicar al usuario que se ha vuelto a activar el "modo gestual". El sistema informático puede comenzar a realizar un seguimiento del siguiente gesto y el proceso puede continuar. En algunos modos de realización, la postura de la mano debe mantenerse durante el período de tiempo predeterminado antes de realizar un gesto diferente al del toque determinado, pero el toque puede repetirse incluso si la postura de la mano no se mantiene durante el período predeterminado de tiempo, por ejemplo como se describe anteriormente.
Seguimiento mediante sensor 2D usando un flujo óptico:
[0054] En una implementación, el sistema informático usa un marco de detección de objetos de flujo óptico para realizar un seguimiento de los gestos. En un ejemplo de este procedimiento, un bloque de píxeles, por ejemplo, cada bloque de 16x16 píxeles de la imagen capturada en la región de la mano detectada y adyacente a la misma en todas las direcciones deseadas, puede analizarse de un cuadro a otro, y se puede encontrar la mejor coincidencia para el contenido de cada bloque en el siguiente cuadro. Esta mejor coincidencia se puede obtener usando técnicas de suma de diferencias absolutas (SAD) (para cada valor de píxel), o se puede obtener usando cualquier otra técnica adecuada. El desplazamiento desde la posición original de un bloque de 16x16 dado desde el cuadro anterior hasta su posición en el nuevo cuadro puede representarse como un valor (x, y) que representa un vector del movimiento de ese bloque de píxeles entre los dos cuadros. Al acumular los datos de movimiento de bloque de toda la región de la mano, se puede determinar una representación precisa de la dirección del movimiento de la mano. Los cuadros sucesivos pueden proporcionar una serie de vectores de movimiento, y estos podrían acumularse para pasar un valor umbral para identificar que se ha producido una acción de "toque".
[0055] Una vez que el sistema informático ha detectado una acción de toque usando esta técnica, es posible seguir analizando la región extendida alrededor de la ubicación de mano detectada original para encontrar el "gesto de retorno" cuando la mano vuelve al punto de partida. Esta técnica puede usar el mismo enfoque de flujo óptico de 16x16 píxeles usado anteriormente para determinar si hay un objeto que se mueve hacia la región de mano original detectada. Cuando esto ocurre, el sistema informático puede proporcionar retroalimentación opcional al usuario, de modo que el usuario sepa que el sistema está listo para detectar un nuevo toque.
[0056] El sistema informático puede detectar la posición de retorno detectando el retorno de la mano hacia una región general de la región original o predeterminada del primer gesto, proporcionando así flexibilidad al usuario. En particular, el usuario a menudo puede "sobrepasar" la región de detección de mano original a medida que regresa. Puede no ser deseable interpretar este movimiento como un toque en la dirección opuesta en algunos modos de realización. Para evitar esta interpretación no deseable, la "reactivación rápida" puede aplicarse a toques en la misma dirección que el primer toque detectado de una serie. Por lo tanto, en una implementación, se puede favorecer un gesto repetido sobre un evento singular en la dirección opuesta. En dicha implementación, volver a activar el sistema informático con el detector de postura de mano puede ser necesario para un toque en la dirección opuesta. Por lo tanto, el sistema informático puede determinar si ejecutar un gesto repetido independientemente de si se detecta un gesto de activación repetido. En algunas implementaciones, el sistema informático puede determinar ignorar u omitir un requisito para un gesto de activación cuando se detecta un gesto repetido o cuando se detecta un retorno a una posición de un gesto de activación inicial. En un modo de realización, un sistema de control de gestos puede requerir un gesto de activación antes de cada gesto realizado, pero puede omitir dicho requisito cuando se realiza un gesto repetido. Además de la detección de gestos repetidos analizados anteriormente, se pueden usar otros procedimientos para detectar gestos repetidos, tales como los analizados a continuación.
Seguimiento mediante sensor 2D usando seguimiento de histograma:
[0057] En otra implementación, el sistema informático utiliza técnicas de seguimiento de histograma para realizar un seguimiento de los gestos. En un ejemplo de este procedimiento, la posición inicial de la mano se detecta usando el procedimiento de detección de mano como se describe en el presente documento. Una vez que se conoce la posición de la mano, se puede tomar una muestra de color de la mano o de parte de la mano en un tamaño fijo que está relacionado con el tamaño de la mano encontrada por el detector. Por ejemplo, si la postura de la mano era para una mano abierta, entonces el sistema informático puede muestrear solo los colores en la palma de la mano. Por lo tanto, el sistema informático puede seleccionar una sección inferior del área de mano encontrada como la región de muestras de color. Una implementación de la técnica de muestreo de colores reduciría un espacio de colores, por ejemplo, un espacio de colores de 24 bits en una tabla de consulta de 8 bits que distribuye todos los colores en una de las 256 ranuras de una tabla de colores. El sistema informático puede crear entonces un histograma de la región de palma seleccionada añadiendo una pluralidad de píxeles para cada ranura en la región de palma. Esta adición puede dar como resultado una firma de color de esa región de tamaño de palma que puede estar basada en la distribución de colores de la palma.
[0058] De forma similar, en una implementación, para cuadros posteriores, el sistema informático puede encontrar la mejor coincidencia con esa firma de color en el cuadro. Esto se puede hacer creando un histograma de colores para cada región de interés de tamaño de palma y encontrando la región que tenga la firma más cercana a la firma muestreada anterior. Todas las regiones de interés de tamaño de palma podrían estar sustancialmente en una sola fila del cuadro, alineadas con la ubicación de palma original para detectar toques hacia la izquierda y la derecha, o podrían estar alineadas sustancialmente de manera vertical con la región de detección de palma original para detectar toques hacia arriba y hacia abajo, o podrían calcularse para todo el cuadro. En cada región, el histograma calculado puede compararse con el histograma de palma de referencia, por ejemplo usando una suma directa de diferencias absolutas, y la diferencia más pequeña puede identificar la mejor región coincidente en el nuevo cuadro. Usando esta técnica en varios cuadros, el recorrido de la mano se puede detectar y almacenar como una serie de posiciones con respecto a la posición de palma original. Estas posiciones pueden compararse de un cuadro a otro y usarse para determinar que se ha producido un toque si, por ejemplo, la posición de la mano se ha movido una cierta distancia en un cierto período de tiempo. Una vez que se ha iniciado el toque, el seguimiento de histograma en el sistema informático puede continuar hasta que la mano haya vuelto a la ubicación o región de inicio, y puede indicarse al usuario una reactivación para que pueda realizar rápidamente nuevos toques. En una implementación, este procedimiento puede favorecer los toques posteriores en la misma dirección, usando un umbral de distancia más alto o incluso una reactivación completa para permitir un toque en la dirección opuesta. Es decir, en algunos modos de realización, los toques posteriores en la misma dirección pueden verse favorecidos porque pueden ser más propensos a indicar un toque previsto por el usuario en comparación con un toque en la dirección opuesta, lo que puede ser un gesto accidental. Por lo tanto, los toques en la dirección opuesta pueden requerir la detección de movimiento en una distancia más larga o una reactivación completa, por ejemplo, la detección de una postura de activación durante un tiempo de activación completo, antes de ser reconocidos como comandos.
Seguimiento mediante sensor de ultrasonidos:
[0059] En una implementación, los modos de realización de la invención implican detectar la presencia de una mano en una región delante del sistema o dispositivo informático usando una colección de uno o más sensores de ultrasonidos. La posición de la mano podría medirse usando las salidas de estos sensores. Por ejemplo, el sistema puede incluir uno o más micrófonos sensibles a las frecuencias ultrasónicas. Los micrófonos pueden recibir señales ultrasónicas desde un emisor, tal como un lápiz de ultrasonidos que se usa para realizar gestos y emitir ondas ultrasónicas, o el sistema puede comprender un emisor que emite ondas ultrasónicas que se reflejan en un objeto de control, tal como la mano de un usuario, y vuelven a los micrófonos. Podría determinarse que la mano u otro objeto de control se mantiene firme en una ubicación comparando salidas sucesivas de los sensores de ultrasonidos durante un período de tiempo predeterminado. En un aspecto, se podría usar un mecanismo de retroalimentación opcional para indicar al usuario que se ha activado el "modo gestual".
[0060] Una vez que se activa el "modo gestual", el sistema informático puede recibir las salidas de los sensores de ultrasonidos y determinar en qué dirección se mueve la mano desde la posición inicial para detectar un gesto de "toque" hacia la izquierda, derecha, arriba o abajo. Una vez que el sistema informático determina la dirección de toque, el sistema puede generar una señal de toque para la aplicación activa y la aplicación puede responder adecuadamente.
[0061] A continuación, el usuario puede querer volver a activar el sistema para realizar otro toque en rápida sucesión. El sistema informático facilita la reactivación analizando la salida de los sensores de ultrasonidos hasta que la mano reaparece en la ubicación o región de seguimiento original. El sistema puede indicar entonces al usuario que se ha vuelto a activar el "modo gestual", o se puede añadir un pequeño retardo para verificar que el usuario ha detenido su mano en esa ubicación para verificar que se desea otro gesto. El sistema informático podría, opcionalmente, indicar al usuario que el "modo gestual" se ha vuelto a activar, y buscar "toques" adicionales por parte del usuario.
Seguimiento mediante sensor de profundidad:
[0062] En una implementación, los modos de realización de la invención implican capturar una escena delante un dispositivo mediante la captura de imágenes a partir de un sistema de captura de imágenes 3D que proporciona un mapa de profundidad de la escena delante del dispositivo. El sistema informático puede analizar estos datos de profundidad para identificar que un objeto está delante del dispositivo o, en un análisis más detallado, podría determinar que hay una mano presente y que se está manteniendo en una postura de mano específica (por ejemplo, una mano abierta). En una implementación, el sistema informático detectaría una postura de mano basándose en contar los dedos en la imagen 3D analizando los datos de profundidad 3D directamente o con cualquier otro procedimiento adecuado. Una vez que el sistema informático detecta la presencia de la mano durante un período de tiempo predeterminado, se puede usar un mecanismo de retroalimentación opcional para indicar al usuario que se ha activado el "modo gestual".
[0063] Una vez que se ha detectado y activado un "modo gestual", el sistema informático puede usar un algoritmo de detección de gestos para determinar la dirección en la que la mano se mueve desde la ubicación de activación inicial para efectuar un "toque" hacia la izquierda, derecha, arriba o abajo. En el caso de un sensor de profundidad, puede ser posible determinar la ubicación absoluta de la mano en cuadros posteriores después de la activación inicial, y la dirección en que se mueve la mano se puede usar para determinar la dirección del toque. Una vez que se ha determinado la dirección de toque, el sistema informático puede generar una señal de toque para la aplicación activa y la aplicación puede responder adecuadamente.
[0064] A continuación, el sistema informático puede llevar a cabo la reactivación tras detectar otro toque en rápida sucesión. El sistema informático puede facilitar la reactivación analizando el retorno de la mano en la ubicación o región de seguimiento original y/o en la postura de mano deseada para habilitar de nuevo el modo gestual. En otro enfoque, el sistema informático puede detectar que el usuario vuelve a poner su mano en la ubicación o región de seguimiento original, pero no requiere la postura de mano. En otro enfoque más, cualquiera de los enfoques anteriores se puede usar junto con la detección de la estabilidad de la mano y/o la postura de mano en la ubicación o región de seguimiento original. En todo esto, el sistema informático puede proporcionar un mecanismo de retroalimentación opcional (sonoro o visual o de otro tipo) para indicar al usuario que se ha vuelto a activar el "modo gestual". El sistema informático puede comenzar a realizar un seguimiento del siguiente gesto y el proceso puede continuar.
[0065] A continuación se describirán varios modos de realización ilustrativos con respecto a los dibujos adjuntos, que forman parte de los mismos. Aunque a continuación se describen modos de realización particulares, en las que se pueden implementar uno o más aspectos de la divulgación, se pueden usar otros modos de realización y se pueden realizar diversas modificaciones sin apartarse del alcance de la divulgación o del espíritu de las reivindicaciones adjuntas.
REACTIVACIÓN RÁPIDA DE GESTOS
[0066] La FIG. 1 es un diagrama de flujo 100 que ilustra un modo de realización ejemplar de la invención para entrar y salir de un modo de funcionamiento de acuerdo con los modos de realización de la presente invención. El procedimiento se realiza mediante lógica de procesamiento, tal como el procesador 1404 (véase la FIG. 14) que comprende hardware (circuitos, lógica dedicada, etc.), software (tal como se ejecuta en un sistema informático de propósito general o una máquina dedicada), firmware (software incorporado), o cualquier combinación de los mismos. En un modo de realización, el procedimiento lo realiza el dispositivo 1400 de la FIG.
14. El software que se ejecuta en el sistema informático puede comprender un sistema operativo 1414 y aplicaciones 1416, almacenadas en la memoria de trabajo 1418 o en el dispositivo de almacenamiento 1406.
[0067] En el bloque 102, el ordenador comienza a supervisar gestos. En el bloque 104, el sistema informático detecta un gesto de usuario que cumple una primera condición para entrar en un modo de funcionamiento. El gesto de usuario puede detectarse obteniendo una pluralidad de imágenes usando un sensor de imágenes, por ejemplo la cámara 1420 (véase la FIG. 14) y/o el dispositivo de entrada 1408. En algunos modos de realización, el modo de funcionamiento es un modo de seguimiento de gestos que incluye detectar un gesto de usuario y seguir el gesto de usuario durante un período de tiempo (bloque 106). El seguimiento del gesto se puede lograr usando cualquiera de los procedimientos de seguimiento descritos anteriormente, que incluyen, pero sin limitarse a, un seguimiento mediante sensor de ultrasonidos, un seguimiento mediante sensor de profundidad, un seguimiento mediante sensor 2D y/o un seguimiento mediante histograma.
[0068] En otro modo de realización, el modo de funcionamiento puede ser un modo de comandos que incluye ejecutar uno o más comandos en el sistema informático. En el modo de comandos, el sistema informático puede interpretar el/los gesto(s) de usuario. Estas acciones pueden estar vinculadas a comandos específicos para el sistema informático. El sistema informático puede ejecutar estos comandos y proporcionar retroalimentación al usuario. Por ejemplo, un usuario puede sostener su mano en una determinada posición predefinida para pasar una página de un libro virtual que se está mostrando en el sistema informático.
[0069] En algunos modos de realización, el gesto de usuario puede ser un gesto fijo. En otro modo de realización, el gesto de usuario puede ser un gesto dinámico. Un gesto fijo puede ser una postura estática predefinida realizada por una extremidad de usuario. Por ejemplo, un gesto fijo puede ser una postura de mano con la palma abierta o una postura de puño o un signo de OK o de paz. Un gesto dinámico puede ser un movimiento o trayectoria predefinidos realizados por una extremidad de usuario. Por ejemplo, un gesto dinámico puede ser un usuario que realiza un gesto de toque de izquierda a derecha. En algunos modos de realización, una postura de mano tal como una postura de mano con la palma abierta se mantiene durante el movimiento o trayectoria.
[0070] En el bloque 108, el sistema informático sale del modo de funcionamiento. Después de seguir el gesto durante un período de tiempo, el sistema informático puede salir del modo de funcionamiento (modo de seguimiento de gestos y/o modo de comando). Por ejemplo, el sistema informático sale del modo de funcionamiento después de que el usuario realice el gesto de usuario. Una vez que se complete el gesto de usuario, el sistema informático puede salir del modo de seguimiento de gestos y/o del modo de comandos. En este punto, el sistema informático ya no puede aceptar una entrada de gestos.
[0071] En el bloque 110, el sistema informático detecta un gesto de usuario que cumple una segunda condición para volver a entrar en el modo de funcionamiento, por ejemplo, usando la cámara 1420 y/o el dispositivo de entrada 1408. La segunda condición puede ser menos estricta que la primera condición. En algunos modos de realización, la primera condición es detectar el gesto de usuario durante un primer período de tiempo y la segunda condición es detectar el gesto de usuario durante un segundo período de tiempo. El segundo período de tiempo puede ser menor que el primer período de tiempo. Por ejemplo, la primera condición la cumpliría un usuario que realizara una postura de mano durante un primer período de tiempo predeterminado. Después de detectar que el gesto de usuario cumple la primera condición y que se entra en un modo de funcionamiento descrito anteriormente, el sistema informático puede salir del modo de funcionamiento. En este punto, el sistema informático puede detectar un gesto de usuario que cumple una segunda condición durante un segundo período de tiempo, donde el segundo período de tiempo es más corto que el primer período de tiempo. Por ejemplo, la segunda condición puede cumplirse por un usuario que realiza una postura de mano durante un segundo período de tiempo predeterminado que es más corto que el primer período de tiempo predeterminado. Esto es un ejemplo de que la segunda condición es menos estricta que la primera condición. El usuario puede mantener de nuevo la postura de mano durante un tiempo más corto que la primera vez que el usuario sostuvo la postura de mano. Al detectar que el gesto de usuario cumple esta segunda condición, el sistema informático puede volver a entrar en el modo de funcionamiento (seguimiento de gestos y/o comando) para seguir proporcionando al usuario interacción y retroalimentación. De forma alternativa, si no se detecta que el gesto de usuario cumple la segunda condición, el procedimiento puede finalizar y el seguimiento de gestos ya no puede continuar. Entonces el usuario puede tener que volver a activar completamente el sistema informático antes de realizar cualquier comando gestual posterior.
[0072] Puede apreciarse que la decisión de salir del modo de funcionamiento (bloque 108) puede no ser necesaria. Es decir, se puede salir del modo de funcionamiento (bloque 108) en el momento en que se detecta el gesto de usuario que cumple la segunda condición (bloque 110). En algunos modos de realización, si el gesto de usuario que cumple la segunda condición (bloque 110) nunca se detecta, el sistema informático puede permanecer en el modo de funcionamiento introducido al detectar el gesto de usuario que cumple la primera condición. En algunos modos de realización, salir del modo operativo comprende volver a entrar o volver a activar el modo operativo.
[0073] En algunos modos de realización, la primera condición es detectar el gesto de usuario dentro de una primera región y la segunda condición es detectar el gesto de usuario dentro de una segunda región. La segunda región puede ser más grande que la primera región. En algunos modos de realización, la detección incluye determinar si una extremidad de usuario está firme dentro de la primera región mediante la detección de un movimiento asociado a la extremidad de usuario que está por debajo de un umbral de movimiento predefinido en la primera región durante un período de tiempo. Por ejemplo, la primera condición la cumpliría un usuario que realizara una postura de mano dentro de una primera región de un dispositivo de visualización. Después de detectar que el gesto de usuario cumple la primera condición y que se entra en un modo de funcionamiento descrito anteriormente, el sistema informático puede salir del modo de funcionamiento. En este punto, el sistema informático puede detectar un gesto de usuario que cumple una segunda condición dentro de una segunda región, donde la segunda región es más grande que la primera región. Por ejemplo, la segunda condición puede cumplirse por un usuario que realiza una postura de mano dentro de la segunda región del dispositivo de visualización que es más grande que la primera región del dispositivo de visualización. Esto es un ejemplo de que la segunda condición es menos estricta que la primera condición. Al detectar que el gesto de usuario cumple esta segunda condición, el sistema informático puede volver a entrar en el modo de funcionamiento (por ejemplo, seguimiento de gestos y/o comando) para seguir proporcionando al usuario interacción y retroalimentación.
[0074] En algunos modos de realización, la primera condición es detectar un gesto de usuario con respecto a un primer nivel de confianza predeterminado y la segunda condición es detectar el gesto de usuario con respecto a un segundo nivel de confianza predeterminado. El primer y segundo niveles de confianza predeterminados se refieren a la confianza del sistema informático en que un usuario está realizando realmente un gesto previsto, por ejemplo, un gesto fijo o un gesto dinámico. El sistema puede usar los niveles de confianza para filtrar una entrada accidental de usuario. Se puede apreciar que el primer y segundo niveles de confianza pueden ser umbrales mínimos y se puede considerar que las condiciones que superan el umbral mínimo han alcanzado el primero y segundo niveles de confianza. En algunos modos de realización, el segundo nivel de confianza puede ser menor que el primer nivel de confianza. En un ejemplo en que la primera y segunda condiciones comprenden niveles de confianza de que se está realizando una postura de mano, una menor confianza puede permitir al usuario realizar un gesto menos definitivo o más relajado, por ejemplo, permitiendo que sus dedos se doblen durante una segunda postura de mano en lugar de mantener los dedos rectos, como se puede requerir en la primera postura de mano en algunos modos de realización. En algunos modos de realización, un umbral inferior puede permitir al usuario realizar un gesto dinámico con menos precisión.
[0075] En algunos modos de realización, el sistema informático puede proporcionar además retroalimentación que indica la reentrada en el modo de funcionamiento en respuesta a la detección. Por ejemplo, después de que el sistema informático detecte un gesto de usuario que cumple la segunda condición para volver a entrar en el modo de funcionamiento, el sistema informático puede proporcionar retroalimentación al usuario (a través de un dispositivo de salida, tal como una pantalla), lo que indica que se ha vuelto a entrar en el modo de funcionamiento. Esta retroalimentación puede proporcionar al usuario una señal visual y/o audible acerca del modo de funcionamiento actual del sistema informático.
[0076] En algunos modos de realización, el sistema informático puede determinar además si un comando correspondiente al primer gesto de usuario es equivalente a un comando correspondiente al segundo gesto de usuario. El sistema informático puede omitir además un requisito de que el segundo gesto de usuario cumpla la segunda condición en función de, al menos en parte, la determinación. Por ejemplo, si el usuario realiza un primer gesto que cumple la primera condición, por ejemplo, al realizar un toque de izquierda a derecha para indicar que el usuario desea pasar una página de un libro virtual, y el usuario realiza un segundo gesto equivalente al primer gesto, el sistema informático responderá pasando otra página del libro virtual sin requerir que el segundo gesto cumpla la segunda condición. La segunda condición puede ser, por ejemplo, realizar el gesto en relativamente la misma área de un dispositivo de visualización. En algunos modos de realización, la segunda condición puede comprender una longitud mínima del toque. Por ejemplo, si un usuario realiza el toque de izquierda a derecha con una mano y después devuelve la mano a un área dentro de un umbral de una posición donde se inició el toque, entonces el sistema puede detectar que se realizó un segundo toque incluso si el segundo toque no cumple un requisito de longitud en algunos modos de realización. En algunos modos de realización, se puede requerir una primera longitud para detectar un primer toque, mientras que se puede requerir una segunda longitud que sea más corta que la primera longitud para detectar un toque repetido. En algunos modos de realización, la primera condición comprende un gesto de activación, por ejemplo, el mantenimiento de una postura de mano durante un período de tiempo umbral, y el sistema detecta un gesto, por ejemplo un toque, después de que se cumpla la primera condición. En algunos de dichos modos de realización, un requisito para el gesto de activación puede omitirse si el sistema detecta otro gesto de toque posterior. Por lo tanto, en sistemas en los que se requiere un gesto de activación antes de realizar un gesto adicional en dichos sistemas, la primera y segunda condiciones pueden comprender el gesto de activación; en algunos modos de realización se puede detectar un gesto repetitivo incluso sin el gesto de activación.
[0077] La FIG. 2 es un diagrama de flujo 200 que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de y responder a un gesto de acuerdo con los modos de realización de la presente invención. El procedimiento se realiza mediante lógica de procesamiento, tal como el procesador 1404 (véase la FIG. 14) que comprende hardware (circuitos, lógica dedicada, etc.), software (tal como se ejecuta en un sistema informático de propósito general o una máquina dedicada), firmware (software incorporado), o cualquier combinación de los mismos. En un modo de realización, el procedimiento lo realiza el dispositivo 1400 de la FIG.
14. El software que se ejecuta en el sistema informático puede comprender un sistema operativo 1414 y aplicaciones 1416, almacenadas en la memoria de trabajo 1418 o en el dispositivo de almacenamiento 1406.
[0078] En el bloque 202, el sistema informático comienza a supervisar los gestos. En el bloque 204, el sistema informático detecta la presencia inicial de una extremidad de usuario en una posición, región, ubicación o área durante un primer período de tiempo predefinido, por ejemplo, usando la cámara 1420 y/o el dispositivo de entrada 1408. Al detectar una presencia inicial de una extremidad de usuario en una región durante un primer período de tiempo predefinido, se activa el modo gestual con el propósito de realizar un seguimiento del gesto. En algunos modos de realización, el sistema informático puede estar configurado para detectar la extremidad de usuario en una región predefinida. La extremidad de usuario puede ser una mano. En algunas implementaciones, detectar la presencia inicial de una extremidad de usuario comprende detectar una postura de mano en la región. Además, detectar la presencia inicial de la extremidad de usuario puede comprender detectar que la extremidad del usuario está firme en la región. En una implementación, detectar que la extremidad de usuario está firme puede implicar detectar un movimiento asociado a la extremidad de usuario que está por debajo de un umbral predefinido en la región durante el primer período de tiempo predefinido. Aunque puede usarse cualquier medio adecuado, en una implementación, el procedimiento realizado por el sistema informático puede usar el marco de detección de objetos Viola-Jones para detectar la presencia de la extremidad de usuario.
[0079] El sistema informático puede proporcionar además retroalimentación al usuario de que el sistema está activado en modo gestual y está listo para realizar un seguimiento de gestos, por ejemplo, usando el dispositivo de salida 1410. La retroalimentación puede ser una o más de entre retroalimentación visual, sonora o táctil.
[0080] En el bloque 206, el procedimiento realizado por el sistema informático realiza el seguimiento de un gesto de la extremidad de usuario a partir de la región de detección de la presencia inicial de la extremidad de usuario. La extremidad de usuario puede ser la mano del usuario. El seguimiento de un gesto puede comprender primero detectar el gesto y después realizar un seguimiento del gesto durante un período de tiempo. El gesto puede detectarse usando un marco de detección de objetos Viola-Jones o cualquier otro medio adecuado. En una implementación, el seguimiento del gesto comprende obtener una pluralidad de imágenes que incluyen la extremidad de usuario, usar un sensor de imagen acoplado de manera comunicativa al dispositivo informático y determinar un movimiento de la extremidad de usuario en una dirección particular analizando el cambio en los atributos asociados a la extremidad de usuario en la pluralidad de imágenes. Las cámaras 1420 (véase la FIG.
14) y otros dispositivos de entrada 1408 descritos en la FIG. 14 pueden emplearse para detectar la extremidad de usuario. El procedimiento realizado por el sistema informático puede usar un marco de flujo óptico o un marco de histograma usando una pluralidad de imágenes bidimensionales, un seguimiento mediante sensor de ultrasonidos o un seguimiento mediante sensor de profundidad para realizar el seguimiento de un gesto, como se describe anteriormente, o cualquier otro medio adecuado.
[0081] En el bloque 208, el procedimiento realizado por el sistema informático responde al seguimiento del gesto. En un ejemplo, el usuario puede usar un gesto para pasar páginas o mover objetos que se muestran en la unidad de visualización o como imágenes holográficas o 3D. Este gesto puede afectar a la aplicación 1416 u otros elementos del dispositivo 1400. En un caso, la respuesta a los gestos del usuario es visible en un dispositivo de visualización, tal como un dispositivo de salida 1410 descrito en la FIG. 14.
[0082] En el bloque 210, el procedimiento realizado por el sistema informático vuelve a activar el modo gestual para realizar un seguimiento de gestos sucesivos al detectar una presencia posterior de la extremidad de usuario. Una ventaja de volver a activar el sistema de seguimiento para gestos rápidos sucesivos es que permite que el sistema informático responda más rápido a los gestos del usuario, tales como pasar páginas a través de un libro en lugar de requerir que el usuario active el sistema desde el bloque 204 para los gestos repetitivos, que de lo contrario puede llevar más tiempo de configuración.
[0083] En el bloque 210, el procedimiento realizado por el sistema informático detecta una presencia posterior de la extremidad de usuario en la región durante un segundo período de tiempo predefinido y vuelve a activar el modo gestual. En algunas implementaciones, el segundo período de tiempo predefinido es más corto que el primer período de tiempo predefinido. La región para la detección de extremidad de usuario para la reactivación puede ser mayor que la región para la activación inicial. Esto es un ejemplo de que la segunda condición es menos estricta que la primera condición. En otras implementaciones adicionales, un segundo período predefinido puede no ser necesario y puede ser cero o insignificante.
[0084] El sistema informático puede configurarse para detectar la extremidad de usuario en la misma región en la que se detectó inicialmente la extremidad de usuario, en el bloque 204. El sistema informático también puede tener en cuenta las desviaciones en la región a lo largo del tiempo. La extremidad de usuario puede ser una mano. En algunas implementaciones, detectar la presencia inicial de una extremidad de usuario comprende detectar una postura de mano en la región. Además, detectar la presencia inicial de la extremidad de usuario puede comprender detectar que la extremidad del usuario está firme en la región. En una implementación, detectar que la extremidad de usuario está firme puede implicar detectar un movimiento asociado a la extremidad de usuario que está por debajo de un umbral predefinido en la región durante el primer período de tiempo predefinido. Aunque puede usarse cualquier medio adecuado, en una implementación, el procedimiento realizado por el sistema informático puede usar el marco de detección de objetos Viola-Jones para detectar la presencia de la extremidad de usuario.
[0085] El sistema informático puede proporcionar además retroalimentación al usuario de que el sistema se vuelve a activar en modo gestual y está listo para realizar un seguimiento de gestos, por ejemplo usando el dispositivo de salida 1410. La retroalimentación puede ser una o más de entre retroalimentación visual, sonora o táctil. Se puede proporcionar retroalimentación al usuario usando los dispositivos de salida 1410 descritos en la FIG. 14. Una vez que se vuelve a activar el modo gestual, el procedimiento realizado por el sistema informático puede comenzar a realizar un seguimiento del gesto de la extremidad de usuario desde la región (bloque 206) y responder al seguimiento del gesto (bloque 208).
[0086] Si el sistema informático no detecta una presencia posterior de la extremidad de usuario en el bloque 210, por ejemplo dentro de un período de tiempo umbral, el procedimiento puede finalizar y el seguimiento de gestos ya no puede continuar. Entonces el usuario puede tener que volver a activar completamente el sistema informático antes de realizar cualquier comando gestual posterior.
[0087] La FIG. 3 es un diagrama de flujo 300 que ilustra un modo de realización ejemplar de la invención para detectar una extremidad de usuario firme de acuerdo con los modos de realización de la presente invención. El procedimiento 300 se realiza mediante lógica de procesamiento, tal como el procesador 1404 (véase la FIG. 14) que comprende hardware (circuitos, lógica dedicada, etc.), software (tal como se ejecuta en un sistema informático de propósito general o una máquina dedicada), firmware (software incorporado), o cualquier combinación de los mismos. En un modo de realización, el procedimiento lo realiza el dispositivo 1400 de la FIG.
14. El software que se ejecuta en el sistema informático puede comprender un sistema operativo 1414 y aplicaciones 1416, almacenadas en la memoria de trabajo 1418 o en el dispositivo de almacenamiento 1406.
[0088] En el bloque 302, el sistema informático comienza a supervisar la mano de un usuario. En el bloque 304, el procedimiento realizado por el sistema informático espera y determina si la mano de un usuario está firme y está en una ubicación durante un período de tiempo predefinido. Una ubicación puede ser un área visible por un dispositivo de captura de imágenes, por ejemplo, la cámara 1420. La ubicación también puede ser un radio predefinido alrededor de un punto de detección inicial de la mano del usuario. En algunos modos de realización, la ubicación puede definirse mediante un cuadrado o rectángulo alrededor del punto de detección inicial de la mano del usuario. El punto de detección inicial de la mano del usuario puede definirse usando coordenadas (x, y). En el bloque 306, el procedimiento realizado por el sistema informático realiza un seguimiento de un gesto que comienza desde la ubicación en la que se detecta la mano del usuario, por ejemplo, usando la cámara 1420 y/o el dispositivo de entrada 1408. En el bloque 308, el procedimiento realizado por el sistema informático responde al gesto. La respuesta al gesto puede ser externamente visible, tal como una representación de pasar páginas de libros virtuales o puede ser un disparador interno para realizar una tarea por parte del sistema informático. En el bloque 310, el procedimiento realizado por el sistema informático espera a que la mano del usuario regrese a la ubicación en la que se detectó originalmente la mano del usuario. Como se describió anteriormente, la ubicación puede ser un radio predefinido o un cuadrado/rectángulo alrededor del punto de detección inicial de la mano del usuario. En algunos modos de realización, la ubicación puede ser relativa al cuerpo del usuario, por ejemplo, de vuelta al lado derecho del usuario después de realizar un toque a la izquierda, incluso si la posición absoluta puede haber cambiado con respecto a la cámara 1420. En algunos modos de realización, la ubicación puede estar dentro de una distancia umbral de la posición original absoluta (el punto de detección inicial), o dentro de una penumbra de un radio, cuadrado, rectángulo, región, etc. originales. Si la mano del usuario regresa, el sistema de seguimiento para el gesto se vuelve a activar y el sistema sigue realizando un seguimiento del gesto (bloque 306). Puede apreciarse que el bloque 304 se puede omitir en el sistema prosiguiendo con el seguimiento del gesto (bloque 306).
[0089] Los modos de realización de la invención descritos anteriormente pueden realizarse obteniendo una pluralidad de imágenes posteriores de la mano del usuario usando un sensor de imágenes acoplado de manera comunicativa al sistema informático. Una o más cámaras 1420 y otros dispositivos de entrada 1408 descritos en la FIG. 14 pueden emplearse para detectar las imágenes. En el bloque 302, el sistema procede a analizar imágenes obtenidas para detectar la mano de un usuario. En el bloque 304, el sistema informático detecta que la mano del usuario está firme y se encuentra en una ubicación durante un período de tiempo predefinido analizando la pluralidad de imágenes, por ejemplo capturadas usando la cámara 1420 y/o el dispositivo de entrada 1408. En el bloque 306, el sistema informático detecta y realiza el seguimiento del gesto que comienza en la ubicación analizando imágenes posteriores. En el bloque 308, el sistema informático responde al gesto detectado. En el bloque 310, el sistema informático espera y detecta que la mano del usuario vuelve a la ubicación analizando imágenes posteriores. Si se detecta la mano del usuario, el sistema informático realiza un seguimiento (en el bloque 306) y responde (en el bloque 308) al gesto que comienza en la ubicación original analizando imágenes posteriores.
[0090] Si el sistema informático no detecta un retorno de la mano después de un período de tiempo predeterminado en el bloque 310, por ejemplo, dentro de un período de tiempo umbral, el procedimiento puede finalizar y el seguimiento de gestos ya no puede continuar. Entonces el usuario puede tener que volver a activar completamente el sistema informático antes de realizar cualquier comando gestual posterior.
[0091] La FIG. 4 es un diagrama de flujo 400 que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar una extremidad de usuario firme de acuerdo con los modos de realización de la presente invención. El procedimiento 400 se realiza mediante lógica de procesamiento, tal como el procesador 1404 (véase la FIG. 14) que comprende hardware (circuitos, lógica dedicada, etc.), software (tal como se ejecuta en un sistema informático de propósito general o una máquina dedicada), firmware (software incorporado), o cualquier combinación de los mismos. En un modo de realización, el procedimiento lo realiza el dispositivo 1400 de la FIG. 14. El software que se ejecuta en el sistema informático puede comprender un sistema operativo 1414 y aplicaciones 1416, almacenadas en la memoria de trabajo 1418 o en el dispositivo de almacenamiento 1406.
[0092] En el bloque 402, el sistema informático comienza a supervisar la mano de un usuario. En el bloque 404, el procedimiento realizado por el sistema informático espera y determina si la mano de un usuario está firme y está en una ubicación durante un primer período de tiempo predefinido. En el bloque 406, el procedimiento realizado por el sistema informático realiza un seguimiento de un gesto que comienza desde la ubicación en la que se detecta la mano del usuario, por ejemplo, usando la cámara 1420 y/o el dispositivo de entrada 1408. En el bloque 408, el procedimiento realizado por el sistema informático responde al gesto. La respuesta al gesto puede ser externamente visible, tal como una representación de pasar páginas de libros virtuales o puede ser un disparador interno para realizar una tarea por parte del sistema informático. En el bloque 410, el procedimiento realizado por el sistema informático espera a que la mano del usuario regrese a la ubicación en la que se detectó originalmente la mano del usuario. Si la mano del usuario vuelve a la ubicación original, en el bloque 412, el sistema informático espera durante un segundo período de tiempo predefinido adicional para detectar firmeza en la mano del usuario, donde el segundo período de tiempo predefinido es más corto que el primer período de tiempo predefinido antes de volver a activar el sistema de seguimiento de gestos y el sistema prosigue con el seguimiento del gesto (bloque 406). Esto es un ejemplo de que la segunda condición es menos estricta que la primera condición.
[0093] Los modos de realización de la invención descritos anteriormente pueden realizarse obteniendo una pluralidad de imágenes posteriores de la mano del usuario usando un sensor de imágenes acoplado de manera comunicativa al sistema informático. Una o más cámaras 1420 (véase la FIG. 14) y otros dispositivos de entrada 1408 descritos en la FIG. 14 pueden emplearse para detectar las imágenes. En el bloque 402, el sistema comienza a analizar las imágenes obtenidas para detectar la mano de un usuario. En el bloque 404, el sistema informático detecta que la mano del usuario está firme y se encuentra en una ubicación durante un primer período de tiempo predefinido analizando la pluralidad de imágenes. En el bloque 406, el sistema informático detecta y realiza el seguimiento del gesto que comienza en la ubicación mediante el análisis de imágenes posteriores. En el bloque 408, el sistema informático responde al gesto detectado. En el bloque 410, el sistema informático espera y detecta que la mano del usuario vuelve a la ubicación mediante el análisis de imágenes posteriores. Si se detecta la mano del usuario, el sistema informático espera durante un segundo período de tiempo predefinido adicional para garantizar la firmeza de la mano del usuario, en el bloque 412, antes de realizar un seguimiento de (en el bloque 406) y de responder a (en el bloque 408) el gesto que comienza en la ubicación original analizando imágenes posteriores. Puede apreciarse que el bloque 304 se puede omitir en el sistema prosiguiendo con el seguimiento del gesto (bloque 306).
[0094] Si el sistema informático no detecta la firmeza de la mano del usuario en el bloque 412, por ejemplo dentro de un período de tiempo umbral, el procedimiento puede finalizar y el seguimiento de gestos ya no puede continuar. Entonces el usuario puede tener que volver a activar completamente el sistema informático antes de realizar cualquier comando gestual posterior.
[0095] La FIG. 5 es un diagrama de flujo 500 que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar un retorno de una extremidad de usuario dentro de una región de acuerdo con los modos de realización de la presente invención. El procedimiento 500 se realiza mediante lógica de procesamiento, tal como el procesador 1404 (véase la FIG. 14) que comprende hardware (circuitos, lógica dedicada, etc.), software (tal como se ejecuta en un sistema informático de propósito general o una máquina dedicada), firmware (software incorporado), o cualquier combinación de los mismos. En un modo de realización, el procedimiento lo realiza el dispositivo 1400 de la FIG. 14. El software que se ejecuta en el sistema informático puede comprender un sistema operativo 1414 y aplicaciones 1416, almacenadas en la memoria de trabajo 1418 o en el dispositivo de almacenamiento 1406.
[0096] Los modos de realización de la invención descritos en el presente documento pueden realizarse obteniendo una pluralidad de imágenes posteriores de la mano del usuario usando un sensor de imágenes acoplado de manera comunicativa al sistema informático. Una o más cámaras 1420 (véase la FIG. 14) y otros dispositivos de entrada 1408 descritos en la FIG. 14 pueden emplearse para detectar las imágenes. En el bloque 502, el sistema procede a analizar imágenes obtenidas para la detección de la mano de un usuario, por ejemplo, usando la cámara 1420 y/o el dispositivo de entrada 1408. En el bloque 504, el sistema informático detecta una postura de mano y que la mano del usuario está firme en la postura de mano en una ubicación durante un período de tiempo predefinido analizando la pluralidad de imágenes. En el bloque 506, el sistema informático detecta y realiza el seguimiento del gesto que comienza en la ubicación analizando imágenes posteriores. En el bloque 508, el sistema informático responde al gesto detectado. En el bloque 510, el sistema informático espera y detecta que la mano del usuario vuelve a la ubicación y la postura de mano por parte del usuario analizando imágenes posteriores. Si se detecta el retorno de la mano del usuario y la postura de mano, el sistema informático realiza un seguimiento de (en el bloque 506) y responde a (en el bloque 508) el gesto que comienza en la ubicación original analizando imágenes posteriores. Puede apreciarse que el bloque 505 se puede omitir en el sistema que continúa realizando un seguimiento del gesto (bloque 506).
[0097] Si el sistema informático no detecta que la mano del usuario vuelve a la ubicación ni la postura de mano por parte del usuario en el bloque 510, por ejemplo dentro de un período de tiempo umbral, el procedimiento puede finalizar y el seguimiento de gestos ya no puede continuar. Entonces el usuario puede tener que volver a activar completamente el sistema informático antes de realizar cualquier comando gestual posterior.
[0098] La FIG. 6 es un diagrama de flujo 600 que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar un retorno de una extremidad de usuario firme dentro de una región de acuerdo con los modos de realización de la presente invención. El procedimiento se realiza mediante lógica de procesamiento, tal como el procesador 1404 que comprende hardware (circuitos, lógica dedicada, etc.), software (tal como se ejecuta en un sistema informático de propósito general o una máquina dedicada), firmware (software incorporado), o cualquier combinación de los mismos. En un modo de realización, el procedimiento 600 lo realiza el dispositivo 1400 de la FIG. 14. El software que se ejecuta en el sistema informático puede comprender un sistema operativo 1414 y aplicaciones 1416, almacenadas en la memoria de trabajo 1418 o en el dispositivo de almacenamiento 1406.
[0099] Los modos de realización de la invención descritos en el presente documento pueden realizarse obteniendo una pluralidad de imágenes posteriores de la mano del usuario usando un sensor de imágenes acoplado de manera comunicativa al sistema informático. Una o más cámaras 1420 y otros dispositivos de entrada 1408 descritos en la FIG. 14 pueden emplearse para detectar las imágenes. En el bloque 602, el sistema procede a analizar imágenes obtenidas para la detección de la mano de un usuario, por ejemplo, usando la cámara 1420 y/o el dispositivo de entrada 1408. En el bloque 604, el sistema informático detecta una postura de mano y que la mano del usuario está firme en una ubicación durante un primer período de tiempo predefinido analizando la pluralidad de imágenes. En el bloque 606, el sistema informático detecta y realiza el seguimiento del gesto que comienza en la ubicación analizando imágenes posteriores. En el bloque 608, el sistema informático responde al gesto detectado. En el bloque 610, el sistema informático espera y detecta que la mano del usuario vuelve a la ubicación y la postura de mano analizando imágenes posteriores. Si se detecta la mano del usuario y la postura de mano, el sistema informático espera durante un segundo período de tiempo predefinido adicional para garantizar la firmeza de postura de mano, en el bloque 612, antes de realizar un seguimiento de (en el bloque 606) y de responder a (en el bloque 608) el gesto que comienza en la ubicación original analizando imágenes posteriores. El segundo período de tiempo predeterminado puede ser más corto que el primer período de tiempo predeterminado. Esto es un ejemplo de que la segunda condición es menos estricta que la primera condición. Puede apreciarse que el bloque 604 se puede omitir en el sistema que continúa realizando un seguimiento del gesto (bloque 606).
[0100] Si el sistema informático no detecta la firmeza de la postura de mano en el bloque 612, por ejemplo dentro de un período de tiempo umbral, el procedimiento puede finalizar y el seguimiento de gestos ya no puede continuar. Entonces el usuario puede tener que volver a activar completamente el sistema informático antes de realizar cualquier comando gestual posterior.
[0101] La FIG. 7 es un diagrama de flujo 700 que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar una extremidad de usuario firme y proporcionar retroalimentación al usuario de acuerdo con los modos de realización de la presente invención. El procedimiento se realiza mediante lógica de procesamiento, tal como el procesador 1404 que comprende hardware (circuitos, lógica dedicada, etc.), software (tal como se ejecuta en un sistema informático de propósito general o una máquina dedicada), firmware (software incorporado), o cualquier combinación de los mismos. En un modo de realización, el procedimiento lo realiza el dispositivo 1400 de la FIG. 14. El software que se ejecuta en el sistema informático puede comprender un sistema operativo 1414 y aplicaciones 1416, almacenadas en la memoria de trabajo 1418 o en el dispositivo de almacenamiento 1406.
[0102] En el bloque 702, el sistema informático comienza a supervisar la mano de un usuario. En el bloque 704, el procedimiento realizado por el sistema informático espera y determina si la mano de un usuario está firme y está en una ubicación durante un período de tiempo predefinido. En el bloque 706, el procedimiento realizado por el sistema informático puede proporcionar retroalimentación al usuario acerca de que el sistema está activado, por ejemplo, usando el dispositivo de salida 1410, en respuesta a la determinación de que la mano del usuario está firme y está en una ubicación durante un período de tiempo predefinido. En el bloque 708, el procedimiento realizado por el sistema informático realiza un seguimiento de un gesto que comienza desde la ubicación en la que se detecta la mano del usuario. En el bloque 710, el procedimiento realizado por el sistema informático responde al gesto. La respuesta al gesto puede ser externamente visible, tal como una representación de pasar páginas de libros virtuales, o puede ser un disparador interno para realizar una tarea por parte del sistema informático. En el bloque 712, el procedimiento realizado por el sistema informático espera a que la mano del usuario regrese a la ubicación en la que se detectó originalmente la mano del usuario. En el bloque 714, el sistema informático puede esperar durante un segundo período de tiempo predefinido para determinar que la mano está en una postura de mano firme. Si la mano del usuario vuelve, se detecta la postura de mano y la mano está firme, el sistema de seguimiento del gesto se vuelve a activar y el sistema sigue realizando un seguimiento del gesto (bloque 708). Opcionalmente, el sistema informático puede proporcionar información adicional de que el sistema se vuelve a activar para realizar de nuevo un seguimiento (bloque 706). Puede apreciarse que el bloque 704 se puede omitir en el sistema que continúa realizando un seguimiento del gesto (bloque 706).
[0103] Si el sistema informático no detecta una postura de mano firme en el bloque 714, por ejemplo dentro de un período de tiempo umbral, el procedimiento puede finalizar y el seguimiento de gestos ya no puede continuar. Entonces el usuario puede tener que volver a activar completamente el sistema informático antes de realizar cualquier comando gestual posterior.
[0104] La FIG. 8 es un diagrama de flujo 800 que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar un retorno de una extremidad de usuario dentro de una región y proporcionar retroalimentación al usuario de acuerdo con los modos de realización de la presente invención. El procedimiento se realiza mediante lógica de procesamiento, tal como el procesador 1404 (véase la FIG. 14) que comprende hardware (circuitos, lógica dedicada, etc.), software (tal como se ejecuta en un sistema informático de propósito general o una máquina dedicada), firmware (software incorporado), o cualquier combinación de los mismos. En un modo de realización, el procedimiento lo realiza el dispositivo 1400 de la FIG.
14. El software que se ejecuta en el sistema informático puede comprender un sistema operativo 1414 y aplicaciones 1416, almacenadas en la memoria de trabajo 1418 o en el dispositivo de almacenamiento 1406.
[0105] Los modos de realización de la invención descritos en el presente documento pueden realizarse obteniendo una pluralidad de imágenes posteriores de la mano del usuario usando un sensor de imágenes acoplado de manera comunicativa al sistema informático. Una o más cámaras 1420 y otros dispositivos de entrada 1408 descritos en la FIG. 14 pueden emplearse para detectar las imágenes. En el bloque 802, el sistema procede a analizar imágenes obtenidas para detectar la mano de un usuario. En el bloque 804, el sistema informático detecta una postura de mano y que la mano del usuario está firme en la postura de mano en una ubicación durante un período de tiempo predefinido analizando la pluralidad de imágenes. En el bloque 806, el procedimiento realizado por el sistema informático puede proporcionar retroalimentación al usuario de que el sistema está activado, por ejemplo usando el dispositivo de salida 1410. En el bloque 808, el sistema informático detecta y realiza el seguimiento del gesto que comienza en la ubicación analizando imágenes posteriores. En el bloque 810, el sistema informático responde al gesto detectado. En el bloque 812, el sistema informático espera y detecta que la mano del usuario está volviendo a la ubicación y la postura de mano por parte del usuario analizando imágenes posteriores. En el bloque 806, el sistema informático puede proporcionar información adicional de que el sistema se vuelve a activar para realizar de nuevo un seguimiento. Si se detecta el retorno de la mano del usuario y la postura de mano, el sistema informático realiza un seguimiento de (en el bloque 808) y responde a (en el bloque 810) el gesto que comienza en la ubicación original analizando imágenes posteriores. Puede apreciarse que el bloque 804 se puede omitir en el sistema que continúa realizando un seguimiento del gesto (bloque 806).
[0106] Si el sistema informático no detecta que la mano del usuario vuelve a la ubicación ni la postura de mano en el bloque 812, el procedimiento puede finalizar y el seguimiento de gestos ya no puede continuar. Entonces el usuario puede tener que volver a activar completamente el sistema informático antes de realizar cualquier comando gestual posterior.
[0107] La FIG. 9 es un diagrama de flujo 900 que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de un gesto sucesivo al detectar un retorno de una extremidad de usuario firme dentro de una región y proporcionar retroalimentación al usuario de acuerdo con los modos de realización de la presente invención, por ejemplo usando el dispositivo de salida 1410. El procedimiento se realiza mediante lógica de procesamiento, tal como el procesador 1404 (véase la FIG. 14) que comprende hardware (circuitos, lógica dedicada, etc.), software (tal como se ejecuta en un sistema informático de propósito general o una máquina dedicada), firmware (software incorporado), o cualquier combinación de los mismos. En un modo de realización, el procedimiento lo realiza el dispositivo 1400 de la FIG. 14. El software que se ejecuta en el sistema informático puede comprender un sistema operativo 1414 y aplicaciones 1416, almacenadas en la memoria de trabajo 1418 o en el dispositivo de almacenamiento 1406.
[0108] Los modos de realización de la invención descritos en el presente documento pueden realizarse obteniendo una pluralidad de imágenes posteriores de la mano del usuario usando un sensor de imágenes acoplado de manera comunicativa al sistema informático. Una o más cámaras 1420 y otros dispositivos de entrada 1408 descritos en la FIG. 14 pueden emplearse para detectar las imágenes. En el bloque 902, el sistema procede a analizar imágenes obtenidas para la detección de la mano de un usuario, por ejemplo, imágenes obtenidas usando la cámara 1420 y/o el dispositivo de entrada 1408. En el bloque 904, el sistema informático detecta una postura de mano y que la mano del usuario está firme en una ubicación durante un primer período de tiempo predefinido analizando la pluralidad de imágenes. En el bloque 906, el procedimiento realizado por el sistema informático puede proporcionar retroalimentación al usuario de que el sistema está activado. En el bloque 908, el sistema informático detecta y realiza el seguimiento del gesto que comienza en la ubicación analizando imágenes posteriores. En el bloque 910, el sistema informático responde al gesto detectado. En el bloque 912, el sistema informático espera y detecta que la mano del usuario vuelve a la ubicación y la postura de mano analizando imágenes posteriores. Si se detecta la mano del usuario y la postura de mano, el sistema informático espera durante un segundo período de tiempo predefinido adicional para garantizar la firmeza de la postura de mano, en el bloque 914, antes de realizar un seguimiento de (en el bloque 908) y de responder a (en el bloque 910) el gesto que comienza en la ubicación original analizando imágenes posteriores. El segundo período de tiempo predeterminado puede ser más corto que el primer período de tiempo predeterminado. Esto es un ejemplo de que la segunda condición es menos estricta que la primera condición. Antes de volver a realizar un seguimiento y responder, en el bloque 906, el sistema informático puede proporcionar retroalimentación al usuario acerca de que el sistema de seguimiento está nuevamente en modo gestual, por ejemplo usando el dispositivo de salida 1410. Puede apreciarse que el bloque 904 se puede omitir en el sistema proporcionando retroalimentación al usuario (bloque 906).
[0109] Si el sistema informático no detecta la firmeza de la postura de mano en el bloque 914, por ejemplo dentro de un período de tiempo umbral, el procedimiento puede finalizar y el seguimiento de gestos ya no puede continuar. Entonces el usuario puede tener que volver a activar completamente el sistema informático antes de realizar cualquier comando gestual posterior.
[0110] La FIG. 10 es un diagrama de flujo 1000 que ilustra un modo de realización ejemplar de la invención para realizar un seguimiento de gestos sucesivos y detectar un cambio en la dirección del gesto de acuerdo con los modos de realización de la presente invención. El procedimiento se realiza mediante lógica de procesamiento, tal como el procesador 1404 (véase la FIG. 14) que comprende hardware (circuitos, lógica dedicada, etc.), software (tal como se ejecuta en un sistema informático de propósito general o una máquina dedicada), firmware (software incorporado), o cualquier combinación de los mismos. En un modo de realización, el procedimiento lo realiza el dispositivo 1400 de la FIG. 14. El software que se ejecuta en el sistema informático puede comprender un sistema operativo 1414 y aplicaciones 1416, almacenadas en la memoria de trabajo 1418 o en el dispositivo de almacenamiento 1406.
[0111] En el bloque 1002, el sistema informático comienza a supervisar la mano de un usuario. En el bloque 1004, el procedimiento realizado por el sistema informático espera y determina si la mano de un usuario está firme y está en una ubicación durante un período de tiempo predefinido. En el bloque 1006, el procedimiento realizado por el sistema informático realiza un seguimiento de un gesto que comienza desde la ubicación en la que se detecta la mano del usuario. En el bloque 1008, el procedimiento realizado por el sistema informático responde al gesto. La respuesta al gesto puede ser externamente visible, tal como una representación de pasar páginas de libros, o puede ser un disparador interno para realizar una tarea por parte del sistema informático. En el bloque 1010, el procedimiento realizado por el sistema informático espera durante al menos un retorno parcial de la mano del usuario a la ubicación en la que se detectó originalmente la mano del usuario. En el bloque 1012, el sistema informático detecta un cambio de dirección lejos de la ubicación inicial sin que la mano llegue a la ubicación inicial. En un modo de realización, el sistema informático detecta este retorno parcial de la mano del usuario como la intención del usuario de volver a activar el modo gestual. Por lo tanto, el sistema informático vuelve a activar el modo gestual y comienza a realizar un seguimiento nuevamente en el bloque 1006. Por lo tanto, el modo gestual puede volver a activarse incluso cuando el usuario no regrese completamente a la posición inicial en función de un cambio en la dirección de un objeto de control.
[0112] En un modo de realización alternativo, después del bloque 1006, una mano puede perderse cuando un elemento de seguimiento de gestos no puede realizar un seguimiento de una mano durante la totalidad del recorrido de movimiento de un gesto. Por ejemplo, un movimiento de la mano puede salir del campo de visión de un sensor, o una postura y orientación de la mano pueden cambiar significativamente de apariencia para el sensor, lo que hace que un elemento de seguimiento de manos ya no sea capaz de realizar un seguimiento de la ubicación de una mano. Un recorrido de movimiento parcial puede clasificarse como un gesto si se observa una parte de un gesto inmediatamente antes de que se pierda la mano. En el bloque 1008, el procedimiento realizado por el sistema informático responde al gesto. La respuesta al gesto puede ser externamente visible, tal como una representación de pasar páginas de libros, o puede ser un disparador interno para realizar una tarea por parte del sistema informático. En el bloque 1010, el procedimiento realizado por el sistema informático espera a que un elemento de seguimiento detecte nuevamente una mano dentro de un período de tiempo predefinido desde el momento más reciente en que se perdió la mano. En un modo de realización, el sistema informático determina que esta nueva detección de la mano del usuario es una intención del usuario de volver a activar el modo gestual. Por ejemplo, volver a detectar una mano puede requerir que una mano regrese al campo de visión de un sensor, o que una postura y orientación de mano regrese a una postura y orientación similares a la postura y orientación originales, lo que puede implicar una intención del usuario de volver a activar el modo gestual. Por lo tanto, el sistema informático vuelve a activar el modo gestual y comienza a realizar un seguimiento nuevamente en el bloque 1006. Puede apreciarse que el bloque 1004 se puede omitir en el sistema prosiguiendo con el seguimiento del gesto (bloque 1006).
[0113] Los modos de realización de la invención descritos anteriormente pueden realizarse obteniendo una pluralidad de imágenes posteriores de la mano del usuario usando un sensor de imágenes acoplado de manera comunicativa al sistema informático. Una o más cámaras 1420 y otros dispositivos de entrada 1408 descritos en la FIG. 14 pueden emplearse para detectar las imágenes. En el bloque 1002, el sistema procede a analizar imágenes obtenidas para detectar la mano de un usuario. En el bloque 1004, el sistema informático detecta que la mano del usuario está firme y se encuentra en una ubicación durante un período de tiempo predefinido analizando la pluralidad de imágenes. En el bloque 1006, el sistema informático detecta y realiza el seguimiento del gesto que comienza en la ubicación analizando imágenes posteriores. En el bloque 1008, el sistema informático responde al gesto detectado. En el bloque 1010, el sistema informático espera y detecta que la mano del usuario vuelve parcialmente a la ubicación mediante el análisis de imágenes posteriores. En el bloque 1012, el sistema informático detecta un cambio en la dirección de la mano del usuario lejos de la ubicación inicial analizando una pluralidad de imágenes. En un modo de realización, el sistema informático detecta este retorno parcial de la mano del usuario como una intención del usuario de volver a activar el modo gestual. Por lo tanto, el sistema informático vuelve a activar el modo gestual y comienza a realizar un seguimiento nuevamente en el bloque 1006.
[0114] Si el sistema informático no detecta un cambio de dirección en el bloque 1012, por ejemplo dentro de un período de tiempo umbral, el procedimiento puede finalizar y el seguimiento de gestos ya no puede continuar. Entonces el usuario puede tener que volver a activar completamente el sistema informático antes de realizar cualquier comando gestual posterior.
[0115] La FIG. 11 ilustra la entrada en un modo de funcionamiento de gestos y la reentrada en un modo de funcionamiento de gestos de acuerdo con los modos de realización de la presente invención. Un usuario puede realizar un gesto de usuario para mantener un gesto 1100 (por ejemplo, postura de mano) durante un primer período de tiempo predeterminado 1101 para cumplir las condiciones de entrar en un modo de funcionamiento gestual 1102, como se describe anteriormente. El usuario puede realizar entonces gestos o posturas 1103 y abandonar el área de seguimiento o salir de otro modo del modo de funcionamiento gestual, por ejemplo completando un comando predeterminado. Después, el usuario puede restablecer la postura de mano 1104 y mantener esa postura durante un segundo período de tiempo predeterminado 1105 que es menor que el primer período de tiempo y el sistema informático puede entrar nuevamente en el modo de funcionamiento gestual 1102. Al volver a entrar en el modo de funcionamiento gestual, el sistema informático no necesita establecer un modo de funcionamiento gestual basándose en la primera condición. Por ejemplo, el sistema informático no necesita realizar el proceso completo de darse cuenta de que el usuario desea realizar un gesto ya que el usuario ya ha invocado el modo de funcionamiento gestual. El ordenador puede simplemente reconocer el gesto o postura durante un segundo período de tiempo predeterminado menor que el primer período de tiempo predeterminado y volver a entrar en el modo de funcionamiento gestual. Es decir, no es necesario completar la detección total y/o la activación de gestos total ya que se completó antes.
[0116] Las FIGS. 12A-12C ilustran la entrada en un modo de funcionamiento de gestos y la reentrada en un modo de funcionamiento de gestos de acuerdo con los modos de realización de la presente invención. La FIG.
12A muestra un dispositivo móvil 1202, por ejemplo, un teléfono inteligente, capaz de detectar, reconocer y responder a las entradas de gestos 1100 de un usuario. Los gestos 1100 pueden ser detectados y reconocidos por una cámara 1420 y una lógica de procesamiento adicional interna del dispositivo móvil 1202. Un gesto 1100 puede reconocerse cuando se presenta dentro de una primera región 1204 mostrada en el dispositivo móvil 1202. En algunos modos de realización, el gesto 1100 puede tener que reconocerse dentro de la primera región 1204 durante un período de tiempo predeterminado. Después del período de tiempo predeterminado, el dispositivo móvil 1202 puede entrar en un modo de seguimiento de gestos y/o un modo de comandos. Mientras está en el modo de seguimiento de gestos, el dispositivo móvil 1202 puede seguir los gestos 1100 realizados por un usuario. Mientras está en el modo de comandos, el dispositivo móvil 1202 puede ejecutar comandos de sistema en función de los gestos 1100. Puede apreciarse que este ejemplo representa un gesto usando una mano; sin embargo, se pueden emplear otros gestos, tales como los descritos anteriormente.
[0117] La FIG. 12B muestra que el gesto 1100 ya no está dentro de la primera región 1204. Por ejemplo, si un usuario mueve su mano fuera de la primera región para detectar y reconocer gestos, el dispositivo móvil 1202 puede salir del modo de seguimiento de gestos y del modo de comandos. El dispositivo móvil 1202 ya no puede responder a ningún gesto 1100 a menos que el dispositivo móvil 1202 vuelva a entrar en el modo de seguimiento de gestos y el modo de comandos.
[0118] La FIG. 12C muestra el gesto 1100 dentro de una segunda región 1206. En este modo de realización particular, la segunda región 1206 es más grande que la primera región 1204. Al detectar el gesto 1100 dentro de la segunda región 1206, el dispositivo móvil 1202 puede volver a entrar en el modo de seguimiento de gestos y el modo de comandos. En algunos modos de realización, el gesto 1100 puede tener que reconocerse dentro de la segunda región 1206 durante un período de tiempo predeterminado antes de que el dispositivo móvil 1202 vuelva a entrar en el modo de seguimiento de gestos y el modo de comandos. En algunos modos de realización, el período de tiempo predeterminado para volver a entrar en el modo de seguimiento de gestos y el modo de comandos puede ser inferior al período de tiempo predeterminado para entrar en el modo de seguimiento de gestos y el modo de comandos.
[0119] Puesto que el dispositivo móvil 1202 detectó el gesto 1100 durante un período de tiempo predeterminado y dentro de la primera región 1204 en la FIG. 12A, el dispositivo móvil 1202 puede no requerir, después de salir del modo de seguimiento de gestos y del modo de comandos, un proceso de detección completo para volver a entrar en el modo de seguimiento de gestos y el modo de comandos. En algunos modos de realización puede haber un período de tiempo de espera predefinido que define por cuánto tiempo un usuario puede volver a entrar en el modo de seguimiento de gestos antes de tener que realizar de nuevo el proceso de detección completo. De este modo, la segunda región 1206 puede ser más grande que la primera región 1204 porque es más probable que un gesto 1100 dentro de la segunda región más grande 1206 sea de hecho un gesto 1100 y no una entrada accidental por parte de un usuario. De forma similar, por la misma razón, el período de tiempo predeterminado para volver a entrar en el modo de seguimiento de gestos y el modo de comandos puede ser menor que el período de tiempo predeterminado para entrar inicialmente en el modo de seguimiento de gestos y el modo de comandos.
[0120] Las FIGS. 13A-13B ilustran indicaciones 1308, 1310 que se muestran a un usuario cuando entra en un modo de funcionamiento de gestos y vuelve a entrar en un modo de funcionamiento de gestos de acuerdo con los modos de realización de la presente invención. La FIG. 13A ilustra una indicación de activación de gestos 1308 que se muestra a un usuario cuando entra en un modo de seguimiento de gestos y/o un modo de comandos. Como se describe anteriormente, un usuario puede realizar un gesto 1100 en una primera región 1204 para entrar en un modo de seguimiento de gestos y/o un modo de funcionamiento de comandos en el dispositivo móvil 1202. En algunos modos de realización se puede mostrar una representación de una mano o gesto 1100 en un dispositivo de visualización, por ejemplo, el dispositivo de salida 1410, para indicar al usuario la ubicación en la que el usuario está realizando el gesto. Sin embargo, antes de realizar el gesto 1100, el dispositivo móvil 1202 puede mostrar una indicación de activación de gestos 1308 al usuario que indica que el dispositivo móvil 1202 está listo para detectar un gesto inicial de activación para entrar en el modo de funcionamiento de gestos. Por ejemplo, el dispositivo móvil 1202 puede mostrar una indicación de activación de gestos 1308 que dice "Coloque su mano en el área designada para entrar en el modo de control de gestos". Una vez que se muestra la indicación, el usuario puede realizar entonces un gesto 1100 en la primera región 1204 durante un período de tiempo predeterminado para que el dispositivo móvil 1202 entre en el modo de seguimiento de gestos y/o el modo de comandos. En algunos modos de realización, al entrar en el modo de seguimiento de gestos y/o el modo de comandos, el dispositivo móvil 1202 puede mostrar una indicación que señala que se ha entrado en el modo de seguimiento de gestos y/o el modo de comandos.
[0121] La FIG. 13A ilustra una indicación de reactivación de gestos 1310 que se muestra a un usuario cuando vuelve a entrar en un modo de seguimiento de gestos y/o un modo de comandos. Como se describió anteriormente, después de activar inicialmente un modo de funcionamiento de gestos y/o un modo de comandos con el dispositivo móvil 1202 y posteriormente desactivar el modo de funcionamiento de gestos y/o el modo de comandos, un usuario puede volver a activar el modo de seguimiento de gestos y/o el modo de comandos realizando un gesto 1100 en una segunda región 1206 del dispositivo móvil 1202. Después de realizar el gesto 1100 para la reactivación, el dispositivo móvil 1202 puede mostrar una indicación de reactivación de gestos 1310 al usuario que indica que el dispositivo móvil 1202 ha vuelto a activar el modo de seguimiento de gestos y/o el modo de comandos. Por ejemplo, el dispositivo móvil 1202 puede mostrar una indicación de reactivación de gestos 1310 que dice "Se ha vuelto a activar el modo de control de gestos".
[0122] Todos los modos de realización descritos anteriormente se pueden poner en práctica en sistemas tales como un sistema informático.
[0123] La FIG. 14 ilustra un sistema informático ejemplar que incorpora partes del dispositivo empleado en la puesta en práctica de los modos de realización de la invención de acuerdo con modos de realización de la presente invención. Un sistema informático como se ilustra en la FIG. 14 puede incorporarse como parte del dispositivo informatizado descrito anteriormente. Por ejemplo, el sistema informático 1400 puede representar algunos de los componentes de un televisor, un dispositivo móvil, un servidor, un ordenador de escritorio, una estación de trabajo, un sistema de control o interacción en un automóvil, una tableta, un netbook o cualquier otro sistema informático adecuado. Un dispositivo móvil puede ser cualquier dispositivo informático con un dispositivo de captura de imágenes o unidad sensorial de entrada y un dispositivo de salida de usuario. Un dispositivo de captura de imágenes o unidad sensorial de entrada puede ser un dispositivo de cámara. Un dispositivo de salida de usuario puede ser una unidad de visualización. Ejemplos de un dispositivo manual incluyen, pero no están limitados a, consolas de videojuegos, tabletas, teléfonos inteligentes y cualquier otro dispositivo móvil. La FIG. 14 proporciona una ilustración esquemática de un modo de realización de un sistema informático 1400 que puede llevar a cabo los procedimientos proporcionados por otros diversos modos de realización, como se describe en el presente documento, y/o que puede funcionar como el sistema informático central, un quiosco/terminal remoto, un dispositivo de punto de venta, una interfaz telefónica o de navegación o multimedia en un automóvil, un dispositivo móvil, un descodificador, un ordenador de mesa y/o un sistema informático. La FIG. 14 está destinada solo a proporcionar una ilustración general de diversos componentes, donde algunos de o todos ellos pueden utilizarse según corresponda. La FIG. 14, por lo tanto, ilustra en términos generales cómo elementos de sistema individuales pueden implementarse de manera relativamente independiente o relativamente más integrada. En algunos modos de realización, el dispositivo 1400 puede usarse para implementar el dispositivo móvil 1202.
[0124] El sistema informático 1400 se muestra comprendiendo elementos de hardware que pueden acoplarse eléctricamente por medio de un bus 1402 (o que pueden comunicarse de otro modo, según sea apropiado). Los elementos de hardware pueden incluir uno o más procesadores 1404, incluyendo, sin limitación, uno o más procesadores de propósito general y/o uno o más procesadores de propósito específico (tales como chips de procesamiento de señales digitales, procesadores de aceleración de gráficos y/o similares); uno o más dispositivos de entrada 1408, que pueden incluir sin limitación una o más cámaras, sensores, un ratón, un teclado, un micrófono configurado para detectar ultrasonidos u otros sonidos, y/o similares; y uno o más dispositivos de salida 1410, que pueden incluir sin limitación una unidad de visualización, tal como el dispositivo usado en los modos de realización de la invención, una impresora y/o similares. Se pueden emplear cámaras adicionales 1420 para la detección de extremidades y gestos del usuario. En algunas implementaciones, los dispositivos de entrada 1408 pueden incluir uno o más sensores tales como sensores infrarrojos, de profundidad y/o de ultrasonidos.
[0125] En algunas implementaciones de los modos de realización de la invención, diversos dispositivos de entrada 1408 y dispositivos de salida 1410 pueden integrarse en interfaces tales como dispositivos de visualización y pantallas en mesas, suelos, paredes y ventanas. Además, los dispositivos de entrada 1408 y los dispositivos de salida 1410 acoplados a los procesadores pueden formar sistemas de seguimiento multidimensionales.
[0126] El sistema informático 1400 puede incluir además (y/o puede estar en comunicación con) uno o más dispositivos de almacenamiento no transitorios 1406 que pueden comprender, sin limitación, medios de almacenamiento locales y/o accesibles por red, y/o puede incluir, sin limitación, una unidad de disco, una disposición de unidades, un dispositivo de almacenamiento óptico, un dispositivo de almacenamiento de estado sólido tal como una memoria de acceso aleatorio ("RAM") y/o una memoria de solo lectura ("ROM"), que puede ser programable, actualizarse de manera inmediata y/o similares. Dichos dispositivos de almacenamiento pueden estar configurados para implementar cualquier almacenamiento de datos adecuado, incluyendo, sin limitación, varios sistemas de archivos, estructuras de bases de datos y/o similares.
[0127] El sistema informático 1400 también puede incluir un subsistema de comunicaciones 1412, que puede incluir, sin limitación, un módem, una tarjeta de red (inalámbrica o cableada), un dispositivo de comunicación por infrarrojos, un dispositivo de comunicaciones inalámbricas y/o un conjunto de chips (tal como un dispositivo Bluetooth™, un dispositivo 802.11, un dispositivo WiFi, un dispositivo WiMax, componentes de comunicación celular, etc.) y/o similares. El subsistema de comunicaciones 1412 puede permitir el intercambio de datos con una red, otros sistemas informáticos y/o cualquier otro dispositivo descrito en el presente documento. En muchos modos de realización, el sistema informático 1400 comprenderá además una memoria de trabajo no transitoria 1418, que puede incluir un dispositivo RAM o ROM, como los descritos anteriormente.
[0128] El sistema informático 1400 también puede comprender elementos de software, mostrados dentro de la memoria de trabajo 1418, que incluyen un sistema operativo 1414, controladores de dispositivo, librerías ejecutables y/u otro código, tal como uno o más programas de aplicación 1416, que pueden comprender programas informáticos proporcionados por diversos modos de realización, y/o que pueden estar diseñados para implementar procedimientos y/o configurar sistemas, proporcionados por otros modos de realización, como los descritos en el presente documento. Simplemente a modo de ejemplo, uno o más procedimientos descritos con respecto al (a los) procedimiento(s) analizado(s) anteriormente podrían implementarse como código y/o instrucciones ejecutables por un ordenador (y/o un procesador dentro de un ordenador); , entonces, en un aspecto, dichos código y/o instrucciones pueden usarse para configurar y/o adaptar un ordenador de propósito general (u otro dispositivo) para realizar una o más operaciones de acuerdo con los procedimientos descritos.
[0129] Un conjunto de estas instrucciones y/o código puede almacenarse en un medio de almacenamiento legible por ordenador, tal como el (los) dispositivo(s) de almacenamiento 1406 descrito(s) anteriormente. En algunos casos, el medio de almacenamiento puede estar incorporado en un sistema informático, tal como el sistema informático 1400. En otros modos de realización, el medio de almacenamiento puede ser independiente de un sistema informático (por ejemplo, un medio extraíble, tal como un disco compacto) y/o proporcionarse en un paquete de instalación, de modo que el medio de almacenamiento puede usarse para programar, configurar y/o adaptar un ordenador de propósito general con las instrucciones/código almacenados en el mismo. Estas instrucciones pueden tomar la forma de un código ejecutable, que puede ejecutarse por el sistema informático 1400 y/o puede tomar la forma de un código fuente y/o instalable que, tras la compilación y/o instalación en el sistema informático 1400 (por ejemplo, usando cualquiera de una variedad de compiladores, programas de instalación, componentes de compresión/descompresión, etc. generalmente disponibles) toma la forma de un código ejecutable.
[0130] Pueden realizarse variaciones significativas de acuerdo con requisitos específicos. Por ejemplo, también podría usarse hardware personalizado, y/o elementos particulares podrían implementarse en hardware, software (incluyendo software portátil, tal como applets, etc.) o en ambos. Además, puede utilizarse una conexión con otros dispositivos informáticos, tales como dispositivos de red de entrada/salida. En algunos modos de realización, uno o más elementos del sistema informático 1400 pueden omitirse o pueden implementarse por separado del sistema ilustrado. Por ejemplo, el procesador 1404 y/u otros elementos pueden implementarse por separado del dispositivo de entrada 1408. En un modo de realización, el procesador está configurado para recibir imágenes desde una o más cámaras que se implementan por separado. En algunos modos de realización, elementos además de los ilustrados en la FIG. 14 pueden incluirse en el sistema informático 1400.
[0131] Algunos modos de realización pueden emplear un sistema informático (tal como el sistema informático 1400) para llevar a cabo procedimientos de acuerdo con la divulgación. Por ejemplo, algunas o todas las metodologías de los procedimientos descritos pueden llevarse a cabo mediante el sistema informático 1400 como respuesta a que el procesador 1404 ejecute una o más secuencias de una o más instrucciones (que pueden incorporarse en el sistema operativo 1414 y/u otro código, tal como un programa de aplicación 1416) incluidas en la memoria de trabajo 1418. Dichas instrucciones pueden introducirse en la memoria de trabajo 1418 desde otro medio legible por ordenador, tal como uno o más de los dispositivos de almacenamiento 1406. Simplemente a modo de ejemplo, la ejecución de las secuencias de instrucciones contenidas en la memoria de trabajo 1418 podrían causar que el (los) procesador(es) 1404 realice(n) uno o más procesos de los procedimientos descritos en el presente documento.
[0132] Los términos "medio legible por máquina" y "medio legible por ordenador", tal como se usan en el presente documento, se refieren a cualquier medio que proporciona datos que hacen que una máquina funcione de manera específica. En algunos modos de realización implementados usando el sistema informático 1400, diversos medios legibles por ordenador pueden utilizarse para proporcionar instrucciones/código a uno/varios procesador(es) 1404 para su ejecución y/o pueden usarse para almacenar y/o transportar tales instrucciones/código (por ejemplo, como señales). En muchas implementaciones, un medio legible por ordenador es un medio de almacenamiento físico y/o tangible. Un medio de este tipo puede adoptar muchas formas, incluyendo pero sin limitarse a, medios no volátiles, medios volátiles y medios de transmisión. Los medios no volátiles incluyen, por ejemplo, discos ópticos y/o magnéticos, tales como el/los dispositivo(s) de almacenamiento 1406. Los medios volátiles incluyen, sin limitación, memoria dinámica, tal como la memoria de trabajo 1418. Los medios de transmisión incluyen, sin limitación, cables coaxiales, cable de cobre y fibra óptica, incluyendo los cables que comprenden el bus 1402, así como los diversos componentes del subsistema de comunicaciones 1412 (y/o los medios mediante los cuales el subsistema de comunicaciones 1412 proporciona comunicación con otros dispositivos). Por tanto, los medios de transmisión también pueden adoptar la forma de ondas (incluyendo, sin limitación, ondas de radio, acústicas y/o de luz, tales como las generadas durante comunicaciones de datos por ondas de radio y por infrarrojos).
[0133] Las formas comunes de medios legibles por ordenador físicos y/o tangibles incluyen, por ejemplo, un disquete, un disco flexible, un disco duro, cinta magnética o cualquier otro medio magnético, un CD-ROM, cualquier otro medio óptico, tarjetas perforadas, cinta de papel, cualquier otro medio físico con patrones de agujeros, una RAM, una PROM, una EPROM, una FLASH-EPROM, cualquier otro chip o cartucho de memoria, una onda portadora como se describe a continuación en el presente documento, o cualquier otro medio desde el cual un ordenador pueda leer instrucciones y/o código.
[0134] Diversas formas de medios legibles por ordenador pueden utilizarse para transportar una o más secuencias de una o más instrucciones al (a los) procesador(es) 1404 para su ejecución. Simplemente a modo de ejemplo, las instrucciones pueden transportarse inicialmente en un disco magnético y/o disco óptico de un ordenador remoto. Un ordenador remoto podría cargar las instrucciones en su memoria dinámica y enviar las instrucciones como señales a través de un medio de transmisión para ser recibidas y/o ejecutadas por el sistema informático 1400. Estas señales, que podrían estar en forma de señales electromagnéticas, señales acústicas, señales ópticas y/o similares, son todas ejemplos de ondas portadoras en las que pueden codificarse instrucciones, de acuerdo con diversos modos de realización de la invención.
[0135] El subsistema de comunicaciones 1412 (y/o sus componentes) generalmente recibirá las señales, y el bus 1402 entonces podría transportar las señales (y/o los datos, instrucciones, etc. transportados por las señales) a la memoria de trabajo 1418, desde la cual el/los procesador(es) 1404 recupera(n) y ejecuta(n) las instrucciones. Las instrucciones recibidas por la memoria de trabajo 1418 pueden almacenarse opcionalmente en un dispositivo de almacenamiento no transitorio 1406, bien antes o bien después de su ejecución por el/los procesador(es) 1404.
[0136] Los procedimientos, sistemas y dispositivos analizados anteriormente son ejemplos. Diversos modos de realización pueden omitir, sustituir o añadir diversos procedimientos o componentes según convenga. Por ejemplo, en configuraciones alternativas, los procedimientos descritos pueden realizarse en un orden diferente al descrito, y/o pueden añadirse, omitirse y/o combinarse diversas etapas. Además, las características descritas con respecto a determinados modos de realización se pueden combinar en otros diversos modos de realización. Se pueden combinar diferentes aspectos y elementos de los modos de realización de una manera similar. Además, la tecnología evoluciona y, por lo tanto, muchos de los elementos son ejemplos que no limitan el alcance de la divulgación a esos ejemplos específicos.
[0137] Los detalles específicos se proporcionan en la descripción para proporcionar un entendimiento exhaustivo de los modos de realización. Sin embargo, los modos de realización pueden ponerse en práctica sin estos detalles específicos. Por ejemplo, se han mostrado circuitos, procesos, algoritmos, estructuras y técnicas bien conocidos sin detalles innecesarios para evitar oscurecer los modos de realización. Esta descripción solo proporciona ejemplos de modos de realización y no pretende limitar el alcance, la aplicabilidad o la configuración de la invención. Más bien, la descripción anterior de los modos de realización proporcionará a los expertos en la técnica una descripción que permite implementar modos de realización de la invención. Se pueden realizar diversos cambios en la función y en la disposición de los elementos sin apartarse del alcance de la invención.
[0138] Además, algunos modos de realización se han descrito como procesos representados como diagramas de flujo o diagramas de bloques. Aunque cada uno puede describir las operaciones como un proceso secuencial, muchas de las operaciones se pueden realizar en paralelo o simultáneamente. Además, el orden de las operaciones se puede reorganizar. Un proceso puede tener etapas adicionales no incluidas en las figuras. Además, los modos de realización de los procedimientos pueden implementarse mediante hardware, software, firmware, middleware, microcódigo, lenguajes de descripción de hardware o cualquier combinación de los mismos. Cuando se implementan en software, firmware, middleware o microcódigo, el código de programa o segmentos de código para realizar las tareas asociadas pueden almacenarse en un medio legible por ordenador, tal como un medio de almacenamiento. Los procesadores pueden realizar las tareas asociadas. Por lo tanto, en la descripción anterior, las funciones o procedimientos que se describen como realizados por el sistema informático pueden ser realizados por un procesador, por ejemplo, el procesador 1404 configurado para realizar las funciones o procedimientos. Además, dichas funciones o procedimientos pueden ser realizados por un procesador que ejecuta instrucciones almacenadas en uno o más medios legibles por ordenador.
[0139] Los procedimientos, sistemas y dispositivos analizados anteriormente son ejemplos. Diversos modos de realización pueden omitir, sustituir o añadir diversos procedimientos o componentes según convenga. Por ejemplo, en configuraciones alternativas, los procedimientos descritos pueden realizarse en un orden diferente al descrito, y/o pueden añadirse, omitirse y/o combinarse diversas etapas. Además, las características descritas con respecto a determinados modos de realización se pueden combinar en otros diversos modos de realización. Se pueden combinar diferentes aspectos y elementos de los modos de realización de una manera similar. Además, la tecnología evoluciona y, por lo tanto, muchos de los elementos son ejemplos que no limitan el alcance de la divulgación a esos ejemplos específicos.
[0140] Los detalles específicos se proporcionan en la descripción para proporcionar un entendimiento exhaustivo de los modos de realización. Sin embargo, los modos de realización pueden ponerse en práctica sin estos detalles específicos. Por ejemplo, se han mostrado circuitos, procesos, algoritmos, estructuras y técnicas bien conocidos sin detalles innecesarios para evitar oscurecer los modos de realización. Esta descripción solo proporciona ejemplos de modos de realización y no pretende limitar el alcance, la aplicabilidad o la configuración de la invención. Más bien, la descripción anterior de los modos de realización proporcionará a los expertos en la técnica una descripción que permite implementar modos de realización de la invención. Se pueden realizar diversos cambios en la función y en la disposición de los elementos sin apartarse del alcance de la invención.
[0141] Además, algunos modos de realización se han descrito como procesos representados como diagramas de flujo o diagramas de bloques. Aunque cada uno puede describir las operaciones como un proceso secuencial, muchas de las operaciones se pueden realizar en paralelo o simultáneamente. Además, el orden de las operaciones se puede reorganizar. Un proceso puede tener etapas adicionales no incluidas en la figura. Además, los modos de realización de los procedimientos pueden implementarse mediante hardware, software, firmware, middleware, microcódigo, lenguajes de descripción de hardware o cualquier combinación de los mismos. Cuando se implementan en software, firmware, middleware o microcódigo, el código de programa o segmentos de código para realizar las tareas asociadas pueden almacenarse en un medio legible por ordenador, tal como un medio de almacenamiento. Los procesadores pueden realizar las tareas asociadas.
[0142] Se han descrito diversos ejemplos. Estos y otros ejemplos están dentro del alcance de las siguientes reivindicaciones.

Claims (11)

REIVINDICACIONES
1. Un procedimiento para el control de gestos en un dispositivo de comunicación móvil (1202), que comprende:
detectar (104) un primer gesto de usuario (1100) que cumple una primera condición para entrar en un modo de funcionamiento (1102) en el dispositivo de comunicación móvil (1202);
salir (108) del modo de funcionamiento (1102); y
detectar (110) un segundo gesto de usuario (1104) que cumple una segunda condición para volver a entrar en el modo de funcionamiento (1102); donde el primer gesto de usuario (1100) y el segundo gesto de usuario (1104) son realizados por una extremidad de usuario y donde la detección del primer gesto de usuario (1100) y la detección del segundo gesto de usuario (1104) se realizan sin que la extremidad de usuario toque el dispositivo de comunicación móvil (1202), donde la primera condición es detectar el primer gesto de usuario (1100) durante un primer período de tiempo (1101) y la segunda condición es detectar el segundo gesto de usuario (1104) durante un segundo período de tiempo (1105), donde el segundo período de tiempo (1105) es más corto que el primer período de tiempo (1101) o donde la primera condición es detectar el primer gesto de usuario (1100) dentro de una primera región (1204) y la segunda condición es detectar el segundo gesto de usuario (1104) dentro de una segunda región (1206), donde la segunda región (1206) es más grande o igual que la primera región (1204).
2. El procedimiento según la reivindicación 1, en el que el modo de funcionamiento (1102) es un modo de seguimiento de gestos que comprende el seguimiento del primer gesto de usuario (1100) o del segundo gesto de usuario (1104) durante un período de tiempo.
3. El procedimiento según la reivindicación 2, en el que el seguimiento del primer gesto de usuario (1100) o del segundo gesto de usuario (1104) comprende el uso de uno o más de entre un seguimiento mediante sensor de profundidad, un seguimiento mediante sensor 2D, un seguimiento de histograma y un seguimiento mediante sensor de ultrasonidos.
4. El procedimiento según la reivindicación 1, en el que el modo de funcionamiento (1102) es un modo de comandos que comprende ejecutar uno o más comandos.
5. El procedimiento según la reivindicación 1, en el que la detección del primer gesto de usuario (1100) o del segundo gesto de usuario (1104) comprende obtener una pluralidad de imágenes usando un sensor de imágenes.
6. El procedimiento según la reivindicación 1, en el que el primer y segundo gestos de usuario son gestos fijos o gestos dinámicos, donde los gestos fijos comprenden posturas estáticas predefinidas realizadas por la extremidad de usuario y los gestos dinámicos comprenden un movimiento o trayectoria predefinidos realizados por la extremidad de usuario.
7. El procedimiento según la reivindicación 1, en el que la detección del primer gesto de usuario (1100) comprende determinar si la extremidad de usuario está firme dentro de la primera región (1204) al detectar que cualquier movimiento asociado a la extremidad de usuario está por debajo de un umbral de movimiento predefinido en la primera región (1204) durante un período de tiempo.
8. El procedimiento según la reivindicación 1, en el que la primera condición es detectar el primer gesto de usuario (1100) con respecto a un primer nivel de confianza y en el que la segunda condición es detectar el segundo gesto de usuario (1104) con respecto a un segundo nivel de confianza, donde el segundo nivel de confianza es más bajo que el primer nivel de confianza.
9. El procedimiento según la reivindicación 1, que comprende además proporcionar retroalimentación que indica volver a entrar en el modo de funcionamiento (1102) en respuesta a la detección del segundo gesto de usuario (1104).
10. Un aparato para el control de gestos en un dispositivo de comunicación móvil (1202), que comprende:
medios para detectar (104) un primer gesto de usuario (1100) que cumple una primera condición para entrar en un modo de funcionamiento (1102) en el dispositivo de comunicación móvil (1202); medios para salir (108) del modo de funcionamiento (1102); y
medios para detectar (110) un segundo gesto de usuario (1104) que cumple una segunda condición para volver a entrar en el modo de funcionamiento (1102); donde el primer gesto de usuario (1100) y el segundo gesto de usuario (1104) son realizados por una extremidad de usuario y donde la detección del primer gesto de usuario (1100) y la detección del segundo gesto de usuario (1104) se realizan sin que la extremidad de usuario toque el dispositivo de comunicación móvil (1202), donde la primera condición es detectar el primer gesto de usuario (1100) durante un primer período de tiempo (1101) y la segunda condición es detectar el segundo gesto de usuario (1104) durante un segundo período de tiempo (1105), donde el segundo período de tiempo (1105) es más corto que el primer período de tiempo (1101) o donde la primera condición es detectar el primer gesto de usuario (1100) dentro de una primera región (1204) y la segunda condición es detectar el segundo gesto de usuario (1104) dentro de una segunda región (1206), donde la segunda región (1206) es más grande o igual que la primera región (1204).
11. Un medio legible por procesador que comprende instrucciones legibles por procesador configuradas para hacer que un procesador:
implemente el procedimiento según cualquiera de las reivindicaciones 1 a 9.
ES13721427T 2012-04-16 2013-04-02 Reactivación rápida de gestos Active ES2759786T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261624953P 2012-04-16 2012-04-16
US13/801,704 US9448635B2 (en) 2012-04-16 2013-03-13 Rapid gesture re-engagement
PCT/US2013/035000 WO2013158366A1 (en) 2012-04-16 2013-04-02 Rapid gesture re-engagement

Publications (1)

Publication Number Publication Date
ES2759786T3 true ES2759786T3 (es) 2020-05-12

Family

ID=49324635

Family Applications (1)

Application Number Title Priority Date Filing Date
ES13721427T Active ES2759786T3 (es) 2012-04-16 2013-04-02 Reactivación rápida de gestos

Country Status (7)

Country Link
US (1) US9448635B2 (es)
EP (1) EP2839357B1 (es)
KR (1) KR102230630B1 (es)
CN (1) CN104254817B (es)
ES (1) ES2759786T3 (es)
HU (1) HUE047064T2 (es)
WO (1) WO2013158366A1 (es)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US20140130116A1 (en) * 2012-11-05 2014-05-08 Microsoft Corporation Symbol gesture controls
US20140130090A1 (en) * 2012-11-05 2014-05-08 Microsoft Corporation Contextual gesture controls
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
CN103970260B (zh) * 2013-01-31 2017-06-06 华为技术有限公司 一种非接触式手势控制方法及电子终端设备
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR101534745B1 (ko) * 2013-12-31 2015-07-07 현대자동차 주식회사 제스처 인식 장치
US10845884B2 (en) * 2014-05-13 2020-11-24 Lenovo (Singapore) Pte. Ltd. Detecting inadvertent gesture controls
US9977505B2 (en) * 2014-06-06 2018-05-22 International Business Machines Corporation Controlling inadvertent inputs to a mobile device
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US9740924B1 (en) * 2014-09-26 2017-08-22 Amazon Technologies, Inc. Feature-based pose detection
EP3202623B1 (en) * 2014-10-03 2023-06-28 Kyocera Corporation Vehicle and steering unit
DE102014224898A1 (de) * 2014-12-04 2016-06-09 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
US10310624B2 (en) 2014-12-17 2019-06-04 Konica Minolta, Inc. Electronic apparatus, method for controlling electronic apparatus, and control program for the same
US10613637B2 (en) * 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
US11347316B2 (en) * 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
US9939908B2 (en) * 2015-09-28 2018-04-10 Paypal, Inc. Multi-device authentication
EP3168711A1 (en) * 2015-11-11 2017-05-17 ams AG Method, optical sensor arrangement and computer program product for passive optical motion detection
US10254845B2 (en) 2016-01-05 2019-04-09 Intel Corporation Hand gesture recognition for cursor control
EP3324270A1 (en) * 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment
KR20180070086A (ko) * 2016-12-16 2018-06-26 현대자동차주식회사 차량, 및 그 제어방법
US10354129B2 (en) * 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
US10838505B2 (en) * 2017-08-25 2020-11-17 Qualcomm Incorporated System and method for gesture recognition
EP3454177B1 (en) * 2017-09-11 2020-06-10 Barco N.V. Method and system for efficient gesture control of equipment
US11429192B2 (en) * 2018-06-05 2022-08-30 Google Llc Confidence-based application-specific user interactions
US20200012350A1 (en) * 2018-07-08 2020-01-09 Youspace, Inc. Systems and methods for refined gesture recognition
CN109840478B (zh) * 2019-01-04 2021-07-02 广东智媒云图科技股份有限公司 一种动作评估方法、装置、移动终端和可读存储介质
CN110297545B (zh) * 2019-07-01 2021-02-05 京东方科技集团股份有限公司 手势控制方法、手势控制装置和系统、以及存储介质
WO2022000149A1 (zh) * 2020-06-28 2022-01-06 华为技术有限公司 交互方法及电子设备
KR20230128562A (ko) * 2021-01-20 2023-09-05 애플 인크. 환경 내의 객체들과 상호작용하기 위한 방법
US20220283644A1 (en) * 2021-03-04 2022-09-08 Honda Motor Co., Ltd. Device and method for gesture based application control

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5360971A (en) 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US7180500B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US20070266345A1 (en) * 2006-05-15 2007-11-15 Eastman Kodak Company Method for driving display with reduced aging
CN101874404B (zh) 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20110102570A1 (en) 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
US8146020B2 (en) 2008-07-24 2012-03-27 Qualcomm Incorporated Enhanced detection of circular engagement gesture
KR100971501B1 (ko) * 2008-10-24 2010-07-21 주식회사 애트랩 접촉센서 장치
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
KR101564222B1 (ko) * 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
TW201112074A (en) * 2009-09-30 2011-04-01 Higgstec Inc Touch gesture detecting method of a touch panel
WO2011066343A2 (en) 2009-11-24 2011-06-03 Next Holdings Limited Methods and apparatus for gesture recognition mode control
WO2011130919A1 (en) * 2010-04-23 2011-10-27 Motorola Mobility, Inc. Electronic device and method using touch-detecting surface
JP2012003690A (ja) * 2010-06-21 2012-01-05 Toyota Infotechnology Center Co Ltd ユーザインタフェース装置
US9104306B2 (en) * 2010-10-29 2015-08-11 Avago Technologies General Ip (Singapore) Pte. Ltd. Translation of directional input to gesture
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
US8797283B2 (en) * 2010-11-22 2014-08-05 Sony Computer Entertainment America Llc Method and apparatus for performing user-defined macros
US20120169594A1 (en) * 2010-12-30 2012-07-05 Motorola-Mobility, Inc. Electronic device and method for backlight control
US8797288B2 (en) * 2011-03-07 2014-08-05 Lester F. Ludwig Human user interfaces utilizing interruption of the execution of a first recognized gesture with the execution of a recognized second gesture
TW201224849A (en) * 2011-03-09 2012-06-16 Acer Inc Mobile devices and methods for controlling mobile devices
US9134899B2 (en) * 2011-03-14 2015-09-15 Microsoft Technology Licensing, Llc Touch gesture indicating a scroll on a touch-sensitive display in a single direction
US9285950B2 (en) * 2011-03-30 2016-03-15 Google Inc. Hover-over gesturing on mobile devices
US20130104089A1 (en) * 2011-10-20 2013-04-25 Fuji Xerox Co., Ltd. Gesture-based methods for interacting with instant messaging and event-based communication applications

Also Published As

Publication number Publication date
EP2839357A1 (en) 2015-02-25
US9448635B2 (en) 2016-09-20
HUE047064T2 (hu) 2020-04-28
US20130271397A1 (en) 2013-10-17
CN104254817B (zh) 2017-10-03
EP2839357B1 (en) 2019-09-04
CN104254817A (zh) 2014-12-31
KR20150002776A (ko) 2015-01-07
KR102230630B1 (ko) 2021-03-19
WO2013158366A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
ES2759786T3 (es) Reactivación rápida de gestos
US20210096651A1 (en) Vehicle systems and methods for interaction detection
US20130211843A1 (en) Engagement-dependent gesture recognition
JP6158913B2 (ja) ジェスチャを使用したデバイスとの対話
US9423877B2 (en) Navigation approaches for multi-dimensional input
US9377860B1 (en) Enabling gesture input for controlling a presentation of content
US9218811B2 (en) Electronic device and method for managing voice entered text using gesturing
US9557821B2 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
US9189072B2 (en) Display device and control method thereof
US11941906B2 (en) Method for identifying user's real hand and wearable device therefor
US9110541B1 (en) Interface selection approaches for multi-dimensional input
KR20140109158A (ko) 거리 검출 및 생체 인증 방법, 저장 매체 및 단말
EP3189407B1 (en) Display device and method of controlling therefor
US9377866B1 (en) Depth-based position mapping
KR20150145729A (ko) 지문 입력을 통한 화면 이동 및 서비스 선택 방법, 지문 센서를 구비한 착용형 전자 장치 및 컴퓨터 프로그램
KR20150020865A (ko) 전자 장치의 입력 처리 방법 및 장치
US10228768B2 (en) Optical user interface
US20160217350A1 (en) Information processing apparatus, information processing method, and information processing system
US9350918B1 (en) Gesture control for managing an image view display
US9507429B1 (en) Obscure cameras as input
US10742937B2 (en) Watching apparatus, watching method, and recording medium
EP2919096B1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
EP2677401B1 (en) Image data generation using a handheld electronic device
KR20180068128A (ko) 이동단말기 및 그 제어방법
KR20140118398A (ko) 이미지에서 손 인식 방법 및 장치