ES2378665T3 - Sistema de interfaz de usuario basado en dispositivo apuntador - Google Patents
Sistema de interfaz de usuario basado en dispositivo apuntador Download PDFInfo
- Publication number
- ES2378665T3 ES2378665T3 ES03758471T ES03758471T ES2378665T3 ES 2378665 T3 ES2378665 T3 ES 2378665T3 ES 03758471 T ES03758471 T ES 03758471T ES 03758471 T ES03758471 T ES 03758471T ES 2378665 T3 ES2378665 T3 ES 2378665T3
- Authority
- ES
- Spain
- Prior art keywords
- pointing device
- user
- user interaction
- interaction system
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K11/00—Methods or arrangements for graph-reading or for converting the pattern of mechanical parameters, e.g. force or presence, into electrical signal
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
- G08C2201/32—Remote control based on movements, attitude of remote control device
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/60—Security, fault tolerance
- G08C2201/61—Password, biometric
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/70—Device selection
- G08C2201/71—Directional beams
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/90—Additional features
- G08C2201/92—Universal remote control
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/90—Additional features
- G08C2201/94—Smart cards
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
- Image Analysis (AREA)
- Details Of Television Systems (AREA)
Abstract
Sistema de interacción de usuario, que comprende: - un aparato (110) eléctrico; - un dispositivo (101, 300) apuntador portátil que puede hacerse funcionar por un usuario para apuntar a una región en el espacio; - una cámara (102) que toma una fotografía; y - un procesador (120) de señal digital, que puede recibir y procesar la fotografía, y que puede transmitir información de interfaz de usuario (I) derivada de la fotografía al aparato (110) eléctrico, en el que la cámara (102) está conectada al dispositivo (101, 300) apuntador de modo que en funcionamiento obtiene imágenes de la región a la que se apunta, estando el sistema caracterizado 15 porque comprende además al menos una baliza (180, 181, 182) de localización de habitación, en una habitación en la que se usa el dispositivo apuntador, que puede emitir radiación electromagnética, para su uso por el procesador (120) de señal digital con el fin de reconocer a qué parte de la habitación está apuntando el dispositivo apuntador; y el procesador (120) de señal digital está dispuesto además para reconocer a qué parte de una habitación está apuntando el dispositivo apuntador.
Description
Sistema de interfaz de usuario basado en dispositivo apuntador.
La invención se refiere a un sistema de interacción de usuario, que comprende:
- -
- un aparato eléctrico;
- -
- un dispositivo apuntador portátil que puede hacerse funcionar por un usuario para apuntar a una región en el espacio;
- -
- una cámara que toma una fotografía; y
- -
- un procesador de señal digital, que puede recibir y procesar la fotografía, y que puede transmitir información de interfaz de usuario derivada de la fotografía al aparato eléctrico, en el que la cámara está conectada al dispositivo apuntador de modo que en funcionamiento obtiene imágenes de la región a la que se apunta.
La invención también se refiere a un dispositivo apuntador para su uso en un sistema de interacción de usuario.
La invención también se refiere a un aparato eléctrico para su uso en el sistema de interacción de usuario mencionado anteriormente.
Un sistema de este tipo se conoce a partir del documento D1 (documento DE 10110979A1). El documento D1 se refiere a una disposición que tiene una cámara que puede reconocer objetos tomando una fotografía de muestra de los mismos y comparando esta fotografía con una referencia. Una vez que se ha reconocido un objeto la disposición puede enviar códigos de control (tales como códigos de control remoto convencionales) a un equipo, asociado con el objeto reconocido, que va a controlarse. Puede proporcionarse retroalimentación a un usuario, mediante la disposición, con el reconocimiento de objeto (luz, audio, percepción táctil).
El inventor entendió que es una ventaja del documento D1 que su reconocimiento de un objeto depende únicamente del objeto ya que. La capacidad del sistema del documento D1 para reconocer un objeto puede por tanto ser mala. Además, el documento D1 no menciona nada con respecto a la capacidad para detectar una dirección de apuntado del apuntador ya que como mucho puede reconocer un objeto al que está apuntando el apuntador.
También se conoce en parte un sistema de este tipo a partir del documento US-A-2001/0030668. Este documento describe un sistema de control remoto universal en el que un usuario marca una ubicación en una visualización con un dispositivo apuntador que presenta visualmente una característica reconocible, por ejemplo un puntero láser que emite un punto rojo, y una cámara toma una fotografía de la visualización y calcula a qué ubicación ha apuntado el usuario.
Entonces un aparato eléctrico, por ejemplo un ordenador o una televisión, realiza una acción que corresponde con el marcaje del usuario. Por ejemplo si se marca un icono en la visualización haciendo destellar el puntero láser dos veces, se inicia un programa informático correspondiente.
Una desventaja del sistema conocido es que el sistema está adaptado para una visualización particular. Por ejemplo la visualización puede ser una proyección desde un proyector frontal basado en LCD en una pantalla, proyector al que está conectado un ordenador portátil. La cámara en el sistema conocido tiene una posición y ángulo de visualización tales que puede obtener imágenes de la pantalla. Después, el DSP se entrena para discriminar una zona en fotografías de la cámara, que corresponde a la ubicación de la pantalla, en la técnica anterior esto puede realizarse de una manera sencilla. En primer lugar, se captura una fotografía de la pantalla tanto con como sin iluminación con una fotografía desde el proyector. Al comparar la diferencia de esas dos fotografías, se obtiene la zona de la visualización en el espacio tal como se ve por la cámara. En segundo lugar, se deriva una transformación de perspectiva que determina la relación entre una ubicación a la que se apunta en la visualización y una ubicación en la fotografía para la proyección, en la memoria intermedia de trama del ordenador portátil. El documento conocido también describe apuntar a una visualización virtual, por ejemplo una pared, seleccionando en primer lugar manualmente las esquinas de la visualización virtual. Sin embargo, el sistema siempre se calibra para una visualización y en caso de que un usuario desee interaccionar con otra visualización, tiene que configurar el sistema de nuevo, o usar un segundo sistema.
El documento US5949351 da a conocer un sistema de interacción de usuario en el que se establecen partes que emiten luz no sólo en el aparato de control, sino también en los aparatos controlados y se establecen partes que reciben luz no sólo en los aparatos controlados, sino también en el aparato de control, permitiendo así una comunicación inalámbrica en ambas direcciones.
Un primer objeto de la invención es proporcionar un sistema de interacción de usuario de la clase descrita en el párrafo de introducción que mejore el reconocimiento en cuanto a dónde está apuntando el dispositivo apuntador portátil.
Un segundo objeto de la invención es proporcionar un sistema de interacción de usuario de la clase descrita en el párrafo de introducción en el que sea relativamente fácil interaccionar con varios aparatos eléctricos disponibles, más particularmente visualizaciones.
Un tercer objeto de la invención es proporcionar un dispositivo apuntador de la clase descrita en el párrafo de introducción que haga que una interacción con varios aparatos eléctricos disponibles sea relativamente fácil.
Un cuarto objeto de la invención es proporcionar un aparato eléctrico para su uso en el sistema de interacción de usuario mencionado anteriormente.
El primer objeto se realiza porque el sistema comprende además al menos una baliza de localización que puede emitir radiación electromagnética para su uso al procesador de señal digital y en el que el procesador de señal digital está dispuesto para reconocer a dónde está apuntando el dispositivo apuntador usando información derivada de la radiación electromagnética capturada.
El segundo objeto se realiza porque la cámara está conectada al dispositivo apuntador de modo que en funcionamiento obtiene imágenes de la región a la que se apunta. Una cámara fija sólo obtiene imágenes de una determinada región de espacio. Es posible que en el sistema de interacción de usuario conocido, el dispositivo apuntador del usuario, o el objeto al que se apunta, ni siquiera estén en el campo de visión de la cámara fija. Una ventaja principal de un dispositivo apuntador con una cámara unida, por ejemplo en el extremo frontal del dispositivo apuntador más próximo a la región a la que se apunta, es que la cámara siempre está obteniendo imágenes de la región a la que se apunta de manera sustancialmente óptima. El objeto al que se apunta es en general el aparato eléctrico al que se envía la información de interfaz de usuario, por ejemplo datos de control de aparato, pero puede ser cualquier objeto presente en la habitación en la que se encuentra el usuario, siempre que pueda reconocerse por el DSP. Entonces se identifica el aparato que va a controlarse, por ejemplo apuntando al mismo previamente.
En una realización según la reivindicación 8, la información de interfaz de usuario comprende datos de control de aparato para controlar el funcionamiento del aparato eléctrico. Puede haber muchos aparatos presentes en un salón que, por ejemplo, producen sonido. Cada uno de estos dispositivos tiene un control para aumentar o disminuir el volumen de sonido. Al apuntar la cámara del dispositivo apuntador hacia un aparato particular y realizar una orden de “subir el volumen”, por ejemplo presionando un botón en el dispositivo apuntador o realizando un movimiento específico con el dispositivo apuntador, aumentará el volumen de sonido del dispositivo al que se apunta. El uso de un control remoto universal conocido puede tener como desventaja, por ejemplo, que responda un aparato que no pretendía el usuario, porque usa el mismo código de control remoto.
Resulta ventajoso si el procesador de señal digital comprende unos medios caracterizadores de objeto para caracterizar un objeto o parte del objeto presente en la fotografía de la región obtenida por la cámara, proporcionando primeros rasgos caracterizadores de objeto a unos medios de identificación de objeto comprendidos para identificar el objeto, y medios de identificación de objeto que pueden emitir datos de identificación de objeto a partir de los cuales se construye la información de interfaz de usuario.
En el caso de que deban controlarse diferentes aparatos eléctricos, todos deben reconocerse automáticamente. El DSP puede ser, por ejemplo, un procesador genérico que ejecuta algoritmos para caracterizar el aparato, o puede ser un ASIC. Normalmente, los medios caracterizadores de objeto realizarán algoritmos de procesamiento de imagen en una fotografía del aparato. Por ejemplo pueden calcularse las dimensiones relativas del aparato y pueden analizarse el número y las posiciones de botones en el aparato. Los medios de identificación de objeto asocian con estos primeros rasgos caracterizadores de objeto resultantes un aparato específico, por ejemplo, a partir de información en una tabla de aparato. Otra información acerca del aparato, por ejemplo, “primera televisión producida por la compañía X con número de serie Y” puede estar presente, como los datos de control de aparato que entiende el aparato.
También es ventajoso si el procesador de señal digital comprende:
- -
- medios de estimación de trayectoria de movimiento para estimar una trayectoria de movimiento del dispositivo apuntador y emitir una primera firma caracterizadora de movimiento, siendo una firma una abstracción matemática de la trayectoria de movimiento; y
- -
- medios de identificación de firma para identificar la primera firma caracterizadora de movimiento y emitir datos de identificación de orden, que representan una orden de interacción de usuario, que corresponde a la primera firma caracterizadora de movimiento, datos de identificación de orden a partir de los cuales se construye la información de interfaz de usuario.
Para evitar la necesidad de un gran número de botones en el dispositivo apuntador para todas las órdenes diferentes que pueden enviarse a todos los aparatos diferentes, y para hacer que el sistema de interacción de usuario sea más fácil para el usuario, es ventajoso si al menos algunos de los datos de control de aparato se generan basándose en movimientos del dispositivo apuntador por el usuario, dispositivo apuntador que está normalmente en su mano. La firma de un movimiento hacia arriba puede significar “subir el volumen”, pero al contrario que un control remoto convencional, la cantidad de cambio de volumen puede depender según la invención de la brusquedad del movimiento. Si el usuario mueve su brazo hacia arriba lentamente, el volumen debe cambiar, por ejemplo, sólo ligeramente, y en cambio si mueve su brazo hacia arriba rápido, el volumen debe subir mucho. La determinación del movimiento del dispositivo apuntador puede realizarse basándose en medios de detección de movimiento, por ejemplo una masa en un sensor de deformación, un giroscopio, un GPS diferencial, etc. Sin embargo, puesto que ya está presente una cámara, el movimiento también puede determinarse obteniendo fotografías sucesivas y aplicando un algoritmo de estimación de movimiento. Puesto que la estimación de movimiento global es más sencilla que la estimación de movimiento precisa de múltiples objetos, la cámara puede ser una cámara basada en CMOS sencilla o incluso una disposición bidimensional de un pequeño número de elementos sensibles a la luz.
También es ventajoso si el procesador de señal digital comprende medios de mejora de identificación, que pueden mejorar además una probabilidad de que el objeto representado como datos de identificación de objeto, y orden de interacción de usuario representada como datos de identificación de orden, se identifiquen de manera más fiable basándose en reglas predeterminadas, produciendo información de interfaz de usuario más fiable. Puesto que no es necesario que la identificación del objeto y firma de movimiento sea siempre perfecta, dada la variabilidad de las condiciones en una habitación, pueden incorporarse medios de mejora de identificación que, por ejemplo, aplican un conjunto de reglas de inteligencia artificial en los datos de identificación de objeto y datos de identificación de orden identificados, teniendo también en cuenta posiblemente los rasgos caracterizadores primeros rasgos caracterizadores de objeto y primera firma caracterizadora de movimiento. Por ejemplo, una regla para determinar el aparato al que se apunta puede tener en cuenta la habitación en la que está presente el dispositivo apuntador, o la hora del día. Por ejemplo, la primera cosa que un usuario puede hacer normalmente si llega a casa y toma el dispositivo apuntador es encender las luces. Su intención puede verificarse por el DSP basándose en una fotografía de estas luces.
Es más ventajoso si las reglas predeterminadas comprenden un cálculo probabilístico de la probabilidad de un par {datos de identificación de objeto, datos de identificación de orden}, teniendo en cuenta al menos una de las siguientes unidades de información conocidas a priori {habitación en la que se encuentra el dispositivo apuntador, orden previa emitida por el usuario, frecuencia estadística de que un usuario emita una orden particular y hora del día}. Por ejemplo la probabilidad de una orden puede calcularse basándose en un perfil estadístico de qué órdenes usa habitualmente un usuario, y basándose en órdenes emitidas previamente. Además, la probabilidad de un aparato puede actualizarse basándose en la habitación en la que está presente el dispositivo apuntador. El viernes a las ocho en punto el usuario puede desear ver su programa de televisión favorito.
También es ventajoso si el procesador de señal digital comprende medios de asociación de objeto para proporcionar a los medios de identificación de objeto datos de asociación de objeto que comprenden al menos una de las entidades de datos que son: rasgos caracterizadores de objeto asociados y datos relacionados con el objeto, pudiendo derivarse los datos de asociación de objeto de datos de plantilla de objeto en memoria de objeto que se originan de al menos uno de los métodos:
- -
- los datos de plantilla de objeto se obtienen de medios de entrenamiento de objeto realizando un cálculo predeterminado en segundos rasgos caracterizadores de objeto emitidas por medios caracterizadores de objeto; y
- -
- los datos de plantilla de objeto se derivan de datos de objeto introducidos.
El sistema de interacción de usuario es mucho más versátil si, en lugar de construirse previamente por el fabricante para controlar un número fijo de aparatos, el usuario puede adaptarlo a su entorno cambiante. Por ejemplo, si compra un nuevo aparato, deseará que este aparato pueda controlarse por medio del mismo sistema. Además, si compra un calendario, lo cuelga en la pared, y apunta al mismo con su dispositivo apuntador, deseará que suceda una acción, por ejemplo iniciar una herramienta de calendario en su ordenador personal. Para esto se requieren medios de asociación de objeto. El usuario obtiene imágenes de un nuevo aparato, por ejemplo con unos cuantos ángulos diferentes. Varios algoritmos de procesamiento de imagen que se ejecutan en los medios caracterizadores de objeto extraen rasgos para este objeto que se almacenan como una plantilla de objeto, posiblemente después de calcular en primer lugar rasgos específicos de aparato invariables. Entonces selecciona con una interfaz de usuariode selección qué aparato corresponde a esta plantilla de objeto. Ésta es una denominada fase de entrenamiento del sistema. Cuando más tarde se usa el sistema en una denominada fase de orden, para enviar datos de control de aparato a un aparato identificado, la identificación de objeto por los medios de identificación de objeto puede ayudarse por medio de los datos almacenados en los medios de asociación de objeto. Por ejemplo, basándose en los datos de plantilla de objeto pueden enviarse varios rasgos caracterizadores de objeto asociados, que corresponden a lo qué emiten los medios caracterizadores de objeto como primeros rasgos caracterizadores de objeto, a los medios de identificación de objeto, que entonces realizan una comparación, seleccionando el aparato identificado correcto. Estos rasgos también pueden cargarse previamente en los medios de identificación de objeto. Los medios de asociación de objeto también pueden enviar datos relacionados con el objeto a los medios de identificación de objeto, que comprenden al menos un identificador del aparato, y posiblemente datos adicionales tales como órdenes soportadas. En una realización alternativa, los medios de asociación de objeto también pueden realizar la propia identificación de objeto, en cuyo caso sólo se envían datos relacionados con el objeto a los medios de identificación de objeto. Para evitar que el usuario tenga que introducir mucha información a través de la interfaz de usuario de selección, también pueden introducirse datos relacionados con el objeto a través de una entrada de datos de objeto, por ejemplo directamente desde un aparato que va a identificarse y controlarse. A través de esta entrada, también pueden introducirse datos de plantilla de objeto característicos, por ejemplo el fabricante de un aparato puede proporcionar una fotografía tomada en condiciones de obtención de imágenes bien controladas.
También es ventajoso si el procesador de señal digital comprende medios de asociación de firma para proporcionar a los medios de identificación de firma datos de asociación de firma (que comprenden al menos una de las entidades de datos que son: rasgos de firma asociados y datos relacionados con la orden), pudiendo derivarse los datos de asociación de firma de datos de plantilla de firma en memoria de firma que se originan de al menos uno de los métodos:
- -
- los datos de plantilla de firma se obtienen de medios de entrenamiento de firma realizando un cálculo predeterminado en una segunda firma caracterizadora de movimiento emitida por los medios de estimación de trayectoria de movimiento; y
- -
- los datos de plantilla de orden se derivan de datos de orden introducidos.
Según un fundamento similar, pueden comprenderse medios de asociación de firma para permitir el entrenamiento de nuevas trayectorias de movimiento aplicadas al dispositivo apuntador por el usuario y caracterizadas como firmas. En estas realizaciones se introducen datos de orden, por ejemplo, por un aparato que proporciona un menú de sus órdenes soportadas.
También es ventajoso si la primera firma caracterizadora de movimiento se deriva basándose en fotografías sucesivas obtenidas por la cámara en momentos respectivos. Puesto que una cámara está unida al dispositivo apuntador, obteniendo imágenes de cada uno de sus movimientos, y el movimiento global puede estimarse mediante un algoritmo de estimación de movimiento sencillo, las fotografías obtenidas sucesivamente pueden usarse para derivar la orden de interfaz de usuario pretendida.
El segundo objeto se realiza porque el dispositivo apuntador comprende una cámara y puede enviar una fotografía a un DSP. Tal como ya se describió anteriormente el sistema de interacción de usuario se vuelve más versátil con tal dispositivo apuntador.
Una realización del dispositivo apuntador está caracterizada porque puede enviar una fotografía al procesador de señal digital, que puede enviar información de interfaz de usuario a un aparato eléctrico basándose en la fotografía.
En una realización, el DSP está comprendido en el dispositivo apuntador. Entonces el dispositivo apuntador también puede funcionar por separado del sistema de interacción de usuario. Por ejemplo, el dispositivo apuntador puede llevarse a un supermercado, procesar fotografías obtenidas y almacenar los primeros rasgos caracterizadores de objeto correspondientes. Entonces pueden realizarse acciones de control por aparatos domésticos en un momento posterior.
Es ventajoso si el dispositivo apuntador comprende medios de detección de movimiento para detectar una trayectoria de movimiento del dispositivo apuntador. Independientemente de si el dispositivo se usa para reconocer objetos, puede usarse para enviar datos de control de aparato que corresponden con movimientos específicos por el usuario. El aparato pretendido en tal aplicación del dispositivo apuntador puede, por ejemplo, ser fijo o indicarse con un botón.
Es ventajoso si el dispositivo apuntador comprende un proyector característico para proyectar ópticamente un patrón característico hacia una región a la que se apunta. Es ventajoso si el usuario consigue una retroalimentación de a qué aparato o parte de un aparato está apuntando. Por el contrario, si no está apuntando correctamente, puede, por ejemplo, pulsar prácticamente el botón equivocado del aparato. Una forma de retroalimentación puede ser una pequeña fotografía en una visualización del dispositivo apuntador que muestra el centro de la región de la que obtiene imágenes la cámara. Lo que se pretende es un aparato o botón en un aparato en el medio de la visualización. Otra forma de retroalimentación comprende la proyección de un patrón característico, por ejemplo una cruz blanca, o un punto de láser, que ilumina la parte pretendida de un aparato. Patrones más complejos tales como una rejilla bidimensional de líneas pueden ayudar al DSP a identificar la geometría del aparato del que se obtienen imágenes.
Es ventajoso si el dispositivo apuntador comprende un generador de código de interfaz de usuario programable y un transmisor inalámbrico para transmitir el código al aparato eléctrico. En lugar de que el DSP envíe datos de control de aparato al aparato, por ejemplo, por medio de una red doméstica inalámbrica basada en bluetooth, el propio dispositivo apuntador puede enviar directamente la orden de control remoto apropiada, por ejemplo, por medio de radiación infrarroja. La ventaja en comparación con un control remoto universal clásico es que el DSP identifica automáticamente el aparato, desde una fotografía de cámara, y genera el código correcto.
Es ventajoso si están presentes medios de retroalimentación para una retroalimentación de información de interfaz de usuario. Por ejemplo, una visualización es útil. Otra retroalimentación puede proporcionar alguna clase de retroalimentación de fuerza, por ejemplo por medio de una masa que se mueve. Esto puede simular, por ejemplo, tocar contra la pantalla de una TV.
El tercer objeto se realiza porque están comprendidos medios de interfaz que permiten que el aparato envíe información acerca de órdenes soportadas a un dispositivo apuntador según la reivindicación 12, basándose en una llamada de “identificar órdenes soportadas” del dispositivo apuntador al aparato. El DSP o parte de la funcionalidad del DSP también puede estar comprendido en el aparato. El aparato también puede transmitir rasgos caracterizadores de objeto, etc.
La invención resultará evidente a partir de, y se aclarará con referencia a, la siguiente descripción y el dibujo adjunto, que muestra esquemáticamente ejemplos de componentes del sistema de interacción de usuario y dispositivo apuntador según la invención. En este dibujo:
la figura 1 muestra esquemáticamente una habitación en la que está presente un sistema de interacción de usuario según la invención;
la figura 2 muestra esquemáticamente un procesador de señal digital según la invención;
la figura 3 muestra esquemáticamente un dispositivo apuntador según la invención; y
las figuras 4a y 4b muestran dos ejemplos de una trayectoria de movimiento y firma correspondiente.
En la figura 1 se muestra una habitación que contiene diversos aparatos eléctricos que pueden recibir información de interfaz de usuario I, por ejemplo puede estar presente un aparato 110 eléctrico que es una pantalla de plasma, pero también una grabadora de vídeo personal o un teléfono o una lavadora, con los que un usuario 100 puede interaccionar. La habitación también contiene diversos objetos, que son aparatos eléctricos o simplemente cualquier objeto físico como, por ejemplo, una ventana, o un objeto 130 que es un aparato de audio, un florero 170 y un aparato 110 eléctrico, al que puede apuntarse por medio de un dispositivo 101 apuntador.
Según la invención, el dispositivo 101 apuntador contiene una cámara 102, y puede enviar fotografías de regiones de una habitación u objetos en esas regiones a un procesador 120 de señal digital (DSP), que puede identificar las regiones u objetos basándose en una o más fotografías obtenidas por la cámara 102. La cámara está conectada al dispositivo 101 apuntador de tal manera que obtiene correctamente imágenes de la región a la que se apunta. Por ejemplo, puede encontrarse normalmente en el extremo lejano del dispositivo 101 apuntador, pero también puede montarse en el lado con un ángulo. El usuario 100 tiene la libertad de apuntar a cualquier objeto que desee, y de tal manera puede realizarse un sistema de interacción de usuario muy potente y fácil para el usuario.
El DSP 120 puede ser, por ejemplo, un ordenador doméstico que controla aparatos en una red doméstica, o puede incorporarse en el dispositivo 101 apuntador. La cámara 102 puede ser una cámara CCD o una cámara CMOS. La conexión entre la cámara 102 y el DSP 120 puede ser inalámbrica si los dos están separados. El dispositivo 101 apuntador ya puede realizar parte de los algoritmos que van a realizarse por el DSP 120 para la identificación de un objeto, de modo que por ejemplo sólo es necesario enviar un pequeño conjunto de rasgos al DSP 120 externo para un procesamiento adicional. De hecho, el DSP 200 mostrado funcionalmente puede distribuirse en varias partes en el dispositivo 101 apuntador, la habitación, diferentes aparatos, etc.
El DSP 120 está diseñado para enviar información de interfaz de usuario I, por ejemplo datos de control de aparato ac, a un aparato identificado. Por ejemplo, el usuario 100 puede apuntar el dispositivo 101 apuntador a la luz 160 y pulsar un botón de encendido en el dispositivo 101 apuntador, lo que da como resultado que el DSP 120 envíe una orden de encendido a la luz 160 identificada. No es necesario que el objeto identificado sea el propio aparato que va a controlarse. Por ejemplo, apuntar al florero 170 puede iniciar un programa particular en un PC, cuya salida se muestra en el aparato 110 de visualización. Puede apuntarse a partes de un objeto, por ejemplo apuntar a un botón 134 de volumen del objeto 130 aumenta o disminuye el volumen de este aparato de audio, dependiendo de una acción adicional tal como la pulsación de un botón o un movimiento del dispositivo 101 apuntador. Apuntar a la visualización 132 de selección de canal y realizar un movimiento lateral puede cambiar el canal. El DSP 120 también puede reconocer el estado de una parte de un objeto, por ejemplo que se deje abierto un cargador 136 de cinta, y emitir una orden de “cerrar”. También pueden detectarse o monitorizarse otras situaciones específicas. El usuario 100 también puede apuntar a un mueble 140 o una parte 142 del mismo. Si el mueble 140 es un armario diferentes acciones pueden resultar de apuntar a diferentes cajones. Si el mueble 140 es un frigorífico inteligente, apuntar al mismo puede dar como resultado la acción definida por el usuario de pedir cerveza a través de Internet. Aparte de datos de control de aparato ac, puede enviarse otra información de interfaz de usuario I, por ejemplo datos de fotografía pd. Por ejemplo, un primer cuadro 150 electrónico y un segundo cuadro 152 electrónico presentan visualmente una fotografía variable. Pueden realizarse con visualizaciones de tinta electrónica electroforética. El usuario 100 puede capturar la fotografía visualizada en el primer cuadro electrónico, o incluso una fotografía en un calendario que cuelga en la pared, y transferirla como datos de fotografía pd al segundo cuadro 152 electrónico, posiblemente después de algún procesamiento de imagen tal como por ejemplo corrección de perspectiva.
La figura 2 muestra esquemáticamente componentes funcionales en un procesador 200 de señal digital (una realización de 120 en la figura 1). No todos los componentes descritos están necesariamente presentes en una realización particular del sistema de interacción de usuario. El DSP 200 puede realizarse como un procesador genérico, un ASIC, o componentes separados en una placa de circuito. El DSP 200 puede recibir entrada de cámara c y entrada de sensor s, por ejemplo, a partir de medios 304 de detección de movimiento. El DSP 200 puede comprender una unidad 202 caracterizadora de objeto para caracterizar una fotografía de un objeto 130 o parte del objeto 130 según se obtiene por la cámara 102. La unidad 202 caracterizadora de objeto puede proporcionar los primeros rasgos caracterizadores de objeto f1 a una unidad 204 de identificación de objeto. Los primeros rasgos caracterizadores de objeto f1 pueden ser de diferentes clases dependiendo de los algoritmos de procesamiento de imagen implementados en la unidad 204 de identificación de objeto. Normalmente, el objeto se aísla en primer lugar de las partes restantes de la fotografía obtenida. Esto puede realizarse por ejemplo basándose en la detección de borde y curva en la fotografía. Otra opción es el análisis en 3D de la región de la que se obtienen imágenes, por ejemplo con una rejilla proyectada o una segunda cámara. Puede detectarse parte de un objeto basándose en técnicas de correlación, y luego puede verificarse entonces el resto del objeto.
En segundo lugar, se calculan los primeros rasgos caracterizadores de objeto f1. Por ejemplo, un contorno del objeto y sus partes que lo componen pueden caracterizarse por medio de una característica de curvatura frente a ángulo. O puede calcularse la relación anchura/altura. Además, puede usarse la propia región de objeto aislada, o una transformación de la misma, normalmente después de realizar en primer lugar una corrección de perspectiva.
La unidad 204 de identificación de objeto identifica entonces el objeto basándose en los primeros rasgos caracterizadores de objeto f1 recibidos de la unidad 202 caracterizadora de objeto. Por ejemplo, puede usarse cualquier técnica de clasificación conocida en un espacio de rasgo multidimensional. La salida de la unidad 204 de identificación de objeto es datos de identificación de objeto oi, que pueden ser un número sencillo o una estructura de datos que contiene información adicional acerca del objeto identificado. Los rasgos caracterizadores y datos adicionales de varios aparatos pueden almacenarse por ejemplo a priori en una memoria 230 de características de objeto por el fabricante del dispositivo apuntador que contiene el DSP 200, o puede cargarse previamente desde Internet si el DSP 200 es un ordenador. En lugar de identificar un objeto, el DSP también puede identificar una región de la habitación. Por ejemplo, apuntar el dispositivo 101 apuntador hacia el techo puede emitir la orden de “encender luces”, mientras que apuntar hacia el suelo apaga las luces. O apuntar hacia una de las esquinas puede invocar una orden asociada. Las esquinas pueden identificarse basándose en objetos presentes, por ejemplo en el lado izquierdo una planta y en el lado derecho un armario.
Sin embargo, el sistema de interacción de usuario es mucho más útil si un usuario puede entrenar nuevos objetos, tales como un florero 170, por sí mismo. Por tanto, puede comprenderse una unidad 212 de asociación de objeto, que proporciona a la unidad 204 de identificación de objeto datos de asociación de objeto oad. Los datos de asociación de objeto oad pueden comprender rasgos caracterizadores fa de un objeto, similares a los primeros rasgos caracterizadores de objeto f1, basándose en una plantilla de objeto. La plantilla de objeto puede obtenerse aplicando una fase de entrenamiento. Se obtienen imágenes de un nuevo objeto por la cámara 102 en varias condiciones, por ejemplo diferentes ángulos, iluminación, etc. La unidad 202 caracterizadora de objeto genera segundos rasgos caracterizadores de objeto f2 para todas las fotografías. Una unidad 221 de entrenamiento de objeto en la unidad 212 de asociación de objeto genera una plantilla de objeto que corresponde al objeto que se almacena en la memoria 220 de objeto. La plantilla puede ser, por ejemplo, el grupo de segundos rasgos caracterizadores de objeto f2 de todas las fotografías, o rasgos promedio, o algunos rasgos invariables calculados basándose en los segundos rasgos caracterizadores de objeto variables f2. La plantilla de objeto también puede derivarse por la unidad 221 de entrenamiento de objeto basándose en rasgos caracterizadores que proceden del exterior como datos de objeto od. Estos datos de objeto pueden originarse de un aparato que introduce, por ejemplo, fotografías del mismo tomadas desde diferentes ángulos por un fabricante. Los datos de objeto od y los datos de asociación de objeto oad también pueden comprender datos relacionados con el objeto id, es decir toda clase de información concerniente a un aparato, como por ejemplo órdenes soportadas.
Para facilitar el reconocimiento de objeto, determinados objetos como por ejemplo el aparato 110 pueden presentar un patrón 116 característico, por ejemplo pueden hacer destellar una cruz roja un número de veces predeterminado con diferentes intervalos de encendido/apagado, en respuesta a una llamada de “identificación de objeto” del dispositivo apuntador. El aparato 110 también puede comprender una unidad 190 de interfaz, que lo hace más útil en un sistema de interacción de usuario según la invención. Por ejemplo, un aparato como una radio por Internet puede tener una función de “descubrimiento de servicio” que comunica al dispositivo 101 apuntador qué órdenes soporta. Incluso puede transmitir secuencias de control remoto infrarrojas que corresponden a estas órdenes, etc. Esto facilita el entrenamiento del DSP 120, 200 por el usuario 100. Por ejemplo, en respuesta a la comunicación, las órdenes pueden aparecer como un menú de íconos preferidos en una visualización 316 del dispositivo 101 apuntador. La unidad 190 de interfaz también puede realizarse por separado. Por ejemplo, una lavadora puede no tener una facilidad de control remoto intrincado. Puede proporcionarse una caja de conexión que recibe órdenes convencionales del DSP 200 y se interconecta de una manera simple con el aparato, por ejemplo iniciándolo.
El DSP 200 también puede comprender componentes para analizar gestos realizados con el dispositivo 101 apuntador por el usuario 100. Para esto, se usa la trayectoria 400 de movimiento en la figura 4 del dispositivo 101 apuntador, que se calcula, por ejemplo, basándose en fotografías de la cámara 102. La figura 4a muestra una trayectoria 400 de movimiento hacia arriba en un sistema 404 de coordenadas tridimensionales. Se resume mediante firma 402 que es una representación matemática de esa trayectoria de movimiento hacia arriba. La firma 402 puede vincularse, por ejemplo, por medio de una tabla de órdenes, con datos de identificación de orden ci, por ejemplo, en este caso, el usuario 100 puede reservar este movimiento para una orden de “subir el volumen”. Una trayectoria 410 de movimiento circular y firma 412 circular pueden significar para un usuario “rebobinar”, mientras que otro usuario ha entrenado el DSP 200 para relacionar esta firma 412 circular con una orden de “encender dispositivo”. Por ejemplo, el usuario puede orientar aproximadamente su dispositivo 101 apuntador hacia la luz 160 y hacer el movimiento de “encender dispositivo”, basándose en lo cual el DSP 200 enciende la luz 160. Alternativamente el usuario 100 también puede realizar el movimiento de “encender dispositivo” en algún lado en el aire y luego apuntar a la luz 160, o un televisor o cualquier objeto que desee encender. Las firmas 402, 412 pueden parametrizarse de cualquier manera y hacerse coincidir por cualquier técnica de ajuste de curva conocida. Por ejemplo, la firma 402 puede codificarse como varios segmentos de línea conectados de longitud y ángulo entre segmentos específicos.
Una unidad 206 de estimación de trayectoria de movimiento calcula una trayectoria 400 de movimiento, basándose en medios 304 de detección de movimiento, o fotografías sucesivas desde la cámara 102. Por ejemplo, pueden aplicarse técnicas de estimación de movimiento basadas en bloque o flujo óptico en dos fotografías sucesivas para obtener una parte 401 de trayectoria 400 de movimiento. La divergencia del campo de vector de movimiento puede usarse para estimar el movimiento hacia un objeto, es decir normalmente a lo largo de un eje del dispositivo 101 apuntador. Basándose en la trayectoria 400 de movimiento, una unidad 209 de generación de firma emite una primera firma caracterizadora de movimiento s1. Una unidad 208 de identificación de firma identifica la primera firma caracterizadora de movimiento s1 y la vincula con datos de identificación de orden ci, que son, por ejemplo, una representación numérica de una orden de interacción de usuario pretendida por el usuario 100. La primera firma caracterizadora de movimiento s1 puede compararse con características de firma para diferentes firmas almacenadas en una memoria 232 de características de firma. Por ejemplo, si se realiza un movimiento aproximadamente circular o incluso cualquier movimiento de retorno, una plantilla de firma circular almacenada producirá una mejor coincidencia que una plantilla de firma lineal. Pueden aplicarse técnicas de coincidencia de curva geométricas y estructurales en el cálculo de similitud.
Al igual que es ventajoso tener un DSP 200 que puede aprender a identificar nuevos objetos, es ventajoso si el DSP 200 puede identificar nuevos movimientos preferidos por el usuario 100. Por tanto, puede comprenderse la unidad 214 de asociación de firma para proporcionar datos de asociación de firma SAD a la unidad 208 de identificación de firma. Los datos de asociación de firma SAD pueden comprender rasgos de firma asociados sa, por ejemplo una representación matemática de la firma 412 circular, y/o datos relacionados con la orden cid, por ejemplo, recibidos desde un aparato que envía sus órdenes soportadas como datos de orden cd al DSP 200. Pueden obtenerse plantillas de firma en una memoria 222 de firma desde una unidad 223 de entrenamiento de firma basándose en una primera firma caracterizadora de movimiento s2 a partir de la unidad 206 de estimación de trayectoria de movimiento
o a partir de datos de orden cd.
Puesto que el entorno del usuario es muy variable, por ejemplo, la iluminación cambia durante el día, la identificación del objeto 130 o una orden, es decir una firma 402, a veces puede ser incorrecta. Por tanto, el DSP 200 puede comprender una unidad 210 de mejora de identificación. La orden pretendida depende, por ejemplo, del objeto 130 al que se apunta, o puede depender de la orden dada previamente, etc. Un objeto se identifica incorrectamente si no está presente en la habitación en la que se encuentra el dispositivo apuntador. Por tanto, pueden estar presentes medios 185 de reconocimiento de habitación, por ejemplo LED intermitentes. El usuario 100 puede explorar los medios 185 de reconocimiento de habitación con el dispositivo 101 apuntador cuando entra en la habitación. Aparte de la cámara 102, puede comprenderse un fotodiodo en el dispositivo 101 apuntador para detectar los medios 185 de reconocimiento de habitación. También están presentes balizas 180, 181, 182 de localización de habitación, de modo que el DSP 200 puede reconocer a qué parte de la habitación está apuntando el dispositivo 101 apuntador. Las balizas pueden ser luz que emite en el caso de que la cámara 102 debe reconocerlas, pero también pueden emitir, por ejemplo, radiación electromagnética. Objetos presentes en la habitación también pueden ayudar en el reconocimiento de un objeto. Por ejemplo, si el florero 170 está junto al objeto 130, su reconocimiento puede ayudar en el reconocimiento del objeto 130. Incluso puede usarse el análisis de la trayectoria pasada del dispositivo apuntador. Si el dispositivo apuntador estaba apuntando previamente al objeto 130 y se ha movido a la derecha, debe estar apuntando al aparato 110. Teniendo en cuenta toda esta información, la unidad 210 de mejora de identificación puede calcular, por ejemplo, probabilidades bayesianas o usar lógica difusa para llegar a una identificación más segura del objeto 130 y la orden pretendida.
La información de interacción de usuario I emitida por el DSP 200 comprende normalmente datos de aparato de control ac, que son, por ejemplo, una estructura que comprende los datos de identificación de objeto oi y los datos de identificación de orden ci, o un nuevo identificador basado en los mismos, identificando una orden pretendida para un aparato 110 particular. La información de interacción de usuario I también puede comprender datos de fotografía pd.
La figura 3 muestra esquemáticamente un dispositivo 300 apuntador (una realización de 101 en la figura 1) según la invención. No es necesario que todas las características mostradas estén presentes: un dispositivo apuntador sencillo puede comprender sólo una cámara 302 y por ejemplo una visualización 316 para retroalimentación. Pueden estar presentes varios botones, por ejemplo, el botón 308. Esto permite proporcionar determinadas órdenes sólo pulsando un botón. También pueden usarse movimientos similares del dispositivo 300 apuntador para dos órdenes diferentes, una vez con y una vez sin pulsar simultáneamente el botón 308. Un proyector 320 característico puede estar presente, por ejemplo, para proyectar un punto de láser hacia la ubicación a la que se apunta. La cámara del dispositivo apuntador puede enviar una fotografía al DSP 120 externo, pero también puede comprender por sí misma el DSP 200. De esta manera, el dispositivo apuntador también puede usarse en el exterior. También puede usarse un dispositivo 103 apuntador no llevado por el usuario 100 para monitorizar un aparato 110 o habitación. Aparte de detectar el movimiento por medio de la cámara, también pueden comprenderse otros medios 304 de detección de movimiento, por ejemplo un giroscopio o GPS diferencial. Un generador 309 de código programable y transmisor 310 inalámbrico también pueden estar presentes para enviar una orden directamente a un aparato 110. Pueden estar presentes medios de retroalimentación para proporcionar información adicional al usuario. Por ejemplo puede comprenderse una luz 312, un dispositivo 314 de producción de sonido, unos medios 306 de retroalimentación de fuerza, y en particular una visualización 316. Los medios de retroalimentación de fuerza pueden comprender una pequeña masa móvil, que puede estimular la vibración o el toque de un aparato. La visualización puede mostrar, por ejemplo, el centro de la región a la que se apunta, posiblemente superponiendo una cruz generada gráficamente en el centro de la fotografía obtenida. Esto también puede visualizarse en una televisión. De manera similar, la luz 160 puede usarse para proporcionar retroalimentación en lugar de luz 312. La retroalimentación en la visualización 316 puede mostrar, por ejemplo, la trayectoria 400 de movimiento y cómo de similar fue a trayectorias de movimiento previas durante la fase de entrenamiento de trayectoria de movimiento, ayudando al usuario 100 a enseñar al DSP 200 a reconocer un gesto estable. La visualización 316 también puede indicar qué ve el DSP 200 mostrando una fotografía después de varias etapas de procesamiento de imagen, por ejemplo, una fotografía que contiene bordes detectados, y que comprende texto que denomina el dispositivo identificado.
También pueden estar presentes medios 330 de identificación de usuario, por ejemplo, un sensor de huella dactilar,
o una entrada para una contraseña o una tarjeta inteligente personal. De esta manera, el DSP 200 puede establecerse a un modo de funcionamiento particular para el usuario 100. El usuario puede incluso proporcionar diferentes órdenes dependiendo de la habitación en la que está. También pueden comprenderse medios 340 de reconocimiento de habla, para complementar las órdenes dadas por movimientos del dispositivo 300 apuntador. Puede jugarse a juegos usando el dispositivo 101 apuntador como alguna clase de dispositivo de interfaz con el mundo real.
Claims (12)
- REIVINDICACIONES1. Sistema de interacción de usuario, que comprende:
- -
- un aparato (110) eléctrico;
- -
- un dispositivo (101, 300) apuntador portátil que puede hacerse funcionar por un usuario para apuntar a una región en el espacio;
- -
- una cámara (102) que toma una fotografía; y
- -
- un procesador (120) de señal digital, que puede recibir y procesar la fotografía, y que puede transmitir información de interfaz de usuario (I) derivada de la fotografía al aparato (110) eléctrico,
en el que la cámara (102) está conectada al dispositivo (101, 300) apuntador de modo que en funcionamiento obtiene imágenes de la región a la que se apunta, estando el sistema caracterizado porque comprende además al menos una baliza (180, 181, 182) de localización de habitación, en una habitación en la que se usa el dispositivo apuntador, que puede emitir radiación electromagnética, para su uso por el procesador (120) de señal digital con el fin de reconocer a qué parte de la habitación está apuntando el dispositivo apuntador; yel procesador (120) de señal digital está dispuesto además para reconocer a qué parte de una habitación está apuntando el dispositivo apuntador. -
- 2.
- Sistema de interacción de usuario según la reivindicación 1, que comprende además medios (304) de detección de movimiento para detectar un movimiento y/o para calcular una trayectoria (400, 410) de movimiento del dispositivo apuntador.
-
- 3.
- Sistema de interacción de usuario según la reivindicación 1, en el que el movimiento o la trayectoria (400, 410) de movimiento del dispositivo apuntador se estima basándose en fotografías sucesivas obtenidas por la cámara (102).
-
- 4.
- Sistema de interacción de usuario según la reivindicación 2 ó 3, en el que la información de interfaz de usuario (I) transmitida incluye al menos una característica seleccionada del grupo que consiste en velocidad de movimiento, y dirección de movimiento del dispositivo (101) apuntador.
-
- 5.
- Sistema de interacción de usuario según la reivindicación 2, en el que la información de interfaz de usuario
(I) transmitida incluye al menos una característica seleccionada del grupo que consiste en trayectoria (400) de movimiento del dispositivo (101) apuntador y una firma característica derivada de la trayectoria (400) de movimiento del dispositivo (101) apuntador. -
- 6.
- Sistema de interacción de usuario según una de las reivindicaciones 1 a 5, en el que el dispositivo (101) apuntador comprende además medios de retroalimentación para proporcionar información adicional al usuario.
-
- 7.
- Sistema de interacción de usuario según la reivindicación 6, en el que dichos medios de retroalimentación se seleccionan del grupo que consiste en luz (312), dispositivo (314) de producción de sonido, una visualización
(316) y medios (306) de retroalimentación de fuerza. -
- 8.
- Sistema de interacción de usuario según una de las reivindicaciones 1 a 7, en el que la información de interfaz de usuario (I) comprende datos de control de aparato (ac) para controlar el funcionamiento del aparato (110) eléctrico.
-
- 9.
- Dispositivo (101, 300) apuntador para su uso en un sistema de interacción de usuario según una de las reivindicaciones 1 a 8, caracterizado porque comprende el procesador (120) de señal digital y la cámara (102) y pudiendo el dispositivo apuntador enviar una fotografía al procesador (120) de señal digital.
-
- 10.
- Dispositivo (101, 300) apuntador según la reivindicación 9, que comprende un proyector (320) característico para proyectar ópticamente un patrón característico hacia una región a la que se apunta.
-
- 11.
- Dispositivo (101, 300) apuntador según la reivindicación 9 ó 10, que comprende un generador (309) de código de interfaz de usuario programable y un transmisor (310) inalámbrico para transmitir el código al aparato
(110) eléctrico. - 12. Aparato (110) eléctrico para su uso en un sistema de interacción de usuario según la reivindicación 1, caracterizado porque están comprendidos medios de interfaz que permiten que el aparato (110) eléctrico envíe información acerca de órdenes soportadas a un dispositivo (101, 300) apuntador como en el sistema según la reivindicación 1, basándose en una llamada de “identificar órdenes soportadas” del dispositivo (101, 300) apuntadoral aparato (110) eléctrico.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP02079816 | 2002-11-20 | ||
EP02079816 | 2002-11-20 | ||
PCT/IB2003/004830 WO2004047011A2 (en) | 2002-11-20 | 2003-10-28 | User interface system based on pointing device |
Publications (1)
Publication Number | Publication Date |
---|---|
ES2378665T3 true ES2378665T3 (es) | 2012-04-16 |
Family
ID=32319629
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES09159405T Expired - Lifetime ES2425076T3 (es) | 2002-11-20 | 2003-10-28 | Sistema de interfaz de usuario basado en dispositivo de puntero |
ES03758471T Expired - Lifetime ES2378665T3 (es) | 2002-11-20 | 2003-10-28 | Sistema de interfaz de usuario basado en dispositivo apuntador |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES09159405T Expired - Lifetime ES2425076T3 (es) | 2002-11-20 | 2003-10-28 | Sistema de interfaz de usuario basado en dispositivo de puntero |
Country Status (11)
Country | Link |
---|---|
US (4) | US7940986B2 (es) |
EP (3) | EP2012221A3 (es) |
JP (4) | JP4243248B2 (es) |
KR (1) | KR20050075031A (es) |
CN (4) | CN101158886B (es) |
AT (1) | ATE537528T1 (es) |
AU (1) | AU2003274496A1 (es) |
DK (1) | DK1573498T3 (es) |
ES (2) | ES2425076T3 (es) |
PT (2) | PT1573498E (es) |
WO (1) | WO2004047011A2 (es) |
Families Citing this family (120)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2309259T3 (es) * | 2003-08-29 | 2008-12-16 | Trumpf Laser- Und Systemtechnik Gmbh | Dispositivo para el mecanizado remoto de piezas de trabajo mediante un rayo laser de mecanizado. |
JP2007519989A (ja) * | 2003-12-18 | 2007-07-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 装置の制御のための方法及びシステム |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
WO2005119356A2 (en) | 2004-05-28 | 2005-12-15 | Erik Jan Banning | Interactive direct-pointing system and calibration method |
JP2008508587A (ja) * | 2004-07-28 | 2008-03-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 機器の制御方法 |
EP1784805B1 (en) * | 2004-08-24 | 2014-06-11 | Philips Intellectual Property & Standards GmbH | Method for locating an object associated with a device to be controlled and a method for controlling the device |
US20060072009A1 (en) * | 2004-10-01 | 2006-04-06 | International Business Machines Corporation | Flexible interaction-based computer interfacing using visible artifacts |
US8456534B2 (en) | 2004-10-25 | 2013-06-04 | I-Interactive Llc | Multi-directional remote control system and method |
US8842186B2 (en) | 2004-10-25 | 2014-09-23 | I-Interactive Llc | Control system and method employing identification of a displayed image |
US8760522B2 (en) | 2005-10-21 | 2014-06-24 | I-Interactive Llc | Multi-directional remote control system and method |
US7796116B2 (en) | 2005-01-12 | 2010-09-14 | Thinkoptics, Inc. | Electronic equipment for handheld vision based absolute pointing system |
JP2008529147A (ja) * | 2005-01-28 | 2008-07-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 装置の制御方法 |
CN101185054B (zh) * | 2005-05-31 | 2011-11-23 | 皇家飞利浦电子股份有限公司 | 用于控制设备的方法 |
US9465450B2 (en) * | 2005-06-30 | 2016-10-11 | Koninklijke Philips N.V. | Method of controlling a system |
EP1897010A1 (en) | 2005-06-30 | 2008-03-12 | Nokia Corporation | Camera control means to allow operating of a destined location of the information surface of a presentation and information system |
JP2007011963A (ja) * | 2005-07-04 | 2007-01-18 | Fuji Xerox Co Ltd | 端末装置による情報処理方法およびシステム |
EP1742144B1 (en) * | 2005-07-04 | 2018-10-24 | Electrolux Home Products Corporation N.V. | Household appliance with virtual data interface |
CN100565438C (zh) | 2005-07-11 | 2009-12-02 | 皇家飞利浦电子股份有限公司 | 控制在命令区域上控制点位置的方法和系统 |
US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
EP1744290B1 (en) * | 2005-07-15 | 2018-05-30 | Samsung Electronics Co., Ltd. | Integrated remote controller and method of selecting device controlled thereby |
JP2009505201A (ja) * | 2005-08-11 | 2009-02-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ポインティング装置の動きを判定する方法 |
WO2007020549A2 (en) * | 2005-08-12 | 2007-02-22 | Koninklijke Philips Electronics N.V. | Method of calibrating a control system for controlling a device |
US7809214B2 (en) | 2005-08-22 | 2010-10-05 | Samsung Electronics Co., Ltd. | Device and a method for identifying movement patterns |
US7942745B2 (en) † | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
US7513700B2 (en) | 2005-12-13 | 2009-04-07 | Sony Ericsson Mobile Communications Ab | Image element identifier |
KR100800998B1 (ko) * | 2005-12-24 | 2008-02-11 | 삼성전자주식회사 | 홈 네트워크 기기 제어 장치 및 방법 |
DE102006015045A1 (de) * | 2006-03-31 | 2007-10-04 | Siemens Ag | Fernbedienung, Gebäudesteuerungssystem und Verfahren zur Gebäudesteuerung |
US8013838B2 (en) * | 2006-06-30 | 2011-09-06 | Microsoft Corporation | Generating position information using a video camera |
US8913003B2 (en) | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
US7835544B2 (en) | 2006-08-31 | 2010-11-16 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Method and system for far field image absolute navigation sensing |
US20080156989A1 (en) * | 2006-12-28 | 2008-07-03 | O2Micro Inc. | Motion sensing/recognition by camera applications |
AU2012216491B2 (en) * | 2007-02-27 | 2014-01-09 | Accenture Global Services Limited | Video call device control |
EP1968320B1 (en) | 2007-02-27 | 2018-07-18 | Accenture Global Services Limited | Video call device control |
JP4767200B2 (ja) * | 2007-03-08 | 2011-09-07 | 任天堂株式会社 | 情報選択装置および情報選択プログラム |
US9176598B2 (en) | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
WO2008138280A1 (de) * | 2007-05-10 | 2008-11-20 | Siemens Aktiengesellschaft | Bedienung von automatisierungsgeräten durch ein mobiles endgerät |
US8237656B2 (en) * | 2007-07-06 | 2012-08-07 | Microsoft Corporation | Multi-axis motion-based remote control |
JP5008484B2 (ja) * | 2007-07-11 | 2012-08-22 | 株式会社日立国際電気 | 映像処理方法 |
US7529542B1 (en) | 2008-04-21 | 2009-05-05 | International Business Machines Corporation | Method of establishing communication between two or more real world entities and apparatuses performing the same |
US7991896B2 (en) | 2008-04-21 | 2011-08-02 | Microsoft Corporation | Gesturing to select and configure device communication |
KR100908099B1 (ko) | 2008-06-03 | 2009-07-16 | 엘지전자 주식회사 | Dtv, 3d포인팅 디바이스 및 dtv의 기능 실행 방법 |
KR100931403B1 (ko) * | 2008-06-25 | 2009-12-11 | 한국과학기술연구원 | 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템 |
FR2933212B1 (fr) * | 2008-06-27 | 2013-07-05 | Movea Sa | Pointeur a capture de mouvement resolue par fusion de donnees |
US8223121B2 (en) | 2008-10-20 | 2012-07-17 | Sensor Platforms, Inc. | Host system and method for determining an attitude of a device undergoing dynamic acceleration |
KR101499133B1 (ko) * | 2008-10-28 | 2015-03-11 | 삼성전자주식회사 | 휴대 단말기의 메뉴수행 장치 및 방법 |
US8587519B2 (en) | 2009-01-07 | 2013-11-19 | Sensor Platforms, Inc. | Rolling gesture detection using a multi-dimensional pointing device |
US8515707B2 (en) | 2009-01-07 | 2013-08-20 | Sensor Platforms, Inc. | System and method for determining an attitude of a device undergoing dynamic acceleration using a Kalman filter |
FR2942060B1 (fr) * | 2009-02-11 | 2016-02-12 | Oberthur Technologies | Entite electronique apte a communiquer avec un lecteur et procede mis en oeuvre au sein d'une telle entite electronique |
US9014685B2 (en) * | 2009-06-12 | 2015-04-21 | Microsoft Technology Licensing, Llc | Mobile device which automatically determines operating mode |
CN101937289B (zh) * | 2009-06-30 | 2013-06-05 | 鸿富锦精密工业(深圳)有限公司 | 光学触控装置 |
WO2011019154A2 (en) * | 2009-08-14 | 2011-02-17 | Lg Electronics Inc. | Remote control device and remote control method using the same |
US8457651B2 (en) * | 2009-10-02 | 2013-06-04 | Qualcomm Incorporated | Device movement user interface gestures for file sharing functionality |
CN102741779B (zh) * | 2009-10-08 | 2016-08-03 | 萨姆万斯集团知识产权控股私人有限公司Acn131335325 | 共享数据的方法、系统和控制器 |
US9174123B2 (en) * | 2009-11-09 | 2015-11-03 | Invensense, Inc. | Handheld computer systems and techniques for character and command recognition related to human movements |
CN101908220A (zh) * | 2010-07-09 | 2010-12-08 | 北京水晶石数字科技有限公司 | 一种大型活动演练方法和系统 |
CN101901496A (zh) * | 2010-07-09 | 2010-12-01 | 北京水晶石数字科技有限公司 | 一种大型活动演练方法和系统 |
US8432264B1 (en) * | 2010-07-23 | 2013-04-30 | Tivo Inc. | Motion-activated remote control backlight |
US8613666B2 (en) * | 2010-08-31 | 2013-12-24 | Microsoft Corporation | User selection and navigation based on looped motions |
WO2012030153A2 (ko) * | 2010-09-02 | 2012-03-08 | 주식회사 엘앤와이비젼 | 비접촉식 입력장치 |
US8760432B2 (en) | 2010-09-21 | 2014-06-24 | Visteon Global Technologies, Inc. | Finger pointing, gesture based human-machine interface for vehicles |
US20150153715A1 (en) * | 2010-09-29 | 2015-06-04 | Google Inc. | Rapidly programmable locations in space |
US9477302B2 (en) | 2012-08-10 | 2016-10-25 | Google Inc. | System and method for programing devices within world space volumes |
US8957909B2 (en) | 2010-10-07 | 2015-02-17 | Sensor Platforms, Inc. | System and method for compensating for drift in a display of a user interface state |
US9952671B2 (en) * | 2010-10-12 | 2018-04-24 | Nokia Technologies Oy | Method and apparatus for determining motion |
US8861797B2 (en) | 2010-11-12 | 2014-10-14 | At&T Intellectual Property I, L.P. | Calibrating vision systems |
JP5692904B2 (ja) * | 2010-11-17 | 2015-04-01 | 任天堂株式会社 | 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法 |
US20120169482A1 (en) * | 2011-01-05 | 2012-07-05 | Ian Chen | System and Method for Selecting a Device for Remote Control Based on Determined Navigational State of a Remote Control Device |
WO2012114240A1 (en) * | 2011-02-21 | 2012-08-30 | Koninklijke Philips Electronics N.V. | Estimating control feature from remote control with camera |
US9179182B2 (en) | 2011-04-12 | 2015-11-03 | Kenneth J. Huebner | Interactive multi-display control systems |
DE102011101387A1 (de) * | 2011-05-12 | 2012-11-15 | Abb Ag | Tragbares Anzeige- und Bediengerät |
WO2013017991A1 (en) | 2011-08-02 | 2013-02-07 | Koninklijke Philips Electronics N.V. | Remote control with first and second sensors |
KR101733115B1 (ko) * | 2011-11-08 | 2017-05-10 | 한국전자통신연구원 | 원격 스크린내 콘텐츠 원격 제어 방법 및 장치 |
CN103135447A (zh) * | 2011-11-24 | 2013-06-05 | 亚旭电子科技(江苏)有限公司 | 遥控器转接装置 |
CN103135791A (zh) * | 2011-12-02 | 2013-06-05 | 捷达世软件(深圳)有限公司 | 电子装置控制系统及方法 |
EP2602691A1 (en) * | 2011-12-05 | 2013-06-12 | Alcatel Lucent | Method for gesture control, gesture server device and sensor input device |
KR101874853B1 (ko) * | 2011-12-29 | 2018-07-05 | 주식회사 알티캐스트 | 모바일 장치와 디스플레이 장치 간의 동기화 방법 및 장치, 모바일 장치, 디스플레이 장치 |
US9459276B2 (en) | 2012-01-06 | 2016-10-04 | Sensor Platforms, Inc. | System and method for device self-calibration |
US9316513B2 (en) | 2012-01-08 | 2016-04-19 | Sensor Platforms, Inc. | System and method for calibrating sensors for different operating environments |
DE102012203458A1 (de) * | 2012-03-05 | 2013-09-05 | E.G.O. Elektro-Gerätebau GmbH | Abgesetzte Bedieneinheit für ein Haushaltsgerät |
US9228842B2 (en) | 2012-03-25 | 2016-01-05 | Sensor Platforms, Inc. | System and method for determining a uniform external magnetic field |
JP5858850B2 (ja) * | 2012-04-02 | 2016-02-10 | 三菱電機株式会社 | 空気調和機の室内機 |
US9619036B2 (en) * | 2012-05-11 | 2017-04-11 | Comcast Cable Communications, Llc | System and methods for controlling a user experience |
CN103513753B (zh) * | 2012-06-18 | 2017-06-27 | 联想(北京)有限公司 | 信息处理方法和电子设备 |
DE102012210784B4 (de) * | 2012-06-25 | 2015-11-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Transponder für Hausautomatisierungssysteme |
TWI526041B (zh) * | 2012-07-17 | 2016-03-11 | 廣達電腦股份有限公司 | 互動系統及互動方法 |
CN103853364A (zh) * | 2012-11-29 | 2014-06-11 | 联想(北京)有限公司 | 一种触觉反馈方法、电子设备及触觉反馈系统 |
FR3000242A1 (fr) | 2012-12-21 | 2014-06-27 | France Telecom | Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques. |
FR3000241A1 (fr) * | 2012-12-21 | 2014-06-27 | France Telecom | Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’objets numeriques purement virtuels. |
WO2014106862A2 (en) * | 2013-01-03 | 2014-07-10 | Suman Saurav | A method and system enabling control of different digital devices using gesture or motion control |
KR20140099111A (ko) * | 2013-02-01 | 2014-08-11 | 삼성전자주식회사 | 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치 |
US9804576B2 (en) | 2013-02-27 | 2017-10-31 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with position and derivative decision reference |
US9498885B2 (en) | 2013-02-27 | 2016-11-22 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with confidence-based decision support |
US9798302B2 (en) | 2013-02-27 | 2017-10-24 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with redundant system input support |
US9393695B2 (en) * | 2013-02-27 | 2016-07-19 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with person and object discrimination |
US10198080B1 (en) * | 2013-03-11 | 2019-02-05 | Amazon Technologies, Inc. | Virtual user interface |
TWI505175B (zh) * | 2013-04-29 | 2015-10-21 | Hon Hai Prec Ind Co Ltd | 具有三維用戶介面的遠端控制裝置及其介面生成方法 |
CN103607538A (zh) | 2013-11-07 | 2014-02-26 | 北京智谷睿拓技术服务有限公司 | 拍摄方法及拍摄装置 |
CN103605701A (zh) | 2013-11-07 | 2014-02-26 | 北京智谷睿拓技术服务有限公司 | 通信对象的确定方法及确定装置 |
US20150139483A1 (en) * | 2013-11-15 | 2015-05-21 | David Shen | Interactive Controls For Operating Devices and Systems |
ES2542089B1 (es) * | 2014-01-30 | 2016-05-04 | Universidad De Extremadura | Sistema de control remoto de dispositivos con láser |
DE102014002431A1 (de) * | 2014-02-19 | 2015-08-20 | Franzkann* Herbold Und Herrmann Gbr (Vertrber. Ges.: Herbold, Christian, 76131 Karlsruhe) | Verfahren und Vorrichtung zur Bedienung mehrerer elektronischer Geräte |
US9807725B1 (en) | 2014-04-10 | 2017-10-31 | Knowles Electronics, Llc | Determining a spatial relationship between different user contexts |
WO2016050708A1 (en) * | 2014-09-29 | 2016-04-07 | Koninklijke Philips N.V. | Remote control device, user device and system thereof, and method, computer program product and identification signal |
WO2016050828A1 (en) * | 2014-09-30 | 2016-04-07 | Koninklijke Philips N.V. | User interface system based on pointing device |
US9668048B2 (en) | 2015-01-30 | 2017-05-30 | Knowles Electronics, Llc | Contextual switching of microphones |
US9983693B2 (en) | 2015-03-13 | 2018-05-29 | Adtile Technologies Inc. | Spatial motion-based user interactivity |
CN105141913A (zh) * | 2015-08-18 | 2015-12-09 | 华为技术有限公司 | 可视化远程控制可触控设备的方法、系统和相关设备 |
US10427038B2 (en) | 2016-01-21 | 2019-10-01 | Toccata Gaming International, Llc | Game console incorporating beam-splitter display and real world objects |
US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
DE102017100017A1 (de) * | 2016-09-09 | 2018-03-15 | Huf Secure Mobile GmbH | Verfahren zum Auslösen einer Funktion und Handgerät |
US11158187B2 (en) | 2016-11-21 | 2021-10-26 | Koninklijke Philips N.V. | Remote-control device and user device using an identification signal |
KR20180098079A (ko) * | 2017-02-24 | 2018-09-03 | 삼성전자주식회사 | 비전 기반의 사물 인식 장치 및 그 제어 방법 |
US11163434B2 (en) * | 2019-01-24 | 2021-11-02 | Ademco Inc. | Systems and methods for using augmenting reality to control a connected home system |
US11709099B2 (en) | 2019-07-01 | 2023-07-25 | Snap-On Incorporated | Method and system for calibrating imaging system |
US11555743B2 (en) * | 2019-07-01 | 2023-01-17 | Snap-On Incorporated | Method and system for calibrating imaging system |
US10965914B2 (en) | 2019-07-08 | 2021-03-30 | Andrae T. D'Acquisto | Trail camera |
US11445107B2 (en) | 2019-08-08 | 2022-09-13 | Qorvo Us, Inc. | Supervised setup for control device with imager |
KR20220140221A (ko) * | 2021-04-09 | 2022-10-18 | 삼성전자주식회사 | 복수의 카메라를 포함하는 웨어러블 전자 장치 |
US20220405317A1 (en) * | 2021-06-18 | 2022-12-22 | Google Llc | Remote Control Device with Environment Mapping |
Family Cites Families (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4576481A (en) * | 1982-12-13 | 1986-03-18 | Position Orientation Systems, Ltd. | Passive optical position measurement system |
US5045843B1 (en) * | 1988-12-06 | 1996-07-16 | Selectech Ltd | Optical pointing device |
US4963017A (en) * | 1989-05-01 | 1990-10-16 | General Electric Company | Variable depth range camera |
US5016107A (en) * | 1989-05-09 | 1991-05-14 | Eastman Kodak Company | Electronic still camera utilizing image compression and digital storage |
DE4005081A1 (de) * | 1990-02-17 | 1991-08-22 | Torres Peraza Mario | Waage, insbesondere selbstbedienungswaage |
JP3218716B2 (ja) | 1992-07-31 | 2001-10-15 | ソニー株式会社 | 入力装置、及び入力システム |
JP2790965B2 (ja) * | 1992-08-19 | 1998-08-27 | 富士通株式会社 | 光学式ポインティングシステム |
US5454043A (en) * | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
JPH0759170A (ja) | 1993-08-19 | 1995-03-03 | Toshiba Corp | リモートコントロール装置 |
JP3186390B2 (ja) * | 1993-12-27 | 2001-07-11 | ソニー株式会社 | 電子機器制御システム、および電子機器制御装置 |
JP3262677B2 (ja) | 1994-05-02 | 2002-03-04 | 株式会社ワコム | 情報入力装置 |
JPH0814911A (ja) * | 1994-07-04 | 1996-01-19 | Sharp Corp | 動作認識装置 |
JP3422383B2 (ja) | 1994-09-05 | 2003-06-30 | 株式会社タイトー | 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置 |
US5926168A (en) * | 1994-09-30 | 1999-07-20 | Fan; Nong-Qiang | Remote pointers for interactive televisions |
JPH08331667A (ja) * | 1995-05-30 | 1996-12-13 | Oki Electric Ind Co Ltd | ポインティングシステム |
US5682196A (en) * | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
JP3475419B2 (ja) * | 1995-10-11 | 2003-12-08 | ソニー株式会社 | テレビジョン受像機 |
KR0164089B1 (ko) * | 1995-12-20 | 1998-12-01 | 양승택 | 무선원격제어 장치 및 방법 |
DE19548776A1 (de) * | 1995-12-23 | 1997-06-26 | Thomson Brandt Gmbh | Verfahren zur Fernbedienung von elektronischen Geräten und Vorrichtung zur Fernbedienung von elektronischen Geräten sowie elektronisches Gerät |
US5719622A (en) * | 1996-02-23 | 1998-02-17 | The Regents Of The University Of Michigan | Visual control selection of remote mechanisms |
JPH09230991A (ja) | 1996-02-23 | 1997-09-05 | Fuji Xerox Co Ltd | 情報処理装置 |
JPH10198506A (ja) * | 1997-01-13 | 1998-07-31 | Osaka Gas Co Ltd | 座標検出システム |
JPH1186038A (ja) | 1997-03-03 | 1999-03-30 | Sega Enterp Ltd | 画像処理装置、画像処理方法及び媒体並びにゲーム機 |
WO1999035633A2 (en) | 1998-01-06 | 1999-07-15 | The Video Mouse Group | Human motion following computer mouse and game controller |
EP1073946A1 (en) | 1998-04-30 | 2001-02-07 | C Technologies AB | Control device and method of controlling an object |
JPH11338633A (ja) | 1998-05-21 | 1999-12-10 | Toshiba Fa Syst Eng Corp | ポインティングデバイス、コンピュータ装置及びコンピュータシステム |
US7218243B2 (en) * | 1998-07-23 | 2007-05-15 | Universal Electronics Inc. | System and method for automatically setting up a universal remote control |
JP4176230B2 (ja) | 1999-03-19 | 2008-11-05 | 株式会社ルネサステクノロジ | 座標位置制御システム、座標位置制御方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
DE60043417D1 (de) * | 1999-03-31 | 2010-01-14 | Koninkl Philips Electronics Nv | Fernsteuerungsanordnung für eine anzeigevorrichtung |
JP2000300843A (ja) | 1999-04-19 | 2000-10-31 | Taito Corp | ゲーム機の入力装置 |
JP2001008279A (ja) * | 1999-06-18 | 2001-01-12 | Sony Corp | リモートコントローラおよびリモートコントロール方法、並びに媒体、機器および表示方法、並びに媒体 |
US6275214B1 (en) | 1999-07-06 | 2001-08-14 | Karl C. Hansen | Computer presentation system and method with optical tracking of wireless pointer |
EP1071285A1 (en) * | 1999-07-19 | 2001-01-24 | Texas Instruments Inc. | Vertical compensation in a moving camera |
US20010010514A1 (en) | 1999-09-07 | 2001-08-02 | Yukinobu Ishino | Position detector and attitude detector |
US6346933B1 (en) * | 1999-09-21 | 2002-02-12 | Seiko Epson Corporation | Interactive display presentation system |
WO2001052230A1 (en) | 2000-01-10 | 2001-07-19 | Ic Tech, Inc. | Method and system for interacting with a display |
US7187412B1 (en) * | 2000-01-18 | 2007-03-06 | Hewlett-Packard Development Company, L.P. | Pointing device for digital camera display |
US7028269B1 (en) * | 2000-01-20 | 2006-04-11 | Koninklijke Philips Electronics N.V. | Multi-modal video target acquisition and re-direction system and method |
JP2001236174A (ja) * | 2000-02-25 | 2001-08-31 | Fujitsu Ltd | 手書き文字入力装置及び手書き文字認識方法 |
EP1184982B1 (en) * | 2000-08-24 | 2009-05-06 | Sony Deutschland GmbH | Remote control device |
US6489986B1 (en) * | 2000-09-29 | 2002-12-03 | Digeo, Inc. | Remote control device for video and audio capture and communication |
US7016532B2 (en) * | 2000-11-06 | 2006-03-21 | Evryx Technologies | Image capture and identification system and process |
US20020085097A1 (en) | 2000-12-22 | 2002-07-04 | Colmenarez Antonio J. | Computer vision-based wireless pointing system |
JP2002196877A (ja) | 2000-12-25 | 2002-07-12 | Hitachi Ltd | イメージセンサを用いた電子機器 |
US7031875B2 (en) | 2001-01-24 | 2006-04-18 | Geo Vector Corporation | Pointing systems for addressing objects |
DE10110979A1 (de) | 2001-03-07 | 2002-09-26 | Siemens Ag | Anordnung zur Verknüpfung von optisch erkannten Mustern mit Informationen |
JP2002290853A (ja) * | 2001-03-22 | 2002-10-04 | Canon Inc | テレビジョン放送受信装置およびテレビジョン放送受信方法およびテレビジョン放送受信プログラム |
EP1374139B1 (en) * | 2001-03-29 | 2011-05-04 | LASX Industries, Inc. | Controller for a laser using predictive models ofa laser beam motion system |
US20020149617A1 (en) * | 2001-03-30 | 2002-10-17 | Becker David F. | Remote collaboration technology design and methodology |
JP3811025B2 (ja) * | 2001-07-03 | 2006-08-16 | 株式会社日立製作所 | ネットワーク・システム |
GB0117418D0 (en) * | 2001-07-17 | 2001-09-12 | Storm Mason R | Litecam |
JP4304337B2 (ja) * | 2001-09-17 | 2009-07-29 | 独立行政法人産業技術総合研究所 | インタフェース装置 |
GB2381686A (en) * | 2001-10-31 | 2003-05-07 | Hewlett Packard Co | Apparatus for recording and reproducing pointer positions on a document. |
JP3706071B2 (ja) * | 2002-01-15 | 2005-10-12 | 株式会社エルモ社 | 撮像装置 |
US6982697B2 (en) * | 2002-02-07 | 2006-01-03 | Microsoft Corporation | System and process for selecting objects in a ubiquitous computing environment |
US6990639B2 (en) * | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
US20030156073A1 (en) * | 2002-02-20 | 2003-08-21 | Koninlijke Philips Electronics N.V. | Apparatus for adjusting proximate video monitors to output substantially identical video images and corresponding methods therefor |
US20040048663A1 (en) * | 2002-09-10 | 2004-03-11 | Zeroplus Technology Co., Ltd. | Photographic pointer positioning device |
WO2005109859A2 (en) * | 2004-05-01 | 2005-11-17 | Eliezer Jacob | Digital camera with non-uniform image resolution |
-
2003
- 2003-10-28 CN CN200710137941XA patent/CN101158886B/zh not_active Expired - Lifetime
- 2003-10-28 PT PT03758471T patent/PT1573498E/pt unknown
- 2003-10-28 JP JP2004552957A patent/JP4243248B2/ja not_active Expired - Lifetime
- 2003-10-28 WO PCT/IB2003/004830 patent/WO2004047011A2/en active Application Filing
- 2003-10-28 CN CNB2003801036299A patent/CN100334531C/zh not_active Expired - Fee Related
- 2003-10-28 PT PT91594051T patent/PT2093650E/pt unknown
- 2003-10-28 EP EP08165330A patent/EP2012221A3/en not_active Ceased
- 2003-10-28 CN CN2007101278527A patent/CN101101520B/zh not_active Expired - Lifetime
- 2003-10-28 DK DK03758471.1T patent/DK1573498T3/da active
- 2003-10-28 ES ES09159405T patent/ES2425076T3/es not_active Expired - Lifetime
- 2003-10-28 AU AU2003274496A patent/AU2003274496A1/en not_active Abandoned
- 2003-10-28 AT AT03758471T patent/ATE537528T1/de active
- 2003-10-28 EP EP03758471A patent/EP1573498B1/en not_active Expired - Lifetime
- 2003-10-28 KR KR1020057008955A patent/KR20050075031A/ko not_active Application Discontinuation
- 2003-10-28 EP EP09159405.1A patent/EP2093650B1/en not_active Expired - Lifetime
- 2003-10-28 CN CNA2007101278512A patent/CN101101512A/zh active Pending
- 2003-10-28 US US10/535,464 patent/US7940986B2/en active Active
- 2003-10-28 ES ES03758471T patent/ES2378665T3/es not_active Expired - Lifetime
-
2008
- 2008-11-26 JP JP2008300814A patent/JP4491495B2/ja not_active Expired - Lifetime
-
2009
- 2009-04-14 JP JP2009098091A patent/JP2009217829A/ja not_active Ceased
- 2009-05-25 JP JP2009125318A patent/JP5122517B2/ja not_active Expired - Lifetime
- 2009-06-11 US US12/482,864 patent/US8537231B2/en active Active
-
2011
- 2011-03-31 US US13/077,334 patent/US8971629B2/en active Active
-
2013
- 2013-09-04 US US14/017,335 patent/US8970725B2/en not_active Expired - Fee Related
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2378665T3 (es) | Sistema de interfaz de usuario basado en dispositivo apuntador | |
US10320437B2 (en) | System and method for immersive and interactive multimedia generation | |
US10223834B2 (en) | System and method for immersive and interactive multimedia generation | |
US20180046874A1 (en) | System and method for marker based tracking | |
US9600078B2 (en) | Method and system enabling natural user interface gestures with an electronic system | |
US9134800B2 (en) | Gesture input device and gesture input method | |
US7307617B2 (en) | System and process for selecting objects in a ubiquitous computing environment | |
JP2009134718A5 (es) | ||
WO2017145787A1 (ja) | 遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラム | |
TW201714050A (zh) | 頭戴式裝置以及導覽方法 | |
CN108139876B (zh) | 用于沉浸式和交互式多媒体生成的系统和方法 | |
WO2022009338A1 (ja) | 情報処理端末、遠隔制御方法およびプログラム | |
JP3159906U (ja) | 画像処理モジュール | |
KR20160121963A (ko) | 제스처 인식이 가능한 적외선 터치스크린 시스템 | |
US20160224121A1 (en) | Feedback method and system for interactive systems |