ES2364054T3 - Procedimiento y sistema para reducir los efectos de señales no deseadas en un sistema de formación de imágenes infrarrojas. - Google Patents

Procedimiento y sistema para reducir los efectos de señales no deseadas en un sistema de formación de imágenes infrarrojas. Download PDF

Info

Publication number
ES2364054T3
ES2364054T3 ES05105247T ES05105247T ES2364054T3 ES 2364054 T3 ES2364054 T3 ES 2364054T3 ES 05105247 T ES05105247 T ES 05105247T ES 05105247 T ES05105247 T ES 05105247T ES 2364054 T3 ES2364054 T3 ES 2364054T3
Authority
ES
Spain
Prior art keywords
infrared light
image capture
image
light
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES05105247T
Other languages
English (en)
Inventor
Andrew D. Wilson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Application granted granted Critical
Publication of ES2364054T3 publication Critical patent/ES2364054T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Un sistema para proporcionar una entrada a una aplicación que se está ejecutando que comprende: (a) una superficie permeable a la luz que tiene una cara de tratamiento y una cara interactiva, estando configurada la cara interactiva para permitir que un objeto físico (76a, 76b) esté dispuesto en la cara interactiva, o adyacente a la misma, siendo la cara de tratamiento opuesta a la cara interactiva; (b) una fuente de luz infrarroja deseada dispuesta en la cara de tratamiento de la superficie permeable a la luz, emitiendo selectivamente la fuente de luz infrarroja deseada luz infrarroja que se transmite a través de la superficie permeable a la luz hasta la cara interactiva y vuelve a ser reflejada a través de la superficie permeable a la luz por el objeto físico que está dispuesto en la cara interactiva de la superficie permeable a la luz, o es adyacente a la misma; (c) un dispositivo de captura de imágenes dispuesto en la cara de tratamiento de la superficie permeable a la luz, captando el dispositivo de captura de imágenes la luz infrarroja que pasa a través de la superficie permeable a la luz y formando la superficie de visualización interactiva una imagen para detectar el objeto físico y su ubicación; (d) un procesador en comunicación con la fuente de luz infrarroja deseada y con el dispositivo de captura de imágenes; y (e) una memoria (510) en comunicación con el procesador, almacenando la memoria datos e instrucciones de máquina que hacen que el procesador lleve a cabo una pluralidad de funciones, que incluyen: (i) activar la fuente de luz infrarroja deseada durante un primer intervalo de captura de imágenes; (ii) capturar, con el dispositivo de captura de imágenes, un primer conjunto de datos de imágenes durante el primer intervalo de captura de imágenes; (iii) desactivar la fuente de luz infrarroja deseada durante un segundo intervalo de captura de imágenes; (iv) capturar, con el dispositivo de captura de imágenes, un segundo conjunto de datos de imágenes durante el segundo intervalo de captura de imágenes; y (v) generar un conjunto compuesto de datos de imágenes restando de los primeros valores del primer conjunto de datos de imágenes los valores correspondientes del segundo conjunto de datos de imágenes, eliminándose sustancialmente en el conjunto compuesto de datos un efecto de la luz infrarroja capturada por el dispositivo de captura de imágenes, pero no emitida por la fuente infrarroja deseada, incluyendo el conjunto compuesto resultante de datos de imágenes únicamente datos de imágenes resultantes de la iluminación genera por la fuente de luz infrarroja deseada.

Description

Campo de la invención
La presente invención incumbe en general a la formación activa de imágenes infrarrojas (IJ) y, más específicamente, a la eliminación de señales IR recibidas de fuentes IR no buscadas ni deseadas en una zona de interés para mejorar la calidad de los datos de imágenes resultantes de la fuente IR activa.
Antecedentes de la invención
La presencia de señales no deseadas es una inquietud en el tratamiento de casi todas las señales electromagnéticas. Incluso es un sistema relativamente simple, como la radio, se proporciona a menudo un control de reducción de ruido para atenuar las señales por debajo de una cierta magnitud, para evitar que el ruido estático no deseado de fondo sea audible cuando no se está recibiendo una señal de interés. Qué constituye un ruido estático no deseado de fondo debe decidirlo el usuario, y el usuario puede configurar el control de reducción de ruido para limitar la audibilidad de las señales recibidas en base al criterio del usuario.
Los sistemas automatizados de tratamiento de señales, en los que un sistema de ordenador responde de manera autónoma a señales de entrada, presentan un problema más difícil. A diferencia del ejemplo de un control de reducción de ruido, en el que un usuario puede ajustar el nivel de reducción de ruido en base a su experiencia y su criterio, es más difícil programar un sistema de ordenadores para que automáticamente fije un límite para diferenciar entre tipos de señales que son deseables y las que no. Por ejemplo, los ordenadores responden bien a entradas no ambiguas de teclados, dispositivos de puntero y dispositivos de entrada similares, pero responden de forma menos satisfactoria a las órdenes de voz. Cualquiera que haya usado programas de reconocimiento de voz ha experimentado cierta dificultad cuando el ordenador no llega a reconocer algo que el usuario dijo, lo que ocurre más a menudo si hay cualquier ruido de fondo u otros sonidos que afecten la entrada auditiva percibida por el ordenador.
Podría decirse que la visión por ordenador es un problema mucho más intricado que el reconocimiento de voz. Si el ordenador tiene que procesar demasiadas señales visuales o un intervalo demasiado amplio de señales visuales, lo más probable es que el ordenador lea la entrada indebidamente. Por otra parte, si el ordenador suprime demasiadas señales visuales, el ordenador también puede leer indebidamente las entradas visuales o ignorar por completo las entradas visuales intencionales.
Hoy, la visión por ordenador se está convirtiendo cada vez más en un campo importante para fomentar el deseo de hacer que los ordenadores y sus interfaces sean aún más fáciles de usar para el usuario. Por ejemplo, el Laboratorio de Medios del MIT, según el informe de Brygg Ullmer e Hiroshi Ishii en “The metaDESK: Models and Prototypes for Tangible User Interfaces”, Proceedings of UIST 10/1997:14-17, ha desarrollado otra forma de interfaz sin teclado entre ser humano y máquina. El metaDESK incluye una superficie gráfica generalmente plana que no solo muestra una salida en forma de texto y gráfica del sistema de cálculo, sino que también recibe la entrada del usuario por “visión” y respondiendo a un objeto situado contra la superficie gráfica. El objeto combinado sensible y la capacidad de visualización de la superficie gráfica del metaDESK se ven facilitados usando lámparas de IR, una cámara de IR, una cámara de vídeo, un proyector de vídeo y espejos dispuestos bajo la superficie del metaDESK. Los espejos reflejan la imagen gráfica proyectada por el proyector sobre la cara inferior de la superficie gráfica de visualización para proporcionar imágenes que son visibles para un usuario desde encima de la superficie gráfica de visualización. La cámara de IR puede detectar reflejos IR desde la cara inferior de un objeto situado en la superficie gráfica. “Viendo” y detectando un objeto formado especialmente o luz IR reflejada desde un objeto dispuesto sobre una superficie gráfica de visualización, el metaDESK puede responder a la colocación y el movimiento contemporáneos del objeto en la superficie de visualización para llevar a cabo una función predefinida, como visualizar y mover un mapa de la ciudad universitaria del MIT.
Otros vienen desarrollando interfaces similares sin teclado. Por ejemplo, las monografías publicadas por Jun Rekimoto, del Sony Computer Science Laboratory, Inc., y sus colaboradores describen una “HoloWall” y una “HoloTable” que muestran imágenes sobre una superficie y usan luz IR para detectar objetos colocados adyacentes a la superficie.
Tanto el metaDESK como las HoloWall/HoloTable usan luz IR para ver objetos y movimientos por buenas razones. Si los sistemas respondieran a la luz visible, la luz visible proyectada por los sistemas y reflejada por la superficie interactiva podría llevar a falsas lecturas por parte del sistema de ordenadores. Además, aunque pudieran suprimirse los reflejos, a no ser que el sistema se dispusiera en un cuarto oscuro, las luces del recinto y otra luz visible que atravesase la superficie interactiva de visualización afectar de forma sustancialmente adversa los sistemas de visión del ordenador.
Usar luz IR reflejada para detectar objetos colocados en una superficie interactiva de visualización evita gran parte de los programas que surgirían de intentar reconocer los objetos con la omnipresente luz visible. Sin embargo,
5
15
25
35
45
aunque la gente no es consciente por lo general, porque no es visible a simple vista, del contenido IR de la luz producida por la mayoría de fuentes, también son muy comunes las señales de luz IR del ambiente que podría tener un impacto adverso en los sistemas de visión por ordenador. Las bombillas incandescentes, el sol y varias fuentes comunes adicionales generan luz IR. Estas señales IR no deliberadas, igual que las señales de luz visible no deliberadas, pueden proporcionar una entrada no deseada a los sistemas de visión por ordenador sensibles a la luz IR. Los filtros del tipo paso de banda pueden suprimir la luz visible y otras fuentes no IR, pero no son útiles para separar la luz IR reflejada desde un objeto que debe ser detectado partiendo de la luz IR de fondo.
Por lo tanto, es deseable filtrar, enmascarar o reducir de otra forma los efectos de las señales de luz IR no buscadas ni deseadas, para evitar que los sistemas de visión de luz IR respondan a las señales de la luz IR extraña. El efecto de la luz IR no deseable de fondo debería ser evitado cuando se detectan objetos sin requerir que un sistema de visión IR por ordenador sea operado en un entorno que lo blinde de todas las fuentes de IR de fondo.
El documento US 2003/0161524, de S. J. King da a conocer un procedimiento y un sistema para mejorar la capacidad de un sistema de visión por máquina para distinguir las características deseadas de un objetivo tomando imágenes del objetivo bajo una o más condiciones de iluminación diferentes y que usan un análisis de las imágenes para extraer información de interés en cuanto a un objetivo.
El artículo “Distributed display approach using PHMD with infrared camera”, de R. Kimjima et al., da a conocer un medio de visualización montado en un cabezal de proyección en el que una cámara infrarroja y una fuente de luz se usan en combinación con pantallas retrorreflectantes. Una imagen visible y una luz infrarroja pueden estar protegidas para la pantalla y ser reflejadas al ojo del usuario y a la cámara infrarroja.
Resumen de la invención
Una de las funciones más importantes de la presente invención es reducir los efectos de las fuentes IR no deseadas, incluyendo las fuentes del entorno como la luz del sol, una bombilla incandescente y otras fuentes IR en un sistema de formación de imágenes IR. Se capturan datos de formación de imágenes tanto cuando la fuente IR controlada por el sistema de formación de imágenes IR está activado como cuando no. Los datos de formación de imágenes recogidos cuando la fuente IR controlada está desactivada son datos de formación de imágenes basados en fuentes IR no deseadas. Así, restando bit a bit un conjunto de datos de formación de imágenes recogidos cuando la fuente IR estaba desactivada de un conjunto de datos de formación de imágenes recogidos cuando la fuente IR estaba activada, el conjunto compuesto resultante de datos de formación de imágenes debería incluir únicamente datos de formación de imágenes resultantes de la iluminación generada por la fuente IR controlada.
Un aspecto de la presente invención se dirige así a un procedimiento para reducir los efectos de fuentes de luz IR no deseada en un sistema de formación de imágenes usando una fuente de luz IR. La fuente de luz IR se activa durante un primer intervalo de captura de imágenes, y se captura un primer conjunto de datos de formación de imágenes durante el primer intervalo de captura de imágenes. A continuación, se desactiva la fuente de luz IR y se captura un segundo conjunto de datos de imágenes durante el segundo intervalo de captura de imágenes. Acto seguido, se genera un conjunto compuesto de datos de imágenes restando de los primeros valores del primer conjunto de datos de imágenes los correspondientes segundos valores del segundo conjunto de datos de imágenes.
Según una realización de la presente invención, la activación de la fuente de luz IR se controla por medio de un dispositivo de captura de imágenes, de modo que una señal de captura de imagen generada por el dispositivo de captura de imágenes hace que la fuente de luz IR se active durante el primer intervalo de captura de imágenes y se desactive durante el segundo intervalo de captura de imágenes.
La fuente de luz IR está dispuesta en una primera cara de una superficie permeable a la luz. En consecuencia, la fuente de luz IR dirige luz IR sobre un objeto físico dispuesto adyacente una cara opuesta de la superficie permeable a la luz. El dispositivo de captura de imágenes, como la fuente IR, está dispuesto en la primera cara de una superficie permeable a la luz y se usa para capturar luz IR arrojada por la fuente de luz IR que ha sido reflejada por el objeto físico.
El sistema de tratamiento de imágenes usa la luz reflejada por el objeto físico en el conjunto compuesto de datos de imágenes para reconocer una característica del objeto físico. En este procedimiento, los primeros valores del primer conjunto de datos de imágenes representan una intensidad de la luz IR capturada para cada uno de una pluralidad de puntos por toda la primera cara de la superficie permeable a la luz durante el primer intervalo de captura de imágenes mientras la fuente de luz IR estaba activada. Los segundos valores del conjunto de datos de imágenes representan una intensidad de la luz IR capturada para cada uno de la pluralidad de puntos por toda la primera cara de la superficie permeable a la luz durante el segundo intervalo de captura de imágenes mientras la fuente de luz infrarroja deseada estaba desactivada.
En una realización de la presente invención, los datos de imágenes compuestos se determinan por la ecuación:
D ( xy )= I ( xy , )− I ( , )
, xy
ON OFF
3
en la que:
•
x,y representa las coordenadas de la ubicación de un punto en la primera cara de la superficie permeable a la luz;
•
ION(x,y) representa una intensidad de la luz IR detectada durante el primer intervalo de captura de imágenes en el punto x,y;
•
IOFF(x,y) representa una intensidad de la luz IR detectada durante el segundo intervalo de captura de imágenes en el punto x,y;y
•
D(x,y) representa la intensidad neta de la luz IR en el punto x,y cuando la intensidad de la luz IR capturada en el punto x,y durante el segundo intervalo de captura de imágenes se resta de la intensidad de la luz IR capturada en el punto x,y durante el primer intervalo de captura de imágenes.
Se proporciona el conjunto compuesto de datos de imágenes generado a un sistema de tratamiento de imágenes. En él, la luz IR reflejada por el objeto físico se usa para reconocer una característica del objeto físico. Además, preferentemente se coloca un proyector en la primera cara de la superficie permeable a la luz y es utilizable para presentar imágenes en la cara opuesta de la superficie permeable a la luz. Así, un objeto físico en la cara opuesta de la superficie permeable a la luz puede interactuar con una imagen presentada sobre la misma.
Breve descripción de las figuras de los dibujos
Los anteriores aspectos y muchas de las ventajas acompañantes de la presente invención se apreciarán con mayor facilidad en la medida en que esta se entienda mejor por referencia a la siguiente descripción detallada, tomada en conjunto con los dibujos adjuntos, en los que:
la FIGURA 1 es un diagrama funcional de bloques de un dispositivo de cálculo generalmente convencional u ordenador personal (PC) que es adecuado para el tratamiento de imágenes para la superficie interactiva de visualización tal como se usa en la práctica de la presente invención;
la FIGURA 2 es una vista en corte transversal de una superficie interactiva de visualización de tipo mesa que ilustra los componentes internos;
la FIGURA 3 es una vista isométrica de una realización de la superficie interactiva de visualización de tipo mesa que está conectada a un PC externo;
las FIGURAS 4A, 4C y 4E muestran cada una una vista ampliada en corte transversal de una porción de la superficie de visualización, con una mano adyacente a la superficie de visualización iluminada por la luz IR procedente de una fuente IR controlada y/o por luz IR del entorno, mientras que las FIGURAS 4B, 4D y 4F muestran las imágenes resultantes capturadas a partir de la superficie de visualización en base a la luz IR reflejada desde la mano;
la FIGURA 5 es un diagrama de bloques de un sistema para reducir el efecto de las fuentes IR no deseadas según una realización de la presente invención; y
la FIGURA 6 es un diagrama de flujo que ilustra las etapas lógicas para reducir el efecto de la iluminación IR no deseada según una realización de la presente invención.
Descripción de la realización preferente
Sistema ejemplar de cálculo para la implementación de la presente invención
Con referencia a la FIGURA 1, se muestra un sistema ejemplar adecuado para implementar diversas porciones de la presente invención. El sistema incluye un dispositivo de cálculo de propósito general en forma de un PC convencional 20, dotado con una unidad 21 de proceso, una memoria 22 del sistema y un bus 23 del sistema. El bus del sistema acopla diversos componentes del sistema, incluyendo la memoria del sistema a la unidad 21 de proceso, y puede ser de cualquiera de varios tipos de estructuras de bus, incluyendo un bus de memoria o controlador de memoria, un bus de periféricos o un bus local usando cualquiera de una variedad de arquitecturas de bus. La memoria del sistema incluye la memoria 24 de solo lectura (ROM) y la memoria 25 de acceso directo (RAM). En la ROM 24 se almacena un sistema básico 26 de entrada/salida (BIOS), que contiene las rutinas básicas que ayudan a transferir la información entre elementos dentro del PC 20, como durante el arranque. El PC 20 incluye, además, una unidad 27 de disco duro para leer de un disco duro (no mostrado) y escribir en él, una unidad 28 de disco magnético para leer de un disco magnético extraíble 29 o escribir en él, y una unidad 30 de disco óptico para leer de un disco óptico extraíble 31, tal como una memoria de solo lectura en disco compacto (CD-ROM) u otros medios ópticos, o escribir en él. La unidad 27 de disco duro, la unidad 28 de disco magnético y la unidad 30 de disco óptico están conectadas a un bus 23 del sistema por medio de una interfaz 32 de la unidad de disco duro, una interfaz 33 de la unidad de disco magnético y la interfaz 34 de la unidad de disco óptico, respectivamente. Las unidades y sus medios asociados legibles por ordenador proporcionan al PC 20 un almacenamiento no volátil de instrucciones de máquina, estructuras de datos, módulos de programas y otros datos legibles por ordenador. Aunque el entorno ejemplar descrito en el presente documento emplea un disco duro, un disco magnético extraíble 29 y un disco óptico extraíble 31, los expertos en la técnica apreciarán que un ordenador puede acceder a otros tipos de medios legibles por ordenador, que pueden almacenar datos e instrucciones de máquina que son accesibles por un ordenador, como casetes magnéticas, tarjetas de memoria flash, discos digitales de vídeo (DVD), cartuchos Bernoulli, RAM, ROM y similares, que pueden usarse también en el entorno operativo ejemplar.
El disco duro, el disco magnético 29, el disco óptico 31, la ROM 24 o la RAM 25 pueden almacenar varios módulos de programa, incluyendo un sistema operativo 35, uno o más programas 36 de aplicación, otros módulos 37 de programa y datos 38 de programas. Un usuario puede introducir órdenes e información en el PC 20 y proporcionar una entrada de control a través de dispositivos de entrada, como un teclado 40 y un dispositivo 42 de puntero. El dispositivo 42 de puntero puede incluir un ratón, un estilete, un control remoto inalámbrico u otro puntero, pero, en conexión con la presente invención, tales dispositivos de puntero pueden omitirse, dado que el usuario puede emplear el medio interactivo de visualización para la entrada y el control. Según se usa en lo sucesivo en el presente documento, se pretende que el término “ratón” abarque casi cualquier dispositivo de puntero que sea útil para controlar la posición de un cursor en la pantalla. Otros dispositivos de entrada (no mostrados) pueden incluir un micrófono, una palanca de mando, una palanca de mando táctil, un juego de cabezas de lectura, pedales para los pies, un mando de juegos, una antena parabólica, un escáner o similar. Estos y otros dispositivos de entrada salida (I/O) se conectan a menudo a la unidad 21 de proceso a través de una interfaz 46 de I/O que está acoplada al bus 23 del sistema. Se pretende que la expresión interfaz de I/O abarque cada interfaz usada específicamente para un puerto serie, un puerto paralelo, un puerto de juego, un puerto de teclado y/o un bus serie universal (USB). El bus 23 del sistema también está conectado a una interfaz 59 de cámara, que está acoplada a un medio interactivo 60 de visualización para recibir señales procedentes de una cámara digital de vídeo que está incluida en el miso, tal como se expone más abajo. La cámara digital de vídeo puede estar acoplada, en vez de ello, a un puerto serie apropiado de I/O, tal como un puerto USB de versión 2,0. Opcionalmente, puede conectarse un monitor 47 al bus 23 del sistema por medio de una interfaz apropiada, tal como un adaptador 48 de vídeo; sin embargo, la mesa interactiva de visualización de la presente invención puede proporcionar una visualización mucho más rica e interactuar con el usuario para la introducción de información y el control de las aplicaciones de soporte lógico y, por lo tanto, está acoplada, preferentemente, con el adaptador de vídeo. Se apreciará que los PC están a menudo acoplados con otros dispositivos periféricos de salida (no mostrados), como altavoces (a través de una tarjeta de sonido u otra interfaz de audio —no mostradas—) e impresoras.
La presente invención puede ser puesta en práctica en una sola máquina, aunque el PC 20 también puede operar en un entorno de red usando conexiones lógicas con uno o más ordenadores remotos, tales como un ordenador remoto 49. El ordenador remoto 49 puede ser otro PC, un servidor (que está configurado típicamente, en general, de forma muy similar al PC 20), un dispositivo de encaminamiento, un PC de red, un dispositivo del mismo nivel, o un nodo satélite u otro nodo común de red, y típicamente incluye muchos o la totalidad de los elementos descritos más arriba en conexión con el PC 20, aunque en la FIGURA 1 solo ha sido ilustrado un dispositivo 50 de almacenamiento de memoria externa. Las conexiones lógicas representadas en la FIGURA 1 incluyen una red 51 de área local (LAN) y una red 52 de área amplia (WAN). Tales entornos de red son comunes en las oficinas, en redes de ordenadores de ámbito empresarial, en intranets y en Internet.
Cuando se usa en un entorno de red LAN, el PC 20 está conectado a la LAN 51 por medio de una interfaz o un adaptador 53 de red. Cuando se usa en un entorno de red WAN, el PC 20 incluye típicamente un módem 54 u otros medios, como un módem de cable, una interfaz de Línea Digital de Abonado (DSL) o una interfaz de la Red Digital de Servicios Integrados (RDSI) para establecer comunicaciones en la WAN 52, como Internet. El módem 54, que puede ser interno o externo, está conectado al bus 23 del sistema o acoplado al bus por medio de la interfaz 46 de dispositivos de I/O, es decir, a través de un puerto serie. En un entorno de red, los módulos de programa o porciones de los mismos usados por el PC 20 pueden almacenarse en el dispositivo de almacenamiento remoto de memoria. Se apreciará que las conexiones de red mostradas son ejemplares y que pueden usarse otros medios de establecimiento de un enlace de comunicaciones entre los ordenadores, tal como una comunicación inalámbrica y enlaces de red de banda ancha.
Superficie interactiva ejemplar
En la FIGURA 2 se muestra una mesa interactiva 60 ejemplar de visualización que incluye un PC 20 dentro de un bastidor 62 y que sirve a la vez de entrada óptica y de dispositivo de visualización de vídeo para el ordenador. En esta figura recortada de la mesa interactiva de visualización, los rayos de luz usados para mostrar texto e imágenes gráficas son ilustrados generalmente usando líneas punteadas, mientras que los rayos de luz infrarroja (IR) usada para captar objetos en la superficie 64a de visualización de la mesa interactiva de visualización, o inmediatamente encima de la misma, se ilustran usando líneas a trazos. La superficie 64a de visualización está fijada dentro de una superficie superior 64 de la mesa interactiva de visualización. El perímetro de la superficie de la mesa es útil para soportar los brazos de un usuario u otros objetos, incluyendo objetos que pueden usarse para interactuar con las imágenes gráficas o con el entorno virtual que se representa en la superficie 64a de visualización.
Preferentemente, las fuentes 66 de luz IR comprenden una pluralidad de diodos emisores de luz (LED) IR y están montadas en la cara interior del bastidor 62. La luz IR que es producida por las fuentes 66 de luz IR es dirigida hacia arriba, hacia la cara inferior de la superficie 64a de visualización, según indican las líneas a trazos 78a, 78b y 78c. La luz IR procedente de las fuentes 66 de luz IR se refleja en cualquier objeto que esté encima o próximo a la superficie de visualización después de pasar a través de una capa traslúcida 64b de la mesa, que comprende una lámina de vitela u otro material traslúcido adecuado con propiedades difusoras de la luz. Aunque solo se muestra una fuente IR 66, se apreciará que puede montarse una pluralidad de tales fuentes IR en ubicaciones separadas entre sí alrededor de las caras interiores del bastidor 62 para probar una demostración homogénea de la superficie 64a de visualización. La luz infrarroja producida por las fuentes IR puede:
•
salir a través de la superficie de la mesa sin iluminar ningún objeto, tal como se indica por medio de la línea a trazos 78a;
•
iluminar objetos en la superficie de la mesa, tal como se indica por medio de la línea a trazos 78b; o
•
iluminar objetos a poca distancia por encima de la superficie de la mesa pero que no tocan la superficie de la mesa, tal como se indica por medio de la línea a trazos 78c.
Los objetos por encima de la superficie 64a de visualización incluyen un objeto “en contacto” 76a que descansa encima de la superficie de visualización y un objeto “levitante” 76b que está cerca de la superficie de visualización, pero no en contacto real con ella. Como consecuencia del uso de la capa traslúcida 64b debajo de la superficie de visualización para difundir la luz IR que pasa a través de la superficie de visualización, a medida que un objeto se aproxima a la parte superior de la superficie 64a de visualización, la cantidad de luz IR que es reflejada por el objeto aumenta hasta un máximo nivel que se logra cuando el objeto está realmente en contacto con la superficie de visualización.
Una cámara digital 68 de vídeo está montada en el bastidor 62 por debajo de la superficie 64a de visualización en una posición apropiada para recibir luz IR que es reflejada desde cualquier objeto en contacto o cualquier objeto levitante dispuestos encima de la superficie 64a de visualización. La cámara digital 68 de vídeo está equipada de un filtro 86a de paso IR que transmite únicamente la luz IR e impide que la luz visible del entorno atraviese la superficie 64a de visualización siguiendo la línea punteada 84a. Un deflector 79 está dispuesto entre la fuente IR 66 y la cámara digital de vídeo para evitar que la luz IR que es emitida directamente por la fuente IR entre en la cámara digital de vídeo, dado que es preferible que esta cámara digital de vídeo produzca una señal de salida que responda únicamente a la luz IR reflejada de objetos que estén a poca distancia por encima de la superficie 64a de visualización, o en contacto con la misma, y que corresponda a una imagen de la luz IR reflejada de objetos que estén en la superficie de visualización o por encima de ella. Será evidente que la cámara digital 68 de vídeo también responderá a cualquier luz IR incluida en la luz del entorno que pasa a través de la superficie 64a de visualización desde encima y al interior del medio interactivo de visualización (por ejemplo, luz IR del entorno que también sigue la trayectoria indicada por la línea punteada 84a).
La luz IR reflejada desde objetos sobre la superficie de la mesa o por encima de la misma puede ser:
•
reflejada nuevamente a través de la capa traslúcida 64b, a través del filtro 86a de paso IR y al interior de la lente de la cámara digital 68 de vídeo, tal como se indica por medio de las líneas a trazos 80a y 80b; o
•
reflejada o absorbida por otras superficies interiores dentro del medio interactivo de visualización sin entrar en la lente de la cámara digital 68 de vídeo, tal como se indica por medio de la línea a trazos 80c.
La capa traslúcida 64b difunde la luz IR tanto incidente como la reflejada. Así, tal como se ha explicado más arriba, los objetos “levitantes” que están más cerca de la superficie 64a de visualización reflejarán más luz IR hacia la cámara digital 68 de vídeo que los objetos de la misma reflectividad que están más alejados de la superficie de visualización. La cámara digital 68 de vídeo capta la luz IR reflejada de los objetos “en contacto” y “levitantes” dentro de su campo de formación de imágenes y produce una señal digital correspondiente a las imágenes de la luz IR reflejada que se introduce en el PC 20 para su tratamiento para determinar una ubicación de cada objeto y, opcionalmente, el tamaño, la orientación y la forma del objeto. Debería hacerse notar que una porción de un objeto (tal como el antebrazo de un usuario) puede estar por encima de la mesa mientras que otra porción (como el dedo del usuario) está en contacto con la superficie de visualización. Además, un objeto puede incluir un patrón reflectante de luz IR o un identificador codificado (por ejemplo, un código de barras) en su superficie inferior que sea específico a ese objeto o a una clase de objetos relacionados de la cual el objeto es miembro. En consecuencia, la señal de la formación de imágenes procedente de la cámara digital 68 de vídeo también puede ser usada para detectar cada objeto específico de ese tipo, así como para determinar su orientación, en base a la luz IR reflejada de su patrón reflectante, según la presente invención. Las etapas lógicas implementadas para llevar a cabo esta función se explican más abajo.
Según se muestra en la FIGURA 2, el PC 20 puede ser integral a la mesa interactiva 60 de visualización o, alternativamente, puede, en vez de ello, ser externo a la mesa interactiva de visualización, tal como se muestra en la realización de la FIGURA 3. En la FIGURA 3, una mesa interactiva 60’ de visualización está conectada a través de un cable 63 de datos a un PC externo 20 (que incluye el monitor opcional 47, tal como se ha mencionado más arriba). Como también se muestra en esta figura, un conjunto de ejes ortogonales X e Y está asociado con la superficie 64a de visualización, así como un origen indicado por “0”. Aunque no se muestra específicamente, se apreciará que puede emplearse una pluralidad de coordenadas de ubicaciones a lo largo de cada eje ortogonal para indicar cualquier ubicación en la superficie 64a de visualización.
Si la mesa interactiva de visualización está conectada a un PC externo 20 (como en la FIGURA 3) o a algún otro tipo de dispositivo externo de cálculo, como un decodificador, un videojuego, un ordenador portátil o un ordenador multimedia (ninguno mostrado), entonces la mesa interactiva de visualización comprende un dispositivo de entrada/salida. La energía para la mesa interactiva de visualización es proporcionada por medio de un cable 61 de corriente, que está acoplado a una fuente lineal de corriente alterna (CA) convencional (no mostrada). El cable 63 de datos, que se conecta a la mesa interactiva 60’ de visualización, puede acoplarse a un puerto USB 2.0, un puerto 1394 (o Firewire) del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE) o un puerto Ethernet del PC 20. También se contempla que, a medida que la velocidad de las conexiones inalámbricas siga mejorando, la mesa interactiva de visualización podría ser conectada también a un dispositivo de cálculo, como el PC 20, a través de tal conexión inalámbrica de alta velocidad o por medio de cualquier otro enlace apropiado alámbrico o inalámbrico de comunicaciones de datos. Ya esté incluido internamente, como parte integral del medio interactivo de visualización,
o externamente, el PC 20 ejecuta algoritmos para el tratamiento de las imágenes digitales procedentes de la cámara digital 68 de vídeo y ejecuta aplicaciones de soporte lógico que están diseñadas para usar de manera provechosa la funcionalidad de interfaz de usuario más intuitiva de la mesa interactiva 60 de visualización, así como para ejecutar otras aplicaciones de soporte lógico que no están específicamente diseñadas para hacer uso de tal funcionalidad, pero que siguen haciendo buen uso de las prestaciones de entrada y salida de la mesa interactiva de visualización. Como alternativa adicional, el medio interactivo de visualización puede acoplarse con un dispositivo externo de cálculo, pero incluye un dispositivo interno de cálculo para realizar tratamiento de imágenes y otras tareas que, entonces, no realizaría el PC externo.
Una característica importante y clave de la mesa interactiva de visualización (es decir, de cualquiera de las dos realizaciones presentadas más arriba) es su capacidad de representar imágenes gráficas o un entorno virtual para juegos u otras aplicaciones de soporte lógico y de permitir una interacción entre la imagen gráfica o el entorno virtual sobre la superficie 64a de visualización y los objetos que descansan sobre la superficie de visualización, como un objeto 76a, o que se ciernen inmediatamente por encima de ella, como un objeto 76b. La capacidad de la mesa interactiva de visualización para detectar visualmente tales objetos, así como el dedo del usuario u otro objeto que se sea movido por el usuario, facilita muchísimo esta rica interacción.
Con referencia otra vez a la FIGURA 2, la mesa interactiva 60 de visualización incluye un proyector 70 de vídeo que se usa para representar imágenes gráficas, un entorno virtual o información de texto sobre la superficie 64a de visualización. El proyector de vídeo es, preferentemente, de un tipo de pantalla de cristal líquido (LCD) o de un procesador digital de luz (DLP) o de un tipo de pantalla de cristal líquido sobre silicio (LCoS), con una resolución de al menos 640×480 píxeles. Un filtro IR 86b de corte está montado en la parte delantera de la lente proyectora del proyector 70 de vídeo para evitar que la luz IR emitida por el proyector de vídeo entre en el interior de la mesa interactiva de visualización, en el que la luz IR podría interferir en la luz IR reflejada del o de los objetos sobre la superficie 64a de visualización o por encima de la misma. Un primer conjunto 72a de espejos dirige la luz proyectada que viaja de la lente del proyecto a lo largo de la trayectoria punteada 82a a través de una abertura transparente 90a en el bastidor 62 para que la luz proyectada incida en un segundo conjunto 72b de espejos. El segundo conjunto 72b de espejos refleja la luz proyectada sobre la capa traslúcida 64b, que está en el punto focal de la lente del proyector, para que la imagen proyectada sea visible y esté enfocada sobre la superficie 64a de visualización para su visionado.
Se proporcionan dispositivos 74a y 74b de alineamiento e incluyen barras roscadas y tuercas girables 74c de regulación para regular los ángulos de los conjuntos de espejos primero y segundo para garantizar que la imagen proyectada sobre la superficie de visualización esté alineada con la superficie de visualización. Además de dirigir la imagen proyectada en una dirección deseada, el uso de estos dos conjuntos de espejos proporciona una trayectoria más larga entre el proyector 70 y la capa traslúcida 64b y, lo que es más importante, contribuye a lograr un tamaño y una forma deseados de la mesa interactiva de visualización, para que la mesa interactiva de visualización no sea demasiado grande y esté dimensionada y conformada para permitir que el usuario se siente cómodamente junto a ella.
Las presentaciones precedentes y las que siguen describen un dispositivo interactivo de visualización en forma de mesa interactiva 60 y 60’ de visualización. No obstante, se entiende que no es preciso que la superficie interactiva de visualización tenga la forma de un tablero de mesa generalmente horizontal. De manera adecuada, los principios descritos en la presente descripción de la invención incluyen también incluyen y se aplican a superficies de visualización de formas y curvaturas diferentes y que están montadas con orientaciones distintas de la horizontal. Así, aunque la siguiente descripción se refiere a la colocación de objetos físicos “sobre” la superficie interactiva de visualización, los objetos físicos pueden ser colocados adyacentes a la superficie interactiva de visualización poniendo los objetos físicos en contacto con la superficie de visualización o adyacentes a la superficie de visualización de otra manera.
Imágenes IR capturadas con y sin una fuente IR controlada
Aunque la mesa interactiva 60 de visualización (FIGURA 2) emplea un filtro 86a de paso IR, este filtro solo impide que la luz no IR alcance la cámara IR de vídeo. También deberían limitarse o compensarse las señales de luz IR extraña para evitar que estas señales no deseadas interfieran en el funcionamiento de la mesa interactiva 60 de visualización. Las FIGURAS 4A-4F muestran una porción de una mesa interactiva de visualización para ilustrar la manera en que las señales IR no buscadas pueden distorsionar una imagen de espectro IR de la mano 402 de un usuario puesta en contacto con una superficie interactiva 64a.
La FIGURA 4A muestra la mano 402 del usuario en contacto parcial y en “levitación” parcial sobre la visualización. Un sistema de formación de imágenes IR puede responder y diferenciar entre los objetos físicos que tocan la superficie interactiva de visualización y los objetos físicos que levitan próximos a la superficie de visualización, tal como se describe en la solicitud de patente estadounidense con número de serie 10/814.761, en tramitación como la presente y transferida legalmente, titulada “Determining Connectedness And Offset Of 3D Objects Relative To An Interactive Surface”, que se presentó el 31 de marzo de 2004, la memoria y los dibujos de la cual se incorporan por referencia específicamente por la presente al presente documento.
Más en particular, en las FIGURAS 4A, 4C y 4E, el pulgar 404 y el dedo corazón 408 de la mano 402 del usuario están tocando la superficie interactiva 64a de visualización, mientras el dedo índice 406 y el dedo anular 410 “levitan” a corta distancia por encima de la superficie interactiva 64a de visualización, y el dedo meñique 412 levita ligeramente más alejado de la superficie interactiva 64a de visualización.
En la FIGURA 4A, los rayos de luz IR 414 que emanan de la fuente 66 de luz IR pasan a través de la superficie interactiva 64a de visualización e inciden en la mano 402 del usuario. Los rayos de la luz IR reflejada 416 vuelven a atravesar la superficie interactiva 64a de visualización, prosiguen a través del filtro 86a de paso de banda IR y entran en la cámara IR 68 de vídeo. La cámara IR de vídeo produce una señal correspondiente a una imagen de la luz IR que entra en la cámara. Esta imagen es una función de los rayos 416 de luz IR y de cualquier otra luz IR que alcance la cámara IR de vídeo. En la FIGURA 4A, la única fuente de luz IR es la fuente IR 66; no hay fuentes de luz IR no buscadas o extrañas del entorno en la FIGURA 4A. El deflector 79 impide que la luz IR procedente de la fuente IR 66 entre directamente en la lente de la cámara IR 68 de vídeo.
La FIGURA 4B muestra la imagen IR resultante de la mano 402a de un usuario producida por la cámara IR 68 de vídeo en respuesta únicamente a los rayos de luz IR 416 para la fuente IR 66 que son reflejados por la mano 402 del usuario. En respuesta a los rayos de la luz IR reflejada 416, la mano 402a del usuario tiene en esta imagen una mayor intensidad o un mayor brillo que la del fondo 420a. Además, en la imagen, las puntas del pulgar 404a y del dedo corazón 408a tienen una mayor intensidad o un mayor brillo que el resto de los dedos y 406a, 410a y 412a y el resto de la mano 402a. Las puntas del pulgar 404a y del dedo corazón 408a son las únicas partes de la mano 402a que tocan la superficie 64a de visualización (FIGURA 4A), de modo que la luz IR reflejada de las puntas del pulgar y del dedo corazón sufre menor reducción debida a la difusión de la superficie interactiva 64a de visualización y, por lo tanto, tiene una mayor intensidad que la del resto de la mano 402a o el fondo 420a. Sin embargo, aunque en la FIGURA 4B solo se muestran dos niveles distintos de intensidad, se apreciará que la intensidad de la luz IR reflejada variará en base a la reflectividad del objeto físico y a su distancia de la superficie interactiva 64a de visualización.
En la FIGURA 4C, la fuente IR 66 está desactivada. Así, a diferencia de la ilustración de la FIGURA 4A, los rayos de luz IR 414 no se proyectan hacia la mano 402 del usuario, y no hay rayo alguno de luz IR 416 reflejado de la mano del usuario hacia la cámara IR 68 de vídeo. Sin embargo, a diferencia de la ilustración de la FIGURA 4A, la FIGURA 4C muestra los rayos de luz IR 422 y 424 que se originan más allá de la superficie interactiva 64a de visualización, que son capturados por la cámara IR 68 de vídeo. Por ejemplo, los rayos IR 422 podrían representar luz IR que emana de cualquier fuente de luz incandescente en el entorno de la mesa interactiva de visualización, y los rayos IR 424 podrían representar los rayos de luz IR incluidos en la luz del sol que ilumina el entorno a través de una ventana (no mostrada). Los rayos de luz IR 422 y 424 pasan alrededor de la mano 402 del usuario y entre los dedos 404-412 del usuario, prosiguiendo a través del filtro 86a de paso de banda IR. Por lo tanto, la “iluminación a contraluz” de la mano 402 del usuario da como resultado una imagen que incluye una sombra de la mano 402 del usuario contra un fondo 420b más brillante, tal como se muestra en la FIGURA 4D.
En la FIGURA 4D, la mano 402 del usuario es oscura, no brillante ni iluminada como en la FIGURA 4B. La luz IR que viene solo desde detrás de la mano 402 del usuario parece mucho más brillante que la mano del usuario en esta imagen, de modo que la mano del usuario parece solo una sombra contra el fondo 420b más brillante. La imagen de la FIGURA 4D es, comprensiblemente, como la de una persona que está de pie estando el sol detrás de la persona, de modo que la persona es iluminada por el sol a contraluz. Los rayos difusos de la iluminación a contraluz dan como resultado una imagen sombría bastante homogénea de la persona contra un fondo tanto más brillante. Como puede verse en la FIGURA 4D, no hay distinción alguna entre las imágenes de las puntas de los dedos del pulgar 404b y el dedo corazón 408b y el resto de la imagen de la mano 402b y los dedos 406b, 410b y 412b, cosa que sí hay en la FIGURA 4B. Así, la iluminación a trasluz de la mano del usuario con luz IR del entorno, como mínimo, tiende a reducir el contraste entre los dedos y la mano en contacto y en levitación, y puede reducir sustancialmente el procesamiento útil de una imagen que incluya la mano 402 del usuario. En general, cualquier segmentación de la imagen, es decir, etiquetar cada píxel como parte o no de la mano del usuario, o cualquier píxel como parte o no de un objeto situado sobre la superficie interactiva de visualización, es más difícil en estas condiciones. Los niveles de la luz del entorno puede igualar con facilidad los de la luz IR reflejada procedentes de la fuente de luz IR. En general, es posible leer el aspecto de la superficie de cualquier objeto (dado que la luz del entorno no ejerce ningún impacto en la luz devuelta desde los objetos si son opacos), pero no es posible depender de los contornos ni las formas, ni de las intensidades absolutas de los píxeles en una imagen como indicación de qué objeto está en contacto con la superficie interactiva de visualización.
En la FIGURA 4E, la fuente IR 66 vuelve a estar activada, como en la FIGURA 4A. Sin embargo, en esta ocasión también están activas fuentes IR del entorno, de modo que, por ejemplo, también está presente la luz IR del entorno procedente de la bombilla incandescente 422 y de la luz solar 424. Según se muestra en la FIGURA 4E, los rayos de luz IR 414 proyectados alcanzan la mano 402 y los dedos 404-412 del usuario desde la fuente IR 66, y los rayos de luz IR 416 reflejados desde la mano y los dedos alcanzan la cámara IR 68 de vídeo. Al mismo tiempo, la luz IR 422 y 424 del entorno, que brilla alrededor de la mano 402 del usuario y a través de los dedos 404-412 del usuario, también alcanza la cámara IR de vídeo. Una vez más, ninguno de los rayos 416, 422 y 424 es bloqueado por el filtro 86a de paso de banda IR.
La imagen resultante de la FIGURA 4F muestra que los rayos 416 de luz IR reflejada desde la mano del usuario y los rayos 422 y 424 de luz IR del entorno pueden contrarrestarse efectivamente entre sí. En consecuencia, el contraste puede verse sustancialmente reducido, no solo entre las puntas de los dedos 404c y 408c de un usuario que tocan el medio interactivo 64a de visualización y el resto de la mano 402c y los dedos 406c, 410c y 412c del usuario, sino, en general, entre la mano 402c y los dedos 404c-412c del usuario y el fondo 420c. El fondo 420c será brillante, como en la FIGURA 4D, y los dedos 404c y 408c del usuario serán discernibles, debido a la luz IR reflejada procedente de la fuente de luz IR. Además, la mano 402c del usuario será evidente como una sombra con respecto al entorno brillante del fondo. Si los rayos de la luz IR reflejada 416 desde la mano del usuario son de intensidad sustancialmente mayor que los rayos de la luz IR 422 y 424 del entorno, la imagen de la mano 402c y de los dedos 404c-412c del usuario podría seguir destacando como más brillante que el fondo 420c. Tendría que realizarse un ajuste activo de la intensidad de la fuente IR 66 para dar cuenta de los rayos de luz 422 y 424 del entorno mientras se intenta mantener el contraste entre las puntas de los dedos 404c y 408c que tocan la superficie interactiva 64a de visualización y el fondo iluminado por los rayos 422 y 424 de luz IR del entorno.
En consecuencia, la presente invención compensa los efectos de las fuentes no deseadas ni/o buscadas de luz IR, como una bombilla incandescente 422 externa y la luz 424 del sol creando un conjunto compuesto de datos de formación de imágenes del que las fuentes de luz IR del entorno están sustancialmente eliminadas. Con referencia nuevamente a las FIGURAS 4B, 4D y 4E, se desea lograr lo equivalente de la FIGURA 4B, en la que la cámara IR 68 de vídeo recibe únicamente los rayos reflejados de luz IR 416 (FIGURA 4A). Desgraciadamente, salvo eliminando sustancialmente la mayor parte de la luz IR del entorno, típicamente estarán incluidas fuentes externas de luz IR 422 y 424, junto con rayos reflejados de luz IR 416, lo que da como resultado una imagen más semejante a la de la FIGURA 4F, a no ser que se compense la presencia de la luz IR del entorno. Sin proporcionar una compensación adecuada, siempre que haya presentes en el entorno fuentes de IR del entorno, siempre se añadirá el fondo no deseado de la imagen de la FIGURA 4D de luz IR reflejada de los objetos, como en la FIGURA 4B, que da una imagen con los problemas de la FIGURA 4F.
Aunque la imagen de la FIGURA 4B no puede ser capturada de forma natural, a no ser en una configuración aislada, los entornos de las FIGURAS 4C y 4E pueden lograrse de manera selectiva en una configuración típica. La FIGURA 4C muestra un entorno en el que rayos 422 y 424 de luz IR extraña producen la imagen de la FIGURA 4D, que puede ser capturada cuando se desactiva la fuente IR 66. La FIGURA 4E muestra un entorno típico que incluye tanto los rayos 416 de luz IR reflejada (cuando está activada la fuente IR 66) y los rayos 422 y 424 de luz IR extraña. Así, la imagen de la FIGURA 4F puede ser capturada cuando la fuente IR 66 se activa de forma selectiva en presencia de luz IR extraña. Dado que la imagen de la FIGURA 4F es la compilación de la imagen resultante de la luz IR deseada reflejada de la FIGURA 4B y de la imagen resultante de la luz IR extraña no deseada de la FIGURA 4D, restar la imagen de la FIGURA 4D de la imagen de la FIGURA 4F debería producir la imagen de la FIGURA 4B, compensando con ello la luz IR extraña o del entorno.
Así, la imagen deseada generalmente como la de la FIGURA 4B puede lograrse en un entorno típico recogiendo dos conjuntos de datos de imágenes. Se recoge un primer conjunto de datos de imágenes con la fuente IR 66 activada y con cualquier fuente presente existente extraña o del entorno. También se recoge un segundo conjunto de datos de imágenes con la fuente IR 66 desactivada. A continuación, el segundo conjunto recogido de datos de imágenes se resta píxel a pixel del primer conjunto de datos de imágenes, dando un conjunto compensado de datos de imágenes que incluye únicamente los rayos de luz IR reflejada generados por la fuente IR; las fuentes extrañas son excluidas de manera efectiva. Idealmente, los conjuntos primero y segundo de datos de imágenes se recogen rápida y secuencialmente para proporcionar, tan estrechamente como sea posible, imágenes iluminadas diferentemente de las mismas condiciones sobre la superficie interactiva de visualización.
Una realización preferente de la presente invención no intenta reducir el efecto de las fuentes IR no buscadas en base a mediciones estáticas de la luz IR del entorno o a una calibración inicial. En consecuencia, al inicio de la adquisición de la imagen con la cámara IR de vídeo, no hay demora alguna para la calibración de la imagen. Además, la presente invención se adapta mejor a los cambios en las fuentes y a los niveles de luz IR del entorno de lo que puede hacerlo un procedimiento estático de calibración y compensación. Por ejemplo, si se pidiera a un usuario que retirara objetos físicos de la superficie interactiva de visualización para la calibración de la imagen y luego se le indicara que siguiera usando la superficie interactiva de visualización, los datos de calibración no tendrían en cuenta la manera en que la presencia de los objetos físicos añadidos a la superficie interactiva de visualización después de su calibración puede bloquear las señales procedentes de fuentes IR del entorno. Sin embargo, la presente invención tiene en consideración las sombras IR, como la mostrada en la FIGURA 4D, que están causadas por los objetos físicos que bloquean las fuentes IR del entorno. Así, la presente invención genera datos de imágenes que presentan un mayor contraste IR en tales puntos que si la imagen IR capturada con la fuente IR activada se comparase con una imagen con una fuente IR estática que se capturase sin el objeto físico presente.
Además, la presente invención da cuenta y responde continuamente de forma apropiada a cambios en las fuentes IR del entorno y a la luz IR del entorno. En consecuencia, los cambios en las fuentes IR del entorno, como que se encienda o se apague la luz en una estancia, o que cambie la intensidad de la luz solar que atraviesa una ventana por una variación en el clima, el paso de los ángulos solares del cambio de hora o que se mueva la persiana de una ventana no impide la efectividad de la presente invención en la reducción de las fuentes IR no buscadas. De manera similar, la presente invención compensa los cambios aún más transitorios en la luz procedente de fuentes IR del entorno, resultantes, por ejemplo, de que una persona camine entre la superficie interactiva de visualización y una lámpara o una ventana.
Sistema para generar datos de imágenes y reducir los efectos de fuentes IR no deseadas
La FIGURA 5 muestra un sistema 500 para generar datos compuestos de formación de imágenes en el que los efectos de las fuentes de luz IR no deseadas son compensados sustancialmente. El sistema 500 funciona con la superficie interactiva 64a de visualización. El PC 20 (mostrado en las FIGURAS 1-3) lleva a cabo funciones de tratamiento de imágenes e incluye un dispositivo 516 de almacenamiento. El PC procesa las imágenes producidas por la cámara IR de vídeo para detectar la presencia y/o el movimiento de un dedo 408 del usuario o de otro objeto físico dispuesto sobre la superficie interactiva de visualización o adyacente a la misma.
Como se ha descrito previamente en relación con las FIGURAS 4A, 4C y 4E, la fuente IR 66 es activada de manera selectiva para dirigir rayos 414 de luz IR hacia la superficie interactiva 64a de visualización. Los rayos 416 de luz IR reflejada, así como los rayos de la luz IR del entorno procedentes de la bombilla incandescente 422 y de la luz solar 424 pasan a través de la superficie interactiva 64a de visualización, prosiguen a través del filtro 86a de paso de banda IR y son detectados por un sensor 502 en la cámara IR 68 de vídeo.
La cámara IR 68 de vídeo incluye una salida 504 de sincronización de la captura de imágenes que produce una señal de captura de imagen al comienzo de cada intervalo de captura de imágenes. La señal de captura de imagen la recibe un controlador 506 de la fuente IR que activa la fuente IR 66 cada dos intervalos de captura de imágenes. Por ejemplo, si la velocidad de fotogramas de la cámara IR de vídeo es de X fotogramas por segundo, la velocidad efectiva para la activación de la fuente IR 68 es de X/2 veces por segundo. En consecuencia, cada dos fotogramas de imágenes capturadas por la cámara IR 68 de vídeo y transmitidos como una señal desde el puerto 508 de salida de datos incluirán rayos IR reflejados 416 y rayos IR 422 y 424 del entorno, mientras que cada fotograma alternativo de imágenes incluirá únicamente rayos IR 422 y 424 del entorno. Este enfoque se usa en la actualidad en una realización preferente, pero podrían emplearse en su lugar otros enfoques. La cámara IR de vídeo y la fuente IR podrían ser accionados de forma síncrona por el PC 20, que podría emitir una orden para activar o desactivar la fuente IR y luego, inmediatamente, adquirir un fotograma con la cámara IR de vídeo. O podría proporcionarse un circuito especial para mantener la sincronización. En la realización expuesta en lo que antecede, es preferible accionar la cámara IR de vídeo con un reloj y simplemente sincronizarla con su impulso de salida, por pura conveniencia.
Una cámara de vídeo típica captura un total de 30 fotogramas por segundo. En consecuencia, cada segundo se capturan 15 conjuntos compuestos de datos de formación de imágenes combinando 15 fotogramas que son capturados con la fuente IR 66 activada con 15 fotogramas que son capturados con la fuente IR 66 desactivada. Se apreciará que son preferibles velocidad de fotogramas más elevadas. Cuantos más fotogramas se capturen por segundo, con mayor precisión representarán los fotogramas capturados con la fuente IR 66 activada y con la fuente IR 66 desactivada la manera en que los objetos aparecieron con el curso del tiempo en la superficie interactiva 64a de visualización.
En una realización de la presente invención, las imágenes a las que se da salida a través del puerto 508 de salida de datos se almacenan en una memoria intermedia 510 de datos. Cada fotograma es etiquetado según si el fotograma fue capturado con la fuente IR encendida o apagada. El etiquetado de fotogramas se logra adecuadamente configurando una bandera para que indique si los fotogramas se capturaron con la fuente IR encendida o apagada. De manera alternativa, los fotogramas pueden ser etiquetados si la fuente IR está activada únicamente en los fotogramas de número impar o únicamente en los de número par. En una realización preferente actual, la intensidad de un fotograma se evalúa sumando las intensidades de los píxeles sobre la imagen y comparando la suma de las
5
15
25
35
45
intensidades de un fotograma con la del siguiente. El fotograma con la mayor suma de intensidades es el fotograma “encendido”. De manera alternativa, sería posible poner una diana blanca en un emplazamiento conocido en la cara inferior del tablero que rodea la superficie interactiva 64a de visualización, de modo que, examinando la intensidad de los píxeles en el emplazamiento conocido, pueda determinarse fácilmente si la fuente IR estaba activa en un fotograma dado.
Partiendo de la memoria intermedia 510 de datos, los fotogramas son divididos por un separador 512 de fotogramas que separa los fotogramas en función de si la fuente IR estaba activada cuando se capturó el fotograma. Los fotogramas para los que la fuente IR estaba activada son encaminados a la parte positiva de un sumador 514, mientras que los fotogramas para los que la fuente IR 66 estaba desactivada son encaminados a la parte negativa del sumador 514, de modo que el valor para cada punto o píxel en cada fotograma en el que la única iluminación IR fue el resultado de fuentes IR del entorno puede restarse del correspondiente valor para ese punto o píxel en el que la fuente IR 66 estaba activada y, a la vez, estaban presentes las fuentes IR del entorno. Restar píxel a píxel los fotogramas con “fuente IR apagada” de los fotogramas con “fuente IR encendida” da como resultado datos compuestos de formación de imágenes que tienen valores IR que representan únicamente la luz IR reflejada de la fuente IR 66, excluyendo sustancialmente el efecto de la iluminación IR del entorno.
Más en particular, los puntos de las imágenes respectivas son restados píxel a píxel en el sumador 514, según la Ec. (1), como sigue:
D ( xy )= I ( xy , )− I ( , )
, xy
ON OFF
en la que:
•
x,y representa las coordenadas de la ubicación de un punto en la cara interactiva de la superficie permeable a la luz;
•
ION(x,y) representa una intensidad de la luz IR detectada durante el primer intervalo de captura de imágenes en el punto x,y;
•
IOFF(x,y) representa una intensidad de la luz IR detectada durante el segundo intervalo de captura de imágenes en el punto x,y;y
•
D(x,y) representa la intensidad neta de la luz IR en el punto x,y cuando la intensidad de la luz IR capturada en el punto x,y durante el segundo intervalo de captura de imágenes se resta de la intensidad de la luz IR capturada en el punto x,y durante el primer intervalo de captura de imágenes.
Una vez que se combinan en el sumador 514 los correspondientes pares de fotogramas con la fuente IR 66 activada y con la fuente IR desactivada, el conjunto compuesto generado de datos de formación de imágenes se pasa al tratamiento o al almacenamiento de imágenes para que las características de uno o más objetos físicos 408 presentes sobre la superficie interactiva de visualización o próximos a la misma puedan ser procesados y los resultados usados por el sistema interactivo de visualización.
Procedimiento para generar datos de imágenes para reducir los efectos de las fuentes IR no deseadas
La FIGURA 6 es un diagrama 600 de flujo que ilustra etapas lógicas ejemplares para eliminar o reducir sustancialmente los efectos de la iluminación IR no deseada según la presente invención. En una etapa 602, comienza la formación de imágenes IR de la superficie interactiva de visualización. En una etapa 604, la fuente IR es sincronizada de forma selectiva con una señal de adquisición de imágenes generada por la cámara IR de vídeo (o por otro dispositivo de formación de imágenes que podría usarse de manera alternativa). Se desea la sincronización selectiva de la fuente IR porque, según se ha explicado previamente, la fuente IR es activada únicamente cada dos intervalos de adquisición de imágenes.
En una etapa 606, se activa la fuente IR. En una etapa 608, se forma la imagen de la superficie interactiva de visualización con la fuente IR encendida. En una etapa 610, se desactiva la fuente IR, y en una etapa 612, se forma la imagen de la superficie interactiva de visualización con la fuente IR apagada. Usando los fotogramas de las imágenes capturadas en las etapas 608 y 612, en una etapa 614 se combinan píxel a píxel los datos de las imágenes capturadas para los pares de fotogramas en estas condiciones diferentes de iluminación, tal como se ha descrito previamente en conexión con la FIGURA 1 y la Ec. (1) para compensar el efecto de la luz procedente de fuente IR no buscadas. Después de que los datos de las imágenes se combinan en la etapa 614 para generar los datos compuestos, en una etapa 616 se usan los datos compuestos para el tratamiento de imágenes, como p ara detectar objetos físicos sobre la superficie interactiva de visualización o adyacentes a la misma, o los datos son almacenados para su posterior tratamiento.
En una etapa 618 de decisión, se determina si se siguen capturando datos IR de formación de imágenes. En caso afirmativo, el diagrama de flujo vuelve en un bucle a la etapa 606, en la que prosiguen la activación y la desactivación selectivas y la captura de imágenes. Por otra parte, si en la etapa 618 de decisión se determina que la formación de imágenes IR está completa, el diagrama de flujo prosigue a una etapa 620 y termina.
Aunque se ha descrito la presente invención en conexión con la forma preferente de practicarla y con modificaciones a la misma, las personas con un dominio normal de la técnica entenderán que pueden efectuarse muchas
5 modificaciones adicionales a la presente invención dentro del alcance de las reivindicaciones que siguen. En consecuencia, no se pretende que el alcance de la invención esté limitado en modo alguno por la anterior descripción, sino que, en vez de ello, esté determinado por completo por referencia a las reivindicaciones que siguen.
La invención en la que se reivindica un derecho exclusivo está definida por las siguientes reivindicaciones.
10
1.
2.
3.
4.
5.
6.
7.

Claims (14)

  1. REIVINDICACIONES
    Un procedimiento para reducir el efecto de una fuente de luz infrarroja no deseada en un sistema de formación de imágenes usando una fuente (66) de luz infrarroja deseada, comprendiendo el procedimiento las etapas de:
    (a)
    activar la fuente de luz infrarroja deseada durante un primer intervalo de captura de imágenes;
    (b)
    capturar un primer conjunto de datos de imágenes durante el primer intervalo de captura de imágenes;
    (c)
    desactivar la fuente de luz infrarroja deseada durante un segundo intervalo de captura de imágenes;
    (d)
    capturar un segundo conjunto de datos de imágenes durante el segundo intervalo de captura de imágenes; y
    (e)
    producir un conjunto compuesto de datos de imágenes restando de los primeros valores del primer conjunto de datos de imágenes los valores correspondientes del segundo conjunto de datos de imágenes, incluyendo el conjunto compuesto resultante de datos de imágenes únicamente datos de imágenes resultantes de la iluminación generada por la fuente de luz infrarroja deseada.
    El procedimiento de la Reivindicación 1 que comprende, además, la etapa de controlar la activación de la fuente de luz infrarroja deseada con un dispositivo de captura de imágenes, de tal modo que una señal de captura de imagen generada por el dispositivo de captura de imágenes hace que la fuente de luz infrarroja deseada se active durante el primer intervalo de captura de imágenes y se desactive durante el segundo intervalo de captura de imágenes.
    El procedimiento de la Reivindicación 2 que, además, comprende las etapas de:
    (a)
    situar la fuente de luz infrarroja deseada en una primera cara de una superficie permeable a la luz para dirigir luz infrarroja sobre un objeto físico (76a, 76b) dispuesto adyacente a una cara opuesta de la superficie permeable a la luz; y
    (b)
    situar el dispositivo de captura de imágenes en la primera cara de una superficie permeable a la luz para capturar la luz infrarroja que fue producida por la fuente de luz infrarroja deseada y reflejada por el objeto físico.
    El procedimiento de la Reivindicación 3 en el que los primeros valores del primer conjunto de datos de imágenes representan una intensidad de la luz infrarroja capturada para una pluralidad de puntos por toda la primera cara de la superficie permeable a la luz durante el primer intervalo de captura de imágenes mientras la fuente de luz infrarroja deseada estaba activada, y los segundos valores del conjunto de datos de imágenes representan una intensidad de la luz infrarroja capturada para la pluralidad de puntos por toda la primera cara de la superficie permeable a la luz durante el segundo intervalo de captura de imágenes mientras la fuente de luz infrarroja deseada estaba desactivada.
    El procedimiento de la Reivindicación 4 en el que la resta de los primeros valores del primer conjunto de datos de imágenes los correspondientes segundos valores del segundo conjunto de datos de imágenes está definida por:
    D ( xy )= I ( xy , )− I ( , )
    , xy
    ON OFF
    en la que:
    (a)
    x,y representa las coordenadas de la ubicación de un punto en la primera cara de la superficie permeable a la luz;
    (b)
    ION(x,y) representa una intensidad de la luz infrarroja detectada durante el primer intervalo de captura de imágenes en el punto x,y;
    (c)
    IOFF(x,y) representa una intensidad de la luz infrarroja detectada durante el segundo intervalo de captura de imágenes en el punto x,y;y
    (d)
    D(x,y) representa una intensidad neta de la luz infrarroja en el punto x,y cuando la intensidad de la luz infrarroja capturada en el punto x,y durante el segundo intervalo de captura de imágenes se resta de la intensidad de la luz infrarroja capturada en el punto x,y durante el primer intervalo de captura de imágenes.
    El procedimiento de la Reivindicación 3 que, además, comprende la etapa de comunicar el conjunto compuesto de datos de imágenes a un sistema de tratamiento de imágenes.
    El procedimiento de la Reivindicación 6 que, además, comprende la etapa de usar la luz infrarroja reflejada por el objeto físico para reconocer una característica del objeto físico.
  2. 8.
    El procedimiento de la Reivindicación 3 que, además, comprende la etapa de situar un proyector (70) en la primera cara de la superficie permeable a la luz, de tal modo que la luz del proyector dirigida a la superficie permeable a la luz se usa para presentar imágenes visibles en la cara opuesta de la superficie permeable a la luz con la que el objeto físico puede interactuar.
  3. 9.
    El procedimiento de la Reivindicación 1 que, además, comprende las etapas de:
    coordinar selectivamente la activación de la fuente de luz infrarroja deseada con una señal de imagen generada por un dispositivo de captura de imágenes;
    activar la fuente de luz infrarroja deseada cuando la señal de imagen indica el inicio de un primer intervalo de captura de imágenes;
    desactivar la fuente de luz infrarroja deseada cuando la señal de imagen indica el inicio de un segundo intervalo de captura de imágenes; y
    comunicar el conjunto compuesto de datos de imágenes a un sistema de tratamiento de imágenes.
  4. 10. El procedimiento de la Reivindicación 9 que, además, comprende las etapas de:
    situar la fuente de luz infrarroja deseada en una primera cara de la superficie permeable a la luz para dirigir luz infrarroja hacia un objeto físico; y
    situar el dispositivo de captura de imágenes en la primera cara de una superficie permeable a la luz para capturar la luz infrarroja arrojada por la fuente de luz infrarroja deseada y reflejada por el objeto físico.
  5. 11. Un sistema para proporcionar una entrada a una aplicación que se está ejecutando que comprende:
    (a)
    una superficie permeable a la luz que tiene una cara de tratamiento y una cara interactiva, estando configurada la cara interactiva para permitir que un objeto físico (76a, 76b) esté dispuesto en la cara interactiva, o adyacente a la misma, siendo la cara de tratamiento opuesta a la cara interactiva;
    (b)
    una fuente de luz infrarroja deseada dispuesta en la cara de tratamiento de la superficie permeable a la luz, emitiendo selectivamente la fuente de luz infrarroja deseada luz infrarroja que se transmite a través de la superficie permeable a la luz hasta la cara interactiva y vuelve a ser reflejada a través de la superficie permeable a la luz por el objeto físico que está dispuesto en la cara interactiva de la superficie permeable a la luz, o es adyacente a la misma;
    (c)
    un dispositivo de captura de imágenes dispuesto en la cara de tratamiento de la superficie permeable a la luz, captando el dispositivo de captura de imágenes la luz infrarroja que pasa a través de la superficie permeable a la luz y formando la superficie de visualización interactiva una imagen para detectar el objeto físico y su ubicación;
    (d)
    un procesador en comunicación con la fuente de luz infrarroja deseada y con el dispositivo de captura de imágenes; y
    (e)
    una memoria (510) en comunicación con el procesador, almacenando la memoria datos e instrucciones de máquina que hacen que el procesador lleve a cabo una pluralidad de funciones, que incluyen:
    (i)
    activar la fuente de luz infrarroja deseada durante un primer intervalo de captura de imágenes;
    (ii)
    capturar, con el dispositivo de captura de imágenes, un primer conjunto de datos de imágenes durante el primer intervalo de captura de imágenes;
    (iii) desactivar la fuente de luz infrarroja deseada durante un segundo intervalo de captura de imágenes;
    (iv)
    capturar, con el dispositivo de captura de imágenes, un segundo conjunto de datos de imágenes durante el segundo intervalo de captura de imágenes; y
    (v)
    generar un conjunto compuesto de datos de imágenes restando de los primeros valores del primer conjunto de datos de imágenes los valores correspondientes del segundo conjunto de datos de imágenes, eliminándose sustancialmente en el conjunto compuesto de datos un efecto de la luz infrarroja capturada por el dispositivo de captura de imágenes, pero no emitida por la fuente infrarroja deseada, incluyendo el conjunto compuesto resultante de datos de imágenes únicamente datos de imágenes resultantes de la iluminación genera por la fuente de luz infrarroja deseada.
  6. 12. El sistema de la Reivindicación 11 en el que los primeros valores del primer conjunto de datos de imágenes representan una intensidad de la luz infrarroja capturada por el dispositivo de captura de imágenes para una pluralidad de puntos por toda la primera cara de la superficie permeable a la luz durante el primer intervalo de captura de imágenes mientras la fuente de luz infrarroja deseada estaba activada, y los segundos valores del conjunto de datos de imágenes representan una intensidad de la luz infrarroja capturada por el dispositivo de captura de imágenes para la pluralidad de puntos por toda la primera cara de la superficie permeable a la luz durante el segundo intervalo de captura de imágenes mientras la fuente de luz infrarroja deseada estaba
    5 desactivada.
  7. 13. El sistema de la Reivindicación 11 en el que las instrucciones de máquina almacenadas en la memoria hacen, además, que el procesador reste de los primeros valores del primer conjunto de datos de imágenes los correspondientes segundos valores del segundo conjunto de datos de imágenes, según están definidos por
    D ( , )= I ( , )− IOFF ( xy )
    xy xy ,
    ON
    en la que:
    10 (a) x,y representa las coordenadas de la ubicación de un punto en la primera cara de la superficie permeable a la luz;
    (b) ION(x,y) representa una intensidad de la luz infrarroja detectada por el dispositivo de captura de imágenes durante el primer intervalo de captura de imágenes en el punto x,y;
    (c) IOFF(x,y) representa una intensidad de la luz infrarroja detectada por el dispositivo de captura de imágenes 15 durante el segundo intervalo de captura de imágenes en el punto x,y;y
    (d) D(x,y) representa una intensidad neta de la luz infrarroja en el punto x,y cuando la intensidad de la luz infrarroja capturada en el punto x,y durante el segundo intervalo de captura de imágenes se resta de la intensidad de la luz infrarroja capturada en el punto x,y durante el primer intervalo de captura de imágenes.
  8. 14. El sistema de la Reivindicación 11 en el que las instrucciones de máquina almacenadas en la memoria hacen,
    20 además, que el procesador use la luz infrarroja reflejada por el objeto físico para reconocer una característica del objeto físico.
  9. 15. El sistema de la Reivindicación 11 que, además, comprende un proyector (70) situado en cara de tratamiento de la superficie permeable a la luz, de tal modo que la luz del proyector es dirigida a la superficie permeable a la luz se usa para presentar imágenes visibles en la cara interactiva de la superficie permeable a la luz con la
    25 que el objeto físico puede interactuar.
  10. 16. Un sistema para proporcionar una entrada a una aplicación que se está ejecutando que comprende:
    (a) una superficie permeable a la luz que tiene una cara de tratamiento y una cara interactiva, estando configurada la cara interactiva para permitir que un objeto físico (76a, 76b) esté dispuesto en la cara interactiva, o adyacente a la misma, siendo la cara de tratamiento opuesta a la cara interactiva;
    30 (b) un dispositivo de captura de imágenes dispuesto en la cara de tratamiento de la superficie permeable a la luz, captando el dispositivo de captura de imágenes la luz infrarroja que pasa a través de la superficie permeable a la luz y formando la superficie de visualización interactiva una imagen para detectar el objeto físico y su ubicación, estando configurado el dispositivo de captura de imágenes para generar una señal de captura de la imagen;
    35 (c) una fuente de luz infrarroja deseada dispuesta en la cara de tratamiento de la superficie permeable a la luz, emitiendo selectivamente la fuente de luz infrarroja deseada luz infrarroja que se transmite a través de la superficie permeable a la luz hasta la cara interactiva y vuelve a ser reflejada a través de la superficie permeable a la luz por el objeto físico que está dispuesto en la cara interactiva de la superficie permeable a la luz, o es adyacente a la misma;
    40 (d) un controlador de la fuente de luz infrarroja configurado para:
    (i)
    recibir la señal de captura de imagen; y
    (ii)
    accionar selectivamente la fuente de luz infrarroja deseada en respuesta a la recepción de la señal de captura de imagen, de tal modo que la fuente de luz infrarroja deseada se active con la recepción de una primera señal de captura de imagen, que indica un primer intervalo de captura de imágenes, y se
    45 desactive con la recepción de una segunda señal de captura de imagen, que indica un segundo intervalo de captura de imágenes;
    (e) un procesador en comunicación con la fuente de luz infrarroja deseada y con el dispositivo de captura de imágenes; y
  11. 17.
  12. 18.
  13. 19.
  14. 20.
    (f) una memoria en comunicación con el procesador, almacenando la memoria datos e instrucciones de máquina que hacen que el procesador lleve a cabo una pluralidad de funciones, que incluyen:
    (i)
    capturar, con el dispositivo de captura de imágenes, un primer conjunto de datos de imágenes durante el primer intervalo de captura de imágenes;
    (ii)
    capturar, con el dispositivo de captura de imágenes, un segundo conjunto de datos de imágenes durante el segundo intervalo de captura de imágenes; y
    (iii) generar un conjunto compuesto de datos de imágenes restando de los primeros valores del primer conjunto de datos de imágenes los valores correspondientes del segundo conjunto de datos de imágenes, compensándose sustancialmente en el conjunto compuesto de datos de imágenes cualquier efecto de la luz infrarroja extraña capturada por el dispositivo de captura de imágenes, incluyendo el conjunto compuesto resultante de datos de imágenes únicamente datos de imágenes resultantes de la iluminación generada por la fuente de luz infrarroja deseada.
    El sistema de la Reivindicación 16 en el que los primeros valores del primer conjunto de datos de imágenes representan una intensidad de la luz infrarroja capturada por el dispositivo de captura de imágenes para una pluralidad de puntos por toda la primera cara de la superficie permeable a la luz durante el primer intervalo de captura de imágenes mientras la fuente de luz infrarroja deseada estaba activada, y los segundos valores del conjunto de datos de imágenes representan una intensidad de la luz infrarroja capturada para la pluralidad de puntos por toda la primera cara de la superficie permeable a la luz durante el segundo intervalo de captura de imágenes mientras la fuente de luz infrarroja deseada estaba desactivada.
    El sistema de la Reivindicación 17 en el que las instrucciones de máquina almacenadas en la memoria hacen, además, que el procesador reste de los primeros valores del primer conjunto de datos de imágenes los correspondientes segundos valores del segundo conjunto de datos de imágenes, según están definidos por
    D ( , )= I ( , )− IOFF ( xy )
    xy xy ,
    ON
    en la que:
    (a)
    x,y representa las coordenadas de la ubicación de un punto en la primera cara de la superficie permeable a la luz;
    (b)
    ION(x,y) representa una intensidad de la luz infrarroja detectada durante el primer intervalo de captura de imágenes en el punto x,y;
    (c)
    IOFF(x,y) representa una intensidad de la luz infrarroja detectada durante el segundo intervalo de captura de imágenes en el punto x,y;y
    (d)
    D(x,y) representa una intensidad neta de la luz infrarroja en el punto x,y cuando la intensidad de la luz infrarroja capturada en el punto x,y durante el segundo intervalo de captura de imágenes se resta de la intensidad de la luz infrarroja capturada en el punto x,y durante el primer intervalo de captura de imágenes.
    El sistema de la Reivindicación 16 en el que las instrucciones de máquina almacenadas en la memoria hacen, además, que el procesador use la luz infrarroja reflejada por el objeto físico para reconocer una característica del objeto físico.
    El sistema de la Reivindicación 16 que, además, comprende un proyector (70) situado en cara de tratamiento de la superficie permeable a la luz, de tal modo que la luz producida por el proyector es dirigida a la superficie permeable a la luz y usada para presentar imágenes visibles en la cara interactiva de la superficie permeable a la luz con la que el objeto físico puede interactuar.
ES05105247T 2004-06-16 2005-06-15 Procedimiento y sistema para reducir los efectos de señales no deseadas en un sistema de formación de imágenes infrarrojas. Active ES2364054T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/870,777 US7593593B2 (en) 2004-06-16 2004-06-16 Method and system for reducing effects of undesired signals in an infrared imaging system
US870777 2004-06-16

Publications (1)

Publication Number Publication Date
ES2364054T3 true ES2364054T3 (es) 2011-08-23

Family

ID=34940172

Family Applications (1)

Application Number Title Priority Date Filing Date
ES05105247T Active ES2364054T3 (es) 2004-06-16 2005-06-15 Procedimiento y sistema para reducir los efectos de señales no deseadas en un sistema de formación de imágenes infrarrojas.

Country Status (6)

Country Link
US (4) US7593593B2 (es)
EP (1) EP1608157B1 (es)
JP (2) JP2006048650A (es)
AT (1) ATE511673T1 (es)
ES (1) ES2364054T3 (es)
PL (1) PL1608157T3 (es)

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7787706B2 (en) 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US7576725B2 (en) * 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
US7499027B2 (en) * 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8060840B2 (en) 2005-12-29 2011-11-15 Microsoft Corporation Orientation free user interface
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8212857B2 (en) 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
JP2008250774A (ja) * 2007-03-30 2008-10-16 Denso Corp 情報機器操作装置
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
JP4466706B2 (ja) * 2007-09-27 2010-05-26 ミツミ電機株式会社 画像読取装置及び画像読取方法
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US9063613B2 (en) 2008-03-24 2015-06-23 Japan Display Inc. Image pickup device, display-and-image-pickup device, electronic apparatus and method of detecting an object
US8952894B2 (en) * 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US20090295760A1 (en) * 2008-06-02 2009-12-03 Sony Ericsson Mobile Communications Ab Touch screen display
WO2009158662A2 (en) * 2008-06-26 2009-12-30 Global Rainmakers, Inc. Method of reducing visibility of illimination while acquiring high quality imagery
US8773352B1 (en) * 2008-07-16 2014-07-08 Bby Solutions, Inc. Systems and methods for gesture recognition for input device applications
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US8810522B2 (en) * 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US20100079409A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Touch panel for an interactive input system, and interactive input system incorporating the touch panel
US20100083109A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
US20100105479A1 (en) 2008-10-23 2010-04-29 Microsoft Corporation Determining orientation in an external reference frame
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
GB2466023A (en) * 2008-12-08 2010-06-09 Light Blue Optics Ltd Holographic Image Projection Systems
JP5230401B2 (ja) * 2008-12-19 2013-07-10 キヤノン株式会社 表示制御装置、画像処理装置
CN101923403A (zh) * 2009-06-09 2010-12-22 鸿富锦精密工业（深圳）有限公司 无线双头鼠标
JP5793493B2 (ja) 2009-06-25 2015-10-14 コーニンクレッカ フィリップス エヌ ヴェ クロマキーを用いたジェスチャ認識
WO2011003171A1 (en) * 2009-07-08 2011-01-13 Smart Technologies Ulc Three-dimensional widget manipulation on a multi-touch panel
EP2473904A1 (en) * 2009-09-01 2012-07-11 SMART Technologies ULC Interactive input system with improved signal-to-noise ratio (snr) and image capture method
GB0921644D0 (en) * 2009-12-10 2010-01-27 St Microelectronics Res & Dev Improvements in or relating to optical navigation devices
US8502789B2 (en) * 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
JP5693022B2 (ja) * 2010-03-04 2015-04-01 キヤノン株式会社 表示制御装置および表示制御システム、並びにそれらの制御方法、プログラム、記憶媒体
US9414051B2 (en) 2010-07-20 2016-08-09 Memory Engine, Incorporated Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
DE102010033649B4 (de) * 2010-08-06 2012-03-29 Daniel Barthels Bildschirm sowie Verfahren zum Darstellen von optischen Inhalten auf einem Bildschirm
GB2484316A (en) * 2010-10-06 2012-04-11 St Microelectronics Res & Dev Self navigation of mobile devices
GB201110159D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
GB201110157D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
GB201110156D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch-sensitive display devices
US10088924B1 (en) * 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
KR20130028370A (ko) * 2011-09-09 2013-03-19 삼성전자주식회사 영상 모델링 시스템에서 형상 정보, 재질 정보 및 조명 정보를 획득하는 장치 및 방법
JP5806573B2 (ja) * 2011-09-28 2015-11-10 キヤノン株式会社 座標入力装置およびその制御方法、座標入力システム
GB201117542D0 (en) 2011-10-11 2011-11-23 Light Blue Optics Ltd Touch-sensitive display devices
JP6280867B2 (ja) 2011-10-18 2018-02-14 カーネギー メロン ユニバーシティ タッチセンサ表面に対するタッチ事象を分類するための方法及び装置
US8976249B2 (en) * 2011-11-04 2015-03-10 Empire Technology Development Llc IR signal capture for images
US9690396B1 (en) * 2011-12-15 2017-06-27 Brian R. Kubica Paperless blueprint drafting table system
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9600100B2 (en) 2012-01-11 2017-03-21 Smart Technologies Ulc Interactive input system and method
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
WO2013108032A1 (en) 2012-01-20 2013-07-25 Light Blue Optics Limited Touch sensitive image display devices
GB2513498A (en) 2012-01-20 2014-10-29 Light Blue Optics Ltd Touch sensitive image display devices
GB201205303D0 (en) 2012-03-26 2012-05-09 Light Blue Optics Ltd Touch sensing systems
US8982265B2 (en) * 2012-04-13 2015-03-17 Young Optics Inc. Image projection and capture apparatus
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
CN103105977A (zh) * 2012-12-11 2013-05-15 武汉智慧城市研究院股份有限公司 一种抗红外噪声的触点识别方法、装置以及系统
TWI477123B (zh) * 2013-01-15 2015-03-11 Univ Nat Chiao Tung 多功能控制照明裝置
US9465484B1 (en) * 2013-03-11 2016-10-11 Amazon Technologies, Inc. Forward and backward looking vision system
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9304594B2 (en) * 2013-04-12 2016-04-05 Microsoft Technology Licensing, Llc Near-plane segmentation using pulsed light source
US10082935B2 (en) * 2013-04-15 2018-09-25 Carnegie Mellon University Virtual tools for use with touch-sensitive surfaces
JP6220653B2 (ja) * 2013-11-28 2017-10-25 シャープ株式会社 光学式位置検出装置およびそれを用いた電子機器
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
JP6398248B2 (ja) 2014-01-21 2018-10-03 セイコーエプソン株式会社 位置検出システム、及び、位置検出システムの制御方法
JP6349838B2 (ja) * 2014-01-21 2018-07-04 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
KR102198852B1 (ko) * 2014-03-24 2021-01-05 삼성전자 주식회사 홍채 인식 장치 및 이를 포함하는 모바일 장치
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
CN104598899A (zh) * 2015-02-16 2015-05-06 上海箩箕技术有限公司 指纹成像方法和指纹成像系统
US9720550B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Adaptable input active zones at an information handling system projected user interface
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US9753591B2 (en) 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US9791979B2 (en) * 2015-04-21 2017-10-17 Dell Products L.P. Managing inputs at an information handling system by adaptive infrared illumination and detection
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US9983717B2 (en) 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US9720446B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9804718B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Context based peripheral management for interacting with an information handling system
US10126636B1 (en) * 2015-06-18 2018-11-13 Steven Glenn Heppler Image projection system for a drum
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
CN105487321B (zh) * 2015-12-28 2018-08-14 生迪智慧科技有限公司 红外补光灯的控制方法及拍摄装置
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10121054B2 (en) * 2016-11-10 2018-11-06 Synaptics Incorporated Systems and methods for improving spoof detection based on matcher alignment information
KR102040388B1 (ko) * 2017-04-19 2019-11-04 선전 구딕스 테크놀로지 컴퍼니, 리미티드 광 강도 검출 방법, 장치 및 스마트 단말기
WO2019033386A1 (zh) * 2017-08-18 2019-02-21 深圳市汇顶科技股份有限公司 获取指纹图像的方法、装置和终端设备
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference

Family Cites Families (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4586817A (en) 1984-02-27 1986-05-06 Rca Corporation Method for determining the MTF of a viewing window
US4972093A (en) 1987-10-09 1990-11-20 Pressco Inc. Inspection lighting system
US4896029A (en) * 1988-04-08 1990-01-23 United Parcel Service Of America, Inc. Polygonal information encoding article, process and system
JP2692863B2 (ja) * 1988-06-24 1997-12-17 株式会社東芝 無線電話装置
US4992650A (en) 1990-03-29 1991-02-12 International Business Machines Corporation Method and apparatus for barcode recognition in a digital image
US5153418A (en) * 1990-10-30 1992-10-06 Omniplanar, Inc. Multiple resolution machine readable symbols
JP3215840B2 (ja) * 1991-07-11 2001-10-09 ユナイテツド パーセル サービス オブ アメリカ インコーポレイテツド 光学目標を捕捉するためのシステム及び方法
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
JP2855949B2 (ja) * 1992-03-10 1999-02-10 住友電装株式会社 圧着端子画像処理検査における照明方法
US5319214A (en) 1992-04-06 1994-06-07 The United States Of America As Represented By The Secretary Of The Army Infrared image projector utilizing a deformable mirror device spatial light modulator
US5821930A (en) 1992-08-23 1998-10-13 U S West, Inc. Method and system for generating a working window in a computer system
US7084859B1 (en) 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US5515452A (en) 1992-12-31 1996-05-07 Electroglas, Inc. Optical character recognition illumination method and system
US5461417A (en) 1993-02-16 1995-10-24 Northeast Robotics, Inc. Continuous diffuse illumination method and apparatus
US5436639A (en) 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
US5526177A (en) 1994-02-14 1996-06-11 Mobi Corporation Dual-view, immersible periscope
US5541419A (en) 1994-03-21 1996-07-30 Intermec Corporation Symbology reader wth reduced specular reflection
DE69515481T2 (de) * 1994-06-07 2000-10-19 United Parcel Service Inc Verfahren und Vorrichtung zur Dekodierung eines zweidimensionalen Symboles im Raumbereich
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
JPH0816781A (ja) * 1994-06-27 1996-01-19 Oki Electric Ind Co Ltd 画像認識装置
JP3416268B2 (ja) 1994-06-30 2003-06-16 キヤノン株式会社 画像認識装置及びその方法
US5835692A (en) 1994-11-21 1998-11-10 International Business Machines Corporation System and method for providing mapping notation in interactive video displays
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US5831601A (en) 1995-06-07 1998-11-03 Nview Corporation Stylus position sensing and digital camera with a digital micromirror device
US5920688A (en) 1995-11-13 1999-07-06 International Business Machines Corporation Method and operating system for manipulating the orientation of an output image of a data processing system
US6750877B2 (en) 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
US6061091A (en) 1996-05-30 2000-05-09 Agfa Gevaert N.V. Detection of and correction for specular reflections in digital image acquisition
US5909501A (en) * 1996-09-09 1999-06-01 Arete Associates Systems and methods with identity verification by comparison and interpretation of skin patterns such as fingerprints
JP3321053B2 (ja) * 1996-10-18 2002-09-03 株式会社東芝 情報入力装置及び情報入力方法及び補正データ生成装置
IL119498A (en) 1996-10-27 2003-02-12 Advanced Recognition Tech Application launching system
GB9622556D0 (en) * 1996-10-30 1997-01-08 Philips Electronics Nv Cursor control with user feedback mechanism
FR2756077B1 (fr) 1996-11-19 1999-01-29 Opto System Ecran tactile et dispositif de visualisation utilisant cet ecran tactile
JP3097577B2 (ja) * 1996-11-22 2000-10-10 松下電器産業株式会社 入出力一体型情報操作装置
JP2815045B2 (ja) * 1996-12-16 1998-10-27 日本電気株式会社 画像特徴抽出装置，画像特徴解析装置，および画像照合システム
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6266061B1 (en) 1997-01-22 2001-07-24 Kabushiki Kaisha Toshiba User interface apparatus and operation range presenting method
US5942762A (en) 1997-01-29 1999-08-24 Accu-Sort Systems, Inc. CCD scanner having improved specular reflection discrimination
US6088612A (en) 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6201601B1 (en) 1997-09-19 2001-03-13 Kla-Tencor Corporation Sample inspection system
US20040057045A1 (en) 2000-12-21 2004-03-25 Mehdi Vaez-Iravani Sample inspection system
JP3794180B2 (ja) * 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
US6088019A (en) * 1998-06-23 2000-07-11 Immersion Corporation Low cost force feedback device with actuator for non-primary axis
US5940076A (en) 1997-12-01 1999-08-17 Motorola, Inc. Graphical user interface for an electronic device and method therefor
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2938420B2 (ja) 1998-01-30 1999-08-23 インターナショナル・ビジネス・マシーンズ・コーポレイション ファンクション選択方法及び装置、ファンクションを選択するための制御プログラムを格納した記憶媒体、オブジェクトの操作方法及び装置、オブジェクトを操作するための制御プログラムを格納した記憶媒体、複合アイコンを格納した記憶媒体
US5973315A (en) 1998-02-18 1999-10-26 Litton Systems, Inc. Multi-functional day/night observation, ranging, and sighting device with active optical target acquisition and method of its operation
US6154214A (en) 1998-03-20 2000-11-28 Nuvomedia, Inc. Display orientation features for hand-held content display device
US6225620B1 (en) 1998-03-31 2001-05-01 Key Technology, Inc. Peach pit detection apparatus and method
US6448987B1 (en) 1998-04-03 2002-09-10 Intertainer, Inc. Graphic user interface for a digital content delivery system using circular menus
US6269172B1 (en) * 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6111565A (en) * 1998-05-14 2000-08-29 Virtual Ink Corp. Stylus for use with transcription system
US6400836B2 (en) * 1998-05-15 2002-06-04 International Business Machines Corporation Combined fingerprint acquisition and control device
US6956963B2 (en) 1998-07-08 2005-10-18 Ismeca Europe Semiconductor Sa Imaging for a machine-vision system
US7268774B2 (en) 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US6088482A (en) 1998-10-22 2000-07-11 Symbol Technologies, Inc. Techniques for reading two dimensional code, including maxicode
JP4043128B2 (ja) 1999-02-24 2008-02-06 富士通株式会社 光走査型タッチパネル
DE19917660A1 (de) 1999-04-19 2000-11-02 Deutsch Zentr Luft & Raumfahrt Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
US6633338B1 (en) 1999-04-27 2003-10-14 Gsi Lumonics, Inc. Programmable illuminator for vision system
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6522395B1 (en) 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
US6788411B1 (en) 1999-07-08 2004-09-07 Ppt Vision, Inc. Method and apparatus for adjusting illumination angle
US6433907B1 (en) 1999-08-05 2002-08-13 Microvision, Inc. Scanned display with plurality of scanning assemblies
US6529183B1 (en) 1999-09-13 2003-03-04 Interval Research Corp. Manual interface combining continuous and discrete capabilities
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US6710770B2 (en) 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
GB2356996A (en) 1999-12-03 2001-06-06 Hewlett Packard Co Improvements to digital cameras
JP2001183994A (ja) 1999-12-27 2001-07-06 Sony Corp 画像表示装置
JP2001282445A (ja) 2000-03-31 2001-10-12 Ricoh Co Ltd 座標入力／検出装置および情報表示入力装置
ES2256106T3 (es) * 2000-04-06 2006-07-16 Seiko Epson Corporation Metodo y aparato para leer un simbolo de codigo de barra bidimensional y medio de almacenamiento de datos.
JP2001337978A (ja) 2000-05-26 2001-12-07 Takashi Mine デジタル情報入力システム
JP2001350586A (ja) * 2000-06-09 2001-12-21 Keio Gijuku 位置入力装置
US6690363B2 (en) 2000-06-19 2004-02-10 Next Holdings Limited Touch panel display system
US8287374B2 (en) * 2000-07-07 2012-10-16 Pryor Timothy R Reconfigurable control displays for games, toys, and other applications
US6812907B1 (en) 2000-07-19 2004-11-02 Hewlett-Packard Development Company, L.P. Segmented electronic display
US7161578B1 (en) 2000-08-02 2007-01-09 Logitech Europe S.A. Universal presentation device
US6714221B1 (en) * 2000-08-03 2004-03-30 Apple Computer, Inc. Depicting and setting scroll amount
US6791530B2 (en) 2000-08-29 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Circular graphical user interfaces
US7327376B2 (en) * 2000-08-29 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Multi-user collaborative graphical user interfaces
US7009704B1 (en) 2000-10-26 2006-03-07 Kla-Tencor Technologies Corporation Overlay error detection
US6788813B2 (en) 2000-10-27 2004-09-07 Sony Corporation System and method for effectively performing a white balance operation
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US7128266B2 (en) 2003-11-13 2006-10-31 Metrologic Instruments. Inc. Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture
US6781069B2 (en) 2000-12-27 2004-08-24 Hewlett-Packard Development Company, L.P. Method and apparatus for virtual interaction with physical documents
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US6925611B2 (en) 2001-01-31 2005-08-02 Microsoft Corporation Navigational interface for mobile and wearable computers
US6520648B2 (en) 2001-02-06 2003-02-18 Infocus Corporation Lamp power pulse modulation in color sequential projection displays
GB2372391A (en) 2001-02-16 2002-08-21 Hewlett Packard Co Removal of specular reflection
US6895104B2 (en) * 2001-02-16 2005-05-17 Sac Technologies, Inc. Image identification system
WO2002073514A2 (en) 2001-03-08 2002-09-19 Moore North America, Inc. Method and apparatus for reducing specular reflection from a scannable surface
US6888960B2 (en) * 2001-03-28 2005-05-03 Nec Corporation Fast optimal linear approximation of the images of variably illuminated solid objects for recognition
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
GB2375676A (en) 2001-05-17 2002-11-20 Hewlett Packard Co Reducing the effects of specular reflections appearing in an image
US6959102B2 (en) * 2001-05-29 2005-10-25 International Business Machines Corporation Method for increasing the signal-to-noise in IR-based eye gaze trackers
JP2002352229A (ja) 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置
US6639594B2 (en) 2001-06-03 2003-10-28 Microsoft Corporation View-dependent image synthesis
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
WO2003005177A1 (en) 2001-07-03 2003-01-16 Koninklijke Philips Electronics N.V. Interactive display and method of displaying a message
US6478432B1 (en) 2001-07-13 2002-11-12 Chad D. Dyner Dynamically generated interactive real imaging device
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
US7058217B2 (en) 2001-09-28 2006-06-06 Nec Laboratories America, Inc. Broadened-specular reflection and linear subspaces for object recognition
US6663244B1 (en) 2001-12-14 2003-12-16 Infocus Corporation Illumination field blending for use in subtitle projection systems
US20040005920A1 (en) 2002-02-05 2004-01-08 Mindplay Llc Method, apparatus, and article for reading identifying information from, for example, stacks of chips
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7305115B2 (en) 2002-02-22 2007-12-04 Siemens Energy And Automation, Inc. Method and system for improving ability of a machine vision system to discriminate features of a target
JP2003258189A (ja) 2002-03-01 2003-09-12 Toshiba Corp 半導体装置及びその製造方法
US6813016B2 (en) 2002-03-15 2004-11-02 Ppt Vision, Inc. Co-planarity and top-down examination method and optical module for electronic leaded components
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7006128B2 (en) 2002-05-30 2006-02-28 Siemens Corporate Research, Inc. Object detection for sudden illumination changes using order consistency
JP2004259247A (ja) 2002-06-21 2004-09-16 Mitsubishi Electric Research Laboratories Inc マルチユーザコラボラティブ円形グラフィカルユーザインタフェース
US20040001113A1 (en) * 2002-06-28 2004-01-01 John Zipperer Method and apparatus for spline-based trajectory classification, gesture detection and localization
AU2003262746A1 (en) 2002-08-20 2004-03-11 Fusionarc, Inc. Method of multiple algorithm processing of biometric data
US7120280B2 (en) 2002-09-27 2006-10-10 Symbol Technologies, Inc. Fingerprint template generation, verification and identification system
JP2004134861A (ja) * 2002-10-08 2004-04-30 Nikon Corp 解像度評価方法、解像度評価プログラム、および光学機器
US20060034492A1 (en) 2002-10-30 2006-02-16 Roy Siegel Hand recognition system
US7390092B2 (en) * 2002-11-08 2008-06-24 Belliveau Richard S Image projection lighting devices with visible and infrared imaging
US6840627B2 (en) 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
JP4369922B2 (ja) 2003-03-07 2009-11-25 日本電信電話株式会社 生体画像照合装置およびその照合方法
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2004304718A (ja) * 2003-04-01 2004-10-28 Nara Institute Of Science & Technology 近接領域画像抽出装置及び近接領域画像抽出方法
JP2004319364A (ja) 2003-04-18 2004-11-11 Alps Electric Co Ltd 照明装置および液晶表示装置
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
JP4517601B2 (ja) 2003-07-09 2010-08-04 ソニー株式会社 投射型画像表示装置
EP1510911A3 (en) 2003-08-28 2006-03-22 Sony Corporation Information processing apparatus, information processing method, information processing program and storage medium containing information processing program
US20050122306A1 (en) 2003-10-29 2005-06-09 E Ink Corporation Electro-optic displays with single edge addressing and removable driver circuitry
US7230707B2 (en) 2003-12-19 2007-06-12 Datacolor Holding Ag Spectrophotometer with digital camera
KR100588042B1 (ko) * 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
US20050255434A1 (en) 2004-02-27 2005-11-17 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US20050212753A1 (en) * 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
US20050227217A1 (en) 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US7204428B2 (en) 2004-03-31 2007-04-17 Microsoft Corporation Identification of object on interactive display surface by identifying coded pattern
US7379562B2 (en) 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US7379563B2 (en) * 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
EP2408192A3 (en) 2004-04-16 2014-01-01 James A. Aman Multiple view compositing and object tracking system
US7310085B2 (en) 2004-04-22 2007-12-18 International Business Machines Corporation User interactive computer controlled display system enabling a user remote from a display screen to make interactive selections on the display screen with a laser beam projected onto the display screen
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7397464B1 (en) * 2004-04-30 2008-07-08 Microsoft Corporation Associating application states with a physical object
US7492357B2 (en) 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7467380B2 (en) 2004-05-05 2008-12-16 Microsoft Corporation Invoking applications with virtual objects on an interactive display
US7404146B2 (en) 2004-05-27 2008-07-22 Agere Systems Inc. Input device for portable handset
US7787706B2 (en) * 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7168813B2 (en) * 2004-06-17 2007-01-30 Microsoft Corporation Mediacube
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP2006031941A (ja) 2004-07-12 2006-02-02 Sharp Corp 面状光源ユニット
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7724242B2 (en) 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US7204420B2 (en) 2004-08-31 2007-04-17 Symbol Technologies, Inc. Scanner and method for eliminating specular reflection
US7576725B2 (en) 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
US8137195B2 (en) * 2004-11-23 2012-03-20 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
US7398927B2 (en) 2005-01-26 2008-07-15 Datalogic Scanning, Inc. Data reader and methods for imaging targets subject to specular reflection
US20060202974A1 (en) 2005-03-10 2006-09-14 Jeffrey Thielman Surface
US7813597B2 (en) 2005-03-18 2010-10-12 The Invention Science Fund I, Llc Information encoded in an expression
US7499027B2 (en) 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US7525538B2 (en) 2005-06-28 2009-04-28 Microsoft Corporation Using same optics to image, illuminate, and project
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7828527B2 (en) 2005-09-13 2010-11-09 Illinois Tool Works Inc. Paint circulating system and method
US20070063981A1 (en) 2005-09-16 2007-03-22 Galyean Tinsley A Iii System and method for providing an interactive interface
EP1952122A4 (en) 2005-10-27 2010-01-13 Xitronix Corp METHOD FOR PHOTOREFLECTANCE CHARACTERIZATION OF THE CONSTRAINT AND ACTIVE DOPANT IN SEMICONDUCTOR STRUCTURES
US8060840B2 (en) 2005-12-29 2011-11-15 Microsoft Corporation Orientation free user interface
US7630002B2 (en) 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
US7515143B2 (en) 2006-02-28 2009-04-07 Microsoft Corporation Uniform illumination of interactive display panel
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8212857B2 (en) 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US9171454B2 (en) 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand

Also Published As

Publication number Publication date
US20080193043A1 (en) 2008-08-14
EP1608157B1 (en) 2011-06-01
ATE511673T1 (de) 2011-06-15
EP1608157A2 (en) 2005-12-21
EP1608157A3 (en) 2007-01-10
JP2011238292A (ja) 2011-11-24
JP2006048650A (ja) 2006-02-16
US8165422B2 (en) 2012-04-24
US7593593B2 (en) 2009-09-22
PL1608157T3 (pl) 2011-10-31
US20120169673A1 (en) 2012-07-05
US20050281475A1 (en) 2005-12-22
US8670632B2 (en) 2014-03-11
US7613358B2 (en) 2009-11-03
US20090262070A1 (en) 2009-10-22

Similar Documents

Publication Publication Date Title
ES2364054T3 (es) Procedimiento y sistema para reducir los efectos de señales no deseadas en un sistema de formación de imágenes infrarrojas.
US11073908B2 (en) Eye-tracking enabled wearable devices
US10739851B2 (en) Eye-tracking enabled wearable devices
US10565446B2 (en) Eye-tracking enabled wearable devices
KR101247095B1 (ko) 인터랙티브 디스플레이 조명 및 개체 검출 방법과 인터랙티브 디스플레이 시스템
US7787706B2 (en) Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
EP1650645A2 (en) Using clear-coded, see-through objects to manipulate virtual objects
US20130314380A1 (en) Detection device, input device, projector, and electronic apparatus
JP2006127494A (ja) 光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステム
WO2019018365A1 (en) CLOTHING DEVICES FOR EYE FOLLOW-UP