ES2435248T3 - Sistema y método táctil basado en cámaras - Google Patents

Abstract

Un método que comprende: adquirir imágenes de al menos dos puntos de vista usando cámaras (63) que tienen campos visuales queen general miran a través de la superficie táctil (60), extendiéndose el campo visual de cada cámara (63)más allá de un borde periférico de la superficie táctil; caracterizado porque en cada cámara: se procesa cada imagen adquirida para producir un conjunto de datos de imagen para cada imagenadquirida; se compara cada conjunto de datos de imagen con una imagen de fondo para producir una imagende diferencias para cada imagen adquirida; y se detecta la existencia de un puntero dentro de cada imagen de diferencias y se generan datoscaracterísticos del puntero; procesar datos característicos del puntero generados en las cámaras usando un procesador maestro (54)para determinar la posición del puntero con respecto a la superficie táctil (60) mediante triangulación; yusar la posición del puntero determinada para controlar la ejecución de un programa de aplicacionesinformáticas.

Description

Sistema y método táctil basado en cámaras

CAMPO TÉCNICO

[001] La presente invención se refiere en general a sistemas táctiles y en particular a un sistema táctil basado 5 en cámaras.

TÉCNICA ANTECEDENTE

[002] Los sistemas táctiles son bien conocidos en la técnica y normalmente incluyen una pantalla táctil que tiene una superficie táctil con la cual se hace contacto mediante el uso de un puntero para generar una entrada del usuario. Los contactos del puntero con la superficie táctil se detectan y se utilizan para generar la salida

10 correspondiente, dependiendo de las áreas de la superficie táctil donde se hace contacto. Existen básicamente dos tipos generales de sistemas táctiles disponibles y éstos pueden clasificarse en grandes términos en sistemas táctiles "activos" y sistemas táctiles "pasivos".

[003] Los sistemas táctiles activos permiten al usuario generar la entrada del usuario poniendo en contacto la superficie táctil con un puntero especial que generalmente requiere alguna forma de fuente de alimentación

15 integrada, normalmente baterías. El puntero especial emite señales tales como luz infrarroja, luz visible, frecuencias ultrasónicas, frecuencias electromagnéticas, etc. que activan la superficie táctil.

[004] Los sistemas táctiles pasivos permiten al usuario generar la entrada del usuario poniendo en contacto la superficie táctil con un puntero pasivo y no requieren el uso de un puntero especial para activar la superficie táctil. Un puntero pasivo puede ser un dedo, un cilindro de algún material o cualquier otro objeto adecuado que pueda

20 utilizarse para poner en contacto un área de interés predeterminada sobre la superficie táctil.

[005] Los sistemas táctiles pasivos ofrecen ventajas con respecto a los sistemas táctiles activos, ya que cualquier dispositivo de puntero, incluido el dedo de un usuario, puede utilizarse como puntero para ponerse en contacto con la superficie táctil. Como resultado, la entrada del usuario puede generarse fácilmente. También, dado que no son necesarios punteros activos especiales en los sistemas táctiles pasivos, los niveles de la batería

25 y/o el daño, robo o colocación equivocada del puntero no constituyen una preocupación para los usuarios.

[006] Los sistemas táctiles pasivos tienen varias aplicaciones relativas al manejo del ordenador y la pantalla de vídeo. Por ejemplo, en una aplicación interactiva, tal como se divulga en la Patente de los Estados Unidos No.

5.448.263 de Martin, cedida al cesionario de la presente invención, un sistema táctil pasivo se acopla a un ordenador y la pantalla del ordenador se presenta en la superficie táctil de la pantalla táctil. Las coordenadas que 30 representan ubicaciones específicas sobre la superficie táctil son mapeadas a la pantalla del ordenador. Cuando un usuario hace contacto con la superficie táctil, las coordenadas de la posición de contacto son trasmitidas al ordenador y mapeadas a la pantalla del ordenador, permitiendo así que el usuario maneje el ordenador de manera similar a cuando usa un ratón de ordenador, simplemente haciendo contacto con la superficie táctil. Asimismo, las coordenadas trasmitidas al ordenador pueden grabarse en una aplicación y volver a visualizarse

35 más tarde. La grabación de las coordenadas de contacto normalmente se realiza cuando se desea grabar información escrita o dibujada en la pantalla táctil por el usuario.

[007] La resolución de una pantalla táctil pasiva determina si el sistema táctil es adecuado para grabar información escrita o dibujada en la pantalla táctil o sólo útil para seleccionar áreas sobre la pantalla táctil mapeadas a regiones en el ordenador o pantalla de vídeo para manipular el ordenador o la pantalla de vídeo. La

40 resolución normalmente se mide en puntos por pulgada (DPI). Los DPI se relacionan con el tamaño de la pantalla táctil y la capacidad de muestreo del hardware y el software del sistema táctil utilizado para detectar los contactos sobre la superficie táctil.

[008] Las pantallas táctiles pasivas de baja resolución sólo tienen suficientes DPI como para detectar los

contactos sobre la superficie táctil dentro de un gran grupo de píxeles exhibidos por el ordenador o la pantalla de 45 vídeo. Por lo tanto, estas pantallas táctiles pasivas de baja resolución son útiles sólo para manipular el ordenador

o la pantalla de vídeo.

[009] Por otro lado, las pantallas táctiles pasivas de alta resolución tienen suficientes DPI como para detectar los contactos que son proporcionales a un pequeño número de píxeles o sub-píxeles del ordenador o la pantalla de vídeo. Sin embargo, un requisito para las pantallas táctiles de alta resolución es la capacidad de detectar cuándo el puntero está en contacto con la superficie táctil. Esto es necesario para escribir, dibujar, hacer clic con el ratón, etc. Sin la capacidad de detectar un contacto del puntero con la pantalla táctil, escribir y dibujar sería una operación continua y los clic del ratón no serían posibles, haciendo así virtualmente imposible la manipulación de la pantalla del ordenador. Un requisito secundario es la capacidad de detectar cuándo el puntero se está

5 moviendo sobre la superficie táctil. A pesar de que no es necesario para escribir o dibujar, los sistemas operativos de los ordenadores actuales utilizan cada vez más información de movimiento para manipular las pantallas del ordenador o vídeo o los cuadros de información emergentes.

[0010] Las pantallas táctiles pasivas normalmente son del tipo resistivo análogo, del tipo de onda acústica de superficie (SAW) o de tipo capacitivo. Lamentablemente, estas pantallas táctiles presentan varios problemas y

10 desventajas, tal como se describirá.

[0011] Las pantallas táctiles resistivas análogas normalmente tienen alta resolución. Dependiendo de la complejidad de la pantalla táctil, la resolución de la pantalla táctil puede producir 4096x4096 DPI o más. Las pantallas táctiles resistivas análogas se construyen utilizando dos láminas flexibles que están recubiertas con un material resistivo y dispuestas una encima de la otra. Las láminas no entran en contacto entre sí hasta que se

15 haya hecho contacto. Las láminas normalmente se mantienen separadas mediante micropuntos aislantes o mediante un espacio de aire aislante. Las láminas se construyen a partir de ITO, que es mayoritariamente transparente. De esta forma, la pantalla táctil introduce una alteración de la imagen pero muy poco paralaje.

[0012] Durante el funcionamiento de una pantalla táctil pasiva resistiva análoga se aplica un gradiente de voltaje uniforme en una dirección a lo largo de una primera de las láminas. La segunda lámina mide el voltaje a lo largo 20 de la primera lámina cuando las dos láminas entran en contacto entre sí como resultado de que se hizo contacto con la superficie táctil. Dado que el gradiente de voltaje de la primera lámina puede traducirse a la distancia a lo largo de la primera lámina, el voltaje medido es proporcional a la posición del contacto sobre la superficie táctil. Cuando se adquiere una coordenada de contacto sobre la primera lámina, luego se aplica el gradiente de voltaje uniforme a la segunda lámina y la primera lámina mide el voltaje a lo largo de la segunda lámina. El gradiente de

25 voltaje de la segunda lámina es proporcional a la distancia a lo largo de la segunda lámina. Estas dos coordenadas de contacto representan la posición X-Y del contacto sobre la superficie táctil en un sistema de coordenadas cartesianas.

[0013] Lamentablemente, dado que es necesaria una presión mecánica para poner en contacto las dos láminas, las pantallas táctiles resistivas análogas sólo pueden detectar el contacto cuando hay suficiente presión para unir

30 las dos láminas. Las pantallas táctiles pasivas y resistivas análogas tampoco pueden percibir cuándo un puntero se está moviendo sobre la superficie táctil. Por lo tanto, en el caso de pantallas táctiles resistivas análogas, los eventos y las posiciones de contacto sólo pueden detectarse cuando se hacen contactos reales con la superficie táctil.

[0014] Las pantallas táctiles de onda acústica superficial (SAW) normalmente proporcionan resolución media y

35 no son adecuadas para grabar una escritura de calidad. Las pantallas táctiles de SAW emplean transductores en los bordes de la superficie de vidrio para hacer vibrar el vidrio y producir ondas acústicas que se mueven sobre la superficie de vidrio. Cuando se hace contacto sobre la superficie de vidrio, se reflejan las ondas acústicas y se determina la posición del contacto a partir de la firma de las ondas acústicas reflejadas.

[0015] Lamentablemente, las pantallas táctiles de SAW exhiben un paralaje perceptible debido al espesor del

40 vidrio vibrante que se coloca sobre la superficie de la pantalla de vídeo u ordenador. También, los eventos de contacto y las posiciones sólo pueden detectarse cuando se hacen los contactos reales con la superficie de vidrio. Asimismo, las pantallas táctiles de SAQ no se escalan más allá de una diagonal de pocos pies.

[0016] Las pantallas táctiles capacitivas ofrecen resolución baja debido a que los contactos sólo pueden determinarse en grandes áreas (aproximadamente ½" x ½"). Como resultado, las pantallas táctiles capacitivas no 45 pueden utilizarse para registrar escritura o dibujos pero son adecuadas para seleccionar áreas sobre la pantalla táctil que corresponden a botones generados por un ordenador en la pantalla de vídeo u ordenador. Las pantallas táctiles capacitivas también presentan desventajas, ya que son sensibles a la temperatura y la humedad. De manera similar a las pantallas resistivas análogas y a las pantallas táctiles de SAW, las pantallas táctiles resistivas también pueden detectar los eventos de contacto y las posiciones cuando se hacen contactos reales

50 con la superficie táctil.

[0017] La escalabilidad de las pantallas táctiles pasivas es importante, dado que la demanda de digitalizadores electrónicos más grandes es cada vez mayor. Los digitalizadores que en una vez fueron pequeños aparatos de escritorio, hoy se encuentran en aplicaciones de pizarras electrónicas. La necesidad de construir un "muro" sensible táctil pasivo se ha convertido en un requisito de las nuevas aplicaciones de pantalla táctil. Las pantallas táctiles pasivas existentes de los tipos descritos anteriormente tienen un tamaño máximo limitado para su funcionamiento.

[0018] Un método y sistema para ingresar datos en un ordenador a través de una pantalla de monitor de ordenador se divulgan en el documento WO99/40562. El mismo divulga una cámara de vídeo de PC estándar 5 montada sobre monitores de ordenador, en el área inmediatamente frente a la pantalla. Un sistema óptico similar a un periscopio ubicado debajo de la cámara de vídeo hace que dos imágenes del primer plano de la pantalla sean grabadas por la cámara y se vean simultáneamente desde un ángulo diferente. El procesamiento de la imagen de reconocimiento de objeto se realiza con el dedo de un usuario o un lápiz. Se generan coordenadas espaciales y luego se transforman coordenadas de espacio en coordenadas de pantalla por medio de una

10 interpolación lineal y una extrapolación lineal desde puntos de calibración estándar. Esta técnica anterior se reconoce en el preámbulo de las reivindicaciones 1 a 8.

[0019] Un sistema interactivo de visualización de imágenes de vídeo proyectadas que comprende un ordenador para generar imágenes de vídeo, un aparato de proyección acoplado al puerto de salida de vídeo del ordenador para proyectar imágenes de vídeo generadas por ordenadores en una pantalla de proyección y al menos una 15 cámara de vídeo para grabar visualmente la imagen proyectada se describe en el documento US5528263. El ordenador incluye una placa de captura de imágenes acoplada a la cámara de vídeo para capturar cuadros individuales o series de cuadros de la grabación de vídeo de la imagen proyectada. Las imágenes capturadas se comparan con las imágenes generadas por el ordenador para detectar la presencia de características reconocibles introducidas en la imagen proyectada por el usuario para instruir al ordenador a producir una función

20 del ordenador.

[0020] Un aparato que comprende un miembro de marco que coopera con una pluralidad de sensores ópticos y una pluralidad de objetos que bloquean la luz que tienen a obstruir una porción de la luz normalmente recibida por los sensores ópticos se describe en el documento US4746770. La determinación de la posición y la orientación de los objetos que bloquean la luz y, si se desea, la velocidad de los mismos, permite la identificación

25 o alteración de los objetos gráficos.

[0021] Como se apreciará, se desean mejoras a los sistemas táctiles pasivos. Por lo tanto, es un objeto de la presente invención proporcionar un novedoso sistema táctil basado en cámaras.

DIVULGACIÓN DE LA INVENCIÓN

[0022] La invención se presenta en las reivindicaciones 1 a 8.

30 [0023] Preferiblemente, las al menos dos cámaras son cámaras digitales que tienen campos visuales que miran en general a lo largo del plano de la superficie táctil. Los datos de imagen generados por cada cámara digital incluyen una línea media de puntero x y una ubicación de la punta del puntero z. Cada una de las cámaras digitales incluye un arreglo de píxeles que tiene filas de píxeles seleccionables. Las intensidades de los píxeles en las filas de píxeles seleccionables se utilizan durante la generación de datos de imagen. Preferiblemente, las

35 intensidades de píxeles en una región de interés dentro de las filas de píxeles seleccionables se utilizan durante la generación de datos de imagen.

[0024] En una realización preferida, cada una de las cámaras digitales incluye un sensor de imagen CMOS y un procesador de señales digitales. El procesador de señales digitales recibe la salida de la imagen del sensor de imagen y ejecuta una rutina para hallar el puntero para determinar si un puntero está en cada imagen adquirida

40 por la cámara digital y, en ese caso, la línea media del puntero. También se prefiere que el procesador de señales digitales de cada cámara digital ejecute una rutina de actualización de imagen de fondo para actualizar la imagen de fondo después de adquirir cada imagen. Preferiblemente, el procesador de señales digitales de cada cámara digital determina además las diferencias entre cada imagen adquirida y la imagen de fondo para detectar cambios en las condiciones de luz.

45 [0025] La presente invención ofrece ventajas, ya que el sistema táctil pasivo es de alta resolución y permite contactos reales del puntero con la superficie táctil, así como movimientos del puntero sobre la superficie táctil a detectar y la salida correspondiente generada. Además, el sistema táctil pasivo de la presente ofrece ventajas, ya que no presenta los problemas de paralaje, distorsión de imagen, restricciones de posición del puntero, proyección de imagen y escalabilidad que se asocian con los sistemas táctiles pasivos de la técnica anterior.

50 [0026] Más aun, la presente invención ofrece ventajas, ya que dado que se utilizan cámaras digitales CMOS, pueden seleccionarse filas de píxeles arbitrarias en los arreglos de píxeles de la cámara digital. Esto permite que aumenten considerablemente las velocidades de cuadro de las cámaras digitales. Además, dado que las filas de píxeles pueden seleccionarse de manera arbitraria, los arreglos de píxeles pueden exponerse durante una mayor duración para una velocidad de cuadro de cámara digital dada, permitiendo una buena operación tanto en ambientes oscuros como en ambientes iluminados.

5 BREVE DESCRIPCIÓN DE LOS DIBUJOS [0027] Las realizaciones de la presente invención se describirán ahora en más detalle con referencia a los dibujos adjuntos en los cuales: la Figura 1 es un diagrama esquemático de un sistema táctil basado en cámaras de acuerdo con la presente invención;

10 la Figura 2 es un vista isométrica de una pantalla táctil que forma parte del sistema táctil de la Figura 1; la Figura 3 es un vista isométrica de un porción de la esquina de la pantalla táctil de la Figura 2; la Figura 4 es un diagrama esquemático de una cámara digital que forma parte de la pantalla táctil de la

Figura 2; la Figura 5 es un diagrama esquemático de un controlador maestro que forma parte de la pantalla táctil de la 15 Figura 1;

la Figura 6 es una gráfica de flujo que muestra los pasos realizados durante la ejecución de una rutina processFrame (proceso de cuadro); la Figura 7 es una gráfica de flujo que muestra los pasos realizados durante la ejecución de una rutina

segmentPointer (segmento de puntero);

20 la Figura 8 es una gráfica de flujo que muestra los pasos realizados durante la ejecución de una rutina findPointer (hallar puntero); la Figura 9 muestra una imagen adquirida por una cámara digital y un subconjunto de píxeles de la imagen

que se procesa; la Figura 10 muestra una región de interés (ROI) dentro del subconjunto de píxeles de la Figura 9;

25 la Figura 11 muestra una geometría de triangulación utilizada para calcular una posición de contacto del puntero sobre la superficie táctil de la pantalla táctil ilustrada en la Figura 2; la Figura 12 muestra una imagen adquirida por una cámara digital que incluye la punta del puntero y su línea

media; la Figura 13 muestra un contacto de puntero y un deslizamiento en diferentes orientaciones del puntero;

30 la Figura 14 es una imagen de la superficie táctil de la pantalla táctil tal como se ve mediante una cámara digital; las Figuras 15 y 16 muestran los resultados de una simulación en Matlab de rastreo del puntero usando un

filtro de Kalman; y las Figuras 17a a 17d muestran los resultados de otra simulación en Matlab de rastreo del puntero usando un 35 filtro de Kalman.

MEJOR MODO DE LLEVAR A CABO LA INVENCIÓN

[0028] Con referencia ahora a la Figura 1, se muestra un sistema táctil basado en cámaras de acuerdo con la presente invención y generalmente identificado por el numeral de referencia 50. Como puede observarse, el sistema táctil 50 incluye una pantalla táctil 52 acoplada a un controlador maestro basado en un procesador digital 40 de señales (DSP) 54. El controlador maestro 54 también se acopla a un ordenador 56. El ordenador 56 ejecuta

uno o más programas de aplicación y proporciona una salida de pantalla que se presenta en la pantalla táctil 52 por medio de un proyector 58. La pantalla táctil 52, el controlador maestro 54, el ordenador 56 y el proyector 58 forman un circuito cerrado de forma que los contactos del usuario con la pantalla táctil 52 puedan registrarse como escritura o dibujos o utilizarse para controlar la ejecución de programas de aplicaciones ejecutados por el

5 ordenador 56.

[0029] Las Figuras 2 a 4 ilustran mejor la pantalla táctil 52. La pantalla táctil 52 incluye una superficie táctil 60 bordeada por un marco rectangular 62. La superficie táctil 60 tiene forma de lámina plana rectangular de material pasivo. Cámaras digitales CMOS basadas en DSP se asocian con cada esquina de la pantalla táctil 52. Cada cámara digital 63 se monta en un montaje de marco 64. Cada montaje de marco 64 incluye una placa de soporte

10 inclinada 66 en la que se monta la cámara digital 63. Elementos de marco de soporte 70 y 72 se montan sobre la placa 66 por medio de postes 74 y fijan la placa 66 al marco 62.

[0030] Cada cámara digital 63 incluye un montaje de sensor de imagen CMOS bidimensional y una lente asociada 80, un búfer de primera entrada -primera salida (FIFO) 82 acoplado al montaje de sensor de imagen y lente 80 por medio de un bus de datos y un procesador de señales digitales (DSP) 84 acoplado al FIFO 82 por

15 medio de un bus de datos y al montaje de sensor de imagen y lente 80 por medio de un bus de control. También se incluye una EPROM de arranque 86 y un subsistema de alimentación 88.

[0031] En la presente realización, el sensor de imagen de la cámara CMOS es un sensor de imagen Photobit PB300 configurado para un sub-arreglo de 20 x 640 píxeles que puede operarse para capturar cuadros de imágenes a velocidades de más de 200 cuadros por segundo, dado que pueden seleccionarse filas de píxeles

20 arbitrarias. Además, dado que las filas de píxeles pueden seleccionarse de manera arbitraria, el sub-arreglo de píxeles puede exponerse durante una mayor duración para una velocidad de cuadro de cámara digital determinada, permitiendo una buena operación tanto en ambientes oscuros como en ambientes iluminados. El búfer FIFO 82 es fabricado por Cypress con el número de pieza CY7C4211V y el DSP 84 es fabricado por Analog Devices con el número de pieza ADSP2185M.

25 [0032] El DSP 84 proporciona información de control al montaje de sensor de imagen y lente 80 por medio del bus de control. La información de control permite que el DSP 84 controle los parámetros del montaje de sensor de imagen y lente 80, tal como la exposición, ganancia, configuración del arreglo, reinicio e inicialización. El DSP 84 también proporciona señales de reloj al montaje de sensor de imagen y lente 80 para controlar la velocidad de cuadro del montaje de sensor de imagen y lente 80.

30 [0033] El ángulo de la placa 66 se selecciona de forma tal que el campo visual (FOV) de cada cámara digital 63 se extienda más allá de un extremo periférico designado de la superficie táctil 60 tal como se muestra en la Figura 11. De este modo, toda la superficie táctil 60 está dentro de los campos visuales de las cámaras digitales

63.

[0034] El controlador maestro 54 se ilustra mejor en la Figura 4 e incluye un DSP 90, una EPROM de arranque

35 92, un controlador de línea serial 94 y un subsistema de alimentación eléctrica 95. El DSP 90 se comunica con los DSP 84 de las cámaras digitales 63 por un bus de datos por medio de un puerto serial 96 y se comunica con el ordenador 56 por un bus de datos por medio de un puerto serial 98 y el controlador de línea serial 94. En esta realización, el DSP 90 también es fabricado por Analog Devices con el número de pieza ADSP2185M. El controlador de línea serial 94 es fabricado por Analog Devices con el número de pieza ADM222.

40 [0035] El controlador maestro 54 y cada cámara digital 70 siguen un protocolo de comunicación que permite comunicaciones bidireccionales por medio de un cable serial común similar a un bus serial universal (USB). El ancho de banda de transmisión se divide en treinta y dos (32) canales de 16 bits. De los treinta y dos canales, seis (6) canales son asignados a cada uno de los DSP 84 en las cámaras digitales 63 y al DSP 90 y el controlador maestro 54 y los dos (2) canales restantes no se utilizan. El controlador maestro 54 monitorea los

45 veinticuatro (24) canales asignados a los DSP 84, mientras que los DSP 84 monitorean los seis (6) canales asignados al DSP 90 del controlador maestro 54. Las comunicaciones entre el controlador maestro 54 y la cámara digital 70 se realizan como procesos de fondo en respuesta a interrupciones.

[0036] Se describirá ahora el funcionamiento general del sistema táctil 50. Cada cámara digital 63 adquiere imágenes de la superficie táctil 60 dentro del campo visual de su montaje de sensor de imagen y lente 80 a una 50 velocidad de cuadro deseada y procesa cada imagen adquirida para determinar si un puntero se encuentra en la imagen adquirida. Si un puntero se encuentra en la imagen adquirida, la imagen es procesada también para determinar las características del puntero que se pone en contacto o se mueve sobre la superficie táctil 60. Los paquetes de información de puntero (PIP), que incluyen las características, estado y/o información de diagnóstico del puntero, son entonces generados por la cámara digital 63, y los PIP se ponen en cola para la transmisión al

controlador maestro 54. Las cámaras digitales 63 también reciben y responden a los PIP de comandos generados por el controlador maestro 54.

[0037] El controlador maestro 54 sondea las cámaras digitales 63 en busca de los PIP. Si los PIP incluyen información característica de puntero, el controlador maestro 54 triangula las características del puntero en los 5 PIP para determinar la posición del puntero con relación a la superficie táctil 60 en coordenadas rectangulares cartesianas. El controlador maestro 54, a su vez, transmite los datos de posición de puntero calculados, estado y/o información de diagnóstico al ordenador personal 56. De esta manera, los datos de posición del puntero transmitidos al ordenador 56 pueden registrarse como escritura o dibujo, o se pueden utilizar para controlar la ejecución de un programa de aplicaciones ejecutado por el ordenador 56. El ordenador 56 también actualiza la

10 salida de imágenes transportadas al proyector 58, de tal forma que la información presentada sobre la superficie táctil 60 refleje la actividad del puntero.

[0038] El controlador maestro 54 también recibe los comandos del ordenador personal 56 y responde en consecuencia, así como también genera y transporta los PIP de comando a las cámaras digitales 63.

[0039] Se describirán ahora con referencia a las Figuras 6 a 8 los datos específicos sobre el procesamiento de 15 imágenes adquiridas y la triangulación de las características del puntero en los PIP.

[0040] Inicialmente, se realiza una rutina de calibración de ángulo de desfase de cámara para determinar el ángulo de desfase ! de cada cámara digital 63 (ver la Figura 11) para que se pueda determinar con precisión la posición de contacto o movimiento de un puntero con respecto a la superficie táctil 60. Los detalles de la calibración del ángulo de desfase de la cámara se describen en la solicitud de los Estados Unidos pendiente de 20 tramitación junto con la presente de los Solicitantes titulada "Calibración de desfases de cámara para facilitar la determinación de la posición del objeto usando triangulación", presentada el 1º de junio de 2001.Siguiendo la rutina de calibración del ángulo de desfase de la cámara, se realiza una rutina de detección de superficie para mejorar la determinación de si un puntero está en contacto con la superficie táctil 60 en un punto dado o se está moviendo sobre de la superficie táctil.Conociéndose con precisión las coordenadas rectangulares de un puntero 25 en el plano de la superficie táctil 60 de la calibración del ángulo de desfase de la cámara, puede determinarse la orientación de la superficie táctil 60 tal como es vista por cada cámara digital 63. Esto es necesario debido al hecho de que las cámaras digitales no ven solo a lo largo del plano de la superficie táctil 60, sino también en una dirección perpendicular a la misma. En cierta medida, cada cámara digital 63 mira hacia abajo hacia la superficie táctil 60. La Figura 14 generalmente muestra la forma de la superficie táctil 60 tal como es vista por una cámara

30 digital. Debido a esto, se desea definir una coordenada z "vertical" que describa la ubicación de la superficie táctil en función de las coordenadas rectangulares x e y.

[0043] La coordenada z del puntero puede medirse a partir de una imagen de la cámara digital y, de esta forma, pueden determinarse las coordenadas z para las posiciones del puntero sobre la superficie táctil 60. La calibración vertical se convierte en una cuestión de ajustar los datos de la coordenada z para las coordenadas

35 rectangulares dadas x e y. La calibración vertical puede describirse como una superficie con la forma:

[0044] Nótese que si los coeficientes C, D y E son cero, esto se convierte en un plano. El ajuste se computa fácilmente, ya que la ecuación (0,1) representa un problema lineal de mínimos cuadrados. La matriz correspondiente toma la forma:

[0045] Para ajustar las coordenadas rectangulares x e y a la ecuación (0,1) para determinar los coeficientes A a E se usa el método de la pseudo-inversa de Moore-Penrose, que se basa en la descomposición en valores singulares (SVD) para determinar una solución de mínimos cuadrados de norma mínima.

[0046] Como se apreciará, una matriz siempre puede descomponerse de la siguiente forma:

[0047] La matriz A puede tener cualquier forma. Las matrices U y V son matrices ortogonales, lo que significa que:

15 [0048] La matriz diagonal S está compuesta enteramente por los valores singulares de la matriz A, que están relacionados con los cuadrados de los eigenvalores de la matriz A. La importancia de la descomposición en valores singulares (SVD) se encuentra en el hecho de que con ella, la inversa de la matriz A siempre puede computarse. Además, es posible controlar esta inversión cuando se encuentra un problema mal determinado. Considérese el sistema de ecuaciones lineales:

cuya solución sería: [0049] La SVD permite que la inversa de la matriz A se escriba de la siguiente forma:

dado que las matrices U y V son ortogonales. En una situación poco determinada, algunos de los valores singulares serán muy pequeños, de modo que cuando se forma la matriz S-1, se producirán grandes valores, lo que no es deseable. En este caso, las inversas de los valores singulares más pequeños se ajustan a cero. Esto tiene el efecto de eliminar la parte poco determinada de la solución. Para problemas de cuadrados mínimos, esta

10 es una herramienta poderosa. El método de ecuaciones normales habitual para problemas de cuadrados mínimos se basa en la resolución de:

en el caso sobredeterminado, y la resolución de:

15 en el caso subdeterminado. Como se apreciará, durante el ajuste del sistema de ecuaciones a la ecuación (0,1), se utiliza el mismo método que se utiliza durante la determinación de los ángulos de desfase de la cámara !. Dado que se usa el mismo el procedimiento, el uso de la memoria y la velocidad de procesamiento se mantienen en los niveles deseados.

[0050] Conociéndose los coeficientes A a E, puede calcularse la coordenada z para cualquier punto dado (x,y)

20 sobre la superficie táctil y, de esa forma, se puede determinar si un puntero está haciendo contacto con la superficie táctil 60 o moviéndose encima de la misma.

[0051] Con el sistema táctil 50 calibrado, durante el funcionamiento cada cámara digital 63 adquiere imágenes de la superficie táctil 60 dentro de su campo visual. Las imágenes son adquiridas por el montaje de imagen y lente 80 a intervalos en respuesta a las señales de reloj recibidas del DSP 84. Cada imagen adquirida por el

25 montaje de imagen y lente 80 se envía al búfer FIFO 82. El DSP 84, a su vez, lee cada imagen del búfer FIFO 82 y procesa la imagen. Para evitar el procesamiento de cantidades importantes de píxeles que no contengan información útil, se procesa solo un subconjunto de píxeles en la imagen adquirida, tal como se muestra en la Figura 9.

[0052] Durante el procesamiento de una imagen adquirida por la cámara digital 63, el DSP 84 ejecuta una rutina

30 processFrame, tal como se muestra en la Figura 6. Cuando una imagen está disponible para procesamiento (paso 120), se realiza un chequeo para determinar si la imagen se ha capturado a efectos de ajustar la cámara digital 63 (paso 122). Si la imagen ha sido adquirida a efectos de ajuste de exposición, se llama una rutina exposureControl (control de exposición) (paso 124) para ajustar la exposición de la cámara digital 63. Posteriormente, el DSP 84 espera recibir la siguiente imagen disponible para procesamiento.

35 [0053] En el paso 122, si la imagen no fue capturada a los efectos de ajustar la exposición de la cámara digital 63, se realiza un chequeo para determinar si la imagen se capturó a efectos de reemplazar una imagen de fondo (paso 126). Si la imagen se adquirió a efectos de reemplazo de la imagen de fondo, se llama una rutina captureBackground (captura de fondo) (paso 128) y la imagen adquirida se utiliza como la imagen de fondo. Esto se hace si una cámara digital adquiere una imagen y envía un PIP al controlador maestro que indica que un puntero está en la imagen cuando en realidad es ruido. Reemplazar la imagen de fondo efectivamente inhibe la cámara digital de identificar equivocadamente un puntero en los futuros PIP. Posteriormente, el DSP 84 espera recibir la siguiente imagen disponible para el procesamiento.

[0054] En el paso 126, si la imagen no se capturó a efectos de reemplazo de imagen de fondo, una rutina

5 copyICurr (copiar imagen actual) es llamada por el DSP 84 (paso 130). Durante esta rutina, la imagen adquirida actual se copia en la memoria y se utiliza para actualizar la imagen de fondo, así como para formar una imagen de diferencias que representa las diferencias entre la imagen adquirida actual y la imagen de fondo.

[0055] Después de completarse la rutina copyICurr, se llama una rutina segmentPointer (paso 132) para determinar si un puntero está en la imagen adquirida y, en ese caso, determinar la ubicación del puntero con

10 relación a la superficie táctil 60 y si el puntero está en contacto con la superficie táctil 60 o moviéndose encima de ésta. La rutina segmentPointer 132 también permite cambiar las condiciones de luz que se detectarán. Luego de la rutina segmentPointer 132, el DSP 84 llama una rutina fillPIP (completar PIP) (paso 134) para colocar el puntero y la información de la condición de luz en un PIP para transmisión al controlador maestro 54. A continuación, el DSP 84 espera recibir la siguiente imagen disponible para procesamiento.

15 [0056] La Figura 7 ilustra los pasos realizados por el DSP 84 durante la ejecución de la rutina segmentPointer

132. Como puede observarse, cuando el DSP 84 ejecuta la rutina segmentPointer, el DSP 84 llama una rutina findPointer para determinar si un puntero está en la imagen adquirida y, en ese caso, la posición del puntero en la imagen adquirida actual (paso 140). Al completarse la rutina findPointer 140, el DSP 84 llama una rutina updateBackground (actualizar fondo) para actualizar la imagen de fondo para manejar los cambios en las

20 condiciones de iluminación (paso 142).

[0057] Durante la ejecución de la rutina updateBackground, el DSP 84 actualiza continuamente la imagen de fondo usando la ecuación:

donde:

25 Bn+1 es la nueva imagen de fondo;

Bn es la imagen de fondo actual;

I es la imagen adquirida actual;

i,j son las coordenadas de fila y columna de los píxeles de imagen de fondo que se actualizan; y

a es un número entre 0 y 1 que indica el grado de aprendizaje que debería tomarse de la imagen adquirida 30 actual I. Cuanto más grande sea el valor de a, más rápido se actualiza la imagen de fondo.

[0058] Después de que se haya ejecutado la rutina updateBackground 142, la diferencia de intensidad entre la imagen adquirida actual y la imagen de fondo es calculada por el DSP 84. Esta información se envía al controlador maestro 54 para permitir que el controlador maestro determine si la cámara digital 63 debe volver a exponerse. Esto sería necesario si ocurriera un cambio drástico en las condiciones de iluminación (es decir, la

35 iluminación del ambiente se encendió o se apagó). Cuando se requiere que se vuelva a exponer la cámara digital 63, el controlador maestro 54 envía un PIP de comando a la cámara digital 63 instruyendo a la cámara digital a adquirir una imagen para ajuste de exposición.

[0059] La Figura 8 ilustra los pasos realizados por el DSP 84 durante la ejecución de la rutina findPointer 140. Como puede observarse, cuando el DSP 84 ejecuta la rutina findPointer 140, el DSP 84 limpia la ubicación del 40 puntero y los parámetros de la punta del puntero x y z respectivamente (paso 150). Posteriormente, se construye un histograma de intensidad vertical (paso 152). Durante este paso, se forma la imagen de diferencias que representa las diferencias entre la imagen actual y la imagen de fondo y las intensidades de píxeles en la imagen de diferencias se resumen por columna. De esta manera, se forma un vector de 640 x 1 que representa la suma de cada columna en la imagen de diferencias de 640 x 20. De esta forma, el primer elemento en el vector de 640 45 x 1 representa la suma de los 20 píxeles en la primera columna de la imagen de diferencias de 640 x 20, el segundo elemento en el vector de 640 x 1 representa la suma de los 20 píxeles en la segunda columna de la imagen de diferencias de 640 x 20, etc. Datos específicos adicionales de este proceso pueden encontrarse en el

artículo titulado "A smart camera application: DSP -based people detection and tracking" escrito por V. Cheng et al y publicado en el SPIE Journal of Electronic Imaging en julio de 2000.

[0060] Siguiendo la creación del histograma de intensidad vertical en el paso 152, se determina el parámetro x de ubicación del puntero encontrando la columna en el histograma de intensidad vertical con la intensidad más

5 alta superior a un umbral de ruido (paso 154). La columna se utiliza como el centro de una región de interés (ROI) que se procesará con el ancho de la ROI igual a la base del pico formado por el histograma de intensidad vertical (ver la Figura 10). Si ninguna columna tiene una intensidad por encima del umbral de ruido, se asume que ningún puntero está dentro de la imagen adquirida.

[0061] Cuando se determina un parámetro de ubicación del puntero x, el DSP 84 analiza la ROI para determinar

10 la fila de píxeles en la que se ubica la punta del puntero y determinar si la fila representa un contacto o movimiento sobre la superficie táctil (paso 156). Específicamente, el DSP 84 crea una máscara binaria en la ROI de forma tal que los píxeles blancos representen el puntero y los píxeles negros representen el fondo tal como se muestra en la Figura 12. A partir de la máscara, la línea media del puntero y la ubicación z de la punta del puntero pueden calcularse fácilmente.

15 [0062] Durante la rutina de fillPIP 134, el DSP 84 utiliza la información del puntero y de la condición de luz adquirida durante la ejecución de la rutina segmentPointer 132 y crea un PIP para reducir la imagen adquirida a un pequeño conjunto de datos, proporcionando así una economía de ancho de banda. El PIP está en forma de un paquete de seis (6) palabras, siendo cada palabra en el paquete de dieciséis (16) bits. El PIP normalmente toma la forma:

Encabezado

Datos Suma de verificación

[0063] La porción de encabezado del PIP es normalmente de dieciséis (16) bits e incluye un campo de determinación/fuente, un campo de tipo de datos, un campo de número de cuadro de imagen, un campo de número de secuencia y un campo de número de paquete. El campo de destino/fuente identifica el destino del PIP 25 y la fuente del PIP. Si el PIP es generado por el controlador maestro 54, el destino puede ser una sola cámara digital 63 o todas las cámaras digitales. El tipo de datos indica si el PIP se refiere a información del puntero u otra información, tal como información de estado y diagnóstico. El campo de número de cuadro de imagen almacena un número de forma que las imágenes de cada cámara digital 63 sean procesadas por el controlador maestro 54 en secuencia. El campo de número de secuencia almacena un número que relaciona el PIP a otros PIP. El

30 campo de número de paquete almacena un número que identifica el paquete.

[0064] La porción de datos del PIP es normalmente de sesenta y cuatro (64) bits e incluye un campo de ID de puntero, un campo de parámetro de ubicación del puntero, un campo de parámetro de punta del puntero, un campo de estado de contacto y un campo de calidad del puntero. El campo de ID del puntero almacena un identificador para el puntero para permitir el rastreo de múltiples punteros. El campo de parámetro de ubicación

35 del puntero almacena el valor x calculado por el DSP 84. El campo de parámetro de punta del puntero almacena el valor z calculado por el DSP 84. El campo del estado de contacto almacena un valor que indica si el puntero está en contacto, fuera de contacto o posiblemente en contacto con la superficie táctil 60. El campo de calidad del puntero almacena un valor estadístico sobre la posibilidad de que un puntero detectado sea real.

[0065] La porción de la suma de verificación del PIP se utiliza para asegurar la integridad de la transmisión del

40 PIP. Si los errores de la suma de verificación del PIP son poco frecuentes, los PIP que exhiben errores de la suma de verificación son ignorados por el dispositivo de destino.

[0066] Los PIP de estado que no se relacionan con la información del puntero tienen forma diferente a los PIP descritos identificados anteriormente. Para PIP de esta naturaleza, la porción de datos incluye un campo de tipo de instrucción, un campo de código de instrucción y un campo de datos. El campo de tipo de instrucción identifica

45 si el tipo de instrucción es una instrucción que debe realizarse o una solicitud de estado. El campo del código de instrucción almacena la instrucción real o el identificador de la solicitud de estado. El campo de datos almacena los datos que varían dependiendo del tipo de instrucción. Ejemplos de PIP de estado incluyen PIP de encabezado de cuadro, PIP de comando y PIP de mensaje de error.

[0067] Un PIP de encabezado de cuadro normalmente incluye el número de PIP de puntero que deben seguirse

50 para una imagen adquirida actual con datos estadísticos para la imagen actual tal como variación de intensidad entre la imagen adquirida actual y una imagen anterior. Un PIP de comando emitido por el controlador maestro 54 puede instruir a una cámara digital a ajustar una o más de sus configuraciones tales como exposición o a capturar una imagen que se utilizará como nueva imagen de fondo. Un PIP de error puede pasar una condición de error de una cámara digital 63 al controlador maestro 54 para almacenamiento en un registro de errores.

[0068] Cada cámara digital 63 procesa cada imagen que adquiere de la manera descrita anteriormente en 5 respuesta a cada señal de reloj generada por su DSP 84. Los PIP creados por los DSP 84 sólo se envían al controlador maestro 54 cuando las cámaras digitales 63 son agrupadas por el controlador maestro 54.

[0069] Cuando el controlador maestro 54 agrupa las cámaras digitales 63, pulsos de sincronización de cuadro son enviados a las cámaras digitales 63 para iniciar la transmisión de los PIP creados por los DSP 84. Al recibir el pulso de sincronización de cuadro, cada DSP 84 transmite el PIP al controlador maestro 54 a través del bus de

10 datos. Los PIP transmitidos al controlador maestro 54 son recibidos por medio del puerto serial 96 y se autoalmacenan en búfer en el DSP 90.

[0070] Después de que el DSP 90 ha agrupado las cámaras digitales 63 y ha recibido los PIP de cada una de las cámaras digitales 63 que incluyen información del puntero, el DSP 90 procesa los PIP usando triangulación para determinar la ubicación del puntero con respecto a la superficie táctil 60 en las coordenadas (x, y).

15 Específicamente, los PIP de los pares de cámaras digitales 63 son procesados usando triangulación.

[0071] La Figura 11 muestra que dos ángulos Φcam1y Φcam2 son necesarios para triangular la posición (x0, y0) de un puntero con respecto a la pantalla táctil 60. Los PIP generados por cada cámara digital 63 incluyen un número θ (ver la Figura 12) que identifica la línea media o la punta del puntero. Cuando el controlador maestro 54 recibe un PIP de una cámara digital 63, el controlador maestro usa el número que representa la línea media o punta del

20 puntero y el campo visual de la cámara digital para calcular un ángulo Φcam usando la ecuación:

donde:

x es el número que representa la línea media o la punta del puntero; y

a es la longitud total comprendida x el campo visual (FOV) de la cámara digital a una distancia desde la 25 cámara.

[0072] El ángulo calculado Φcam es igual al ángulo formado entre la extremidad del campo visual que se extiende más allá del borde periférico designado de la superficie táctil 60 de la cámara digital 63 que generó el PIP y una línea que se extiende desde el eje óptico de la cámara digital que intersecta el puntero de la imagen adquirida. Preferiblemente, la extremidad del campo visual se extiende más allá del borde periférico designado

30 (es decir, en el caso del eje x) de la superficie táctil 60 dentro del campo visual por una cantidad conocida. Sin embargo, en casi todos los casos el escaneo de !cam de desfase angular de cada cámara digital 63 es diferente y se desconoce.

[0073] Una vez que el controlador maestro 54 calcula el ángulo Φcam, el controlador maestro 54 utiliza el ángulo de desfase de la cámara determinado durante la calibración de desfase de la cámara para ajustar el ángulo Φcam.

35 Con los dos ángulos disponibles y con los ángulos Φcam ajustados, el controlador maestro 54 utiliza los ángulos Φcam para determinar la posición del puntero con respecto a la superficie táctil 60 usando triangulación.

[0074] En esta realización, dado que la superficie táctil 52 incluye cuatro cámara digitales 63, pueden utilizarse seis pares de cámaras digitales para triangulación. La siguiente descripción describe cómo una posición del puntero se determina mediante triangulación para cada par de las cámaras digitales 63.

40 [0075] Con el fin de determinar la posición de un puntero usando los PIP recibidos de las cámaras digitales 63 a lo largo del lado izquierdo de la pantalla táctil 52, se utilizan las siguientes ecuaciones para determinar las coordenadas (x0, y0) de la posición del puntero dados los ángulos Φ0 y Φ1 para las cámaras digitales superior e inferior:

donde:

5 h es la altura de la pantalla táctil 52, es decir, la distancia vertical desde el punto focal a punto focal de la cámara digital;

w es el ancho de la pantalla táctil 52, es decir, la distancia horizontal desde el punto focal a punto focal de la cámara digital; y

Φi es el ángulo con respecto a la horizontal, medido usando la cámara digital i y la ecuación (0.7).

10 [0076] Para las cámaras digitales 63 a lo largo del lado derecho de la pantalla táctil 52, se utilizan las siguientes ecuaciones para determinar las coordenadas (x0, y0) de la posición del puntero dados los ángulos Φ2 y Φ3 para las cámaras digitales superior e inferior:

[0077] La similitud entre las ecuaciones (0.8) y (0.10), es decir, la ecuación (0.10) = 1 -ecuación (0.8) una vez

15 que los ángulos Φ2 y Φ3 hayan sido sustituidos en la ecuación (0.8) por los ángulos Φ1 y Φ2 respectivamente, debería ser evidente. Las ecuaciones (0.9) y (0.11) están relacionadas de manera similar.

[0078] Con el fin de determinar la posición de un puntero usando las cámaras digitales 63 a lo largo de la parte inferior de la pantalla táctil 52, se utilizan las siguientes ecuaciones para determinar las coordenadas (x0, y0) de la posición del puntero dados los ángulos Φ0 y Φ3 para las cámaras digitales de la parte inferior izquierda y la parte

20 inferior derecha:

[0079] Con el fin de determinar la posición de un puntero usando las cámaras digitales 63 a lo largo de la parte superior de la pantalla táctil 52, se utilizan las siguientes ecuaciones para determinar las coordenadas (x0, y0) de la posición del puntero dados los ángulos Φ1 y Φ2 para las cámaras digitales de la parte superior izquierda y la

parte superior derecha:

[0080] La similitud entre las ecuaciones (0.12) y (0.14), es decir, la ecuación (0.14) = ecuación (0.12) una vez que los ángulos Φ1 yΦ2 hayan sido sustituidos en la ecuación (0.12) por los ángulos Φ0 y Φ3 respectivamente, debería ser evidente. Las ecuaciones (0.13) y (0.15) tienen la siguiente relación: ecuación (0.15) = 1 -ecuación

(0.13) una vez que los ángulos Φ1 y Φ2 hayan sido sustituidos en la ecuación (0.13) por los ángulos Φ0 y Φ3, 10 respectivamente.

[0081] Con el fin de determinar la posición de un puntero usando las cámaras digitales 63 de la diagonal de la esquina inferior izquierda a la superior derecha, se utilizan las siguientes ecuaciones para determinar las coordenadas (x0, y0) de la posición del puntero dados los ángulos Φ0 y Φ2 para las cámaras digitales de la parte inferior izquierda y la parte superior derecha:

[0082] Con el fin de determinar la posición de un puntero usando las cámaras digitales 63 de la diagonal inferior derecha a la superior izquierda, se utilizan las siguientes ecuaciones para determinar las coordenadas

derecha y la parte superior izquierda: [0083] La similitud entre las ecuaciones (0.16) y (0.18), es decir, la ecuación (0.18) = ecuación (0.16) una vez que los ángulos Φ1 yΦ3 hayan sido sustituidos en la ecuación (0.16) por los ángulos Φ0 y Φ2 ,debería ser evidente. Las ecuaciones (0.17) y (0.19) tienen la siguiente relación: ecuación (0.19) = 1 -ecuación (0.17) una vez

5 que los ángulos Φ1 y Φ3 hayan sido sustituidos en la ecuación (0.17) por los ángulos Φ0 y Φ2, respectivamente.

[0084] Como se apreciará, las ecuaciones anteriores generan las coordenadas x0 e y0 en una escala de [0, 1]. Por lo tanto, cualquier escala de coordenadas apropiada puede reportarse multiplicando x0 e y0 por los valores máximos de X e Y, respectivamente.

[0085] En la presente realización, el DSP 90 calcula la posición del puntero usando triangulación para cada par

10 de cámaras digitales excluyendo los pares de diagonales. Luego se promedian las posiciones del puntero resultantes y las coordenadas de la posición del puntero se ponen en cola para transmisión al ordenador personal 56 a través de un puerto serial 98 y el controlador de línea serial 94.

[0086] Con la posición (x,y) de un puntero conocido por triangulación, usando los coeficientes A a E calculados durante la calibración de detección de superficie, la coordenada z correspondiente a la posición (x,y) puede

15 determinarse usando la ecuación (0.1). El cálculo de la coordenada z y comparando la coordenada z con el parámetro z en el PIP indica si el puntero se está moviendo sobre de la superficie táctil 60 o si está en contacto real con la superficie táctil.

[0087] Si se desea, la velocidad v del puntero y el ángulo pueden calcularse mediante el DSP 90 tal como se muestra en la Figura 13. La velocidad del puntero se calcula examinando los cambios en la posición z (o

20 intersección x) del puntero en PIP sucesivos y conociendo la velocidad de cuadro de la cámara. Por ejemplo, si la velocidad de cuadro de la cámara es 200 cuadros por segundo y la posición z cambia 1 fila de píxeles por cuadro, la velocidad del puntero es de 200 píxeles por segundo.

[0088] Puede determinarse el ángulo del puntero debido al hecho de que el PIP incluye la intersección x en las filas de píxeles 0 y 19 de la línea media. Dado que se conocen la distancia x (la diferencia entre las intersecciones

25 x) y la distancia y (el número de filas de píxeles), está disponible toda la información necesaria para calcular el ángulo de puntero.

[0089] Si se desea, puede utilizarse un filtro de Kalman (esencialmente un método de cuadrados mínimos recursivos) para "rastrear" de forma efectiva el puntero cuando está a determinada distancia de la superficie táctil

60. Para hacer esto, es necesario definir ecuaciones de un sistema o modelo que se utilizará en el filtro. Dado que

30 el controlador maestro 54 es capaz de proporcionar tanto la posición z como la velocidad v del puntero, puede utilizarse la siguiente descripción:

[0090] La segunda de estas ecuaciones es necesaria ya que el filtro debe saber qué hacer con la velocidad, y ya que tanto z como v son medibles. Se define el vector de estado como:

[0091] Para relacionar el estado del sistema en dos tiempos sucesivos n y n+1, se escriben las ecuaciones del sistema como una ecuación de diferencia de matriz:

o en una matriz de notación,

[0092] Aquí, dt denota el intervalo de tiempo entre pasos de tiempo sucesivos. También se introduce aquí en el RHS la expresión "ruido del proceso". Es puramente formal, pero parte del método del filtro de Kalman. También es necesario especificar cómo se introduce una medición en el procedimiento. Esto se hace a través de la ecuación de la matriz:

donde zn es una medición de posición y velocidad, H es una "matriz de medición" que se considera como una matriz de identidad, xn es el vector de estado y w es un ruido de medición. Esencialmente, se asume que las mediciones son versiones ruidosas del vector de estado. También es necesario definir una matriz de covarianza asociada con w. Si el error de medición en z es 0,5 píxeles, entonces la matriz de covarianza es:

[0093] Es necesaria una matriz similar Q para el ruido del proceso introducido anteriormente, pero como es un tanto arbitraria, puede tratarse como un parámetro de sintonización para el filtro. En este ejemplo, la matriz Q se considera como una matriz de identidad multiplicada por un factor de unidad de orden o menos. Habiendo establecido lo anterior, hay suficiente información para comenzar el proceso del filtro. El primer paso (de predicción) es:

[0094] Aquí, la notación (-) implica que una medición no se ha realizado todavía mientras que (+) sí (pero en este caso, (+) se refiere al paso anterior). También, la ecuación de la matriz para la matriz P predice una matriz de covarianza. El siguiente paso es el cálculo de ganancia de filtro:

[0095] Una vez que se hace la medición, la estimación del estado y su covarianza pueden actualizarse:

[0096] Esta es la estimación del estado x que se utiliza para determinar si ha habido contacto o no con la superficie táctil. Nótese aquí que las matrices H y R son constantes con el tiempo, y que solo las matrices K y P cambian (de hecho, P se acerca a una matriz constante). Hay una simplificación adicional ya que no hay un proceso de control.

10 [0097] Se tomaron los resultados de una simulación en Matlab de un filtro de Kalman usando un conjunto de mediciones que representan un puntero que se acerca a la superficie táctil 62 a una velocidad constante. Las Figuras 15 y 16 ilustran la simulación, con un paso de tiempo dt de 0,1 seg y una precisión de medición de 0,5 píxeles. Los símbolos abiertos representan los datos, y las líneas la estimación del estado a partir del filtro de Kalman. Claramente, la estimación del estado sigue los datos bastante bien.

15 [0098] Se realizó una segunda simulación en Matlab para tomar en cuenta el movimiento vertical (z) y horizontal

(x) de un puntero. Esta simulación consiste básicamente en dos filtros de Kalman similares que funcionan juntos en forma "paralela". La formulación es exactamente la misma, salvo que deben considerarse dos veces el número de variables. Las Figuras 17a a 17d muestran los resultados de la simulación y representan el movimientode un puntero hacia la superficie táctil 60 a una velocidad constante y a una posición x que varía lentamente (es decir,

20 la mano de la persona está temblorosa).

[0099] A pesar de que se ha descrito que el sistema táctil 50 incluye un proyector para presentar imágenes en la pantalla táctil, los expertos en la técnica apreciarán que esto no es necesario. La pantalla táctil 52 puede ser transparente o translúcida y colocarse sobre una unidad de pantalla de forma tal que la pantalla presentada en la unidad de pantalla sea visible a través de la pantalla táctil. Asimismo, la pantalla táctil no es necesario que sea

25 una lámina rectangular de material bordeada por un marco. La pantalla táctil puede ser de hecho virtualmente cualquier superficie dentro de los campos visuales que se superponen de dos o más cámaras digitales.

[00100] Además, a pesar de que se describe que el sistema táctil 50 incluye un controlador maestro separado de las cámaras digitales, si se desea una de las cámaras digitales puede acondicionarse para funcionar como cámara y controlador maestro y agrupar las otras cámaras digitales para PIP. En este caso, se prefiere que la

30 cámara digital que funciona como el controlador maestro incluya un DSP 84 más rápido que las cámaras digitales restantes.

[00101] Además, a pesar de que se describe la rutina de detección de superficie como determinante de los coeficientes A a E a utilizar con la ecuación (0.1) para calcular las coordenadas z del puntero en un punto dado (x,y) con respecto a la pantalla táctil, durante la rutina de detección de superficie, el controlador maestro 54 puede 35 programarse para calcular una coordenada z para regiones (x,y) únicas de la superficie táctil y almacenar las coordenadas z en una tabla de consulta (LUT). En esta instancia, cuando un puntero aparece en imágenes capturadas por las cámaras digitales y se determina la posición (x,y) del puntero con respecto a la superficie táctil, puede tomarse la decisión de si el puntero está en contacto con la superficie táctil comparando la coordenada z en la LUT que se corresponde con la región (x,y) en la que se ubica el puntero, con la fila de píxeles del montaje

40 de sensor de imagen y lente en el que se ubica la punta del puntero.

[00102] Tal como se describió anteriormente, el controlador maestro 54 calcula o busca las coordenadas z de la superficie táctil para cada cámara digital y compara las coordenadas z con la ubicación z de la punta del puntero para determinar si el puntero está en contacto real con la superficie táctil. Sin embargo, los expertos en la técnica apreciarán que los DSP 84 en las cámaras digitales pueden incluir software de procesamiento de imágenes para

45 determinar si el puntero está en contacto real con la superficie táctil. Este procesamiento de imágenes puede preformarse junto con, o en vez de, la determinación de contacto del puntero del controlador maestro.

[00103] A pesar de que se ha descrito una realización preferida de la presente invención, los expertos en la técnica apreciarán que pueden hacerse variaciones y modificaciones sin apartarse del alcance de la invención tal como se define mediante las reivindicaciones adjuntas.

Claims (12)

1. Reivindicaciones

   1. Un método que comprende:

   adquirir imágenes de al menos dos puntos de vista usando cámaras (63) que tienen campos visuales que en general miran a través de la superficie táctil (60), extendiéndose el campo visual de cada cámara (63) 5 más allá de un borde periférico de la superficie táctil;

   caracterizado porque en cada cámara:

   se procesa cada imagen adquirida para producir un conjunto de datos de imagen para cada imagen adquirida;

   se compara cada conjunto de datos de imagen con una imagen de fondo para producir una imagen 10 de diferencias para cada imagen adquirida; y

   se detecta la existencia de un puntero dentro de cada imagen de diferencias y se generan datos característicos del puntero;

   procesar datos característicos del puntero generados en las cámaras usando un procesador maestro (54) para determinar la posición del puntero con respecto a la superficie táctil (60) mediante triangulación; y

   15 usar la posición del puntero determinada para controlar la ejecución de un programa de aplicaciones informáticas.
2. 2. El método de la reivindicación 1 que comprende además:

   usar la posición del puntero determinada para actualizar la salida de la pantalla presentada sobre la superficie táctil (60).

   20 3. El método de la reivindicación 1 que comprende además: determinar la velocidad del puntero analizando cambios en la posición del puntero determinada; y usar la posición del puntero determinada y la velocidad del puntero para controlar la ejecución de un

   programa de aplicaciones informáticas.
3. 4. El método de la reivindicación 1 que comprende además actualizar la imagen de fondo en cada cámara (63).

   25 5. El método de la reivindicación 4 que comprende además en cada cámara (63):

   comparar una imagen adquirida con la imagen de fondo actualizada para determinar si la cámara (63) debe volver a exponerse; y si es así adquirir una imagen para ajuste de exposición.
4. 6. El método de la reivindicación 1 que comprende además: 30 determinar el ángulo del puntero; y

   usar la posición del puntero determinada y el ángulo del puntero para controlar la ejecución de un programa de aplicaciones informáticas.

5. 7.

   El método de la reivindicación 1 que comprende además: determinar si el puntero está moviéndose encima de o en contacto con la superficie táctil (60).

6. 8.

   Un sistema de entrada de múltiples cámaras (50) para formar una interfaz con un programa de aplicaciones que se está ejecutando en un ordenador (56), comprendiendo el sistema de entrada:

   dos o más cámaras que incluyen un sensor de imagen (80) dispuestas para mostrar una región de interés rodeada por un marco (62) de una superficie táctil (60) de diferentes puntos de vista y que puede operarse para producir una serie de imágenes, teniendo cada sensor de imagen un campo visual que se extiende más allá de la periferia del marco; caracterizado por un procesador (84) asociado con cada sensor de imagen que puede operarse para recibir la serie de imágenes y detectar los punteros que aparecen en la región de interés, ejecutando cada procesador (84) un proceso para:

   generar un conjunto de datos de imagen para cada imagen recibida;

   comparar cada conjunto de datos de imagen con una imagen de fondo para producir una imagen de diferencias para cada conjunto de datos de imagen; y

   detectar un puntero dentro de cada imagen de diferencias y generar datos característicos del puntero; y

   un procesador maestro (54) que recibe y procesa datos característicos del puntero generados para determinar la posición del puntero dentro de la región de interés por medio de triangulación, transmitiéndose la posición del puntero determinada al ordenador (56) y utilizándose para controlar la ejecución del programa de aplicaciones.

7. 9.

   El sistema de entrada de múltiples cámaras de la reivindicación 8, en donde se define que la región de interés se encuentra en frente a la superficie táctil (60) y en donde el ordenador utiliza la posición del puntero determinada para actualizar la salida de pantalla presentada sobre dicha superficie táctil.

8. 10.

   El sistema de entrada de múltiples cámaras de la reivindicación 8 o 9 en donde el procesador (84) asociado con cada sensor de imagen (80) reemplaza la imagen de fondo cuando un puntero se detecta erróneamente.

9. 11.

   El sistema de entrada de múltiples cámaras de la reivindicación 8 en donde el procesador (84) asociado con cada sensor de imagen (80) puede operarse para actualizar la imagen de fondo.

10. 12.

    El sistema de entrada de múltiples cámaras de la reivindicación 11 en donde el procesador (84) asociado con cada sensor de imagen (80) puede operarse adicionalmente para comparar una imagen adquirida con la imagen de fondo actualizada para determinar si el sensor de imagen debe volver a exponerse y, si es así, para adquirir una imagen para ajuste de exposición.

11. 13.

    El sistema de entrada de múltiples cámaras de la reivindicación 8 que comprende además:

    determinar el ángulo del puntero; y

    usar la posición del puntero determinada y el ángulo del puntero para controlar la ejecución de un programa de aplicaciones informáticas.
12. 14. El sistema de entrada de múltiples cámaras de la reivindicación 9 en donde el procesador maestro (54) puede operarse para determinar si el puntero se está moviendo sobre o está en contacto con dicha superficie táctil.