ES2396587T3 - Método y aparato táctil en base a cámara - Google Patents

Abstract

Un método que comprende: la adquisición de primeras y segundas imágenes de una superficie táctil desdediferentes localizaciones utilizando cámaras con puntos de visión superpuestoscaracterizado por; la sustracción de dichas primeras y segundas imágenes de las imágenes de basepara formar primeras y segundas imágenes de diferencia;el procesamiento de cada una de dichas primeras y segundas imágenes dediferencia para determinar si una región de interés dentro de la imagen dediferencia incluyendo la existencia de un puntero en ellas, dicha región de interésestando basada en intensidades de píxeles por encima de un nivel de umbral;para cada región de interés, la creación de una máscara de píxeles de la regiónde interés para separar píxeles que representan el puntero de los píxeles querepresentan la base; la determinación de una posición del puntero relativa a la superficie táctil basadaen la información del puntero calculada desde las regiones de interés; yel control de una aplicación basada en la posición determinada del puntero

Description

MÉTODO Y APARATO TÁCTIL EN BASE A CÁMARA DESCRIPCIÓN CAMPO TÉCNICO [0001] La presente invención se refiere en general a sistemas táctiles y en particular a un sistema táctil en base a cámara.

TÉCNICA ANTECEDENTE [0002] Los sistemas táctiles son bien conocidos en la técnica e incluyen típicamente una pantalla táctil que tiene una superficie táctil sobre la que se realizan contactos usando un puntero para generar una entrada de usuario. Se detectan los contactos del puntero con la superficie táctil y se usan para generar la correspondiente salida dependiendo de las áreas de la superficie táctil donde se realicen los contactos. Hay básicamente dos tipos generales de sistemas táctiles disponibles y se pueden clasificar globalmente como sistemas táctiles “activos” y sistemas táctiles “pasivos”. [0003] Los sistemas táctiles activos permiten al usuario generar entradas de usuario mediante el contacto de la superficie táctil con un puntero especial que requiere normalmente alguna forma de fuente de alimentación integrada, típicamente baterías. El puntero especial emite señales tales como luz infrarroja, luz visible, frecuencias ultrasónicas, frecuencias electromagnéticas, etc. que activan la superficie táctil. [0004] Los sistemas táctiles pasivos permiten al usuario generar entradas de usuario mediante el contacto de la superficie táctil con un puntero pasivo y no requieren el uso de un puntero especial para activar la superficie táctil. Un puntero pasivo puede ser un dedo, un cilindro de algún material o cualquier objeto adecuado que se pueda usar para hacer contacto con alguna área predeterminada de interés sobre la superficie táctil. [0005] Los sistemas táctiles pasivos proporcionan ventajas sobre los sistemas táctiles activos porque se puede usar cualquier dispositivo señalador, incluyendo un dedo del usuario, como un puntero para hacer contacto con la superficie táctil. Como resultado, se puede generar fácilmente la entrada del usuario. También, dado que en los sistemas táctiles pasivos no son necesarios los punteros activos especiales, no son preocupantes para los usuarios los niveles de carga de la batería y/o el daño del puntero, el robo o la pérdida del puntero. [0006] Los sistemas táctiles pasivos tienen un número de aplicaciones que se refieren al funcionamiento de pantallas de ordenadores y de video. Por ejemplo, en una aplicación interactiva como se desvela en la Patente de Estados Unidos Nº 5.448.263 de Martin, cedida al cesionario de la presente invención, un sistema táctil pasivo se acopla a un ordenador y se presenta la pantalla del ordenador sobre la superficie táctil de la pantalla táctil. Las coordenadas que representan localizaciones específicas de la superficie táctil se mapean en la pantalla del ordenador. Cuando un usuario hace contacto con la superficie táctil, las coordenadas de la posición de contacto se realimentan al ordenador y se mapean en la pantalla del ordenador permitiendo de este modo al usuario operar el ordenador de una manera similar al uso de un ratón de ordenador simplemente mediante el contacto con la superficie táctil. Adicionalmente, las coordenadas realimentadas al ordenador se puedan registrar en una aplicación y volver a representar en un momento posterior. El registro de las coordenadas de contacto se realiza típicamente cuando se desea registrar información escrita o dibujada por el usuario sobre la superficie táctil. [0007] La resolución de una pantalla táctil pasiva determina si el sistema táctil es adecuado para el registro de información escrita o dibujada sobre la pantalla táctil o solamente útil para la selección de áreas sobre la pantalla táctil mapeadas a regiones en la pantalla del ordenador o video para manipular la pantalla del ordenador o del video. La resolución se mide típicamente en puntos por pulgada (DPI). Los DPI se relacionan con el tamaño de la pantalla táctil y la capacidad de muestreo del hardware y software del sistema táctil usado para detectar los contactos sobre la superficie táctil. [0008] Las pantallas táctiles pasivas de baja resolución sólo tienen suficientes DPI para detectar contactos sobre la superficie táctil dentro de un grupo grande de los píxeles visualizados por la pantalla del ordenador o video. Por lo tanto, estas pantallas táctiles pasivas de baja resolución son útiles solamente para la manipulación de la pantalla del ordenador o del video. [0009] Por otro lado, las pantallas táctiles pasivas de alta resolución tienen suficientes DPI para detectar contactos que son proporcionales a un número pequeño de píxeles

o subpíxeles de la pantalla del ordenador o del video. Sin embargo, un requisito de las pantallas táctiles de alta resolución es la capacidad para detectar cuando el puntero está en contacto con la superficie táctil. Esto es necesario para la escritura, dibujo, operaciones de clic de ratón, etc. Sin la capacidad de detectar el contacto del puntero con la pantalla táctil, la escritura y dibujo sería una operación continua y los clics del ratón no serían posibles haciendo la manipulación de la pantalla del ordenador virtualmente imposible. Un requisito secundario es la capacidad para detectar cuando el puntero se está “moviendo por encima” de la superficie táctil. Aunque no se requiere para la escritura o dibujo, los sistemas operativos de los ordenadores actuales están utilizando crecientemente la información de movimiento por encima para manipular las pantallas del ordenador o video o los cuadros emergentes de información. [0010] Las pantallas táctiles pasivas son típicamente o bien de tipo resistivo analógico, del tipo de onda acústica superficial (SAW) o del tipo capacitivo. Desafortunadamente, estas pantallas táctiles sufren de un número de problemas o inconvenientes como se describirá. [0011] Las pantallas táctiles resistivas analógicas típicamente tienen una alta resolución. Dependiendo de la complejidad del sistema táctil, la resolución de la pantalla táctil puede producir 4096x4096 DPI o mayor. Las pantallas táctiles resistivas analógicas se construyen usando dos hojas flexibles que se recubren con un material resistivo y se dispone como un sandwich. Las hojas no se ponen en contacto entre sí hasta que se realiza un contacto. Las hojas se mantienen separadas típicamente por micro puntos de aislamiento o mediante un espacio de aire de aislamiento. Las hojas se construyen de ITO, que es principalmente transparente. Por ello, la pantalla táctil introduce alguna distorsión de imagen aunque muy pequeño paralaje. [0012] Durante la operación de una pantalla táctil pasiva resistiva analógica, se aplica un gradiente de tensión uniforme en una dirección a lo largo de una primera de las hojas. La segunda hoja mide la tensión a lo largo de la primera hoja cuando las dos hojas contactan entre sí como resultado de un contacto realizado sobre la superficie táctil. Dado que el gradiente de tensión en la primera hoja se puede traducir en una distancia a lo largo de la primera hoja, la tensión medida es proporcional a la posición del contacto sobre la superficie táctil. Cuando se adquiere una coordenada de contacto sobre la primera hoja, el gradiente de tensión uniforme se aplica entonces a la segunda hoja y la primera hoja mide la tensión a lo largo de la segunda hoja. El gradiente de tensión de la segunda hoja es proporcional a la distancia a lo largo de la segunda hoja. Estas dos coordenadas de contacto representan la posición X-Y de contacto sobre la superficie táctil en un sistema de coordenadas cartesianas. [0013] Desafortunadamente, dado que se requiere presión mecánica para poner ambas hojas en contacto, las pantallas táctiles resistivas analógicas sólo pueden detectar el contacto cuando hay una presión suficiente para poner las dos hojas juntas. Las pantallas táctiles pasivas resistivas analógicas tampoco pueden detectar cuando un puntero se está moviendo por encima de la superficie táctil. Por tanto, en el caso de las pantallas táctiles resistivas analógicas los eventos de contacto y las posiciones sólo se pueden detectar cuando se realizan contactos reales con la superficie táctil. [0014] Las pantallas táctiles de onda acústica superficial (SAW) proporcionan típicamente una resolución media y no son adecuadas para el registro de buena calidad de escritura. Las pantallas táctiles SAW emplean transductores sobre los bordes de una superficie de vidrio para hacer vibrar el vidrio y producir ondas acústicas que ondean sobre la superficie de vidrio. Cuando se realizan contactos sobre la superficie del vidrio, las ondas acústicas se reflejan hacia atrás y se determina la posición de contacto a partir de la marca de las ondas acústicas reflejadas. [0015] Desafortunadamente, las pantallas táctiles SAW presentan un notable paralaje debido al grosor del vidrio vibrante que se coloca sobre la superficie de la pantalla de video u ordenador. También, los eventos de contacto y las posiciones sólo se pueden detectar cuando se realizan contactos reales con la superficie de vidrio. Adicionalmente, las pantallas táctiles SAW no llegan a tamaños más allá de unos pocos pies de diagonal. [0016] Las pantallas táctiles capacitivas proporcionan una baja resolución debido a que los contactos sólo se pueden determinar en grandes áreas (aproximadamente 12,7 mm x 12,7 mm (½” x ½”) ). Como resultado, las pantallas táctiles capacitivas no se pueden usar para el registro de escritura o dibujos pero son adecuadas para la selección de áreas sobre la pantalla táctil que corresponden a botones generados por el ordenador y representados sobre la pantalla de video u ordenador. Las pantallas táctiles capacitivas sufren también desventajas en cuanto a que son sensibles a la temperatura y la humedad. Similarmente a las pantallas táctiles resistivas analógicas y a las pantallas táctiles SAW, las pantallas táctiles capacitivas sólo pueden detectar eventos de contacto y posiciones cuando se realizan contactos reales con la superficie táctil. [0017] La escalabilidad de las pantallas táctiles pasivas es importante dado que la demanda para grandes digitalizadores electrónicos es creciente. En donde los digitalizadores fueron una vez pequeñas aplicaciones de sobremesa, hoy han hallado su camino sobre aplicaciones de pizarras electrónicas. La necesidad de construir una “pared” sensible al tacto pasiva se ha convertido en un requisito para las nuevas aplicaciones de pantallas táctiles. Las pantallas táctiles pasivas existentes de los tipos explicados anteriormente están todos limitados en su tamaño máximo siempre que deban permanecer funcionales. [0018] El documento WO 99/40562 se refiere a un sistema de pantalla táctil de ordenador con videocámara en el que se desvela un procedimiento y sistema para la introducción de datos en un ordenador a través de una pantalla de monitor de ordenador. Una cámara de video de PC estándar montada por encima de la pantalla del ordenador supervisa el área inmediatamente por delante de la pantalla. Un sistema óptico similar a un periscopio situado por detrás de la cámara de video hace que se registren dos imágenes en el primer plano de la pantalla por la cámara vistas simultáneamente desde un ángulo diferente. Esta técnica anterior se reconoce en el preámbulo de las reivindicaciones 1 y 6.

[0019] El documento US 4.746.770 se refiere a un procedimiento y aparato para el aislamiento y la manipulación de objetos gráficos sobre un monitor de video de ordenador. Un elemento de marco coopera con una pluralidad de sensores ópticos y una pluralidad de objetos obturadores de la luz que tienden a obstruir una parte de la luz normalmente recibida por los sensores ópticos. [0020] El documento DE 19810452 se refiere a un digitalizador óptico para la determinación de la posición de un objeto de puntero que proyecta una luz y que se dispone sobre un plano de coordenadas. En el digitalizador óptico, se dispone un detector sobre una periferia del plano de coordenadas y tiene un campo de visión que cubre el plano de coordenadas para la recepción de la luz proyectada desde el objeto de puntero y para convertir la luz recibida en una señal eléctrica. [0021] Como se apreciará, se desean mejoras en los sistemas táctiles pasivos. Es por lo tanto un objeto de la presente invención proporcionar un sistema táctil novedoso en base a una cámara. DIVULGACIÓN DE LA INVENCIÓN [0022] La invención se define en las reivindicaciones 1 y 6. [0023] Preferentemente, las al menos dos cámaras son cámaras digitales que tienen campos de visión que miran en general a lo largo del plano de la superficie táctil. Los datos de imágenes generadas por cada cámara digital incluyen una línea media del puntero x y una localización de la punta z. Cada una de las cámaras digitales incluye una matriz de píxeles que tienen filas de píxeles seleccionables. Las intensidades de píxel de los píxeles en las filas de píxeles seleccionables se usan durante la generación de los datos de imagen. Preferentemente, las intensidades de píxel de los píxeles en una región de interés dentro de las filas de píxeles seleccionables se usan durante la generación de los datos de imágenes. [0024] En una realización preferida, cada una de las cámaras digitales incluye un sensor de imagen CMOS y un procesador de señales digitales. El procesador de señales digitales recibe imágenes salidas del sensor imagen y ejecuta una rutina de búsqueda del puntero para determinar si hay un puntero en cada imagen adquirida por la cámara digital y, si es así, la línea media del puntero. Se prefiere también que el procesador de señales digitales de cada cámara digital ejecute una rutina de actualización de la imagen de base para actualizar la imagen de base después de que se adquiera cada imagen. Preferentemente, el procesador de señal digital de cada cámara digital determina las diferencias entre cada imagen adquirida y la imagen de base para detectar el cambio en las condiciones de luz. [0025] La presente invención proporciona ventajas para que el sistema táctil pasivo sea de alta resolución y permita contactos del puntero reales con la superficie táctil así como que se detecten movimientos del puntero por encima de la superficie táctil y se genere la correspondiente salida. También, el presente sistema táctil pasivo proporciona ventajas ya que no sufre paralaje, distorsión de imagen, restricciones en la posición del puntero, proyección de imagen ni los problemas de escalabilidad que se asocian con los sistemas táctiles pasivos de técnicas anteriores. [0026] Adicionalmente, la presente invención proporciona ventajas ya que debido al uso de cámaras digitales CMOS, se pueden seleccionar filas de píxeles arbitrarios en las matrices de píxeles de la cámara digital. Esto permite que las velocidades de cuadro de las cámaras digitales se aumenten significativamente. Además, dado que se pueden seleccionar arbitrariamente las filas de píxeles, las matrices de píxeles se pueden exponer a mayores duraciones para velocidades de marco de cámara digital dadas permitiendo un buen funcionamiento en habitaciones oscuras así como en habitaciones iluminadas.

BREVE DESCRIPCIÓN DE LOS DIBUJOS [0027] La realización de la presente invención se describirá ahora más completamente con referencia a los dibujos adjuntos en los que:

la Figura 1 es un diagrama esquemático de un sistema táctil en base a una cámara de acuerdo con la presente invención; la Figura 2 es una vista isométrica de una pantalla táctil que forma parte del sistema táctil de la Figura 1, la Figura 3 es una vista isométrica de una parte de la esquina de la pantalla táctil de la Figura 2; la Figura 4 es un diagrama esquemático de una cámara digital que forma parte de la pantalla táctil de la Figura 2; la Figura 5 es un diagrama esquemático de un controlador maestro que forma parte del sistema táctil de la Figura 1; la Figura 6 es un diagrama de flujo que muestra las etapas realizadas durante la ejecución de una rutina de procesoCuadro; la Figura 7 es un diagrama de flujo que muestra las etapas realizadas durante la ejecución de una rutina de segmentoPuntero; la Figura 8 es un diagrama de flujo que muestra las etapas realizadas durante la ejecución de una rutina de buscaPuntero; la Figura 9 muestra una imagen adquirida por una cámara digital y un subconjunto de píxeles de la imagen que se procesa; la Figura 10 muestra una región de interés (ROI) dentro del subconjunto de píxeles de la Figura 9; la Figura 11 muestra la geometría de triangulación usada para calcular una posición de contacto del puntero sobre la superficie táctil de la pantalla táctil ilustrada en la Figura 2; la Figura 12 muestra una imagen adquirida por una cámara digital que incluye la punta del puntero y su línea media; la Figura 13 muestra el contacto del puntero y el movimiento por encima del puntero con diferentes orientaciones del puntero; la Figura 14 es una imagen de la superficie táctil de la pantalla táctil como se ve por una cámara digital; las Figuras 15 y 16 muestran los resultados de una simulación con Matlab del seguimiento del puntero usando un filtro de Kalman; y las Figuras de la 17a a la 17d muestran los resultados de otra simulación con Matlab del seguimiento del puntero usando un filtro de Kalman.

MEJOR MODO DE REALIZAR LA INVENCIÓN [0028] Volviendo ahora a la Figura 1, se muestra un sistema táctil en base a una cámara de acuerdo con la presente invención y se identifica en general por el número de referencia 50. Como se puede ver, el sistema táctil 50 incluye una pantalla táctil 52 conectada a un controlador maestro 54 en base a un procesador de señales digital (DSP). El controlador maestro 54 está conectado también a un ordenador 56. El ordenador 56 ejecuta uno o más programas de aplicación y proporciona una salida de pantalla que se presenta sobre la pantalla táctil 52 por medio de un proyector 58. La pantalla táctil 52, el controlador maestro 54, el ordenador 56 y el proyector 58 forman un bucle cerrado de modo que los contactos del usuario con la pantalla táctil 52 se pueden registrar como escritura o dibujo o usar para controlar la ejecución de programas de aplicación ejecutados por el ordenador 56. [0029] Las Figuras de la 2 a la 4 ilustran mejor la pantalla táctil 52. La pantalla táctil 52 incluye una superficie táctil 60 rodeada por un marco rectangular 62. La superficie táctil 60 está en la forma de una hoja plana rectangular de material pasivo. Las cámaras digitales CMOS 63 basadas en un DSP se asocian con cada esquina de la pantalla táctil 52. Cada cámara digital 63 se monta sobre un conjunto de marco 64. Cada conjunto de marco 64 incluye una placa de soporte en ángulo 66 sobre la que se monta la cámara digital 63. Los elementos del marco de soporte 70 y 72 se montan sobre la placa 66 por medio de postes 74 y aseguran la placa 66 al marco 62. [0030] Cada cámara digital 63 incluye un sensor de imagen CMOS bidimensional y un conjunto de lentes 80 asociado, un almacén temporal primero en entrar-primero en salir (FIFO) 82 conectado al sensor de imagen y un conjunto de lentes 80 mediante un bus de datos y un procesador de señales digital (DSP) 84 conectado a la FIFO 82 mediante un bus de datos y al sensor de imagen y conjunto de lentes 80 mediante un bus de control. Se incluyen también una EPROM de arranque 86 y un subsistema de alimentación eléctrica 88. [0031] En la presente realización, el sensor de imagen de la cámara CMOS es un sensor de imagen Photobit PB300 configurado para una submatriz de píxeles de 20x640 que se puede operar para capturar cuadros de imágenes a velocidades por encima de 200 cuadros por segundo dado que se pueden seleccionar filas de píxeles arbitrariamente. Además, dado que se pueden seleccionar arbitrariamente las filas de píxeles, la submatriz de píxeles se puede exponer a una duración mayor para una velocidad de cuadros de cámara digital dada permitiendo un buen funcionamiento en habitaciones oscuras así como en habitaciones iluminadas. El almacén temporal FIFO 82 se fabrica por Cypress con el número de catálogo CY7C4211V y el DSP 84 se fabrica por Analog Devices con el número de catálogo ADSP2185M. [0032] El DSP 84 proporciona información de control al sensor de imagen y al conjunto de lentes 80 por medio del bus de control. La información de control permite al DSP 84 controlar los parámetros del sensor de imagen y del conjunto de lentes 80 así como la exposición, ganancia, configuración de la matriz, reposición e inicialización. El DSP 84 proporciona también señales de reloj al sensor de imagen y al conjunto de lentes 80 para controlar la velocidad de cuadros del sensor de imagen y del conjunto de lentes

80. [0033] El ángulo de la placa 66 se selecciona de modo que el campo de visión (FOV) de cada cámara digital 63 se extienda más allá de un borde de diseño periférico de la superficie táctil 60 como se muestra en la Figura 11. De esta forma, la superficie táctil completa 60 está dentro de los campos de visión de las cámaras digitales 63. [0034] El controlador maestro 54 se ilustra mejor en la Figura 5 e incluye un DSP 90, una EPROM de arranque 92, un controlador de línea serie 94 y un subsistema de alimentación eléctrica 95. El DSP 90 comunica con los DSP 84 de las cámaras digitales 63 a través del bus de datos por medio del puerto serie 96 y comunica con el ordenador 56 a través de un bus de datos por medio del puerto serie 98 y el controlador de línea serie 94. En la presente realización el DSP 90 se fabrica también por Analog Devices con el número de catálogo ADSP2185M. El controlador de línea serie 94 se fabrica por Analog Devices con el número de catálogo ADM222. [0035] El controlador maestro 54 y cada cámara digital 63 siguen un protocolo de comunicación que permite las comunicaciones bidireccionales a través de un cable serie común similar a un bus serie universal (USB). El ancho de banda de la transmisión se divide en treinta y dos (32) canales de 16 bits. De los treinta y dos canales, se asignan seis (6) canales a cada uno de los DSP 84 en las cámaras digitales 63 y al DSP 90 en el controlador maestro 54 y los dos (2) canales restantes quedan sin usar. El controlador maestro 54 supervisa los veinticuatro (24) canales asignados a los DSP 84 mientras que los DSP 84 supervisan los seis (6) canales asignados al DSP 90 del controlador maestro 54. Las comunicaciones entre el controlador maestro 54 y las cámaras digitales 63 se realizan como procesos en segundo plano en respuesta a interrupciones. [0036] Se describirá ahora el funcionamiento general del sistema táctil 50. Cada cámara digital 63 adquiere imágenes de la superficie táctil 60 dentro del campo de visión de su sensor de imágenes y conjunto de lentes 80 a una velocidad de cuadros deseada y procesa cada imagen adquirida para determinar si hay un puntero en la imagen adquirida. Si hay un puntero en la imagen adquirida, la imagen se procesa adicionalmente para determinar las características del contacto del puntero o del movimiento por encima de la superficie táctil 60. Se generan entonces por las cámaras digitales 63 los paquetes de información de puntero (PIPS) que incluyen información de características, estado y/o diagnóstico del puntero y los PIP se ponen en cola para su transmisión al controlador maestro 54. Las cámaras digitales 63 también reciben y responden a comandos de PIP generados por el controlador maestro 54. [0037] El controlador maestro 54 consulta los PIP de las cámaras digitales 63. Si los PIP incluyen información de características del puntero, el controlador maestro 54 triangula las características de puntero en los PIP para determinar la posición del puntero con relación a la superficie táctil 60 en coordenadas rectangulares cartesianas. El controlador maestro 54 a su vez transmite los datos de la posición del puntero calculados, la información de estado y/o diagnóstico al ordenador personal 56. De esta manera, los datos de posición del puntero transmitidos al ordenador personal 56 se pueden registrar como escritura o dibujo o se pueden usar para controlar la ejecución de programas de aplicación ejecutados por el ordenador 56. El ordenador 56 también actualiza la salida de pantalla transferida al proyector 58 de modo que la información presentada sobre la superficie táctil 60 refleje la actividad del puntero. [0038] El controlador maestro 54 también recibe comandos desde el ordenador personal 56 y responde en consecuencia y asimismo genera y transfiere comandos de PIP a las cámaras digitales 63. [0039] Se describirán ahora los detalles concernientes al procesamiento de las imágenes adquiridas y la triangulación de las características del puntero en los PIP con referencia en particula r a las Figuras de la 6 a la 8. [0040] Inicialmente, se reaaliza una rutina de calibración del ángulo cámara para determinar eel ángulo de desvío δ de cada cámara digi Figura 11) de modo que s e pueda determinar con precisión la posició de movimiento por encimaa de un puntero con relación a la superficc detalles de la calibración del ángulo de desvío de la cámara se Solicitud de Estados Uniddos de los presentes Solicitantes, pendien presente, titulada “Calibbrating Camera Offsets to Facilitate O Determination Using Trianggulation" presentada el 1 de junio de 2001. [0041] A continuación de la rutina de calibración del ángulo de desví se realiza una rutina de deetección superficial para mejorar la determin un puntero está en contactto con la superficie táctil 60 en un punto dad por encima de la superficiee táctil. [0042] Con las coordenadas rectangulares de un puntero en el planoo táctil 60 conocidas con preecisión a partir de la calibración del ángulo cámara, se puede determinnar la orientación de la superficie táctil 60 tal cada cámara digital 63. Esto es necesario debido al hecho de qdigitales no solamente ven a lo largo del plano de la superficie táctil 60 una dirección perpendiculaar a él. En algún grado, cada cámara digita abajo dentro de la superficcie táctil 60. La Figura 14 muestra en genera superficie táctil 60 tal comoo se ve por una cámara digital 63. Debido a definir una coordenada “veertical” z que describe la localización de la su función de las coordenadass rectangulares x e y. [0043] La coordenada z deel puntero se puede medir a partir de una im digital, y de ahí, se puedden determinar las coordenadas z para laspuntero sobre la superficie e coordenada z para unas coordenadas x e dadas. La calibración verticcal se puede describir como una superficie d

Nótese que si los coeficienntes C, D y E son cero, se convierte en un plaano. El ajuste se calcula fácilmente ya quee la ecuación (0,1) representa un problemma de mínimos cuadrados lineal. La corresspondiente matriz tomará forma:

[0044] Para ajustar las coordenadas rectangulares x e y a la ecuación (0,1) para determinar los coeficientes de la A a la E, se usa el procedimiento de pseudo inversa de Moore-Penrose que se basa en la descomposición en valores singulares (SVD) para determinar una solución de mínimos cuadrados con mínima normal. [0045] Como se apreciará, una matriz se puede descomponer siempre de la siguiente forma:

[0046] La matriz A puede tener cualquier forma. Las matrices U y V son matrices ortogonales, lo que significa que:

[0047] La matriz diagonal S se compone completamente en los valores singulares de la matriz A, que se relacionan con los cuadrados de los valores propios de la matriz A. La importancia de la descomposición en valores singulares (SVD) descansa en el hecho de que con ella, se puede siempre calcular la inversa de la matriz A. Más aún, es posible controlar esta inversión cuando se encuentra un problema pobremente determinado. Considérese el sistema de ecuaciones lineales:

cuya solución sería:

[0048] El SVD permite escribir la inversa de la matriz A como:

determinada, algunos de los valores singulares serán muy pequeños, de modo que cuando se forma la matriz S-1, se producirán valores grandes, lo que no es deseable. En este caso, las inversas de los valores singulares más pequeños se fijan a cero. Esto tiene el efecto de eliminar la parte pobremente determinada de la solución. Para problemas de mínimos cuadrados, ésta es una potente herramienta. El procedimiento de ecuaciones normal usual para problemas de mínimos cuadrados se basa en resolver:

en el caso sobre determinado, y resolver:

ecuaciones a la ecuación (0,1), se usa el mismo procedimiento que se usó durante la determinación de los ángulos de desvío de cámara δ. Dado que se usa el mismo procedimiento, el uso de memoria y la velocidad de procesamiento se mantienen en niveles deseados. [0049] Con los coeficientes de la A a la E conocidos, se puede calcular la coordenada z para cualquier punto (x,y) dado sobre la superficie táctil y por ello, se puede realizar una determinación de si un puntero está en contacto con la superficie táctil 60 o moviéndose por encima de ella. [0050] Con el sistema táctil 50 calibrado, durante la operación cada cámara digital 63 adquiere imágenes de la superficie táctil 60 dentro de su campo de visión. Las imágenes se adquieren por el conjunto de imagen y lentes 80 a intervalos en respuesta a las señales de reloj recibidas desde el DSP 84. Cada imagen adquirida por el conjunto de imagen y lentes 80 se envía a la memoria intermedia FIFO 82. El DSP 84 a su vez lee cada imagen desde la memoria intermedia FIFO 82 y procesa la imagen. Para evitar el procesamiento de números significativos de píxeles que no contienen información útil, solamente se procesa un subconjunto de los píxeles en la imagen adquirida como se muestra en la Figura 9. [0051] Durante el procesamiento de una imagen adquirida por una cámara digital 63, el DSP 84 ejecuta una rutina de procesoCuadro como se muestra en la Figura 6. Cuando está disponible una imagen para su procesamiento (etapa 120), se realiza una comprobación para determinar si la imagen se ha capturado con la finalidad de ajustar la cámara digital 63 (etapa 122). Si la imagen se ha adquirido con la finalidad de ajuste de exposición, se llama a una rutina de controlExposicion (etapa 124) para ajustar la exposición de la cámara digital 63. A continuación de esto, el DSP 84 espera a la recepción de la siguiente imagen disponible para su procesamiento. [0052] En la etapa 122, si no se ha capturado la imagen con la finalidad de ajustar la exposición de la cámara digital 63, se realiza una comprobación para determinar si la imagen se ha capturado con la finalidad de sustituir a la imagen base (etapa 126). Si la imagen se ha adquirido con la finalidad de sustituir la imagen base, se llama a una rutina de capturaBase (etapa 128) y la imagen adquirida se usa como la imagen de base. Esto se realiza si la cámara digital adquiere una imagen y envía un PIP al controlador maestro que indica que hay un puntero en la imagen cuando realmente es ruido. La sustitución de la imagen base inhibe de modo efectivo el que la cámara digital identifique falsamente un puntero en futuros PIP. A continuación de esto, el DSP 84 espera a la recepción de la siguiente imagen disponible para su procesamiento. [0053] En la etapa 126, si no se ha capturado la imagen con la finalidad de sustituir la imagen base, se llama a una rutina de copiaIActual por el DSP 84 (etapa 130). Durante esta rutina, la imagen actual adquirida se copia en la memoria y se usa para actualizar la imagen de base así como para formar una imagen de diferencia que representa las diferencias entre la imagen actual adquirida y la imagen de base. [0054] Tras completar la rutina copiaIActual, se llama a una rutina segmentoPuntero (etapa 132) para determinar si hay un puntero en la imagen adquirida y si es así determinar la localización del puntero con relación a la superficie táctil 60 y si el puntero está en contacto con la superficie táctil 60 o moviéndose por encima de ella. La rutina segmentoPuntero 132 permite también la detección del cambio en las condiciones de luz. A continuación de la rutina segmentoPuntero 132, el DSP 84 llama a la rutina rellenarPIP (etapa 134) para colocar la información del puntero y condiciones de luz en un PIP para su transmisión al controlador maestro 54. Posteriormente, el DSP 84 espera a la recepción de la siguiente imagen disponible para su procesamiento. [0055] La Figura 7 ilustra las etapas realizadas por el DSP 84 durante la ejecución de la rutina segmentoPuntero 132. Como se puede ver, cuando el DSP 84 ejecuta la rutina segmentoPuntero 132, el DSP 84 llama a la rutina buscaPuntero para determinar si hay un puntero en la imagen adquirida y si es así, la posición del puntero en la imagen adquirida actual (etapa 140). Tras completar la rutina buscaPuntero 140, el DSP 84 llama a la rutina actualizarBase para actualizar la imagen de base y de ese modo gestionar los cambios en las condiciones de luz (etapa 142). [0056] Durante la ejecución de la rutina actualizarBase, el DSP 84 actualiza

continuamente la imagen de base usando la ecuación:

Bn+1 es la nueva imagen base;

Bn es la imagen base actual;

I es la imagen adquirida actual;

i,j son las coordenadas de fila y columna de los píxeles de la imagen base que se

están actualizando; y

a es un número entre 0 y 1 que indica el grado de aprendizaje que se debería

tomar de la imagen adquirida actual I. Cuanto mayor sea el valor de a, más rápido

se actualiza la imagen de base. [0057] Después de que se haya ejecutado la rutina actualizarBase 142, se calcula por el DSP 84 la diferencia de intensidad entre la imagen adquirida actual y la imagen de base. Esta información se envía al controlador maestro 54 para permitir al controlador maestro determinar si la cámara digital 63 necesita ser re-expuesta. Esto se requeriría si ocurre un cambio drástico en las condiciones de luz (es decir la luz ambiente se encendió o apagó). Cuando se requiere la re-exposición de la cámara digital 63, el controlador maestro 54 envía un comando de PIP a la cámara digital 63 instruyendo a la cámara digital para adquirir una imagen para ajuste de la exposición. [0058] La Figura 8 ilustra las etapas realizadas por el DSP 84 durante la ejecución de la rutina buscaPuntero 140. Como se puede ver, cuando el DSP 84 ejecuta la rutina buscaPuntero 140, el DSP 84 borra la localización del puntero y los parámetros de la punta del puntero x y z respectivamente (etapa 150). Posteriormente se construye un histograma de intensidad vertical (etapa 152). Durante esta etapa, se forma la imagen de diferencia que representa las diferencias entre la imagen actual y la imagen de base y se suman por columna las intensidades de los píxeles en la imagen de diferencia. De esta manera se forma un vector de 640 x 1 que representa la suma de cada columna en la imagen diferencia de 640 x 20. De ese modo, el primer elemento en el vector 640 x 1 representa la suma de los 20 píxeles en la primera columna de la imagen de diferencia de 640 x 20, el segundo elemento en el vector 640 x 1 representa la suma de los 20 píxeles en la segunda columna de la imagen de diferencia de 640 x 20 y así sucesivamente. Los detalles adicionales de este proceso se pueden hallar en el artículo titulado "A smart camera application: DSP - based people detection and tracking" realizado por V. Cheng y col. y publicado en el SPIE Journal of Electronic Imaging, julio de 2000. [0059] Tras la creación del histograma de intensidad vertical en la etapa 152, se determina el parámetro x de localización del puntero mediante la búsqueda de la columna en el histograma de intensidad vertical con la intensidad más alta por encima del umbral de ruido (etapa 154). La columna se usa como centro de una región de interés (ROI) a ser procesada siendo el ancho de la ROI igual a la base del pico formado por el histograma de intensidad vertical (véase la Figura 10). Si ninguna columna tiene una intensidad por encima del umbral de ruido, se supone que no hay ningún puntero dentro de la imagen adquirida. [0060] Cuando se determina un parámetro x de localización de puntero, el DSP 84 analiza la ROI para determinar la fila de píxeles en donde se localiza la punta del puntero y determinar si esa fila representa un contacto con la superficie táctil o un movimiento por encima (etapa 156). Específicamente, el DSP 84 crea una máscara binaria en la ROI de modo que los píxeles blancos representan el puntero y los píxeles negros representan la base como se muestra en la Figura 12. A partir de la máscara, se pueden calcular fácilmente la localización de la línea media del puntero y la punta del puntero z. [0061] Durante la rutina rellenarPIP 134, el DSP 84 usa la información del puntero y de la condición de luz adquirida durante la ejecución de la rutina segmentoPuntero 132 y crea un PIP para reducir la imagen adquirida a un conjunto pequeño de datos para proporcionar de ese modo una economía en ancho de banda. El PIP está en la forma de un paquete de seis (6) palabras, siendo cada palabra en el paquete de dieciséis (16) bits. El PIP típicamente toma la forma:

Cabecera

Datos Suma de comprobación

[0062] La parte de cabecera del PIP es típicamente de dieciséis (16) bits e incluye un campo de destino/fuente, un campo de tipo de datos, un campo de número de cuadro de la imagen, un campo de número de secuencia y un campo de número de paquete. El campo de destino/fuente identifica el destino del PIP y la fuente del PIP. Si el PIP se genera por el controlador maestro 54, el destino puede ser una única cámara digital 63 o todas las cámaras digitales. El tipo de datos indica si el PIP se refiere a la información de puntero o a otra información tal como información de estado y diagnóstico. El campo de número de cuadro de la imagen almacena un número de modo que las imágenes desde cada cámara digital 63 se procesen por el controlador maestro 54 en secuencia. El campo de número de secuencia almacena un número que relaciona el PIP con otros PIP.

El campo de número de paquete almacena un número que identifica el paquete. [0063] La parte de datos del PIP es típicamente de sesenta y cuatro (64) bits e incluye un campo de ID del puntero, un campo de parámetro de localización de puntero, un campo de parámetro de la punta del puntero, un campo de estado de contacto y un campo de bondad del puntero. El campo de ID del puntero almacena un identificador del puntero para permitir el seguimiento de múltiples punteros. El campo de parámetro de localización del puntero almacena el valor x calculado por el DSP 84. El campo de parámetro de punta de puntero almacena el valor z calculado por el DSP 84. El campo de estado de contacto almacena un valor que indica si el puntero está en contacto, no en contacto o posiblemente en contacto con la superficie táctil 60. El campo de bondad del puntero almacena un valor estadístico sobre la probabilidad de que el puntero detectado sea real. [0064] La parte de suma de comprobación del PIP se usa para asegurar una integridad en la transmisión del PIP. Si los errores de la suma de comprobación del PIP son poco frecuentes, los errores de la suma de comprobación que muestren los PIP son ignorados por el dispositivo de destino. [0065] Los PIP de estado que no se refieren a información del puntero, tienen una forma diferente a la de los PIP identificados descritos anteriormente. Para los PIP de esta naturaleza, la parte de datos incluye un campo de tipo de instrucción, un campo de código de instrucción y un campo de datos. El campo de tipo de instrucción identifica si el tipo de instrucción es una instrucción a ser ejecutada o una solicitud de estado. El campo de código de instrucción almacena la instrucción real o el identificador de la solicitud estado. El campo de datos almacena los datos que varían dependiendo del tipo de instrucción. Ejemplos de los PIP de estado incluyen los PIP de cabecera de cuadro, los PIP de comando y los PIP de mensajes de error. [0066] Un PIP de cabecera de cuadro incluye típicamente el número de los PIP de puntero que han de seguir para una imagen adquirida actual con estadísticas para la imagen actual tales como la variación de intensidad entre la imagen adquirida actual y una imagen previa. Un PIP de comando enviado por el controlador maestro 54 puede instruir a una cámara digital para ajustar uno o más de sus graduaciones tales como la exposición o de captura de la imagen para ser usada como una nueva imagen base. Un PIP de error puede pasar una condición de error desde una cámara digital 63 al controlador maestro 54 para su almacenamiento en un registro de errores. [0067] Cada cámara digital 63 procesa cada imagen que adquiere en la forma descrita anteriormente en respuesta a cada señal de reloj generada por su DSP 84. Los PIP creados por los DSP 84 sólo se envían al controlador maestro 54 cuando las cámaras digitales 63 son consultadas por el controlador maestro 54. [0068] Cuando el controlador maestro 54 consulta a las cámaras digitales 63, se envían pulsos de sincronización de cuadro a las cámaras digitales 63 para iniciar la transmisión de los PIP creados por los DSP 84. Tras la recepción de un pulso de sincronización de

5 cuadro, cada DSP 84 transmite el PIP al controlador maestro 54 a través del bus de datos. Los PIP transmitidos al controlador maestro 54 se reciben por medio del puerto serie 96 y se almacenan automáticamente en el DSP 90. [0069] Después de que el DSP 90 haya consultado a las cámaras digitales 63 y haya recibido los PIP de cada una de las cámaras digitales 63 que incluyen información del

10 puntero, el DSP 90 procesa los PIP usando la triangulación para determinar la localización del puntero con relación a la superficie táctil 60 en coordenadas (x, y). Específicamente, se procesan los PIP de pares de cámaras digitales 63 usando la triangulación. [0070] La Figura 11 muestra que se necesitan dos ángulos φcam1 y φcam2 para triangular la

15 posición (x0, y0) de un puntero con relación a la pantalla táctil 60. Los PIP generados por cada cámara digital 63 incluyen un número θ (véase la Figura 12) que identifica la línea media o punta del puntero. Cuando el controlador maestro 54 recibe un PIP desde una cámara digital 63, el controlador maestro usa el número que representa la línea media o la punta del puntero y el campo de visión de la cámara digital para calcular un ángulo φcam

20 usando la ecuación:

x es el número que representa la línea media o punta del puntero; y

25 a esa longitud total encerrada por el campo de visión (FOV) de la cámara digital a una distancia desde la cámara. [0071] El ángulo calculado φcam es igual al ángulo formado entre la extremidad del campo de visión que se extiende más allá del borde de la periferia de diseño de la superficie táctil 60 de la cámara digital 63 que generó el PIP y una línea que se extiende desde el

30 eje óptico de la cámara digital que cruza el puntero dentro de la imagen adquirida. Preferentemente, la extremidad del campo de visión se extiende más allá del borde periférico designado (es decir en este caso el eje x) de la superficie táctil 60 dentro del campo de visión en una cantidad conocida. Sin embargo, en casi todos los casos la

desviación angular δcam de exploración de cada cámara digital 63 es diferente y desconocida. [0072] Una vez que el controlador maestro 54 calcula el ángulo φcam, el controlador maestro 54 usa el ángulo de desviación de la cámara δcam determinado durante la

5 calibración de la desviación de cámara para ajustar el ángulo φcam. Con los dos ángulos disponibles y con los ángulos φcam ajustados, el controlador maestro 54 usa los ángulos φcam para determinar la posición del puntero con relación a la superficie táctil 60 usando la triangulación. [0073] En la presente realización, dado que la pantalla táctil 52 incluye cuatro cámaras

10 digitales 63, se pueden usar para triangulación seis pares de cámaras digitales. La siguiente explicación describe como se determina la posición de un puntero mediante triangulación de cada par de cámaras digitales 63. [0074] Para determinar una posición de puntero usando los PIP recibidos de las cámaras digitales 63 a lo largo del lado izquierdo de la pantalla táctil 52, se usan las

15 siguientes ecuaciones para determinar las coordenadas (x0, y0) de la posición del puntero, dados los ángulos φ0 y φ1 para las cámaras digitales superior e inferior:

en las que: h es la altura de la pantalla táctil 52, es decir la distancia vertical de punto focal a punto focal de cámara digital;

25 w es el ancho de la pantalla táctil 52, es decir la distancia horizontal de punto focal a punto focal de cámara digital; y φi es el ángulo con respecto a la horizontal, medido usando la cámara digital i y la ecuación (0,7).

[0075] Para las cámaras digitales 63 a lo largo del lado derecho de la pantalla táctil 52, 30 se usan las siguientes ecuaciones para determinar las coordenadas (x0, y0) de la posición del puntero, dados los ángulos φ2 y φ3 para las cámaras digitales superior e inferior:

[0076] Debería ser evidente la similitud entre las ecuaciones (0,8) y (0,10), es decir la ecuación (0,10) = 1 – ecuación (0,8) una vez que se han sustituido los ángulos φ2 y φ3 en

5 la ecuación (0,8) por los ángulos φ0 y φ1 respectivamente. Las ecuaciones (0,9) y (0,11) se relacionan de una forma similar. [0077] Para determinar una posición del puntero usando las cámaras digitales 63 a lo largo de la parte inferior de la pantalla táctil 52, se usan las siguientes ecuaciones para determinar las coordenadas (x0, y0) de la posición del puntero, dados los ángulos φ0 y φ3

10 para las cámaras digitales inferior izquierda e inferior derecha:

[0078] Para determinar una posición del puntero usando las cámaras digitales 63 a lo

15 largo de la parte superior de la pantalla táctil 52, se usan las siguientes ecuaciones para determinar las coordenadas (x0, y0) de la posición del puntero, dados los ángulos φ1 y φ2 para las cámaras digitales superior izquierda y superior derecha:

[0079] Debería ser evidente la similitud entre las ecuaciones (0,12) y (0,14), es decir la ecuación (0,14) = ecuación (0,12) una vez que se han sustituido los ángulos φ1 y φ2 en la ecuación (0,12) por los ángulos φ0 y φ3. Las ecuaciones (0,13) y (0,15) tienen la siguiente

relación: ecuación (0,15) = 1 – ecuación (0,13) una vez que se han sustituido los ángulos φ1 y φ2 en la ecuación (0,13) por los ángulos φ0 y φ3 respectivamente. [0080] Para determinar una posición del puntero usando las cámaras digitales 63 a través de la diagonal desde la parte inferior izquierda a la parte superior derecha, se usan las siguientes ecuaciones para determinar las coordenadas (x0, y0) de la posición del puntero, dados los ángulos φ0, cualquier φ2 para las cámaras digitales inferior izquierda y superior derecha:

10 [0081] Para determinar una posición del puntero usando las cámaras digitales 63 a través de la diagonal desde la parte inferior derecha a la parte superior izquierda, se usan las siguientes ecuaciones para determinar las coordenadas (x0, y0) de la posición del puntero, dados los ángulos φ1 y φ3 para las cámaras digitales inferior derecha y superior

15 izquierda:

[0082] Debería ser evidente la similitud entre las ecuaciones (0,16) y (0,18), es decir la

20 ecuación (0,18) = ecuación (0,16) una vez que se han sustituido los ángulos φ1 y φ3 en la ecuación (0,16) por los ángulos φ0 y φ2. Las ecuaciones (0,17) y (0,19) tienen la siguiente relación: ecuación (0,19) = 1 – ecuación (0,17) una vez que se han sustituido los ángulos φ1 y φ3 en la ecuación (0,17) por los ángulos φ0 y φ2 respectivamente. [0083] Como se apreciará, las ecuaciones anteriores generan las coordenadas x0 e y0 en

25 una escala de [0, 1]. Por lo tanto, se puede notificar cualquier escala de coordenadas apropiada mediante la multiplicación de x0 e y0 por el valor máximo de X y el máximo de Y respectivamente. [0084] En la presente realización, el DSP 90 calcula la posición del puntero usando la triangulación para cada par de cámaras digitales excluyendo los pares en diagonal. Se promedian entonces las posiciones de puntero resultantes y se ponen en cola las coordenadas resultantes de la posición de puntero para su transmisión al ordenador personal 56 a través del puerto serie 98 y el controlador de línea serie 94. [0085] Con la posición (x, y) de un puntero conocida por triangulación, usando los coeficientes de la A a la E calculados durante la calibración de la detección superficial, se puede determinar la coordenada z correspondiente a la posición (x, y) usando la ecuación (0,1). El cálculo de la coordenada z y la comparación de la coordenada z con el parámetro z en el PIP proporcionan una indicación de si el puntero está moviéndose por encima de la superficie táctil 60 o puesto en contacto real con la superficie táctil. [0086] Si se desea, se puede calcular una velocidad v y un ángulo del puntero por parte del DSP 90 como se muestra en la Figura 13. La velocidad del puntero se calcula examinando los cambios en la posición z (o intercepción con x) del puntero en PIP sucesivos y conociendo la velocidad de cuadros de la cámara. Por ejemplo, si la velocidad de cuadros de la cámara es de 200 cuadros por segundo y la posición z cambia en 1 fila de píxeles por cuadro, la velocidad del puntero es de 200 píxeles por segundo. [0087] El ángulo del puntero se puede determinar debido al hecho de que el PIP incluye las interceptación x en las filas de píxeles 0 y 19 de la línea media. Dado que la distancia x (la diferencia entre interceptaciones de x) y la distancia y (el número de filas de píxeles) son conocidas, está disponible toda la información necesaria para calcular el ángulo del puntero. [0088] Si se desea, se puede usar un filtro de Kalman (esencialmente un procedimiento de mínimos cuadrados recursivo) para “seguir” de modo efectivo el puntero cuando está dentro de una cierta distancia de la superficie táctil 60. Para realizar esto, es necesario definir un sistema de ecuaciones o modelo para usar en el filtro. Dado que el controlador maestro 54 es capaz de proporcionar tanto la posición z como la velocidad v del puntero, se puede usar la siguiente descripción:

La segunda de estas ecuaciones se requiere dado que el filtro ha de conocer qué hacer con la velocidad, y también dado que tanto z como v son medibles. Define el vector de estado como:

Para relacionar el estado del sistema en dos tiempos sucesivos n y n+1, se escribe el sistema de ecuaciones como una ecuación de diferencia matricial:

o, en notación matricial,

Aquí, dt denota el intervalo de tiempo entre sucesivas etapas de tiempo. También se introduce aquí sobre el RHS el término “ruido de proceso”. Es puramente formal, pero parte del procedimiento del filtro Kalman. Es necesario también especificar cómo se introduce una medición en el procedimiento. Esto se realiza por medio de ecuación matricial:

donde zn es una medición de posición y velocidad, H es una “matriz de medición” que se toma para ser la matriz identidad, xn es el vector de estado y w es la medición de ruido. Esencialmente, se supone que las mediciones son versiones ruidosas del vector de estado. Es necesario también definir una matriz de covarianza asociada con w. Si el error de medición en z es de 0,5 píxeles, entonces la matriz de covarianza es:

Se requiere una matriz similar Q para el ruido de proceso introducido anteriormente, pero como es de alguna forma arbitraria, se puede tratar como un parámetro de ajuste para el filtro. En este ejemplo, la matriz Q se toma para ser la matriz identidad multiplicada por un factor de orden unitario o menor. Establecido lo anterior, hay suficiente información para comenzar el proceso del filtro. La primera etapa (predicción) es:

Aquí, la notación (–) implica que la medición no se ha realizado aún mientras que (+) lo implica (pero en este caso el (+) se refiere a la etapa previa). También, la ecuación matricial para la matriz P predice una matriz de covarianza. La siguiente etapa es el cálculo de la ganancia del filtro:

Una vez se realiza una medición, la estimación de estado y su covarianza se pueden actualizar:

Es esta estimación del estado x la que se usa para determinar si ha tenido lugar o no un contacto con la superficie táctil. Nótese que las matrices H y R son ambas constantes con el tiempo y que solamente cambian las matrices K y P (de hecho, P se aproxima a una matriz constante). Tiene lugar una simplificación adicional ya que no hay un proceso de control involucrado. [0089] Se realizaron los resultados de una simulación en Matlab de un filtro de Kalman usando un conjunto de mediciones que representan un puntero que se aproxima a una superficie táctil 60 a una velocidad constante. Las Figuras 15 y 16 ilustran la simulación, con una etapa de tiempo dt de 0,1 segundos y una precisión de medición de 0,5 píxeles. Los símbolos abiertos representan los datos, y las líneas las estimaciones de estado a partir del filtro de Kalman. Claramente, la estimación de estado sigue a los datos completamente bien. [0090] Se realizó una segunda simulación en Matlab para tener en cuenta tanto el movimiento del puntero en vertical (z) como en horizontal (x). Esta simulación es básicamente de dos filtros de Kalman similares que funcionan juntos en una forma en “paralelo”. La formulación es exactamente la misma, excepto en que se necesita considerar el doble número de variables. Las Figuras de la 17a a la 17d muestran los resultados de la simulación y representan el movimiento de un puntero hacia la superficie táctil 60 a una velocidad constante y con una posición x lentamente variable (es decir la mano de la persona es inestable). [0091] Aunque el sistema táctil 50 se ha descrito como que incluye un proyector para presentar las imágenes sobre la pantalla táctil, aquellos expertos en la técnica apreciarán que no se requiere esto. La pantalla táctil 52 puede ser transparente o translúcida y colocarse sobre una unidad de pantalla de modo que la imagen presentada sobre la unidad de pantalla es visible a través de la pantalla táctil. También, la pantalla táctil no necesita ser una hoja rectangular de material bordeada por un marco. La pantalla táctil puede ser de hecho virtualmente cualquier superficie dentro de los campos de visión que se solapan de dos o más cámaras digitales. [0092] También, aunque se describe el sistema táctil 50 como que incluye un controlador maestro separado de las cámaras digitales, si se desea, una de las cámaras digitales se puede condicionar para funcionar tanto como una cámara como un controlador maestro y consultar los PIP de las otras cámaras digitales. En este caso, se prefiere que la cámara digital que funciona como controlador maestro incluya un DSP 84 más rápido que las restantes cámaras digitales. [0093] Además, aunque la rutina de detección superficial se describe como la determinación de los coeficientes de la A a la E para ser usados con la ecuación (0,1) para el cálculo de las coordenadas z del puntero en un punto dado (x, y) con relación a la pantalla táctil, durante la rutina de detección superficial, el controlador maestro 54 se puede programar para calcular la coordenada z para regiones (x, y) únicas de la superficie táctil y almacenar las coordenadas z en una tabla de búsqueda (LUT). En este caso; cuando un puntero aparece en las imágenes capturadas por las cámaras digitales y se determina la posición (x, y) del puntero con relación a la superficie táctil, se puede tomar una decisión de si el puntero está o no en contacto con la superficie táctil comparando la coordenada z en la LUT que corresponde con la región (x, y) en la que se localiza el puntero, con la fila de píxeles del sensor de imagen y conjunto de lentes en la que la punta del puntero se localiza. [0094] Como se ha descrito anteriormente, el controlador maestro 54 calcula o busca las coordenadas z de la pantalla táctil para cada cámara digital y compara las coordenadas z con la localización de la punta del puntero z para determinar si el puntero está en contacto real con la superficie táctil. Sin embargo, los expertos en la técnica apreciarán que los DSP 84 en las cámaras digitales pueden incluir un software de procesamiento de imágenes para determinar si el puntero está en contacto real con la superficie táctil. Este procesamiento de imágenes se puede realizar en conjunto o en lugar de la determinación del contacto del puntero por el controlador maestro. [0095] Aunque se ha descrito una realización preferida de la presente invención, aquellos expertos en la técnica apreciarán que se pueden realizar variaciones y modificaciones sin separarse del alcance de la invención como se define por las reivindicaciones adjuntas.

Claims (5)

1. REIVINDICACIONES

   1.

   Un método que comprende: la adquisición de primeras y segundas imágenes de una superficie táctil desde diferentes localizaciones utilizando cámaras con puntos de visión superpuestos caracterizado por; la sustracción de dichas primeras y segundas imágenes de las imágenes de base para formar primeras y segundas imágenes de diferencia; el procesamiento de cada una de dichas primeras y segundas imágenes de diferencia para determinar si una región de interés dentro de la imagen de diferencia incluyendo la existencia de un puntero en ellas, dicha región de interés estando basada en intensidades de píxeles por encima de un nivel de umbral; para cada región de interés, la creación de una máscara de píxeles de la región de interés para separar píxeles que representan el puntero de los píxeles que representan la base; la determinación de una posición del puntero relativa a la superficie táctil basada en la información del puntero calculada desde las regiones de interés; y el control de una aplicación basada en la posición determinada del puntero.

2. 2.

   El método de la reivindicación 1, en el que las primeras y segundas imágenes se capturan con primeras y segundas cámaras que miran en general a través de la superficie táctil.

3. 3.

   El método de cualquiera de las reivindicaciones de la 1 a la 2, comprendiendo también la determinación de la velocidad del puntero o del ángulo del puntero, en el que la aplicación también se controla basada en la velocidad de puntero o el ángulo de puntero determinados.

4. 4.

   El método de la reivindicación 2, comprendiendo también la determinación de si el puntero se está moviendo por encima de o en contacto con la superficie táctil.

5. 5.

   Un aparato comprendiendo: cámaras con campos de visión que se solapan configurados para adquirir primeras o segundas imágenes de una superficie táctil (10) desde diferentes localizaciones; caracterizado por al menos un procesador (54, 56) configurado para: sustraer dichas primeras y segundas imágenes de las imágenes de base para formar primeras y segundas imágenes de diferencia; procesar cada una de dichas primeras y segundas imágenes de diferencia para determinar si existe una región de interés dentro de la imagen de diferencia incluyendo un puntero, dicha región de interés estando basada en intensidades de

   píxeles por encima de un nivel de umbral; para cada región de interés, crear una máscara de píxeles de la región de interés para separar los píxeles que representan el puntero de los píxeles que representan la base; determinar una posición del puntero relativa a la superficie táctil basada en la información del puntero calculada de las regiones de interés; y controlar la aplicación basada en una posición determinada del puntero.