ES2279823T3 - Sistema tactil basado en camaras. - Google Patents
Sistema tactil basado en camaras. Download PDFInfo
- Publication number
- ES2279823T3 ES2279823T3 ES01951266T ES01951266T ES2279823T3 ES 2279823 T3 ES2279823 T3 ES 2279823T3 ES 01951266 T ES01951266 T ES 01951266T ES 01951266 T ES01951266 T ES 01951266T ES 2279823 T3 ES2279823 T3 ES 2279823T3
- Authority
- ES
- Spain
- Prior art keywords
- pointer
- touch
- cameras
- image
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Un sistema táctil basado en cámaras (50) que comprende: al menos dos cámaras (63, 84) asociadas con una superficie táctil (60) y que tiene campos traslapantes de vista (FOV) que abarcan dicha superficie táctil, dicha al menos dos cámaras adquieren imágenes de dicha superficie táctil de diferentes ubicaciones y generan datos de imágenes; medios de procesamiento (54) que triangulan los datos del puntero para determinar la ubicación de dicho puntero con relación a dicha superficie táctil; caracterizado por : al menos dos cámaras (63, 84) que generan adicionalmente subconjuntos de píxeles de datos de imagen de dichos datos de imagen; los medios de procesamiento (84, 54) que reciben dichos subconjuntos de píxeles de datos de imagen generados por al menos dos cámaras (63, 84), los medios de procesamiento (84, 54) procesan dichos subconjuntos de píxeles para generar los datos de puntero cuando existe un puntero en dichas imágenes adquiridas.
Description
Sistema táctil basado en cámaras.
La presente invención se relaciona de manera
general con sistemas táctiles y en particular con un sistema táctil
de cámara.
Los sistemas táctiles son bien conocidos en la
técnica y típicamente incluyen una pantalla táctil que tiene una
superficie táctil sobre la cual se hacen contactos utilizando un
puntero con el fin de generar indicaciones de usuario. Los
contactos del puntero con la superficie táctil son detectados y son
utilizados para generar salidas correspondientes dependiendo de
áreas de la superficie táctil donde se hacen los contactos. Existen
básicamente dos tipos generales de sistemas táctiles disponibles y
ellos pueden ser ampliamente clasificados como sistemas táctiles
"activos" y sistemas táctiles "pasivos".
Los sistemas táctiles activos le permiten al
usuario generar indicaciones de usuario al contactar la superficie
táctil con un puntero especial que usualmente requiere alguna forma
de una fuente de energía a bordo, típicamente baterías. El puntero
especial emite señales tales como luz infrarroja, luz visible,
frecuencias ultrasónicas, frecuencias electromagnéticas, etc., que
activan la superficie táctil.
Los sistemas táctiles pasivos le permite al
usuario generar indicaciones de usuario al poner en contacto la
superficie táctil con un puntero pasivo y no requiere el uso de un
puntero especial con el fin de activar la superficie táctil. Un
puntero pasivo puede ser un dedo, un cilindro de algún material, o
cualquier objeto adecuado que se pueda utilizar para poner en
contacto algún área predeterminada de interés sobre la superficie
táctil.
Los sistemas táctiles pasivos suministran
ventajas sobre los sistemas táctiles activos en que cualquier
dispositivo de puntero adecuado, incluyendo un dedo del usuario, se
puede utilizar como un puntero para contactar la superficie táctil.
Como resultado, se puede generar fácilmente una indicación de
usuario. También, en razón a que los punteros activos especiales no
son necesarios en los sistemas táctiles pasivos, los niveles de
energía de la batería y/o el daño del puntero, el robo, o el
extravío del puntero no son de preocupación para los usuarios.
Los sistemas táctiles pasivos tienen un número
de aplicaciones que se relacionan con la operación de la computadora
y las pantallas de vídeo. Por ejemplo, en una aplicación
interactiva, como se describió en la Patente U.S. No. 5,448,263 de
Martin, cedida al cesionario de la presente invención, se acopla un
sistema táctil pasivo a una computadora y la pantalla de
computadora se presenta sobre la superficie táctil de la pantalla
táctil. Las coordenadas que representan los sitios específicos
sobre la superficie táctil son mapeadas a la pantalla de la
computadora. Cunado un usuario contacta la superficie táctil, las
coordenadas de la posición de contacto son retroalimentadas a la
computadora y mapeadas a la pantalla de computadora permitiéndole de
esta manera al usuario operar la computadora de una manera similar
para utilizar un ratón de computadora simplemente al poner en
contacto la superficie táctil. Adicionalmente, las coordenadas
retroalimentadas a la computadora pueden ser grabadas en una
aplicación y redesplegadas un tiempo más tarde. La grabación de las
coordenadas de contacto es hecha típicamente cuando se desea
registrar la información escrita o dibujada sobre la superficie
táctil por el usuario.
La resolución de una pantalla táctil pasiva
determina si el sistema táctil es adecuado para grabar información
escrita o dibujada sobre la pantalla táctil o solamente útil para
seleccionar áreas sobre la pantalla táctil mapeada a regiones sobre
la computadora o la pantalla de vídeo con el fin de manipular la
computadora o la pantalla de vídeo. La resolución es típicamente
medida en puntos por pulgada (DPI). Los DPI están relacionados con
el tamaño de la pantalla táctil y la capacidad de muestreo del
equipo de sistema táctil y del soporte lógico utilizado para
detectar los contactos sobre la superficie táctil.
Las pantallas táctiles pasivas de baja
resolución tiene solo suficiente DPI para detectar los contactos
sobre la superficie táctil en un gran grupo de píxeles desplegados
por la computadora o la pantalla de vídeo. Por lo tanto, estas
pantallas táctiles pasivas de baja resolución son útiles solamente
para manipular la computadora o la pantalla de vídeo.
De otra parte, las pantallas táctiles pasivas de
alta resolución tienen suficiente DPI para detectar contactos que
son proporcionales a un número pequeño de píxeles o
sub-píxeles de la computadora o pantalla de vídeo.
Sin embargo, un requisito para las pantallas táctiles de alta
resolución es la capacidad de detectar cuando el puntero está en
contacto con la superficie táctil. Esto es necesario para escribir,
dibujar, operaciones de obturación de ratón, etc. Sin la capacidad
de detectar el contacto del puntero con la pantalla táctil, la
escritura y los dibujos serían una operación continua, y la
obturación del ratón no sería posible haciendo de esta manera la
manipulación de la pantalla de la computadora virtualmente
imposible. Un requisito secundario es la capacidad de detección
cuando el puntero está paseando por encima de la superficie táctil.
Aunque no se requiere para escribir o dibujar, los sistemas
operativos de computadora de hoy están utilizando crecientemente
información de paseo para manipular la computadora o las pantallas
de vídeo o las cajas de información
"pop-up".
Las pantallas táctiles pasivas son típicamente
cualquiera del tipo resistivo análogo, del tipo de onda acústica de
superficie (SAW) o del tipo capacitivo. Desafortunadamente, estas
pantallas táctiles sufren de un número de problemas o inconvenientes
como se describirá.
Las pantallas táctiles resistivas análogas
tienen típicamente una alta resolución. Dependiendo de la
complejidad del sistema táctil, la resolución de la pantalla táctil
puede producir 4096x4096 DPI o más. Las pantallas táctiles
resistivas análogas están construidas utilizando dos láminas
flexibles que son puestas en contacto con un material resistivo, y
dispuestas como un sándwich. Las láminas no entran en contacto una
con la otra hasta que se ha hecho un contacto. Las láminas son
típicamente mantenidas separadas por micropuntos aislantes o por un
espacio aéreo aislante. Las láminas están construidas de ITO, la
cual es principalmente transparente. Así, la pantalla táctil
introduce alguna distorsión de la imagen pero muy poco paralaje.
Durante la operación de una pantalla táctil
pasiva resistiva análoga, se aplica un gradiente de voltaje uniforme
en una dirección a lo largo de la primera de las láminas. La
segunda lámina mide el voltaje a lo largo de la primera lámina
cuando las dos láminas se contactan una con la otra como resultado
de un contacto hecho sobre la superficie táctil. En razón a que el
gradiente de voltaje de la primera lámina puede ser trasladado a la
distancia a lo largo de la primera lámina, el voltaje medido es
proporcional a la posición del contacto sobre la superficie táctil.
Cuando se adquiere una coordenada de contacto sobre la primer
lámina, el gradiente de voltaje uniforme es entonces aplicado a la
segunda lámina y la primer lámina mide el voltaje a lo largo de la
segunda lámina. El gradiente de voltaje de la segunda lámina es
proporcional a la distancia a lo largo de la segunda lámina. Estas
dos coordenadas de contacto representan la posición
X-Y del contacto sobre la superficie táctil en un
sistema de coordenadas Cartesianas.
Desafortunadamente, en razón a que se requiere
una presión mecánica para llevar ambas láminas a contacto, las
pantallas táctiles resistivas análogas solo pueden detectar contacto
cuando hay suficiente presión para llevar las dos láminas juntas.
Las pantallas táctiles pasivas resistivas análogas tampoco pueden
captar cuando un puntero está paseando sobre la superficie táctil.
Por lo tanto, en el caso de las pantallas táctiles resistivas
análogas los eventos de contacto y las posiciones solo se pueden
detectar cuando son hechos los contactos presentes con la superficie
táctil.
Las pantallas táctiles de onda acústica de
superficie (SAW) típicamente suministran la resolución media y no
son adecuadas para grabar buena calidad de escritura. Las pantallas
táctiles SAW emplean traductores sobre los límites de la superficie
del vidrio para vibrar el vidrio y producir ondas acústicas que
ondean sobre la superficie del vidrio. Cuando se hace un contacto
sobre la superficie del vidrio, las ondas acústicas se retro
reflejan y la posición de contacto se determina de la firma de las
ondas acústicas reflejadas.
Desafortunadamente, las pantallas táctiles SAW
exhiben notable paralaje debido al grosor del vidrio vibrante que
esta colocado sobre la superficie de la pantalla de vídeo o de
computadora. También, los eventos de contacto y las posiciones solo
se pueden detectar cuando los contactos presentes son hechos con la
superficie del vidrio. Adicionalmente, las pantallas táctiles SAW no
escalan más allá de unos pocos pies en diagonal.
Las pantallas táctiles capacitivo suministran
baja resolución en razón a que los contactos solo se pueden
determinar en grandes áreas (aproximadamente 12.7 mm x 12.7 mm (½''x
½'')). Como resultado, las pantallas táctiles capacitivas no pueden
ser utilizadas para grabar la escritura o los dibujos pero son
adecuadas para seleccionar áreas sobre la pantalla táctil que
corresponde a los botones generados por computadora desplegados
sobre la pantalla de vídeo o de computadora. Las pantallas táctiles
capacitivas también sufren desventajas por que ellas no son
sensibles a la temperatura y humedad. Similares a las pantallas
táctiles resistivas análogas y a las pantallas táctiles SAW, las
pantallas táctiles capacitivas también solamente pueden detectar
eventos de contacto y posiciones cuando son hechos los contactos
presentes con la superficie táctil.
La escalabilidad de las pantallas táctiles
pasivas es importante en razón a que la demanda de digitalizadores
electrónicos mayores se esta incrementando. Donde los
digitalizadores fueron una vez pequeños aparatos de escritorio, hoy
han encontrado su camino sobre aplicaciones de pizarra electrónica.
La necesidad de construir una "pared" sensible táctil pasiva
se ha vuelto un requisito para las nuevas aplicaciones de pantalla
táctil. Las pantallas táctiles pasivas existentes de los tipos
discutidos anteriormente están todas limitadas en el tamaño máximo
donde ellas son aún funcionales.
La WO 99/40562 se relaciona con un sistema de
pantalla táctil de computadora para cámara de vídeo en donde se
describe un método y sistema para ingresar los datos a una
computadora por vía de la pantalla del monitor de computadora. Una
cámara de vídeo de PC estándar montada por encima de la pantalla de
la computadora monitorea el área inmediatamente al frente de la
pantalla. Un sistema óptico similar a un periscopio localizado
inmediatamente por debajo de la cámara de vídeo origina dos
imágenes de la pantalla delantera para ser grabadas por la cámara
simultáneamente, visualizadas desde diferente ángulo. Esta técnica
anterior es reconocida en el preámbulo de las reivindicaciones 1 y
19.
La US 4,746,770 se relaciona con un método y
aparato para aislar y manipular objetos gráficos sobre un monitor de
vídeo computadora. Un miembro de marco coopera con una pluralidad de
sensores ópticos y una pluralidad de objetos de oclusión de luz los
cuales tienden a obstruir una porción de la luz normalmente recibida
por los sensores ópticos.
La DE 19810452 se relaciona con un digitalizador
óptico para determinar una posición de un objeto de apuntamiento que
proyecta una luz y que esta dispuesto sobre un plano de coordenadas.
En el digitalizador óptico, esta dispuesto un detector sobre la
periferia del plano de coordenadas y tiene un campo visual que cubre
el plano de coordenadas para recibir la luz proyectada del objeto
de apuntamiento y para convertir la luz recibida en una señal
eléctrica.
Como se apreciará, se desean mejoras a los
sistemas táctiles pasivos. Es por lo tanto un objeto de la presente
invención suministrar un sistema táctil novedoso de cámara.
La invención se establece en las
reivindicaciones 1 y 19.
Preferiblemente las al menos dos cámaras son
cámaras digitales que tienen campos de visión que viran generalmente
a lo largo del plano de la superficie táctil. Los datos de imagen
generados por cada cámara digital incluyen una línea x mediana de
puntero y una localización de punta de punteo z. Cada una de las
cámaras digitales incluye un arreglo de píxel que tiene hileras de
píxel seleccionables. Las intensidades de píxel de los píxeles en
las hileras de píxel seleccionables son utilizadas durante la
generación de los datos de imagen. Preferiblemente, las
intensidades de píxel de los píxeles en una región de interés dentro
de las hileras del píxel seleccionable son utilizadas durante la
generación de los datos de imagen.
En una modalidad preferida, cada una de las
cámaras digitales incluye un sensor de imagen CMOS y un procesador
de señal digital. El procesador de señal digital recibe la salida de
imagen del sensor de imagen y ejecuta una rutina de hallazgo de
puntero para determinar si un puntero esta en cada imagen adquirida
por la cámara digital y si es así, la línea media del puntero.
También se prefiere que el procesador de señal digital de cada
cámara digital ejecute una rutina actualizada de imagen de trasfondo
para actualizar la imagen de trasfondo después de que se adquiere
cada imagen. Preferiblemente, el procesador de la señal digital de
cada cámara digital además de r determina las diferencias entre cada
imagen adquirida y la imagen de trasfondo para detectar el cambio a
las condiciones de luz.
La presente invención proporciona ventajas
porque el sistema táctil pasivo es de alta resolución y le permite
al puntero presente contactar la superficie táctil así como también
el puntero pasea por encima de la superficie táctil para ser
detectado y la correspondiente salida generada. También, el presente
sistema táctil pasivo suministra ventajas porque este no sufre de
paralaje, distorsión de imagen, restricciones de la posición del
puntero, proyección de la imagen y problemas de escalabilidad que
están asociados con los sistemas táctiles pasivos de la
técnica
anterior.
anterior.
Adicionalmente, la presente invención suministra
ventajas porque las cámaras digitales CMOS son utilizadas, se
pueden seleccionar hileras de píxeles arbitrarios en los arreglos de
píxel de cámara digital. Esto posibilita las proporciones de
estructura de las cámaras digitales para ser incrementadas
significativamente. También, en razón a que las hileras de píxeles
se pueden seleccionar arbitrariamente, los arreglos de píxeles se
pueden exponer para mayor duración para las tasas marco de la
cámara digital dada permitiendo la buena operación en cuartos
oscuros así como también cuartos iluminados.
Las modalidades de la presente invención serán
descritas ahora más completamente con referencia a los dibujos que
la acompañan en los cuales:
La Figura 1 es un diagrama esquemático de un
sistema táctil para cámara de acuerdo con la presente invención;
La Figura 2 es una vista isométrica de una parte
que forma la pantalla táctil del sistema táctil de la Figura 1;
La Figura 3 es una vista isométrica de una
porción de esquina de la pantalla táctil de la Figura 2;
La Figura 4 es un diagrama esquemático de una
parte que forma la cámara digital de la pantalla táctil de la Figura
2;
La Figura 5 es un diagrama esquemático de una
parte que forma el controlador maestro del sistema táctil de la
Figura 1;
La Figura 6 es un diagrama de flujo que muestra
las etapas desarrolladas durante la ejecución de una rutina
processFrame;
processFrame;
La Figura 7 es un diagrama de flujo que muestra
las etapas desarrolladas durante la ejecución de una rutina
segmentPointer;
segmentPointer;
La Figura 8 es un diagrama de flujo que muestra
las etapas desarrolladas durante la ejecución de una rutina
findPointer;
findPointer;
La Figura 9 muestra una imagen adquirida por una
cámara digital y un subconjunto de píxeles de la imagen que es
procesada;
La Figura 10 muestra una región de interés (ROI)
en el subconjunto de píxeles de la Figura 9;
La Figura 11 muestra una geometría de
triangulación utilizada para calcular una posición de contacto del
puntero sobre la superficie táctil de la pantalla táctil ilustrada
en la Figura 2;
La Figura 12 muestra una imagen adquirida por
una cámara digital que incluye una punta de puntero y su línea
mediana;
La Figura 13 muestra un contacto de puntero y un
puntero que pasea por orientaciones diferentes del puntero;
La Figura 14 es una imagen de la superficie
táctil de la pantalla táctil como se ve por medio de una cámara
digital;
Las Figuras 15 y 16 muestran los resultados de
una simulación Matlab del seguimiento del puntero que utiliza un
filtro Kalman; y
Las Figuras 17a a 17d muestran los resultados de
otra simulación Matlab del seguimiento del puntero que utiliza un
filtro Kalman.
Regresando ahora a la Figura 1, se muestra un
sistema táctil de cámara de acuerdo con la presente invención y se
identifica generalmente por medio del numeral referencia 50. Como se
puede ver, el sistema táctil 50 incluye una pantalla táctil 52
acoplada a un controlador maestro 54 basado en un procesador de
señal digital (DSP). El controlador maestro 54 también se acopla a
una computadora 56. La computadora 56 ejecuta uno o más programas
de aplicación y suministra la salida de pantalla que es presentada
sobre la pantalla táctil 52 por vía de un proyector 58. La pantalla
táctil 52, el controlador maestro 54, la computadora 56 y el
proyector 58 forman un bucle cerrado de tal forma que los contactos
del usuario con la pantalla táctil 52 se pueden grabar como
escritura o dibujo o utilizar para controlar la ejecución de los
programas de aplicación ejecutados por la computadora
56.
56.
Las Figuras 2 a 4 ilustran mejor la pantalla
táctil 52. La pantalla táctil 52 incluye una superficie táctil 60
limitada por una estructura rectangular 62. La superficie táctil 60
esta en la forma de una lámina plana rectangular de material
pasivo. Las cámaras digitales 63 CMOS basadas en DSP están asociadas
con cada esquina de la pantalla táctil 52. Cada cámara digital 63
esta montada sobre un montaje de cuadro 64. Cada montaje de cuadro
64 incluye una placa de soporte angulada 66 sobre la cual esta
montada la cámara digital 63. Los elementos de estructura del
soporte 70 y 72 están montados sobre la placa 66 por vía de los
postes 74 y aseguran la placa 66 al marco
62.
62.
Cada cámara digital 63 incluye un sensor de
imagen CMOS bidimensional y el montaje de lentes 80 asociado, un
buffer 82 primero en entrar, primero en salir (FIFO) acoplado al
sensor de imagen y el montaje de lentes 80 por medio de un bus de
datos y un procesador de señal digital (DSP) 84 acoplado al FIFO 82
por medio de un bus de datos y al sensor de imagen y el montaje de
lentes 80 por medio de un bus de control. Un EPROM de arranque 86 y
un subsistema de suministro de energía 88 también están
incluidos.
En la presente modalidad, el sensor de imagen de
cámara CMOS es un sensor de imagen PB300 Fotobit configurado para
un sub-arreglo de píxel 20x640 que se puede operar
para capturar cuadros de imagen a velocidades mayores de 200
cuadros por segundo en razón a que la hilera de píxeles arbitraria
puede ser seleccionada. También, en razón a que las hileras de
píxeles se pueden seleccionar arbitrariamente, el
sub-arreglo de píxeles puede ser expuesto a una
duración mayor para la velocidad de cuadro de la cámara digital dada
que permite la buena operación en cuartos oscuros así como también
en cuartos iluminados. El buffer FIFO 82 es elaborado por Cypress
bajo el número de partes CY7C4211V y el DSP 84 se elabora mediante
Dispositivos Análogos bajo el número de parte
ADSP2185M.
ADSP2185M.
El DSP 84 suministra información de control al
sensor de imagen y al montaje de lentes 80 por vía del bus de
control. La información de control le permite al DSP 84 controlar
los parámetros del sensor de imagen y el montaje de lentes 80 tal
como una exposición, ganancia, configuración de arreglo, reinicio e
inicialización. El DSP 84 también suministra señales de reloj al
sensor de imagen y al montaje de lentes 80 para controlar la
velocidad de cuadro del sensor de imagen y el montaje de lentes
80.
El ángulo de la placa 66 se selecciona de tal
forma que el campo de visión (FOV) de cada cámara digital 63 se
extienda más allá de un borde periférico designado de la superficie
táctil 60 como se muestra en la Figura 11. De esta manera, la
superficie táctil completa 60 esta dentro de los campos de visión de
las cámaras digitales 63.
El controlador maestro 54 se ilustra mejor en la
Figura 5 e incluye un DSP 90, un EPROM de arranque 92, un
controlador de línea serial 94 y un subsistema de suministro de
energía 95. El DSP 90 se comunica con los DSP 84 de las cámaras
digitales 63 sobre un bus de datos por vía del puerto serial 96 y se
comunica con la computadora 56 sobre un bus de datos por vía de un
puerto serial 98 y el controlador de línea serial 94. En esta
modalidad, el DSP 90 también es elaborado por Analog Devices bajo el
número de parte ADSP2185M. El controlador de línea serial 94 es
elaborado por Analog Devices bajo el número de parte ADM222.
El controlador maestro 54 y cada cámara digital
63 siguen un protocolo de comunicación que posibilita la
comunicación bi-direccional por vía de un cable
serial común similar a un bus serial universal (USB). La banda ancha
de transmisión se divide en treinta y dos (32) canales de 16 bit.
De los treinta y dos canales, seis (6) canales están asignados a
cada uno de los DSP 84 en las cámaras digitales 63 y al DSP 90 en el
controlador maestro 54 y los dos restantes (2) canales no son
utilizados. El controlador maestro 54 monitorea los veinticuatro
(24) canales asignados a los DSP 84 aunque los DSP 84 monitorean los
seis (6) canales asignados al DSP 90 del controlador maestro 54.
Las comunicaciones entre el controlador maestro 54 y las cámaras
digitales 63 se desarrollan como procesos de trasfondo en respuesta
a interrupciones.
La operación general del sistema táctil 50 será
descrita ahora. Cada cámara digital 63 adquiere imágenes de la
superficie táctil 60 dentro del campo de visión del sensor de imagen
y el montaje de lentes 80 a una velocidad de cuadro deseada y
procesa cada imagen adquirida para determinar si un puntero esta en
la imagen adquirida. Si un puntero esta en la imagen adquirida, la
imagen es además procesada para determinar las características del
puntero que contacta o pasea por encima de la superficie táctil 60.
Los paquetes de información del puntero (los PIP) que incluyen las
características del puntero, estado y/o en información de
diagnóstico son entonces generados por medio de cámaras digitales
63 y los PIP son puestos en cola para la transmisión al controlador
maestro 54. Las cámaras digitales 63 también reciben y responden a
los PIP comandos generados por el controlador maestro
54.
54.
El controlador maestro 54 sondea las cámaras
digitales 63 para los PIP. Si los PIP incluyen información
característica de puntero, el controlador maestro 54 triangula las
características del puntero en los PIP para determinar la posición
del puntero con relación a la superficie táctil 60 en las
coordenadas rectangulares Cartesianas. El controlador maestro 54 a
su vez transmite datos de posición de puntero calculadas, estado y/o
información de diagnóstico a la computadora personal 56. De esta
manera, los datos de la posición del puntero transmitidos a la
computadora personal 56 se puede grabar como escritura o dibujo o se
puede utilizar para controlar la ejecución de los programas de
aplicación ejecutados por la computadora 56. La computadora 56
también actualiza la salida de pantalla transportada al proyector
58 de tal forma que la información presentada sobre la superficie
táctil 60 refleja la actividad del
puntero.
puntero.
El controlador maestro 54 también recibe los
comandos de la computadora personal 56 y responde de acuerdo con
esto así como también genera y transporta los PIP de comando a las
cámaras digitales 63.
Las especificaciones con relación al
procesamiento de las imágenes adquiridas y la triangulación de las
características del puntero en los PIP será descrita ahora con
referencia particular a las Figuras 6 a 8.
Inicialmente, una rutina de calibración de
ángulo de desfase de la cámara se desarrolla para determinar el
ángulo de desfase \delta de cada cámara digital 63 (ver Figura 11)
de tal forma que el contacto o la posición de paseo de un puntero
con relación a la superficie táctil 60 se puede determinar de manera
precisa. Los detalles de la calibración del ángulo de desfase de la
cámara se describen en la solicitud U.S.
co-pendiente de los solicitantes titulada
"Calibrating Camera Offsets to Facilitate Object Position
Determination Using Triangulation" presentada en junio 1, 2001,
cuyo contenido se incorpora aquí como referencia.
Siguiendo la rutina de calibración del ángulo de
desfase de la cámara, se desarrolla una rutina de detección de
superficie para mejorar la determinación de si el puntero está en
contacto con la superficie táctil 60 en un punto dado o paseando
por encima de la superficie táctil.
Con las coordenadas rectangulares de un puntero
en el plano de la superficie táctil 60 conocida de manera precisa
de la calibración del ángulo de desfase de la cámara, la orientación
de la superficie táctil 60 como se ve en cada cámara digital 63 se
puede determinar. Esto es necesario debido al hecho de que las
cámaras digitales no solo ven a lo largo del plano de la superficie
táctil 60 sino también en una dirección perpendicular a ésta. En
algún grado, cada cámara digital 63 ve hacia abajo hacia la
superficie táctil 60. La Figura 14 muestra generalmente la forma de
la superficie táctil 60 como se ve por medio de la cámara digital
63. En razón de esto, se desea definir una coordenada z
"vertical" la cual describe la localización de la superficie
táctil como una función de las coordenadas rectangulares
x y y.
x y y.
La coordenada z del puntero se puede medir de
una imagen de la cámara digital, y de esta manera, se puede
determinar las coordenadas z para las posiciones del puntero sobre
la superficie táctil 60. Esta calibración vertical se vuelve un
asunto de ajustar los datos de la coordenada z condonados de las
coordenadas rectangulares x y y. La calibración vertical se puede
describir como una superficie de la forma:
(0.1)z(x,y)
=Ax+By+Cx^{2}+Dy^{2}+Exy+F
Note que si los coeficientes C, D, y E son cero,
éste se vuelve un plano. El ajuste es fácilmente computarizado como
ecuación (0.1) representa un problema lineal de mínimos cuadrados.
La matriz correspondiente toma la forma:
Con el fin de ajustar las coordenadas x y y
rectangulares a la ecuación (0.1) para determinar los coeficientes A
hasta E, el método seudo inverso Moore-Penrose que
esta basado en la descomposición de valor singular (SVD) se utiliza
para determinar la solución de norma mínima de mínimos
cuadrados.
Como se apreciará, una matriz siempre puede ser
descompuesta de la siguiente manera:
(0.2)A=USV^{T}
La matriz A puede tener cualquier forma. Las
matrices U y V son matrices ortogonales, significando que:
U^{T}U=I=V^{T}V
La matriz diagonal S esta compuesta
completamente de los valores singulares de la matriz A, que están
relacionadas con los cuadrados de los valores de la matriz A. La
importancia de la descomposición del valor singular (SVD) descansa
en el hecho de que con éste, el inverso de la matriz A siempre
puede ser computarizado. Más aún, es posible controlar esta
inversión cuando se encuentra un problema pobremente determinado.
Considere el sistema de las ecuaciones lineales:
A\check{x} =
\check{b}
Cuya solución será:
\vec{x} =
A^{-1}\vec{b}
SVD permite que el inverso de la matriz A sea
escrito como:
(0.3)A^{-1} =
VS^{-1}U^{T}
En razón a que ambas matrices U y V son
ortogonales. En una situación pobremente determinada, algunos de los
valores singulares serán muy pequeños, de tal forma que cuando se
forma la matriz S^{-1}, se producirán grandes valores, que no son
deseables. En este caso, los inversos de valores singulares más
pequeños se ajustan a cero. Esto tiene el efecto de eliminar la
parte pobremente determinada de la solución. Para los problemas de
mínimos cuadrados, esta es una herramienta poderosa. El método de
ecuaciones normales usuales para los problemas de mínimos cuadrados
esta basado en resolver:
(0.4)A^{T}A\check{x}=A^{T}\check{b}
\check{x}=(A^{T} A)^{-1} A^{T}
\check{b}
En el caso sobre determinado, y resolver:
(0.5)\check{x}=A^{T}(AA^{T})^{-1}\check{b}
En el caso infra determinado. Como se apreciará,
durante el ajuste del sistema de ecuaciones a ecuación (0.1), se
utiliza el mismo método como se utilizó durante la determinación de
los ángulos de desfase de la cámara \delta. En razón a que se
utiliza el mismo procedimiento, el uso de la memoria y la velocidad
de procesamiento se mantienen en los niveles deseados.
Con los coeficientes A hasta E conocidos, la
coordenada z para cualquier punto dado (x,y) sobre la superficie
táctil se puede calcular y así, se puede hacer una determinación de
si un puntero esta contactando la superficie táctil 60 o paseando
por encima de ésta.
Con el sistema táctil 50 calibrado, durante la
operación cada cámara digital 63 adquiere las imágenes de la
superficie táctil 60 dentro de su campo de visión. Las imágenes son
adquiridas por el montaje de imagen y lentes 80 a intervalos en
respuesta a las señales de reloj recibidas del DSP 84. Cada imagen
adquirida por el montaje de imagen y lentes 80 se envía al buffer
FIFO 82. El DSP 84 a su vez lee cada imagen del buffer FIFO 82 y
procesa la imagen. Para evitar el procesamiento de números
significativos de píxeles que contienen información no útil,
solamente un subconjunto de píxeles en la imagen adquirida, son
procesados como se muestra en la Figura 9.
Durante el procesamiento de una imagen adquirida
por una cámara digital 63 el DSP 84 ejecuta una rutina processFrame
como se muestra en la Figura 6. Cunado esta disponible una imagen
para procesamiento (etapa 120), se hace una revisión para
determinar si la imagen ha sido capturada con el propósito de
ajustar la cámara digital 63 (etapa 122). Si la imagen ha sido
adquirida con el propósito de ajuste de la exposición, una rutina
exposureControl es llamada (etapa 124) para ajustar la exposición
de la cámara digital 63. Luego de esto, el DSP 84 espera recibo de
la siguiente imagen disponible para procesamiento.
En la etapa 122, si la imagen no ha sido
capturada con el propósito de ajustar la exposición de la cámara
digital 63, se hace una revisión para determinar si la imagen ha
sido capturada con el propósito de reemplazar la imagen de
trasfondo (etapa 126). Si la imagen ha sido adquirida con el
propósito de reemplazo de la imagen de trasfondo, es llamada una
rutina captureBackground (etapa 128) y se utiliza la imagen
adquirida como la imagen de trasfondo. Esto se hace si una cámara
digital adquiere una imagen y envía un PIP al controlador maestro
indicando que el puntero esta en la imagen cuando éste es de hecho
ruido. Reemplazando la imagen de trasfondo se inhibe efectivamente
la cámara digital de identificar falsamente un puntero en los
futuros PIP. Luego de esto, el DSP 84 espera recibo de la siguiente
imagen disponible para procesamiento.
En la etapa 126, si la imagen no ha sido
capturada con el propósito del reemplazo de la imagen de trasfondo,
se llama una rutina copylCur por el DSP 84 (etapa 130). Durante esta
rutina, la imagen habitual adquirida se copia en la memoria y es
utilizada para actualizar la imagen de trasfondo así como también
formar una imagen diferente que representa las diferencias entre la
imagen adquirida habitual y la imagen de trasfondo.
Después de completar la rutina copylCur, se
llama una rutina segmentPointer (etapa 132) para determinar si un
puntero esta en la imagen adquirida y si es así determinar la
localización del puntero con relación a la superficie táctil 60 y
si el puntero está en contacto con la superficie táctil 60 o
paseando por encima de ésta. La rutina segmentPointer 132 también
permite cambiar las condiciones de luz a ser detectadas. Siguiendo
la rutina del segmentPointer 132, el DSP 84 llama una rutina fillPIP
(etapa 134) para colocar el puntero y la información de condición
de luz en un PIP para la transmisión al controlador maestro 54.
Posteriormente, el DSP 84 espera recibo de la siguiente imagen
disponible para procesamiento.
La Figura 7 ilustra las etapas desarrolladas por
el DSP 84 durante la ejecución de la rutina segmentPointer 132. Como
se puede ver, cuando el DSP 84 ejecuta la rutina segmentPointer, el
DSP 84 llama una rutina findPointer para determinar si un puntero
esta en la imagen adquirida y si es así, la posición del puntero en
la imagen adquirida habitual (etapa 140). Luego de completar la
rutina findPointer 140, el DSP 84 llama una rutina updateBackground
para actualizar la imagen de trasfondo para manejar de esta manera
los cambios en las condiciones de iluminación (etapa 142).
Durante la ejecución de la rutina
updateBackground, el DSP 84 actualiza continuamente la imagen de
trasfondo utilizando la ecuación:
(0.6)B_{n+1}(i\text{,}j) =
(I-a)B_{n}(i\text{,}j)+aI(i\text{,}j)
En donde:
B_{n+1} es la nueva imagen de trasfondo;
B_{n} es la imagen de trasfondo habitual;
I es la imagen adquirida habitual;
i,j son las coordenadas de hilera y columna de
los píxeles de la imagen de trasfondo que están siendo actualizados;
y
a es un número entre 0 y 1 que indica el grado
de aprendizaje que debe ser tomado de la imagen adquirida habitual.
Entre mayor sea el valor de a, más rápido se actualizará la imagen
de trasfondo.
Después de que se ha ejecutado la rutina 142
updateBackground, la diferencia de intensidad entre la imagen
adquirida habitual y la imagen de trasfondo se calcula mediante el
DSP 84. Esta información se envía al controlador maestro 54 para
posibilitarle al controlador maestro determinar si la cámara digital
63 necesita ser reexpuesta. Esto se requeriría si ocurriera un
cambio drástico en las condiciones de iluminación (es decir, la
iluminación ambiental se encendiera o apagara). Cuando se requiere
la reexposición de la cámara digital 63, el controlador maestro 54
envía un comando PIP a la cámara digital 63 instruyendo a la cámara
digital adquirir una imagen para el ajuste de la exposición.
La Figura 8 ilustra las etapas desarrolladas por
el DSP 84 durante la ejecución de la rutina findPointer 140. Como se
puede ver, cuando el DSP 84 ejecuta la rutina findPointer 140, el
DSP 84 limpia la localización del puntero y los parámetros x y z de
la punta del puntero respectivamente (etapa 150). Posteriormente, un
histograma de intensidad vertical se construye (etapa 152). Durante
esta etapa, la imagen de diferencia que representa las diferencias
entre la imagen habitual y la imagen de trasfondo se forma y las
intensidades de píxel en la imagen de diferencia se suman por
columna. De esta manera un vector 640 x 1 se forma el cual
representa la suma de cada columna en la imagen de diferencia 640 x
20. Así, el primer elemento en el vector 640 x 1 representa la suma
de los 20 píxeles en la primera columna de la imagen de diferencia
640 x 20, el segundo elemento en el vector 640 x 1 representa la
suma de los 20 píxeles en la segunda columna de la imagen de
diferencia 640 x 20 y así sucesivamente. Las especificidades
adicionales de este proceso se pueden encontrar en el artículo
titulado "A smart camera application: DSP-based
people detection and tracking" escrito por V. Cheng et al
y publicado en el SPIE Journal of Electronic Imaging en
julio,
2000.
2000.
Luego de la creación del histograma de
intensidad vertical en la etapa 152, el parámetro de localización
del puntero x se determina al encontrar la columna en el histograma
de intensidad vertical con la intensidad más alta por encima del
umbral de ruido (etapa 154). La columna se utiliza como el centro de
una región de interés (ROI) para ser procesada con el ancho del ROI
siendo igual a la base del pico formado por el histograma de
intensidad vertical (ver Figura 10). Si ninguna columna tiene una
intensidad por encima del umbral de ruido, se asume que el puntero
no esta dentro de la imagen adquirida.
Cuando el parámetro de localización de un
puntero x se determina, el DSP 84 analiza el ROI para determinar la
hilera del píxel donde la punta del puntero esta localizada y
determinar si esa hilera representa un contacto o paseo de
superficie táctil (etapa 156). Específicamente, el DSP 84 crea una
máscara binaria en el ROI de tal forma que los píxeles blancos
representan el puntero y los píxeles negros representan el trasfondo
como se muestra en la Figura 12. De la máscara, la línea media del
puntero y la localización de la punta del puntero z pueden ser
fácilmente calculadas.
Durante la rutina fillPIP 134, el DSP 84 utiliza
la información de la condición del puntero y la luz adquirida
durante la ejecución de la rutina segmentPointer 132 y crea un PIP
para reducir la imagen adquirida a un pequeño conjunto de datos
para suministrar de esta manera economía en el ancho de banda. El
PIP esta en la forma de un paquete de seis (6) palabras, siendo cada
palabra en el paquete de dieciséis (16) bits. El PIP típicamente
toma la forma:
La porción del encabezado el PIP es típicamente
de dieciséis (16) bits e incluye un campo de determinación/fuente,
un campo del tipo de dato, un campo de número de estructura de
imagen, un campo de número de secuencia y un campo de número de
paquete. El campo de destino/fuente identifica el destino PIP y la
fuente PIP. Si el PIP es generado por el controlador maestro 54, el
destino puede ser una cámara digital simple 63 o todas las cámaras
digitales. El tipo de datos indica si el PIP se relaciona con la
información del puntero o con otra información tal como la
información del estado y el diagnóstico. El campo del número del
cuadro de imagen almacena un número de tal forma que las imágenes de
cada cámara digital 63 son procesadas por el controlador maestro 54
en secuencia. El campo del número de secuencia almacena un número
que relaciona el PIP con los otros PIP. El campo de número de
paquete almacena un número que identifica el paquete.
La porción de datos del PIP es típicamente de
sesenta y cuatro (64) bits e incluye un campo ID de puntero, un
campo de parámetro de localización de puntero, un campo de parámetro
de punta de puntero, un campo de estado de contacto y una fineza
del campo del puntero. El campo ID del puntero almacena un
identificador para el puntero para permitirle a los punteros
múltiples ser seguidos. El campo del parámetro de localización del
puntero almacena el valor x calculado mediante el DSP 84. El campo
del parámetro de punta del puntero almacena el valor z calculado
mediante el DSP 84. El campo de estado de contacto almacena un valor
que indica si el puntero esta en contacto, fuera de contacto o
posiblemente en contacto con la superficie táctil 60. La fineza del
campo del puntero almacena un valor estadístico sobre la
probabilidad de que un puntero detectado sea real.
La porción de suma de control del PIP se utiliza
para asegurar la integridad de transmisión del PIP. Si los errores
de la suma de control del PIP no son frecuentes, los PIP que exhiben
errores en la suma de control son ignorados por el dispositivo de
destino.
Los PIP de estado que no se relacionan con la
información del puntero tienen una forma diferente de los PIP
descritos anteriormente identificados. Para los PIP de esta
naturaleza, la porción de datos incluye un campo de tipo de
instrucción, un campo de código de instrucción y un campo de datos.
El campo de tipo de instrucción identifica si el tipo de
instrucción es una instrucción a ser desarrollada o una solicitud de
estado. El campo de código de instrucción almacena la instrucción
actual o el identificador de solicitud de estado. El campo de datos
almacena los datos que varían dependiendo del tipo de instrucción.
Ejemplos de los PIP de estado incluyen los PIP de encabezamiento de
cuadro, los PIP de comando y los PIP del mensaje de error.
Los PIP de encabezamiento de cuadro típicamente
incluyen el número de los PIP de puntero que van a seguir para una
imagen adquirida habitual con estadísticas para la imagen habitual
tal como la varianza de intensidad entre la imagen adquirida
habitual y una imagen previa. Un PIP de comando emitido por el
controlador maestro 54 puede instruirle a una cámara digital
ajustar uno o más de sus configuraciones tal como la exposición a
captura a una imagen a ser utilizada como una imagen de trasfondo
nueva. Un PIP de error puede pasar una condición de error desde una
cámara digital 63 al controlador maestro 54 para almacenamiento en
un registro de error.
Cada cámara digital 63 procesa cada imagen que
ésta adquiere de la manera descrita anteriormente en respuesta a
cada señal de reloj generada por su DSP 84. Los PIP creados por el
DSP 84 son solamente enviados al controlador maestro 54 cuando las
cámaras digitales 63 son encuestadas por el controlador maestro
54.
Cuando el controlador maestro 54 encuesta las
cámaras digitales 63, los pulsos sync de cuadro son enviados a las
cámaras digitales 63 para iniciar la transmisión de los PIP creados
por los DSP 84. Luego de recepción de un pulso sync de cuadro, cada
DSP 84 transmite el PIP al controlador maestro 54 por el bus de
datos. Los PIP transmitidos al controlador maestro 54 son recibidos
por vía de un puerto serial 96 y auto-almacenados
en buffer en el DSP
90.
90.
Después de que el DSP 90 ha encuestado las
cámaras digitales 63 y ha recibido los PIP de cada una de las
cámaras digitales 63 que incluyen la información del puntero, el
DSP 90 procesa los PIP utilizando triangulación para determinar la
localización del puntero con relación a la superficie táctil 60 en
las coordenadas (x,y). Específicamente, los PIP de los pares de
cámaras digitales 63 son procesados usando triangulación.
La Figura 11 muestra que los dos ángulos
\Phi_{cam1} y \Phi_{cam2} son necesarios para triangular la
posición (X_{0}, Y_{0}) de un puntero con relación a la pantalla
táctil 60. Los PIP generados por cada cámara digital 63 incluyen un
número \Phi (ver Figura 12) que identifica la línea media o la
punta del puntero. Cuando el controlador maestro 54 recibe un PIP de
una cámara digital 63, el controlador maestro utiliza el número que
representa la línea media o punta del puntero y el campo de visión
de la cámara digital para calcular el ángulo \Phi_{cam} que
utiliza la ecuación:
Donde:
x es el número que representa la línea media o
la punta del puntero; y
a es la longitud total incluida en el campo de
visión (FOV) de la cámara digital a una distancia desde la
cámara.
El ángulo \Phi_{cam} calculado es igual al
ángulo formado entre la extremidad del campo de visión que se
extiende más allá del borde periférico designado de la superficie
táctil 60 de la cámara digital 63 que genero el PIP y una línea que
se extiende desde el eje óptico de la cámara digital que intersecta
el puntero dentro de la imagen adquirida. Preferiblemente, la
extremidad del campo de visión se extiende más allá del borde
periférico designado (es decir, en este caso el eje x) de la
superficie táctica 60 dentro del campo de visión por una cantidad
conocida. Sin embargo, en casi todos los casos la exploración
\delta_{man} de desfase angular de cada cámara digital 63 es
diferente y desconocida.
Una vez que el controlador maestro 54 calcula el
ángulo \Phi_{man}, el controlador maestro 54 utiliza el ángulo
de desfase de la cámara \delta_{cam} determinado durante la
calibración del desfase de la cámara para ajustar el ángulo
\Phi_{cam}. Con los dos ángulos disponibles y con los ángulos
\Phi_{cam} ajustados, el controlador maestro 54 utiliza los
ángulos \Phi_{cam} para determinar la posición del puntero con
relación a la superficie táctil 60 que utiliza triangulación.
En esta modalidad, en razón a que la pantalla
táctil 52 incluye cuatro cámaras digitales 63, seis pares de cámaras
digitales se pueden utilizar para triangulación. La siguiente
discusión describe como se determina la posición de un puntero por
triangulación para cada par de cámaras digitales 63.
Con el fin de determinar una posición de puntero
utilizando el PIP recibido de la cámara digital 63 junto con el
lado izquierdo de la pantalla táctil 52, se utilizan las siguientes
ecuaciones para determinar las coordenadas (X_{0}, Y_{0}) de la
posición del puntero dados los ángulos \Phi_{0} y \Phi_{1}
para las cámaras digitales superiores e inferiores:
\vskip1.000000\baselineskip
en
donde:
h es la altura de la pantalla táctil 52 es decir
la distancia vertical del punto de foco de cámara
junto-a-foco;
w es el ancho de la pantalla táctil 52 es decir
la distancia horizontal del punto de foco de cámara digital
punto-a-foco; y
\Phi_{i} es el ángulo con respecto al
horizontal, medido utilizando la cámara digital i y la ecuación
(0.7).
Para la cámara 63 junto con el lado derecho de
la pantalla táctil 52, se utilizan las siguientes ecuaciones para
determinar las coordenadas (X_{0}, Y_{0}) de la posición del
puntero dados los ángulos \Phi_{2} y \Phi_{3} para las
cámaras digitales superior e inferior:
La similitud entre las ecuaciones (0.8) y
(0.10), es decir ecuación (0.10)=1 - ecuación (0.8) una vez se han
sustituido los ángulos \Phi_{2} y \Phi_{3} en la ecuación
(0.8) para los ángulos \Phi_{1} y \Phi_{2} respectivamente
debe ser evidente. Las ecuaciones (0.9) y (0.11) se relacionan en
una forma similar.
Con el fin de determinar una posición de puntero
utilizando la cámara digital 63 junto a la parte inferior de la
pantalla táctil 52, se utilizan las siguiente ecuaciones para
determinar las coordenados (X_{0}, Y_{0}) de la posición de
puntero dados los ángulos \Phi_{0} y \Phi_{3} para las
cámaras digitales inferior izquierda e inferior derecha:
\vskip1.000000\baselineskip
Con el fin de determinar una posición de puntero
utilizando las cámaras digitales 63 junto con la parte superior de
la pantalla táctil 52, se utilizan las siguientes ecuaciones para
determinar las coordenada (X_{0}, Y_{0}) de la posición de
puntero dados los ángulos \Phi_{1} y \Phi_{2} para la cámara
digital superior izquierda y superior derecha:
La similitud entre las ecuaciones (0.12) y
(0.14), es decir, la ecuación (0.14) ecuación (0.12) un vez
sustituidos los ángulos \Phi_{1} y \Phi_{2} en la ecuación
(0.12) para los ángulos \Phi_{0} y \Phi_{3} debe ser
evidente. Las ecuaciones (0.13) y (0.15) tienen la siguiente
relación: ecuación (0.15) = 1 - ecuación (0.13) una vez se han
sustituido los ángulos \Phi_{1} y \Phi_{2} en la ecuación
(0.13) para los ángulos \Phi_{0} y \Phi_{3}
respectivamente.
Con el fin de determinar una posición de puntero
utilizando la cámara digital 63 a través de la diagonal de la
esquina inferior izquierda a la superior derecha, se utilizan las
siguientes ecuaciones para determinar las coordenadas (X_{0},
Y_{0}) de la posición de puntero dados los ángulos \Phi_{0} y
\Phi_{2} para las cámaras digitales inferior izquierda y
superior derecha:
\vskip1.000000\baselineskip
Con el fin de determinar una posición de puntero
utilizando cámaras digitales 63 a través de la diagonal inferior
derecha a superior izquierda, se utilizan la siguientes ecuaciones
para determinar las coordenadas (X_{0}, Y_{0}) de la posición
de puntero dados los ángulos \Phi_{1} y \Phi_{3} de la
cámara digital inferior derecha y superior izquierda:
La similitud entre las ecuaciones (0.16) y
(0.18) es decir, la ecuación (0.18) = ecuación (0.16) una vez se
han sustituido los ángulos \Phi_{1} y \Phi_{3} en la
ecuación (0.16) para los ángulos \Phi_{0} y \Phi_{2} debe
ser evidente. Las ecuaciones (0.17) y (0.19) tienen la siguiente
relación: ecuación (0.19) = 1 - ecuación (0.17) una vez se han
sustituido los ángulos \Phi_{1} y \Phi_{3} en la ecuación
(0.17) para los ángulos \Phi_{0} y \Phi_{2}
respectivamente.
Como se apreciará, las anteriores ecuaciones
generan las coordenadas X_{0}, y Y_{0} en una escala de [0.1].
Por lo tanto, cualquier escala de coordenada apropiada se puede
reportar al multiplicar X_{0}, y Y_{0} por los valores X máximo
y Y máximo respectivamente.
En la presente modalidad, el DSP calcula la
posición del puntero utilizando triangulación para cada par de
cámara digital que excluye los pares diagonales. Las posiciones de
puntero resultantes se promedian luego y las coordenadas de
posición de puntero resultantes se ponen en cola para transmisión al
computador personal 56 por vía del puerto serial 98 y el controlador
de línea serial 94.
Con la posición (x, y) de un puntero conocido
por triangulación, utilizando los coeficiente A a E calculados
durante la calibración de detección de superficie, se puede
determinar la coordenadas Z correspondiente a la posición (x, y)
utilizando la ecuación (0.1). Calcular la coordenada z y comparar la
coordenada z con el parámetro z en el PIP suministra una indicación
en cuanto a que si el puntero se pasea sobre la superficie táctil 60
o está en contacto actual con la superficie táctil.
Si se desea, la velocidad del puntero v y el
ángulo se pueden calcular mediante el DSP 90 como se muestra en la
figura 13. La velocidad del puntero se calcula al examinar los
cambios en la posición z (o intersección x) del puntero en PIP
exitosos y conociendo el induce de cuadros de cámara. Por ejemplo,
si el índice de cuadros de cámara es de 200 cuadros por segundo y
los cambios de la posición z por una fila de píxel por cuadro, la
velocidad del puntero es 200 píxeles por segundo.
El ángulo del puntero se puede determinar debido
al hecho de que el PIP incluye la intersección x en filas de píxeles
0 y 19 de la línea media. Ya que la distancia x (la diferencia entre
intersecciones x) y la distancia y (el número de filas de píxeles)
son conocidos, toda la información necesaria para calcular el ángulo
del puntero esta
disponible.
disponible.
Si se desea un filtro Kalman (esencialmente un
método de mínimos cuadrados recursivo) para "rastrear"
efectivamente el puntero cuando este esta dentro de una cierta
distancia de la superficie táctil 60. Para hacer esto, es necesario
definir un sistema de ecuaciones o modelo a ser utilizado en el
filtro. En razón a que el controlador master 54 es capaz de
suministrar la posición z y la velocidad v del puntero, se puede
utilizar la siguiente descripción:
z=z_{o} +
vt
v=v
La segunda de estas ecuaciones se requiere ya
que el filtro tiene que saber que hacer con la velocidad, y también
en razón a que z y v son medibles. Define el estado del vector
con:
[z \
v]^{T}
Para relacionar el estado del sistema en dos
tiempos sucesivos n y n+1, escriba las ecuaciones del sistema como
una ecuación de diferencia de matrices:
\vskip1.000000\baselineskip
\vskip1.000000\baselineskip
O en una matriz de notación,
\hat{x}_{n+1}
= A\hat{x}_{n} +
\sigma
Aquí, dt denota el intervalo de tiempo entre las
etapas de tiempo exitosas. También se introduce aquí en el RHS el
término "ruido de procesos". Esto es únicamente formal, pero
parte del método del filtro Kalman. También es necesario especificar
cuanta medición se introduce dentro del procedimiento. Esto se hace
por vía de la ecuación de matriz:
z_{n} = Hx_{n}
+
w
\newpage
En donde z_{n} es una medición de la posición
y velocidad, h es una "matriz de medición" que se toma para se
una matriz de identidad, x_{n} es el vector de estado y w es el
ruido de medición. Esencialmente, se asume que las mediciones son
casi versiones del vector de estado. También es necesario definir la
matriz de covarianza asociada con w. si el error de medición en z es
0.5 píxeles, entonces la matriz de covarianza es:
Una matriz similar Q se requiere para introducir
el ruido de proceso anterior, pero esto es algo arbitrario, se puede
tratar como un parámetro de sintonización para el filtro. En este
ejemplo, la matriz Q se toma por ser una matriz de identidad
multiplicada por un factor de unidad de orden o menos. Establecido
lo anterior, hay suficiente información para iniciar el proceso de
filtro. La primera etapa es (predicción):
\hat{x}_{k+1}(-) =
A\hat{x}_{k}(+)
P_{k}(-) =
AP_{k-1}(+)A^{T} +
Q_{k-1}
Aquí, la notación (-) implica que una medición
no se ha hecho mientras (+) lo hace (pero en este caso (+) se
refiere a loa etapa previa). También, la ecuación de la matriz para
la matriz p predice una matriz de covarianza. La siguiente etapa es
el cómputo de ganancia del filtro:
K_{k} =
P_{k}(-)H^{T}_{k}[H_{k}P_{k}(-)H^{T}_{k} +
R_{k}]^{-1}
Una vez se hace la medición, se puede actualizar
el estimado de estado y su covarianza:
\hat{x}_{k}(+)
= \hat{x}_{k}(-) + K_{k}[z_{k} -
H_{k}x_{k}(-)]
P_{k}(+) =
[P^{-1}_{k}(-) +
H^{T}_{k}R^{-1}_{k}H_{k}]^{-1}
Este estimado es el estado X que se utiliza para
determinar si o no el contacto con la superficie táctil ha ocurrido.
Note aquí que las matrices H y R son constantes con el tiempo, y que
solo cambian las matrices K y P (de hecho, la aproximación P es una
matriz constante). Ocurre una simplificación adicional en que no hay
involucrado proceso de control.
Los resultados de la simulación Matlab de un
filtro Kalman que utiliza un conjunto de mediciones que representan
una aproximación de puntero la superficie táctil 60 en una velocidad
constante se desarrolla. Las figuras 15 y 16 ilustran la
estimulación, con la etapa de tiempo dt de 0.1 seg y una precisión
de medición de 0.5 píxeles. Los símbolos abiertos representan los
datos, y las líneas el estimado del filtro Kalman. Claramente, el
estimado sigue los datos bastante bien.
Se desarrolla una segunda simulación Matlab para
tomar en cuenta el movimiento vertical (z) y horizontal (x) de un
puntero. Esta simulación es básicamente dos filtros Kalman similares
que operan juntos en una forma "paralela". La formulación es
exactamente la misma, excepto dos veces el número de variables
necesarias a ser consideradas. Las figuras 17a a 17b muestran los
resultados de la simulación y representan el movimiento de un
puntero hacia la superficie táctil 60 en velocidad constante y en
una posición x que varía lentamente (es decir la mano de la persona
no permanece estática).
Aunque el sistema táctil 50 se ha descrito por
incluir un proyector para presentar imágenes en la pantalla táctil,
aquellos expertos en la técnica apreciaran que esta no se requiere.
La pantalla táctil 52 puede ser transparente o traslucida y se
puede colocar sobre una unidad de exhibición de tal forma que la
pantalla presentada en la unidad de exhibición es visible a través
de la pantalla táctil. También, la pantalla táctil no necesita ser
una hoja rectangular de material bordeado por un cuadro. La pantalla
táctil de hecho puede ser de virtualmente cualquier superficie
dentro de campos traslapantes de vistas de dos o más cámaras
digitales.
También, aunque el sistema táctil 50 se describe
por incluir un controlador maestro separado de las cámaras
digitales, si desea una de las cámaras digitales se puede
acondicionar para funcionar como una cámara y un controlador maestro
y sondea las otras cámaras digitales para PIP. En este caso, se
prefiere que la cámara digital funcione como el controlador maestro
que incluye DSP 84 más rápido que las restantes cámaras
digitales.
\newpage
Adicionalmente, aunque la rutina de detección de
superficies se describe cuando se determinan los coeficientes A a E
para se utilizados con la ecuación (0.1) para calcular las
coordenadas z del puntero en un punto dado (x, y) con relación a la
pantalla táctil durante la rutina de detección de superficie, el
controlador maestro 54 se puede programar para calcular una
coordenada z para regiones (x, y) únicas de la superficie táctil y
almacenar las coordenadas z en una tabla de valores (LUT). En este
caso; cuando aparece un puntero en imágenes capturadas por cámaras
digitales y la posición (x, y) del puntero con relación a la
superficie táctil se determina, se puede tomar una decisión si el
puntero está en contacto con la superficie táctil al comparar la
coordenada z en el correspondiente LUT con la región (x, y) en la
que se ubica el puntero, con la fila de píxeles del sensor de imagen
y el conjunto de lentes en el que la punta del puntero se ubica.
Como se describió anteriormente el controlador
maestro 54 calcula o valora las coordenadas, de la superficie táctil
para cada cámara digital y compara las coordenadas z con la
ubicación de la punta del puntero z para determinar si el puntero
está en contacto actual con la superficie táctil. Sin embargo,
aquellos expertos en la técnica apreciaran que DSP 84 en las cámaras
digitales puede incluir software de procesamiento de imágenes para
determinar si el puntero está en contacto actual con la superficie
táctil. Este procesamiento de imagen se puede desarrollar en
conjunto con o en cambio de la determinación de contacto de puntero
de controlador maestro.
Aunque una modalidad preferida de la presente
invención se ha descrito, aquellos expertos en la técnica apreciaran
que varias modificaciones y variaciones se pueden hacer sin
apartarse del alcance de la invención como se define por las
reivindicaciones adjuntas.
Claims (21)
1. Un sistema táctil basado en
cámaras (50) que comprende:
al menos dos cámaras (63, 84) asociadas con una
superficie táctil (60) y que tiene campos traslapantes de vista
(FOV) que abarcan dicha superficie táctil, dicha al menos dos
cámaras adquieren imágenes de dicha superficie táctil de diferentes
ubicaciones y generan datos de imágenes;
medios de procesamiento (54) que triangulan los
datos del puntero para determinar la ubicación de dicho puntero con
relación a dicha superficie táctil;
caracterizado por:
al menos dos cámaras (63, 84) que generan
adicionalmente subconjuntos de píxeles de datos de imagen de dichos
datos de imagen; los medios de procesamiento (84, 54) que reciben
dichos subconjuntos de píxeles de datos de imagen generados por al
menos dos cámaras (63, 84),
los medios de procesamiento (84, 54) procesan
dichos subconjuntos de píxeles para generar los datos de puntero
cuando existe un puntero en dichas imágenes adquiridas.
2. Un sistema táctil de acuerdo con
la reivindicación 1 en donde dicha al menos dos cámaras son cámaras
digitales (63) que tienen campos de vista que miran generalmente el
plano de dicha superficie táctil.
3. Un sistema táctil de acuerdo con
la reivindicación 2 en donde los datos de puntero incluyen una línea
media de puntero x y una publicación de punta de puntero z.
4. El sistema táctil de acuerdo con
la reivindicación 2 o 3 en donde cada cámara digital comprende una
cámara digital CMOS que tiene una disposición de píxeles
seleccionable.
5. Un sistema táctil de acuerdo con
la reivindicación 3 o 4 en donde cada cámara digital incluye un
sensor de imagen CMOS (80) y un procesador de señal digital (84),
dicho procesador de señal digital recibe salidas de imagen de dicho
sensor de imagen y ejecuta una rutina de búsqueda de puntero para
determinar si ha y un puntero en cada imagen adquirida por dicha
cámara digital, y si es así, la línea media x de dicho puntero, el
procesador de señal digital de cada cámara digital suministra datos
de puntero a un procesador de señal digital maestro (54), dicho
procesador de señal digital maestro triangula los datos de puntero
para determinar la ubicación del puntero.
6. Un sistema táctil de acuerdo con
la reivindicación 5 en donde el procesador de señal digital (84) de
cada cámara digital analiza los datos de píxel para ubicar la fila
de píxel del subconjunto de píxel seleccionado en donde la punta
del puntero se ubica para determinar por lo tanto dicha ubicación z
de la punta del puntero.
7. Un sistema táctil de acuerdo con
la reivindicación 3 o 4 en donde los datos de imagen recibidos de
cada cámara digital, dichos medios de procesamiento calculan un
ángulo \Phi_{cam} que utilizan la ecuación:
en
donde:
x es el número que representa la línea media o
punta del puntero, y
a es la longitud total incluida por el campo de
visión (FOV) de la cámara digital en una distancia de la cámara;
dichos medios de procesamiento utilizan los
ángulos calculados para determinar la ubicación relativa del puntero
con dicha superficie táctil.
8. Un sistema táctil de acuerdo con
la reivindicación 7 en donde dichos ángulos calculados se ajustan
para tomar en cuenta el desfase de la cámara digital antes de la
determinación de dicha ubicación de puntero.
9. Un sistema táctil de acuerdo con
la reivindicación 7 u 8 que comprende al menos 3 cámaras digitales,
dichos medios de procesamiento determinan la ubicación del puntero
utilizando triangulación para múltiples pares de cámaras digitales y
promediando las ubicaciones del puntero determinadas.
10. Un sistema táctil de acuerdo con
una cualquiera de las reivindicaciones 1 a 9 en donde dichos medios
de procesamiento ejecutan adicionalmente una rutina de determinación
de superficie táctil para calcular la orientación de la superficie
táctil como se ve mediante cada cámara digital para determinar
cuando esta el puntero en contacto con dicha superficie táctil y
cuando dicho puntero se pasea sobre dicha superficie táctil.
11. Un sistema táctil de acuerdo con
una cualquiera de las reivindicaciones 1 a 4, en donde dicha
superficie táctil es sustancialmente rectangular en donde se
posiciona una cámara adyacente a cada esquina de dicha superficie
táctil.
12. Un sistema táctil de acuerdo con
la reivindicación 1, en donde cada subconjunto de píxeles
seleccionado incluye filas contiguas de píxeles, y en donde los
datos de píxeles adquiridos por dichas filas contiguas de píxeles se
procesa en resolución completa.
13. Un sistema táctil de acuerdo con
la reivindicación 1, 2 o 3, que comprende más de dos cámaras que
tienen campos traslapantes de vista y en donde dichos medios de
procesamiento triangulan datos de puntero a partir de múltiples
pares de cámaras digitales para determinar la ubicación del puntero
con relación a dicha superficie táctil.
14. Un sistema táctil de acuerdo con
la reivindicación 3, en donde dichos medios de procesamiento
incluyen una pluralidad de etapas de procesamiento, dichas etapas de
procesamiento procesan datos de imagen en una forma para preparar
ancho de banda.
15. Un sistema táctil de acuerdo con
la reivindicación 14, en donde una de dichas etapas de procesamiento
incluyen una pluralidad de procesadores de señal digital (84) cada
uno asociada con una respectiva de dichas cámaras dichos
procesadores de señal digital procesan datos de píxeles de dichos
subconjuntos de píxeles seleccionados y generan dichos datos de
puntero.
16. Un sistema táctil de acuerdo con
la reivindicación 15, en donde una segunda de dichas etapas de
procesamiento incluyen un procesador de señal digital maestro (54)
que recibe dichos datos de puntero de dichos procesadores de señal
digital, dicho procesador de señal digital maestro triangula dichos
datos de puntero para determinar dicha ubicación de puntero.
17. Un sistema táctil de acuerdo con
una cualquiera de las reivindicaciones 13 a 16, en donde se proyecta
una imagen sobre dicha superficie táctil, en donde cada una de dicha
cámaras incluye una disposición de píxeles proporcional al número de
píxeles en dicha imagen proyectada, y en donde dichos medios de
procesamiento son capaces de resolver la ubicación de dicho puntero
con relación a dicha superficie táctil con suficiente exactitud con
respecto a los píxeles en dicha imagen proyectada.
18. Un sistema táctil de acuerdo con
una cualquiera de las reivindicaciones 1 a 17 que comprende
adicionalmente un computador (56) acoplado a dichos medios de
procesamiento, dicho computador recibe dicha ubicación de puntero de
dichos medios de procesamiento.
19. Un método para detectar la
posición de un puntero con relación a una superficie táctil
comprende las etapas de:
Adquirir múltiples imágenes traslapantes de un
puntero con relación a dicha superficie táctil mediante al menos dos
cámaras, caracterizado porque genera subconjuntos de píxeles
de dicha imágenes adquiridas por al menos dos cámaras;
Recibir los subconjuntos de píxeles de dichas
imágenes adquiridas y procesar los datos de píxeles de dichos
subconjuntos de píxeles al procesar los medios para detectar la
existencia de dicho puntero allí y para determinar la ubicación de
dicho puntero con relación a dicha superficie táctil utilizando
triangulación.
20. El método de la reivindicación 19,
en donde durante dicha etapa de procesamiento, los datos de píxel se
procesan para determinar cuando dicho puntero está en contacto con
dicha superficie táctil y cuando ducho puntero se pasea sobre dicha
superficie táctil.
21. El método de la reivindicación 20,
en donde durante dicha etapa de procesamiento la existencia de dicho
puntero se determina al calcular las líneas medias del puntero y en
donde la ubicación de dicho puntero se determina al calcular el
punto de intersección de las líneas medias y utilizando
triangulación para determinar las coordenadas de dicho punto de
intersección.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/610,481 US6803906B1 (en) | 2000-07-05 | 2000-07-05 | Passive touch system and method of detecting user input |
| US610481 | 2000-07-05 | ||
| US29461101P | 2001-06-01 | 2001-06-01 | |
| US294611P | 2001-06-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2279823T3 true ES2279823T3 (es) | 2007-09-01 |
Family
ID=26968623
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES06019268T Expired - Lifetime ES2340945T3 (es) | 2000-07-05 | 2001-07-05 | Procedimiento para un sistema tactil basado en camaras. |
| ES10012779T Expired - Lifetime ES2396587T3 (es) | 2000-07-05 | 2001-07-05 | Método y aparato táctil en base a cámara |
| ES01951266T Expired - Lifetime ES2279823T3 (es) | 2000-07-05 | 2001-07-05 | Sistema tactil basado en camaras. |
| ES10012759T Expired - Lifetime ES2435248T3 (es) | 2000-07-05 | 2001-07-05 | Sistema y método táctil basado en cámaras |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES06019268T Expired - Lifetime ES2340945T3 (es) | 2000-07-05 | 2001-07-05 | Procedimiento para un sistema tactil basado en camaras. |
| ES10012779T Expired - Lifetime ES2396587T3 (es) | 2000-07-05 | 2001-07-05 | Método y aparato táctil en base a cámara |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES10012759T Expired - Lifetime ES2435248T3 (es) | 2000-07-05 | 2001-07-05 | Sistema y método táctil basado en cámaras |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US7692625B2 (es) |
| EP (3) | EP1739528B1 (es) |
| JP (1) | JP5042437B2 (es) |
| CN (1) | CN1310126C (es) |
| AT (3) | ATE345525T1 (es) |
| AU (1) | AU2001272250A1 (es) |
| CA (1) | CA2412878C (es) |
| DE (3) | DE60124549T2 (es) |
| ES (4) | ES2340945T3 (es) |
| WO (1) | WO2002003316A1 (es) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8055022B2 (en) | 2000-07-05 | 2011-11-08 | Smart Technologies Ulc | Passive touch system and method of detecting user input |
| US8089462B2 (en) | 2004-01-02 | 2012-01-03 | Smart Technologies Ulc | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
| US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
| US8115753B2 (en) | 2007-04-11 | 2012-02-14 | Next Holdings Limited | Touch screen system with hover and click input methods |
| US8120596B2 (en) | 2004-05-21 | 2012-02-21 | Smart Technologies Ulc | Tiled touch system |
| US8149221B2 (en) | 2004-05-07 | 2012-04-03 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US8228304B2 (en) | 2002-11-15 | 2012-07-24 | Smart Technologies Ulc | Size/scale orientation determination of a pointer in a camera-based touch system |
| US8274496B2 (en) | 2004-04-29 | 2012-09-25 | Smart Technologies Ulc | Dual mode touch systems |
| US8289299B2 (en) | 2003-02-14 | 2012-10-16 | Next Holdings Limited | Touch screen signal processing |
| US8325134B2 (en) | 2003-09-16 | 2012-12-04 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US8339378B2 (en) | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
| US8384693B2 (en) | 2007-08-30 | 2013-02-26 | Next Holdings Limited | Low profile touch panel systems |
| US8405637B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly with convex imaging window |
| US8432377B2 (en) | 2007-08-30 | 2013-04-30 | Next Holdings Limited | Optical touchscreen with improved illumination |
| US8456451B2 (en) | 2003-03-11 | 2013-06-04 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US8456418B2 (en) | 2003-10-09 | 2013-06-04 | Smart Technologies Ulc | Apparatus for determining the location of a pointer within a region of interest |
| US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
| US8902193B2 (en) | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| US9442607B2 (en) | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
Families Citing this family (167)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6261095A (ja) * | 1985-09-11 | 1987-03-17 | カシオ計算機株式会社 | 波形エディット装置 |
| JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| JP2001184161A (ja) | 1999-12-27 | 2001-07-06 | Ricoh Co Ltd | 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体 |
| ES2340945T3 (es) | 2000-07-05 | 2010-06-11 | Smart Technologies Ulc | Procedimiento para un sistema tactil basado en camaras. |
| US6919880B2 (en) | 2001-06-01 | 2005-07-19 | Smart Technologies Inc. | Calibrating camera offsets to facilitate object position determination using triangulation |
| US7499033B2 (en) | 2002-06-07 | 2009-03-03 | Smart Technologies Ulc | System and method for injecting ink into an application |
| US7283126B2 (en) | 2002-06-12 | 2007-10-16 | Smart Technologies Inc. | System and method for providing gesture suggestions to enhance interpretation of user input |
| US20040001144A1 (en) | 2002-06-27 | 2004-01-01 | Mccharles Randy | Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects |
| US7256772B2 (en) * | 2003-04-08 | 2007-08-14 | Smart Technologies, Inc. | Auto-aligning touch system and method |
| US8330726B2 (en) * | 2003-05-19 | 2012-12-11 | Xiroku, Inc. | Position detection apparatus using area image sensor |
| US20050030293A1 (en) * | 2003-08-05 | 2005-02-10 | Lai Chih Chang | Method for predicting and estimating coordinates of a touch panel |
| US7232986B2 (en) * | 2004-02-17 | 2007-06-19 | Smart Technologies Inc. | Apparatus for detecting a pointer within a region of interest |
| US7492357B2 (en) * | 2004-05-05 | 2009-02-17 | Smart Technologies Ulc | Apparatus and method for detecting a pointer relative to a touch surface |
| US7372456B2 (en) | 2004-07-07 | 2008-05-13 | Smart Technologies Inc. | Method and apparatus for calibrating an interactive touch system |
| US7711681B2 (en) * | 2004-11-05 | 2010-05-04 | Accenture Global Services Gmbh | System for distributed information presentation and interaction |
| US8473869B2 (en) * | 2004-11-16 | 2013-06-25 | Koninklijke Philips Electronics N.V. | Touchless manipulation of images for regional enhancement |
| US7847789B2 (en) * | 2004-11-23 | 2010-12-07 | Microsoft Corporation | Reducing accidental touch-sensitive device activation |
| EP1897010A1 (en) | 2005-06-30 | 2008-03-12 | Nokia Corporation | Camera control means to allow operating of a destined location of the information surface of a presentation and information system |
| US20070064004A1 (en) * | 2005-09-21 | 2007-03-22 | Hewlett-Packard Development Company, L.P. | Moving a graphic element |
| US8018579B1 (en) | 2005-10-21 | 2011-09-13 | Apple Inc. | Three-dimensional imaging and display system |
| US8209620B2 (en) | 2006-01-31 | 2012-06-26 | Accenture Global Services Limited | System for storage and navigation of application states and interactions |
| CA2628512C (en) * | 2005-11-18 | 2013-10-08 | Accenture Global Services Gmbh | Multiple target detection and application state navigation system |
| US7599520B2 (en) * | 2005-11-18 | 2009-10-06 | Accenture Global Services Gmbh | Detection of multiple targets on a plane of interest |
| US20070165007A1 (en) * | 2006-01-13 | 2007-07-19 | Gerald Morrison | Interactive input system |
| EP1821184A3 (en) * | 2006-02-08 | 2007-11-14 | Almeva AG | System and method for interacting with a display through a shop window |
| US20070205994A1 (en) * | 2006-03-02 | 2007-09-06 | Taco Van Ieperen | Touch system and method for interacting with the same |
| KR101127517B1 (ko) * | 2006-06-15 | 2012-03-23 | (주)나노티에스 | 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린장치 |
| JP5028552B2 (ja) | 2006-06-19 | 2012-09-19 | 株式会社Ｎｃ３ | 電磁誘導を用いて物体を検出する物体検出装置 |
| JP4786716B2 (ja) | 2006-10-24 | 2011-10-05 | ニューコムテクノ株式会社 | 導電体片を具備する操作具 |
| DE102007021537B4 (de) | 2006-12-13 | 2020-01-02 | Lg Display Co., Ltd. | Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion |
| KR101346865B1 (ko) * | 2006-12-15 | 2014-01-02 | 엘지디스플레이 주식회사 | 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 |
| US8139045B2 (en) * | 2006-12-15 | 2012-03-20 | Lg Display Co., Ltd. | Display device having multi-touch recognizing function and driving method thereof |
| KR101330471B1 (ko) | 2006-12-15 | 2013-11-20 | 엘지디스플레이 주식회사 | 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 |
| KR100915627B1 (ko) * | 2007-03-29 | 2009-09-04 | 주식회사 토비스 | 광학센서유닛에 의한 응답구조를 갖는 터치패널 구동방법 |
| US20090140992A1 (en) * | 2007-06-16 | 2009-06-04 | Sunrise Telecom Incorporated | Display system |
| CA2707993C (en) | 2007-12-05 | 2015-06-23 | Almeva Ag | Interaction arrangement for interaction between a display screen and a pointer object |
| US7781722B2 (en) * | 2008-02-07 | 2010-08-24 | Lumio Inc | Optical touch screen assembly |
| US20090278795A1 (en) * | 2008-05-09 | 2009-11-12 | Smart Technologies Ulc | Interactive Input System And Illumination Assembly Therefor |
| US8887063B2 (en) * | 2008-05-21 | 2014-11-11 | Smart Technologies Ulc | Desktop sharing method and system |
| BRPI0913372A2 (pt) * | 2008-06-05 | 2015-11-24 | Smart Technologies Ulc | ambiguidade de ponteiro múltiplo e resolução de oclusão. |
| US8131502B2 (en) * | 2008-10-10 | 2012-03-06 | Pixart Imaging Inc. | Sensing system and method for obtaining location of pointer thereof |
| US8135561B2 (en) * | 2008-10-10 | 2012-03-13 | Pixart Imaging Inc. | Sensing system |
| TWI471823B (zh) * | 2008-07-31 | 2015-02-01 | 原相科技股份有限公司 | 以移動向量在微小點陣圖上決定座標的方法 |
| US9063615B2 (en) * | 2008-08-07 | 2015-06-23 | Rapt Ip Limited | Detecting multitouch events in an optical touch-sensitive device using line images |
| US9092092B2 (en) * | 2008-08-07 | 2015-07-28 | Rapt Ip Limited | Detecting multitouch events in an optical touch-sensitive device using touch event templates |
| US8232511B2 (en) * | 2008-10-10 | 2012-07-31 | Pixart Imaging Inc. | Sensing system adapted to sense a pointer and calculate a location of the pointer |
| US8305363B2 (en) * | 2008-10-10 | 2012-11-06 | Pixart Imaging | Sensing system and locating method thereof |
| TW201019191A (en) * | 2008-11-07 | 2010-05-16 | Pixart Imaging Inc | Touch system and method for obtaining position of pointer thereof |
| CN101840281B (zh) * | 2009-03-20 | 2012-12-05 | 原相科技股份有限公司 | 感测系统及其取得指示物的位置的方法 |
| US8884925B2 (en) * | 2009-04-05 | 2014-11-11 | Radion Engineering Co. Ltd. | Display system and method utilizing optical sensors |
| EP2287713A3 (en) * | 2009-06-17 | 2012-06-27 | SMART Technologies ULC | Interactive input system and method |
| US8860693B2 (en) * | 2009-07-08 | 2014-10-14 | Apple Inc. | Image processing for camera based motion tracking |
| KR101552988B1 (ko) * | 2009-07-10 | 2015-09-14 | 엘지디스플레이 주식회사 | 액정 표시장치의 구동장치와 그 구동방법 |
| US8692768B2 (en) | 2009-07-10 | 2014-04-08 | Smart Technologies Ulc | Interactive input system |
| TWI420357B (zh) * | 2009-08-28 | 2013-12-21 | Pixart Imaging Inc | 觸控系統及其指示物座標偵測方法 |
| US7932899B2 (en) * | 2009-09-01 | 2011-04-26 | Next Holdings Limited | Determining the location of touch points in a position detection system |
| CN102033657B (zh) * | 2009-09-24 | 2014-04-16 | 原相科技股份有限公司 | 触控系统及其指示物高度侦测方法和指示物坐标侦测方法 |
| US8547327B2 (en) * | 2009-10-07 | 2013-10-01 | Qualcomm Incorporated | Proximity object tracker |
| US20110095989A1 (en) * | 2009-10-23 | 2011-04-28 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| US20110095977A1 (en) * | 2009-10-23 | 2011-04-28 | Smart Technologies Ulc | Interactive input system incorporating multi-angle reflecting structure |
| US9213414B1 (en) * | 2009-11-13 | 2015-12-15 | Ezero Technologies Llc | Keyboard with integrated touch control |
| US9183601B2 (en) | 2010-03-22 | 2015-11-10 | Ai Cure Technologies Llc | Method and apparatus for collection of protocol adherence data |
| US9293060B2 (en) | 2010-05-06 | 2016-03-22 | Ai Cure Technologies Llc | Apparatus and method for recognition of patient activities when obtaining protocol adherence data |
| US10762172B2 (en) | 2010-10-05 | 2020-09-01 | Ai Cure Technologies Llc | Apparatus and method for object confirmation and tracking |
| US8605165B2 (en) | 2010-10-06 | 2013-12-10 | Ai Cure Technologies Llc | Apparatus and method for assisting monitoring of medication adherence |
| US8666781B2 (en) * | 2009-12-23 | 2014-03-04 | Ai Cure Technologies, LLC | Method and apparatus for management of clinical trials |
| US20110119073A1 (en) | 2009-11-18 | 2011-05-19 | Al Cure Technologies LLC | Method and Apparatus for Verification of Medication Administration Adherence |
| US20110153360A1 (en) | 2009-12-23 | 2011-06-23 | Al Cure Technologies LLC | Method and Apparatus for Verification of Clinical Trial Adherence |
| US9256776B2 (en) | 2009-11-18 | 2016-02-09 | AI Cure Technologies, Inc. | Method and apparatus for identification |
| US20110128218A1 (en) * | 2009-12-01 | 2011-06-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| CN102096526B (zh) * | 2009-12-15 | 2015-11-25 | 乐金显示有限公司 | 光学传感单元、显示模块和使用光学传感单元的显示装置 |
| JP2011175543A (ja) * | 2010-02-25 | 2011-09-08 | Sanyo Electric Co Ltd | 指示体検出装置及びタッチパネル |
| CN102236477B (zh) * | 2010-04-21 | 2013-05-08 | 广达电脑股份有限公司 | 背景影像更新方法及触控屏幕 |
| US8338725B2 (en) * | 2010-04-29 | 2012-12-25 | Au Optronics Corporation | Camera based touch system |
| US9883786B2 (en) | 2010-05-06 | 2018-02-06 | Aic Innovations Group, Inc. | Method and apparatus for recognition of inhaler actuation |
| US10116903B2 (en) | 2010-05-06 | 2018-10-30 | Aic Innovations Group, Inc. | Apparatus and method for recognition of suspicious activities |
| US9875666B2 (en) | 2010-05-06 | 2018-01-23 | Aic Innovations Group, Inc. | Apparatus and method for recognition of patient activities |
| CN102346599B (zh) * | 2010-08-04 | 2015-06-03 | 北京汇冠新技术股份有限公司 | 触摸定位方法和触摸屏 |
| WO2012022018A1 (zh) | 2010-08-20 | 2012-02-23 | Chen Guozen | 激光光学触控模块及其模拟数字转换系统与方法 |
| TWI494824B (zh) * | 2010-08-24 | 2015-08-01 | Quanta Comp Inc | 光學觸控系統及方法 |
| CN102402340B (zh) * | 2010-09-08 | 2014-07-09 | 北京汇冠新技术股份有限公司 | 触摸定位方法、触摸屏、触摸系统和显示器 |
| EP2447811B1 (en) * | 2010-11-02 | 2019-12-18 | LG Display Co., Ltd. | Infrared sensor module, touch sensing method thereof, and auto calibration method applied to the same |
| GB2487043B (en) * | 2010-12-14 | 2013-08-14 | Epson Norway Res And Dev As | Camera-based multi-touch interaction and illumination system and method |
| US9019239B2 (en) * | 2010-11-29 | 2015-04-28 | Northrop Grumman Systems Corporation | Creative design systems and methods |
| US9665767B2 (en) | 2011-02-28 | 2017-05-30 | Aic Innovations Group, Inc. | Method and apparatus for pattern tracking |
| US9116553B2 (en) | 2011-02-28 | 2015-08-25 | AI Cure Technologies, Inc. | Method and apparatus for confirmation of object positioning |
| US8963883B2 (en) | 2011-03-17 | 2015-02-24 | Symbol Technologies, Inc. | Touchless interactive display system |
| US9262011B2 (en) | 2011-03-30 | 2016-02-16 | Smart Technologies Ulc | Interactive input system and method |
| KR101865638B1 (ko) * | 2011-04-13 | 2018-06-08 | 구글 엘엘씨 | 터치-감지 입력 디바이스에서 클릭의 명확화 |
| CN102294119A (zh) * | 2011-08-02 | 2011-12-28 | 广州市迪拓信息科技有限公司 | 一种触控设备感应控制方法及系统 |
| EP3675481B1 (en) | 2011-08-16 | 2024-11-20 | Imax Corporation | Hybrid image decomposition and projection |
| US10558845B2 (en) | 2011-08-21 | 2020-02-11 | Aic Innovations Group, Inc. | Apparatus and method for determination of medication location |
| CN102306053B (zh) * | 2011-08-29 | 2014-09-10 | Tcl集团股份有限公司 | 一种基于虚拟触摸屏的人机交互方法、装置及电子设备 |
| CN102323866B (zh) * | 2011-09-01 | 2013-08-21 | 广东威创视讯科技股份有限公司 | 一种摄像式触摸控制方法及其装置 |
| CN109889813B (zh) | 2011-10-20 | 2021-02-23 | 图象公司 | 用于图像投影的失真补偿 |
| WO2013057714A1 (en) | 2011-10-20 | 2013-04-25 | Imax Corporation | Invisible or low perceptibility of image alignment in dual projection systems |
| US8896688B2 (en) | 2011-11-04 | 2014-11-25 | Hewlett-Packard Development Company, L.P. | Determining position in a projection capture system |
| US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US12260023B2 (en) | 2012-01-17 | 2025-03-25 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| CN102609153A (zh) * | 2012-01-29 | 2012-07-25 | 胡世曦 | 一种计算物体与工作平面的接触位置的装置 |
| JP6057407B2 (ja) * | 2012-02-22 | 2017-01-11 | 学校法人東京電機大学 | タッチ位置入力装置及びタッチ位置入力方法 |
| TWI470510B (zh) * | 2012-04-19 | 2015-01-21 | Wistron Corp | 光學觸控裝置及觸控感測方法 |
| TWI475446B (zh) * | 2012-04-24 | 2015-03-01 | Wistron Corp | 光學式觸控系統及其擷取訊號調整之方法 |
| CN103488348B (zh) * | 2012-06-11 | 2016-09-07 | 东友科技股份有限公司 | 影像感测器群组的定位方法 |
| CN102789340B (zh) * | 2012-06-27 | 2015-12-16 | 深圳市巨龙科教高技术股份有限公司 | 一种电子白板的白板坐标获取方法、装置及电子白板 |
| CN102778979A (zh) * | 2012-06-28 | 2012-11-14 | 广州视睿电子科技有限公司 | 光学触摸方法及其装置 |
| DE102012217638A1 (de) | 2012-09-27 | 2014-03-27 | Robert Bosch Gmbh | Interaktive Tafel und Haussteuerungssystem |
| US10234941B2 (en) | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
| TWI495949B (zh) * | 2012-10-24 | 2015-08-11 | Pixart Imaging Inc | 光學觸控系統之曝光機制及使用該機制之光學觸控系統 |
| TWI462033B (zh) * | 2012-11-02 | 2014-11-21 | Wistron Corp | 觸控系統及觸控系統的繪圖方法 |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US9626015B2 (en) | 2013-01-08 | 2017-04-18 | Leap Motion, Inc. | Power consumption in motion-capture systems with audio and optical signals |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| US9696867B2 (en) | 2013-01-15 | 2017-07-04 | Leap Motion, Inc. | Dynamic user interactions for display control and identifying dominant gestures |
| JP2014140942A (ja) * | 2013-01-25 | 2014-08-07 | Seiko Epson Corp | ロボット制御システム、ロボット、ロボット制御方法及びプログラム |
| WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
| US9399111B1 (en) | 2013-03-15 | 2016-07-26 | Aic Innovations Group, Inc. | Method and apparatus for emotional behavior therapy |
| US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
| US9317916B1 (en) | 2013-04-12 | 2016-04-19 | Aic Innovations Group, Inc. | Apparatus and method for recognition of medication administration indicator |
| US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| US9436851B1 (en) | 2013-05-07 | 2016-09-06 | Aic Innovations Group, Inc. | Geometric encrypted coded image |
| US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
| US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| JP6202942B2 (ja) * | 2013-08-26 | 2017-09-27 | キヤノン株式会社 | 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体 |
| US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
| CN104423720B (zh) * | 2013-09-02 | 2018-01-05 | 颜涌 | 一种基于摄像头的电脑输入设备和方法 |
| CN104423560B (zh) * | 2013-09-09 | 2018-11-13 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| US9824297B1 (en) | 2013-10-02 | 2017-11-21 | Aic Innovations Group, Inc. | Method and apparatus for medication identification |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US9478124B2 (en) | 2013-10-21 | 2016-10-25 | I-Interactive Llc | Remote control with enhanced touch surface input |
| US9625992B2 (en) | 2013-10-21 | 2017-04-18 | I-Interactive Llc | Remote control with dual activated touch sensor input |
| US10168873B1 (en) | 2013-10-29 | 2019-01-01 | Leap Motion, Inc. | Virtual interactions for machine control |
| US9996797B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Interactions with virtual objects for machine control |
| US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| CN103530061B (zh) * | 2013-10-31 | 2017-01-18 | 京东方科技集团股份有限公司 | 显示装置及控制方法 |
| CN104679353B (zh) * | 2013-11-29 | 2017-08-25 | 纬创资通股份有限公司 | 光学触控装置及触控点坐标的计算方法 |
| US9317150B2 (en) * | 2013-12-28 | 2016-04-19 | Intel Corporation | Virtual and configurable touchscreens |
| TWI528226B (zh) * | 2014-01-15 | 2016-04-01 | 緯創資通股份有限公司 | 影像式觸控裝置及其控制方法 |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| GB2522248A (en) * | 2014-01-20 | 2015-07-22 | Promethean Ltd | Interactive system |
| US9679197B1 (en) | 2014-03-13 | 2017-06-13 | Leap Motion, Inc. | Biometric aware object detection and tracking |
| LU92408B1 (en) * | 2014-03-21 | 2015-09-22 | Olivier Raulot | User gesture recognition |
| CN103973975B (zh) * | 2014-04-10 | 2017-11-07 | 北京智谷睿拓技术服务有限公司 | 交互方法、装置及用户设备 |
| TWI578295B (zh) * | 2014-04-21 | 2017-04-11 | 緯創資通股份有限公司 | 顯示器及其亮度調整方法 |
| US9785247B1 (en) | 2014-05-14 | 2017-10-10 | Leap Motion, Inc. | Systems and methods of tracking moving hands and recognizing gestural interactions |
| US9741169B1 (en) | 2014-05-20 | 2017-08-22 | Leap Motion, Inc. | Wearable augmented reality devices with object detection and tracking |
| US9679113B2 (en) | 2014-06-11 | 2017-06-13 | Aic Innovations Group, Inc. | Medication adherence monitoring system and method |
| US10431145B2 (en) * | 2014-07-30 | 2019-10-01 | Hewlett-Packard Development Company, L.P. | Transparent whiteboard display |
| CN204480228U (zh) | 2014-08-08 | 2015-07-15 | 厉动公司 | 运动感测和成像设备 |
| JP6464624B2 (ja) * | 2014-09-12 | 2019-02-06 | 株式会社リコー | 画像処理システム、画像処理装置、方法およびプログラム |
| US10656720B1 (en) | 2015-01-16 | 2020-05-19 | Ultrahaptics IP Two Limited | Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments |
| US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
| US10429923B1 (en) | 2015-02-13 | 2019-10-01 | Ultrahaptics IP Two Limited | Interaction engine for creating a realistic experience in virtual reality/augmented reality environments |
| JP6665415B2 (ja) * | 2015-03-30 | 2020-03-13 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
| US10289239B2 (en) | 2015-07-09 | 2019-05-14 | Microsoft Technology Licensing, Llc | Application programming interface for multi-touch input detection |
| WO2019060367A1 (en) | 2017-09-19 | 2019-03-28 | Adam Hanina | APPARATUS AND METHOD FOR RECOGNIZING SUSPECT ACTIVITIES |
| EP3743179B1 (en) | 2018-01-25 | 2023-08-09 | Neonode Inc. | Spherical coordinate sensor for vehicle occupant monitoring |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| KR102469722B1 (ko) | 2018-09-21 | 2022-11-22 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US11281337B1 (en) | 2019-09-24 | 2022-03-22 | Apple Inc. | Mirror accessory for camera based touch detection |
Family Cites Families (132)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4144449A (en) | 1977-07-08 | 1979-03-13 | Sperry Rand Corporation | Position detection apparatus |
| CA1109539A (en) | 1978-04-05 | 1981-09-22 | Her Majesty The Queen, In Right Of Canada, As Represented By The Ministe R Of Communications | Touch sensitive computer input device |
| US4558313A (en) | 1981-12-31 | 1985-12-10 | International Business Machines Corporation | Indicator to data processing interface |
| US4507557A (en) | 1983-04-01 | 1985-03-26 | Siemens Corporate Research & Support, Inc. | Non-contact X,Y digitizer using two dynamic ram imagers |
| JPS61262917A (ja) | 1985-05-17 | 1986-11-20 | Alps Electric Co Ltd | 光電式タツチパネルのフイルタ− |
| DE3616490A1 (de) | 1985-05-17 | 1986-11-27 | Alps Electric Co Ltd | Optische koordinaten-eingabe-vorrichtung |
| US4822145A (en) | 1986-05-14 | 1989-04-18 | Massachusetts Institute Of Technology | Method and apparatus utilizing waveguide and polarized light for display of dynamic images |
| JPS6375918A (ja) | 1986-09-19 | 1988-04-06 | Alps Electric Co Ltd | 座標入力装置 |
| US4782328A (en) | 1986-10-02 | 1988-11-01 | Product Development Services, Incorporated | Ambient-light-responsive touch screen data input method and system |
| US4746770A (en) * | 1987-02-17 | 1988-05-24 | Sensor Frame Incorporated | Method and apparatus for isolating and manipulating graphic objects on computer video monitor |
| US4907156A (en) * | 1987-06-30 | 1990-03-06 | University Of Chicago | Method and system for enhancement and detection of abnormal anatomic regions in a digital image |
| JPH01320521A (ja) | 1988-06-22 | 1989-12-26 | Wacom Co Ltd | 電子黒板装置及びその筆記具等 |
| US5109435A (en) | 1988-08-08 | 1992-04-28 | Hughes Aircraft Company | Segmentation method for use against moving objects |
| US5130794A (en) | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
| US5097516A (en) | 1991-02-28 | 1992-03-17 | At&T Bell Laboratories | Technique for illuminating a surface with a gradient intensity line of light to achieve enhanced two-dimensional imaging |
| CA2058219C (en) | 1991-10-21 | 2002-04-02 | Smart Technologies Inc. | Interactive display system |
| GB9201949D0 (en) | 1992-01-30 | 1992-03-18 | Jenkin Michael | Large-scale,touch-sensitive video display |
| US5483261A (en) | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
| US5880411A (en) | 1992-06-08 | 1999-03-09 | Synaptics, Incorporated | Object position detector with edge motion feature and gesture recognition |
| US5724743A (en) | 1992-09-04 | 1998-03-10 | Snap-On Technologies, Inc. | Method and apparatus for determining the alignment of motor vehicle wheels |
| JP3244798B2 (ja) | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
| US5982352A (en) | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
| EP0594146B1 (en) | 1992-10-22 | 2002-01-09 | Advanced Interconnection Technology, Inc. | System for automatic optical inspection of wire scribed circuit boards |
| US5317140A (en) * | 1992-11-24 | 1994-05-31 | Dunthorn David I | Diffusion-assisted position location particularly for visual pen detection |
| US5502568A (en) | 1993-03-23 | 1996-03-26 | Wacom Co., Ltd. | Optical position detecting unit, optical coordinate input unit and optical position detecting method employing a pattern having a sequence of 1's and 0's |
| US5359155A (en) | 1993-03-25 | 1994-10-25 | Tiger Scientific Corp. | Illumination apparatus for a digitizer tablet |
| US5729704A (en) | 1993-07-21 | 1998-03-17 | Xerox Corporation | User-directed method for operating on an object-based model data structure through a second contextual image |
| JPH07230352A (ja) * | 1993-09-16 | 1995-08-29 | Hitachi Ltd | タッチ位置検出装置及びタッチ指示処理装置 |
| US5484966A (en) | 1993-12-07 | 1996-01-16 | At&T Corp. | Sensing stylus position using single 1-D image sensor |
| GB2286100A (en) | 1994-01-19 | 1995-08-02 | Ibm | Touch-sensitive display apparatus |
| US5577733A (en) | 1994-04-08 | 1996-11-26 | Downing; Dennis L. | Targeting system |
| US5771039A (en) | 1994-06-06 | 1998-06-23 | Ditzik; Richard J. | Direct view display device integration techniques |
| US5528263A (en) | 1994-06-15 | 1996-06-18 | Daniel M. Platzker | Interactive projected video image display system |
| US5737740A (en) | 1994-06-27 | 1998-04-07 | Numonics | Apparatus and method for processing electronic documents |
| US5638092A (en) | 1994-12-20 | 1997-06-10 | Eng; Tommy K. | Cursor control system |
| JPH08179888A (ja) | 1994-12-21 | 1996-07-12 | Hitachi Ltd | 大画面ディスプレイ用入力装置 |
| US5554828A (en) | 1995-01-03 | 1996-09-10 | Texas Instruments Inc. | Integration of pen-based capability into a field emission device system |
| US5736686A (en) | 1995-03-01 | 1998-04-07 | Gtco Corporation | Illumination apparatus for a digitizer tablet with improved light panel |
| US6191773B1 (en) | 1995-04-28 | 2001-02-20 | Matsushita Electric Industrial Co., Ltd. | Interface apparatus |
| JP3436828B2 (ja) | 1995-05-08 | 2003-08-18 | 株式会社リコー | 画像処理装置 |
| US5786810A (en) | 1995-06-07 | 1998-07-28 | Compaq Computer Corporation | Method of determining an object's position and associated apparatus |
| JPH09106320A (ja) | 1995-08-24 | 1997-04-22 | Symbios Logic Inc | 図形入力装置および図形入力方法 |
| US5818424A (en) | 1995-10-19 | 1998-10-06 | International Business Machines Corporation | Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space |
| US5825352A (en) | 1996-01-04 | 1998-10-20 | Logitech, Inc. | Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad |
| JPH09190284A (ja) | 1996-01-11 | 1997-07-22 | Canon Inc | 情報処理装置およびその方法 |
| TW394879B (en) | 1996-02-09 | 2000-06-21 | Sega Enterprises Kk | Graphics processing system and its data input device |
| US5991456A (en) * | 1996-05-29 | 1999-11-23 | Science And Technology Corporation | Method of improving a digital image |
| US6002808A (en) | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
| US5745116A (en) | 1996-09-09 | 1998-04-28 | Motorola, Inc. | Intuitive gesture-based graphical user interface |
| US5936615A (en) * | 1996-09-12 | 1999-08-10 | Digital Equipment Corporation | Image-based touchscreen |
| US5819201A (en) | 1996-09-13 | 1998-10-06 | Magellan Dis, Inc. | Navigation system with vehicle service information |
| JPH10124689A (ja) | 1996-10-15 | 1998-05-15 | Nikon Corp | 画像記録再生装置 |
| JP3625349B2 (ja) * | 1997-02-12 | 2005-03-02 | 株式会社東芝 | 画像入力装置および画像入力方法 |
| US5953469A (en) | 1996-10-29 | 1999-09-14 | Xeotron Corporation | Optical device utilizing optical waveguides and mechanical light-switches |
| US6061177A (en) | 1996-12-19 | 2000-05-09 | Fujimoto; Kenneth Noboru | Integrated computer display and graphical input apparatus and method |
| US6252989B1 (en) | 1997-01-07 | 2001-06-26 | Board Of The Regents, The University Of Texas System | Foveated image coding system and method for image bandwidth reduction |
| JP3624070B2 (ja) | 1997-03-07 | 2005-02-23 | キヤノン株式会社 | 座標入力装置及びその制御方法 |
| US5914709A (en) | 1997-03-14 | 1999-06-22 | Poa Sana, Llc | User input device for a computer system |
| US6153836A (en) | 1997-04-02 | 2000-11-28 | Goszyk; Kurt A. | Adjustable area coordinate position data-capture system |
| JP3876942B2 (ja) | 1997-06-13 | 2007-02-07 | 株式会社ワコム | 光デジタイザ |
| US6161066A (en) * | 1997-08-18 | 2000-12-12 | The Texas A&M University System | Advanced law enforcement and response technology |
| US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| US20020036617A1 (en) | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
| US6243074B1 (en) | 1997-08-29 | 2001-06-05 | Xerox Corporation | Handedness detection for a physical manipulatory grammar |
| US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| CA2308213A1 (en) | 1997-10-22 | 1999-04-29 | James T. Sears | Voice-output reading system with gesture-based navigation |
| JP3794180B2 (ja) | 1997-11-11 | 2006-07-05 | セイコーエプソン株式会社 | 座標入力システム及び座標入力装置 |
| TW449709B (en) | 1997-11-17 | 2001-08-11 | Hewlett Packard Co | A method for distinguishing a contact input |
| US6310610B1 (en) | 1997-12-04 | 2001-10-30 | Nortel Networks Limited | Intelligent touch display |
| EP1058924B1 (en) | 1998-01-26 | 2012-06-13 | Apple Inc. | Method and apparatus for integrating manual input |
| AU2439399A (en) | 1998-02-09 | 1999-08-23 | Haim Azaria | Video camera computer touch screen system |
| JP2000105671A (ja) | 1998-05-11 | 2000-04-11 | Ricoh Co Ltd | 座標入力／検出装置および電子黒板システム |
| JP4033582B2 (ja) | 1998-06-09 | 2008-01-16 | 株式会社リコー | 座標入力／検出装置および電子黒板システム |
| US6064354A (en) | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
| JP2000089913A (ja) | 1998-09-08 | 2000-03-31 | Gunze Ltd | タッチパネル入力座標変換装置 |
| DE19845030A1 (de) | 1998-09-30 | 2000-04-20 | Siemens Ag | Bildsystem |
| US6972753B1 (en) | 1998-10-02 | 2005-12-06 | Semiconductor Energy Laboratory Co., Ltd. | Touch panel, display device provided with touch panel and electronic equipment provided with display device |
| US6335724B1 (en) | 1999-01-29 | 2002-01-01 | Ricoh Company, Ltd. | Method and device for inputting coordinate-position and a display board system |
| US6545669B1 (en) | 1999-03-26 | 2003-04-08 | Husam Kinawi | Object-drag continuity between discontinuous touch-screens |
| TW459192B (en) * | 1999-06-25 | 2001-10-11 | Toshiba Corp | Electronic apparatus and electronic system provided with the same |
| US6671419B1 (en) * | 1999-07-02 | 2003-12-30 | Intel Corporation | Method for reducing shadows and/or noise in a digital image |
| JP2001060145A (ja) | 1999-08-23 | 2001-03-06 | Ricoh Co Ltd | 座標入力／検出システムおよびその位置合わせ調整方法 |
| JP4057200B2 (ja) | 1999-09-10 | 2008-03-05 | 株式会社リコー | 座標入力装置および座標入力装置の記録媒体 |
| JP3905670B2 (ja) | 1999-09-10 | 2007-04-18 | 株式会社リコー | 座標入力検出装置、情報記憶媒体及び座標入力検出方法 |
| US6512838B1 (en) | 1999-09-22 | 2003-01-28 | Canesta, Inc. | Methods for enhancing performance and data acquired from three-dimensional image systems |
| JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| US6710770B2 (en) | 2000-02-11 | 2004-03-23 | Canesta, Inc. | Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device |
| JP3934846B2 (ja) | 2000-03-06 | 2007-06-20 | 株式会社リコー | 座標入力／検出装置、電子黒板システム、受光素子の位置ズレ補正方法及び記憶媒体 |
| JP2001265516A (ja) | 2000-03-16 | 2001-09-28 | Ricoh Co Ltd | 座標入力装置 |
| JP2001282445A (ja) | 2000-03-31 | 2001-10-12 | Ricoh Co Ltd | 座標入力／検出装置および情報表示入力装置 |
| JP3834766B2 (ja) | 2000-04-03 | 2006-10-18 | 独立行政法人科学技術振興機構 | マンマシーン・インターフェース・システム |
| US6864882B2 (en) | 2000-05-24 | 2005-03-08 | Next Holdings Limited | Protected touch panel display system |
| US6690397B1 (en) | 2000-06-05 | 2004-02-10 | Advanced Neuromodulation Systems, Inc. | System for regional data association and presentation and method for the same |
| US6690363B2 (en) | 2000-06-19 | 2004-02-10 | Next Holdings Limited | Touch panel display system |
| ES2340945T3 (es) | 2000-07-05 | 2010-06-11 | Smart Technologies Ulc | Procedimiento para un sistema tactil basado en camaras. |
| US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| US7466843B2 (en) | 2000-07-07 | 2008-12-16 | Pryor Timothy R | Multi-functional control and entertainment systems |
| US6531999B1 (en) | 2000-07-13 | 2003-03-11 | Koninklijke Philips Electronics N.V. | Pointing direction calibration in video conferencing and other camera-based system applications |
| US6747663B2 (en) | 2000-08-24 | 2004-06-08 | Sun Microsystems, Inc. | Interpolating sample values from known triangle vertex values |
| NO311740B1 (no) | 2000-09-11 | 2002-01-14 | Tormod Njoelstad | Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid |
| JP3793014B2 (ja) | 2000-10-03 | 2006-07-05 | キヤノン株式会社 | 電子源の製造装置、電子源の製造方法及び画像形成装置の製造方法 |
| US7058204B2 (en) * | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
| US6680834B2 (en) * | 2000-10-04 | 2004-01-20 | Honeywell International Inc. | Apparatus and method for controlling LED arrays |
| US6774889B1 (en) | 2000-10-24 | 2004-08-10 | Microsoft Corporation | System and method for transforming an ordinary computer monitor screen into a touch screen |
| US7016532B2 (en) * | 2000-11-06 | 2006-03-21 | Evryx Technologies | Image capture and identification system and process |
| US6518600B1 (en) | 2000-11-17 | 2003-02-11 | General Electric Company | Dual encapsulation for an LED |
| US7030861B1 (en) | 2001-02-10 | 2006-04-18 | Wayne Carl Westerman | System and method for packing multi-touch gestures onto a hand |
| JP4551018B2 (ja) | 2001-04-05 | 2010-09-22 | 富士通株式会社 | 画像結合装置 |
| US6919880B2 (en) | 2001-06-01 | 2005-07-19 | Smart Technologies Inc. | Calibrating camera offsets to facilitate object position determination using triangulation |
| GB2378073B (en) | 2001-07-27 | 2005-08-31 | Hewlett Packard Co | Paper-to-computer interfaces |
| US7007236B2 (en) | 2001-09-14 | 2006-02-28 | Accenture Global Services Gmbh | Lab window collaboration |
| JP2003162370A (ja) | 2001-09-14 | 2003-06-06 | Ricoh Co Ltd | 画像処理装置、タッチパネル付きディスプレイ装置、画像処理方法、および画像処理方法をコンピュータに実行させるプログラム |
| JP2003173237A (ja) | 2001-09-28 | 2003-06-20 | Ricoh Co Ltd | 情報入出力システム、プログラム及び記憶媒体 |
| US7254775B2 (en) | 2001-10-03 | 2007-08-07 | 3M Innovative Properties Company | Touch panel system and method for distinguishing multiple touch inputs |
| JP3920067B2 (ja) | 2001-10-09 | 2007-05-30 | 株式会社イーアイティー | 座標入力装置 |
| JP2003167669A (ja) | 2001-11-22 | 2003-06-13 | Internatl Business Mach Corp <Ibm> | 情報処理装置、プログラム及び座標入力方法 |
| US6628216B2 (en) | 2002-02-13 | 2003-09-30 | Intersil Americas Inc. | Calibration of resistor ladder using difference measurement and parallel resistive correction |
| US7038659B2 (en) | 2002-04-06 | 2006-05-02 | Janusz Wiktor Rajkowski | Symbol encoding apparatus and method |
| US7119351B2 (en) | 2002-05-17 | 2006-10-10 | Gsi Group Corporation | Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system |
| US20030226968A1 (en) | 2002-06-10 | 2003-12-11 | Steve Montellese | Apparatus and method for inputting data |
| US7260257B2 (en) | 2002-06-19 | 2007-08-21 | Microsoft Corp. | System and method for whiteboard and audio capture |
| US6972401B2 (en) | 2003-01-30 | 2005-12-06 | Smart Technologies Inc. | Illuminated bezel and touch system incorporating the same |
| US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
| US6947032B2 (en) | 2003-03-11 | 2005-09-20 | Smart Technologies Inc. | Touch system and method for determining pointer contacts on a touch surface |
| US7532206B2 (en) | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| US20050052427A1 (en) | 2003-09-10 | 2005-03-10 | Wu Michael Chi Hung | Hand gesture interaction with touch surface |
| US7411575B2 (en) | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
| US7265752B2 (en) | 2004-01-09 | 2007-09-04 | Microsoft Corporation | Multi-chart geometry images |
| US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US20080129707A1 (en) | 2004-07-27 | 2008-06-05 | Pryor Timothy R | Method and apparatus employing multi-functional controls and displays |
-
2001
- 2001-07-05 ES ES06019268T patent/ES2340945T3/es not_active Expired - Lifetime
- 2001-07-05 CA CA2412878A patent/CA2412878C/en not_active Expired - Lifetime
- 2001-07-05 AU AU2001272250A patent/AU2001272250A1/en not_active Abandoned
- 2001-07-05 JP JP2002507309A patent/JP5042437B2/ja not_active Expired - Fee Related
- 2001-07-05 ES ES10012779T patent/ES2396587T3/es not_active Expired - Lifetime
- 2001-07-05 DE DE60124549T patent/DE60124549T2/de not_active Expired - Lifetime
- 2001-07-05 ES ES01951266T patent/ES2279823T3/es not_active Expired - Lifetime
- 2001-07-05 AT AT01951266T patent/ATE345525T1/de not_active IP Right Cessation
- 2001-07-05 WO PCT/CA2001/000980 patent/WO2002003316A1/en not_active Ceased
- 2001-07-05 AT AT06019268T patent/ATE453147T1/de not_active IP Right Cessation
- 2001-07-05 EP EP06019268A patent/EP1739528B1/en not_active Expired - Lifetime
- 2001-07-05 ES ES10012759T patent/ES2435248T3/es not_active Expired - Lifetime
- 2001-07-05 DE DE60140909T patent/DE60140909D1/de not_active Expired - Lifetime
- 2001-07-05 CN CNB018123600A patent/CN1310126C/zh not_active Expired - Fee Related
- 2001-07-05 US US10/312,983 patent/US7692625B2/en not_active Expired - Lifetime
- 2001-07-05 EP EP01951266A patent/EP1297488B1/en not_active Expired - Lifetime
- 2001-07-05 AT AT06019269T patent/ATE490501T1/de not_active IP Right Cessation
- 2001-07-05 DE DE60143592T patent/DE60143592D1/de not_active Expired - Lifetime
- 2001-07-05 EP EP06019269A patent/EP1739529B1/en not_active Expired - Lifetime
-
2010
- 2010-04-01 US US12/753,017 patent/US9176627B2/en not_active Expired - Fee Related
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8378986B2 (en) | 2000-07-05 | 2013-02-19 | Smart Technologies Ulc | Passive touch system and method of detecting user input |
| US8203535B2 (en) | 2000-07-05 | 2012-06-19 | Smart Technologies Ulc | Passive touch system and method of detecting user input |
| US8055022B2 (en) | 2000-07-05 | 2011-11-08 | Smart Technologies Ulc | Passive touch system and method of detecting user input |
| US8228304B2 (en) | 2002-11-15 | 2012-07-24 | Smart Technologies Ulc | Size/scale orientation determination of a pointer in a camera-based touch system |
| US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
| US8289299B2 (en) | 2003-02-14 | 2012-10-16 | Next Holdings Limited | Touch screen signal processing |
| US8466885B2 (en) | 2003-02-14 | 2013-06-18 | Next Holdings Limited | Touch screen signal processing |
| US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| US8456451B2 (en) | 2003-03-11 | 2013-06-04 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US8325134B2 (en) | 2003-09-16 | 2012-12-04 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US8456418B2 (en) | 2003-10-09 | 2013-06-04 | Smart Technologies Ulc | Apparatus for determining the location of a pointer within a region of interest |
| US8089462B2 (en) | 2004-01-02 | 2012-01-03 | Smart Technologies Ulc | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
| US8576172B2 (en) | 2004-01-02 | 2013-11-05 | Smart Technologies Ulc | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
| US8274496B2 (en) | 2004-04-29 | 2012-09-25 | Smart Technologies Ulc | Dual mode touch systems |
| US8149221B2 (en) | 2004-05-07 | 2012-04-03 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US8120596B2 (en) | 2004-05-21 | 2012-02-21 | Smart Technologies Ulc | Tiled touch system |
| US9442607B2 (en) | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
| US8115753B2 (en) | 2007-04-11 | 2012-02-14 | Next Holdings Limited | Touch screen system with hover and click input methods |
| US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
| US8432377B2 (en) | 2007-08-30 | 2013-04-30 | Next Holdings Limited | Optical touchscreen with improved illumination |
| US8384693B2 (en) | 2007-08-30 | 2013-02-26 | Next Holdings Limited | Low profile touch panel systems |
| US8405636B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
| US8405637B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly with convex imaging window |
| US8902193B2 (en) | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| US8339378B2 (en) | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2340945T3 (es) | 2010-06-11 |
| CA2412878A1 (en) | 2002-01-10 |
| JP5042437B2 (ja) | 2012-10-03 |
| CN1310126C (zh) | 2007-04-11 |
| EP1739529B1 (en) | 2010-12-01 |
| EP1739528B1 (en) | 2009-12-23 |
| DE60140909D1 (de) | 2010-02-04 |
| ES2435248T3 (es) | 2013-12-17 |
| DE60143592D1 (de) | 2011-01-13 |
| JP2004502261A (ja) | 2004-01-22 |
| CA2412878C (en) | 2015-02-03 |
| ATE490501T1 (de) | 2010-12-15 |
| US20050077452A1 (en) | 2005-04-14 |
| EP1297488B1 (en) | 2006-11-15 |
| US9176627B2 (en) | 2015-11-03 |
| US20100188370A1 (en) | 2010-07-29 |
| ATE453147T1 (de) | 2010-01-15 |
| US7692625B2 (en) | 2010-04-06 |
| ATE345525T1 (de) | 2006-12-15 |
| WO2002003316A1 (en) | 2002-01-10 |
| DE60124549D1 (de) | 2006-12-28 |
| EP1739529A1 (en) | 2007-01-03 |
| CN1440539A (zh) | 2003-09-03 |
| EP1739528A1 (en) | 2007-01-03 |
| AU2001272250A1 (en) | 2002-01-14 |
| EP1297488A1 (en) | 2003-04-02 |
| ES2396587T3 (es) | 2013-02-22 |
| DE60124549T2 (de) | 2007-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2279823T3 (es) | Sistema tactil basado en camaras. | |
| ES2361457T3 (es) | Sistema y procedimiento táctil en base a cámara. | |
| JP4437748B2 (ja) | プロジェクタによる位置および向きの読み取り | |
| US7619617B2 (en) | Size/scale and orientation determination of a pointer in a camera-based touch system | |
| ES2392228T3 (es) | Sistema táctil de alineación automática y método correspondiente | |
| JP3950837B2 (ja) | プロジェクタ並びにプロジェクタを使用した電子黒板システム及び指示位置取得方法 | |
| ES2394586T3 (es) | Sistema y método para diferenciar entre punteros utilizados para hacer contacto con superficie táctil | |
| US20090296991A1 (en) | Human interface electronic device | |
| JP2018190306A (ja) | 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体 |