ES2340945T3 - Procedimiento para un sistema tactil basado en camaras. - Google Patents
Procedimiento para un sistema tactil basado en camaras. Download PDFInfo
- Publication number
- ES2340945T3 ES2340945T3 ES06019268T ES06019268T ES2340945T3 ES 2340945 T3 ES2340945 T3 ES 2340945T3 ES 06019268 T ES06019268 T ES 06019268T ES 06019268 T ES06019268 T ES 06019268T ES 2340945 T3 ES2340945 T3 ES 2340945T3
- Authority
- ES
- Spain
- Prior art keywords
- pointer
- touch
- image
- touch surface
- dsp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Electrophonic Musical Instruments (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
Un procedimiento de calibración y operación de cámaras digitales (63) en un sistema táctil (50) con una superficie táctil (60) sobre la cual se han de realizar los contactos del puntero, teniendo cada cámara digital (63) una formación seleccionable de píxeles, comprendiendo dicho procedimiento las etapas de: para cada cámara digital, adquirir una imagen mirando hacia, y a través de dicha superficie táctil (60); medir las coordenadas verticales (z) a partir de las imágenes adquiridas; utilizar las coordenadas verticales (z) medidas para determinar la ubicación de la superficie táctil (60) en cada una de las imágenes adquiridas; y seleccionar un subconjunto de píxeles de la formación seleccionable de píxeles de cada cámara digital, en base a la ubicación determinada de la superficie táctil, de forma tal que sólo se procesen píxeles de los subconjuntos de píxeles para determinar la ubicación de dichos contactos del puntero.
Description
Procedimiento para un sistema táctil basado en
cámaras.
La presente invención se refiere, en general, a
sistemas táctiles y, en particular, a un sistema táctil basado en
cámaras.
Los sistemas táctiles son bien conocidos en la
técnica y típicamente incluyen una pantalla táctil que tiene una
superficie táctil sobre la cual se hacen contactos utilizando un
puntero con el fin de generar indicaciones de usuario. Los
contactos del puntero con la superficie táctil son detectados y son
utilizados para generar salidas correspondientes, según las áreas
de la superficie táctil donde se hacen los contactos. Existen
básicamente dos tipos generales de sistemas táctiles disponibles, y
pueden ser ampliamente clasificados como sistemas táctiles
"activos" y sistemas táctiles "pasivos".
Los sistemas táctiles activos permiten al
usuario generar indicaciones de usuario al contactar la superficie
táctil con un puntero especial, que usualmente requiere alguna forma
de una fuente de energía a bordo, habitualmente baterías. El
puntero especial emite señales, tales como luz infrarroja, luz
visible, frecuencias ultrasónicas, frecuencias electromagnéticas,
etc., que activan la superficie táctil.
Los sistemas táctiles pasivos permiten al
usuario generar indicaciones de usuario al poner en contacto la
superficie táctil con un puntero pasivo, y no requieren el uso de un
puntero especial con el fin de activar la superficie táctil. Un
puntero pasivo puede ser un dedo, un cilindro de algún material, o
cualquier objeto adecuado que se pueda utilizar para entrar en
contacto con algún área predeterminada de interés sobre la
superficie táctil.
Los sistemas táctiles pasivos proporcionan
ventajas con respecto a los sistemas táctiles activos, en cuanto a
que cualquier dispositivo de puntero adecuado, incluyendo un dedo
del usuario, se puede utilizar como un puntero para hacer contacto
con la superficie táctil. Como resultado, se puede generar
fácilmente una indicación de usuario. También, dado que los
punteros activos especiales no son necesarios en los sistemas
táctiles pasivos, los niveles de energía de la batería y/o el daño,
el robo o el extravío del puntero no son de preocupación para los
usuarios.
Los sistemas táctiles pasivos tienen un buen
número de aplicaciones que se relacionan con la operación del
ordenador y el visor de video. Por ejemplo, en una aplicación
interactiva, como se revela en la Patente Estadounidense No.
5.448.263 de Martin, cedida al cesionario de la presente invención,
se acopla un sistema táctil pasivo a un ordenador, y el visor del
ordenador se presenta sobre la superficie táctil de la pantalla
táctil. Las coordenadas que representan los sitios específicos
sobre la superficie táctil están asociadas al visor del ordenador.
Cuando un usuario hace contacto con la superficie táctil, las
coordenadas de la posición de contacto son retroalimentadas al
ordenador y asociadas al visor del ordenador, permitiéndole de esta
manera al usuario operar el ordenador de una manera similar a la
utilización de un ratón de ordenador, simplemente haciendo contacto
con la superficie táctil. Adicionalmente, las coordenadas
retroalimentadas al ordenador pueden ser grabadas en una aplicación
y redesplegadas en un momento posterior. La grabación de las
coordenadas de contacto se hace habitualmente cuando se desea
registrar la información escrita o dibujada sobre la superficie
táctil por el usuario.
La resolución de una pantalla táctil pasiva
determina si el sistema táctil es adecuado para grabar información
escrita o dibujada sobre la pantalla táctil o solamente útil para
seleccionar áreas sobre la pantalla táctil asociadas a regiones en
el ordenador o visor de vídeo, con el fin de manipular el ordenador
o el visor de vídeo. La resolución es típicamente medida en puntos
por pulgada (DPI). Los DPI están relacionados con el tamaño de la
pantalla táctil y la capacidad de muestreo del hardware y software
del sistema táctil utilizado para detectar los contactos sobre la
superficie táctil.
Las pantallas táctiles pasivas de baja
resolución tienen solo suficientes DPI para detectar los contactos
sobre la superficie táctil en un gran grupo de pixeles desplegados
por el ordenador o el visor de vídeo. Por lo tanto, estas pantallas
táctiles pasivas de baja resolución son útiles solamente para
manipular el ordenador o el visor de vídeo.
Por otra parte, las pantallas táctiles pasivas
de alta resolución tienen suficientes DPI para detectar contactos
que son proporcionales a un número pequeño de píxeles o
sub-píxeles del ordenador o visor de vídeo. Sin
embargo, un requisito para las pantallas táctiles de alta
resolución es la capacidad de detectar cuando el puntero está en
contacto con la superficie táctil. Esto es necesario para
operaciones de escritura, dibujo, pulsado de ratón, etc. Sin la
capacidad de detectar el contacto del puntero con la pantalla
táctil, la escritura y los dibujos serían una operación continua, y
los pulsos del ratón no serían posibles, haciendo de esta manera la
manipulación de la pantalla del ordenador virtualmente imposible. Un
requisito secundario es la capacidad de detectar cuando el puntero
está "planeando" por encima de la superficie táctil. Aunque no
se requiere para escribir o dibujar, los sistemas operativos de
ordenador de hoy están utilizando crecientemente información de
planeo para manipular el ordenador o las pantallas de vídeo, o los
cuadros emergentes de información.
\newpage
Las pantallas táctiles pasivas son típicamente
bien del tipo resistivo analógico, del tipo de onda acústica de
superficie (SAW) o bien del tipo capacitivo. Desafortunadamente,
estas pantallas táctiles padecen un buen número de problemas o
inconvenientes, como se describirá.
Las pantallas táctiles resistivas analógicas
tienen típicamente una alta resolución. Según la complejidad del
sistema táctil, la resolución de la pantalla táctil puede producir
4096x4096 DPI o más. Las pantallas táctiles resistivas analógicas
se construyen utilizando dos láminas flexibles que están recubiertas
con un material resistivo, y dispuestas como un sándwich. Las
láminas no entran en contacto entre sí hasta que se ha hecho un
contacto. Las láminas son típicamente mantenidas separadas por
micropuntos aislantes o por un espacio aéreo aislante. Las láminas
están construidas con ITO (Indio Óxido de Estaño), que es sumamente
transparente. Así, la pantalla táctil introduce alguna distorsión
de la imagen pero muy poco paralaje.
Durante la operación de una pantalla táctil
pasiva resistiva analógica, se aplica un gradiente de voltaje
uniforme en una dirección a lo largo de la primera de las láminas.
La segunda lámina mide el voltaje a lo largo de la primera lámina
cuando las dos láminas hacen contacto entre sí como resultado de un
contacto hecho sobre la superficie táctil. Dado que el gradiente de
voltaje de la primera lámina puede ser trasladado a la distancia a
lo largo de la primera lámina, el voltaje medido es proporcional a
la posición del contacto sobre la superficie táctil. Cuando se
adquiere una coordenada de contacto sobre la primera lámina, el
gradiente de voltaje uniforme se aplica entonces a la segunda
lámina, y la primera lámina mide el voltaje a lo largo de la
segunda lámina. El gradiente de voltaje de la segunda lámina es
proporcional a la distancia a lo largo de la segunda lámina. Estas
dos coordenadas de contacto representan la posición
X-Y del contacto sobre la superficie táctil en un
sistema de coordenadas cartesianas.
Desafortunadamente, dado que se requiere una
presión mecánica para poner ambas láminas en contacto, las pantallas
táctiles resistivas analógicas solo pueden detectar contacto cuando
hay suficiente presión para juntar las dos láminas. Las pantallas
táctiles pasivas resistivas analógicas tampoco pueden captar cuando
un puntero está planeando sobre la superficie táctil. Por lo tanto,
en el caso de las pantallas táctiles resistivas analógicas, los
sucesos y posiciones de contacto solo se pueden detectar cuando son
hacen los contactos efectivos con la superficie táctil.
Las pantallas táctiles de onda acústica de
superficie (SAW) típicamente suministran una resolución media, y no
son adecuadas para grabar escritura de buena calidad. Las pantallas
táctiles SAW emplean transductores sobre los límites de una
superficie de vidrio para hacer vibrar el vidrio y producir ondas
acústicas que ondean sobre la superficie del vidrio. Cuando se hace
un contacto sobre la superficie del vidrio, las ondas acústicas se
retrorreflejan y la posición de contacto se determina a partir de la
firma de las ondas acústicas reflejadas.
Desafortunadamente, las pantallas táctiles SAW
exhiben un notable paralaje, debido al grosor del vidrio vibrante
que está colocado sobre la superficie de la pantalla de video o de
ordenador. Además, los sucesos y las posiciones de contacto solo
pueden detectarse cuando se hacen los contactos efectivos con la
superficie del vidrio. Adicionalmente, las pantallas táctiles SAW
no admiten ajustes más allá de unos pocos pies en diagonal.
Las pantallas táctiles capacitivas suministran
baja resolución debido a que los contactos solo pueden determinarse
en grandes áreas (aproximadamente 12,7 mm x 12,7 mm (1/2 pulgada x
1/2 pulgada)). Como resultado, las pantallas táctiles capacitivas
no pueden ser utilizadas para grabar la escritura o los dibujos,
pero son adecuadas para seleccionar áreas sobre la pantalla táctil,
correspondientes a los botones generados por ordenador desplegados
sobre la pantalla de video o de ordenador. Las pantallas táctiles
capacitivas también sufren desventajas en cuanto a que son
sensibles a la temperatura y humedad. De manera similar a las
pantallas táctiles resistivas analógicas y a las pantallas táctiles
SAW, las pantallas táctiles capacitivas también solamente pueden
detectar sucesos y posiciones de contacto cuando se hacen contactos
efectivos con la superficie táctil.
La escalabilidad de las pantallas táctiles
pasivas es importante, dado que la demanda de digitalizadores
electrónicos mayores está aumentando. Allí donde los
digitalizadores fueron una vez pequeños aparatos de escritorio, hoy
han encontrado su camino hacia aplicaciones de pizarra electrónica.
La necesidad de construir una "pared" sensible táctil pasiva
se ha convertido en un requisito para las nuevas aplicaciones de
pantalla táctil. Las pantallas táctiles pasivas existentes de los
tipos expuestos anteriormente están todas limitadas en el tamaño
máximo donde son aún funcionales.
El documento WO 99/40562 se refiere a un sistema
de pantalla táctil de ordenador para cámara de vídeo, en donde se
revela un procedimiento y sistema para ingresar los datos a un
ordenador mediante la pantalla del monitor de ordenador. Una cámara
de video de PC estándar montada por encima de la pantalla del
ordenador monitoriza el área inmediatamente enfrente de la
pantalla. Un sistema óptico similar a un periscopio, situado
inmediatamente por debajo de la cámara de vídeo, causa que dos
imágenes de la pantalla delantera sean grabadas por la cámara
simultáneamente, visualizadas desde diferente ángulo.
El documento US 4.746.770 se refiere a un
procedimiento y aparato para aislar y manipular objetos gráficos en
un monitor de vídeo de ordenador. Un miembro de marco coopera con
una pluralidad de sensores ópticos y una pluralidad de objetos de
oclusión de luz, los cuales tienden a obstruir una porción de la luz
normalmente recibida por los sensores ópticos.
El documento DE 19810452 se refiere a un
digitalizador óptico para determinar una posición de un objeto
puntero que proyecta una luz y que está dispuesto sobre un plano de
coordenadas. En el digitalizador óptico, está dispuesto un detector
sobre la periferia del plano de coordenadas, y tiene un campo visual
que cubre el plano de coordenadas para recibir la luz proyectada
desde el objeto puntero, y para convertir la luz recibida en una
señal eléctrica.
Como se apreciará, se desean mejoras para los
sistemas táctiles pasivos. Es por lo tanto un objeto de la presente
invención suministrar un sistema táctil novedoso basado en
cámaras.
La invención se define en las reivindicación
1.
La presente invención proporciona ventajas en
cuanto a que el sistema táctil pasivo es de alta resolución y
permite contactos efectivos del puntero con la superficie táctil,
así como que se detecten los planeos del puntero por encima de la
superficie táctil y que se genere la correspondiente salida. Además,
el presente sistema táctil pasivo proporciona ventajas en cuanto a
que no sufre de paralaje, distorsión de imagen, restricciones de la
posición del puntero, ni problemas de proyección y escalabilidad de
la imagen que están asociados con los sistemas táctiles pasivos de
la técnica anterior.
Adicionalmente, la presente invención
proporciona ventajas en cuanto a que, dado que se utilizan las
cámaras digitales CMOS, se pueden seleccionar hileras de pixeles
arbitrarios en las formaciones de píxeles de cámaras digitales.
Esto permite que se incrementen significativamente las velocidades
de tramas de las cámaras digitales. Además, dado que las hileras de
píxeles se pueden seleccionar arbitrariamente, las formaciones de
pixeles se pueden exponer para mayores duraciones para las
velocidades de tramas dadas de cámara digital, lo que permite la
buena operación en cuartos oscuros, así como cuartos bien
iluminados.
Las realizaciones de la presente invención serán
descritas ahora más detalladamente con referencia a los dibujos
adjuntos, en los cuales:
La Figura 1 es un diagrama esquemático de un
sistema táctil basado en cámaras según la presente invención;
La Figura 2 es una vista isométrica de una
pantalla táctil que forma parte del sistema táctil de la Figura
1;
La Figura 3 es una vista isométrica de una
porción de esquina de la pantalla táctil de la Figura 2;
La Figura 4 es un diagrama esquemático de una
cámara digital que forma parte de la pantalla táctil de la Figura
2;
La Figura 5 es un diagrama esquemático de un
controlador maestro que forma parte del sistema táctil de la Figura
1;
La Figura 6 es un diagrama de flujo que muestra
las etapas realizadas durante la ejecución de una rutina
processFrame;
La Figura 7 es un diagrama de flujo que muestra
las etapas realizadas durante la ejecución de una rutina
segmentPointer;
La Figura 8 es un diagrama de flujo que muestra
las etapas realizadas durante la ejecución de una rutina
findPointer;
La Figura 9 muestra una imagen adquirida por una
cámara digital y un subconjunto de píxeles de la imagen que se
procesa;
La Figura 10 muestra una región de interés (ROI)
dentro del subconjunto de píxeles de la Figura 9;
La Figura 11 muestra una geometría de
triangulación utilizada para calcular una posición de contacto del
puntero sobre la superficie táctil de la pantalla táctil ilustrada
en la Figura 2;
La Figura 12 muestra una imagen adquirida por
una cámara digital que incluye un extremo de puntero y su línea
mediana;
La Figura 13 muestra un contacto de puntero y un
puntero que planea, para orientaciones diferentes del puntero;
La Figura 14 es una imagen de la superficie
táctil de la pantalla táctil, como se ve por medio de una cámara
digital;
Las Figuras 15 y 16 muestran los resultados de
una simulación Matlab del seguimiento del puntero, utilizando un
filtro Kalman; y
Las Figuras 17a a 17d muestran los resultados de
otra simulación Matlab del seguimiento del puntero, utilizando un
filtro Kalman.
Volviendo ahora a la Figura 1, se muestra un
sistema táctil basado en cámaras según la presente invención, y se
identifica generalmente por medio del numeral 50 de referencia. Como
puede verse, el sistema táctil 50 incluye una pantalla táctil 52
acoplada a un controlador maestro 54 basado en un procesador de
señales digitales (DSP). El controlador maestro 54 también se
acopla a un ordenador 56. El ordenador 56 ejecuta uno o más
programas de aplicación y suministra la salida de pantalla que se
presenta sobre la pantalla táctil 52 mediante un proyector 58. La
pantalla táctil 52, el controlador maestro 54, el ordenador 56 y el
proyector 58 forman un bucle cerrado de tal forma que los contactos
del usuario con la pantalla táctil 52 se pueden grabar como
escritura o dibujo, o utilizarse para controlar la ejecución de los
programas de aplicación ejecutados por el ordenador 56.
Las Figuras 2 a 4 ilustran mejor la pantalla
táctil 52. La pantalla táctil 52 incluye una superficie táctil 60
limitada por una estructura rectangular 62. La superficie táctil 60
tiene la forma de una lámina plana rectangular de material pasivo.
Las cámaras digitales 63 de CMOS basadas en DSP están asociadas con
cada esquina de la pantalla táctil 52. Cada cámara digital 63 está
montada sobre un ensamblaje 64 de armazón. Cada ensamblaje 64 de
armazón incluye una placa 66 de soporte angulada sobre la cual está
montada la cámara digital 63. Los elementos 70 y 72 del armazón de
soporte están montados sobre la placa 66 mediante los postes 74, y
aseguran la placa 66 al armazón 62.
Cada cámara digital 63 incluye un sensor de
imagen CMOS bidimensional y el montaje 80 de lentes asociado, un
almacén temporal 82 del tipo "primero en entrar, primero en
salir" (FIFO) acoplado al sensor de imagen y al montaje 80 de
lentes por medio de un bus de datos y un procesador de señales
digitales (DSP) 84 acoplado al elemento FIFO 82 por medio de un bus
de datos, y al sensor de imagen y el montaje 80 de lentes por medio
de un bus de control. Una EPROM 86 de arranque y un subsistema 88 de
fuente de alimentación también están incluidos.
En la presente realización, el sensor de imagen
de cámara CMOS es un sensor de imagen Photobit PB300 configurado
para una subformación de píxeles de 20x640, que se puede hacer
funcionar para capturar tramas de imagen a velocidades mayores de
200 tramas por segundo, dado que pueden seleccionarse hileras de
píxeles arbitrarias. Además, dado que las hileras de píxeles se
pueden seleccionar arbitrariamente, la subformación de píxeles
puede ser expuesta por una duración mayor para una velocidad dada de
tramas de la cámara digital, lo que permite la buena operación en
cuartos oscuros, así como en cuartos bien iluminados. El almacén
temporal FIFO 82 es elaborado por Cypress con el número de pieza
CY7C4211V y el DSP 84 es elaborado por Analog Devices con el número
de pieza
ADSP2185M.
ADSP2185M.
El DSP 84 suministra información de control al
sensor de imagen y al montaje 80 de lentes mediante el bus de
control. La información de control le permite al DSP 84 controlar
parámetros del sensor de imagen y el montaje 80 de lentes, tales
como la exposición, la ganancia, la configuración de la formación,
el reinicio y la inicialización. El DSP 84 también suministra
señales de reloj al sensor de imagen y al montaje 80 de lentes para
controlar la velocidad de tramas del sensor de imagen y el montaje
80 de lentes.
El ángulo de la placa 66 se selecciona de tal
forma que el campo de visión (FOV) de cada cámara digital 63 se
extienda más allá de un borde periférico designado de la superficie
táctil 60, como se muestra en la Figura 11. De esta manera, la
superficie táctil completa 60 está dentro de los campos de visión de
las cámaras digitales 63.
El controlador maestro 54 se ilustra óptimamente
en la Figura 5 e incluye un DSP 90, un EPROM 92 de arranque, un
controlador 94 de línea en serie y un subsistema 95 de fuente de
alimentación. El DSP 90 se comunica con los DSP 84 de las cámaras
digitales 63 por un bus de datos, mediante el puerto 96 en serie, y
se comunica con el ordenador 56 por un bus de datos mediante un
puerto 98 en serie, y el controlador 94 de línea en serie. En esta
realización, el DSP 90 también es elaborado por Analog Devices con
el número de pieza ADSP2185M. El controlador 94 de línea en serie
es elaborado por Analog Devices con el número de pieza ADM222.
El controlador maestro 54 y cada cámara digital
63 siguen un protocolo de comunicación que posibilita la
comunicación bidireccional mediante un cable en serie común,
similar a un bus en serie universal (USB). La banda ancha de
transmisión se divide en treinta y dos (32) canales de 16 bits. De
los treinta y dos canales, seis (6) canales están asignados a cada
uno de los DSP 84 en las cámaras digitales 63 y al DSP 90 en el
controlador maestro 54, y los restantes dos (2) canales no son
utilizados. El controlador maestro 54 monitoriza los veinticuatro
(24) canales asignados a los DSP 84, mientras que los DSP 84
monitorizan los seis (6) canales asignados al DSP 90 del
controlador maestro 54. Las comunicaciones entre el controlador
maestro 54 y las cámaras digitales 63 se desarrollan como procesos
de fondo en respuesta a interrupciones.
Se describirá ahora el funcionamiento general
del sistema táctil 50. Cada cámara digital 63 adquiere imágenes de
la superficie táctil 60 dentro del campo de visión del sensor de
imagen y el montaje 80 de lentes, a una velocidad de tramas
deseada, y procesa cada imagen adquirida para determinar si un
puntero está en la imagen adquirida. Si un puntero está en la
imagen adquirida, la imagen es adicionalmente procesada para
determinar las características del puntero que hace contacto o
planea por encima de la superficie táctil 60. Los paquetes de
información del puntero (los PIP) que incluyen las características
del puntero, estado y / o información de diagnóstico, son entonces
generados por las cámaras digitales 63, y los PIP son puestos en
cola para la transmisión al controlador maestro 54. Las cámaras
digitales 63 también reciben y responden a los PIP de comandos
generados por el controlador maestro 54.
El controlador maestro 54 sondea las cámaras
digitales 63 en busca de los PIP. Si los PIP incluyen información
característica de puntero, el controlador maestro 54 triangula las
características del puntero en los PIP para determinar la posición
del puntero con relación a la superficie táctil 60 en coordenadas
rectangulares cartesianas. El controlador maestro 54, a su vez,
transmite datos de posición de puntero calculadas, estado y/o
información de diagnóstico, al ordenador personal 56. De esta
manera, los datos de la posición del puntero transmitidos al
ordenador personal 56 se pueden grabar como escritura o dibujo, o se
pueden utilizar para controlar la ejecución de los programas de
aplicación ejecutados por el ordenador 56. El ordenador 56 también
actualiza la salida de pantalla transportada al proyector 58 de tal
forma que la información presentada sobre la superficie táctil 60
refleje la actividad del puntero.
El controlador maestro 54 también recibe los
comandos del ordenador personal 56 y responde en consecuencia, así
como también genera y transporta los PIP de comando a las cámaras
digitales 63.
Los datos específicos con respecto al
procesamiento de las imágenes adquiridas y la triangulación de las
características del puntero en los PIP se describirán ahora con
referencia particular a las Figuras 6 a 8.
Inicialmente, se ejecuta una rutina de
calibración del ángulo de desfase de la cámara para determinar el
ángulo \delta de desfase de cada cámara digital 63 (véase la
Figura 11) de tal forma que la posición de contacto o de planeo de
un puntero con respecto a la superficie táctil 60 pueda determinarse
de manera precisa. Los detalles de la calibración del ángulo de
desfase de la cámara se describen en la solicitud estadounidense en
tramitación como la presente de los solicitantes, titulada
"Calibrating Camera Offsets to Facilitate Object Position
Determination Using Triangulation" ["Calibración de Desfases de
Cámara para Facilitar la Determinación de la Posición de Objetos
Utilizando Triangulación"], presentada el 1º de junio de 2001,
cuyo contenido se incorpora al presente documento por
referencia.
Siguiendo la rutina de calibración del ángulo de
desfase de la cámara, se ejecuta una rutina de detección de
superficie para mejorar la determinación en cuanto a si el puntero
está en contacto con la superficie táctil 60 en un punto dado, o
bien planeando por encima de la superficie táctil.
Con las coordenadas rectangulares de un puntero
en el plano de la superficie táctil 60, conocidas de manera precisa
a partir de la calibración del ángulo de desfase de la cámara, puede
determinarse la orientación de la superficie táctil 60, como se ve
desde cada cámara digital 63. Esto es necesario debido al hecho de
que las cámaras digitales no sólo ven a lo largo del plano de la
superficie táctil 60, sino también en una dirección perpendicular a
éste. Hasta cierto grado, cada cámara digital 63 mira hacia abajo,
hacia la superficie táctil 60. La Figura 14 muestra generalmente la
forma de la superficie táctil 60, como se ve por medio de una cámara
digital 63. Debido a esto, se desea definir una coordenada z
"vertical", la cual describe la localización de la superficie
táctil como una función de las coordenadas rectangulares x e y.
La coordenada z del puntero se puede medir a
partir de una imagen de la cámara digital y, por ello, pueden
determinarse las coordenadas z para las posiciones del puntero sobre
la superficie táctil 60. Esta calibración vertical se convierte en
una cuestión de ajustar los datos de la coordenada z para las
coordenadas rectangulares x e y dadas. La calibración vertical se
puede describir como una superficie de la forma:
\vskip1.000000\baselineskip
\vskip1.000000\baselineskip
Obsérvese que, si los coeficientes C, D y E son
cero, esto se convierte en un plano. El ajuste es fácilmente
calculado, ya que la ecuación (0.1) representa un problema lineal de
mínimos cuadrados. La matriz correspondiente toma la forma:
A fin de ajustar las coordenadas rectangulares x
e y a la ecuación (0.1), para determinar los coeficientes A a E, el
procedimiento seudo-inverso de
Moore-Penrose, que está basado en la descomposición
en valores singulares (SVD), se utiliza para determinar la solución
de norma mínima y mínimos cuadrados.
\newpage
Como se apreciará, una matriz siempre puede ser
descompuesta de la siguiente manera:
La matriz A puede tener cualquier forma. Las
matrices U y V son matrices ortogonales, lo que significa que:
La matriz diagonal S está compuesta
completamente por los valores singulares de la matriz A, que están
relacionadas con los cuadrados de los autovalores de la matriz A.
La importancia de la descomposición en valores singulares (SVD)
descansa en el hecho de que con él, siempre puede calcularse la
inversa de la matriz A. Más aún, es posible controlar esta
inversión cuando se encuentra un problema escasamente determinado.
Consideremos el sistema de ecuaciones lineales:
Cuya solución sería:
La SVD permite que la inversa de la matriz A se
escriba como:
dado que ambas matrices U y V son
ortogonales. En una situación escasamente determinada, algunos de
los valores singulares serán muy pequeños, de tal forma que cuando
se forma la matriz S^{-1}, se producirán grandes valores, lo que
no es deseable. En este caso, las inversas de los valores singulares
más pequeños se fijan en cero. Esto tiene el efecto de eliminar la
parte escasamente determinada de la solución. Para los problemas de
mínimos cuadrados, esta es una herramienta poderosa. El
procedimiento usual de ecuaciones normales para los problemas de
mínimos cuadrados se basa en
resolver:
en el caso
ultra-determinado, y en
resolver
en el caso
ultra-determinado. Como se apreciará, durante el
ajuste del sistema de ecuaciones a la ecuación (0.1), se utiliza el
mismo método que se utilizó durante la determinación de los ángulos
\delta de desfase de la cámara. Dado que se utiliza el mismo
procedimiento, el uso de la memoria y la velocidad de procesamiento
se mantienen en los niveles
deseados.
Con los coeficientes A hasta E conocidos, puede
calcularse la coordenada z para cualquier punto dado (x,y) sobre la
superficie táctil y, de esta manera, se puede tomar una
determinación en cuanto a si un puntero está o no haciendo contacto
con la superficie táctil 60 o planeando por encima de ésta.
Con el sistema táctil 50 calibrado, durante la
operación cada cámara digital 63 adquiere imágenes de la superficie
táctil 60 dentro de su campo de visión. Las imágenes son adquiridas
por el montaje 80 de imagen y lentes a intervalos, en respuesta a
las señales de reloj recibidas desde el DSP 84. Cada imagen
adquirida por el montaje 80 de imagen y lentes se envía al almacén
temporal FIFO 82. El DSP 84, a su vez, lee cada imagen del almacén
temporal FIFO 82 y procesa la imagen. Para evitar el procesamiento
de números significativos de píxeles que no contienen ninguna
información útil, solamente un subconjunto de los píxeles en la
imagen adquirida son procesados como se muestra en la Figura 9.
Durante el procesamiento de una imagen adquirida
por una cámara digital 63, el DSP 84 ejecuta una rutina
processFrame, como se muestra en la Figura 6. Cuando está
disponible una imagen para su procesamiento (etapa 120), se hace
una comprobación para determinar si la imagen ha sido capturada con
el propósito de ajustar la cámara digital 63 (etapa 122). Sí la
imagen ha sido adquirida con el propósito de ajuste de la
exposición, se llama a una rutina exposureControl (etapa 124) para
ajustar la exposición de la cámara digital 63. A continuación, el
DSP 84 espera el recibo de la siguiente imagen disponible para su
procesamiento.
En la etapa 122, si la imagen no ha sido
capturada con el propósito de ajustar la exposición de la cámara
digital 63, se hace una comprobación para determinar si la imagen ha
sido capturada con el propósito de reemplazar la imagen de fondo
(etapa 126). Si la imagen ha sido adquirida con el propósito de
reemplazo de la imagen de fondo, se llama a una rutina
captureBackground (etapa 128) y se utiliza la imagen adquirida como
la imagen de fondo. Esto se hace si una cámara digital adquiere una
imagen y envía un PIP al controlador maestro indicando que un
puntero está en la imagen, cuando ésta es, de hecho, ruido.
Reemplazando la imagen de fondo se inhibe efectivamente la cámara
digital para identificar falsamente un puntero en los futuros PIP. A
continuación, el DSP 84 espera el recibo de la siguiente imagen
disponible para su procesamiento.
En la etapa 126, si la imagen no ha sido
capturada con el propósito del reemplazo de la imagen de fondo, una
rutina copyICur es llamada por el DSP 84 (etapa 130). Durante esta
rutina, la imagen actual adquirida se copia en la memoria y es
utilizada para actualizar la imagen de fondo, así como para formar
una imagen de diferencia que representa las diferencias entre la
imagen adquirida actual y la imagen de fondo.
Después de completar la rutina copyICur, se
llama a una rutina segmentPointer (etapa 132) para determinar si un
puntero está en la imagen adquirida y, si es así, determinar la
localización del puntero con respecto a la superficie táctil 60, y
si el puntero está en contacto con la superficie táctil 60 o
planeando por encima de ésta. La rutina segmentPointer 132 también
permite detectar las condiciones de luz cambiantes. A continuación
de la rutina segmentPointer 132, el DSP 84 llama a una rutina
fillPIP (etapa 134) para colocar el puntero y la información de la
condición de la luz en un PIP, para su transmisión al controlador
maestro 54. Posteriormente, el DSP 84 espera el recibo de la
siguiente imagen disponible para su procesamiento.
La Figura 7 ilustra las etapas ejecutadas por el
DSP 84 durante la ejecución de la rutina segmentPointer 132. Como
se puede ver, cuando el DSP 84 ejecuta la rutina segmentPointer, el
DSP 84 llama a una rutina findPointer para determinar si un puntero
está en la imagen adquirida y, si es así, la posición del puntero en
la imagen adquirida actual (etapa 140). Luego de completar la
rutina findPointer 140, el DSP 84 llama a una rutina
updateBackground para actualizar la imagen de fondo, para tratar,
de tal manera, con los cambios en las condiciones de iluminación
(etapa 142).
Durante la ejecución de la rutina
updateBackground, el DSP 84 actualiza continuamente la imagen de
fondo utilizando la ecuación:
en la
que:
B_{n+1} es la nueva imagen de fondo;
B_{n} es la imagen de fondo actual;
I es la imagen adquirida actual;
i,j son las coordenadas de fila y columna de los
píxeles de la imagen de fondo que están siendo actualizados; y
a es un número entre 0 y 1 que indica el grado
de aprendizaje que debería ser tomado de la imagen adquirida actual
I. Cuanto mayor sea el valor de a, más rápido se actualiza la imagen
de fondo.
Después de que se ha ejecutado la rutina
updateBackground 142, la diferencia de intensidad entre la imagen
adquirida actual y la imagen de fondo es calculada por el DSP 84.
Esta información se envía al controlador maestro 54 para
posibilitar que el controlador maestro determine si la cámara
digital 63 necesita ser reexpuesta. Esto se requeriría si ocurriera
un cambio drástico en las condiciones de iluminación (es decir, la
iluminación ambiental se encendiera o apagara). Cuando se requiere
la reexposición de la cámara digital 63, el controlador maestro 54
envía un PIP de comando a la cámara digital 63, instruyendo a la
cámara digital para adquirir una imagen para el ajuste de la
exposición.
La Figura 8 ilustra las etapas ejecutadas por el
DSP 84 durante la ejecución de la rutina findPointer 140. Como se
puede ver, cuando el DSP 84 ejecuta la rutina findPointer 140, el
DSP 84 inicializa la localización del puntero y los parámetros x y
z de la punta del puntero, respectivamente (etapa 150).
Posteriormente, se construye un histograma de intensidad vertical
(etapa 152). Durante esta etapa, se forma la imagen de diferencia
que representa las diferencias entre la imagen actual y la imagen de
fondo, y las intensidades de píxel en la imagen de diferencia se
suman por columnas. De esta manera, se forma un vector de 640 x 1
que representa la suma de cada columna en la imagen de diferencia
de 640 x 20. Así, el primer elemento en el vector de 640 x 1
representa la suma de los 20 píxeles en la primera columna de la
imagen de diferencia de 640 x 20, el segundo elemento en el vector
de 640 x 1 representa la suma de los 20 píxeles en la segunda
columna de la imagen de diferencia de 640 x 20, y así
sucesivamente. Los detalles específicos adicionales de este proceso
se pueden encontrar en el artículo titulado "A smart camera
application: DSP-based people detection and
tracking" ["Una aplicación de cámara inteligente: detección y
rastreo de personas basado en un DSP"], con autoría de V. Cheng
et al, y publicado en el SPIE Journal of Electronic Imaging
en julio de
2000.
2000.
A continuación de la creación del histograma de
intensidad vertical en la etapa 152, se determina el parámetro x de
localización del puntero hallando la columna en el histograma de
intensidad vertical con la intensidad más alta por encima de un
umbral de ruido (etapa 154). La columna se utiliza como el centro de
una región de interés (ROI) a procesar, siendo el ancho de la ROI
igual a la base del pico formado por el histograma de intensidad
vertical (véase la Figura 10). Si ninguna columna tiene una
intensidad por encima del umbral de ruido, se supone que ningún
puntero está dentro de la imagen adquirida.
Cuando se determina un parámetro x de
localización de puntero, el DSP 84 analiza la ROI para determinar la
fila de píxeles donde se halla la punta del puntero, y para
determinar si esa fila representa un contacto o planeo de
superficie táctil (etapa 156). Específicamente, el DSP 84 crea una
máscara binaria en la ROI, de tal forma que los píxeles blancos
representen al puntero y los píxeles negros representen al fondo,
como se muestra en la Figura 12. A partir de la máscara, pueden
calcularse fácilmente la línea media del puntero y la localización
z de la punta del puntero.
Durante la rutina fillPIP 134, el DSP 84 utiliza
la información de la condición del puntero y la luz, adquirida
durante la ejecución de la rutina segmentPointer 132, y crea un PIP
para reducir la imagen adquirida a un pequeño conjunto de datos
para proporcionar, de esta manera, economía de ancho de banda. El
PIP tiene la forma de un paquete de seis (6) palabras, siendo cada
palabra en el paquete de dieciséis (16) bits. El PIP típicamente
toma la forma.
La porción de la cabecera del PIP tiene
típicamente dieciséis (16) bits e incluye un campo de
determinación/fuente, un campo de tipo de datos, un campo de número
de trama de imagen, un campo de número de secuencia y un campo de
número de paquete. El campo de destino/fuente identifica el
destinatario del PIP y el origen del PIP. Si el PIP es generado por
el controlador maestro 54, el destinatario puede ser una cámara
digital individual 63 o todas las cámaras digitales. El tipo de
datos indica si el PIP se refiere a la información del puntero o a
otra información, tal como la información del estado y diagnóstico.
El campo del número de trama de imagen almacena un número de tal
forma que las imágenes de cada cámara digital 63 sean procesadas
por el controlador maestro 54 en secuencia. El campo del número de
secuencia almacena un número que relaciona el PIP con otros PIP. El
campo de número de paquete almacena un número que identifica el
paquete.
La porción de datos del PIP tiene típicamente
sesenta y cuatro (64) bits e incluye un campo ID de puntero, un
campo del parámetro de localización de puntero, un campo del
parámetro de punta de puntero, un campo de estado de contacto y un
campo de calidad del puntero. El campo del identificador del puntero
almacena un identificador para el puntero, para permitir rastrear
punteros múltiples. El campo del parámetro de localización del
puntero almacena el valor de x calculado por el DSP 84. El campo
del parámetro de punta del puntero almacena el valor de z calculado
por el DSP 84. El campo de estado de contacto almacena un valor que
indica si el puntero está en contacto, fuera de contacto o
posiblemente en contacto con la superficie táctil 60. El campo de
calidad del puntero almacena un valor estadístico sobre la
probabilidad de que un puntero detectado sea real.
La porción de la suma de control del PIP se
utiliza para asegurar la integridad de transmisión del PIP. Si los
errores de la suma de control del PIP son infrecuentes, los PIP que
exhiben errores en la suma de control son ignorados por el
dispositivo de destino.
Los PIP de estado que no se refieren a
información del puntero tienen una forma distinta a los PIP
descritos anteriormente identificados. Para los PIP de esta
naturaleza, la porción de datos incluye un campo de tipo de
instrucción, un campo de código de instrucción y un campo de datos.
El campo de tipo de instrucción identifica si el tipo de
instrucción es una instrucción a ser ejecutada o una solicitud de
estado. El campo de código de instrucción almacena la instrucción
actual o el identificador de solicitud de estado. El campo de datos
almacena datos que varían según el tipo de instrucción. Los ejemplos
de los PIP de estado incluyen los PIP de cabecera de trama, los PIP
de comando y los PIP del mensaje de error.
Un PIP de encabezamiento de trama incluye
habitualmente el número de los PIP de puntero que siguen para una
imagen adquirida actual, con estadísticas para la imagen actual tal
como la varianza de intensidad entre la imagen adquirida actual y
una imagen previa. Un PIP de comando emitido por el controlador
maestro 54 puede instruir a una cámara digital para ajustar uno o
más de sus valores configurados, tal como la exposición, o para
capturar una imagen a utilizar como nueva imagen de fondo. Un PIP de
error puede pasar una condición de error desde una cámara digital 63
al controlador maestro 54, para su almacenamiento en un registro de
errores.
Cada cámara digital 63 procesa cada imagen que
adquiere de la manera descrita anteriormente en respuesta a cada
señal de reloj generada por su DSP 84. Los PIP creados por los DSP
84 son solamente enviados al controlador maestro 54 cuando las
cámaras digitales 63 son sondeadas por el controlador maestro
54.
Cuando el controlador maestro 54 sondea las
cámaras digitales 63, se envían pulsos de sincronización de trama a
las cámaras digitales 63, para iniciar la transmisión de los PIP
creados por los DSP 84. Al recibir un pulso de sincronización de
tramas, cada DSP 84 transmite el PIP al controlador maestro 54 por
el bus de datos. Los PIP transmitidos al controlador maestro 54 son
recibidos mediante un puerto 96 en serie y
auto-almacenados temporalmente en el DSP 90.
Después de que el DSP 90 ha sondeado las cámaras
digitales 63 y ha recibido los PIP de cada una de las cámaras
digitales 63, que incluyen la información de puntero, el DSP 90
procesa los PIP utilizando triangulación para determinar la
localización del puntero con respecto a la superficie táctil 60 en
las coordenadas (x,y). Específicamente, los PIP de los pares de
cámaras digitales 63 son procesados usando triangulación.
La Figura 11 muestra que se necesitan dos
ángulos \phi_{cám1} y \phi_{cám2} para triangular la
posición (x_{0}, y_{0}) de un puntero con respecto a la
pantalla táctil 60. Los PIP generados por cada cámara digital 63
incluyen un número \theta (véase la Figura 12) que identifica la
línea media o la punta del puntero. Cuando el controlador maestro
54 recibe un PIP de una cámara digital 63, el controlador maestro
utiliza el número que representa la línea media o punta del puntero
y el campo de visión de la cámara digital para calcular el ángulo
\varphi_{cám} utilizando la ecuación:
en la
que:
x es el número que representa la línea media o
la punta del puntero; y
a es la longitud total abarcada por el campo de
visión (FOV) de la cámara digital a una distancia desde la
cámara.
El ángulo \phi_{cám} calculado es igual al
ángulo formado entre la extremidad del campo de visión que se
extiende más allá del borde periférico designado de la superficie
táctil 60 de la cámara digital 63 que generó el PIP y una línea que
se extiende desde el eje óptico de la cámara digital que interseca
el puntero dentro de la imagen adquirida. Preferiblemente, la
extremidad del campo de visión se extiende más allá del borde
periférico designado (es decir, en este caso, el eje x) de la
superficie táctica 60 dentro del campo de visión en una magnitud
conocida. Sin embargo, en casi todos los casos la gama
\delta_{cám} de desfase angular de cada cámara digital 63 es
diferente y desconocida.
Una vez que el controlador maestro 54 calcula el
ángulo \phi_{cám}, el controlador maestro 54 utiliza el ángulo
\phi_{cám} de desfase de la cámara, determinado durante la
calibración del desfase de la cámara, para ajustar el ángulo
\phi_{cám}. Con los dos ángulos disponibles y con los ángulos
\phi_{cám} ajustados, el controlador maestro 54 utiliza los
ángulos \phi_{cám} para determinar la posición del puntero con
respecto a la superficie táctil 60, utilizando triangulación.
En esta realización, dado que la pantalla táctil
52 incluye cuatro cámaras digitales 63, pueden utilizarse seis
pares de cámaras digitales para la triangulación. La siguiente
exposición describe cómo se determina una posición de puntero por
triangulación para cada par de cámaras digitales 63.
Con el fin de determinar una posición de puntero
utilizando los PIP recibidos de las cámaras digitales 63 a lo largo
del lado izquierdo de la pantalla táctil 52, se utilizan las
siguientes ecuaciones para determinar las coordenadas (x_{0},
y_{0}) de la posición del puntero, dados los ángulos \phi_{0}
y \phi_{1}, para las cámaras digitales superiores e
inferiores:
en la
que:
h es la altura de la pantalla táctil 52, es
decir, la distancia vertical entre punto de foco y punto de foco de
cámara digital;
w es el ancho de la pantalla táctil 52, es
decir, la distancia horizontal entre punto de foco y punto de foco
de cámara digital; y
\phi_{i} es el ángulo con respecto a la
horizontal, medido utilizando la cámara digital i y la ecuación
(0.7).
Para las cámaras digitales 63 a lo largo del
lado derecho de la pantalla táctil 52, se utilizan las siguientes
ecuaciones para determinar las coordenadas (x_{0,} y_{0}) de la
posición del puntero, dados los ángulos \phi_{2} y \phi_{3}
para las cámaras digitales superior e inferior:
La similitud entre las ecuaciones (0.8) y
(0.10), es decir, ecuación (0.10) = 1 - ecuación (0.8), una vez que
se han sustituido los ángulos \phi_{2} y \phi_{3} en la
ecuación (0.8) en lugar de los ángulos \phi_{1} y \phi_{2}
respectivamente, debería ser evidente. Las ecuaciones (0.9) y (0.11)
se relacionan en una forma similar.
Con el fin de determinar una posición de puntero
utilizando la cámaras digitales 63 a lo largo de la parte inferior
de la pantalla táctil 52, se utilizan las siguiente ecuaciones para
determinar las coordenadas (x_{0}, y_{0}) de la posición de
puntero, dados los ángulos \phi_{0} y \phi_{3} para las
cámaras digitales inferior izquierda e inferior derecha:
Con el fin de determinar una posición de puntero
utilizando las cámaras digitales 63 a lo largo de la parte superior
de la pantalla táctil 52, se utilizan las siguientes ecuaciones para
determinar las coordenadas (x_{0}, y_{0}) de la posición de
puntero, dados los ángulos \phi_{1} y \phi_{2} para las
cámaras digitales superior izquierda y superior derecha:
La similitud entre las ecuaciones (0.12) y
(0.14), es decir, la ecuación (0.14) = ecuación (0.12), una vez
sustituidos los ángulos \phi_{1} y \phi_{2} en la ecuación
(0.12) en lugar de los ángulos \phi_{0} y \phi_{3}, debería
ser evidente. Las ecuaciones (0.13) y (0.15) tienen la siguiente
relación: ecuación (0.15) = 1 - ecuación (0.13), una vez que se han
sustituido los ángulos \phi_{1} y \phi_{2} en la ecuación
(0.13) en lugar de los ángulos \phi_{0} y \phi_{3},
respectivamente.
Con el fin de determinar una posición de puntero
utilizando las cámaras digitales 63 sobre la diagonal de la esquina
inferior izquierda a la superior derecha, se utilizan las siguientes
ecuaciones para determinar las coordenadas (x0, y0) de la posición
de puntero, dados los ángulos \phi_{0} y \phi_{2} para las
cámaras digitales inferior izquierda y superior derecha:
Con el fin de determinar una posición de puntero
utilizando cámaras digitales 63 sobre la diagonal inferior derecha
a superior izquierda, se utilizan la siguientes ecuaciones para
determinar las coordenadas (x_{0}, y_{0}) de la posición de
puntero, dados los ángulos \phi_{1} y \phi_{3} de las
cámaras digitales inferior derecha y superior izquierda:
La similitud entre las ecuaciones (0.16) y
(0.18) es decir, la ecuación (0.18) = ecuación (0.16), una vez que
se han sustituido los ángulos \phi_{1} y \phi_{3} en la
ecuación (0.16) en lugar de los ángulos \phi_{0} y
\phi_{2}, debería ser evidente. Las ecuaciones (0.17) y (0.19)
tienen la siguiente relación: ecuación (0.19) = 1 - ecuación
(0.17), una vez que se han sustituido los ángulos \phi_{1} y
\phi_{3} en la ecuación (0.17) en lugar de los ángulos
\phi_{0} y \phi_{2}, respectivamente.
Como se apreciará, las anteriores ecuaciones
generan las coordenadas x_{0} e y_{0} en una escala de [0,1].
Por lo tanto, puede emplearse cualquier escala de coordenadas
adecuada multiplicando x_{0} e y_{0} por los valores X máximo e
Y máximo, respectivamente.
En la presente realización, el DSP 90 calcula la
posición del puntero utilizando triangulación para cada par de
cámaras digitales, excluyendo los pares diagonales. Las posiciones
de puntero resultantes se promedian luego, y las coordenadas de
posición de puntero resultantes se ponen en cola para su transmisión
al ordenador personal 56 mediante el puerto 90 en serie y el
controlador 94 de línea en serie.
Con la posición (x, y) de un puntero conocido
por triangulación, utilizando los coeficiente A a E calculados
durante la calibración de detección de superficie, se puede
determinar la coordenada z correspondiente a la posición (x, y),
utilizando la ecuación (0.1). El cálculo de la coordenada z y la
comparación de la coordenada z con el parámetro z en el PIP
proporciona una indicación en cuanto a si el puntero está planeando
sobre la superficie táctil 60 o si está en contacto efectivo con la
superficie táctil.
Si se desea, la velocidad v del puntero y el
ángulo pueden ser calculados por el DSP 90, como se muestra en la
figura 13. La velocidad del puntero se calcula examinando los
cambios en la posición z (o intersección x) del puntero en los PIP
sucesivos, y conociendo la velocidad de las tramas de la cámara. Por
ejemplo, si la velocidad de las tramas de la cámara es de 200
tramas por segundo y la posición z cambia a razón de una fila de
píxeles por trama, la velocidad del puntero es de 200 píxeles por
segundo.
El ángulo del puntero puede determinarse debido
al hecho de que el PIP incluye la intersección x en las filas de
píxeles 0 y 19 de la línea media. Dado que la distancia x (la
diferencia entre intersecciones x) y la distancia y (el número de
filas de píxeles) son conocidas, toda la información necesaria para
calcular el ángulo del puntero está disponible.
Si se desea, puede utilizarse un filtro de
Kalman (esencialmente, un procedimiento recursivo de mínimos
cuadrados) para "rastrear" efectivamente el puntero cuando
está dentro de una cierta distancia de la superficie táctil 60.
Para hacer esto, es necesario definir un sistema de ecuaciones o
modelo a utilizar en el filtro. Dado que el controlador maestro 54
es capaz de proporcionar la posición z y la velocidad v del puntero,
se puede utilizar la siguiente descripción:
\vskip1.000000\baselineskip
La segunda de estas ecuaciones se requiere ya
que el filtro tiene que saber qué hacer con la velocidad, y también
dado que tanto z como v son medibles. Definamos el vector de estado
como:
\vskip1.000000\baselineskip
Para relacionar el estado del sistema en dos
momentos sucesivos n y n+1, escribamos las ecuaciones del sistema
como una ecuación de diferencia de matrices:
\vskip1.000000\baselineskip
o bien, en notación
matricial,
\newpage
Aquí, dt denota el intervalo de tiempo
entre etapas de tiempo sucesivas. También se introduce aquí en el
lado derecho el término "ruido de proceso". Esto es meramente
formal, pero parte del procedimiento del filtro de Kalman. También
es necesario especificar cómo se introduce una medición en el
procedimiento. Esto se hace mediante la ecuación matricial:
\vskip1.000000\baselineskip
en la que z_{n} es una medición
de la posición y velocidad, H es una "matriz de medición" que
se toma como una matriz identidad, x_{n} es el vector de estado y
w es el ruido de medición. Esencialmente, se supone que las
mediciones son versiones ruidosas del vector de estado. También es
necesario definir una matriz de covarianza asociada a w. Si el
error de medición en z es de 0,5 píxeles, entonces la matriz de
covarianza
es:
\vskip1.000000\baselineskip
Una matriz similar Q se requiere para el ruido
de proceso introducido anteriormente, pero como esto es algo
arbitrario, se puede tratar como un parámetro de sintonización para
el filtro. En este ejemplo, la matriz Q se toma como una matriz
identidad multiplicada por un factor del orden de la unidad o menos.
Establecido lo anterior, hay suficiente información para iniciar el
proceso de filtro. La primera etapa (de predicción) es:
\vskip1.000000\baselineskip
Aquí, la notación (-) implica que no se ha hecho
aún una medición, mientras que (+) indica lo contrario (pero en
este caso el (+) se refiere a la etapa previa). Además, la ecuación
matricial para la matriz P predice una matriz de covarianza. La
siguiente etapa es el cálculo de ganancia del filtro:
\vskip1.000000\baselineskip
Una vez que se ha hecho una medición, se puede
actualizar la estimación de estado y su covarianza:
\vskip1.000000\baselineskip
Es esta estimación del estado x la que se
utiliza para determinar si ha ocurrido o no el contacto con la
superficie táctil. Obsérvese aquí que ambas matrices H y R son
constantes en el tiempo, y que sólo cambian las matrices K y P (de
hecho, P se aproxima a una matriz constante). Ocurre una
simplificación adicional en cuanto a que no hay ningún proceso de
control implicado.
Los resultados de la simulación Matlab de un
filtro de Kalman, llevada a cabo utilizando un conjunto de
mediciones que representa un puntero que se aproxima a la
superficie táctil 60 a una velocidad constante. Las figuras 15 y 16
ilustran la simulación, con un paso temporal dt de 0,1 seg y una
precisión de medición de 0,5 píxeles. Los símbolos abiertos
representan los datos, y las líneas la estimación del estado del
filtro de Kalman. Claramente, la estimación del estado sigue a los
datos bastante bien.
Se llevó a cabo una segunda simulación Matlab
para tomar en cuenta el movimiento vertical (z) y el horizontal (x)
de un puntero. Esta simulación es básicamente de dos filtros de
Kalman similares que funcionan juntos en una forma "paralela".
La formulación es exactamente la misma, excepto que se necesita
considerar el doble del número de variables. Las figuras l7a a 17d
muestran los resultados de la simulación y representan el movimiento
de un puntero hacia la superficie táctil 60 a velocidad constante y
en una posición x que varía lentamente (es decir, la mano de la
persona no está firme).
Aunque el sistema táctil 50 se ha descrito como
incluyendo un proyector para presentar imágenes en la pantalla
táctil, aquellos versados en la técnica apreciarán que esto no se
requiere. La pantalla táctil 52 puede ser transparente o
traslucida, y se puede colocar sobre una unidad de visualización de
tal forma que la pantalla presentada en la unidad de visualización
sea visible a través de la pantalla táctil. Además, la pantalla
táctil no necesita ser una hoja rectangular de material bordeado
por un marco. La pantalla táctil, de hecho, puede ser virtualmente
cualquier superficie dentro de campos de visión solapados de dos o
más cámaras digitales.
Además, aunque el sistema táctil 50 se describe
como incluyendo un controlador maestro separado de las cámaras
digitales, si se desea, una de las cámaras digitales se puede
acondicionar para funcionar como una cámara y como un controlador
maestro, y sondear a las otras cámaras digitales en busca de los
PIP. En este caso, se prefiere que la cámara digital que funciona
como el controlador maestro incluya un DSP 84 más rápido que las
restantes cámaras digitales.
Adicionalmente, aunque la rutina de detección de
superficies se describe como determinante de los coeficientes A a E
a utilizar con la ecuación (0.1), para calcular las coordenadas z
del puntero en un punto dado (x, y) con relación a la pantalla
táctil, durante la rutina de detección de superficie, el controlador
maestro 54 se puede programar para calcular una coordenada z para
regiones (x, y) únicas de la superficie táctil y almacenar las
coordenadas z en una tabla de búsqueda (LUT). En este caso; cuando
aparece un puntero en imágenes capturadas por las cámaras digitales
y la posición (x, y) del puntero con respecto a la superficie táctil
está determinada, se puede tomar una decisión en cuanto a si el
puntero está o no en contacto con la superficie táctil, comparando
la coordenada z en la correspondiente LUT con la región (x, y) en la
que se ubica el puntero, y con la fila de píxeles del sensor de
imagen y el ensamblaje de lentes en el que se sitúa la punta del
puntero.
Como se ha descrito anteriormente, el
controlador maestro 54 calcula o busca las coordenadas z de la
superficie táctil para cada cámara digital, y compara las
coordenadas z con la ubicación z de la punta del puntero, para
determinar si el puntero está en contacto efectivo con la superficie
táctil. Sin embargo, aquellos versados en la técnica apreciarán que
el DSP 84 en las cámaras digitales puede incluir software de
procesamiento de imágenes para determinar si el puntero está en
contacto efectivo con la superficie táctil. Este procesamiento de
imágenes se puede efectuar conjuntamente con, o en lugar de, la
determinación de contacto del puntero del controlador maestro.
Claims (5)
1. Un procedimiento de calibración y operación
de cámaras digitales (63) en un sistema táctil (50) con una
superficie táctil (60) sobre la cual se han de realizar los
contactos del puntero, teniendo cada cámara digital (63) una
formación seleccionable de píxeles, comprendiendo dicho
procedimiento las etapas de:
para cada cámara digital, adquirir una imagen
mirando hacia, y a través de dicha superficie táctil (60);
medir las coordenadas verticales (z) a partir de
las imágenes adquiridas;
utilizar las coordenadas verticales (z) medidas
para determinar la ubicación de la superficie táctil (60) en cada
una de las imágenes adquiridas; y
seleccionar un subconjunto de píxeles de la
formación seleccionable de píxeles de cada cámara digital, en base
a la ubicación determinada de la superficie táctil, de forma tal que
sólo se procesen píxeles de los subconjuntos de píxeles para
determinar la ubicación de dichos contactos del puntero.
\vskip1.000000\baselineskip
2. El procedimiento de la reivindicación 1, en
el cual dicha utilización comprende ajustar las coordenadas
verticales, para coordinadas rectangulares dadas, en una superficie
de la forma:
z(x,y) = Ax + By + Cx^{2} + Dy^{2} +
Exy + F, en la que
x, y y z son coordenadas y
A, B, C, D y F son coeficientes.
\vskip1.000000\baselineskip
3. El procedimiento de la reivindicación 2, en
el cual dichos coeficientes C, D y E son cero y dicha superficie es
un plano.
4. El procedimiento de la reivindicación 2 o 3,
en el cual las coordenadas verticales son ajustadas a dicha
superficie utilizando un procedimiento lineal de cuadrados
mínimos.
5. El procedimiento de cualquiera de las
reivindicaciones 1 a 4, en el cual cada subconjunto de píxeles
comprende una formación rectangular de píxeles.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US610481 | 2000-07-05 | ||
| US09/610,481 US6803906B1 (en) | 2000-07-05 | 2000-07-05 | Passive touch system and method of detecting user input |
| US29461101P | 2001-06-01 | 2001-06-01 | |
| US294611P | 2001-06-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2340945T3 true ES2340945T3 (es) | 2010-06-11 |
Family
ID=26968623
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES06019268T Expired - Lifetime ES2340945T3 (es) | 2000-07-05 | 2001-07-05 | Procedimiento para un sistema tactil basado en camaras. |
| ES01951266T Expired - Lifetime ES2279823T3 (es) | 2000-07-05 | 2001-07-05 | Sistema tactil basado en camaras. |
| ES10012779T Expired - Lifetime ES2396587T3 (es) | 2000-07-05 | 2001-07-05 | Método y aparato táctil en base a cámara |
| ES10012759T Expired - Lifetime ES2435248T3 (es) | 2000-07-05 | 2001-07-05 | Sistema y método táctil basado en cámaras |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES01951266T Expired - Lifetime ES2279823T3 (es) | 2000-07-05 | 2001-07-05 | Sistema tactil basado en camaras. |
| ES10012779T Expired - Lifetime ES2396587T3 (es) | 2000-07-05 | 2001-07-05 | Método y aparato táctil en base a cámara |
| ES10012759T Expired - Lifetime ES2435248T3 (es) | 2000-07-05 | 2001-07-05 | Sistema y método táctil basado en cámaras |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US7692625B2 (es) |
| EP (3) | EP1739529B1 (es) |
| JP (1) | JP5042437B2 (es) |
| CN (1) | CN1310126C (es) |
| AT (3) | ATE490501T1 (es) |
| AU (1) | AU2001272250A1 (es) |
| CA (1) | CA2412878C (es) |
| DE (3) | DE60143592D1 (es) |
| ES (4) | ES2340945T3 (es) |
| WO (1) | WO2002003316A1 (es) |
Families Citing this family (180)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6261095A (ja) * | 1985-09-11 | 1987-03-17 | カシオ計算機株式会社 | 波形エディット装置 |
| JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| JP2001184161A (ja) | 1999-12-27 | 2001-07-06 | Ricoh Co Ltd | 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体 |
| ES2340945T3 (es) | 2000-07-05 | 2010-06-11 | Smart Technologies Ulc | Procedimiento para un sistema tactil basado en camaras. |
| US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| US6919880B2 (en) | 2001-06-01 | 2005-07-19 | Smart Technologies Inc. | Calibrating camera offsets to facilitate object position determination using triangulation |
| US7499033B2 (en) | 2002-06-07 | 2009-03-03 | Smart Technologies Ulc | System and method for injecting ink into an application |
| US7283126B2 (en) | 2002-06-12 | 2007-10-16 | Smart Technologies Inc. | System and method for providing gesture suggestions to enhance interpretation of user input |
| US20040001144A1 (en) | 2002-06-27 | 2004-01-01 | Mccharles Randy | Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects |
| US6954197B2 (en) | 2002-11-15 | 2005-10-11 | Smart Technologies Inc. | Size/scale and orientation determination of a pointer in a camera-based touch system |
| US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
| US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
| US7532206B2 (en) * | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US7256772B2 (en) | 2003-04-08 | 2007-08-14 | Smart Technologies, Inc. | Auto-aligning touch system and method |
| EP1628196A4 (en) * | 2003-05-19 | 2008-10-29 | Eit Co Ltd | POSITION SENSOR WORKING WITH A SURFACE IMAGE SENSOR |
| US20050030293A1 (en) * | 2003-08-05 | 2005-02-10 | Lai Chih Chang | Method for predicting and estimating coordinates of a touch panel |
| US7411575B2 (en) | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
| US7355593B2 (en) * | 2004-01-02 | 2008-04-08 | Smart Technologies, Inc. | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
| US7232986B2 (en) * | 2004-02-17 | 2007-06-19 | Smart Technologies Inc. | Apparatus for detecting a pointer within a region of interest |
| US7460110B2 (en) | 2004-04-29 | 2008-12-02 | Smart Technologies Ulc | Dual mode touch system |
| US7492357B2 (en) * | 2004-05-05 | 2009-02-17 | Smart Technologies Ulc | Apparatus and method for detecting a pointer relative to a touch surface |
| US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US8120596B2 (en) | 2004-05-21 | 2012-02-21 | Smart Technologies Ulc | Tiled touch system |
| US7372456B2 (en) * | 2004-07-07 | 2008-05-13 | Smart Technologies Inc. | Method and apparatus for calibrating an interactive touch system |
| US7711681B2 (en) | 2004-11-05 | 2010-05-04 | Accenture Global Services Gmbh | System for distributed information presentation and interaction |
| WO2006054207A1 (en) * | 2004-11-16 | 2006-05-26 | Koninklijke Philips Electronics N.V. | Touchless manipulation of images for regional enhancement |
| US7847789B2 (en) * | 2004-11-23 | 2010-12-07 | Microsoft Corporation | Reducing accidental touch-sensitive device activation |
| EP1897010A1 (en) | 2005-06-30 | 2008-03-12 | Nokia Corporation | Camera control means to allow operating of a destined location of the information surface of a presentation and information system |
| US20070064004A1 (en) * | 2005-09-21 | 2007-03-22 | Hewlett-Packard Development Company, L.P. | Moving a graphic element |
| US8018579B1 (en) | 2005-10-21 | 2011-09-13 | Apple Inc. | Three-dimensional imaging and display system |
| US7599520B2 (en) * | 2005-11-18 | 2009-10-06 | Accenture Global Services Gmbh | Detection of multiple targets on a plane of interest |
| US8209620B2 (en) * | 2006-01-31 | 2012-06-26 | Accenture Global Services Limited | System for storage and navigation of application states and interactions |
| WO2007074403A2 (en) * | 2005-11-18 | 2007-07-05 | Accenture Global Services Gmbh | Multiple target detection and application state navigation system |
| US20070165007A1 (en) * | 2006-01-13 | 2007-07-19 | Gerald Morrison | Interactive input system |
| EP1821184A3 (en) * | 2006-02-08 | 2007-11-14 | Almeva AG | System and method for interacting with a display through a shop window |
| US20070205994A1 (en) * | 2006-03-02 | 2007-09-06 | Taco Van Ieperen | Touch system and method for interacting with the same |
| KR101127517B1 (ko) * | 2006-06-15 | 2012-03-23 | (주)나노티에스 | 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린장치 |
| WO2007148429A1 (ja) | 2006-06-19 | 2007-12-27 | Newcom, Inc. | 電磁誘導を用いて物体を検出する物体検出装置 |
| EP2077484A1 (en) * | 2006-10-24 | 2009-07-08 | Newcom, Inc. | Operating tool with conductor piece |
| US9442607B2 (en) * | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
| DE102007021537B4 (de) * | 2006-12-13 | 2020-01-02 | Lg Display Co., Ltd. | Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion |
| KR101330471B1 (ko) | 2006-12-15 | 2013-11-20 | 엘지디스플레이 주식회사 | 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 |
| KR101346865B1 (ko) * | 2006-12-15 | 2014-01-02 | 엘지디스플레이 주식회사 | 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 |
| US8139045B2 (en) * | 2006-12-15 | 2012-03-20 | Lg Display Co., Ltd. | Display device having multi-touch recognizing function and driving method thereof |
| KR100915627B1 (ko) * | 2007-03-29 | 2009-09-04 | 주식회사 토비스 | 광학센서유닛에 의한 응답구조를 갖는 터치패널 구동방법 |
| US8115753B2 (en) | 2007-04-11 | 2012-02-14 | Next Holdings Limited | Touch screen system with hover and click input methods |
| US20090140992A1 (en) * | 2007-06-16 | 2009-06-04 | Sunrise Telecom Incorporated | Display system |
| US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
| KR20100075460A (ko) | 2007-08-30 | 2010-07-02 | 넥스트 홀딩스 인코포레이티드 | 저 프로파일 터치 패널 시스템 |
| US8432377B2 (en) | 2007-08-30 | 2013-04-30 | Next Holdings Limited | Optical touchscreen with improved illumination |
| DK2229617T3 (da) | 2007-12-05 | 2011-08-29 | Almeva Ag | Interaktionsanordning til interaktion mellem en billedskærm og et pegeobjekt |
| US8405636B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
| US7781722B2 (en) * | 2008-02-07 | 2010-08-24 | Lumio Inc | Optical touch screen assembly |
| US20090278795A1 (en) * | 2008-05-09 | 2009-11-12 | Smart Technologies Ulc | Interactive Input System And Illumination Assembly Therefor |
| US8902193B2 (en) | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| US8887063B2 (en) * | 2008-05-21 | 2014-11-11 | Smart Technologies Ulc | Desktop sharing method and system |
| WO2009146544A1 (en) * | 2008-06-05 | 2009-12-10 | Smart Technologies Ulc | Multiple pointer ambiguity and occlusion resolution |
| US8131502B2 (en) * | 2008-10-10 | 2012-03-06 | Pixart Imaging Inc. | Sensing system and method for obtaining location of pointer thereof |
| US8135561B2 (en) * | 2008-10-10 | 2012-03-13 | Pixart Imaging Inc. | Sensing system |
| TWI471823B (zh) | 2008-07-31 | 2015-02-01 | Pixart Imaging Inc | 以移動向量在微小點陣圖上決定座標的方法 |
| US9063615B2 (en) * | 2008-08-07 | 2015-06-23 | Rapt Ip Limited | Detecting multitouch events in an optical touch-sensitive device using line images |
| US9092092B2 (en) | 2008-08-07 | 2015-07-28 | Rapt Ip Limited | Detecting multitouch events in an optical touch-sensitive device using touch event templates |
| US8232511B2 (en) * | 2008-10-10 | 2012-07-31 | Pixart Imaging Inc. | Sensing system adapted to sense a pointer and calculate a location of the pointer |
| US8305363B2 (en) * | 2008-10-10 | 2012-11-06 | Pixart Imaging | Sensing system and locating method thereof |
| US8339378B2 (en) * | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
| TW201019191A (en) * | 2008-11-07 | 2010-05-16 | Pixart Imaging Inc | Touch system and method for obtaining position of pointer thereof |
| CN101840281B (zh) * | 2009-03-20 | 2012-12-05 | 原相科技股份有限公司 | 感测系统及其取得指示物的位置的方法 |
| EP2417513A4 (en) * | 2009-04-05 | 2013-10-30 | Radion Engineering Co Ltd | SYSTEM AND METHOD FOR UNIFIED DISPLAY AND INPUT |
| EP2287713A3 (en) * | 2009-06-17 | 2012-06-27 | SMART Technologies ULC | Interactive input system and method |
| US8860693B2 (en) * | 2009-07-08 | 2014-10-14 | Apple Inc. | Image processing for camera based motion tracking |
| US8692768B2 (en) | 2009-07-10 | 2014-04-08 | Smart Technologies Ulc | Interactive input system |
| KR101552988B1 (ko) * | 2009-07-10 | 2015-09-14 | 엘지디스플레이 주식회사 | 액정 표시장치의 구동장치와 그 구동방법 |
| TWI420357B (zh) * | 2009-08-28 | 2013-12-21 | Pixart Imaging Inc | 觸控系統及其指示物座標偵測方法 |
| US7932899B2 (en) * | 2009-09-01 | 2011-04-26 | Next Holdings Limited | Determining the location of touch points in a position detection system |
| CN102033657B (zh) * | 2009-09-24 | 2014-04-16 | 原相科技股份有限公司 | 触控系统及其指示物高度侦测方法和指示物坐标侦测方法 |
| US8547327B2 (en) * | 2009-10-07 | 2013-10-01 | Qualcomm Incorporated | Proximity object tracker |
| US20110095989A1 (en) * | 2009-10-23 | 2011-04-28 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| US20110095977A1 (en) * | 2009-10-23 | 2011-04-28 | Smart Technologies Ulc | Interactive input system incorporating multi-angle reflecting structure |
| US9213414B1 (en) * | 2009-11-13 | 2015-12-15 | Ezero Technologies Llc | Keyboard with integrated touch control |
| US10762172B2 (en) | 2010-10-05 | 2020-09-01 | Ai Cure Technologies Llc | Apparatus and method for object confirmation and tracking |
| US9293060B2 (en) | 2010-05-06 | 2016-03-22 | Ai Cure Technologies Llc | Apparatus and method for recognition of patient activities when obtaining protocol adherence data |
| US8605165B2 (en) | 2010-10-06 | 2013-12-10 | Ai Cure Technologies Llc | Apparatus and method for assisting monitoring of medication adherence |
| US20110119073A1 (en) | 2009-11-18 | 2011-05-19 | Al Cure Technologies LLC | Method and Apparatus for Verification of Medication Administration Adherence |
| US9183601B2 (en) | 2010-03-22 | 2015-11-10 | Ai Cure Technologies Llc | Method and apparatus for collection of protocol adherence data |
| US20110153360A1 (en) * | 2009-12-23 | 2011-06-23 | Al Cure Technologies LLC | Method and Apparatus for Verification of Clinical Trial Adherence |
| US8666781B2 (en) * | 2009-12-23 | 2014-03-04 | Ai Cure Technologies, LLC | Method and apparatus for management of clinical trials |
| US9256776B2 (en) | 2009-11-18 | 2016-02-09 | AI Cure Technologies, Inc. | Method and apparatus for identification |
| US20110128218A1 (en) * | 2009-12-01 | 2011-06-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| CN102096526B (zh) * | 2009-12-15 | 2015-11-25 | 乐金显示有限公司 | 光学传感单元、显示模块和使用光学传感单元的显示装置 |
| JP2011175543A (ja) * | 2010-02-25 | 2011-09-08 | Sanyo Electric Co Ltd | 指示体検出装置及びタッチパネル |
| CN102236477B (zh) * | 2010-04-21 | 2013-05-08 | 广达电脑股份有限公司 | 背景影像更新方法及触控屏幕 |
| US8338725B2 (en) * | 2010-04-29 | 2012-12-25 | Au Optronics Corporation | Camera based touch system |
| US9883786B2 (en) | 2010-05-06 | 2018-02-06 | Aic Innovations Group, Inc. | Method and apparatus for recognition of inhaler actuation |
| US10116903B2 (en) | 2010-05-06 | 2018-10-30 | Aic Innovations Group, Inc. | Apparatus and method for recognition of suspicious activities |
| US9875666B2 (en) | 2010-05-06 | 2018-01-23 | Aic Innovations Group, Inc. | Apparatus and method for recognition of patient activities |
| CN102346599B (zh) * | 2010-08-04 | 2015-06-03 | 北京汇冠新技术股份有限公司 | 触摸定位方法和触摸屏 |
| WO2012022018A1 (zh) | 2010-08-20 | 2012-02-23 | Chen Guozen | 激光光学触控模块及其模拟数字转换系统与方法 |
| TWI494824B (zh) * | 2010-08-24 | 2015-08-01 | Quanta Comp Inc | 光學觸控系統及方法 |
| CN102402340B (zh) * | 2010-09-08 | 2014-07-09 | 北京汇冠新技术股份有限公司 | 触摸定位方法、触摸屏、触摸系统和显示器 |
| EP2447811B1 (en) * | 2010-11-02 | 2019-12-18 | LG Display Co., Ltd. | Infrared sensor module, touch sensing method thereof, and auto calibration method applied to the same |
| GB2487043B (en) * | 2010-12-14 | 2013-08-14 | Epson Norway Res And Dev As | Camera-based multi-touch interaction and illumination system and method |
| US9019239B2 (en) * | 2010-11-29 | 2015-04-28 | Northrop Grumman Systems Corporation | Creative design systems and methods |
| US9665767B2 (en) | 2011-02-28 | 2017-05-30 | Aic Innovations Group, Inc. | Method and apparatus for pattern tracking |
| US9116553B2 (en) | 2011-02-28 | 2015-08-25 | AI Cure Technologies, Inc. | Method and apparatus for confirmation of object positioning |
| US8963883B2 (en) | 2011-03-17 | 2015-02-24 | Symbol Technologies, Inc. | Touchless interactive display system |
| US9262011B2 (en) | 2011-03-30 | 2016-02-16 | Smart Technologies Ulc | Interactive input system and method |
| US8390593B2 (en) | 2011-04-13 | 2013-03-05 | Google Inc. | Click disambiguation on a touch-sensitive input device |
| CN102294119A (zh) * | 2011-08-02 | 2011-12-28 | 广州市迪拓信息科技有限公司 | 一种触控设备感应控制方法及系统 |
| WO2013024430A1 (en) | 2011-08-16 | 2013-02-21 | Imax Corporation | Hybrid image decomposition and projection |
| US10558845B2 (en) | 2011-08-21 | 2020-02-11 | Aic Innovations Group, Inc. | Apparatus and method for determination of medication location |
| CN102306053B (zh) * | 2011-08-29 | 2014-09-10 | Tcl集团股份有限公司 | 一种基于虚拟触摸屏的人机交互方法、装置及电子设备 |
| CN102323866B (zh) * | 2011-09-01 | 2013-08-21 | 广东威创视讯科技股份有限公司 | 一种摄像式触摸控制方法及其装置 |
| US9503711B2 (en) | 2011-10-20 | 2016-11-22 | Imax Corporation | Reducing angular spread in digital image projection |
| US10326968B2 (en) | 2011-10-20 | 2019-06-18 | Imax Corporation | Invisible or low perceptibility of image alignment in dual projection systems |
| US8896688B2 (en) | 2011-11-04 | 2014-11-25 | Hewlett-Packard Development Company, L.P. | Determining position in a projection capture system |
| US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| CN102609153A (zh) * | 2012-01-29 | 2012-07-25 | 胡世曦 | 一种计算物体与工作平面的接触位置的装置 |
| JP6057407B2 (ja) * | 2012-02-22 | 2017-01-11 | 学校法人東京電機大学 | タッチ位置入力装置及びタッチ位置入力方法 |
| TWI470510B (zh) * | 2012-04-19 | 2015-01-21 | Wistron Corp | 光學觸控裝置及觸控感測方法 |
| TWI475446B (zh) * | 2012-04-24 | 2015-03-01 | Wistron Corp | 光學式觸控系統及其擷取訊號調整之方法 |
| CN103488348B (zh) * | 2012-06-11 | 2016-09-07 | 东友科技股份有限公司 | 影像感测器群组的定位方法 |
| CN102789340B (zh) * | 2012-06-27 | 2015-12-16 | 深圳市巨龙科教高技术股份有限公司 | 一种电子白板的白板坐标获取方法、装置及电子白板 |
| CN102778979A (zh) * | 2012-06-28 | 2012-11-14 | 广州视睿电子科技有限公司 | 光学触摸方法及其装置 |
| DE102012217638A1 (de) | 2012-09-27 | 2014-03-27 | Robert Bosch Gmbh | Interaktive Tafel und Haussteuerungssystem |
| US10234941B2 (en) | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
| TWI495949B (zh) * | 2012-10-24 | 2015-08-11 | Pixart Imaging Inc | 光學觸控系統之曝光機制及使用該機制之光學觸控系統 |
| TWI462033B (zh) * | 2012-11-02 | 2014-11-21 | Wistron Corp | 觸控系統及觸控系統的繪圖方法 |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
| US10241639B2 (en) | 2013-01-15 | 2019-03-26 | Leap Motion, Inc. | Dynamic user interactions for display control and manipulation of display objects |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| JP2014140942A (ja) * | 2013-01-25 | 2014-08-07 | Seiko Epson Corp | ロボット制御システム、ロボット、ロボット制御方法及びプログラム |
| US9399111B1 (en) | 2013-03-15 | 2016-07-26 | Aic Innovations Group, Inc. | Method and apparatus for emotional behavior therapy |
| US9702977B2 (en) | 2013-03-15 | 2017-07-11 | Leap Motion, Inc. | Determining positional information of an object in space |
| US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
| US9317916B1 (en) | 2013-04-12 | 2016-04-19 | Aic Innovations Group, Inc. | Apparatus and method for recognition of medication administration indicator |
| US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| US9436851B1 (en) | 2013-05-07 | 2016-09-06 | Aic Innovations Group, Inc. | Geometric encrypted coded image |
| US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
| US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| JP6202942B2 (ja) * | 2013-08-26 | 2017-09-27 | キヤノン株式会社 | 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体 |
| US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| CN104423720B (zh) * | 2013-09-02 | 2018-01-05 | 颜涌 | 一种基于摄像头的电脑输入设备和方法 |
| CN104423560B (zh) * | 2013-09-09 | 2018-11-13 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| US9824297B1 (en) | 2013-10-02 | 2017-11-21 | Aic Innovations Group, Inc. | Method and apparatus for medication identification |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US9478124B2 (en) | 2013-10-21 | 2016-10-25 | I-Interactive Llc | Remote control with enhanced touch surface input |
| US9625992B2 (en) | 2013-10-21 | 2017-04-18 | I-Interactive Llc | Remote control with dual activated touch sensor input |
| US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| CN103530061B (zh) * | 2013-10-31 | 2017-01-18 | 京东方科技集团股份有限公司 | 显示装置及控制方法 |
| CN104679353B (zh) * | 2013-11-29 | 2017-08-25 | 纬创资通股份有限公司 | 光学触控装置及触控点坐标的计算方法 |
| US9317150B2 (en) * | 2013-12-28 | 2016-04-19 | Intel Corporation | Virtual and configurable touchscreens |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| TWI528226B (zh) * | 2014-01-15 | 2016-04-01 | 緯創資通股份有限公司 | 影像式觸控裝置及其控制方法 |
| GB2522248A (en) * | 2014-01-20 | 2015-07-22 | Promethean Ltd | Interactive system |
| LU92408B1 (en) * | 2014-03-21 | 2015-09-22 | Olivier Raulot | User gesture recognition |
| CN103973975B (zh) * | 2014-04-10 | 2017-11-07 | 北京智谷睿拓技术服务有限公司 | 交互方法、装置及用户设备 |
| TWI578295B (zh) * | 2014-04-21 | 2017-04-11 | 緯創資通股份有限公司 | 顯示器及其亮度調整方法 |
| US9679113B2 (en) | 2014-06-11 | 2017-06-13 | Aic Innovations Group, Inc. | Medication adherence monitoring system and method |
| WO2016018274A1 (en) * | 2014-07-30 | 2016-02-04 | Hewlett-Packard Development Company, L.P. | Transparent whiteboard display |
| DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
| JP6464624B2 (ja) * | 2014-09-12 | 2019-02-06 | 株式会社リコー | 画像処理システム、画像処理装置、方法およびプログラム |
| US10429923B1 (en) | 2015-02-13 | 2019-10-01 | Ultrahaptics IP Two Limited | Interaction engine for creating a realistic experience in virtual reality/augmented reality environments |
| US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
| JP6665415B2 (ja) * | 2015-03-30 | 2020-03-13 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
| US10289239B2 (en) | 2015-07-09 | 2019-05-14 | Microsoft Technology Licensing, Llc | Application programming interface for multi-touch input detection |
| WO2019060367A1 (en) | 2017-09-19 | 2019-03-28 | Adam Hanina | APPARATUS AND METHOD FOR RECOGNIZING SUSPECT ACTIVITIES |
| US11859961B2 (en) | 2018-01-25 | 2024-01-02 | Neonode Inc. | Optics for vehicle occupant monitoring systems |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| KR102469722B1 (ko) | 2018-09-21 | 2022-11-22 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US11281337B1 (en) | 2019-09-24 | 2022-03-22 | Apple Inc. | Mirror accessory for camera based touch detection |
Family Cites Families (132)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4144449A (en) * | 1977-07-08 | 1979-03-13 | Sperry Rand Corporation | Position detection apparatus |
| CA1109539A (en) * | 1978-04-05 | 1981-09-22 | Her Majesty The Queen, In Right Of Canada, As Represented By The Ministe R Of Communications | Touch sensitive computer input device |
| US4558313A (en) | 1981-12-31 | 1985-12-10 | International Business Machines Corporation | Indicator to data processing interface |
| US4507557A (en) * | 1983-04-01 | 1985-03-26 | Siemens Corporate Research & Support, Inc. | Non-contact X,Y digitizer using two dynamic ram imagers |
| DE3616490A1 (de) * | 1985-05-17 | 1986-11-27 | Alps Electric Co Ltd | Optische koordinaten-eingabe-vorrichtung |
| JPS61262917A (ja) * | 1985-05-17 | 1986-11-20 | Alps Electric Co Ltd | 光電式タツチパネルのフイルタ− |
| US4822145A (en) * | 1986-05-14 | 1989-04-18 | Massachusetts Institute Of Technology | Method and apparatus utilizing waveguide and polarized light for display of dynamic images |
| JPS6375918A (ja) * | 1986-09-19 | 1988-04-06 | Alps Electric Co Ltd | 座標入力装置 |
| US4782328A (en) | 1986-10-02 | 1988-11-01 | Product Development Services, Incorporated | Ambient-light-responsive touch screen data input method and system |
| US4746770A (en) * | 1987-02-17 | 1988-05-24 | Sensor Frame Incorporated | Method and apparatus for isolating and manipulating graphic objects on computer video monitor |
| US4907156A (en) * | 1987-06-30 | 1990-03-06 | University Of Chicago | Method and system for enhancement and detection of abnormal anatomic regions in a digital image |
| JPH01320521A (ja) | 1988-06-22 | 1989-12-26 | Wacom Co Ltd | 電子黒板装置及びその筆記具等 |
| US5109435A (en) * | 1988-08-08 | 1992-04-28 | Hughes Aircraft Company | Segmentation method for use against moving objects |
| US5130794A (en) | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
| US5097516A (en) * | 1991-02-28 | 1992-03-17 | At&T Bell Laboratories | Technique for illuminating a surface with a gradient intensity line of light to achieve enhanced two-dimensional imaging |
| US5448263A (en) | 1991-10-21 | 1995-09-05 | Smart Technologies Inc. | Interactive display system |
| GB9201949D0 (en) * | 1992-01-30 | 1992-03-18 | Jenkin Michael | Large-scale,touch-sensitive video display |
| US5483261A (en) * | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
| US5880411A (en) * | 1992-06-08 | 1999-03-09 | Synaptics, Incorporated | Object position detector with edge motion feature and gesture recognition |
| US5724743A (en) * | 1992-09-04 | 1998-03-10 | Snap-On Technologies, Inc. | Method and apparatus for determining the alignment of motor vehicle wheels |
| JP3244798B2 (ja) | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
| US5982352A (en) | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
| EP0594146B1 (en) * | 1992-10-22 | 2002-01-09 | Advanced Interconnection Technology, Inc. | System for automatic optical inspection of wire scribed circuit boards |
| US5317140A (en) * | 1992-11-24 | 1994-05-31 | Dunthorn David I | Diffusion-assisted position location particularly for visual pen detection |
| US5502568A (en) * | 1993-03-23 | 1996-03-26 | Wacom Co., Ltd. | Optical position detecting unit, optical coordinate input unit and optical position detecting method employing a pattern having a sequence of 1's and 0's |
| US5359155A (en) * | 1993-03-25 | 1994-10-25 | Tiger Scientific Corp. | Illumination apparatus for a digitizer tablet |
| US5729704A (en) * | 1993-07-21 | 1998-03-17 | Xerox Corporation | User-directed method for operating on an object-based model data structure through a second contextual image |
| JPH07230352A (ja) * | 1993-09-16 | 1995-08-29 | Hitachi Ltd | タッチ位置検出装置及びタッチ指示処理装置 |
| US5484966A (en) * | 1993-12-07 | 1996-01-16 | At&T Corp. | Sensing stylus position using single 1-D image sensor |
| GB2286100A (en) * | 1994-01-19 | 1995-08-02 | Ibm | Touch-sensitive display apparatus |
| US5577733A (en) | 1994-04-08 | 1996-11-26 | Downing; Dennis L. | Targeting system |
| US5771039A (en) * | 1994-06-06 | 1998-06-23 | Ditzik; Richard J. | Direct view display device integration techniques |
| US5528263A (en) * | 1994-06-15 | 1996-06-18 | Daniel M. Platzker | Interactive projected video image display system |
| US5737740A (en) * | 1994-06-27 | 1998-04-07 | Numonics | Apparatus and method for processing electronic documents |
| US5638092A (en) * | 1994-12-20 | 1997-06-10 | Eng; Tommy K. | Cursor control system |
| JPH08179888A (ja) | 1994-12-21 | 1996-07-12 | Hitachi Ltd | 大画面ディスプレイ用入力装置 |
| US5554828A (en) * | 1995-01-03 | 1996-09-10 | Texas Instruments Inc. | Integration of pen-based capability into a field emission device system |
| US5736686A (en) * | 1995-03-01 | 1998-04-07 | Gtco Corporation | Illumination apparatus for a digitizer tablet with improved light panel |
| DE69634913T2 (de) * | 1995-04-28 | 2006-01-05 | Matsushita Electric Industrial Co., Ltd., Kadoma | Schnittstellenvorrichtung |
| JP3436828B2 (ja) * | 1995-05-08 | 2003-08-18 | 株式会社リコー | 画像処理装置 |
| US5786810A (en) | 1995-06-07 | 1998-07-28 | Compaq Computer Corporation | Method of determining an object's position and associated apparatus |
| JPH09106320A (ja) | 1995-08-24 | 1997-04-22 | Symbios Logic Inc | 図形入力装置および図形入力方法 |
| US5818424A (en) * | 1995-10-19 | 1998-10-06 | International Business Machines Corporation | Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space |
| US5825352A (en) * | 1996-01-04 | 1998-10-20 | Logitech, Inc. | Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad |
| JPH09190284A (ja) | 1996-01-11 | 1997-07-22 | Canon Inc | 情報処理装置およびその方法 |
| TW394879B (en) * | 1996-02-09 | 2000-06-21 | Sega Enterprises Kk | Graphics processing system and its data input device |
| US5991456A (en) * | 1996-05-29 | 1999-11-23 | Science And Technology Corporation | Method of improving a digital image |
| US6002808A (en) | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
| US5745116A (en) * | 1996-09-09 | 1998-04-28 | Motorola, Inc. | Intuitive gesture-based graphical user interface |
| US5936615A (en) * | 1996-09-12 | 1999-08-10 | Digital Equipment Corporation | Image-based touchscreen |
| US5819201A (en) * | 1996-09-13 | 1998-10-06 | Magellan Dis, Inc. | Navigation system with vehicle service information |
| JPH10124689A (ja) * | 1996-10-15 | 1998-05-15 | Nikon Corp | 画像記録再生装置 |
| JP3625349B2 (ja) * | 1997-02-12 | 2005-03-02 | 株式会社東芝 | 画像入力装置および画像入力方法 |
| US5953469A (en) | 1996-10-29 | 1999-09-14 | Xeotron Corporation | Optical device utilizing optical waveguides and mechanical light-switches |
| US6061177A (en) * | 1996-12-19 | 2000-05-09 | Fujimoto; Kenneth Noboru | Integrated computer display and graphical input apparatus and method |
| US6252989B1 (en) * | 1997-01-07 | 2001-06-26 | Board Of The Regents, The University Of Texas System | Foveated image coding system and method for image bandwidth reduction |
| JP3624070B2 (ja) * | 1997-03-07 | 2005-02-23 | キヤノン株式会社 | 座標入力装置及びその制御方法 |
| US5914709A (en) * | 1997-03-14 | 1999-06-22 | Poa Sana, Llc | User input device for a computer system |
| US6153836A (en) | 1997-04-02 | 2000-11-28 | Goszyk; Kurt A. | Adjustable area coordinate position data-capture system |
| JP3876942B2 (ja) * | 1997-06-13 | 2007-02-07 | 株式会社ワコム | 光デジタイザ |
| US6161066A (en) * | 1997-08-18 | 2000-12-12 | The Texas A&M University System | Advanced law enforcement and response technology |
| US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| US20020036617A1 (en) * | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
| US6243074B1 (en) * | 1997-08-29 | 2001-06-05 | Xerox Corporation | Handedness detection for a physical manipulatory grammar |
| US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| WO1999021122A1 (en) * | 1997-10-22 | 1999-04-29 | Ascent Technology, Inc. | Voice-output reading system with gesture-based navigation |
| JP3794180B2 (ja) * | 1997-11-11 | 2006-07-05 | セイコーエプソン株式会社 | 座標入力システム及び座標入力装置 |
| TW449709B (en) * | 1997-11-17 | 2001-08-11 | Hewlett Packard Co | A method for distinguishing a contact input |
| US6310610B1 (en) * | 1997-12-04 | 2001-10-30 | Nortel Networks Limited | Intelligent touch display |
| US6323846B1 (en) | 1998-01-26 | 2001-11-27 | University Of Delaware | Method and apparatus for integrating manual input |
| AU2439399A (en) | 1998-02-09 | 1999-08-23 | Haim Azaria | Video camera computer touch screen system |
| JP2000105671A (ja) * | 1998-05-11 | 2000-04-11 | Ricoh Co Ltd | 座標入力／検出装置および電子黒板システム |
| JP4033582B2 (ja) * | 1998-06-09 | 2008-01-16 | 株式会社リコー | 座標入力／検出装置および電子黒板システム |
| US6064354A (en) * | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
| JP2000089913A (ja) * | 1998-09-08 | 2000-03-31 | Gunze Ltd | タッチパネル入力座標変換装置 |
| DE19845030A1 (de) * | 1998-09-30 | 2000-04-20 | Siemens Ag | Bildsystem |
| US6972753B1 (en) | 1998-10-02 | 2005-12-06 | Semiconductor Energy Laboratory Co., Ltd. | Touch panel, display device provided with touch panel and electronic equipment provided with display device |
| US6335724B1 (en) * | 1999-01-29 | 2002-01-01 | Ricoh Company, Ltd. | Method and device for inputting coordinate-position and a display board system |
| US6545669B1 (en) * | 1999-03-26 | 2003-04-08 | Husam Kinawi | Object-drag continuity between discontinuous touch-screens |
| TW459192B (en) * | 1999-06-25 | 2001-10-11 | Toshiba Corp | Electronic apparatus and electronic system provided with the same |
| US6671419B1 (en) * | 1999-07-02 | 2003-12-30 | Intel Corporation | Method for reducing shadows and/or noise in a digital image |
| JP2001060145A (ja) * | 1999-08-23 | 2001-03-06 | Ricoh Co Ltd | 座標入力／検出システムおよびその位置合わせ調整方法 |
| JP3905670B2 (ja) * | 1999-09-10 | 2007-04-18 | 株式会社リコー | 座標入力検出装置、情報記憶媒体及び座標入力検出方法 |
| JP4057200B2 (ja) * | 1999-09-10 | 2008-03-05 | 株式会社リコー | 座標入力装置および座標入力装置の記録媒体 |
| US6512838B1 (en) * | 1999-09-22 | 2003-01-28 | Canesta, Inc. | Methods for enhancing performance and data acquired from three-dimensional image systems |
| JP4052498B2 (ja) * | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| US6710770B2 (en) * | 2000-02-11 | 2004-03-23 | Canesta, Inc. | Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device |
| JP3934846B2 (ja) * | 2000-03-06 | 2007-06-20 | 株式会社リコー | 座標入力／検出装置、電子黒板システム、受光素子の位置ズレ補正方法及び記憶媒体 |
| JP2001265516A (ja) * | 2000-03-16 | 2001-09-28 | Ricoh Co Ltd | 座標入力装置 |
| JP2001282445A (ja) * | 2000-03-31 | 2001-10-12 | Ricoh Co Ltd | 座標入力／検出装置および情報表示入力装置 |
| JP3834766B2 (ja) | 2000-04-03 | 2006-10-18 | 独立行政法人科学技術振興機構 | マンマシーン・インターフェース・システム |
| US6864882B2 (en) * | 2000-05-24 | 2005-03-08 | Next Holdings Limited | Protected touch panel display system |
| US6690397B1 (en) * | 2000-06-05 | 2004-02-10 | Advanced Neuromodulation Systems, Inc. | System for regional data association and presentation and method for the same |
| US6690363B2 (en) * | 2000-06-19 | 2004-02-10 | Next Holdings Limited | Touch panel display system |
| ES2340945T3 (es) | 2000-07-05 | 2010-06-11 | Smart Technologies Ulc | Procedimiento para un sistema tactil basado en camaras. |
| US6803906B1 (en) * | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| US7466843B2 (en) | 2000-07-07 | 2008-12-16 | Pryor Timothy R | Multi-functional control and entertainment systems |
| US6531999B1 (en) * | 2000-07-13 | 2003-03-11 | Koninklijke Philips Electronics N.V. | Pointing direction calibration in video conferencing and other camera-based system applications |
| US6747663B2 (en) * | 2000-08-24 | 2004-06-08 | Sun Microsystems, Inc. | Interpolating sample values from known triangle vertex values |
| NO311740B1 (no) | 2000-09-11 | 2002-01-14 | Tormod Njoelstad | Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid |
| JP3793014B2 (ja) * | 2000-10-03 | 2006-07-05 | キヤノン株式会社 | 電子源の製造装置、電子源の製造方法及び画像形成装置の製造方法 |
| US7058204B2 (en) * | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
| US6680834B2 (en) * | 2000-10-04 | 2004-01-20 | Honeywell International Inc. | Apparatus and method for controlling LED arrays |
| US6774889B1 (en) * | 2000-10-24 | 2004-08-10 | Microsoft Corporation | System and method for transforming an ordinary computer monitor screen into a touch screen |
| US7016532B2 (en) * | 2000-11-06 | 2006-03-21 | Evryx Technologies | Image capture and identification system and process |
| US6518600B1 (en) | 2000-11-17 | 2003-02-11 | General Electric Company | Dual encapsulation for an LED |
| US7030861B1 (en) * | 2001-02-10 | 2006-04-18 | Wayne Carl Westerman | System and method for packing multi-touch gestures onto a hand |
| JP4551018B2 (ja) | 2001-04-05 | 2010-09-22 | 富士通株式会社 | 画像結合装置 |
| US6919880B2 (en) * | 2001-06-01 | 2005-07-19 | Smart Technologies Inc. | Calibrating camera offsets to facilitate object position determination using triangulation |
| GB2378073B (en) * | 2001-07-27 | 2005-08-31 | Hewlett Packard Co | Paper-to-computer interfaces |
| US7007236B2 (en) * | 2001-09-14 | 2006-02-28 | Accenture Global Services Gmbh | Lab window collaboration |
| JP2003162370A (ja) | 2001-09-14 | 2003-06-06 | Ricoh Co Ltd | 画像処理装置、タッチパネル付きディスプレイ装置、画像処理方法、および画像処理方法をコンピュータに実行させるプログラム |
| JP2003173237A (ja) * | 2001-09-28 | 2003-06-20 | Ricoh Co Ltd | 情報入出力システム、プログラム及び記憶媒体 |
| US7254775B2 (en) * | 2001-10-03 | 2007-08-07 | 3M Innovative Properties Company | Touch panel system and method for distinguishing multiple touch inputs |
| JP3920067B2 (ja) * | 2001-10-09 | 2007-05-30 | 株式会社イーアイティー | 座標入力装置 |
| JP2003167669A (ja) * | 2001-11-22 | 2003-06-13 | Internatl Business Mach Corp <Ibm> | 情報処理装置、プログラム及び座標入力方法 |
| US6628216B2 (en) * | 2002-02-13 | 2003-09-30 | Intersil Americas Inc. | Calibration of resistor ladder using difference measurement and parallel resistive correction |
| US7038659B2 (en) * | 2002-04-06 | 2006-05-02 | Janusz Wiktor Rajkowski | Symbol encoding apparatus and method |
| US7067763B2 (en) | 2002-05-17 | 2006-06-27 | Gsi Group Corporation | High speed, laser-based marking method and system for producing machine readable marks on workpieces and semiconductor devices with reduced subsurface damage produced thereby |
| US20030226968A1 (en) | 2002-06-10 | 2003-12-11 | Steve Montellese | Apparatus and method for inputting data |
| US7260257B2 (en) * | 2002-06-19 | 2007-08-21 | Microsoft Corp. | System and method for whiteboard and audio capture |
| US6972401B2 (en) | 2003-01-30 | 2005-12-06 | Smart Technologies Inc. | Illuminated bezel and touch system incorporating the same |
| US7629967B2 (en) * | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
| US6947032B2 (en) * | 2003-03-11 | 2005-09-20 | Smart Technologies Inc. | Touch system and method for determining pointer contacts on a touch surface |
| US7532206B2 (en) * | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US7665041B2 (en) * | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| US20050052427A1 (en) * | 2003-09-10 | 2005-03-10 | Wu Michael Chi Hung | Hand gesture interaction with touch surface |
| US7411575B2 (en) * | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US7274356B2 (en) * | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
| US7265752B2 (en) * | 2004-01-09 | 2007-09-04 | Microsoft Corporation | Multi-chart geometry images |
| US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US20080129707A1 (en) | 2004-07-27 | 2008-06-05 | Pryor Timothy R | Method and apparatus employing multi-functional controls and displays |
-
2001
- 2001-07-05 ES ES06019268T patent/ES2340945T3/es not_active Expired - Lifetime
- 2001-07-05 AT AT06019269T patent/ATE490501T1/de not_active IP Right Cessation
- 2001-07-05 CN CNB018123600A patent/CN1310126C/zh not_active Expired - Fee Related
- 2001-07-05 CA CA2412878A patent/CA2412878C/en not_active Expired - Lifetime
- 2001-07-05 DE DE60143592T patent/DE60143592D1/de not_active Expired - Lifetime
- 2001-07-05 ES ES01951266T patent/ES2279823T3/es not_active Expired - Lifetime
- 2001-07-05 US US10/312,983 patent/US7692625B2/en not_active Expired - Lifetime
- 2001-07-05 AT AT01951266T patent/ATE345525T1/de not_active IP Right Cessation
- 2001-07-05 EP EP06019269A patent/EP1739529B1/en not_active Expired - Lifetime
- 2001-07-05 EP EP06019268A patent/EP1739528B1/en not_active Expired - Lifetime
- 2001-07-05 EP EP01951266A patent/EP1297488B1/en not_active Expired - Lifetime
- 2001-07-05 AT AT06019268T patent/ATE453147T1/de not_active IP Right Cessation
- 2001-07-05 DE DE60124549T patent/DE60124549T2/de not_active Expired - Lifetime
- 2001-07-05 ES ES10012779T patent/ES2396587T3/es not_active Expired - Lifetime
- 2001-07-05 AU AU2001272250A patent/AU2001272250A1/en not_active Abandoned
- 2001-07-05 WO PCT/CA2001/000980 patent/WO2002003316A1/en active IP Right Grant
- 2001-07-05 JP JP2002507309A patent/JP5042437B2/ja not_active Expired - Fee Related
- 2001-07-05 ES ES10012759T patent/ES2435248T3/es not_active Expired - Lifetime
- 2001-07-05 DE DE60140909T patent/DE60140909D1/de not_active Expired - Lifetime
-
2010
- 2010-04-01 US US12/753,017 patent/US9176627B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| ATE345525T1 (de) | 2006-12-15 |
| JP5042437B2 (ja) | 2012-10-03 |
| ATE490501T1 (de) | 2010-12-15 |
| EP1739528B1 (en) | 2009-12-23 |
| EP1739529A1 (en) | 2007-01-03 |
| EP1297488A1 (en) | 2003-04-02 |
| CA2412878C (en) | 2015-02-03 |
| US20100188370A1 (en) | 2010-07-29 |
| DE60124549D1 (de) | 2006-12-28 |
| ES2279823T3 (es) | 2007-09-01 |
| ATE453147T1 (de) | 2010-01-15 |
| DE60143592D1 (de) | 2011-01-13 |
| CN1310126C (zh) | 2007-04-11 |
| US20050077452A1 (en) | 2005-04-14 |
| EP1739528A1 (en) | 2007-01-03 |
| EP1297488B1 (en) | 2006-11-15 |
| DE60124549T2 (de) | 2007-09-06 |
| EP1739529B1 (en) | 2010-12-01 |
| US7692625B2 (en) | 2010-04-06 |
| US9176627B2 (en) | 2015-11-03 |
| ES2435248T3 (es) | 2013-12-17 |
| WO2002003316A1 (en) | 2002-01-10 |
| CA2412878A1 (en) | 2002-01-10 |
| ES2396587T3 (es) | 2013-02-22 |
| DE60140909D1 (de) | 2010-02-04 |
| AU2001272250A1 (en) | 2002-01-14 |
| CN1440539A (zh) | 2003-09-03 |
| JP2004502261A (ja) | 2004-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2340945T3 (es) | Procedimiento para un sistema tactil basado en camaras. | |
| ES2361457T3 (es) | Sistema y procedimiento táctil en base a cámara. | |
| ES2392228T3 (es) | Sistema táctil de alineación automática y método correspondiente | |
| US8228304B2 (en) | Size/scale orientation determination of a pointer in a camera-based touch system | |
| JP4437748B2 (ja) | プロジェクタによる位置および向きの読み取り | |
| US8971565B2 (en) | Human interface electronic device | |
| ES2394586T3 (es) | Sistema y método para diferenciar entre punteros utilizados para hacer contacto con superficie táctil | |
| US7372456B2 (en) | Method and apparatus for calibrating an interactive touch system | |
| US9971455B2 (en) | Spatial coordinate identification device | |
| ES2394587T3 (es) | Sistema de ingreso interactivo y método | |
| US11048363B2 (en) | Floating display device and method for a floating display device to indicate touch position |