ES2386225A1 - Dispositivo de multiple tacto por proyeccion de imagenes y datos sobre superficies - Google Patents

Dispositivo de multiple tacto por proyeccion de imagenes y datos sobre superficies Download PDF

Info

Publication number
ES2386225A1
ES2386225A1 ES201000204A ES201000204A ES2386225A1 ES 2386225 A1 ES2386225 A1 ES 2386225A1 ES 201000204 A ES201000204 A ES 201000204A ES 201000204 A ES201000204 A ES 201000204A ES 2386225 A1 ES2386225 A1 ES 2386225A1
Authority
ES
Spain
Prior art keywords
images
data
touch device
projection
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
ES201000204A
Other languages
English (en)
Other versions
ES2386225B1 (es
Inventor
Vicente Abarca Fernandez
Javier Alcala Esterlich
Mariano Luis Alcañiz Raya
Manuel Roberto Contero Gonzalez
Jose Miguel Martinez Saez
Mario Ortega Perez
Emilio Soto Candela
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad Politecnica de Valencia
Original Assignee
Universidad Politecnica de Valencia
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad Politecnica de Valencia filed Critical Universidad Politecnica de Valencia
Priority to ES201000204A priority Critical patent/ES2386225B1/es
Priority to PCT/ES2011/070081 priority patent/WO2011101518A1/es
Publication of ES2386225A1 publication Critical patent/ES2386225A1/es
Application granted granted Critical
Publication of ES2386225B1 publication Critical patent/ES2386225B1/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/132Overhead projectors, i.e. capable of projecting hand-writing or drawing during action
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies.Basado en la proyección de imágenes y datos sobre una superficie (10) cualquiera, sin limitación de dimensiones, ubicación de destino o características físicas de la misma, de modo que un usuario puede interactuar de manera táctil con dicha superficie (10), favoreciendo el uso y manipulación de los objetos proyectados (objetos virtuales), así como de objetos reales situados sobre la superficie (10), haciendo posible la ejecución de todo tipo de aplicaciones (acceso a Internet, visualización de vídeos, fotos, reproducción de música, etc).

Description

DISPOSITIVO DE MÚLTIPLE TACTO POR PROYECCIÓN DE IMÁGENES Y DATOS SOBRE SUPERFICIES
5
OBJETO DE LA INVENCIÓN
1 o
La presente invención pertenece al campo de la inteligencia artificial, y más concretamente a aplicaciones de múltiple tacto (multi-touch) para el tratamiento de datos e imágenes por el tacto humano.
15
El objeto principal de la presente invención es un dispositivo del tipo múltiple tacto o "multi-touch" que emplea la proyección de imágenes y datos sobre superficies planas, de modo que el usuario puede interactuar con dicha superficie.
ANTECEDENTES DE LA INVENCIÓN
20
Actualmente, las técnicas de interactuación hombre-máquina están evolucionando básicamente en dos grupos:
2 5
Un primer grupo relativo a dispositivos electrónicos de pantalla táctil o "touchscreen", (p.ej. computadoras de mano como un PDA o Asistente Digital Personal, las tabletas digitalizadoras multi-touch, teléfonos móviles), los cuales interactúan con lápices o con los dedos de la mano del usuario.
3o
Y un segundo grupo, referente a las técnicas de visión por ordenadores o "computer vision", en el que a través de una cámara de color o infrarroja es posible el reconocimiento de diversos objetos proyectados
sobre una superficie; haciendo uso de la denominada "Realidad Aumentada" (AR) para, por medio del seguimiento de los dedos, inspeccionar y modificar la posición y orientación de los objetos virtuales, y con ello poder mostrar, examinar y manipular la información. En todos estos desarrollos, se permite al usuario interactuar con la superficie de forma espontánea y sin accesorios artificiales.
A nivel científico, destacan los trabajos de ANDREW D.WILSON, expuesto en UIST'05: "Proceedings of the 18th anual ACM symposium on user interface software and techno/ogy", páginas.83-92. Editado por ACM. Nueva York (2005), donde a través de la utilización de una cámara infrarroja se consigue discernir si el usuario está tocando o no físicamente la superficie proyectada, lo que supone la base de la interactuación por proyección.
El problema técnico que se plantea es que los dispositivos multi-touch existentes actualmente en el mercado están limitados a las dimensiones y características propias de los medios donde se incorporan, lo cual limita su funcionalidad y portabilidad. Por ejemplo, una mesa o "table-top" con sistema multi-touch presenta un tamaño condicionado al diseño y destino de la misma, como igual sucede con las pantallas táctiles de ordenadores. Además, el hecho de que la interactuación se produzca sobre una superficie física que sirve a la vez de medio de trabajo y de medio funcional, hace mucho mayor el riesgo de roturas o averías por desgaste.

Dichos dispositivos únicamente son capaces de reconocer objetos básicos, tales como hojas de papel, marcas o figuras geométricas, etc. Además, presentan una falta de descripción en la manera de resolver posibles errores generados por sombras o por indefinición de los elementos que interactúan.
DESCRIPCIÓN DE LA INVENCIÓN
Mediante la presente invención se resuelven los inconvenientes anteriormente citados proporcionando un dispositivo de múltiple tacto basado en la proyección de imágenes y datos sobre una superficie, sin limitación de extensión, longitud, ubicación de destino o características físicas de la misma, de modo que un usuario puede interactuar de manera táctil con dicha superficie, favoreciendo el uso y manipulación de los objetos proyectados (objetos virtuales), así como de objetos reales situados sobre la superficie, mediante un tratamiento de computación de tales datos e imágenes que permite ejecutar todo tipo de aplicaciones (acceso a Internet, visualización de vídeos, fotos, reproducción de música, etc.).
El dispositivo de múltiple tacto, objeto de la presente invención, destaca fundamentalmente por presentar una clara diferenciación entre "medio de trabajo" y "medios funcionales", lo cual permite dotar al dispositivo de una gran funcionalidad y aplicabilidad, favoreciendo una mayor portabilidad, manejo y transporte del mismo con respecto a los dispositivos existentes anteriormente.
El medio de trabajo comprende una superficie, preferentemente plana y rígida, sin limitación de dimensiones, tipo o composición de la misma, sobre la cual son proyectadas imágenes o datos con los cuales un usuario interactúa de manera táctil. Dicha superficie puede ser de cualquier material, ya sea madera, plástico, metal, mármol, etc.

Por su parte, los medios funcionales comprenden principalmente un proyector adaptado para la proyección de datos e imágenes sobre la superficie arriba citada, y al menos una cámara que capta la interacción del usuario con dicha superficie.
Además, dicha cámara es capaz de detectar también la presencia de
objetos físicos reales situados sobre la superficie de trabajo.
De acuerdo con una realización preferente de la invención el dispositivo de múltiple tacto objeto de invención comprende adicionalmente unos medios de iluminación, adaptados para proporcionar nitidez y claridad sobre la superficie de trabajo, de manera que la cámara reconozca claramente si el usuario está interactuando con dicha superficie o no.
Preferentemente se dispone de dos cámaras, las cuales actúan de forma sincronizada en la captura de información procedente de la interactuación entre usuario y superficie de trabajo. Estas cámaras son las encargadas de recibir e interpretar correctamente los movimientos y gestos realizados por el usuario sobre las imágenes y datos proyectados en la superficie de trabajo.
Para ello, dichas cámaras realizan un tratamiento computacional de tales datos e imágenes, el cual consta de las siguientes fases:
-
fase de segmentación del color de piel, en la cual las cámaras son capaces de identificar el contorno de la mano del usuario, localizar la punta de sus dedos y detectar la existencia o no de contacto entre usuario y superficie de trabajo,
-
fase de detección de marcas matriciales, mediante la cual las cámaras realizan una calibración y enfoque adecuados para una correcta captación de la información procedente de la interactuación usuariosuperficie, y

-fase de detección de folios, en la cual las cámaras detectan todo tipo de imágenes rectangulares planas proyectadas en la superficie de trabajo.
Finalmente, toda esta información recogida por las cámaras es enviada y transmitida mediante protocolo UDP (User Datagram Protocol), a una unidad central de procesamiento, CPU, vinculada al proyector, la cual está adaptada para supervisar y ejecutar las nuevas órdenes de trabajo dadas por el usuario, las cuales pueden ser visualizadas en la propia superficie de trabajo, así como en un monitor o pantalla externos.
Asimismo se ha previsto la disposición de una CPU externa conectada al dispositivo de múltiple tacto objeto de invención, ya sea por cable o de forma inalámbrica.
Es importante señalar que al encontrarse separados tanto el medio de trabajo (superficie sobre la que se interactúa), como los medios funcionales (proyección-captación de información) se minimiza el desgaste y/o posibles defectos o averías de la superficie de trabajo, evitando el uso de protectores de pantallas o elementos de seguridad varios, los cuales resultan muy costosos.
Finalmente, cabe mencionar que mediante el dispositivo de la presente invención se alcanzan unos niveles de precisión muy altos, reduciendo considerablemente los errores en la interactuación sobre la orden dada por el usuario, (por ejemplo, en un dispositivo táctil donde están solidarizados el medio de trabajo y el medio funcional, puede suceder que accionando en un punto determinado de la superficie se produzca una orden

o evento incorrecto, ya sea por presión excesiva, estado de la pantalla indebida etc.
Por tanto, mediante el dispositivo de múltiple tacto aquí descrito se permite la interactuación usuario-máquina mediante la generación de datos e imágenes transmitidos por un proyector sobre una superficie de trabajo cualquiera, sin limitación de dimensiones, materiales o ubicación, en la cual se proyectan las imágenes y datos de dicho proyector, favoreciendo así el uso y manipulación de los objetos proyectados (objetos virtuales) así como de objetos reales situados sobre la superficie para el tratamiento y gestión de dicha información.
DESCRIPCIÓN DE LOS DIBUJOS
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
Figura 1.-Muestra una vista general del dispositivo de múltiple tacto objeto de invención donde se aprecia a un usuario interactuando y visualizando imágenes proyectadas sobre una superficie.
Figura 2.-Muestra una vista en perspectiva del interior del dispositivo de múltiple tacto objeto de invención, donde se aprecian sus distintos elementos componentes.

Figura 3.-Muestra una vista explotada del dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, objeto de invención.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN
De acuerdo con una realización preferente de la invención, mostrada
en las figuras 1 a 3, el dispositivo de múltiple tacto comprende: un proyector (1), adaptado para proyectar imágenes y datos sobre una superficie (1 O) plana dispuesta interiormente, sobre la cual un usuario interactúa de manera táctil, dos cámaras (2) dispuestas bajo el proyector (1) y separadas entre sí una cierta distancia, las cuales se encuentran orientadas en un ángulo determinado, estando adaptadas para la captación de los movimientos y gestos del usuario sobre las imágenes proyectadas sobre la superficie (1 0), un obturador (3) situado a continuación del foco del proyector (1 ), que controla la claridad y nitidez con que se van a ver las imágenes y datos proyectados sobre la superficie (1 0), una caja (4) en cuyo interior se encuentran el proyector (1), las cámaras (2) y el obturador (3), proporcionando soporte y protección, y un bastidor (5), destinado a fijarse a una pared o similar, que sujeta y mantiene la caja (4), y que presenta unas guías verticales
(6) para el desplazamiento y regulación en altura de dicha caja (4), así como unas guías horizontales (7) para el desplazamiento de las cámaras (2) permitiendo su alejamiento o acercamiento entre sí.

Tal y como se puede observar en las figuras 1 y 2, el dispositivo de múltiple tacto objeto de invención comprende adicionalmente unos ventiladores (8) y orificios vinculados a la caja (4), los cuales están adaptados para una óptima refrigeración del proyector (1), evitando así el calentamiento del mismo.
Por último, se ha previsto que el dispositivo de múltiple tacto aquí descrito disponga adicionalmente de unos medios de iluminación (9), representados en las figuras 1 y 3, adaptados para evitar cualquier tipo de
5 sombra o variaciones de luz que se puedan originar durante la interactuación del usuario con las imágenes proyectadas en la superficie (1 0), eliminando así posibles errores producidos en la captación de información por parte de las cámaras (2). Esto conlleva además un menor coste de desarrollo de software, el cual se simplifica considerablemente.

Claims (4)

  1. REIVINDICACIONES
    1.-Dispositivo de múltiple tacto por proyección de imágenes y datos sobre
    superficies caracterizado porque comprende: un proyector (1), adaptado para proyectar imágenes y datos sobre una superficie (1 O) plana dispuesta interiormente, sobre la cual un usuario interactúa de manera táctil, al menos una cámara (2), que capta de los movimientos y gestos del usuario sobre las imágenes proyectadas sobre la superficie (10), un obturador (3) situado a continuación del foco del proyector (1 ), que controla la claridad y nitidez con que se van a ver las imágenes y datos proyectados sobre la superficie (1 0), una caja (4) en cuyo interior se encuentran el proyector (1 ), las cámaras (2) y el obturador (3), adaptada para proporcionar soporte y protección, y un bastidor (5), destinado a fijarse a una pared o similar, que sujetar la caja (4).
  2. 2.-Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies de acuerdo con reivindicación 1, caracterizado porque comprende adicionalmente unos ventiladores (8) y orificios vinculados a la caja (4), los cuales están adaptados para una óptima refrigeración del proyector (1).
  3. 3.-Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies de acuerdo con reivindicación 1, caracterizado porque comprende unos medios de iluminación (9), adaptados para evitar cualquier sombra o variación de luz que se pueda originar durante la interactuación del usuario con las imágenes proyectadas.
  4. 4.-Dispositivo de múltiple tacto por proyección de imágenes y datos sobre
    superficies de acuerdo con reivindicación 1, caracterizado porque el bastidor
    presenta unas guías verticales (6) para el desplazamiento y regulación en
    5 altura de la caja (4), así como unas guías horizontales (7) para el desplazamiento de las cámaras (2) permitiendo su alejamiento o acercamiento entre sí.
ES201000204A 2010-02-16 2010-02-16 Dispositivo de multiple tacto por proyeccion de imagenes y datos sobre superficies Active ES2386225B1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ES201000204A ES2386225B1 (es) 2010-02-16 2010-02-16 Dispositivo de multiple tacto por proyeccion de imagenes y datos sobre superficies
PCT/ES2011/070081 WO2011101518A1 (es) 2010-02-16 2011-02-08 Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, y procedimiento de operación de dicho dispositivo

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201000204A ES2386225B1 (es) 2010-02-16 2010-02-16 Dispositivo de multiple tacto por proyeccion de imagenes y datos sobre superficies

Publications (2)

Publication Number Publication Date
ES2386225A1 true ES2386225A1 (es) 2012-08-13
ES2386225B1 ES2386225B1 (es) 2013-06-24

Family

ID=46553331

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201000204A Active ES2386225B1 (es) 2010-02-16 2010-02-16 Dispositivo de multiple tacto por proyeccion de imagenes y datos sobre superficies

Country Status (1)

Country Link
ES (1) ES2386225B1 (es)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694058B1 (en) * 1998-02-13 2004-02-17 Wincor Nixdorf Gmbh & Co. Kg Method for monitoring the exploitation process of an apparatus and self-service device monitored according to said method
KR20040065933A (ko) * 2003-01-16 2004-07-23 황인호 Ohp 필름 고정대.
JP2007207056A (ja) * 2006-02-03 2007-08-16 Seiko Epson Corp 情報入力システム
US20070258016A1 (en) * 2006-05-03 2007-11-08 Wallspace Media, Llc System and method for a digital projection advertising display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694058B1 (en) * 1998-02-13 2004-02-17 Wincor Nixdorf Gmbh & Co. Kg Method for monitoring the exploitation process of an apparatus and self-service device monitored according to said method
KR20040065933A (ko) * 2003-01-16 2004-07-23 황인호 Ohp 필름 고정대.
JP2007207056A (ja) * 2006-02-03 2007-08-16 Seiko Epson Corp 情報入力システム
US20070258016A1 (en) * 2006-05-03 2007-11-08 Wallspace Media, Llc System and method for a digital projection advertising display

Also Published As

Publication number Publication date
ES2386225B1 (es) 2013-06-24

Similar Documents

Publication Publication Date Title
KR102165444B1 (ko) 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
JP6175866B2 (ja) インタラクティブプロジェクタ
US9454260B2 (en) System and method for enabling multi-display input
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
Cauchard et al. Visual separation in mobile multi-display environments
US20120249422A1 (en) Interactive input system and method
CN108431729A (zh) 用以增大显示区域的三维对象跟踪
JP2014092809A (ja) 電子機器および描画方法
CN102520799A (zh) 一种光学键盘
WO2014147715A1 (ja) 情報処理装置、制御方法およびプログラム
JP2016114963A (ja) 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム
EP3037936B1 (en) Image projection apparatus, and system employing interactive input-output capability
Yoo et al. Symmetrisense: Enabling near-surface interactivity on glossy surfaces using a single commodity smartphone
ES2386225B1 (es) Dispositivo de multiple tacto por proyeccion de imagenes y datos sobre superficies
JP2011070368A (ja) プレゼンテーションシステム
JP5947999B2 (ja) タッチスクリーンに対する操作精度を向上する方法、電子機器およびコンピュータ・プログラム
TWI471757B (zh) 懸浮及點擊手勢偵測裝置
TWI493382B (zh) 懸浮及點擊手勢偵測裝置
WO2011101518A1 (es) Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, y procedimiento de operación de dicho dispositivo
JP6643825B2 (ja) 装置及び方法
CN108196676A (zh) 跟踪识别方法及系统
JP6686319B2 (ja) 画像投影装置及び画像表示システム
Cai et al. A new method of detecting fingertip touch for the projector-camera HCI system
Zabulis et al. Augmented multitouch interaction upon a 2-DOF rotating disk
Huber et al. Toward bimanual interactions with mobile projectors on arbitrary surfaces

Legal Events

Date Code Title Description
FG2A Definitive protection

Ref document number: 2386225

Country of ref document: ES

Kind code of ref document: B1

Effective date: 20130624