ES2393774B1 - MULTIPLE TOUCH DEVICE FOR IMPROVEMENT OF IMAGES AND DATA ON SURFACES, IMPROVED. - Google Patents

MULTIPLE TOUCH DEVICE FOR IMPROVEMENT OF IMAGES AND DATA ON SURFACES, IMPROVED. Download PDF

Info

Publication number
ES2393774B1
ES2393774B1 ES201031735A ES201031735A ES2393774B1 ES 2393774 B1 ES2393774 B1 ES 2393774B1 ES 201031735 A ES201031735 A ES 201031735A ES 201031735 A ES201031735 A ES 201031735A ES 2393774 B1 ES2393774 B1 ES 2393774B1
Authority
ES
Spain
Prior art keywords
images
user
data
detection
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES201031735A
Other languages
Spanish (es)
Other versions
ES2393774A1 (en
Inventor
Vicente ABARCA FERNÁNDEZ
Javier ALCALÁ ESTERLICH
Mariano Luis ALCAÑÍZ RAYA
Manuel Roberto CONTERO GONZÁLEZ
José Miguel MARTÍNEZ SÁEZ
Mario ORTEGA PÉREZ
Emilio Soto Candela
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad Politecnica de Valencia
Original Assignee
Universidad Politecnica de Valencia
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad Politecnica de Valencia filed Critical Universidad Politecnica de Valencia
Priority to ES201031735A priority Critical patent/ES2393774B1/en
Priority to PCT/ES2011/070081 priority patent/WO2011101518A1/en
Publication of ES2393774A1 publication Critical patent/ES2393774A1/en
Application granted granted Critical
Publication of ES2393774B1 publication Critical patent/ES2393774B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/132—Overhead projectors, i.e. capable of projecting hand-writing or drawing during action
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Abstract

Mejoras introducidas en la patente de invención P201000204 ?Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies?.#Permite a un usuario (20) interactuar de manera táctil con una superficie (10) de trabajo, comprendiendo el procedimiento de operación las siguientes fases: segmentación del color de piel (100), donde al menos una cámara (5) es capaz de identificar el contorno de la mano del usuario (20), localizar la punta de sus dedos y detectar la existencia o no de contacto entre usuario (20) y superficie (10); detección de marcas matriciales (200), mediante la cual la cámara (5) realiza una calibración y enfoque adecuados para una correcta captación de la información procedente de la interactuación usuario (20)-superficie (10); detección de ?folios? (300), en la cual la cámara (5) detecta todo tipo de imágenes (3) rectangulares y objetos planos proyectados sobre la superficie (10), y; envío de datos mediante protocolo UDP a una CPU donde se aloja la aplicación de alto nivel que explota y procesa la información recibida.Improvements introduced in the invention patent P201000204 "Multi-touch device for projection of images and data on surfaces". # Allows a user (20) to interact tactilely with a work surface (10), comprising the operating procedure. following phases: segmentation of skin color (100), where at least one camera (5) is able to identify the contour of the user's hand (20), locate the tip of their fingers and detect the existence or not of contact between user (20) and surface (10); detection of matrix marks (200), by means of which the camera (5) performs an appropriate calibration and approach for a correct capture of the information from the user interaction (20) -surface (10); folios detection (300), in which the camera (5) detects all types of rectangular images (3) and flat objects projected on the surface (10), and; sending of data by means of UDP protocol to a CPU where the high level application that exploits and processes the information received is hosted.

Description

Mejoras introducidas en la patente de invención p201000204 “dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies”. Improvements introduced in the invention patent p201000204 "multi-touch device for projection of images and data on surfaces".

OBJETO DE LA INVENCIÓN OBJECT OF THE INVENTION

La presente invención se sitúa en el ámbito de la inteligencia artificial, más concretamente se refiere a aplicaciones de múltiple tacto (multi-touch) para el tratamiento de datos e imágenes por el tacto humano, y describe una serie de mejoras introducidas en la patente de invención P201000204 denominada “Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies”. The present invention is in the field of artificial intelligence, more specifically refers to multi-touch applications for the treatment of data and images by human touch, and describes a series of improvements introduced in the patent of invention P201000204 called "Multiple touch device for projection of images and data on surfaces".

ANTECEDENTES DE LA INVENCIÓN BACKGROUND OF THE INVENTION

En la actualidad, las técnicas de interactuación y comunicación hombre-máquina están evolucionando básicamente en dos grupos: un primer grupo relativo a dispositivos electrónicos de pantalla táctil o “touchscreen”, (p.ej. computadoras de mano como un PDA o Asistente Digital Personal, las tabletas digitalizadoras multi-touch, teléfonos móviles), los cuales interactúan con lápices o con los dedos de la mano del usuario. Y un segundo grupo, referente a las técnicas de visión por ordenadores o “computer vision”, en el que a través de una cámara de color o infrarroja es posible el reconocimiento de diversos objetos proyectados sobre una superficie; haciendo uso de la denominada “Realidad Aumentada” (AR) para, por medio del seguimiento de los dedos, inspeccionar y modificar la posición y orientación de los objetos virtuales, y con ello poder mostrar, examinar y manipular la información. En todos estos desarrollos, se permite al usuario interactuar con la superficie de forma espontánea y sin accesorios artificiales. Currently, man-machine interaction and communication techniques are basically evolving into two groups: a first group related to electronic touch-screen devices, such as handheld computers such as a PDA or Personal Digital Assistant , multi-touch digitizing tablets, mobile phones), which interact with pencils or the fingers of the user's hand. And a second group, referring to the techniques of computer vision or "computer vision", in which through a color or infrared camera it is possible to recognize various objects projected on a surface; using the so-called "Augmented Reality" (AR) to, by tracking the fingers, inspect and modify the position and orientation of virtual objects, and thus be able to show, examine and manipulate the information. In all these developments, the user is allowed to interact with the surface spontaneously and without artificial accessories.

A nivel científico, destacan los trabajos de ANDREW D.WILSON, expuesto en UIST’05: “Proceedings of the 18th anual ACM symposium on user interface software and technology”, páginas.83-92. Editado por ACM. Nueva York (2005), donde a través de la utilización de una cámara infrarroja se consigue discernir si el usuario está tocando o no físicamente la superficie proyectada, lo que supone la base de la interactuación por proyección. On a scientific level, the works of ANDREW D. WILSON, exposed in UIST’05, are highlighted: “Proceedings of the 18th annual ACM symposium on user interface software and technology”, pages 83-92. Edited by ACM. New York (2005), where through the use of an infrared camera it is possible to discern whether or not the user is physically touching the projected surface, which is the basis of projection interaction.

El problema técnico que se plantea es que los dispositivos multi-touch existentes actualmente en el mercado están limitados a las dimensiones y características propias de los medios donde se incorporan, lo cual limita su funcionalidad y portabilidad. Por ejemplo, una mesa o “table-top” con sistema multi-touch presenta un tamaño condicionado al diseño y destino de la misma, lo mismo sucede con las pantallas táctiles de ordenadores. Además, el hecho de que la interactuación se produzca sobre una superficie física que sirve a la vez de medio de trabajo y de medio funcional, hace mucho mayor el riesgo de roturas o averías. The technical problem that arises is that the multi-touch devices currently available in the market are limited to the dimensions and characteristics of the media where they are incorporated, which limits their functionality and portability. For example, a table or “table-top” with multi-touch system has a size conditional on the design and destination of the same, the same happens with the touch screens of computers. In addition, the fact that the interaction takes place on a physical surface that serves both as a working medium and a functional medium, makes the risk of breakage or breakdown much greater.

Estos dispositivos arriba citados únicamente son capaces de reconocer objetos básicos, tales como hojas de papel, marcas These devices mentioned above are only capable of recognizing basic objects, such as sheets of paper, marks

o figuras geométricas, etc. Además, presentan una falta de descripción en la manera de resolver posibles errores generados por sombras o por indefinición de los elementos que interactúan. or geometric figures, etc. In addition, they present a lack of description in the way of solving possible errors generated by shadows or by indefinition of the elements that interact.

DESCRIPCIÓN DE LA INVENCIÓN DESCRIPTION OF THE INVENTION

Las mejoras que se proponen en este certificado de adición se refieren a un procedimiento de funcionamiento y operación del dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, descrito en la patente de invención P201000204. Dicho dispositivo permite a un usuario interactuar de manera táctil con una superficie, presentando una clara diferenciación entre “medio de trabajo” y “medios funcionales”, favoreciendo el uso y manipulación de los objetos proyectados (objetos virtuales), así como de objetos reales situados sobre la superficie. The improvements proposed in this certificate of addition refer to a procedure of operation and operation of the multi-touch device by projection of images and data on surfaces, described in the invention patent P201000204. Said device allows a user to interact tactilely with a surface, presenting a clear differentiation between "working means" and "functional means", favoring the use and manipulation of projected objects (virtual objects), as well as real objects located Over the surface.

Para ello el dispositivo realiza un tratamiento de computación de tales datos e imágenes que permite ejecutar todo tipo de aplicaciones (acceso a Internet, visualización de vídeos, fotos, reproducción de música, etc.). El procedimiento de operación objeto de adición comprende básicamente las siguientes fases: For this, the device performs a computer processing of such data and images that allows all types of applications to be executed (Internet access, video viewing, photos, music playback, etc.). The operation procedure subject to addition basically comprises the following phases:

--
segmentación del color de piel, en la cual al menos una cámara es capaz de identificar el contorno de la mano del usuario, localizar la punta de sus dedos y detectar la existencia o no de contacto entre usuario y superficie de trabajo, -detección de marcas matriciales, mediante la cual la cámara realiza una calibración y enfoque adecuados para una correcta captación de la información procedente de la interactuación usuario-superficie, -detección de “folios”, en la cual la cámara detecta todo tipo de imágenes rectangulares planas proyectadas en la superficie de trabajo, y -envío de datos mediante protocolo UDP (User Datagram Protocol) a una CPU (Central Processing Unit) donde se aloja la aplicación de alto nivel que explota y procesa la información recibida. segmentation of the skin color, in which at least one camera is able to identify the contour of the user's hand, locate the tip of their fingers and detect the existence or not of contact between user and work surface, -detection of marks matrix, by means of which the camera performs an appropriate calibration and approach for a correct capture of the information coming from the user-surface interaction, -detection of “folios”, in which the camera detects all kinds of flat rectangular images projected on the work surface, and -submission of data by means of UDP protocol (User Datagram Protocol) to a CPU (Central Processing Unit) where the high-level application that exploits and processes the information received is hosted.

ES 2 393 774 Al ES 2 393 774 Al

DESCRIPCIÓN DE LOS DIBUJOS DESCRIPTION OF THE DRAWINGS

Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente: To complement the description that is being made and in order to help a better understanding of the characteristics of the invention, according to a preferred example of practical implementation thereof, a set of drawings is attached as an integral part of said description. where, for illustrative and non-limiting purposes, the following has been represented:

Figura 1.-Muestra una vista general del dispositivo de múltiple tacto descrito en la patente P201000204 objeto de adición. Figure 1.- Shows an overview of the multi-touch device described in the patent P201000204 object of addition.

Figura 2.-Muestra un diagrama de flujo del funcionamiento operativo del dispositivo de múltiple tacto objeto de adición. Figure 2.- Shows a flow chart of the operational operation of the multi-touch device object of addition.

REALIZACIÓN PREFERENTE DE LA INVENCIÓN PREFERRED EMBODIMENT OF THE INVENTION

En la figura 1 se aprecia a un usuario (20) interactuando y visualizando imágenes (3) proyectadas sobre una superficie Figure 1 shows a user (20) interacting and viewing images (3) projected on a surface

(10) plana, empleando el dispositivo (1) de múltiple tacto descrito en la patente P201000204. (10) flat, using the multi-touch device (1) described in P201000204.

Dicho dispositivo (1) comprende una caja (2) en cuyo interior se encuentra un proyector (4) adaptado para proyectar imágenes (3) y datos sobre una superficie (10) plana dispuesta inferiormente, sobre la cual un usuario (20) interactúa de manera táctil; al menos una cámara (5) dispuesta bajo el proyector (4), la cual se encuentra orientada en un ángulo determinado, estando adaptada para la captación de los movimientos y gestos del usuario (20) sobre las imágenes (3) proyectadas sobre la superficie (10); y un obturador situado a continuación del foco del proyector (4), que controla la claridad y nitidez con que se van a ver las imágenes (3) y datos proyectados sobre la superficie (10). Said device (1) comprises a box (2) in which there is a projector (4) adapted to project images (3) and data on a flat surface (10) arranged below, on which a user (20) interacts with touch way; at least one camera (5) arranged under the projector (4), which is oriented at a certain angle, being adapted to capture user movements and gestures (20) on the images (3) projected on the surface (10); and a shutter located next to the focus of the projector (4), which controls the clarity and sharpness with which images (3) and projected data on the surface (10) are to be seen.

De acuerdo con una realización preferente el dispositivo (1) de múltiple tacto dispone de dos cámaras (5), las cuales actúan de forma sincronizada en la captura de información procedente de la interactuación entre usuario (20) y superficie (10) de trabajo. Estas cámaras (5) son las encargadas de recibir, identificar e interpretar correctamente los movimientos y gestos realizados por el usuario (20) sobre las imágenes (3) y datos proyectados en la superficie (10). Todo ello se realiza de la siguiente forma: According to a preferred embodiment, the multi-touch device (1) has two cameras (5), which act in a synchronized manner in the capture of information from the interaction between user (20) and work surface (10). These cameras (5) are responsible for receiving, identifying and correctly interpreting the movements and gestures made by the user (20) on the images (3) and projected data on the surface (10). All this is done as follows:

Las cámaras (5) realizan la captura de lo que sucede en el medio de trabajo, superficie (10) plana. Esta captura ha de ser independiente de lo emitido por el proyector (4), de forma que sea posible independizar el conjunto de imágenes (3) proyectadas con lo captado por las cámaras (5). The cameras (5) capture what happens in the work environment, flat surface (10). This capture must be independent of what is emitted by the projector (4), so that it is possible to make the set of images (3) projected independent of what was captured by the cameras (5).

Es necesario que las dos cámaras (5) estén sincronizadas mutuamente de tal forma que la acción de captura de imágenes (3) realizadas por ambas cámaras (5) se produzca en el mismo instante de tiempo. En este punto es donde entran en acción el obturador y un circuito de sincronización. El objetivo de estos dos elementos es hacer que el momento de captura de las cámaras (5) coincida exactamente con el punto en que el obturador ocluye completamente el foco del proyector (4). Este obturador admite varias soluciones técnicas, como puede ser, un obturador óptico con paneles LCD, un obturador mecánico, un obturador electrónico que opera a nivel de señal de video, o cualquier otra solución técnica que permita independizar el proceso de captura de imagen y el de proyección. It is necessary that the two cameras (5) be mutually synchronized in such a way that the image capture action (3) performed by both cameras (5) occurs at the same instant of time. This is where the shutter and a synchronization circuit come into action. The objective of these two elements is to make the moment of capture of the cameras (5) coincide exactly with the point at which the shutter completely occludes the focus of the projector (4). This shutter supports several technical solutions, such as an optical shutter with LCD panels, a mechanical shutter, an electronic shutter that operates at the video signal level, or any other technical solution that allows the image capture process and the image to be independent. projection

Las siguientes fases de tratamiento y análisis de datos se realizan de forma paralela tal y como representa la figura 2, y tienen como objetivo reconocer, hacer un seguimiento y establecer la interactuación entre los objetos situados sobre la superficie (10) de trabajo y la aplicación final. Dichas fases son: The following phases of data processing and analysis are carried out in parallel as shown in Figure 2, and are intended to recognize, track and establish the interaction between objects located on the work surface (10) and the application final. These phases are:

a) segmentación del color de piel (100), en la cual al menos una cámara (5) es capaz de identificar el contorno de la mano del usuario (20), localizar la punta de sus dedos y detectar la existencia o no de contacto entre usuario (20) y superficie (10) de trabajo, b) detección de marcas matriciales (200), mediante la cual la cámara (5) realiza una calibración y enfoque adecuados para una correcta captación de la información procedente de la interactuación entre usuario (20) y superficie (10), y c) detección de “folios” (300), en la cual la cámara (5) detecta todo tipo de imágenes (3) rectangulares y objetos planos texturizados y no texturizados proyectados sobre la superficie (10) de trabajo. a) skin color segmentation (100), in which at least one camera (5) is able to identify the contour of the user's hand (20), locate the tip of their fingers and detect the existence or not of contact between user (20) and work surface (10), b) detection of matrix marks (200), by means of which the camera (5) performs an appropriate calibration and approach for a correct capture of the information from the interaction between user (20) and surface (10), and c) detection of "folios" (300), in which the camera (5) detects all types of rectangular images (3) and textured and non-textured flat objects projected on the surface (10 ) of work.

Posteriormente se realiza una última fase d) de envío de datos mediante protocolo UDP a una CPU donde se aloja la aplicación de alto nivel que explota y procesa la información recibida. Subsequently, a final phase d) of sending data by means of a UDP protocol to a CPU where the high-level application that exploits and processes the information received is hosted.

Cabe señalar que el término “objetos planos texturizados” empleado en el párrafo de la fase c) se refiere a aquellos objetos planos con multitud de formas, colores y curvaturas, presentando unos trazados y contornos complejos. Por consiguiente, un objeto plano “no texturizado” es aquel cuyo trazado es sencillo, presentando pocas curvaturas y detalles, en apenas uno o dos colores. It should be noted that the term "textured flat objects" used in the paragraph of phase c) refers to those flat objects with a multitude of shapes, colors and curvatures, presenting complex paths and contours. Therefore, a flat object "not textured" is one whose layout is simple, presenting few curvatures and details, in just one or two colors.

ES 2 393 774 Al ES 2 393 774 Al

La fase a) de segmentación del color de piel (100) se realiza mediante la siguiente secuencia: Phase a) of skin color segmentation (100) is performed by the following sequence:

e) se establece una segmentación de la imagen por color de piel, f) se hallan y discretizan los contornos para el consiguiente descarte de contornos no coherentes respecto a e) an image segmentation is established by skin color, f) contours are found and discretized for the consequent discarding of inconsistent contours with respect to

5 área, g) de los contornos que pasan la criba, se localizan los puntos de máxima y mínima curvatura y además, se averigua la transformada de la distancia y se parametriza esta transformada, y h) a partir de la información obtenida, se localizan las puntas de los dedos como los puntos que tienen un máximo local en la curvatura y además cumplen ciertos parámetros de la transformada de la distancia. 5 area, g) of the contours that pass the sieve, the points of maximum and minimum curvature are located and in addition, the distance transformation is determined and this transform is parameterized, and h) from the information obtained, the points are located fingertips as the points that have a local maximum in the curvature and also meet certain parameters of the distance transform.

10 Por otra parte, el caso particular de la detección de folios (300), imágenes (3) rectangulares y objetos planos “no texturizados”, necesita en un primer paso la detección de los contornos de los objetos que se sitúan sobre el medio de trabajo. En un segundo paso se estudia la geometría y el área de dichos contornos y se determina qué forma geométrica se corresponde mejor con los contornos de los objetos. 10 On the other hand, the particular case of the detection of folios (300), rectangular images (3) and flat objects "not textured", needs in a first step the detection of the contours of the objects that are placed on the middle of job. In a second step, the geometry and area of these contours are studied and it is determined which geometric shape best corresponds to the contours of the objects.

15 La detección de objetos planos “texturizados” necesita un estudio previo de los objetos que se van a detectar. Este estudio previo consiste en la búsqueda y localización precisa de un conjunto de puntos característicos invariantes a la escala y a la orientación. Una vez estos puntos característicos están hallados y convenientemente organizados, se procede a la búsqueda de estos puntos característicos en la imagen capturada. Cuantos más puntos característicos de 15 The detection of “textured” flat objects requires a prior study of the objects to be detected. This previous study consists of the search and precise location of a set of characteristic points invariant to the scale and orientation. Once these characteristic points are found and conveniently organized, we proceed to search for these characteristic points in the captured image. The more characteristic points of

20 una imagen sean detectados, más precisa será la detección de los objetos planos texturizados. 20 an image is detected, the more accurate the detection of textured flat objects will be.

ES 2 393 774 Al ES 2 393 774 Al

Claims (8)

REIVINDICACIONES 1.-Mejoras introducidas en la patente de invención P201000204 “Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies”, comprendiendo dicho dispositivo (1) una caja (2) en cuyo interior se encuentra un proyector (4) adaptado para proyectar imágenes (3) y datos sobre una superficie (10) plana dispuesta inferiormente, y sobre la cual un usuario (20) interactúa de manera táctil; al menos una cámara (5) adaptada para la captación de los movimientos y gestos del usuario (20) sobre las imágenes (3) proyectadas en la superficie (10) de trabajo; y un obturador que controla la claridad y nitidez con que se van a ver las imágenes (3) y datos proyectados sobre la superficie (10); caracterizado porque el procedimiento de operación de dicho dispositivo (1) comprende las siguientes fases: 1.-Improvements introduced in the invention patent P201000204 "Multi-touch device for projection of images and data on surfaces", said device (1) comprising a box (2) inside which is a projector (4) adapted to project images (3) and data on a flat surface (10) disposed below, and on which a user (20) interacts tactilely; at least one camera (5) adapted for capturing user movements and gestures (20) on images (3) projected on the work surface (10); and a shutter that controls the clarity and sharpness with which images (3) and projected data on the surface (10) are to be seen; characterized in that the operation procedure of said device (1) comprises the following phases: a) segmentación del color de piel (100), en la cual al menos una cámara (5) es capaz de identificar el contorno de la mano del usuario (20), localizar la punta de sus dedos y detectar la existencia o no de contacto entre usuario (20) y superficie (10) de trabajo, b) detección de marcas matriciales (200), mediante la cual la cámara (5) realiza una calibración y enfoque adecuados para una correcta captación de la información procedente de la interactuación entre usuario (20) y superficie (10), c) detección de “folios” (300), en la cual la cámara (5) detecta todo tipo de imágenes (3) rectangulares y objetos planos proyectados sobre la superficie (10) de trabajo, y d) envío de datos mediante protocolo UDP (User Datagram Protocol) a una CPU (Central Processing Unit) donde se aloja la aplicación de alto nivel que explota y procesa la información recibida. a) skin color segmentation (100), in which at least one camera (5) is able to identify the contour of the user's hand (20), locate the tip of their fingers and detect the existence or not of contact between user (20) and work surface (10), b) detection of matrix marks (200), by means of which the camera (5) performs an appropriate calibration and approach for a correct capture of the information from the interaction between user (20) and surface (10), c) detection of “folios” (300), in which the camera (5) detects all kinds of rectangular images (3) and flat objects projected on the work surface (10), and d) sending data by means of a UDP protocol (User Datagram Protocol) to a CPU (Central Processing Unit) where the high-level application that exploits and processes the information received is hosted. 2.-Mejoras introducidas en la patente de invención P201000204 “Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies” según reivindicación 1, caracterizado porque las fases a), b) y c) se realizan de forma paralela. 3.-Mejoras introducidas en la patente de invención P201000204 “Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies” según reivindicación 1, caracterizado porque la captación por parte de la cámara 2. Improvements introduced in the invention patent P201000204 "Multiple touch device for projection of images and data on surfaces" according to claim 1, characterized in that the phases a), b) and c) are carried out in parallel. 3. Improvements introduced in the invention patent P201000204 "Multi-touch device for projection of images and data on surfaces" according to claim 1, characterized in that the capture by the camera (5) de los movimientos y gestos del usuario (20) sobre las imágenes (3) proyectadas en la superficie (10) de trabajo es independiente de lo emitido por el proyector (4), de forma que es posible independizar el conjunto de imágenes (3) proyectadas con lo captado por las cámaras (5). (5) of the movements and gestures of the user (20) on the images (3) projected on the work surface (10) is independent of that emitted by the projector (4), so that it is possible to make the set of images independent (3) projected with the captured by the cameras (5). 4.-Mejoras introducidas en la patente de invención P201000204 “Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies” según reivindicación 1, caracterizado porque la fase a) de segmentación del color de piel (100) comprende a su vez las siguientes etapas: 4. Improvements introduced in the invention patent P201000204 "Multiple touch device for projection of images and data on surfaces" according to claim 1, characterized in that phase a) of skin color segmentation (100) in turn comprises the following stages: e) segmentación de la imagen (3) por color de piel, f) discretización de los contornos para el consiguiente descarte de contornos no coherentes respecto a área, g) localización los puntos de máxima y mínima curvatura de los contornos que pasan la criba, obtención de la transformada de la distancia y parametrización de dicha transformada, y h) localización de las puntas de los dedos como los puntos que tienen un máximo local en la curvatura y además cumplen ciertos parámetros de la transformada de la distancia. e) image segmentation (3) by skin color, f) discretization of the contours for the consequent discard of inconsistent contours with respect to area, g) location of the points of maximum and minimum curvature of the contours that pass the sieve, obtaining the distance transform and parameterization of said transform, and h) location of the fingertips as the points that have a local maximum in the curvature and They also meet certain parameters of the distance transform. 5.-Mejoras introducidas en la patente de invención P201000204 “Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies” según reivindicación 1, caracterizado porque en la fase c) de detección de folios (300), la cámara (5) está adaptada para la detección de objetos planos “no texturizados”. 5. Improvements introduced in the invention patent P201000204 "Multi-touch device for projection of images and data on surfaces" according to claim 1, characterized in that in phase c) of folio detection (300), the camera (5) is adapted for the detection of “non-textured” flat objects. 6.-Mejoras introducidas en la patente de invención P201000204 “Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies” según reivindicación 5, caracterizado porque la detección de objetos planos “no texturizados” comprende a su vez las siguientes fases: 6. Improvements introduced in the invention patent P201000204 "Multiple touch device for projection of images and data on surfaces" according to claim 5, characterized in that the detection of flat objects "not textured" in turn comprises the following phases:
--
detección de los contornos de los objetos que se sitúan sobre la superficie (10) de trabajo, detection of the contours of objects that are placed on the work surface (10),
--
estudio de la geometría y el área de dichos contornos, y study of the geometry and the area of said contours, and
--
determinación de qué forma geométrica se corresponde mejor con los contornos de los objetos. Determination of which geometric shape best corresponds to the contours of the objects.
7.-Mejoras introducidas en la patente de invención P201000204 “Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies” según reivindicación 1, caracterizado porque en la fase c) de detección de folios (300), la cámara (5) está adaptada para la detección de objetos planos “texturizados”. 7. Improvements introduced in the invention patent P201000204 "Multiple touch device for projection of images and data on surfaces" according to claim 1, characterized in that in phase c) of folio detection (300), the camera (5) is adapted for the detection of “textured” flat objects. 8.-Mejoras introducidas en la patente de invención P201000204 “Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies” según reivindicación 7, caracterizado porque la detección de objetos planos “texturizados” comprende a su vez las siguientes fases: 8. Improvements introduced in the invention patent P201000204 "Multiple touch device for projection of images and data on surfaces" according to claim 7, characterized in that the detection of "textured" flat objects in turn comprises the following phases: ES 2 393 774 Al ES 2 393 774 Al
--
búsqueda y localización precisa de un conjunto de puntos característicos invariantes a la escala y a la orientación de los objetos, y -búsqueda de estos puntos característicos en la imagen capturada por la cámara (5). precise search and location of a set of characteristic points invariant to the scale and orientation of the objects, and - search for these characteristic points in the image captured by the camera (5).
ES 2 393 774 Al ES 2 393 774 Al ES 2 393 774 Al ES 2 393 774 Al OFICINA ESPAÑOLA DE PATENTES Y MARCAS SPANISH OFFICE OF THE PATENTS AND BRAND N.º solicitud: 201031735 Application no .: 201031735 ESPAÑA SPAIN Fecha de presentación de la solicitud: 25.11.2010 Date of submission of the application: 25.11.2010 Fecha de prioridad: Priority Date: INFORME SOBRE EL ESTADO DE LA TECNICA REPORT ON THE STATE OF THE TECHNIQUE 51 Int. Cl. : Ver Hoja Adicional 51 Int. Cl.: See Additional Sheet DOCUMENTOS RELEVANTES RELEVANT DOCUMENTS
Categoría Category
56 Documentos citados Reivindicaciones afectadas 56 Documents cited Claims Affected
A TO
US 2007201863 A1 (MICROSOFT CORPORATION) 30.08.2007, 1-8 US 2007201863 A1 (MICROSOFT CORPORATION) 30.08.2007, 1-8
párrafos [0002-0005],[0023-0056]; figuras 1-14. paragraphs [0002-0005], [0023-0056]; Figures 1-14.
A TO
US 2008181459 A1 (ST MICROELECTRONICS SA et al.) 31.07.2008, 1,2,4 US 2008181459 A1 (ST MICROELECTRONICS SA et al.) 31.07.2008, 1,2,4
párrafos [0067-0077]; figuras 2-6. paragraphs [0067-0077]; Figures 2-6.
A TO
JP 2007207056 A (SEIKO EPSON CORP) 16.08.2007, 1 JP 2007207056 A (SEIKO EPSON CORP) 16.08.2007, one
resumen; párrafos [0030-0036]; figuras 1,2. summary; paragraphs [0030-0036]; figures 1,2.
Categoría de los documentos citados X: de particular relevancia Y: de particular relevancia combinado con otro/s de la misma categoría A: refleja el estado de la técnica O: referido a divulgación no escrita P: publicado entre la fecha de prioridad y la de presentación de la solicitud E: documento anterior, pero publicado después de la fecha de presentación de la solicitud Category of the documents cited X: of particular relevance Y: of particular relevance combined with other / s of the same category A: reflects the state of the art O: refers to unwritten disclosure P: published between the priority date and the date of priority submission of the application E: previous document, but published after the date of submission of the application
El presente informe ha sido realizado • para todas las reivindicaciones • para las reivindicaciones nº: This report has been prepared • for all claims • for claims no:
Fecha de realización del informe 05.12.2012 Date of realization of the report 05.12.2012
Examinador J. Cotillas Castellano Página 1/4 Examiner J. Cotillas Castellano Page 1/4
INFORME DEL ESTADO DE LA TÉCNICA REPORT OF THE STATE OF THE TECHNIQUE Nº de solicitud: 201031735 Application number: 201031735 CLASIFICACIÓN OBJETO DE LA SOLICITUD CLASSIFICATION OBJECT OF THE APPLICATION G06F3/042 (2006.01) G03B21/132 (2006.01) H04N9/31 (2006.01) G06F3/048 (2006.01) G03B21/14 (2006.01)  G06F3 / 042 (2006.01) G03B21 / 132 (2006.01) H04N9 / 31 (2006.01) G06F3 / 048 (2006.01) G03B21 / 14 (2006.01) Documentación mínima buscada (sistema de clasificación seguido de los símbolos de clasificación) Minimum documentation sought (classification system followed by classification symbols) G03B, G06F, H04N G03B, G06F, H04N Bases de datos electrónicas consultadas durante la búsqueda (nombre de la base de datos y, si es posible, términos de búsqueda utilizados) Electronic databases consulted during the search (name of the database and, if possible, search terms used) INVENES, EPODOC INVENTIONS, EPODOC Informe del Estado de la Técnica Página 2/4 State of the Art Report Page 2/4 OPINIÓN ESCRITA  WRITTEN OPINION Nº de solicitud: 201031735 Application number: 201031735 Fecha de Realización de la Opinión Escrita: 05.12.2012 Date of Written Opinion: 05.12.2012 Declaración Statement
Novedad (Art. 6.1 LP 11/1986) Novelty (Art. 6.1 LP 11/1986)
Reivindicaciones Reivindicaciones 1-8 SI NO Claims Claims 1-8 IF NOT
Actividad inventiva (Art. 8.1 LP11/1986) Inventive activity (Art. 8.1 LP11 / 1986)
Reivindicaciones Reivindicaciones 1-8 SI NO Claims Claims 1-8 IF NOT
Se considera que la solicitud cumple con el requisito de aplicación industrial. Este requisito fue evaluado durante la fase de examen formal y técnico de la solicitud (Artículo 31.2 Ley 11/1986). The application is considered to comply with the industrial application requirement. This requirement was evaluated during the formal and technical examination phase of the application (Article 31.2 Law 11/1986). Base de la Opinión.-  Opinion Base.- La presente opinión se ha realizado sobre la base de la solicitud de patente tal y como se publica. This opinion has been made on the basis of the patent application as published. Informe del Estado de la Técnica Página 3/4 State of the Art Report Page 3/4 OPINIÓN ESCRITA  WRITTEN OPINION Nº de solicitud: 201031735 Application number: 201031735 1. Documentos considerados.-  1. Documents considered.- A continuación se relacionan los documentos pertenecientes al estado de la técnica tomados en consideración para la realización de esta opinión. The documents belonging to the state of the art taken into consideration for the realization of this opinion are listed below.
Documento Document
Número Publicación o Identificación Fecha Publicación Publication or Identification Number publication date
D01 D01
US 2007201863 A1 (MICROSOFT CORPORATION) 30.08.2007 US 2007201863 A1 (MICROSOFT CORPORATION) 08/30/2007
D02 D02
US 2008181459 A1 (ST MICROELECTRONICS SA et al.) 31.07.2008 US 2008181459 A1 (ST MICROELECTRONICS SA et al.) 31.07.2008
D03 D03
JP 2007207056 A (SEIKO EPSON CORP) 16.08.2007 JP 2007207056 A (SEIKO EPSON CORP) 08/16/2007
2. Declaración motivada según los artículos 29.6 y 29.7 del Reglamento de ejecución de la Ley 11/1986, de 20 de marzo, de Patentes sobre la novedad y la actividad inventiva; citas y explicaciones en apoyo de esta declaración  2. Statement motivated according to articles 29.6 and 29.7 of the Regulations for the execution of Law 11/1986, of March 20, on Patents on novelty and inventive activity; quotes and explanations in support of this statement Reivindicación independiente 1: Independent claim 1: Los documentos citados, referidos a procedimientos de operación de dispositivos de múltiple tacto por proyección de imágenes sobre superficies, si bien presentan similitudes con el procedimiento de operación reivindicado, se diferencian en algunas características que hacen que la invención reivindicada se considere nueva y con actividad inventiva, según lo establecido en los Arts. 6 y 8 de LP. The aforementioned documents, referring to operation procedures of multi-touch devices by projection of images on surfaces, although they have similarities with the claimed operation procedure, differ in some characteristics that make the claimed invention considered new and with inventive activity , as established in Arts. 6 and 8 of LP. El documento D01 describe un procedimiento de operación de un dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies. Dicho dispositivo consta de: Document D01 describes an operation procedure of a multi-touch device by projection of images and data on surfaces. Said device consists of: a) una caja (véase la figura 2); a) a box (see figure 2); b) un proyector que proyecta imágenes sobre una superficie (véase la figura 3); b) a projector that projects images on a surface (see Figure 3); c) una cámara que capta los movimientos y gestos de un usuario (véanse las figuras 3 y 11). c) a camera that captures the movements and gestures of a user (see Figures 3 and 11). Según el documento D01, el procedimiento de operación de dicho dispositivo comprende las siguientes etapas: According to document D01, the operation procedure of said device comprises the following steps: a) identificación del contorno de la mano del usuario, localizando la punta de sus dedos y detectando la existencia o a) identification of the contour of the user's hand, locating the tips of their fingers and detecting the existence or no de contacto entre usuario y superficie (véanse los párrafos 49 y 50), No. of contact between user and surface (see paragraphs 49 and 50), b) detección de marcas matriciales, para realizar una calibración y enfoque (véase el párrafo 29), b) detection of matrix marks, to perform a calibration and approach (see paragraph 29), c) detección de folios, en la cual la cámara capta imágenes rectangulares y objetos planos proyectados sobre la c) folio detection, in which the camera captures rectangular images and flat objects projected on the superficie de trabajo (véase el párrafo 47). work surface (see paragraph 47). El envío de datos a una CPU mediante protocolo UDP se considera una técnica ampliamente conocida, por lo que para un experto en la materia sería una ejecución particular que resultaría obvia. Sending data to a CPU using UDP protocol is considered a widely known technique, so for a person skilled in the art it would be a particular execution that would be obvious. El documento D01 no describe que dicho dispositivo comprenda un obturador que controle la claridad y nitidez de las imágenes proyectadas. Una segunda diferencia entre la invención reivindicada y la descrita en el documento D01 reside en que el procedimiento del documento D01 realiza la etapa a) mediante el análisis de las sombras proyectadas por las manos del usuario sobre la superficie, en lugar de mediante una segmentación del color de la piel. El efecto técnico derivado de esta diferencia sería la detección del contacto de las puntas de los dedos con la superficie en condiciones de iluminación tales que exista ausencia de sombras. Document D01 does not describe that said device comprises a shutter that controls the clarity and sharpness of the projected images. A second difference between the claimed invention and that described in document D01 is that the procedure of document D01 performs step a) by analyzing the shadows cast by the user's hands on the surface, rather than by segmentation of the skin color. The technical effect derived from this difference would be the detection of the contact of the fingertips with the surface in lighting conditions such that there is absence of shadows. El documento D02 divulga un procedimiento para el seguimiento de los gestos de un usuario mediante la segmentación del color de la piel (véase el párrafo 67), la identificación de los contornos de la mano del usuario (véanse los párrafos 70 y 71) y la localización de las puntas de los dedos (véase el párrafo 76). Sin embargo, el procedimiento descrito en este documento no parece que detecte la existencia de contacto entre el usuario y la superficie de trabajo. Document D02 discloses a procedure for tracking a user's gestures by segmentation of skin color (see paragraph 67), identification of the contours of the user's hand (see paragraphs 70 and 71) and the location of the fingertips (see paragraph 76). However, the procedure described in this document does not appear to detect the existence of contact between the user and the work surface. De este modo, en ninguno de los documentos citados se han encontrado presentes todas las características técnicas que se definen en la reivindicación independiente 1. Asimismo, se considera que las características diferenciales no parecen derivarse de una manera evidente de ninguno de los documentos citados ni de manera individual ni mediante una combinación evidente entre ellos. Thus, none of the aforementioned documents have found all the technical characteristics defined in independent claim 1. Likewise, it is considered that the differential characteristics do not seem to derive in an evident way from any of the cited documents or from individually or by an obvious combination between them. Por todo la anterior, se concluye que la reivindicación independiente 1 y, por consiguiente, todas sus dependientes (reivindicaciones 2 a 8) satisfarían los requisitos de novedad y actividad inventiva establecidos en los 6.1 y 8.1 de la Ley 11/1986 de Patentes. For all of the above, it is concluded that independent claim 1 and, consequently, all its dependents (claims 2 to 8) would satisfy the requirements of novelty and inventive activity established in 6.1 and 8.1 of Patent Law 11/1986. Informe del Estado de la Técnica Página 4/4 State of the Art Report Page 4/4
ES201031735A 2010-02-16 2010-11-25 MULTIPLE TOUCH DEVICE FOR IMPROVEMENT OF IMAGES AND DATA ON SURFACES, IMPROVED. Active ES2393774B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ES201031735A ES2393774B1 (en) 2010-11-25 2010-11-25 MULTIPLE TOUCH DEVICE FOR IMPROVEMENT OF IMAGES AND DATA ON SURFACES, IMPROVED.
PCT/ES2011/070081 WO2011101518A1 (en) 2010-02-16 2011-02-08 Multi-touch device by projection of images and data onto surfaces, and method for operating said device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201031735A ES2393774B1 (en) 2010-11-25 2010-11-25 MULTIPLE TOUCH DEVICE FOR IMPROVEMENT OF IMAGES AND DATA ON SURFACES, IMPROVED.

Publications (2)

Publication Number Publication Date
ES2393774A1 ES2393774A1 (en) 2012-12-27
ES2393774B1 true ES2393774B1 (en) 2013-11-04

Family

ID=47296828

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201031735A Active ES2393774B1 (en) 2010-02-16 2010-11-25 MULTIPLE TOUCH DEVICE FOR IMPROVEMENT OF IMAGES AND DATA ON SURFACES, IMPROVED.

Country Status (1)

Country Link
ES (1) ES2393774B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207056A (en) * 2006-02-03 2007-08-16 Seiko Epson Corp Information input system
US7599561B2 (en) * 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
FR2911983B1 (en) * 2007-01-25 2009-05-29 St Microelectronics Sa METHOD FOR AUTOMATICALLY MONITORING MOVEMENTS OF THE HANDS IN A SEQUENCE OF IMAGES

Also Published As

Publication number Publication date
ES2393774A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
JP7238942B2 (en) drug identification software
JP5701839B2 (en) Electronic apparatus and method
US9117274B2 (en) System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors
JP5422724B1 (en) Electronic apparatus and drawing method
CN108431729A (en) To increase the three dimensional object tracking of display area
CN102779001A (en) Light pattern used for touch detection or gesture detection
JP2016071746A (en) Information projection method, information projection program, and information processing device
US20160093055A1 (en) Information processing apparatus, method for controlling same, and storage medium
ES2393774B1 (en) MULTIPLE TOUCH DEVICE FOR IMPROVEMENT OF IMAGES AND DATA ON SURFACES, IMPROVED.
CN114193444A (en) Robot hand-eye calibration method, system, equipment and medium
KR20150047620A (en) Touchscreen device with parallax error compensation
JP5284523B1 (en) Information processing system, program, and processing method of information processing system
JP5717831B2 (en) Electronic device and handwritten document processing method
CN101149653B (en) Device for distinguishing image position
WO2011101518A1 (en) Multi-touch device by projection of images and data onto surfaces, and method for operating said device
Hincapié-Ramos et al. tPad: designing transparent-display mobile interactions
US20100245266A1 (en) Handwriting processing apparatus, computer program product, and method
JP5456817B2 (en) Display control apparatus, display control method, information display system, and program
JP2017091336A (en) Information terminal device
JP7437259B2 (en) Image processing device, drug identification device, image processing method, and drug identification method
JP6047475B2 (en) Image recognition apparatus, image recognition method, and image recognition program
ES2386225B1 (en) MULTIPLE TOUCH DEVICE FOR IMAGE PROJECTION AND SURFACE DATA
JP2019185143A (en) Living body image processing device, living body image processing method, and living body image processing program
JP5414879B1 (en) Drug recognition device, drug recognition method, and drug recognition program
US11330091B2 (en) Apparatus with handheld form factor and transparent display with virtual content rendering

Legal Events

Date Code Title Description
FG2A Definitive protection

Ref document number: 2393774

Country of ref document: ES

Kind code of ref document: B1

Effective date: 20131104