EP2686760A2 - Dispositif interactif robuste aux ombres portées - Google Patents

Dispositif interactif robuste aux ombres portées

Info

Publication number
EP2686760A2
EP2686760A2 EP12714805.4A EP12714805A EP2686760A2 EP 2686760 A2 EP2686760 A2 EP 2686760A2 EP 12714805 A EP12714805 A EP 12714805A EP 2686760 A2 EP2686760 A2 EP 2686760A2
Authority
EP
European Patent Office
Prior art keywords
wall
representation
facade
region
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP12714805.4A
Other languages
German (de)
English (en)
Inventor
Frédéric GUERAULT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intui Sense
Original Assignee
Intui Sense
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intui Sense filed Critical Intui Sense
Publication of EP2686760A2 publication Critical patent/EP2686760A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/023—Arrangements for display, data presentation or advertising
    • G07F9/0235—Arrangements for display, data presentation or advertising the arrangements being full-front touchscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image

Definitions

  • the invention relates to a device comprising an image acquisition and processing system for an interactive or tactile facade enabling a user to interact directly on said facade to obtain a service.
  • the invention relates more specifically, but in a non-limiting manner, vending machines food (snacking in English terminology), hot or cold beverages. It also concerns panels or interactive windows for delivering location information, prices, advertisements, etc.
  • Automatic distribution is a privileged channel for the food industry. In particular, it allows substantial margins.
  • distributors are equipped with an interactive facade exploiting the technique of stereovision.
  • This technique consists in providing around a generally translucent wall, sensors for capturing a region of interest describing the very close to the wall to detect a finger for example, or more generally a pointer near said wall.
  • An illuminated or even backlit frame surrounding the wall is generally a reference for the detection of pointers.
  • known methods such as triangulation for example, it is possible to know precisely the position of the pointer on the wall. Actions can be preprogrammed for a particular pointer position to trigger a specific service.
  • the invention relates, according to a first object, to a device comprising an image acquisition and image processing system for an interactive facade, said facade comprising a wall, image capture means for providing a digital representation of the image. a region of interest describing the very close to the wall, said system comprising means for analyzing said representation and detecting the presence of a pointer near said wall.
  • the latter comprises means having a projecting portion that is raised relative to the plane of the wall external of the facade, the depth of said relief being less than the depth of the region of interest so that the digital representation provided by the capturing means comprises a first band describing the means having a salient part and a second band describing the distant wall not masked by said means.
  • the means for analyzing a digital representation is arranged to implement a method for identifying a set of pixels having at least one common side with one or more others of substantially identical light intensities and reflecting the capture. a pointer crossing the region of interest from the distance to the outer wall of the facade.
  • the means having a protruding part may consist of a projecting frame encircling all or part of the wall of the facade, the depth of the projecting portion of said frame being strictly less than that of the region of interest captured.
  • the invention furthermore relates to a method for adapting a device comprising an interactive facade acquisition and image processing system, said facade comprising a wall, image capture means for providing a digital representation of a region of interest describing the very close to the wall, said system comprising means for analyzing said representation and detecting the presence of a pointer near said wall.
  • a method for adapting a device comprising an interactive facade acquisition and image processing system, said facade comprising a wall, image capture means for providing a digital representation of a region of interest describing the very close to the wall, said system comprising means for analyzing said representation and detecting the presence of a pointer near said wall.
  • FIG. 1 shows an interactive facade according to the state of the art
  • FIG. 2 shows two examples of images obtained by means of a matrix image sensor according to the state of the art
  • FIG. 3 describes a functional system making it possible, from an interactive facade, to detect a pointer close to it;
  • FIG. 4 shows an example of a device adapted to host an interactive facade
  • FIG. 5 describes an interactive facade illuminated directly by an ambient light source
  • FIG. 6 presents capture means for existing image acquisition and image processing systems
  • FIG. 9 a illustrates the exploitation of an image captured by a system for acquiring and processing images of an existing device
  • FIG. 7 describes an example of an interactive device according to the invention.
  • FIG. 8 shows a capture scene by an image acquisition and image processing system embedded in a device according to the invention
  • FIGS. 9b and 10 illustrate the use of an image captured by a system for acquiring and processing images of a device according to the invention
  • FIG. 11 shows an exemplary method implemented by an image acquisition and image processing system embedded in a device according to the invention.
  • FIG 1 shows an interactive facade 10 used in a device, for example an interactive totem.
  • a vending machine drinks or more generally food ...
  • the facade 10 has a wall 14, generally translucent, surrounded by a frame 15.
  • image capture means 12a, 12b and 12c respectively in the form of a matrix image sensor (or a camera) such as the sensor 12 described later in connection with FIGS. 8.
  • Each sensor provides an image two dimensions of a region of the frame 15, said region of interest.
  • FIG. 2 illustrates, by way of example, two respectively polygonal 15a and rectangle 15b images captured using the capture means 12a and 12b whose respective fields of view ch12a and ch12b do not by themselves make it possible to embrace the entire wall 14 of the facade.
  • the facade 10 may include one or more light source (s) dedicated (s) for this use.
  • the facade 10 may include one or more light source (s) dedicated (s) for this use.
  • four light-emitting diodes 13a, 13b, 13c and 13d are placed in the immediate vicinity of the image capture means.
  • identical diodes are also arranged all around the frame, especially if the surface of the facade is important.
  • the sensors of the interactive facades are sometimes sensitive mainly in the near infrared to reduce the sensitivity to changes in the ambient brightness. In this case, the diodes emit according to these same wavelengths.
  • the arrangement of the sensors 12a, 12b and 12c makes it possible to make the wall 14 touch. Thus, as soon as a pointer, such as a hand P, approaches the wall, the latter is captured by one or more means of capture of the facade 10.
  • FIG. 3 illustrates a block diagram of a device comprising an acquisition and image processing system for an interactive facade.
  • a processing unit 30 exploits a set 21 of points whose coordinates are expressed in a two-dimensional space u and v resulting from images 15a, 15b and 15c respectively taken by the capture means 12a, 12b and 12c.
  • the means 30 From information 23 delivered during a parameterization step, and from the assembly 21, the means 30 implement a triangulation function to determine the spatial position 15z in three dimensions (x, y and z) of a pointer near the wall of a facade. To implement a triangulation function, it is necessary that at least two capture means can capture said pointer.
  • means 31 can trigger an appropriate action to deliver a service to a user.
  • Figure 4 describes an example of devices hosting an interactive facade.
  • a device 1 of the "interactive showcase” type delivers information: geographical positioning, subway map, jukebox etc.
  • the device 1 may comprise means for making a payment (coin mechanism 3 and currency receptacle 4).
  • It further comprises an interactive facade 10, generally large, which can cover a flat screen 7 on which information is displayed.
  • the active face 7a of the screen 7 (as opposed to its rear face 7b) faces the translucent wall of the interactive facade 10.
  • a light source 2 diffuses light on the frame of the facade to backlight and thus highlight the latter.
  • a user can point P an area of said facade and control the display of information on the screen 7.
  • It can also, alternatively, collect a product, such as a digital medium for example, via a distribution receptacle 5.
  • the device 1 is a food distributor. According to this variant, the products are not directly visible on a display. Visual information (photo (s), video (s), composition, etc.) and / or advertising is presented
  • the device comprising an interactive facade
  • it can be implanted in various places for which the ambient brightness can be variable or extreme and generate shadows likely to be detected as false pointers by the system. acquisition and image processing for interactive facade.
  • FIG. 5 illustrates a situation in which an interactive facade - such as the facade 10 described with reference to FIG. 1 - is subjected to ambient lighting S likely to alter the detection capacity of an existing system. This same situation will be exploited also to illustrate the contribution of the invention.
  • the interactive facade 10 described in Figure 5 comprises a wall 14 surrounded by a frame 15, the projecting portion has a relief relative to the plane of the outer wall of the facade.
  • the depth of said relief (or the depth of the projecting portion of the frame) is hc.
  • An image of the frame captured by capture means 12 is the reference for a pointer detection process in the immediate vicinity of the wall.
  • the capture field of the means 12 is schematized by the lines cc1 and cc2.
  • Intense illumination - symbolized by a sun S whose rays form an extremely bright beam schematized by the lines si, s2 - partially illuminates the facade.
  • a pointer P - in the form of the index of a hand moves in the immediate vicinity of the wall.
  • the region of interest captured by the means 12 corresponds to a portion of the frame 15 embraced by the capture field.
  • the capture means 12 are configured or parameterized so that the depth of said region of interest is identical to that of the frame 15: hc.
  • This portion of the frame constitutes the repository for the detection process implemented by the acquisition and image processing system for interactive facade.
  • FIG. 6 depicts an image captured by capture means 12 of a facade exposed to intense illumination such as the facade 10 described with reference to FIG. 5.
  • the capture means 12 described in FIG. in a single matrix sensor.
  • Said capture means 12 could be multiple such as the means 12a, 12b and 12c described in connection with Figure 1.
  • the single sensor 12 is configured to capture only the frame 15 as a region of interest.
  • the rectangle image I thus obtained mainly comprises pixels reflecting the reference frame as well as two regions za and zb respectively translating the capture of the pointer P and that of its shadow shadow P '.
  • Said regions za and zb respectively represent two distinct sets of pixels having at least one side in common with one or more others and whose light intensities are substantially identical within each set.
  • a system as described in connection with FIG. 3 translates such an image I delivered by the sensor 12 into a representation such as that described with reference to FIG. 9a.
  • said rectangle representation consists of 3 rows L1 to L3 of 16 pixels (ie 16 columns of pixels C1 to C16). If we consider a row of pixels, they can be discriminated according to a criterion of luminosity or luminous intensity.
  • said brightness criterion is expressed in a scale of 256 values: 0 for the darkest and 255 for the brightest. Another scale of values could be exploited.
  • the capture means 12 deliver a representation I close to that Ir of the reference frame. except for a few pixels whose respective light intensities may be greater or less than the average brightness of the pixels representing the reference frame. This difference in light intensity is used to highlight the possible presence of a pointer more or less bright than the reference frame.
  • a threshold ⁇ - predetermined or parameterizable - which applied to the average value of light intensity of a repository (frame or floor) to detect a pointer.
  • an acquisition and processing system of images for an interactive facade can subtract from the representation I of a scene describing the very close to the facade (matrix image located at the bottom left of figure 9a), the representation Ir of an identical scene for which only the repository is captured (matrix image located at the top left of Figure 9a).
  • the invention aims to design or adapt devices comprising an interactive facade to eliminate the disadvantages related in particular to the environment.
  • a device designed according to the invention has manufacturing costs particularly competitive (removal of light sources on the facade, use of sensitive sensors in the visible, etc.).
  • the invention provides that the capture means 12 (or even means 12a, 12b and 12c described with reference to FIG. 1) are configured to capture a region of interest with a relief.
  • a device 1 comprises an interactive facade provided with capture means 12. The latter are configured to capture a region of interest 101 constituted by the ground F on which the device 1 rests. The depth of the region of interest is noted hr.
  • the device is provided with projecting means 15 in the form of a ruler protruding under the wall or a projecting frame surrounding all or part of said wall of the facade 10
  • the depth hc of the protruding part of said means 15 is less than that hr of the captured region of interest.
  • the depth hc of the relief formed by said projecting portion relative to the plane of the outer wall of the facade is less than the depth of the region of interest hr.
  • the capture means 12 capture an image I as described in FIG. 8.
  • a facade exposed to intense lighting such as the facade 10 described in connection with FIG. 5.
  • the capture means 12 described in Figure 8 consist of a single matrix sensor.
  • Said capture means 12 could be multiple such as the means 12a, 12b and 12c described in connection with Figure 1.
  • the single sensor 12 is configured to capture a portion 101 of the ground F on which the device rests .
  • the capture field also encompasses the frame or the ruler 15.
  • a delivered representation I which comprises - in the absence of pointers - two bands: one 1100 describing the very near 100 of the wall and translating the means 15 thus captured and the other 1101 the distance translating the captured region 101 of the ground F on which the interactive device is based.
  • These two bands 1100 and 1101 constitute the mixed frame-ground reference system for the detection process.
  • a pointer P crosses the region of interest, the latter is captured. It is the same for its shadow P '.
  • the image I thus obtained mainly comprises the translation of the reference as well as three regions za, zb and zc.
  • Said regions za, zb and zc respectively correspond to three distinct sets of pixels having at least one side common with one or more others and whose light intensities are substantially identical within each set.
  • the region za reflects the capture of the pointer P. This being traversing, the region za concerns all the rows of pixels of the matrix representation I.
  • Zb is a set of pixels having at least one common side with one or more others partially covering the band expressing the projecting means 15.
  • zc is a set of pixels having at least one common side with one or more others partially covering the band translating the soil refer to F.
  • a device - comprising an interactive facade 10 as described with reference to FIG. 1, comprising a projecting frame 15 surrounding all or part of the wall of the facade - was adapted so that the capture means - traditionally configured to capture only said frame referenced - were parameterized to capture slightly beyond said frame so that the region of interest thus materialized embraces not only the frame 15 but also an area of the ground F on which rests the device.
  • the depth hr of the region of interest is thus greater than the depth hc of the relief formed by the protruding portion of the frame 15.
  • Two adjacent strips respectively translating the very close 100 of the wall (the projecting part of the frame 15) and the distant 101 (the ground F) would result from the capture of said region of interest comprising a relief.
  • a device must also be adapted so that the image analysis method implemented by the acquisition and image processing system for interactive facade, includes a step to seek to distinguish from a reference frame a set of pixels having at least one side with one or more others, of light intensities substantially identical and translating a pointer crossing the region of interest from the distance to the wall of the facade.
  • a drop shadow is systematically "broken" by the presence of the relief. It does not translate into a set of pixels having at least one side in common with one or more others relating to all the rows of a digital representation delivered by the capture means. It is the same for the presence of the feet of a user. The latter do not cover the salient frame, their capture does not result in the presence of a set of pixels having at least one side common with one or more others for all the rows of a digital representation delivered by the means of capture. Drop shadows and / or any pointer that does not completely cross the region of interest from the far to the very near the wall of the facade are ignored or remain invisible by the image acquisition and image processing system for interactive facades. a device according to the invention.
  • FIG. 9b illustrates a processing of images similar to that commented previously in connection with FIG. 9a.
  • Figure 11 shows the main steps of said method.
  • a first image analysis method comprises a first step for receiving 201 from capture means 12 a reference numerical representation Ir of the captured region of interest in the absence of any pointer in the vicinity of the wall of the facade.
  • the image Ir thus delivered comprises, by way of example, four rows L1 to L4 of 16 pixels.
  • the image resulting from the capture made by the means 12 may therefore comprise a substantially larger number of rows with respect to an image captured according to the state of the art.
  • the image Ir describing a mixed reference frame (projecting means 15 and a portion of the ground F) relative to the region of interest comprising a relief results in two bands such as those previously described. These correspond to the rows L1 and L2 describing the very close to the wall (and therefore the projecting means 15) and the rows L3 and L4 describing the distance (thus the ground F).
  • the analysis method comprises a step for receiving 202 from the capture means a second digital representation I of the region of interest.
  • the image I reproduces a scene similar to that described with reference to FIG. 8.
  • the translation of a pointer P is found: all the pixels of the columns C12 and C13.
  • a method implemented by the processing means of the image acquisition and processing system according to the invention also comprises a step for developing a third digital representation I 'by subtracting from said second representation I the reference representation. Ir.
  • each pixel of this representation I ' can be expressed - by way of example - according to a discrete scale of 256 values (0 - 255).
  • a value of 0 characterizes the darkest pixels and the brightest 255 pixels.
  • the pixels of the image I 'translating the reference frame have a light intensity close to 0; those translating P or P 'have a luminous intensity higher than a predetermined threshold ⁇ so that they can be distinguished from a measurement noise.
  • the luminous intensity of the pixels would then be expressed virtually by means of a scale of values between -128 and 127.
  • the luminous intensity of the pixels translating the reference frame would be close to 0.
  • a luminous pointer would mean for its part translated by pixels of light intensities substantially greater than the threshold ⁇ , its shadow carried by pixels whose light intensities are substantially less than the negative value of said threshold.
  • a method according to the first embodiment according to the invention further comprises a step for determining, iteratively, column by column - for example in absolute value - the highest luminous intensity. low among those characterizing the pixels constituting a column.
  • the method determines that the minimum intensity is substantially equal to 0 for columns C1 to C16 with the exception of columns C12 and C13 for which said luminous intensity is greater than at the threshold ⁇ . This difference reveals the presence of the pointer P.
  • Such a method therefore comprises a step for detecting a pointer 205 as soon as the minimum luminous intensity of a column of pixels of the representation I 'is greater than or equal to the predetermined threshold ⁇ .
  • the shadow P ' (concerned with the columns C3, C4, C6 and C7) is ignored.
  • Figure 10 depicts a digital representation I '
  • PI is a relatively oblique pointer to the plane of the wall of the facade.
  • P3 is a pointer substantially orthogonal to said plane.
  • P2 is a pointer that does not cross the region of interest. It eventually results from a dirt or insect positioned on the wall of the facade after the repository has been captured.
  • the invention provides a second embodiment of an analysis method for searching for the presence of a set of pixels having at least one common side with one or more others covering all the rows of a digital representation delivered by the capture means.
  • such a method implemented by the interactive facade acquisition and processing system of a device comprises first, second and third steps 201, 202 and 203 similar to those of the previous embodiment. to develop a representation I 'as described in connection with Figure 9b.
  • a method according to the second embodiment comprises a step for determining - for example in absolute value - the luminous intensity of the pixels of said representation I '. It further comprises a step 204 implemented for any pixel of a row bordering the representation I 'and whose luminous intensity is greater than or equal to the predetermined threshold ⁇ , to identify at least one pixel whose luminous intensity is substantially identical in each of the other rows, said identified pixels having at least one common side with one or more others.
  • all the pixels having at least one common side with one or more others and with light intensities substantially identical to the row pixel L1 and column C12 belong to the columns C12 and C13 whatever the rows considered.
  • all the pixels having at least one common side with one or more others and with substantially identical light intensities at row pixel L1 and column C6 relate to the pixels of columns C6 and C7 and rows L1 and L2.
  • Such a method comprises a step for detecting a pointer 205 if each row of pixels of the representation I 'comprises at least one pixel of a set of pixels having at least one side in common with one or more others and whose respective light intensities are substantially identical.
  • the invention can not be limited to these exemplary embodiments of image analysis method. Other methods could alternatively be implemented. It is sufficient for this denier to search for the existence of a set of pixels having at least one side in common with one or more others whose luminous intensities are substantially identical and concerning all the rows of a captured image of the region. interest comprising a relief.
  • a third example could consist in the iterative application of a mask to any pixel of the representation I 'to assign to said pixel the lowest luminous intensity among that of neighboring pixels: for example the pixel of an adjacent column within the same row and the pixel of the same column but an adjacent row.
  • a method detects a pointer crossing only if a set of pixels having at least one side common with one or more others and whose light intensities are substantially the same set of pixels for all rows.
  • it could also be expected to classify the different pixels according to the assigned light intensity so as to possibly characterize different pointers.
  • Different pointers can also be distinguished according to the number of sets of disjoint pixels identified.
  • the invention provides that the two-dimensional coordinates u and v of a detected pointer are determined by the coordinates, within the representation I ', of the pixel situated in the center of the base of an identified set, said pixel belonging to the row describing the closest to the outer wall of the facade.
  • the facade comprises a plurality of sensors (at least two) like the capture means 12a to 12c of the facade 10 described in connection with FIG. 1
  • a system for acquiring and processing images conforms to FIG. the invention can implement a triangulation function to determine the spatial position 15z in three dimensions (x, y and z) of any pointer detected near the wall of the facade. All that is required is that said pointer is detected by at least two matrix sensors.
  • the invention has been described primarily to combat the presence of drop shadows that can be detected as so many false pointers applied against an interactive facade.
  • any ray of light emitted from a source and inadvertently illuminating an interactive facade would also be ignored - as well as a shadow - by a device according to the invention. Indeed, such a radius would be "broken" by the projecting means embodying a relief within the region of interest.
  • Such a captured ray would translate - as well as a shadow P '- by at least two sets of disjoint pixels corresponding to at least two pointers not entirely crossing the region of interest and therefore ignored.
  • a device according to the invention is therefore also robust to direct radiation applied to its interactive facade.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un dispositif (1) comportant un système d'acquisition et de traitement d'images pour façade interactive (10) tel qu'un distributeur automatique de denrées, un panneau ou vitrine interactive. Un tel dispositif est agencé de sorte que le système d'acquisition et de traitement d'images filtre toute ombre portée par un pointeur (P) à proximité de la façade interactive.

Description

Dispositif interactif robuste aux ombres portées
L'invention concerne un dispositif comportant un système d'acquisition et de traitement d'images pour façade interactive ou tactile permettant à un utilisateur d' interagir directement sur ladite façade pour obtenir un service. L'invention concerne plus précisément, mais de manière non limitative, les distributeurs automatiques de denrées (snacking en terminologie anglo-saxonne) , de boissons chaudes ou froides. Elle concerne également les panneaux ou vitrines interactives permettant de délivrer des informations de localisation, de prix, de publicités, etc .
La distribution automatique est un canal privilégié pour l'industrie agroalimentaire. Elle permet notamment des marges substantielles. Pour en maximiser 1' attractivité, des distributeurs sont équipés d'une façade interactive exploitant la technique de la stéréovision . Cette technique consiste à prévoir autour d'une paroi généralement translucide, des capteurs pour capturer une région d' intérêt décrivant le très proche de la paroi pour détecter un doigt par exemple, ou plus généralement un pointeur à proximité de ladite paroi. Un cadre éclairé voire rétro-éclairé ceinturant la paroi constitue généralement un référentiel pour la détection de pointeurs. A l'aide de méthodes connues, telles que la triangulation par exemple, il est possible de connaître précisément la position du pointeur sur la paroi. Des actions peuvent être préprogrammées pour qu'une position particulière d'un pointeur déclenche un service spécifique .
Les solutions actuellement exploitées permettent une détection de pointeur à proximité immédiate de la façade d'une grande précision. Toutefois, ces solutions peuvent présenter des disfonctionnements rédhibitoires (détections ou absences de détections de pointeurs intempestives) selon les conditions de luminosité ambiante. De tels dispositifs sont en effet disposés dans des environnements variés : intérieur ou extérieur, espaces lumineux ou sombres, etc. La présence d'ombres portées par des objets ou par une personne s' approchant d'une façade peut entraîner une détection intempestive d'un faux pointeur à proximité de la façade. Il en est de même pour tout rayon lumineux qui serait appliqué de manière intempestive sur la façade depuis une source lumineuse quelconque. Un tel rayon pourrait être détecté de manière non pertinente comme un faux pointeur appliqué sur ladite façade.
L'utilisation d'une façade interactive peut ainsi devenir peu pertinente dans l'exploitation de dispositifs exposés à des conditions de luminosité changeantes au détriment du chiffre d'affaire de l'exploitant.
Pour lutter contre ce désagrément, des façades interactives de distributeurs, totems ou vitrines interactives connues comportent un éclairage dédié. Cet éclairage se présente généralement sous la forme de diodes électroluminescentes situées sur le pourtour du cadre de la façade, notamment à proximité du ou des capteurs pour atténuer la présence d' ombres portées par un pointeur. Toutefois, cet éclairage additionnel est insuffisant en cas d'ensoleillement direct important. D'autres façades interactives utilisent des capteurs sensibles uniquement au proche infrarouge. Ainsi la bande spectrale située en dehors du proche infrarouge est filtrée. Les inconvénients induits par ce type de façade sont toutefois nombreux. Tout d'abord, la bande spectrale est appauvrie au regard de celle délivrée par un capteur travaillant dans le domaine du visible. Les capacités de détections sont donc moindres. En outre, les coûts sont fortement augmentés : les capteurs sont beaucoup plus onéreux que des capteurs standards et les sources lumineuses dédiées à l'éclairage du cadre, telles que des diodes infrarouges sont également plus onéreuses que des diodes émettant dans le visible.
L'invention permet de répondre à l'ensemble des inconvénients soulevés par les solutions connues. Parmi les nombreux avantages apportés par l'invention, nous pouvons mentionner que l'invention permet :
- de maximiser la capacité de détection desdites façades y compris dans des conditions de luminosité ambiante extrêmes ;
- de maintenir la capacité de détection lors d'altérations du référentiel du processus de détection ;
- d'utiliser des façades interactives travaillant dans le visible, précises et peu coûteuses, y compris dans le domaine de la distribution automatique de denrées ;
- de diminuer voire de supprimer les sources lumineuses dédiées à 1 ' éclairement du cadre des façades interactives.
A cette fin, l'invention concerne selon un premier objet, un dispositif comportant un système d'acquisition et de traitement d'images pour façade interactive, ladite façade comportant une paroi, des moyens de capture d'image pour fournir une représentation numérique d'une région d'intérêt décrivant le très proche de la paroi, ledit système comportant des moyens pour analyser ladite représentation et détecter la présence d'un pointeur à proximité de ladite paroi. Selon l'invention, pour rendre le dispositif robuste notamment aux ombres portées, celui-ci comporte des moyens présentant une partie saillante faisant relief par rapport au plan de la paroi externe de la façade, la profondeur dudit relief étant inférieure à la profondeur de la région d' intérêt de sorte que la représentation numérique fournie par les moyens de capture comporte une première bande décrivant les moyens présentant une partie saillante et une seconde bande décrivant le lointain de la paroi non masqué par lesdits moyens. L'invention prévoit en outre que les moyens pour analyser une représentation numérique soient agencés pour mettre en œuvre un procédé pour identifier un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres, d'intensités lumineuses sensiblement identiques et traduisant la capture d'un pointeur traversant la région d' intérêt du lointain vers la paroi externe de la façade.
Selon un mode de réalisation avantageux, les moyens présentant une partie saillante peuvent consister en un cadre saillant ceinturant tout ou partie de la paroi de la façade, la profondeur de la partie saillante dudit cadre étant strictement inférieure à celle de la région d'intérêt capturée.
Selon un second objet, l'invention concerne en outre, un procédé pour adapter un dispositif comportant un système d'acquisition et de traitement d'images pour façade interactive, ladite façade comportant une paroi, des moyens de capture d' image pour fournir une représentation numérique d'une région d'intérêt décrivant le très proche de la paroi, ledit système comportant des moyens pour analyser ladite représentation et détecter la présence d'un pointeur à proximité de ladite paroi. Un tel procédé comporte :
- une étape pour munir le dispositif de moyens présentant une partie saillante faisant relief par rapport au plan de la paroi externe de la façade ; - une étape pour paramétrer les moyens de capture d' image pour qu' ils capturent une région d' intérêt dont la profondeur est supérieure à celle de la partie saillante faisant relief de sorte que la représentation numérique fournie par les moyens de capture comporte une première bande décrivant les moyens présentant une partie saillante et une seconde bande décrivant le lointain de la paroi non masqué par lesdits moyens ;
- une étape pour adapter les moyens pour analyser pour qu'ils cherchent à identifier un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres, d'intensités lumineuses sensiblement identiques et traduisant la capture d'un pointeur traversant la région d'intérêt du lointain vers la paroi externe de la façade.
D'autres caractéristiques et avantages apparaîtront plus clairement à la lecture de la description qui suit et à l'examen des figures qui l'accompagnent parmi lesquelles :
- la figure 1 présente une façade interactive selon l'état de la technique ;
- la figure 2 présente deux exemples d' images obtenues au moyen d'un capteur d'images matriciel selon l'état de la technique ;
- la figure 3 décrit un système fonctionnel permettant, à partir d'une façade interactive, de détecter un pointeur à proximité de celle-ci ;
- la figure 4 présente un exemple de dispositif adapté pour héberger une façade interactive ;
- la figure 5 décrit une façade interactive éclairée directement par une source lumineuse ambiante ; - la figure 6 présente des moyens de capture pour systèmes d'acquisition et de traitement d'images existant ;
- la figure 9a permet d'illustrer l'exploitation d'une image capturée par un système d'acquisition et de traitement d'images d'un dispositif existant ;
- la figure 7 décrit un exemple de dispositif interactif conforme à l'invention ;
- la figure 8 présente une scène de capture par un système d'acquisition et de traitement d'images embarqué dans un dispositif conforme à 1 ' invention ;
- les figures 9b et 10 permettent d'illustrer l'exploitation d'une image capturée par un système d'acquisition et de traitement d'images d'un dispositif conforme à l'invention ;
- la figure 11 présente un exemple de procédé mis en œuvre par un système d'acquisition et de traitement d'images embarqué dans un dispositif conforme à l'invention.
La figure 1 présente une façade interactive 10 utilisée dans un dispositif, par exemple un totem interactif. On pourrait également envisager d'intégrer une telle façade dans un dispositif différent : un distributeur automatique de boissons ou plus généralement de denrées... La façade 10 comporte une paroi 14, généralement translucide, ceinturée d'un cadre 15. Sur la partie supérieure 11 du cadre sont disposés des moyens de capture d' image 12a, 12b et 12c respectivement sous la forme d'un capteur d'image matriciel (ou d'une caméra) tel que le capteur 12 décrit ultérieurement en liaison avec les figures 6 ou 8. Chaque capteur fournit une image en deux dimensions d'une région du cadre 15, dite région d' intérêt .
La figure 2 illustre, à titre d'exemple, deux images respectivement polygonale 15a et rectangle 15b capturées à l'aide des moyens de capture 12a et 12b dont les champs de vision respectifs chl2a et chl2b ne permettent pas à eux seuls d'embrasser l'intégralité de la paroi 14 de la façade .
Pour éclairer le cadre et permettre la capture d'une image de bonne qualité, la façade 10 peut comporter une ou plusieurs source (s) lumineuse (s) dédiée (s) à cet usage. Ainsi, à titre d'exemple, quatre diodes électroluminescentes 13a, 13b, 13c et 13d sont placées à proximité immédiate des moyens de captures d'image. Généralement, des diodes identiques sont également disposées sur tout le pourtour du cadre, notamment si la surface de la façade est importante. Pour les raisons explicitées précédemment, les capteurs des façades interactives sont parfois sensibles principalement dans le proche infrarouge pour réduire la sensibilité aux variations de la luminosité ambiante. Dans ce cas, les diodes émettent selon ces mêmes longueurs d'ondes. La disposition des capteurs 12a, 12b et 12c permet de rendre tactile la paroi 14. Ainsi, dès qu'un pointeur, tel qu'une main P, s'approche de la paroi, celui-ci est capturé par un ou plusieurs moyens de capture de la façade 10.
La figure 3 permet d' illustrer un schéma fonctionnel d'un dispositif comportant un système d'acquisition et de traitement d'images pour façade interactive. Ainsi, une unité de traitement 30 exploite un ensemble 21 de points dont les coordonnées s'expriment dans un espace à deux dimensions u et v résultant 24 d'images 15a, 15b et 15c prises respectivement par les moyens de capture 12a, 12b et 12c. A partir d'informations 23 délivrées durant une étape de paramétrage, et de l'ensemble 21, les moyens 30 mettent en œuvre une fonction de triangulation pour déterminer 26 la position spatiale 15z en trois dimensions (x, y et z) d'un pointeur à proximité de la paroi d'une façade. Pour mettre en œuvre une fonction de triangulation, il est nécessaire qu'au moins deux moyens de capture puissent capturer ledit pointeur.
Selon les coordonnées 15z délivrées 27, des moyens 31 peuvent déclencher une action idoine pour délivrer un service à un utilisateur.
La figure 4 décrit un exemple de dispositifs hébergeant une façade interactive. Ainsi un dispositif 1 du type « vitrine interactive » délivre des informations : positionnement géographique, plan de métro, jukebox etc. Le dispositif 1 peut comporter des moyens pour effectuer un paiement (monnayeur 3 et réceptacle pour monnaie 4) . Il comporte en outre une façade interactive 10, généralement de grande taille, pouvant couvrir intégralement un écran plat 7 sur lequel s'affichent des informations. La face active 7a de l'écran 7 (par opposition à sa face arrière 7b) fait face à la paroi translucide de la façade interactive 10. Une source lumineuse 2 diffuse de la lumière sur le cadre de la façade pour rétro-éclairer et ainsi mettre en valeur cette dernière. Un utilisateur peut pointer P une zone de ladite façade et commander l'affichage d'une information sur l'écran 7. Il peut encore, en variante, recueillir un produit, tel qu'un support numérique par exemple, via un réceptacle de distribution 5. Nous pourrions également imaginer que le dispositif 1 est un distributeur de produits alimentaires. Selon cette variante, les produits ne sont pas directement visibles sur un présentoir. Une information visuelle (photo (s), vidéo (s), composition, etc.) et/ou publicitaire est présentée aux acheteurs potentiels .
Quel que soit le dispositif comportant une façade interactive, celui-ci peut-être implanté dans des lieux variés pour lesquels la luminosité ambiante peut être variable voire extrême et générer des ombres portées susceptibles d'être détectées comme des faux pointeurs par le système d'acquisition et de traitement d'images pour façade interactive.
La figure 5 illustre une situation dans laquelle une façade interactive - telle que la façade 10 décrite en liaison avec la figure 1 - est soumise à un éclairage ambiant S susceptible d'altérer la capacité de détection d'un système existant. Cette même situation sera exploitée également pour illustrer l'apport de 1 ' invention .
La façade interactive 10 décrite par la figure 5 comporte une paroi 14 ceinturée par un cadre 15 dont la partie saillante présente un relief par rapport au plan de la paroi externe de la façade. La profondeur dudit relief (ou encore la profondeur de la partie saillante du cadre) est hc . Une image du cadre capturée par des moyens de capture 12 constitue la référence pour un processus de détection de pointeurs à proximité immédiate de la paroi. Le champ de capture des moyens 12 est schématisé par les droites ccl et cc2. Un éclairage intense - symbolisé par un soleil S dont les rayons constituent un faisceau extrêmement lumineux schématisé par les droites si, s2 - illumine partiellement la façade. Un pointeur P - sous la forme de l'index d'une main se déplace à proximité immédiate de la paroi. Ce pointeur peut se retrouver particulièrement exposé aux rayons lumineux. Une ombre portée P' est alors matérialisée. La région d' intérêt capturée par les moyens 12 correspond à une portion du cadre 15 embrassée par le champ de capture. Les moyens de capture 12 sont configurés ou paramétrés de sorte que la profondeur de la dite région d' intérêt soit identique à celle du cadre 15 : hc . Cette portion du cadre constitue le référentiel pour le processus de détection mis en œuvre par le système d'acquisition et de traitement d'images pour façade interactive. Nous pouvons remarquer qu'une région d'intérêt similaire pourrait être déterminée si la paroi 14 de la façade 10 n'est pas ceinturée d'un cadre réfèrent. Dans ce cas, le sol - capturable par les moyens 12 - constituerait le référentiel. Toutefois, afin de ne pas détecter par exemple les pieds d'un utilisateur en tant que pointeurs, l'utilisation d'un cadre réfèrent est généralement préférée selon l'état de la technique. Les moyens de capture sont dès lors configurés pour ne capturer que le cadre réfèrent. La figure 6 décrit une image capturée par des moyens de capture 12 d'une façade exposée à un éclairage intense telle que la façade 10 décrite en liaison avec la figure 5. Par mesures de simplification, les moyens de capture 12 décrit en figure 6 consistent en un seul capteur matriciel. Lesdits moyens de capture 12 pourraient être multiples tels que les moyens 12a, 12b et 12c décrits en liaison avec la figure 1. Selon la figure 6, l'unique capteur 12 est configuré pour ne capturer que le cadre 15 en tant que région d'intérêt. L'image rectangle I ainsi obtenue comporte principalement des pixels traduisant le cadre réfèrent ainsi que deux régions za et zb traduisant respectivement la capture du pointeur P et celle de son ombre portée P' . Lesdites régions za et zb représentent respectivement deux ensembles distincts de pixels ayant au moins un côté commun avec un ou plusieurs autres et dont les intensités lumineuses sont sensiblement identiques au sein de chaque ensemble.
Pour détecter un pointeur à proximité de la paroi, un système tel que décrit en liaison avec la figure 3, traduit une telle image I délivrée par le capteur 12 en une représentation telle que celle décrite en liaison avec la figure 9a. A titre d'exemple, ladite représentation rectangle consiste en 3 rangées Ll à L3 de 16 pixels (soit 16 colonnes de pixels Cl à C16) . Si l'on considère une rangée de pixels, ces derniers peuvent être discriminés suivant un critère de luminosité ou d'intensité lumineuse. Ainsi, à titre d'exemple, on peut considérer que ledit critère de luminosité se traduit suivant une échelle de 256 valeurs : 0 pour le plus sombre et 255 pour le plus lumineux. Une autre échelle de valeurs pourrait être exploitée.
Lors du processus itératif d'acquisition et de traitement d' images permettant de détecter la présence éventuelle d'un pointeur à proximité immédiate de la paroi de la façade, les moyens de capture 12 délivrent une représentation I proche de celle Ir du référentiel à l'exception de quelques pixels dont les intensités lumineuses respectives peuvent être supérieures ou inférieures à la luminosité moyenne des pixels traduisant le référentiel. Cette différence d'intensité lumineuse est mise à profit pour mettre en exergue la présence éventuelle d'un pointeur plus ou moins lumineux que le référentiel .
Pour distinguer un pointeur du bruit de capture, il est d'usage de définir un seuil Δ - prédéterminé voire paramétrable - qui appliqué à la valeur moyenne d'intensité lumineuse d'un référentiel (cadre ou sol) permet de détecter un pointeur. Concrètement, pour détecter un pointeur, et selon l'exemple illustré en figure 9a, un système d'acquisition et de traitement d'images pour façade interactive, peut soustraire à la représentation I d'une scène décrivant le très proche de la façade (image matricielle située en bas à gauche de la figure 9a), la représentation Ir d'une scène identique pour laquelle seul le référentiel est capturé (image matricielle située en haut à gauche de la figure 9a) . Le résultat en valeur absolue de la soustraction ainsi opérée est décrit - à titre d'exemple - par l'image matricielle I' située en haut à droite de la figure 9a. II est alors possible de traduire cette représentation numérique I' sous la forme d'une courbe d'intensités lumineuses relative aux pixels qui la composent. A titre d'exemple, déterminer l'intensité lumineuse des pixels de la rangée L2 de I' revient à exploiter une courbe d'intensités lumineuses LL2 décrite en bas à droite de la figure 9A. On obtient ainsi des intensités lumineuses de valeurs comprises entre 0 et 255, la référence se situant sensiblement autour de 0. Le système détecte un pointeur si l'intensité lumineuse d'un nombre prédéterminé de pixels voisins au sein d'une même image est inférieure ou supérieure audit seuil Δ. Ainsi, selon la figure 9a, deux pointeurs peuvent être détectés : le pointeur réel P et son ombre portée P' . Un faux pointeur est ainsi détecté entraînant le déclenchement inopiné d'un service inapproprié au regard de la requête de l'usager. Un système de détection existant et exploitant une telle image devient dès lors partiellement inopérant notamment à causes des ombres portées générées par les conditions d'éclairage ambiant.
L' invention vise à concevoir ou adapter des dispositifs comportant une façade interactive pour supprimer les inconvénients liés notamment à l'environnement. En outre, un dispositif conçu selon l'invention présente des coûts de fabrication particulièrement compétitifs (suppression de sources de lumière sur la façade, utilisation de capteurs sensibles dans le visible, etc.).
Pour supprimer les inconvénients liés aux solutions existantes, en liaison avec l'exemple de la figure 7, l'invention prévoit que les moyens de capture 12 (voire des moyens 12a, 12b et 12c décrits en liaison avec la figure 1) soient configurés pour capturer une région d'intérêt comportant un relief. A titre, d'exemple, un dispositif 1 comporte une façade interactive munie de moyens de capture 12. Ces derniers sont configurés pour capturer une région d'intérêt 101 constituée par le sol F sur lequel repose le dispositif 1. La profondeur de la région d'intérêt est notée hr . Pour que ladite région d'intérêt comporte un relief, le dispositif est muni de moyens saillants 15 sous la forme d'une réglette venant en saillie sous la paroi ou encore d'un cadre saillant ceinturant tout ou partie de ladite paroi de la façade 10. La profondeur hc de la partie saillante desdits moyens 15 est inférieure à celle hr de la région d'intérêt capturée. En d'autres termes la profondeur hc du relief constitué par ladite partie saillante par rapport au plan de la paroi externe de la façade est inférieure à la profondeur de la région d'intérêt hr. Celle-ci embrasse ainsi une première région 100 correspondant à une portion de la partie saillante des moyens 15 ainsi que la région 101 du sol F diminuée d'une région 100' masquée par lesdits moyens 15.
Ainsi, si l'on prend à nouveau l'exemple de la scène illustrée en figure 5, les moyens de capture 12 capturent une image I telle que décrite par la figure 8. Une telle représentation rectangle est délivrée par des moyens de capture 12 d'une façade exposée à un éclairage intense telle que la façade 10 décrite en liaison avec la figure 5. Comme pour la figure 6 et pour faciliter la compréhension de l'invention, les moyens de capture 12 décrits en figure 8 consistent en un seul capteur matriciel. Lesdits moyens de capture 12 pourraient être multiples tels que les moyens 12a, 12b et 12c décrits en liaison avec la figure 1. Selon la figure 8, l'unique capteur 12 est configuré pour capturer une portion 101 du sol F sur lequel repose le dispositif. Le champ de capture embrasse également le cadre ou la réglette 15. Ainsi, l'existence d'un relief matérialisé par la présence des moyens 15 engendre une représentation délivrée I qui comporte - en l'absence de pointeurs - deux bandes : l'une 1100 décrivant le très proche 100 de la paroi et traduisant les moyens 15 ainsi capturés et l'autre 1101 le lointain traduisant la région capturée 101 du sol F sur lequel repose le dispositif interactif. Ces deux bandes 1100 et 1101 constituent le référentiel mixte « cadre-sol » pour le processus de détection. Dans le cas où - comme l'illustre la figure 5 - un pointeur P traverse la région d'intérêt, celui-ci est capturé. Il en est de même pour son ombre portée P' . L'image I ainsi obtenue comporte principalement la traduction du référentiel ainsi que trois régions za, zb et zc. Lesdites régions za, zb et zc correspondent respectivement à trois ensembles distincts de pixels ayant au moins un côté commun avec un ou plusieurs autres et dont les intensités lumineuses sont sensiblement identiques au sein de chaque ensemble. La région za traduit la capture du pointeur P. Celui-ci étant traversant, la région za concerne toutes les rangées de pixels de la représentation matricielle I. Contrairement à l'image délivrée et décrite en figure 6 en lien avec l'état de la technique, les moyens saillants 15 constituant un relief au sein de la région d' intérêt « cassent » l'ombre portée P' . Celle-ci se traduit sur la représentation I par deux régions zb et zc distinctes et non traversantes. Ainsi, Zb est un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres couvrant partiellement la bande traduisant les moyens saillants 15. zc est un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres couvrant partiellement la bande traduisant le sol réfèrent F.
L'exemple d'agencement d'un dispositif interactif tel qu'étudié précédemment est basé sur l'apport de moyens saillants 15 capturables au sein d'une région d'intérêt embrassant une zone du sol F sur lequel repose le dispositif, zone décrivant le très proche de la paroi de la façade interactive.
On obtiendrait toutefois des résultats équivalents, dans le cas où un dispositif - comportant une façade interactive 10 telle que décrite en liaison avec la figure 1, comportant un cadre saillant 15 ceinturant toute ou partie de la paroi de la façade - était adapté de sorte que les moyens de capture - traditionnellement configurés pour ne capturer que ledit cadre réfèrent - étaient paramétrés pour capturer légèrement au-delà dudit cadre de sorte que la région d' intérêt ainsi matérialisée embrasse non seulement le cadre 15 mais également une zone du sol F sur lequel repose le dispositif. La profondeur hr de la région d' intérêt est ainsi supérieure à la profondeur hc du relief constitué par la partie saillante du cadre 15. Deux bandes adjacentes traduisant respectivement le très proche 100 de la paroi (la partie saillante du cadre 15) et le lointain 101 (le sol F) résulteraient de la capture de ladite région d' intérêt comportant un relief.
Quelque soit le mode opératoire précédemment décrit pour constituer une région d' intérêt comportant un relief, un dispositif conforme à l'invention doit en outre être adapté pour que le procédé d'analyse d'images mis en œuvre par le système d'acquisition et de traitement d'images pour façade interactive, comporte une étape pour chercher à distinguer d'un référentiel un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres, d'intensités lumineuses sensiblement identiques et traduisant un pointeur traversant la région d'intérêt du lointain vers la paroi de la façade. En effet, la combinaison de cette caractéristique technique avec la présence du relief au sein de la région d' intérêt capturée permet de filtrer ou ignorer toute ombre portée par un pointeur ou par un objet ou sujet proche du dispositif interactif. Ce dernier devient dès lors robuste aux ombres portées notamment générées par les conditions de l'éclairage ambiant.
En effet, comme l'on peut le constater sur la figure
8, une ombre portée est systématiquement « cassée » par la présence du relief. Elle ne se traduit pas par un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres concernant la totalité des rangées d'une représentation numérique délivrée par les moyens de capture. Il en est de même pour la présence des pieds d'un utilisateur. Ces derniers ne recouvrant pas le cadre saillant, leur capture ne se traduit pas par la présence d'un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres concernant la totalité des rangées d'une représentation numérique délivrée par les moyens de capture. Les ombres portées et/ou tout pointeur non traversant intégralement la région d' intérêt du lointain vers le très proche de la paroi de la façade sont ignorés ou demeurent invisibles par le système d'acquisition et de traitement d'images pour façade interactive d'un dispositif conforme à l'invention.
Un premier exemple d'un procédé d'analyse mis en œuvre par un tel système peut être décrit en liaison avec les figures 9b et 11. La figure 9b illustre un traitement d' images proche de celui commenté précédemment en lien avec la figure 9a. La figure 11 présente quant à elle les principales étapes dudit procédé.
Ainsi, selon l'invention, un premier procédé d' analyse d' images comporte une première étape pour réceptionner 201 depuis des moyens de capture 12 une représentation numérique référence Ir de la région d' intérêt capturée en absence de tout pointeur à proximité de la paroi de la façade. Ainsi l'image Ir ainsi délivrée comporte à titre d'exemple quatre rangées Ll à L4 de 16 pixels. L'image résultant de la capture réalisée par les moyens 12 peut donc comporter un nombre sensiblement plus important de rangées par rapport à une image capturée selon l'état de la technique.
L' image Ir décrivant un référentiel mixte (moyens saillants 15 et une portion du sol F) relatif à la région d' intérêt comportant un relief se traduit par deux bandes telles que celles précédemment décrites. Celles-ci correspondent aux rangées Ll et L2 décrivant le très proche de la paroi (et donc les moyens saillants 15) et les rangées L3 et L4 décrivant le lointain (donc le sol F) .
Le procédé d' analyse comporte une étape pour réceptionner 202 depuis les moyens de capture une deuxième représentation numérique I de la région d'intérêt. Selon la figure 9b, l'image I reproduit une scène similaire à celle décrite en liaison avec la figure 8. On retrouve ainsi la traduction d'un pointeur P : l'ensemble des pixels des colonnes C12 et C13. On retrouve en outre la traduction de la capture d'une ombre portée P' : deux ensembles disjoints de pixels concernant uniquement et respectivement les rangées Ll et L2 et les colonnes C6 et C7 d'une part, les rangées L3 et L4 et les colonnes C3 et C4, d'autre part. Un procédé mis en œuvre par les moyens de traitement du système d'acquisition et de traitement d'images conforme à l'invention comporte en outre une étape pour élaborer 203 une troisième représentation numérique I' en soustrayant à ladite deuxième représentation I la représentation référence Ir.
Selon un mode de réalisation préféré, ladite soustraction pour retirer la contribution du référentiel, permet de produire - en valeurs absolues - une représentation numérique I' telle que I'=|I-Ir|.
Les intensités lumineuses respectives de chaque pixel de cette représentation I' peuvent être exprimées - à titre d'exemple - suivant une échelle discrète de 256 valeurs (0 - 255) . Une valeur 0 caractérise les pixels les plus sombres et 255 les plus lumineux. Ainsi, selon cet exemple, les pixels de l'image I' traduisant le référentiel ont une intensité lumineuse proche de 0 ; ceux traduisant P ou P' ont une intensité lumineuse supérieure à un seuil prédéterminé Δ de sorte que l'on puisse les distinguer d'un bruit de mesure.
On pourrait toutefois réaliser une telle soustraction de la contribution d'un référentiel en relatif. L'intensité lumineuse des pixels s'exprimerait alors virtuellement au moyen d'une échelle de valeurs comprises entre -128 et 127. L'intensité lumineuse des pixels traduisant le référentiel serait proche de 0. Un pointeur lumineux serait quant à lui traduit par des pixels d' intensités lumineuses sensiblement supérieures au seuil Δ, son ombre portée par des pixels dont les intensités lumineuses seraient sensiblement inférieures à la valeur négative dudit seuil.
Un procédé selon le premier mode de réalisation conforme à l'invention comporte en outre une étape pour déterminer 204 itérativement , colonne par colonne - par exemple en valeur absolue - l'intensité lumineuse la plus faible parmi celles caractérisant les pixels constituant une colonne. Ainsi, selon la représentation I' illustrée à droite de la figure 9b, le procédé détermine que l'intensité minimale est sensiblement égale à 0 pour les colonnes Cl à C16 à l'exception des colonnes C12 et C13 pour lesquelles ladite intensité lumineuse est supérieure au seuil Δ . Cette différence révèle la présence du pointeur P.
Un tel procédé comporte dès lors une étape pour détecter 205 un pointeur dés que l'intensité lumineuse minimale d'une colonne de pixels de la représentation I' est supérieure ou égale au seuil Δ prédéterminé. Nous pouvons constater que l'ombre portée P' (concernée par les colonnes C3, C4, C6 et C7) est ignorée.
La mise en œuvre d'un tel procédé couplé à la présence d'un relief dans la région d'intérêt suffit à ignorer les ombres portées. La figure 10 décrit une représentation numérique I'
(obtenue après soustraction d'un référentiel). Elle met en lumière trois pointeurs PI, P2, P3. PI est un pointeur relativement oblique au regard du plan de la paroi de la façade. P3 est un pointeur sensiblement orthogonal audit plan. P2 est un pointeur ne traversant pas la région d'intérêt. Il résulte éventuellement d'une salissure ou d'un insecte positionné sur la paroi de la façade après que le référentiel ait été capturé.
La mise en œuvre d'un procédé selon le premier mode de réalisation décrit précédemment permettrait de détecter efficacement le pointeur P3. Le pointeur P2 serait pertinemment ignoré. Toutefois, un pointeur oblique au regard du plan de la paroi tel que le pointeur PI serait ignoré à tort. En effet, toutes les colonnes de I' concernées par ledit pointeur PI ont une intensité lumineuse minimale sensiblement égale à la référence 0.
Pour éviter cette limitation, l'invention prévoit un deuxième mode de réalisation d'un procédé d'analyse pour chercher la présence d'un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres couvrant la totalité des rangées d'une représentation numérique délivrée par les moyens de capture.
Ainsi, un tel procédé mis en œuvre par le système d'acquisition et de traitement pour façade interactive d'un dispositif conforme à l'invention comporte des première, deuxième et troisième étapes 201, 202 et 203 similaires à celles du précédent mode de réalisation afin d'élaborer une représentation I' telle que décrite en liaison avec la figure 9b. Un procédé selon le deuxième mode de réalisation, comporte une étape pour déterminer - par exemple en valeur absolue - l'intensité lumineuse des pixels de ladite représentation I'. Il comporte en outre une étape 204 mise en œuvre pour tout pixel d'une rangée bordant la représentation I' et dont l'intensité lumineuse est supérieure ou égale au seuil prédéterminé Δ, pour identifier au moins un pixel dont l'intensité lumineuse est sensiblement identique dans chacune des autres rangées, lesdits pixels identifiés ayant au moins un côté commun avec un ou plusieurs autres. Ainsi, selon l'exemple décrit en liaison avec la figure 9b, l'ensemble des pixels ayant au moins un côté commun avec un ou plusieurs autres et d' intensités lumineuses sensiblement identiques au pixel de rangée Ll et de colonne C12, appartiennent aux colonnes C12 et C13 quelques que soient les rangées considérées. En revanche, l'ensemble des pixels ayant au moins un côté commun avec un ou plusieurs autres et d' intensités lumineuses sensiblement identiques au pixel de rangée Ll et de colonne C6 concernent les pixels des colonnes C6 et C7 et de rangées Ll et L2.
Un tel procédé comporte une étape pour détecter 205 un pointeur si chaque rangée de pixels de la représentation I' comporte au moins un pixel d'un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres et dont les intensités lumineuses respectives sont sensiblement identiques.
La mise en œuvre d'un tel procédé permet de détecter la présence du pointeur P décrit en liaison avec la figure 9b et d' ignorer son ombre portée P' . Elle permettrait de détecter en outre les pointeurs PI et P3 dont la capture est décrite par la figure 10 tout en ignorant le pointeur P2 qui n'est pas traversant. Les pointeurs obliques au regard du plan de la paroi de la façade interactive sont ainsi détectés par la mise en œuvre d'un tel procédé.
L'invention ne saurait être limitée à ces seuls exemples de réalisation de procédé d'analyse d'images. D'autres procédés pourraient en variante être mis en œuvre. Il suffit que ce denier vise à rechercher l'existence d'un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres dont les intensités lumineuses sont sensiblement identiques et concernant la totalité des rangées d'une image capturée de la région d'intérêt comportant un relief.
Ainsi, un troisième exemple pourrait consister en l'application itérative d'un masque à tout pixel de la représentation I' pour affecter audit pixel l'intensité lumineuse la plus faible parmi celle de pixels voisins : par exemple le pixel d'une colonne adjacente au sein d'une même rangée et le pixel d'une même colonne mais d'une rangée adjacente. En parcourant ainsi la représentation I', un tel procédé détecte un pointeur traversant uniquement si un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres et dont les intensités lumineuses sont sensiblement identiques ledit ensemble de pixels concernant la totalité des rangées. Selon ce mode de réalisation, il pourrait en outre être prévu de classer les différents pixels selon l'intensité lumineuse affectée de manière à caractériser éventuellement différents pointeurs.
Différents pointeurs peuvent être également distingués selon le nombre d'ensembles de pixels disjoints identifiés.
Quel que soit le mode de réalisation, l'invention prévoit que les coordonnées en deux dimensions u et v d'un pointeur détecté soient déterminées par les coordonnées, au sein de la représentation I', du pixel situé au centre de la base d'un ensemble identifié, ledit pixel appartenant à la rangée décrivant le plus proche de la paroi externe de la façade.
Ainsi, si la façade comporte une pluralité de capteurs (au moins deux) à l'instar des moyens de capture 12a à 12c de la façade 10 décrite en liaison avec la figure 1, un système d'acquisition et de traitement d'images conforme à l'invention peut mettre en œuvre une fonction de triangulation pour déterminer la position spatiale 15z en trois dimensions (x, y et z) de tout pointeur détecté à proximité de la paroi de la façade. Il suffit pour cela que ledit pointeur soit détecté par au moins deux capteurs matriciels.
L' invention a été décrite principalement pour lutter contre la présence d' ombres portées susceptibles d' être détectées comme autant de faux pointeurs appliqués contre une façade interactive. Nous pouvons remarquer qu'en outre, tout rayon lumineux émis depuis une source quelconque et éclairant de manière intempestive une façade interactive, serait également ignoré - au même titre qu'une ombre portée - par un dispositif conforme à l'invention. En effet, un tel rayon serait « cassé » par les moyens saillants matérialisant un relief au sein de la région d'intérêt. Un tel rayon capturé se traduirait - au même titre qu'une ombre portée P' - par au moins deux ensembles de pixels disjoints correspondant à au moins deux pointeurs ne traversant pas entièrement la région d'intérêt et donc ignorés. Un dispositif conforme à l'invention est donc robuste également aux rayonnements directs appliqués sur sa façade interactive.

Claims

REVENDICATIONS
Dispositif (1) comportant un système d'acquisition et de traitement d'images pour façade interactive, ladite façade comportant une paroi (14), des moyens de capture d'image (12, 12a, 12b, 12c) pour fournir une représentation numérique (I, 15a, 15b, 15c) d'une région d'intérêt proche de la paroi (14), ledit système comportant des moyens pour analyser (30) ladite représentation et détecter la présence d'un pointeur (P, PI, P2, P3) à proximité de ladite paroi (14),
caractérisé en ce que :
- le dispositif comporte des moyens (15) présentant une partie saillante faisant relief par rapport au plan de la paroi externe de la façade, la profondeur dudit relief (hc) étant inférieure à la profondeur
(hr) de la région d' intérêt de sorte que la représentation numérique (I) fournie par les moyens de capture comporte une première bande (1100) décrivant les moyens (15) présentant une partie saillante (100) et une seconde bande (1101) décrivant le lointain
(101) de la paroi non masqué par lesdits moyens (15) ;
- les moyens pour analyser (30) une représentation numérique (I) sont agencés pour mettre en œuvre un procédé pour identifier un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres, d'intensités lumineuses sensiblement identiques et traduisant la capture d'un pointeur traversant la région d' intérêt du lointain vers la paroi externe de la façade. Dispositif selon la revendication précédente, caractérisé en ce que les moyens (15) présentant une partie saillante consistent en un cadre saillant ceinturant tout ou partie de la paroi de la façade, la profondeur de la partie saillante dudit cadre étant strictement inférieure à celle de la région d'intérêt capturée.
3. Procédé pour adapter un dispositif (1) comportant un système d'acquisition et de traitement d'images pour façade interactive, ladite façade comportant une paroi (14), des moyens de capture d'image (12, 12a, 12b, 12c) pour fournir une représentation numérique (I, 15a, 15b) d'une région d'intérêt proche de la paroi (14), ledit système comportant des moyens pour analyser (30) ladite représentation et détecter la présence d'un pointeur (P, PI, ..., P3) à proximité de ladite paroi, ledit procédé étant caractérisé en ce qu'il comporte :
- une étape pour munir le dispositif de moyens (15) présentant une partie saillante faisant relief par rapport au plan de la paroi externe de la façade ;
- une étape pour paramétrer les moyens de capture d'image pour qu'ils capturent une région d' intérêt dont la profondeur (hr) est supérieure à celle (ne) de la partie saillante (15) faisant relief de sorte que la représentation numérique (I) fournie par les moyens de capture comporte une première bande (1100) décrivant les moyens (15) présentant une partie saillante (100) et une seconde bande (1101) décrivant le lointain (101) de la paroi non masqué par lesdits moyens (15) ;
- une étape pour adapter les moyens pour analyser (30) pour qu'ils cherchent à identifier un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres, d'intensités lumineuses sensiblement identiques et traduisant la capture d'un pointeur traversant la région d' intérêt du lointain vers la paroi externe de la façade.
Procédé selon la revendication précédente, caractérisé en que l'étape pour adapter les moyens pour analyser, consiste à agencer ces deniers pour qu' ils mettent en œuvre :
- une étape préalable pour réceptionner (201) depuis les moyens de capture une représentation numérique référence (Ir) de la région d' intérêt en absence de tout pointeur à proximité de la paroi ;
- une étape pour réceptionner (202) depuis les moyens de capture une deuxième représentation numérique (I) de la région d' intérêt ;
- une étape pour élaborer (203) une troisième représentation numérique (Ι') en soustrayant à ladite deuxième représentation (I) la représentation référence (Ir) ;
- une étape pour déterminer (204) en valeur absolue par colonne de pixels de la troisième représentation, l'intensité lumineuse minimale parmi celles des pixels constituant ladite colonne ;
- une étape pour détecter (205) un pointeur si l'intensité lumineuse minimale d'une colonne de pixels de la troisième représentation est supérieure ou égale à un seuil prédéterminé.
Procédé selon la revendication 3, caractérisé en que l'étape pour adapter les moyens pour analyser, consiste à agencer ces deniers pour qu' ils mettent en œuvre :
- une étape préalable pour réceptionner (201) depuis les moyens de capture une représentation numérique référence (Ir) de la région d' intérêt en absence de tout pointeur à proximité de la paroi ;
- une étape pour réceptionner (202) depuis les moyens de capture une deuxième représentation numérique (I) de la région d' intérêt ;
- une étape pour élaborer (203) une troisième représentation numérique (Ι') en soustrayant à ladite deuxième représentation (I) la représentation référence (Ir) ;
- une étape pour déterminer en valeur absolue l'intensité lumineuse des pixels de ladite troisième représentation ;
- une étape (204) mise en œuvre pour tout pixel d'une rangée bordant ladite troisième représentation (Ι') dont l'intensité lumineuse est supérieure ou égale à un seuil prédéterminé Δ, pour identifier au moins un pixel dont l'intensité lumineuse est sensiblement identique dans chacune des autres rangées, lesdits pixels identifiés ayant au moins un côté commun avec un ou plusieurs autres ;
- une étape pour détecter (205) un pointeur si chaque rangée de pixels de la troisième représentation (Ι') comporte au moins un pixel compris au sein d'un ensemble de pixels ayant au moins un côté commun avec un ou plusieurs autres et dont les intensités lumineuses respectives sont sensiblement identiques .
EP12714805.4A 2011-03-18 2012-03-16 Dispositif interactif robuste aux ombres portées Withdrawn EP2686760A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1152279A FR2972820B1 (fr) 2011-03-18 2011-03-18 Dispositif interactif robuste aux ombres portees
PCT/FR2012/050565 WO2012127161A2 (fr) 2011-03-18 2012-03-16 Dispositif interactif robuste aux ombres portées

Publications (1)

Publication Number Publication Date
EP2686760A2 true EP2686760A2 (fr) 2014-01-22

Family

ID=45974426

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12714805.4A Withdrawn EP2686760A2 (fr) 2011-03-18 2012-03-16 Dispositif interactif robuste aux ombres portées

Country Status (3)

Country Link
EP (1) EP2686760A2 (fr)
FR (1) FR2972820B1 (fr)
WO (1) WO2012127161A2 (fr)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
JP4707034B2 (ja) * 2006-07-07 2011-06-22 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、入力インタフェース装置
US8487881B2 (en) * 2007-10-17 2013-07-16 Smart Technologies Ulc Interactive input system, controller therefor and method of controlling an appliance

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2012127161A2 *

Also Published As

Publication number Publication date
WO2012127161A3 (fr) 2014-09-18
FR2972820B1 (fr) 2013-04-19
WO2012127161A2 (fr) 2012-09-27
FR2972820A1 (fr) 2012-09-21

Similar Documents

Publication Publication Date Title
EP2225608B1 (fr) Dispositif d'evaluation de la surface d'un pneumatique
WO2021105265A1 (fr) Mesure de profondeur à l'aide d'un dispositif d'affichage
Ramesh et al. 5d time-light transport matrix: What can we reason about scene properties?
US20230403906A1 (en) Depth measurement through display
FR2939920A1 (fr) Capteur matriciel
FR2932573A1 (fr) Dispositif d'imagerie gamma ameliore permettant la localisation precise de sources irradiantes dans l'espace
EP3891658A1 (fr) Activité de surveillance à l'aide d'une caméra multispectrale et de profondeur
CA3066478A1 (fr) Marque de securite et procede de validation de l'authenticite d'une marque de securite
EP2946228B1 (fr) Procede et systeme pour fournir a un dispositif mobile des informations sur sa position par rapport a une cible, robot integrant un tel systeme et tablette
EP2307948A2 (fr) Dispositif interactif et procédé d'utilisation
GB2473239A (en) Touch screen displays which can discriminate between near field objects and touching objects
WO2015033036A1 (fr) Equipements de véhicule automobile intégrant un dispositif de mesure de distance d'objets
EP3388976A1 (fr) Procede de detection de fraude
EP2686760A2 (fr) Dispositif interactif robuste aux ombres portées
EP2668556A2 (fr) Dispositif à commandes tactile et gestuelle et procédé d'interprétation de la gestuelle associé
US11893100B2 (en) Spoof detection based on specular and diffuse reflections
FR2972544A1 (fr) Systeme d'acquisition et de traitement d'images robuste pour facade interactive, facade et dispositif interactifs associes
US20220307981A1 (en) Method and device for detecting a fluid by a computer vision application
EP3295364A1 (fr) Système et procédé de détection optique d'intrusion, dispositif électronique, programme et support d'enregistrement correspondants
CN102141859A (zh) 光学式触控显示装置及其方法
JP2023531733A (ja) バイオメトリック光学センサモジュールを備える電子デバイス
WO2021130204A1 (fr) Dispositif de determination d'une face d'un de reposant sur une surface laissant passer un signal optique
BE1023596B1 (fr) Système interactif basé sur des gestes multimodaux et procédé utilisant un seul système de détection
FR3141788A1 (fr) Système de surveillance volumétrique d’un espace et programme d’ordinateur correspondant.
WO2011117505A2 (fr) Dispositif interactif adaptable aux conditions de luminosite ambiante

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
R17D Deferred search report published (corrected)

Effective date: 20140918

17P Request for examination filed

Effective date: 20150318

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

17Q First examination report despatched

Effective date: 20160422

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20191220

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200603