EP2668556A2 - Dispositif à commandes tactile et gestuelle et procédé d'interprétation de la gestuelle associé - Google Patents

Dispositif à commandes tactile et gestuelle et procédé d'interprétation de la gestuelle associé

Info

Publication number
EP2668556A2
EP2668556A2 EP12705365.0A EP12705365A EP2668556A2 EP 2668556 A2 EP2668556 A2 EP 2668556A2 EP 12705365 A EP12705365 A EP 12705365A EP 2668556 A2 EP2668556 A2 EP 2668556A2
Authority
EP
European Patent Office
Prior art keywords
facade
interest
wall
pointer
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP12705365.0A
Other languages
German (de)
English (en)
Inventor
Frédéric GUERAULT
Régis LE BRAS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intui Sense
Original Assignee
Intui Sense
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intui Sense filed Critical Intui Sense
Publication of EP2668556A2 publication Critical patent/EP2668556A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/207—Surveillance aspects at ATMs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/023—Arrangements for display, data presentation or advertising
    • G07F9/0235—Arrangements for display, data presentation or advertising the arrangements being full-front touchscreens

Definitions

  • the invention relates to any device comprising an interactive or tactile facade allowing a user to interact directly on said facade to obtain a service.
  • the invention relates more specifically, but in a non-limiting manner, vending machines food (snacking in English terminology), hot or cold beverages. It also concerns panels or interactive windows for delivering location information, prices, advertisements, etc.
  • Automatic distribution is a privileged channel for the food industry. In particular, it allows substantial margins. To maximize the attractiveness of such dispensers, manufacturers have chosen to equip the main facade of said dispensers with a touch screen. To reduce the costs associated with the implementation of this technology and increase the robustness of the facade, exploitation of stereovision may be preferred.
  • the latter technique consists in providing, around a generally translucent wall, sensors, an illuminated or backlit frame for detecting a finger for example, or more generally a pointer, near said translucent wall. Using known methods, such as triangulation for example, it is possible to know precisely the position of the pointer on the wall. Actions can be preprogrammed for a particular pointer position to trigger a service.
  • gesture recognition systems that offer many features especially in gaming applications.
  • these systems do not offer touch function to validate certain actions.
  • To choose and / or validate an operation the user must generally perform complex or typical gestures (hands, heads, etc.) so that the system can correctly interpret them.
  • the risks of confusion, slow execution or repetition of gestures are real.
  • the invention makes it possible to meet all the disadvantages raised by the known solutions.
  • the invention mainly consists in adapting the touch control systems whose applications require a high degree of precision when interpreting the presence of pointers on an interactive wall. Thanks to the invention, it is possible to increase the attractiveness of such devices as well as their ability to interact with a user without altering the precision of the interpretation of validation or purchase commands for example.
  • a device comprising:
  • capture means for capturing at least one image of the environment bordering on the external face of the wall of said facade and delivering a digital representation of said environment
  • the invention provides that said digital representation comprises a first region of interest describing the very close to the wall of the facade and a second region of interest adjacent to the first one. describing the distance of said wall.
  • the invention further provides that the means for analyzing detect, determine the position and / or interpret the displacement of a pointer by jointly operating the content of said first and second regions of interest.
  • the interactive facade comprises a frame surrounding the outer face of the wall, said frame comprising the capture means;
  • the first region of interest describes a representation of all or part of the frame of the facade. Alternatively, it can be provided that:
  • the interactive facade comprises a frame surrounding the outer face of the wall, said frame comprising first capture means for delivering a first digital representation describing all or part of the frame of the facade;
  • the device comprises second capture means for delivering a second digital representation describing the distance from the external face of the wall of the facade;
  • said first and second digital representations respectively constitute the first and second regions of interest of a numerical representation thus aggregated of the environment bordering the wall of the facade exploited by the means for analyzing.
  • the means for analyzing such a device can interpret the presence of one or more pointers only if they detect such a presence in the second region of interest.
  • the invention further provides that a device according to the invention may include means for controlling lighting very close to the wall of the facade.
  • the invention provides a method of interpreting touch and gesture commands implemented by the processing means of a device according to the invention.
  • Such a method comprises:
  • the method comprises a step prior to the implementation of tactile actions to evaluate the concordance of the Cartesian coordinates in the estimated space of the "border" pixels representative of a pointer detected at the boundary of the first and second regions of interest to confirm or deny the continuity of a pointer crossing the two regions of interest;
  • the step for triggering a tactile action is implemented only if the step for evaluating the concordance attests the capture of a traversing pointer.
  • the method of interpretation may comprise:
  • this furthermore provides that such a method may comprise a step prior to capturing the environment bordering the facade to parameterize the processing means for associating at least:
  • a method according to the invention and implemented by a device comprising means for controlling lighting very close to the wall of the interactive facade may include a step prior to the capture of the surrounding environment of the facade wall to operate the means for controlling the lighting of the very close to the wall of the interactive facade as soon as a pointer has been detected substantially at the boundary of the first and second regions of interest.
  • the step for calibrating and setting up the capture means of such a method can then consist in providing the nominal acquisition parameters of the capture means so that the latter can deliver a digital representation of the first region of interest likely to reveal the possible presence of a pointer in the very close to the wall of the interactive facade during the lighting of said very close.
  • FIG. 1 shows a known device with an interactive facade in the form of a vending machine products
  • FIG. 2 presents an interactive facade according to the state of the art
  • FIG. 3 shows two examples of images obtained by means of a matrix image sensor of an interactive facade according to the state of the art
  • FIG. 4 shows a gesture recognition system according to the state of the art
  • FIGS. 5a and 5b respectively show two types of tactile and gestural control device according to the invention.
  • FIGS. 6a to 6d respectively show scenes of capture of the gestures of a user according to the invention.
  • FIG. 7 illustrates embodiments of a method for interpreting the gesture of a user implemented by a device according to the invention.
  • Figure 1 shows an example of a known interactive device that delivers food (sweets, drinks in cans, etc.).
  • the device la comprises means for making a payment: a coin mechanism 3 or a credit card reader and a receptacle 4 to possibly collect the overpayment or a purchase certificate.
  • It further comprises an interactive facade 10 covering a flat screen 7 on which information is displayed.
  • the active face 7a of the screen 7 (as opposed to its rear face 7b) faces the translucent wall of the interactive facade 10.
  • a light source 2 diffuses light on the frame of the facade for retro -light and thus enhance the latter.
  • a user can point 20 (with a finger) for example) an area of said facade and control the display of information on the screen 7.
  • processing means 30 exploit the content of captured images in the immediate vicinity of the wall of the interactive facade to detect the presence of a pointer and interpret its displacement.
  • the processing means trigger predetermined operations previously associated with particular areas of the wall to display and / or deliver products according to the location of said pointer on the wall.
  • the user can thus collect a product, for example, a drink, via a dispensing receptacle 5.
  • the device may be a distributor of magazines directly visible on their display through the wall of the interactive facade.
  • Figure 2 allows to describe an interactive facade 10 used in the previous example.
  • the facade comprises a wall 14, generally translucent, surrounded by a frame 15. On the upper part 11 of the frame are arranged, according to this example, three matrix image sensors 12a, 12b and 12c.
  • Each provides a two-dimensional image of a region of the frame 15, said region of interest as shown in Figure 3 which shows two respective polygonal images 15a and 15b rectangle captured with sensors 12a and 12b whose fields respective vision 12v and 12w alone do not allow to embrace the entire wall 14 of the facade.
  • a frame is not required.
  • the image delivered by the matrix sensor or sensors is then that of the ground or any body limiting the capture field. For an optimized detection, the presence of a frame will however be preferred.
  • a known facade 10 may comprise preferably one or more light sources dedicated to this use.
  • four light-emitting diodes 13a, 13b, 13c and 13d are placed in close proximity to the image sensors.
  • identical diodes may also be arranged all around the frame for example if the surface of the facade is important. This gives a backlight 2 in accordance with that of the device described in connection with Figure 1.
  • the processing means 30 of a device integrating the interactive facade exploit a set 21 of points resulting from images such as the images 15a or 15b respectively taken by the sensors 12a and 12b. From information delivered during a stage calibration, and the assembly 21, the means 30 implement a triangulation function to determine the Cartesian coordinates in the space (x, y and z) of a pointer in the immediate vicinity of the wall of a facade. To implement a triangulation function, it is necessary that at least two sensors can capture said pointer. According to the techniques of the prior art, an intense and inhomogeneous illumination of the wall related to excessive sunlight, for example, can greatly reduce the detection and positioning capability of a pointer.
  • the shadow carried by a pointer or by any object close to the wall can lead to inadvertent detection.
  • the backlighting of the frame associated with a calibration of the exposure parameters of the image sensors makes it possible to maximize the detection capability of the interactive facade.
  • the means 30 being capable of associating predetermined actions respectively with zones of the wall 14 of the facade 10, the exploitation of the images delivered by the sensors 12a, 12b and 12c thus makes it possible to make the wall 14 "tactile".
  • a pointer such as a hand 20
  • said pointer is captured by one or more image sensors of the facade 10 and the means 30 trigger the appropriate action .
  • Figure 4 illustrates such a system.
  • one or more image sensor (s) 18 capture (s) a stream of images of the environment 102 of said one or more sensors.
  • a control device includes a processing unit 30 for analyzing the captured images and triggering the display of graphic, textual or sound with an interface 19 for example a living room television to implement a video game.
  • the means 30 are able to interpret the movements or gestures of said character.
  • the means 30 can reproduce them on the TV screen 19 by means of an avatar or interpret the movements of an arm or hands to select a program, etc.
  • the means 30 calculate an optical flux corresponding to the difference between two captured images at a few moments of interval. It is possible to deduce the speed and orientation of a set of pixels.
  • the control unit discriminates the different gestures of the user (lateral movements, jumps, etc.) and associates them with predetermined actions. A particular movement can thus trigger a validation, cancellation action or actuate an image carousel to select an item within a plurality.
  • the gestural recognition is usually rather crude but provides a great wealth of expression.
  • FIG. 5a shows a user 20 able to interact with an interactive showcase lb of a store for example, said showcase 1b being adapted according to the invention to be a device with tactile and gestural controls.
  • This window has an interactive facade 10 similar to the facade described in connection
  • the image sensor or sensors of the facade are adapted to capture not only the very close 101 of the wall of the facade 10 but also the more distant environment 102.
  • FIG. 5b describes a variant for which a user 20 can interact with a container of products, for example foodstuffs, also comprising an interactive facade 10 similar to that described with reference to FIG. 2.
  • the device is capable of interpreting touch controls of a user to enable him to select a product by designating a particular area of the wall of the interactive facade with a finger for example.
  • the conventional tactile recognition techniques previously described implemented by the container allow it to accurately detect the presence and position of a pointer in the immediate vicinity of the wall of the facade. For this, digital representations from the facade capture means calibrated to capture the very near 101 of the latter are exploited by 30 means of processing means 30 not shown in Figure 5b.
  • Such a device is further adapted - according to the invention - to include capture means complementary to those of the interactive facade 10.
  • the complementary capture means are able to capture the distant 102 of said facade 10.
  • the gesture of a user 20 of the device can be captured.
  • the user can with his hands choose the ingredients, determine the proportions of a mixture while remaining at a distance from the wall of the facade. He can also validate his order by pointing a suitable area of the facade with his finger, for example, by positioning it so that it comes into contact with the wall of the facade 10.
  • the complementary capture means consist for example of a camera 18 (not shown in FIG. 5b) positioned above the frontage 10.
  • the devices lb and the are thus able to have both images describing the very near 101 of the interactive facade but also its distant 102. They are also able to trigger actions adapted to the gesture thus captured and interpreted.
  • the invention makes it possible to multiply the interaction between a user and an interactive device with gestural and tactile controls.
  • the processing means 30 of an interactive display case lb or of a container are thus also adapted - in accordance with the invention - to analyze the digital representation of the surrounding environment of the external wall of the interactive facade by considering that said digital representation has a first region of interest ROIt describing the very near 101 of the wall of the facade and a second region of interest ROIg adjacent to the first describing the far 102 of said wall.
  • Said means 30 are further arranged to detect, determine the position and / or interpreting unambiguously the displacement of a pointer by joint exploitation of the content of said first and second regions of interest.
  • the ROIt region corresponds to a region of interest that we will call “tactile” and the ROIg region, a region of interest that we will call “gestures”.
  • each of its two regions of interest ROIt and ROIg can be performed by the processing means 30 in a known manner as described above.
  • said processing means 30 of a device according to the invention are suitable for characterizing and interpreting a gesture of the user according to whether it is detected in a region of interest or within the two regions of the region. ROIt and ROIg interest.
  • FIGS. 6a to 6c make it possible to describe the method for characterizing the gesture of a user whose hand is detected in one or both regions of interest.
  • the means 30 Prior to the detection of a pointer, the means 30 are parameterized to associate with a characterizable gesture in the ROIg zone one or more actions called “gestural actions” particular. They are also set to associate one or more particular actions called “touch actions” to a position or a movement of a pointer in the ROIt area.
  • the invention provides that the priority of analysis and interpretation is given to the exploitation of the ROIt tactile area of interest.
  • the processing means 30 interpret gestures possibly captured in the ROIg zone.
  • Figure 6a illustrates a hand 20 detected only in the ROIg area. Gl or G2 movements of this can be discriminated by the processing means 30 and then interpreted to trigger gestural actions that have been previously associated with such theoretical movements.
  • FIG. 6b describes a situation for which the hand 20 now performs a displacement G3 aiming to gradually bring it closer to the wall of the interactive facade. As long as the border f between the two zones ROIt and ROIg is not crossed, the gestural interpretation of the hand continues.
  • FIG. 6c now describes the continuation of the G3 movement previously described.
  • One of the fingers of the user's hand eventually comes into contact with the wall of the interactive facade.
  • the respective content of the digital representations of the ROIt and ROIg zones teaches the means that a pointer is now detected in the ROIT area.
  • Said means 30 now interpret the gesture of the user and translate it in the form of tactile actions. Only the position of the finger in contact with the wall or the displacement thereof in the very close to the wall will be interpreted by the processing means 30. The user can then undertake tactile commands resulting in validation actions or which require a high degree of precision in their interpretation.
  • Figure 6d shows a situation for which different pointers are captured simultaneously.
  • a pointer 20 which crosses the ROIg and ROIt zones.
  • the interpretation of the gesture of the pointer 20 results in the implementation of tactile actions only.
  • a second pointer 20g is detected only in the region ROIg.
  • the processing means 30 interpret the movements of said pointer 20g by implementing gestural actions.
  • the pointer 20f is only detected in the ROIt region.
  • the invention provides a variant of embodiment for which, while maintaining the priority to the detection of a pointer in the so-called touch ROIt region, an additional continuity check of said pointer can be implemented by the means 30 to check that there is a pointer detected in the adjacent area ROIg whose Cartesian coordinates in space and and cg (respectively at the ends of the neighboring ROIt and ROIg areas) are substantially equivalent to the border f of the two areas ROIt and ROIg. If so - case of the pointer 20 in FIG. 6d - the processing means 30 validate the detection of a pointer in the touch zone ROIT. Conversely - case of the pointer 20f of Figure 6d - the means 30 invalidate the detection and somehow ignore this pointer 20f.
  • Such a “false” pointer 20f can be the work of the malicious removal of a chewing gum on the wall of the facade, or an insect of sufficient size whose capture could lead to irrelevant pointer detection.
  • pointers crossing the border f of the ROIt and ROIg zones are considered as pointers whose interpretation of positioning and displacement is translated by tactile actions.
  • a method 200 for interpreting the gestures of a user according to the invention is presented in connection with FIG. 7. Such a method is implemented by the processing means 30 of a tactile and gestural control device comprising an interactive facade.
  • the method comprises a first step 201 for capturing one or more images of the environment bordering the interactive facade. It also includes a step 202 to analyze the content of the ROIg digital representation of the distant environment 102 of the facade.
  • the method comprises a step 204 for detecting and characterizing the gesture of a pointer possibly detected in said region of interest ROIg. If no pointer is detected in this region, the process is finished 210: no gestural or tactile action is performed.
  • the method comprises a step 203 for analyzing the content of the digital representation ROIt of the very close of the facade, the region ROIt being adjacent to ROIg.
  • the method comprises a step 205 for detecting and characterizing the displacement of a pointer possibly detected in the region of interest ROIT. If a pointer has previously been detected 204 in the ROIg region, then according to the invention, the processing means 30 examine the results of the analysis 203 of the content of the ROIt region. If these results do not reveal the presence of a pointer in ROIt, the processing means implement the appropriate gesture action (or actions) in order to interpret the remote gestures of the user. . In the opposite case, if the presence of a pointer is confirmed 205 in the ROIt region, the processing means implement the appropriate tactile action (or actions) to interpret only the position and / or the displacement of the pointer in the very near 101 of the interactive facade.
  • such a method may further comprise an additional matching test 208 prior to the implementation of tactile actions.
  • This test is performed by the means 30 in the case where a pointer has been detected 205, 206, simultaneously in the ROIt and ROIg regions.
  • This test consists in evaluating the concordance of Cartesian coordinates in the estimated space of the "frontier" pixels relative to the pointers detected at the border f of the two regions of interest ROIt (coordinates and) and ROIg (coordinates cg). This test makes it possible to confirm / invalidate the continuity of a pointer crossing the two regions of interest.
  • the tactile actions 207 are implemented.
  • a tolerance threshold can be defined to characterize the border f between the two regions of interest ROIt and ROIg and / or to estimate the concordance of the coordinates and and cg to characterize a traversing pointer.
  • the digital representations of the two regions of interest can be obtained from a single sensor (for example 12b) or from a single set of sensors. [12a, 12b, 12c] or from two sets of sensors [12a, 12b, 12c] and 18 respectively dedicated to capturing the very near and far of the interactive facade.
  • the method 200 described in connection with FIG. 7 may then comprise a preliminary step 209 for calibrating the different capture means. Let us first take the case of a device lb for which capture means deliver a global representation of the surrounding environment of the outer wall of the interactive facade.
  • a parameterization of the processing means 30 is necessary during the calibration 209 of the capture means. It is enough to determine the limits of the two respective zones and thus materialize the frontier f.
  • the ROIt and ROIg zones dissociated, the processing means 30 analyze them according to the techniques adapted to the detection and interpretation of the movements of the pointers to trigger the gestures or tactile actions appropriate.
  • lighting is provided to allow the capture of the surrounding environment of the facade wall according to nominal acquisition parameters.
  • the nominal acquisition parameters make it possible to capture the scene in the distant 102 of the facade and to trigger gesture actions 206.
  • a backlighting of the facade is also provided so that the presence of a pointer in the very close to the facade is not catchable (pixel saturation for example) with nominal acquisition parameters.
  • the processing means 30 detect the crossing of the border f, the parameters are modified in "touch" mode to take into account the use of the backlight and make a pointer capturable in the very near the facade. In doing so, only the ROIT region is now able to reveal the presence of a pointer and thus trigger tactile actions.
  • the invention provides that the illumination may in turn be controlled while the acquisition parameters of the capture means remain invariant.
  • the frame of the interactive facade may be illuminated (or backlit) only when detecting a crossing of the border f between the two areas of interest.
  • the processing means 30 can not detect pointers that would only be present in the very near of the facade.
  • the frame is illuminated (or backlit).
  • the detection 205 of a pointer in the very near becomes possible.
  • the lighting (or backlighting) of the facade warns the user that he is about to make a touch control so presumably to validate an order and / or make a purchase.
  • the processing implemented by the means 30 is somewhat different.
  • the first capture means incorporated in the interactive facade are positioned and calibrated (209) to capture the very near 101 of the wall of the facade.
  • a backlight Of the backlighting type 2 of the device 1a
  • the second capture means can be positioned and calibrated (exposure in particular) for normal acquisition conditions. The backlight comes this time possibly saturate the pixels relative to the very near.
  • the ROIg is thus materialized. Any other method for determining the geometry, adjacency and alignment of the regions of interest ROIt and ROIg could be implemented without limiting the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Description

Dispositif à commandes tactile et gestuelle et procédé d'interprétation de la gestuelle associé
L'invention concerne tout dispositif comportant une façade interactive ou tactile permettant à un utilisateur d' interagir directement sur ladite façade pour obtenir un service. L'invention concerne plus précisément, mais de manière non limitative, les distributeurs automatiques de denrées (snacking en terminologie anglo-saxonne) , de boissons chaudes ou froides. Elle concerne également les panneaux ou vitrines interactives permettant de délivrer des informations de localisation, de prix, de publicités, etc.
La distribution automatique est un canal privilégié pour l'industrie agroalimentaire. Elle permet notamment des marges substantielles. Pour maximiser 1 ' attractivité de tels distributeurs, des constructeurs ont choisi d'équiper la façade principale desdits distributeurs d'un écran tactile. Pour diminuer les coûts liés à la mise en œuvre de cette technologie et augmenter la robustesse de la façade, l'exploitation de la stéréovision peut être préférée. Cette dernière technique consiste à prévoir autour d'une paroi généralement translucide, des capteurs, un cadre éclairé ou rétro-éclairé pour détecter un doigt par exemple, ou plus généralement un pointeur, à proximité de ladite paroi translucide. A l'aide de méthodes connues, telles que la triangulation par exemple, il est possible de connaître précisément la position du pointeur sur la paroi. Des actions peuvent être préprogrammées pour qu'une position particulière d'un pointeur déclenche un service.
Les solutions actuellement exploitées permettent une détection de pointeur à proximité immédiate de la façade avec une grande précision. Toutefois, ce type de solutions n'offre pas une grande richesse d'expression et d'interprétation de la gestuelle d'un utilisateur.
Par ailleurs, il existe des systèmes de reconnaissance gestuelle qui offrent de nombreuses fonctionnalités notamment dans les applications de jeu. Toutefois, ces systèmes n'offrent pas de fonction tactile pour valider précisément certaines actions. Pour choisir et/ou valider une opération, l'utilisateur doit généralement réaliser des gestes complexes ou typiques (mains, têtes, etc.) pour que le système puisse interpréter correctement ceux-ci . Les risques de confusion, de lenteur d'exécution ou de répétition de la gestuelle sont réels. Ces solutions sont donc considérées comme non appropriées aux domaines de la distribution automatique de denrées ou de l'exploitation des panneaux ou des vitrines interactives.
L'invention permet de répondre à l'ensemble des inconvénients soulevés par les solutions connues. L'invention consiste principalement à adapter les systèmes à commande tactile dont les applications nécessitent une grande précision lors de l'interprétation de la présence de pointeurs sur une paroi interactive. Grâce à l'invention, il est possible de décupler 1 ' attractivité de tels dispositifs ainsi que leur capacité à interagir avec un utilisateur sans altérer pour autant la précision de l'interprétation de commandes de validation ou d'achat par exemple.
Parmi les nombreux avantages apportés par l'invention, nous pouvons mentionner que l'invention permet :
de maximiser l' attractivité des dispositifs « tactiles » en permettant une grande interactivité entre le dispositif et son utilisateur ; d'offrir conjointement une large gamme de sélections d' articles et une interprétation non ambiguë et précise de la gestuelle de 1 ' utilisateur .
A cette fin, il est prévu tout d'abord un dispositif comportant :
- une façade interactive ;
- des moyens de capture pour capturer au moins une image de l'environnement limitrophe de la face externe de la paroi de ladite façade et délivrer une représentation numérique dudit environnement ;
- des moyens pour analyser ladite représentation numérique pour détecter la présence d'un pointeur à proximité de la façade interactive. Pour décupler 1 ' at tract ivi té d'un tel dispositif, l'invention prévoit que ladite représentation numérique comporte une première région d' intérêt décrivant le très proche de la paroi de la façade et une seconde région d'intérêt adjacente à la première décrivant le lointain de ladite paroi. L'invention prévoit en outre que les moyens pour analyser détectent, déterminent la position et/ou interprètent le déplacement d'un pointeur par l'exploitation conjointe de la teneur desdites première et seconde régions d'intérêt.
Selon un premier mode de réalisation, il peut être prévu que :
- la façade interactive comporte un cadre ceinturant la face externe de la paroi, ledit cadre comportant les moyens de capture ;
- la première région d'intérêt décrit une représentation de tout ou partie du cadre de la façade. En variante, il peut être prévu que :
- la façade interactive comporte un cadre ceinturant la face externe de la paroi, ledit cadre comportant des premiers moyens de capture pour délivrer une première représentation numérique décrivant tout ou partie du cadre de la façade ;
- le dispositif comporte des deuxièmes moyens de capture pour délivrer une seconde représentation numérique décrivant le lointain de la face externe de la paroi de la façade ;
- lesdites première et seconde représentations numériques constituent respectivement les première et seconde régions d'intérêt d'une représentation numérique ainsi agrégée de l'environnement limitrophe de la paroi de la façade exploitée par les moyens pour analyser. De manière avantageuse, les moyens pour analyser d'un tel dispositif peuvent interpréter la présence d'un ou plusieurs pointeurs que s'ils détectent une telle présence dans la seconde région d'intérêt.
L'invention prévoit en outre qu'un dispositif conforme à l'invention puisse comporter des moyens pour commander un éclairage du très proche de la paroi de la façade .
Selon un deuxième objet, l'invention prévoit un procédé d'interprétation de commandes tactile et gestuelle mis en œuvre par les moyens de traitement d'un dispositif conforme à l'invention.
Un tel procédé comporte :
- une étape pour capturer l'environnement limitrophe de la paroi externe de la façade interactive et délivrer une première région d' intérêt décrivant le très proche de la paroi de la façade et une seconde région d' intérêt adjacente à la première décrivant le lointain de ladite paroi ;
- une étape pour analyser la teneur de la deuxième région d'intérêt et détecter la présence d'un ou plusieurs pointeurs dans le lointain de la façade ;
- une étape pour analyser la teneur de la première région d'intérêt et détecter la présence d'un ou plusieurs pointeurs dans le très proche de la façade ;
- une étape pour déclencher une action tactile si par pointeur ayant été détecté dans les première et deuxième régions d' intérêt ;
- une étape pour déclencher une action gestuelle par pointeur ayant été détecté uniquement dans la deuxième région d'intérêt.
Pour pouvoir ignorer des pointeurs non pertinents, il peut être avantageusement prévu que :
- le procédé comporte une étape préalable à la mise en œuvre d' actions tactiles pour évaluer la concordance des coordonnées cartésiennes dans l'espace estimées des pixels « frontaliers » représentatifs d'un pointeur détecté à la frontière des première et seconde régions d' intérêt pour confirmer ou infirmer la continuité d'un pointeur traversant les deux régions d' intérêt ;
- l'étape pour déclencher une action tactile n'est mise en œuvre que si l'étape pour évaluer la concordance atteste la capture d'un pointeur traversant. Afin d'optimiser les capacités de détection d'un dispositif conforme à l'invention, l'invention prévoit que le procédé d' interprétation puisse comporter :
- une étape préalable à la capture de l'environnement limitrophe de la façade pour calibrer et paramétrer les moyens de capture ;
- voire une étape préalable à la capture de l'environnement limitrophe de la façade pour paramétrer déterminer un seuil de tolérance pour caractériser la frontière entre les première et seconde régions d'intérêt et/ou pour évaluer la concordance des coordonnées estimées.
Pour pouvoir déclencher une action idoine et permettre de mettre à jour un dispositif conforme à l'invention, celle-ci prévoit en outre qu'un tel procédé peut comporter une étape préalable à la capture de l'environnement limitrophe de la façade pour paramétrer les moyens de traitement pour associer au moins :
- une action tactile à une ou plusieurs positions ou déplacements caractérisables d'un pointeur dans la première région d' intérêt ;
- une action gestuelle à un ou plusieurs gestes caractérisable dans la seconde région d'intérêt.
Selon un mode de réalisation avantageux, un procédé conforme à l'invention et mis en œuvre par un dispositif comportant des moyens de commande d'un éclairage du très proche de la paroi de la façade interactive, peut comporter une étape préalable à la capture de l'environnement limitrophe de la paroi de façade pour actionner les moyens pour commander l'éclairage du très proche de la paroi de la façade interactive dès qu'un pointeur a été détecté sensiblement à la frontière des première et seconde régions d'intérêt.
L'étape pour calibrer et paramétrer les moyens de capture d'un tel procédé peut alors consister à prévoir les paramètres d'acquisition nominale des moyens de capture de sorte que ces derniers puissent délivrer une représentation numérique de la première région d' intérêt susceptible de révéler la présence éventuelle d'un pointeur dans le très proche de la paroi de la façade interactive lors de l'éclairage dudit très proche.
D'autres caractéristiques et avantages apparaîtront plus clairement à la lecture de la description qui suit et à l'examen des figures qui l'accompagnent parmi lesquelles :
- la figure 1 présente un dispositif connu comportant une façade interactive sous la forme d'un distributeur automatique de produits ;
- la figure 2 présente une façade interactive selon l'état de la technique ;
- la figure 3 présente deux exemples d' images obtenues au moyen d'un capteur d'image matriciel d'une façade interactive selon l'état de la technique ;
- la figure 4 présente un système de reconnaissance gestuelle selon l'état de la technique ;
- les figures 5a et 5b présentent respectivement deux types de dispositif à commandes tactile et gestuelle conformes à l'invention ;
- les figures 6a à 6d présentent respectivement des scènes de capture de la gestuelle d'un utilisateur conformément à l'invention ;
- la figure 7 permet d' illustrer des variantes de réalisation d'un procédé d'interprétation de la gestuelle d'un utilisateur mis en œuvre par un dispositif conforme à l'invention.
La figure 1 présente un exemple d'un dispositif interactif la connu qui délivre des denrées alimentaires (bonbons, boissons en cannettes, etc.). Selon cet exemple, le dispositif la comporte des moyens pour effectuer un paiement : un monnayeur 3 ou un lecteur de carte bancaire et un réceptacle 4 pour recueillir éventuellement le trop perçu ou un certificat d'achat. Il comporte en outre une façade interactive 10 couvrant un écran plat 7 sur lequel s'affichent des informations. La face active 7a de l'écran 7 (par opposition à sa face arrière 7b) fait face à la paroi translucide de la façade interactive 10. Selon cet exemple, une source lumineuse 2 diffuse de la lumière sur le cadre de la façade pour rétro-éclairer et ainsi mettre en valeur cette dernière. Un utilisateur peut pointer 20 (avec un doigt) par exemple) une zone de ladite façade et commander l'affichage d'une information sur l'écran 7. Pour cela, des moyens de traitement 30 (non représentés en figure 1) exploitent la teneur d' images capturées à proximité immédiate de la paroi de la façade interactive pour détecter la présence d'un pointeur et interpréter son déplacement. Les moyens de traitement déclenchent des opérations prédéterminées et préalablement associées à des zones particulières de la paroi pour afficher et/ou délivrer des produits selon la localisation dudit pointeur sur la paroi. L'utilisateur peut ainsi recueillir un produit, par exemple, une boisson, via un réceptacle de distribution 5. En variante le dispositif la peut être un distributeur de revues directement visibles sur leur présentoir au travers de la paroi de la façade interactive. La figure 2 permet de décrire une façade interactive 10 utilisée dans le précédent exemple. La façade comporte une paroi 14, généralement translucide, ceinturée d'un cadre 15. Sur la partie supérieure 11 du cadre sont disposés, selon cet exemple, trois capteurs d'image matriciels 12a, 12b et 12c. Chacun fournit une image en deux dimensions d'une région du cadre 15, dite région d'intérêt comme l'indique la figure 3 qui illustre deux images respectivement polygonale 15a et rectangle 15b capturées à l'aide de capteurs 12a et 12b dont les champs de vision respectifs 12v et 12w ne permettent pas à eux seuls d'embrasser l'intégralité de la paroi 14 de la façade. Il existe d'autres variantes de réalisation d'une telle façade pour lesquelles un cadre n'est pas requis. L'image délivrée par le ou les capteurs matriciels est alors celle du sol ou de tout corps limitant le champ de capture. Pour une détection optimisée, la présence d'un cadre sera toutefois préférée.
Pour éclairer le cadre et permettre la capture d'une image de bonne qualité, en liaison avec la figure 2, une façade connue 10 peut comporter préférentiellement une ou plusieurs sources lumineuses dédiées à cet usage. Ainsi, à titre d'exemple, quatre diodes électroluminescentes 13a, 13b, 13c et 13d sont placées à proximité immédiate des capteurs d'image. Parfois des diodes identiques peuvent être également disposées sur tout le pourtour du cadre par exemple si la surface de la façade est importante. On obtient alors un rétro-éclairage 2 conforme à celui du dispositif la décrit en liaison avec la figure 1.
Les moyens de traitement 30 d'un dispositif la intégrant la façade interactive exploitent un ensemble 21 de points résultant d'images telles que les images 15a ou 15b prises respectivement par les capteurs 12a et 12b. A partir d' informations délivrées durant une étape d'étalonnage, et de l'ensemble 21, les moyens 30 mettent en œuvre une fonction de triangulation pour déterminer les coordonnées cartésiennes dans l'espace (x, y et z) d'un pointeur à proximité immédiate de la paroi d'une façade. Pour mettre en œuvre une fonction de triangulation, il est nécessaire que deux capteurs au minimum puissent capturer ledit pointeur. Selon les techniques de l'art antérieur, un éclairement intense et non homogène de la paroi lié à un ensoleillement excessif, par exemple, peut diminuer fortement la capacité de détection et de positionnement d'un pointeur. En effet, l'ombre portée par un pointeur ou par tout objet à proximité de la paroi peut entraîner une détection intempestive. Le rétro-éclairage du cadre associé à un calibrage des paramètres d'exposition des capteurs d' images permettent de maximiser la capacité de détection de la façade interactive. Les moyens 30 étant aptes à associer des actions prédéterminées respectivement à des zones de la paroi 14 de la façade 10, l'exploitation des images délivrées par les capteurs 12a, 12b et 12c permet donc de rendre « tactile » la paroi 14. Ainsi, dès qu'un pointeur, tel qu'une main 20, s'approche de la paroi voire touche celle-ci, ledit pointeur est capturé par un ou plusieurs capteurs d'images de la façade 10 et les moyens 30 déclenchent l'action idoine.
Les systèmes connus de reconnaissance gestuelle fonctionnent différemment. La figure 4 illustre un tel système. Selon cet exemple, un ou plusieurs capteur (s) d'images 18 capture (nt) un flux d'images de l'environnement 102 dudit ou desdits capteurs. Un dispositif de contrôle comporte une unité de traitement 30 pour analyser les images capturées et déclencher l'affichage d'informations graphiques, textuelles ou sonores auprès d'une interface 19 par exemple un téléviseur de salon pour mettre en œuvre un jeu vidéo. Ainsi, dès qu'un personnage 20 pénètre dans le champ de vision du capteur 18, les moyens 30 sont aptes à interpréter les mouvements ou gestes dudit personnage. Les moyens 30 peuvent les reproduire sur l'écran du téléviseur 19 au moyen d'un avatar ou interpréter les mouvements d'un bras ou des mains pour sélectionner un programme, etc. Pour cela, les moyens 30 calculent un flux optique correspondant à la différence entre deux images capturées à quelques instants d'intervalle. Il est possible d'en déduire ainsi la vitesse et l'orientation d'un ensemble de pixels. L'unité de commande discrimine les différents gestes de l'utilisateur 20 (mouvements latéraux, sauts, etc.) et les associe à des actions prédéterminées. Un mouvement particulier peut ainsi déclencher une action de validation, d'annulation ou encore actionner un carrousel d' images pour sélectionner un item au sein d'une pluralité. La reconnaissance gestuelle est généralement assez grossière mais procure une grande richesse d'expression.
L'objectif de l'invention consiste à adapter les systèmes à commande tactile pour décupler leur attractivité et leur capacité à interagir avec un utilisateur. Les figures 5a et 5b décrivent respectivement deux modes de réalisation de l'invention sans toutefois en réduire la portée. La figure 5a met en scène un utilisateur 20 apte à interagir avec une vitrine interactive lb d'un magasin par exemple, ladite vitrine lb étant adaptée selon l'invention pour être un dispositif à commandes tactile et gestuelle. Cette vitrine comporte une façade interactive 10 similaire à la façade décrite en liaison avec la figure 2. Le ou les capteurs d'images de la façade sont toutefois adaptés pour capturer non seulement le très proche 101 de la paroi de la façade 10 mais aussi l'environnement plus éloigné 102. Avec une telle configuration, il est possible de capturer non seulement un doigt de notre utilisateur 20 éventuellement pointé contre la paroi de la façade 10 mais également la gestuelle dudit utilisateur réalisée à distance pour que la vitrine puisse interpréter des gestes comme autant de commandes gestuelles : le mouvement latéral d'un bras, des mouvements circulaires d'une main dans un plan sensiblement parallèle de la vitrine, etc.
La figure 5b décrit une variante pour laquelle, un utilisateur 20 peut interagir avec un conteneur le de produits, par exemple alimentaires, comportant également une façade interactive 10 similaire à celle décrite en liaison avec la figure 2. Le dispositif le est apte à interpréter des commandes tactiles d'un utilisateur pour lui permettre de sélectionner un produit en désignant une zone particulière de la paroi de la façade interactive avec un doigt par exemple. Les techniques classiques de reconnaissance tactile décrites précédemment mises en œuvre par le conteneur le lui permettent de détecter avec précision la présence et la position d'un pointeur à proximité immédiate de la paroi de la façade. Pour cela, des représentations numériques issues des moyens de capture de la façade calibrés pour capturer le très proche 101 de cette dernière sont exploitées par des moyens de traitement 30 de le - moyens 30 non représentés en figure 5b. Un tel dispositif le est en outre adapté - selon l'invention - pour comporter des moyens de capture complémentaires à ceux de la façade interactive 10. Les moyens de capture complémentaires sont aptes à capturer le lointain 102 de ladite façade 10. Ainsi et au même titre que l'utilisateur décrit en liaison avec la figure 5a, la gestuelle d'un utilisateur 20 du dispositif le peut être capturée. Dans le cas où le conteneur le permet de délivrer des préparations consommables, l'utilisateur 20 peut avec ses mains choisir les ingrédients, déterminer les proportions d'un mélange en restant à distance de la paroi de la façade. Il peut également valider sa commande en pointant une zone idoine de la façade avec son doigt, par exemple, en le positionnant en pour qu' il entre en contact avec la paroi de la façade 10. Les moyens de capture complémentaires consistent par exemple en une caméra 18 (non représentée en figure 5b) positionnée au dessus de la façade 10.
Les dispositifs lb et le sont ainsi capables de disposer à la fois d'images décrivant le très proche 101 de la façade interactive mais également son lointain 102. Ils sont en outre capables de déclencher des actions adaptées à la gestuelle ainsi capturée et interprétée. L'invention permet de décupler l'interaction entre un utilisateur et un dispositif interactif à commandes gestuelle et tactile.
La richesse d'informations obtenue par l'interprétation de la gestuelle de l'utilisateur ne peut aller à l' encontre de certaines commandes que nous nommerons « tactiles » qui nécessitent une interprétation non ambiguë et précise. Les moyens de traitement 30 d'une vitrine interactive lb ou d'un conteneur le sont donc également adaptés - conformément à l'invention - pour analyser la représentation numérique de l'environnement limitrophe de la paroi externe de la façade interactive en considérant que ladite représentation numérique comporte une première région d' intérêt ROIt décrivant le très proche 101 de la paroi de la façade et une seconde région d'intérêt ROIg adjacente à la première décrivant le lointain 102 de ladite paroi. Lesdits moyens 30 sont en outre agencés pour détecter, déterminer la position et/ou interpréter sans ambiguïté le déplacement d'un pointeur par une exploitation conjointe de la teneur desdites première et seconde régions d'intérêt. La région ROIt correspond à une région d' intérêt que nous nommerons « tactile » et la région ROIg, une région d' intérêt que nous nommerons « gestuelle ».
L'analyse respective de chacune de ses deux régions d'intérêt ROIt et ROIg peut être réalisée par les moyens de traitement 30 de manière connue telle que décrite précédemment. En revanche, lesdits moyens de traitement 30 d'un dispositif conforme à l'invention sont adaptés pour caractériser et interpréter un geste de l'utilisateur selon que celui-ci est détecté dans une région d' intérêt ou au sein des deux régions d' intérêt ROIt et ROIg.
Les figures 6a à 6c permettent de décrire le procédé de caractérisation du geste d'un utilisateur dont une main 20 est détectée dans l'une ou dans les deux régions d' intérêt .
Préalablement à la détection d'un pointeur, les moyens 30 sont paramétrés pour associer à un geste caractérisable dans la zone ROIg une ou plusieurs actions dites « actions gestuelles » particulières. Ils sont également paramétrés pour associer une ou plusieurs actions particulières dites « actions tactiles » à une position ou à un déplacement d'un pointeur dans la zone ROIt.
L'invention prévoit que la priorité d'analyse et d'interprétation soit donnée à l'exploitation de la zone d'intérêt tactile ROIt. Ainsi, tant qu'aucun pointeur n'est détecté dans cette zone, les moyens de traitement 30 interprètent des gestes éventuellement capturés dans la zone ROIg. La figure 6a illustre une main 20 détectée uniquement dans la zone ROIg. Les mouvements Gl ou G2 de celle-ci peuvent être discriminés par les moyens de traitement 30 puis interprétés pour déclencher des actions gestuelles qui ont été préalablement associées à de tels mouvements théoriques. La figure 6b décrit une situation pour laquelle la main 20 effectue à présent un déplacement G3 visant à la rapprocher progressivement de la paroi de la façade interactive. Tant que la frontière f entre les deux zones ROIt et ROIg n'est pas franchie, l'interprétation gestuelle de la main se poursuit. La figure 6c décrit à présent la poursuite du mouvement G3 précédemment décrit. L'un des doigts de la main 20 de l'utilisateur finit par entrer en contact avec la paroi de la façade interactive. La teneur respective des représentations numériques des zones ROIt et ROIg enseignent les moyens 30 qu'un pointeur est à présent détecté dans la zone ROIt. Lesdits moyens 30 interprètent à présent la gestuelle de l'utilisateur et la traduisent sous la forme d'actions tactiles. Seule la position du doigt en contact avec la paroi ou le déplacement de celui-ci dans le très proche de la paroi sera interprété par les moyens de traitement 30. L'utilisateur peut alors entreprendre des commandes tactiles se traduisant par des actions de validation ou d'achat qui requièrent une grande précision dans leur interprétation.
La figure 6d permet de présenter une situation pour laquelle différents pointeurs sont capturés simultanément. Nous retrouvons un pointeur 20 qui traverse les zones ROIg et ROIt. L'interprétation de la gestuelle du pointeur 20 se traduit par la mise en œuvre d'actions tactiles uniquement. Un deuxième pointeur 20g n'est détecté que dans la région ROIg. Les moyens de traitement 30 interprètent les déplacements dudit pointeur 20g en mettant en œuvre des actions gestuelles. Le pointeur 20f est quant à lui détecté uniquement dans la région ROIt. L'invention prévoit une variante de réalisation pour laquelle, tout en maintenant la priorité à la détection d'un pointeur dans la région ROIt dite tactile, une vérification additionnelle de continuité dudit pointeur peut être mise en œuvre par les moyens 30 pour vérifier qu' il existe un pointeur détecté dans la zone adjacente ROIg dont les coordonnées cartésiennes dans l'espace et et cg (respectivement aux extrémités mitoyennes des zones ROIt et ROIg) sont sensiblement équivalentes à la frontière f des deux zones ROIt et ROIg. Dans l'affirmative - cas du pointeur 20 en figure 6d - les moyens de traitement 30 valident la détection d'un pointeur dans la zone tactile ROIt. Inversement - cas du pointeur 20f de la figure 6d - les moyens 30 invalident la détection et ignorent en quelque sorte ce pointeur 20f. Un tel « faux » pointeur 20f peut être l'œuvre de la dépose malveillante d'un chewing-gum sur la paroi de la façade, ou un insecte de taille suffisante dont la capture pourrait entraîner une détection de pointeur non pertinente. Par la mise en œuvre de cette variante, seuls les pointeurs traversant la frontière f des zones ROIt et ROIg sont considérés comme des pointeurs dont l'interprétation du positionnement et du déplacement se traduit par des actions tactiles. Nous nommerons un tel pointeur : « pointeur traversant ».
Un procédé 200 d'interprétation de la gestuelle d'un utilisateur conforme à l'invention est présenté en liaison avec la figure 7. Un tel procédé est mis en œuvre par les moyens de traitement 30 d'un dispositif à commandes tactile et gestuelle comportant une façade interactive .
Le procédé comporte une première étape 201 pour capturer une ou plusieurs images de l'environnement limitrophe de la façade interactive. Il comporte en outre une étape 202 pour analyser la teneur de la représentation numérique ROIg de l'environnement lointain 102 de la façade. Le procédé comporte une étape 204 pour détecter et caractériser la gestuelle d'un pointeur éventuellement détecté dans ladite région d'intérêt ROIg. Si aucun pointeur n'est détecté dans cette région, le procédé est terminé 210 : aucune action gestuelle ou tactile n'est exécutée. Préalablement, en parallèle ou à l'issue de l'analyse 202 de la région ROIg, le procédé comporte une étape 203 pour analyser la teneur de la représentation numérique ROIt du très proche de la façade la région ROIt étant adjacente à ROIg. Le procédé comporte une étape 205 pour détecter et caractériser le déplacement d'un pointeur éventuellement détecté dans la région d'intérêt ROIt. Si un pointeur a été préalablement détecté 204 en région ROIg, alors selon l'invention, les moyens de traitement 30 examinent les résultats de l'analyse 203 de la teneur de la région ROIt. Si ces résultats ne révèlent pas 205 la présence d'un pointeur en ROIt, les moyens de traitement mettent en œuvre l'action (ou les actions) gestuelle(s) idoine(s) afin d'interpréter la gestuelle distante de l'utilisateur. Dans le cas contraire, si la présence d'un pointeur est confirmée 205 dans la région ROIt, les moyens de traitement mettent en œuvre l'action (ou les actions) tactile (s) idoine (s) pour n'interpréter que la position et/ou le déplacement du pointeur dans le très proche 101 de la façade interactive.
Selon un mode de réalisation préféré, un tel procédé peut comporter en outre un test supplémentaire de concordance 208 préalable à la mise en œuvre d'actions tactiles. Ce test est exécuté par les moyens 30 dans le cas où un pointeur a été détecté 205, 206, simultanément dans les régions ROIt et ROIg. Ce test consiste à évaluer la concordance des coordonnées cartésiennes dans l'espace estimées des pixels « frontaliers » relatifs aux pointeurs détectés à la frontière f des deux régions d'intérêt ROIt (coordonnées et) et ROIg (coordonnées cg) . Ce test permet de confirmer/infirmer la continuité d'un pointeur traversant les deux régions d'intérêt. Dans le cas d'un pointeur traversant, les actions tactiles 207 sont mises en œuvre. Dans le cas contraire, seules les actions gestuelles associées à tous pointeurs détectés uniquement dans la région ROIg (c'est-à-dire éloignés de la paroi de la façade interactive) sont déclenchées. Cette variante élimine ainsi tout faux pointeur du type 20f décrit en liaison avec la figure 6d. L'invention prévoit qu'un seuil de tolérance puisse être défini pour caractériser la frontière f entre les deux régions d'intérêt ROIt et ROIg et/ou pour estimer la concordance des coordonnées et et cg afin de caractériser un pointeur traversant .
Pour mettre en œuvre un procédé d' interprétation de commandes tactile et gestuelle conforme à l'invention, il est nécessaire de disposer des représentations ROIt et ROIg de l'environnement limitrophe de la paroi externe d'une façade interactive.
Comme décrit précédemment au travers des exemples des dispositifs lb et le (figures 5a et 5b) les représentations numériques des deux régions d'intérêt peuvent être obtenues à partir d'un seul capteur (par exemple 12b) ou d'un seul ensemble de capteurs [12a, 12b, 12c] ou encore à partir de deux ensembles de capteurs [12a, 12b, 12c] et 18 respectivement dédiés à la capture du très proche et du lointain de la façade interactive. Le procédé 200 décrit en liaison avec la figure 7 peut alors comporter une étape 209 préalable de calibration des différents moyens de capture. Prenons tout d'abord le cas d'un dispositif lb pour lequel des moyens de capture délivrent une représentation globale de l'environnement limitrophe de la paroi externe de la façade interactive. Pour dissocier les deux régions d' intérêt ROIt et ROIg, un paramétrage des moyens de traitement 30 est nécessaire lors de la calibration 209 des moyens de capture. Il suffit de déterminer les limites des deux zones respectives et ainsi matérialiser la frontière f. Les zones ROIt et ROIg dissociées, les moyens de traitement 30 analysent celles-ci selon les techniques adaptées à la détection et l'interprétation des déplacements des pointeurs pour déclencher les actions gestuelles ou tactiles idoines.
Pour les variantes ne mettant pas en œuvre le test 208, il est également possible d'asservir l'éclairage ou l'exposition des moyens de capture en fonction des mouvements des pointeurs.
Ainsi, selon un premier mode de réalisation, un éclairage est prévu pour permettre la capture de l'environnement limitrophe de la paroi de façade selon des paramètres d'acquisition nominaux. On peut choisir d'asservir les paramètres d'acquisitions des moyens de capture (par exemple le temps d'exposition) à la position d'un pointeur éventuel ou plus précisément au franchissement de la frontière f (entre ROIg et ROIt) par un pointeur 20 tel que décrit en liaison avec la figure 6c. Les paramètres d'acquisitions nominaux permettent de capturer la scène dans le lointain 102 de la façade et de déclencher 204 des actions gestuelles 206. En revanche, un rétro-éclairage de la façade est également prévu de sorte que la présence d'un pointeur dans le très proche de la façade ne soit pas capturable (saturation des pixels par exemple) avec des paramètres d'acquisition nominaux. Lorsque les moyens de traitement 30 détectent le franchissement de la frontière f, les paramètres d'acquisition sont modifiés en mode « tactile » afin de tenir compte de l'utilisation du rétro-éclairage et rendre capturable un pointeur dans le très proche de la façade. Se faisant, seule la région ROIt est à présent susceptible de révéler 205 la présence d'un pointeur et ainsi déclencher des actions tactiles.
En variante, l'invention prévoit que l'éclairage puisse être à son tour asservi alors que les paramètres d'acquisition des moyens de capture demeurent invariants. Selon cette variante, le cadre de la façade interactive peut n'être éclairé (ou rétro-éclairé) que lors de la détection d'un franchissement de la frontière f entre les deux zones d'intérêts. Tant que l'utilisateur reste à distance de la paroi de la façade, il peut réaliser des gestes susceptibles d'être détectés 202 et interprétés 204 pour déclencher 206 des actions gestuelles - la région d' intérêt ROIt demeurant dans une relative obscurité. Les moyens de traitement 30 ne peuvent détecter des pointeurs qui seraient uniquement présents dans le très proche de la façade. Lors du franchissement de la frontière f, le cadre est éclairé (ou rétro- éclairé) . La détection 205 d'un pointeur dans le très proche devient alors possible. En outre, l'éclairage (ou le rétro- (éclairage) de la façade prévient l'utilisateur qu'il s'apprête à réaliser une commande tactile donc vraisemblablement à validation une commande et/ou réaliser un achat.
Dans le cas d'un dispositif le où deux ensembles distincts de moyens de capture sont utilisés, les traitements mis en œuvre par les moyens 30 sont quelque peu différents. Les premiers moyens de capture incorporés à la façade interactive sont positionnés et calibrés (209) pour capturer le très proche 101 de la paroi de la façade. L'utilisation optionnelle d'un rétro-éclairage (du type rétro-éclairage 2 du dispositif la) associé à un réglage de l'exposition desdits moyens de capture permettrait en outre de ne pouvoir conserver comme exploitables uniquement les pixels représentant le cadre et les pointeurs à proximité immédiate de la paroi - les autres pixels étant sur ou sous exposés. Il est donc aisé de matérialiser la frontière f selon ce procédé. Les seconds moyens de capture peuvent être positionnés et calibrés (exposition notamment) pour des conditions d'acquisition normales. Le rétro-éclairage vient cette fois éventuellement saturer les pixels relatifs au très proche. La ROIg est donc ainsi matérialisée. Tout autre procédé pour déterminer la géométrie, l'adjacence et l'alignement des régions d'intérêt ROIt et ROIg pourrait être mis en œuvre sans limiter la portée de l'invention.
Il est également possible d'asservir les paramètres d'acquisition des moyens de capture voire l'éclairage de la scène et/ou de la façade - tel que présenté précédemment - afin de renforcer la détection et la conscience de l'utilisateur.

Claims

REVENDICATIONS
Dispositif (lb, le) comportant :
- une façade interactive (10) ;
- des moyens de capture (12a, 12b, 12c, 18) pour capturer au moins une image de l'environnement limitrophe de la face externe de la paroi (14) de ladite façade (10) et délivrer une représentation numérique dudit environnement ;
- des moyens (30) pour analyser ladite représentation numérique pour détecter la présence d'un pointeur (20) à proximité de la façade interactive ;
caractérisé en ce que :
- la représentation numérique comporte une première région d' intérêt (ROIt) décrivant le très proche (101) de la paroi (14) de la façade et une seconde région d'intérêt (ROIg) adjacente à la première décrivant le lointain (102) de ladite paroi ;
- les moyens pour analyser (30) détectent, déterminent la position et/ou interprètent (200) le déplacement d'un pointeur (20, 20g) par l'exploitation conjointe de la teneur desdites première et seconde régions d'intérêt.
Dispositif selon la revendication 1 caractérisé en ce que :
- la façade interactive comporte un cadre (15) ceinturant la face externe de la paroi (14), ledit cadre comportant les moyens de capture (12a, 12b, 12c) ;
- la première région d'intérêt (ROIt) décrit une représentation (15a, 15b) de tout ou partie du cadre de la façade. Dispositif selon la revendication 1, caractérisé en ce que :
- la façade interactive (10) comporte un cadre (15) ceinturant la face externe de la paroi (14), ledit cadre comportant des premiers moyens de capture (12a, 12b, 12c) pour délivrer une première représentation numérique (ROIt, 15a, 15b) décrivant tout ou partie du cadre de la façade ;
- le dispositif comporte des deuxièmes moyens de capture (18) pour délivrer une seconde représentation numérique (ROIg) décrivant le lointain (102) de la face externe de la paroi de la façade ;
- lesdites première et seconde représentations numériques constituent respectivement les première
(ROIt) et seconde (ROIg) régions d'intérêt d'une représentation numérique ainsi agrégée de l'environnement limitrophe de la paroi (14) de la façade (10) exploitée par les moyens pour analyser
(30) .
Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens pour analyser (30) interprètent la présence d'un pointeur (20, 20g) s'ils détectent une telle présence dans la seconde région d'intérêt.
Dispositif selon l'une quelconque des revendications 1 à 3, caractérisé en ce que les moyens pour analyser (30) interprètent la présence d'une pluralité pointeurs (20, 20g) s'ils détectent une telle présence dans la seconde région d'intérêt.
Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte des moyens pour commander un éclairage du très proche de la paroi de la façade. Procédé d' interprétation de commandes tactile et gestuelle mis en œuvre par les moyens de traitement (30) d'un dispositif (lb, le) selon les revendications précédentes, caractérisé en ce qu'il comporte :
- une étape pour capturer l'environnement limitrophe (101, 102) de la paroi externe (14) de la façade interactive (10) et délivrer une première région d'intérêt (ROIt) décrivant le très proche (101) de la paroi (14) de la façade et une seconde région d'intérêt (ROIg) adjacente à la première décrivant le lointain (102) de ladite paroi ;
- une étape (202) pour analyser la teneur de la deuxième région d' intérêt (ROIg) et détecter la présence d'un ou plusieurs pointeurs (20, 20g) dans le lointain (102) de la façade ;
- une étape (203) pour analyser la teneur de la première région d'intérêt (ROIt) et détecter la présence d'un ou plusieurs pointeurs (20, 20g) dans le très proche (101) de la façade ;
- une étape (207) pour déclencher une action tactile par pointeur ayant été détecté (204, 205) dans les première et deuxième régions d'intérêt (ROIt, ROIg) ;
- une étape (206) pour déclencher une action gestuelle par un pointeur ayant été détecté (204) uniquement dans la deuxième région d'intérêt (ROIg) .
Procédé selon la revendication précédente, caractérisé en ce que :
- le procédé comporte une étape (208) préalable à la mise en œuvre d'actions tactiles (207) pour évaluer la concordance des coordonnées cartésiennes dans l'espace estimées (et, cg) des pixels « frontaliers » représentatifs d'un pointeur détecté à la frontière (f) des première et seconde régions d'intérêt (ROIt, ROIg) pour confirmer ou infirmer la continuité d'un pointeur (20) traversant les deux régions d'intérêt ;
- l'étape (207) pour déclencher une action tactile n'est mise en œuvre que si l'étape pour évaluer la concordance atteste la capture d'un pointeur traversant .
9. Procédé selon les revendications 7 ou 8, caractérisé en ce qu'il comporte une étape (209) préalable à la capture (201) de l'environnement limitrophe de la façade pour calibrer et paramétrer les moyens de capture (12a, 12b, 12c, 18). 10. Procédé selon la revendication 8, caractérisé en ce qu'il comporte une étape (209) préalable à la capture (201) de l'environnement limitrophe de la façade pour paramétrer déterminer un seuil de tolérance pour caractériser la frontière (f) entre les première et seconde régions d'intérêt (ROIt, ROIg) et/ou pour évaluer la concordance des coordonnées estimées.
11. Procédé selon l'une quelconque des revendications 7 à
10, caractérisé en ce qu'il comporte une étape (209) préalable à la capture (201) de l'environnement limitrophe de la façade pour paramétrer les moyens de traitement (30) pour associer au moins :
- une action tactile à une ou plusieurs positions ou déplacements caractérisables d'un pointeur dans la première région d'intérêt (ROIt) ;
- une action gestuelle à un ou plusieurs gestes caractérisable dans la seconde région d' intérêt (ROIg) . 12. Procédé selon l'une quelconque des revendications 8 à
11, ledit dispositif étant conforme à la revendication 6, caractérisé en ce qu'il comporte une étape préalable à la capture (201) de l'environnement limitrophe de la paroi de façade pour actionner les moyens pour commander l'éclairage du très proche (101) de la paroi de la façade interactive dès qu'un pointeur a été détecté sensiblement à la frontière (f) des première et seconde régions d'intérêt (ROIt, ROIg) .
Procédé selon les revendications 9 et 12, caractérisé en ce que l'étape pour calibrer et paramétrer les moyens de capture (12a, 12b, 12c, 18) consiste à prévoir les paramètres d'acquisition nominale des moyens de capture de sorte que ces derniers puissent délivrer une représentation numérique de la première région d'intérêt (ROIt) susceptible de révéler la présence éventuelle d'un pointeur dans le très proche (101) de la paroi de la façade interactive lors de l'éclairage dudit très proche.
EP12705365.0A 2011-01-25 2012-01-24 Dispositif à commandes tactile et gestuelle et procédé d'interprétation de la gestuelle associé Withdrawn EP2668556A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1150590A FR2970797B1 (fr) 2011-01-25 2011-01-25 Dispositif a commandes tactile et gestuelle et procede d'interpretation de la gestuelle associe
PCT/FR2012/050150 WO2012101373A2 (fr) 2011-01-25 2012-01-24 Dispositif à commandes tactile et gestuelle et procédé d'interprétation de la gestuelle associé

Publications (1)

Publication Number Publication Date
EP2668556A2 true EP2668556A2 (fr) 2013-12-04

Family

ID=45755389

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12705365.0A Withdrawn EP2668556A2 (fr) 2011-01-25 2012-01-24 Dispositif à commandes tactile et gestuelle et procédé d'interprétation de la gestuelle associé

Country Status (3)

Country Link
EP (1) EP2668556A2 (fr)
FR (1) FR2970797B1 (fr)
WO (1) WO2012101373A2 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2816536B1 (fr) * 2013-06-18 2016-05-18 Wincor Nixdorf International GmbH Automate de reprise pour bouteilles consignées
CN103530943A (zh) * 2013-09-27 2014-01-22 申烽 一种售餐机
EP3220322A1 (fr) * 2014-04-03 2017-09-20 Cubic Corporation Distributeur automatique commandé à distance
JP6335695B2 (ja) * 2014-07-09 2018-05-30 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010012001A1 (en) * 1997-07-07 2001-08-09 Junichi Rekimoto Information input apparatus
US20020071277A1 (en) * 2000-08-12 2002-06-13 Starner Thad E. System and method for capturing an image
US20050277071A1 (en) * 2004-06-14 2005-12-15 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US20090102800A1 (en) * 2007-10-17 2009-04-23 Smart Technologies Inc. Interactive input system, controller therefor and method of controlling an appliance
EP2258587A1 (fr) * 2008-03-19 2010-12-08 Denso Corporation Dispositif d'entrée de commande pour véhicule

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010012001A1 (en) * 1997-07-07 2001-08-09 Junichi Rekimoto Information input apparatus
US20020071277A1 (en) * 2000-08-12 2002-06-13 Starner Thad E. System and method for capturing an image
US20050277071A1 (en) * 2004-06-14 2005-12-15 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US20090102800A1 (en) * 2007-10-17 2009-04-23 Smart Technologies Inc. Interactive input system, controller therefor and method of controlling an appliance
EP2258587A1 (fr) * 2008-03-19 2010-12-08 Denso Corporation Dispositif d'entrée de commande pour véhicule

Also Published As

Publication number Publication date
WO2012101373A3 (fr) 2014-06-26
FR2970797B1 (fr) 2013-12-20
FR2970797A1 (fr) 2012-07-27
WO2012101373A2 (fr) 2012-08-02

Similar Documents

Publication Publication Date Title
EP2668556A2 (fr) Dispositif à commandes tactile et gestuelle et procédé d'interprétation de la gestuelle associé
WO2013160323A1 (fr) Procede pour interagir avec un appareil mettant en oeuvre une surface de commande capacitive, interface et appareil mettant en oeuvre ce procede
EP2183633A2 (fr) Dispositif de projection panoramique, et procede mis en oeuvre dans ce dispositif
JP2019514092A (ja) タッチレス制御グラフィカルユーザインターフェース
EP0615183A1 (fr) Terminal pour un dialogue homme/machine avec un système informatique faisant intervenir une pluralité d'éléments de visualisation
EP2098072A2 (fr) Dispositif pour permettre une communication par visioconference et procede de communication associe
CA2387066A1 (fr) Ensemble d'interface entre un utilisateur et un dispositif electronique
EP2956926B1 (fr) Système interactif à base de tags pour dispositif diffusant un contenu multimédia
EP3188623B1 (fr) Dispositif d'interaction d'un objet exposé à l'aide d'un bras robotique
FR2999847A1 (fr) Procede d'activation d'un dispositif mobile dans un reseau, dispositif d'affichage et systeme associes
FR3023513A1 (fr) Procede d'interaction pour piloter un combine d'instruments d'un vehicule automobile
EP3491488A1 (fr) Procédé et système de commande de l'affichage d'informations et terminal d'utilisateur mettant en oeuvre ce procédé
CA2813547C (fr) Dispositif permettant un enregistrement des etapes de fabrication d'une preparation pharmaceutique et procede d'enregistrement apparente
WO2019110395A1 (fr) Procede d'interaction avec un sous-titre affiche sur un ecran de television, dispositif, produit-programme d'ordinateur et support d'enregistrement pour la mise en œuvre d'un tel procede
WO2023152246A1 (fr) Distributeur automatique destiné à la vente de consommables sans contact
BE1020522A5 (fr) Procede de determination des parametres geometriques indiquant le mouvement d'une camera.
FR2887659A1 (fr) Dispositif pour rendre un volume ou une surface interactifs
FR2887660A1 (fr) Procede et dispositif pour rendre un volume ou une surface interactifs
WO2012127161A2 (fr) Dispositif interactif robuste aux ombres portées
CN102141859A (zh) 光学式触控显示装置及其方法
WO2009121199A1 (fr) Procede et dispositif pour realiser une surface tactile multipoints a partir d'une surface plane quelconque et pour detecter la position d'un objet sur une telle surface
BE1023596B1 (fr) Système interactif basé sur des gestes multimodaux et procédé utilisant un seul système de détection
EP2684112A2 (fr) Système d'acquisition et de traitement d'images robuste pour façade interactive, façade et dispositif interactifs associes
FR3121251A3 (fr) Procédé et système informatisés de navigation en réalités virtuelles et programme d’ordinateur
FR3144880A1 (fr) Système de saisie tactile d’un code à destination des personnes malvoyantes

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
R17D Deferred search report published (corrected)

Effective date: 20140626

17P Request for examination filed

Effective date: 20150105

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

17Q First examination report despatched

Effective date: 20170627

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200801