FR2970797A1 - Dispositif a commandes tactile et gestuelle et procede d'interpretation de la gestuelle associe - Google Patents

Abstract

L'invention concerne un procédé pour interpréter la gestuelle d'un utilisateur d'un dispositif à commandes tactile et gestuelle comportant une façade interactive. L'invention concerne la conception et l'adaptation d'un dispositif tel qu'un distributeur de denrées ou vitrine interactive mettant en œuvre ledit procédé.

Description

1 Dispositif à commandes tactile et gestuelle et procédé d'interprétation de la gestuelle associé L'invention concerne tout dispositif comportant une façade interactive ou tactile permettant à un utilisateur d'interagir directement sur ladite façade pour obtenir un service. L'invention concerne plus précisément, mais de manière non limitative, les distributeurs automatiques de denrées (snacking en terminologie anglo-saxonne), de boissons chaudes ou froides. Elle concerne également les panneaux ou vitrines interactives permettant de délivrer des informations de localisation, de prix, de publicités, etc. La distribution automatique est un canal privilégié pour l'industrie agroalimentaire. Elle permet notamment des marges substantielles. Pour maximiser l'attractivité de tels distributeurs, des constructeurs ont choisi d'équiper la façade principale desdits distributeurs d'un écran tactile. Pour diminuer les coûts liés à la mise en oeuvre de cette technologie et augmenter la robustesse de la façade, l'exploitation de la stéréovision peut être préférée. Cette dernière technique consiste à prévoir autour d'une paroi généralement translucide, des capteurs, un cadre éclairé ou rétro-éclairé pour détecter un doigt par exemple, ou plus généralement un pointeur, à proximité de ladite paroi translucide. A l'aide de méthodes connues, telles que la triangulation par exemple, il est possible de connaître précisément la position du pointeur sur la paroi. Des actions peuvent être préprogrammées pour qu'une position particulière d'un pointeur déclenche un service. Les solutions actuellement exploitées permettent une détection de pointeur à proximité immédiate de la façade avec une grande précision. Toutefois, ce type de solutions n'offre pas une grande richesse d'expression et d'interprétation de la gestuelle d'un utilisateur. Par ailleurs, il existe des systèmes de reconnaissance gestuelle qui offrent de nombreuses fonctionnalités notamment dans les applications de jeu. Toutefois, ces systèmes n'offrent pas de fonction tactile pour valider précisément certaines actions. Pour choisir et/ou valider une opération, l'utilisateur doit généralement réaliser des gestes complexes ou typiques (mains, têtes, etc.) pour que le système puisse interpréter correctement ceux-ci. Les risques de confusion, de lenteur d'exécution ou de répétition de la gestuelle sont réels. Ces solutions sont donc considérées comme non appropriées aux domaines de la distribution automatique de denrées ou de l'exploitation des panneaux ou des vitrines interactives.

L'invention permet de répondre à l'ensemble des inconvénients soulevés par les solutions connues.

L'invention consiste principalement à adapter les systèmes à commande tactile dont les applications nécessitent une grande précision lors de l'interprétation de la présence de pointeurs sur une paroi interactive. Grâce à l'invention, il est possible de décupler l'attractivité de tels dispositifs ainsi que leur capacité à interagir avec un utilisateur sans altérer pour autant la précision de l'interprétation de commandes de validation ou d'achat par exemple. P a r m i l e s n o m b r e u x avantages apportés par l'invention, nous pouvons mentionner que l'invention permet : - de maximiser l'attractivité des dispositifs « tactiles » en permettant une grande interactivité entre le dispositif et son utilisateur ; - d'offrir conjointement une large gamme de sélections d'articles et une interprétation non ambiguë et précise de la gestuelle de l'utilisateur.

A cette fin, il est prévu tout d'abord un dispositif comportant : une façade interactive ; des moyens de capture pour capturer au moins une image de l'environnement limitrophe de la face externe de la paroi de ladite façade et délivrer une représentation numérique dudit environnement ; des moyens pour analyser ladite représentation numérique pour détecter la présence d'un pointeur à proximité de la façade interactive. Pour décupler l'attractivité d'un tel dispositif, l'invention prévoit que ladite représentation numérique comporte une première région d'intérêt décrivant le très 20 proche de la paroi de la façade et une seconde région d'intérêt adjacente à la première décrivant le lointain de ladite paroi. L'invention prévoit en outre que les moyens pour analyser détectent, déterminent la position et/ou interprètent le déplacement d'un pointeur par 25 l'exploitation conjointe de la teneur desdites première et seconde régions d'intérêt.

Selon un premier mode de réalisation, il peut être prévu que . 30 la façade interactive comporte un cadre ceinturant la face externe de la paroi, ledit cadre comportant les moyens de capture ; la première région d'intérêt décrit une représentation de tout ou partie du cadre de la 35 façade. 15 En variante, il peut être prévu que : la façade interactive comporte un cadre ceinturant la face externe de la paroi, ledit 5 cadre comportant des premiers moyens de capture pour délivrer une première représentation numérique décrivant tout ou partie du cadre de la façade ; le dispositif comporte des deuxièmes moyens de capture pour délivrer une seconde représentation numérique décrivant le lointain de la face externe de la paroi de la façade ; lesdites première et seconde représentations numériques constituent respectivement les première et seconde régions d'intérêt d'une représentation numérique ainsi agrégée de l'environnement limitrophe de la paroi de la façade exploitée par les moyens pour analyser.

20 De manière avantageuse, les moyens pour analyser d'un tel dispositif peuvent interpréter la présence d'un ou plusieurs pointeurs que s'ils détectent une telle présence dans la seconde région d'intérêt. L'invention prévoit en outre qu'un dispositif 25 conforme à l'invention puisse comporter des moyens pour commander un éclairage du très proche de la paroi de la façade.

Selon un deuxième objet, l'invention prévoit un 30 procédé d'interprétation de commandes tactile et gestuelle mis en oeuvre par les moyens de traitement d'un dispositif conforme à l'invention. Un tel procédé comporte : une étape pour capturer l'environnement 35 limitrophe de la paroi externe de la façade 10 15 interactive et délivrer une première région d'intérêt décrivant le très proche de la paroi de la façade et une seconde région d'intérêt adjacente à la première décrivant le lointain de ladite paroi ; - une étape pour analyser la teneur de la deuxième région d'intérêt et détecter la présence d'un ou plusieurs pointeurs dans le lointain de la façade ; - une étape pour analyser la teneur de la première région d'intérêt et détecter la présence d'un ou plusieurs pointeurs dans le très proche de la façade ; - une étape pour déclencher une action tactile si par p o i n t e u r ayant été détecté dans les première et deuxième régions d'intérêt ; - une étape pour déclencher une action gestuelle par pointeur ayant été détecté uniquement dans la deuxième région d'intérêt.

Pour pouvoir ignorer des pointeurs non pertinents, il peut être avantageusement prévu que : - le procédé comporte une étape préalable à la mise en oeuvre d'actions tactiles pour évaluer la concordance des coordonnées cartésiennes dans l'espace estimées des pixels « frontaliers » représentatifs d'un pointeur détecté à la frontière des première et seconde régions d'intérêt pour confirmer ou infirmer la continuité d'un pointeur traversant les deux régions d'intérêt ; - l'étape pour déclencher une action tactile n'est mise en oeuvre que si l'étape pour évaluer la concordance atteste la capture d'un pointeur traversant. 30 35 Afin d'optimiser les capacités de détection d'un dispositif conforme à l'invention, l'invention prévoit que le procédé d'interprétation puisse comporter : une étape préalable à la capture de l'environnement limitrophe de la façade pour calibrer et paramétrer les moyens de capture ; voire une étape préalable à la capture de l'environnement limitrophe de la façade pour paramétrer déterminer un seuil de tolérance pour caractériser la frontière entre les première et seconde régions d'intérêt et/ou pour évaluer la concordance des coordonnées estimées.

Pour pouvoir déclencher une action idoine et permettre de mettre à jour un dispositif conforme à l'invention, celle-ci prévoit en outre qu'un tel procédé peut comporter une étape préalable à la capture de l'environnement limitrophe de la façade pour paramétrer les moyens de traitement pour associer au moins une action tactile à une ou plusieurs positions ou déplacements caractérisables d'un pointeur dans la première région d'intérêt ; une action gestuelle à un ou plusieurs gestes caractérisable dans la seconde région d'intérêt.

Selon un mode de réalisation avantageux, un procédé conforme à l'invention et mis en oeuvre par un dispositif comportant des moyens de commande d'un éclairage du très proche de la paroi de la façade interactive, peut comporter une étape préalable à la capture de l'environnement limitrophe de la paroi de façade pour actionner les moyens pour commander l'éclairage du très proche de la paroi de la façade interactive dès qu'un pointeur a été détecté sensiblement à la frontière des première et seconde régions d'intérêt. L'étape pour calibrer et paramétrer les moyens de capture d'un tel procédé peut alors consister à prévoir les paramètres d'acquisition nominale des moyens de capture de sorte que ces derniers puissent délivrer une représentation numérique de la première région d'intérêt susceptible de révéler la présence éventuelle d'un pointeur dans le très proche de la paroi de la façade interactive lors de l'éclairage dudit très proche.

D'autres caractéristiques et avantages apparaîtront plus clairement à la lecture de la description qui suit et à l'examen des figures qui l'accompagnent parmi 15 lesquelles : - la figure 1 présente un dispositif connu comportant une façade interactive sous la forme d'un distributeur automatique de produits ; - la figure 2 présente une façade interactive selon 20 l'état de la technique ; - la figure 3 présente deux exemples d'images obtenues au moyen d'un capteur d'image matriciel d'une façade interactive selon l'état de la technique ; 25 - la figure 4 présente un système de reconnaissance gestuelle selon l'état de la technique ; - les figures 5a et 5b présentent respectivement deux types de dispositif à commandes tactile et gestuelle conformes à l'invention ; 30 - les figures 6a à 6d présentent respectivement des scènes de capture de la gestuelle d'un utilisateur conformément à l'invention ; - la figure 7 permet d'illustrer des variantes de réalisation d'un procédé d'interprétation de la gestuelle d'un utilisateur mis en oeuvre par un dispositif conforme à l'invention. La figure 1 présente un exemple d'un dispositif interactif 1a connu qui délivre des denrées alimentaires (bonbons, boissons en cannettes, etc.). Selon cet exemple, le dispositif 1a comporte des moyens pour effectuer un paiement : un monnayeur 3 ou un lecteur de carte bancaire et un réceptacle 4 pour recueillir éventuellement le trop perçu ou un certificat d'achat. Il comporte en outre une façade interactive 10 couvrant un écran plat 7 sur lequel s'affichent des informations. La face active 7a de l'écran 7 (par opposition à sa face arrière 7b) fait face à la paroi translucide de la façade interactive 10. Selon cet exemple, une source lumineuse 2 diffuse de la lumière sur le cadre de la façade pour rétro-éclairer et ainsi mettre en valeur cette dernière. Un utilisateur peut pointer 20 (avec un doigt) par exemple) une zone de ladite façade et commander l'affichage d'une information sur l'écran 7. Pour cela, des moyens de traitement 30 (non représentés en figure 1) exploitent la teneur d'images capturées à proximité immédiate de la paroi de la façade interactive pour détecter la présence d'un pointeur et interpréter son déplacement. Les moyens de traitement déclenchent des opérations prédéterminées et préalablement associées à des zones particulières de la paroi pour afficher et/ou délivrer des produits selon la localisation dudit pointeur sur la paroi. L'utilisateur peut ainsi recueillir un produit, par exemple, une boisson, via un réceptacle de distribution 5. En variante le dispositif 1a peut être un distributeur de revues directement visibles sur leur présentoir au travers de la paroi de la façade interactive.

La figure 2 permet de décrire une façade interactive 10 utilisée dans le précédent exemple. La façade comporte une paroi 14, généralement translucide, ceinturée d'un cadre 15. Sur la partie supérieure 11 du cadre sont disposés, selon cet exemple, trois capteurs d'image matriciels 12a, 12b et 12c. Chacun fournit une image en deux dimensions d'une région du cadre 15, dite région d'intérêt comme l'indique la figure 3 qui illustre deux images respectivement polygonale 15a et rectangle 15b capturées à l'aide de capteurs 12a et 12b dont les champs de vision respectifs 12v et 12w ne permettent pas à eux seuls d'embrasser l'intégralité de la paroi 14 de la façade. Il existe d'autres variantes de réalisation d'une telle façade pour lesquelles un cadre n'est pas requis.

L'image délivrée par le ou les capteurs matriciels est alors celle du sol ou de tout corps limitant le champ de capture. Pour une détection optimisée, la présence d'un cadre sera toutefois préférée. Pour éclairer le cadre et permettre la capture d'une image de bonne qualité, en liaison avec la figure 2, une façade connue 10 peut comporter préférentiellement une ou plusieurs sources lumineuses dédiées à cet usage. Ainsi, à titre d'exemple, quatre diodes électroluminescentes 13a, 13b, 13c et 13d sont placées à proximité immédiate des capteurs d'image. Parfois des diodes identiques peuvent être également disposées sur tout le pourtour du cadre par exemple si la surface de la façade est importante. On obtient alors un rétro-éclairage 2 conforme à celui du dispositif 1a décrit en liaison avec la figure 1. Les moyens de traitement 30 d'un dispositif 1a intégrant la façade interactive exploitent un ensemble 21 de points résultant d'images telles que les images 15a ou 15b prises respectivement par les capteurs 12a et 12b. A partir d'informations délivrées durant une étape d'étalonnage, et de l'ensemble 21, les moyens 30 mettent en oeuvre une fonction de triangulation pour déterminer les coordonnées cartésiennes dans l'espace (x, y et z) d'un pointeur à proximité immédiate de la paroi d'une façade. Pour mettre en oeuvre une fonction de triangulation, il est nécessaire que deux capteurs au minimum puissent capturer ledit pointeur. Selon les techniques de l'art antérieur, un éclairement intense et non homogène de la paroi lié à un ensoleillement excessif, par exemple, peut diminuer fortement la capacité de détection et de positionnement d'un pointeur. En effet, l'ombre portée par un pointeur ou par tout objet à proximité de la paroi peut entrainer une détection intempestive. Le rétro-éclairage du cadre associé à un calibrage des paramètres d'exposition des capteurs d'images permettent de maximiser la capacité de détection de la façade interactive. Les moyens 30 étant aptes à associer des actions prédéterminées respectivement à des zones de la paroi 14 de la façade 10, l'exploitation des images délivrées par les capteurs 12a, 12b et 12c permet donc de rendre « tactile » la paroi 14. Ainsi, dès qu'un pointeur, tel qu'une main 20, s'approche de la paroi voire touche celle-ci, ledit pointeur est capturé par un ou plusieurs capteurs d'images de la façade 10 et les moyens 30 déclenchent l'action idoine.

Les systèmes connus de reconnaissance gestuelle fonctionnent différemment. La figure 4 illustre un tel système. Selon cet exemple, un ou plusieurs capteur(s) d'images 18 capture (nt) un flux d'images de l'environnement 102 dudit ou desdits capteurs. Un dispositif de contrôle comporte une unité de traitement 30 pour analyser les images capturées et déclencher l'affichage d'informations graphiques, textuelles ou sonores auprès d'une interface 19 par exemple un téléviseur de salon pour mettre en oeuvre un jeu vidéo. Ainsi, dès qu'un personnage 20 pénètre dans le champ de vision du capteur 18, les moyens 30 sont aptes à interpréter les mouvements ou gestes dudit personnage. Les moyens 30 peuvent les reproduire sur l'écran du téléviseur 19 au moyen d'un avatar ou interpréter les mouvements d'un bras ou des mains pour sélectionner un programme, etc. Pour cela, les moyens 30 calculent un flux optique correspondant à la différence entre deux images capturées à quelques instants d'intervalle. Il est possible d'en déduire ainsi la vitesse et l'orientation d'un ensemble de pixels. L'unité de commande discrimine les différents gestes de l'utilisateur 20 (mouvements latéraux, sauts, etc.) et les associe à des actions prédéterminées. Un mouvement particulier peut ainsi déclencher une action de validation, d'annulation ou encore actionner un carrousel d'images pour sélectionner un item au sein d'une pluralité. La reconnaissance gestuelle est généralement assez grossière mais procure une grande richesse d'expression.

L'objectif de l'invention consiste à adapter les systèmes à commande tactile pour décupler leur attractivité et leur capacité à interagir avec un utilisateur. Les figures 5a et 5b décrivent respectivement deux modes de réalisation de l'invention sans toutefois en réduire la portée.

La figure 5a met en scène un utilisateur 20 apte à interagir avec une vitrine interactive 1b d'un magasin par exemple, ladite vitrine 1b étant adaptée selon l'invention pour être un dispositif à commandes tactile et gestuelle. Cette vitrine comporte une façade interactive 10 similaire à la façade décrite en liaison avec la figure 2. Le ou les capteurs d'images de la façade sont toutefois adaptés pour capturer non seulement le très proche 101 de la paroi de la façade 10 mais aussi l'environnement plus éloigné 102. Avec une telle configuration, il est possible de capturer non seulement un doigt de notre utilisateur 20 éventuellement pointé contre la paroi de la façade 10 mais également la gestuelle dudit utilisateur réalisée à distance pour que la vitrine puisse interpréter des gestes comme autant de commandes gestuelles : le mouvement latéral d'un bras, des mouvements circulaires d'une main dans un plan sensiblement parallèle de la vitrine, etc. La figure 5b décrit une variante pour laquelle, un utilisateur 20 peut interagir avec un conteneur 1c de produits, par exemple alimentaires, comportant également une façade interactive 10 similaire à celle décrite en liaison avec la figure 2. Le dispositif 1c est apte à interpréter des commandes tactiles d'un utilisateur pour lui permettre de sélectionner un produit en désignant une zone particulière de la paroi de la façade interactive avec un doigt par exemple. Les techniques classiques de reconnaissance tactile décrites précédemment mises en oeuvre par le conteneur 1c lui permettent de détecter avec précision la présence et la position d'un pointeur à proximité immédiate de la paroi de la façade. Pour cela, des représentations numériques issues des moyens de capture de la façade calibrés pour capturer le très proche 101 de cette dernière sont exploitées par des moyens de traitement 30 de 1c - moyens 30 non représentés en figure 5b. Un tel dispositif 1c est en outre adapté - selon l'invention - pour comporter des moyens de capture complémentaires à ceux de la façade interactive 10. Les moyens de capture complémentaires sont aptes à capturer le lointain 102 de ladite façade 10. Ainsi et au même titre que l'utilisateur décrit en liaison avec la figure 5a, la gestuelle d'un utilisateur 20 du dispositif 1c peut être capturée. Dans le cas où le conteneur 1c permet de délivrer des préparations consommables, l'utilisateur 20 peut avec ses mains choisir les ingrédients, déterminer les proportions d'un mélange en restant à distance de la paroi de la façade. Il peut également valider sa commande en pointant une zone idoine de la façade avec son doigt, par exemple, en le positionnant en pour qu'il entre en contact avec la paroi de la façade 10. Les moyens de capture complémentaires consistent par exemple en une caméra 18 (non représentée en figure 5b) positionnée au dessus de la façade 10. Les dispositifs 1b et 1c sont ainsi capables de disposer à la fois d'images décrivant le très proche 101 de la façade interactive mais également son lointain 102. Ils sont en outre capables de déclencher des actions adaptées à la gestuelle ainsi capturée et interprétée. L'invention permet de décupler l'interaction entre un utilisateur et un dispositif interactif à commandes gestuelle et tactile. La richesse d'informations obtenue par l'interprétation de la gestuelle de l'utilisateur ne peut aller à l'encontre de certaines commandes que nous nommerons « tactiles » qui nécessitent une interprétation non ambiguë et précise. Les moyens de traitement 30 d'une vitrine interactive 1b ou d'un conteneur 1c sont donc également adaptés - conformément à l'invention - pour analyser la représentation numérique de l'environnement limitrophe de la paroi externe de la façade interactive en considérant que ladite représentation numérique comporte une première région d'intérêt ROIt décrivant le très proche 101 de la paroi de la façade et une seconde région d'intérêt ROIg adjacente à la première décrivant le lointain 102 de ladite paroi. Lesdits moyens 30 sont en outre agencés pour détecter, déterminer la position et/ou interpréter sans ambiguïté le déplacement d'un pointeur par une exploitation conjointe de la teneur desdites première et seconde régions d'intérêt. La région ROIt correspond à une région d'intérêt que nous nommerons « tactile » et la région R01g, une région d'intérêt que nous nommerons « gestuelle ». L'analyse respective de chacune de ses deux régions d'intérêt ROIt et ROIg peut être réalisée par les moyens de traitement 30 de manière connue telle que décrite précédemment. En revanche, lesdits moyens de traitement 30 d'un dispositif conforme à l'invention sont adaptés pour caractériser et interpréter un geste de l'utilisateur selon que celui-ci est détecté dans une région d'intérêt ou au sein des deux régions d'intérêt ROIt et R01g.

Les figures 6a à 6c permettent de décrire le procédé de caractérisation du geste d'un utilisateur dont une main 20 est détectée dans l'une ou dans les deux régions d'intérêt. Préalablement à la détection d'un pointeur, les moyens 30 sont paramétrés pour associer à un geste caractérisable dans la zone ROIg une ou plusieurs actions dites « actions gestuelles » particulières. Ils sont également paramétrés pour associer une ou plusieurs actions particulières dites « actions tactiles » à une position ou à un déplacement d'un pointeur dans la zone ROIt. L'invention prévoit que la priorité d'analyse et d'interprétation soit donnée à l'exploitation de la zone d'intérêt tactile ROIt. Ainsi, tant qu'aucun pointeur n'est détecté dans cette zone, les moyens de traitement 30 interprètent des gestes éventuellement capturés dans la zone R01g. La figure 6a illustre une main 20 détectée uniquement dans la zone R01g. Les mouvements G1 ou G2 de celle-ci peuvent être discriminés par les moyens de traitement 30 puis interprétés pour déclencher des actions gestuelles qui ont été préalablement associées à de tels mouvements théoriques. La figure 6b décrit une situation pour laquelle la main 20 effectue à présent un déplacement G3 visant à la rapprocher progressivement de la paroi de la façade interactive. Tant que la frontière f entre les deux zones ROIt et ROIg n'est pas franchie, l'interprétation gestuelle de la main se poursuit. La figure 6c décrit à présent la poursuite du mouvement G3 précédemment décrit. L'un des doigts de la main 20 de l'utilisateur finit par entrer en contact avec la paroi de la façade interactive. La teneur respective des représentations numériques des zones ROIt et ROIg enseignent les moyens 30 qu'un pointeur est à présent détecté dans la zone ROIt. Lesdits moyens 30 interprètent à présent la gestuelle de l'utilisateur et la traduisent sous la forme d'actions tactiles. Seule la position du doigt en contact avec la paroi ou le déplacement de celui-ci dans le très proche de la paroi sera interprété par les moyens de traitement 30. L'utilisateur peut alors entreprendre des commandes tactiles se traduisant par des actions de validation ou d'achat qui requièrent une grande précision dans leur interprétation.

La figure 6d permet de présenter une situation pour laquelle différents pointeurs sont capturés simultanément. Nous retrouvons un pointeur 20 qui traverse les zones ROIg et ROIt. L'interprétation de la gestuelle du pointeur 20 se traduit par la mise en oeuvre d'actions tactiles uniquement. Un deuxième pointeur 20g n'est détecté que dans la région R01g. Les moyens de traitement 30 interprètent les déplacements dudit pointeur 20g en mettant en oeuvre des actions gestuelles. Le pointeur 20f est quant à lui détecté uniquement dans la région ROIt. L'invention prévoit une variante de réalisation pour laquelle, tout en maintenant la priorité à la détection d'un pointeur dans la région ROIt dite tactile, une vérification additionnelle de continuité dudit pointeur peut être mise en oeuvre par les moyens 30 pour vérifier qu'il existe un pointeur détecté dans la zone adjacente ROIg dont les coordonnées cartésiennes dans l'espace et et cg (respectivement aux extrémités mitoyennes des zones ROIt et R01g) sont sensiblement équivalentes à la frontière f des deux zones ROIt et R01g. Dans l'affirmative - cas du pointeur 20 en figure 6d - les moyens de traitement 30 valident la détection d'un pointeur dans la zone tactile ROIt. Inversement - cas du pointeur 20f de la figure 6d - les moyens 30 invalident la détection et ignorent en quelque sorte ce pointeur 20f. Un tel « faux » pointeur 20f peut être l'oeuvre de la dépose malveillante d'un chewing-gum sur la paroi de la façade, ou un insecte de taille suffisante dont la capture pourrait entraîner une détection de pointeur non pertinente. Par la mise en oeuvre de cette variante, seuls les pointeurs traversant la frontière f des zones ROIt et ROIg sont considérés comme des pointeurs dont l'interprétation du positionnement et du déplacement se traduit par des actions tactiles. Nous nommerons un tel pointeur : « pointeur traversant ».

Un procédé 200 d'interprétation de la gestuelle d'un utilisateur conforme à l'invention est présenté en liaison avec la figure 7. Un tel procédé est mis en oeuvre par les moyens de traitement 30 d'un dispositif à commandes tactile et gestuelle comportant une façade interactive. Le procédé comporte une première étape 201 pour capturer une ou plusieurs images de l'environnement limitrophe de la façade interactive. Il comporte en outre une étape 202 pour analyser la teneur de la représentation numérique ROIg de l'environnement lointain 102 de la façade. Le procédé comporte une étape 204 pour détecter et caractériser la gestuelle d'un pointeur éventuellement détecté dans ladite région d'intérêt R01g.

Si aucun pointeur n'est détecté dans cette région, le procédé est terminé 210 : aucune action gestuelle ou tactile n'est exécutée. Préalablement, en parallèle ou à l'issue de l'analyse 202 de la région R01g, le procédé comporte une étape 203 pour analyser la teneur de la représentation numérique ROIt du très proche de la façade - la région ROIt étant adjacente à R01g. Le procédé comporte une étape 205 pour détecter et caractériser le déplacement d'un pointeur éventuellement détecté dans la région d'intérêt ROIt. Si un pointeur a été préalablement détecté 204 en région R01g, alors selon l'invention, les moyens de traitement 30 examinent les résultats de l'analyse 203 de la teneur de la région ROIt. Si ces résultats ne révèlent pas 205 la présence d'un pointeur en ROIt, les moyens de traitement mettent en oeuvre l'action (ou les actions) gestuelle (s) idoine (s) afin d'interpréter la gestuelle distante de l'utilisateur. Dans le cas contraire, si la présence d'un pointeur est confirmée 205 dans la région ROIt, les moyens de traitement mettent en oeuvre l'action (ou les actions) tactile(s) idoine(s) pour n'interpréter que la position et/ou le déplacement du pointeur dans le très proche 101 de la façade interactive. Selon un mode de réalisation préféré, un tel procédé peut comporter en outre un test supplémentaire de concordance 208 préalable à la mise en oeuvre d'actions tactiles. Ce test est exécuté par les moyens 30 dans le cas où un pointeur a été détecté 205, 206, simultanément dans les régions ROIt et R01g. Ce test consiste à évaluer la concordance des coordonnées cartésiennes dans l'espace estimees des pixels « frontaliers » relatifs aux pointeurs détectés à la frontière f des deux régions d'intérêt ROIt (coordonnées ct) et ROIg (coordonnées cg). Ce test permet de confirmer/infirmer la continuité d'un pointeur traversant les deux régions d'intérêt. Dans le cas d'un pointeur traversant, les actions tactiles 207 sont mises en oeuvre. Dans le cas contraire, seules les actions gestuelles associées à tous pointeurs détectés uniquement dans la région ROIg (c'est-à-dire éloignés de la paroi de la façade interactive) sont déclenchées.

Cette variante élimine ainsi tout faux pointeur du type 20f décrit en liaison avec la figure 6d. L'invention prévoit qu'un seuil de tolérance puisse être défini pour caractériser la frontière f entre les deux régions d'intérêt ROIt et ROIg et/ou pour estimer la concordance des coordonnées et et cg afin de caractériser un pointeur traversant.

Pour mettre en oeuvre un procédé d'interprétation de commandes tactile et gestuelle conforme à l'invention, il est nécessaire de disposer des représentations ROIt et ROIg de l'environnement limitrophe de la paroi externe d'une façade interactive. Comme décrit précédemment au travers des exemples des dispositifs 1b et 1c (figures 5a et 5b) les représentations numériques des deux régions d'intérêt peuvent être obtenues à partir d'un seul capteur (par exemple 12b) ou d'un seul ensemble de capteurs [12a, 12b, 12c] ou encore à partir de deux ensembles de capteurs [12a, 12b, 12c] et 18 respectivement dédiés à la capture du très proche et du lointain de la façade interactive. Le procédé 200 décrit en liaison avec la figure 7 peut alors comporter une étape 209 préalable de calibration des différents moyens de capture.

Prenons tout d'abord le cas d'un dispositif 1b pour lequel des moyens de capture délivrent une représentation globale de l'environnement limitrophe de la paroi externe de la façade interactive. Pour dissocier les deux régions d'intérêt ROIt et R01g, un paramétrage des moyens de traitement 30 est nécessaire lors de la calibration 209 des moyens de capture. Il suffit de déterminer les limites des deux zones respectives et ainsi matérialiser la frontière f. Les zones ROIt et ROIg dissociées, les moyens de traitement 30 analysent celles-ci selon les techniques adaptées à la détection et l'interprétation des déplacements des pointeurs pour déclencher les actions gestuelles ou tactiles idoines. Pour les variantes ne mettant pas en oeuvre le test 208, il est également possible d'asservir l'éclairage ou l'exposition des moyens de capture en fonction des mouvements des pointeurs. Ainsi, selon un premier mode de réalisation, un éclairage est prévu pour permettre la capture de l'environnement limitrophe de la paroi de façade selon des paramètres d'acquisition nominaux. On peut choisir d'asservir les paramètres d'acquisitions des moyens de capture (par exemple le temps d'exposition) à la position d'un pointeur éventuel ou plus précisément au franchissement de la frontière f (entre ROIg et ROIt) par un pointeur 20 tel que décrit en liaison avec la figure 6c. Les paramètres d'acquisitions nominaux permettent de capturer la scène dans le lointain 102 de la façade et de déclencher 204 des actions gestuelles 206. En revanche, un rétro-éclairage de la façade est également prévu de sorte que la présence d'un pointeur dans le très proche de la façade ne soit pas capturable (saturation des pixels par exemple) avec des paramètres d'acquisition nominaux. Lorsque les moyens de traitement 30 détectent le franchissement de la frontière f, les paramètres d'acquisition sont modifiés en mode « tactile » afin de tenir compte de l'utilisation du rétro-éclairage et rendre capturable un pointeur dans le très proche de la façade. Se faisant, seule la région ROIt est à présent susceptible de révéler 205 la présence d'un pointeur et ainsi déclencher des actions tactiles. En variante, l'invention prévoit que l'éclairage puisse être à son tour asservi alors que les paramètres d'acquisition des moyens de capture demeurent invariants.

Selon cette variante, le cadre de la façade interactive peut n'être éclairé (ou rétro-éclairé) que lors de la détection d'un franchissement de la frontière f entre les deux zones d'intérêts. Tant que l'utilisateur reste à distance de la paroi de la façade, il peut réaliser des gestes susceptibles d'être détectés 202 et interprétés 204 pour déclencher 206 des actions gestuelles - la région d'intérêt ROIt demeurant dans une relative obscurité. Les moyens de traitement 30 ne peuvent détecter des pointeurs qui seraient uniquement présents dans le très proche de la façade. Lors du franchissement de la frontière f, le cadre est éclairé (ou rétro-éclairé). La détection 205 d'un pointeur dans le très proche devient alors possible. En outre, l'éclairage (ou le rétro-(éclairage) de la façade prévient l'utilisateur qu'il s'apprête à réaliser une commande tactile donc vraisemblablement à validation une commande et/ou réaliser un achat.

Dans le cas d'un dispositif 1c où deux ensembles distincts de moyens de capture sont utilisés, les traitements mis en oeuvre par les moyens 30 sont quelque peu différents. Les premiers moyens de capture incorporés à la façade interactive sont positionnés et calibrés (209) pour capturer le très proche 101 de la paroi de la façade. L'utilisation optionnelle d'un rétro-éclairage (du type rétro-éclairage 2 du dispositif 1a) associé à un réglage de l'exposition desdits moyens de capture permettrait en outre de ne pouvoir conserver comme exploitables uniquement les pixels représentant le cadre et les pointeurs à proximité immédiate de la paroi - les autres pixels étant sur ou sous exposés. Il est donc aisé de matérialiser la frontière f selon ce procédé. Les seconds moyens de capture peuvent être positionnés et calibrés (exposition notamment) pour des conditions d'acquisition normales. Le rétro-éclairage vient cette fois éventuellement saturer les pixels relatifs au très proche. La ROIg est donc ainsi matérialisée. Tout autre procédé pour déterminer la géométrie, l'adjacence et l'alignement des régions d'intérêt ROIt et ROIg pourrait être mis en oeuvre sans limiter la portée de l'invention. Il est également possible d'asservir les paramètres d'acquisition des moyens de capture voire l'éclairage de la scène et/ou de la façade - tel que présenté précédemment - afin de renforcer la détection et la conscience de l'utilisateur.

Claims (13)

1. REVENDICATIONS1. Dispositif (1b, 1c) comportant : une façade interactive (10) ; des moyens de capture (12a, 12b, 12c, 18) pour capturer au moins une image de l'environnement limitrophe de la face externe de la paroi (14) de ladite façade (10) et délivrer une représentation numérique dudit environnement ; des moyens (30) pour analyser ladite représentation numérique pour détecter la présence d'un pointeur (20) à proximité de la façade interactive ; caractérisé en ce que : la représentation numérique comporte une première région d'intérêt (ROIt) décrivant le très proche (101) de la paroi (14) de la façade et une seconde région d'intérêt (ROIg) adjacente à la première décrivant le lointain (102) de ladite paroi ; les moyens pour analyser (30) détectent, déterminent la position et/ou interprètent (200) 20 le déplacement d'un pointeur (20, 20g) par l'exploitation conjointe de la teneur desdites première et seconde régions d'intérêt.
2. 2. Dispositif selon la revendication 1 caractérisé en ce que : la façade interactive comporte un cadre (15) ceinturant la face externe de la paroi (14), ledit cadre comportant les moyens de capture (12a, 12b, 12c) ; la première région d'intérêt (ROIt) décrit une représentation (15a, 15b) de tout ou partie du cadre de la façade. 10 15 25 30
3. 3. Dispositif selon la revendication 1, caractérisé en ce que : la façade interactive (10) comporte un cadre (15) ceinturant la face externe de la paroi (14), ledit cadre comportant des premiers moyens de capture (12a, 12b, 12c) pour délivrer une première représentation numérique (ROIt, 15a, 15b) décrivant tout ou partie du cadre de la façade ; le dispositif comporte des deuxièmes moyens de capture (18) pour délivrer une seconde représentation numérique (ROIg) décrivant le lointain (102) de la face externe de la paroi de la façade ; lesdites première et seconde représentations numériques constituent respectivement les première (ROIt) et seconde (ROIg) régions d'intérêt d'une représentation numérique ainsi agrégée de l'environnement limitrophe de la paroi (14) de la façade (10) exploitée par les moyens pour analyser (30).
4. 4. Dispositif selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens pour analyser (30) interprètent la présence d'un pointeur (20, 20g) s'ils détectent une telle présence dans la seconde région d'intérêt.
5. 5. Dispositif selon l'une quelconque des revendications 1 à 3, caractérisé en ce que les moyens pour analyser (30) interprètent la présence d'une pluralité pointeurs (20, 20g) s'ils détectent une telle présence dans la seconde région d'intérêt.
6. 6. Dispositif selon l'une quelconque des revendications 35 précédentes, caractérisé en ce qu'il comporte des moyens pour commander un éclairage du très proche de la paroi de la façade. 30
7. 7. Procédé d'interprétation de commandes tactile et gestuelle mis en oeuvre par les moyens de traitement (30) d'un dispositif (1b, 1c) selon les revendications précédentes, caractérisé en ce qu'il comporte : - une étape pour capturer l'environnement limitrophe (101, 102) de la paroi externe (14) de la façade interactive (10) et délivrer une première région d'intérêt (ROIt) décrivant le très proche (101) de la paroi (14) de la façade et une seconde région d'intérêt (ROIg) adjacente à la première décrivant le lointain (102) de ladite paroi ; - une étape (202) pour analyser la teneur de la deuxième région d'intérêt (ROIg) et détecter la présence d'un ou plusieurs pointeurs (20, 20g) dans le lointain (102) de la façade ; - une étape (203) pour analyser la teneur de la première région d'intérêt (ROIt) et détecter la présence d'un ou plusieurs pointeurs (20, 20g) dans le très proche (101) de la façade ; - une étape (207) pour déclencher une action tactile par pointeur ayant été détecté (204, 205) dans les première et deuxième régions d'intérêt (ROIt, R01g) ; - une étape (206) pour déclencher une action gestuelle par un pointeur ayant été détecté (204) uniquement dans la deuxième région d'intérêt (R01g). 30
8. 8. Procédé selon la revendication précédente, caractérisé en ce que : - le procédé comporte une étape (208) préalable à la mise en oeuvre d'actions tactiles (207) pour évaluer la c o n c o r d a n c e des coordonnées 35 cartésiennes dans l'espace estimées (ct, cg) des pixels « frontaliers » représentatifs d'un pointeur détecté à la frontière (f) des première 10 15 20 25et seconde régions d'intérêt (ROIt, R01g) pour confirmer ou infirmer la continuité d'un pointeur (20) traversant les deux régions d'intérêt ; l'étape (207) pour déclencher une action tactile n'est mise en oeuvre que si l'étape pour évaluer la concordance atteste la capture d'un pointeur traversant.
9. 9. Procédé selon les revendications 7 ou 8, caractérisé en ce qu'il comporte une étape (209) préalable à la capture (201) de l'environnement limitrophe de la façade pour calibrer et paramétrer les moyens de capture (12a, 12b, 12c, 18).
10. 10. Procédé selon la revendication 8, caractérisé en ce qu'il comporte une étape (209) préalable à la capture (201) de l'environnement limitrophe de la façade pour paramétrer déterminer un seuil de tolérance pour caractériser la frontière (f) entre les première et seconde régions d'intérêt (ROIt, R01g) et/ou pour évaluer la concordance des coordonnées estimées.
11. 11. Procédé selon l'une quelconque des revendications 7 à 10, caractérisé en ce qu'il comporte une étape (209) préalable à la capture (201) de l'environnement limitrophe de la façade pour paramétrer les moyens de traitement (30) pour associer au moins : une action tactile à une ou plusieurs positions ou déplacements caractérisables d'un pointeur dans la première région d'intérêt (ROIt) ; une action gestuelle à un ou plusieurs gestes caractérisable dans la seconde région d'intérêt (R01g). 35
12. 12. Procédé selon l'une quelconque des revendications 8 à 11, ledit dispositif étant conforme à la revendication 6, caractérisé en ce qu'il comporte une étape 25 30 5 10 15préalable à la capture (201) de l'environnement limitrophe de la paroi de façade pour actionner les moyens pour commander l'éclairage du très proche (101) de la paroi de la façade interactive dès qu'un pointeur a été détecté sensiblement à la frontière (f) des première et seconde régions d'intérêt (ROIt, R01g).
13. 13. Procédé selon les revendications 9 et 12, caractérisé en ce que l'étape pour calibrer et paramétrer les moyens de capture (12a, 12b, 12c, 18) consiste à prévoir les paramètres d'acquisition nominale des moyens de capture de sorte que ces derniers puissent délivrer une représentation numérique de la première région d'intérêt (ROIt) susceptible de révéler la présence éventuelle d'un pointeur dans le très proche (101) de la paroi de la façade interactive lors de l'éclairage dudit très proche.