BE1023596B1 - Système interactif basé sur des gestes multimodaux et procédé utilisant un seul système de détection - Google Patents

Abstract

Le présent document décrit un procédé et un système pour permettre une interaction basée sur des gestions multimodaux naturels efficaces et complémentaires avec un système informatisé qui affiche des informations de retour visuel sur une interface utilisateur graphique sur une surface d’interaction. La surface d’interaction est située à l’intérieur du tronc de cône d’un dispositif d’imagerie comprenant un seul système de détection. Le système utilise le seul système de détection pour détecter des interactions de gestes tactiles avec la surface d’interaction et des interactions de gestes non tactiles tridimensionnels dans des zones ou des volumes au-dessus de la surface d’interaction effectués par les mains d’un utilisateur. Les deux types d’interaction sont associés contextuellement avec une commande d’interaction contrôlant le système informatisé quand le geste a été détecté. Le système comprend un système de projection pour afficher l’interface utilisateur graphique et un retour visuel sur la surface d’interaction.

Description

SYSTÈME INTERACTIF BASÉ SUR DES GESTES MULTIMODAUX ET PROCÉDÉ UTILISANT UN SEUL SYSTÈME DE

DÉTECTION

Domaine de l'invention

La présente invention se rapporte à des améliorations de systèmes interactifs multimodaux homme-ordinateur ou relatives à ceux-ci et concerne en particulier un procédé et un système pour fournir deux modes complémentaires d’interaction utilisant un seul moyen de détection, par exemple, un système d'imagerie tridimensionnelle exploité pour la reconnaissance de gestes, les deux modes d'interaction étant respectivement des interactions de gestes tactiles et des interactions de gestes tridimensionnels non tactiles.

Art antérieur de l'invention

Les interfaces conventionnelles homme-ordinateur comprennent des interfaces matérielles de système de contrôle telles que claviers, souris, télécommande, tablettes, écrans tactiles et dispositifs de pointage. Avec de telles interfaces, une action physique doit être effectuée sur le dispositif matériel même, par exemple, toucher, déplacer, maintenir, pointer, presser, cliquer ou même une pluralité de ces actions ensemble, séquentiellement ou simultanément, d'une façon rendue possible par ces interfaces de dispositif afin que des commandes de contrôle, telles que des événements binaires déclenchés ou des valeurs continues, puissent être envoyées à un système informatique avec lequel l'interface est destinée à interagir.

Le système informatique comprend souvent une interface utilisateur graphique (GUI) ayant des fenêtres, des boutons et d'autres composants ou éléments, appelés tous ensemble les paramètres, qui sont affichés sur des écrans pour fournir un retour visuel à un utilisateur comme une fonction de commandes de contrôle déclenchées et exécutées; ils sont conçus conformément à l'utilisabilité et à l'ergonomie des interfaces matérielles conventionnelles homme-ordinateur et eu égard aux capacités bidimensionnelles des systèmes d'affichage grand public. Par exemple, les systèmes d'exploitation ont basiquement des fenêtres GUI bidimensionnelles qui comprennent souvent des barres de défilement pour permettre la navigation dans un contenu multimédia tel qu'une carte, une image ou une zone de texte dont la taille est potentiellement plus grande que l'image affichée dans la zone délimitée par la taille même de l'écran d'affichage. L'interaction avec les barres de défilement est optimisée pour utiliser une roulette sur un dispositif matériel de souris ou en combinant un mouvement du curseur de la souris avec une action de maintien du clic. De plus, les GUI conventionnelles comprennent souvent des boutons bidimensionnels sur lesquels un utilisateur clique avec des boutons de souris pour faire un zoom avant et arrière dans le contenu de la GUI quand la représentation du curseur de la souris pointe sur la zone de bouton spécifiquement déterminée.

En outre, les GUI bidimensionnelles conventionnelles peuvent également comprendre des interactions de GUI de navigation de carte qui requièrent en général un clic combiné avec un mouvement continu de la souris pour faire défiler la carte comme fonction du mouvement de la souris ou pour changer d'une zone de la carte à l'autre.

Plus récemment, des GUI bidimensionnelles conventionnelles ont été développées afin d'être actionnées par des interfaces de contrôle tactiles et/ou tactiles multipoints telles que des écrans d'affichage à surface tactile multipoint. Les commandes de contrôle de ces interfaces de deuxième génération basées sur des gestes tactiles ont été conçues pour permettre à un utilisateur d'interagir, de cliquer, de faire défiler ou de faire un zoom avant et arrière, en utilisant une partie d'au moins une main, par exemple un doigt, et peuvent être basées sur différents types de technologies matérielles telles que les technologies capacitive, résistive, à grille infrarouge, basée sur l'imagerie optique, les signaux dispersifs ou les ondes acoustiques.

Plus récemment encore, une troisième génération d'interfaces de système de contrôle est devenue disponible. Cette génération comprend des systèmes d'interaction sans contact. Ces systèmes peuvent aussi être basés sur un capteur capacitif de suivi de mouvements et comprend un système incluant des électrodes et de l'électronique d'interface. Le principal avantage de l'utilisation de tels capteurs capacitifs par rapport aux systèmes de contrôle existants réside dans le fait qu'ils consomment peu d'énergie, fournissent une intégration facile et sont d'un faible coût. Cependant, les capteurs capacitifs permettent uniquement des interactions sans contact très rapprochées, par exemple à une distance entre 0 cm et 10 cm du plan des électrodes, avec la capacité de distinguer et de suivre un nombre très limité de points d’intérêt ou d'extrémités en même temps, tels que des doigts humains, typiquement seulement un ou deux. Ces capteurs capacitifs de suivi de mouvements sont couramment associés à un autre système d'interaction de la première ou deuxième génération d’interfaces de contrôle, par exemple un système d'écran tactile, afin de permettre des interactions de gestes tactiles et non tactiles ou sans contact. Cependant, de tels capteurs ne sont pas assez complémentaires pour être utilisés efficacement pour combiner une reconnaissance de gestes tridimensionnels tactiles et non tactiles où les gestes de contrôle sont effectués dans l'air par un utilisateur, par exemple, utilisant les deux mains et une pluralité de doigts, par exemple 6, à des distances variant entre 0 cm et 150 cm d'une surface d'interaction.

Cette troisième génération de systèmes d'interaction sans contact peut aussi être basée sur un système d'imagerie, par exemple, des dispositifs de caméra bidimensionnelle ou tridimensionnelle, pour capturer séquentiellement des images d'une scène au cours du temps et un procédé pour déterminer des gestes tridimensionnels effectués par un utilisateur dans la scène capturée. De tels systèmes d'interactions sans contact sont conformes à une utilisation en combinaison avec des interfaces matérielles conventionnelles existantes, telles que des affichages d'écran tactile, ou éventuellement seul en déclenchant les mêmes commandes de contrôle que lesdites interfaces matérielles conventionnelles mais à partir d'un ensemble de gestes tridimensionnels reconnus, à savoir des poses statiques ou des poses dynamiques, dans les images de la scène capturées séquentiellement.

Un tel système d'interaction multimodale utilisant un système de reconnaissance de gestes non tactiles d'une caméra 3D combiné avec un autre système interactif d'un dispositif matériel est décrit dans WO-A-2013/104681. WO-A-2013/104681 décrit un nouveau système de dispositif de contrôle à distance sans fil tenu à la main. Il peut être utilisé pour fournir des signaux conventionnels de contrôle à distance basés sur le matériel en vue d'interagir avec un système informatique en association avec trois signaux de contrôle basés sur des gestes tridimensionnels fournis par le système de reconnaissance de gestes. Le dispositif de contrôle à distance sans fil tenu à la main comprend un boîtier ayant une unité de détection et ayant au moins un bouton de contrôle qui est capable de générer ou de déclencher un signal de contrôle pour le système informatisé associé. Le système informatisé utilise l'information obtenue du dispositif de contrôle conjointement avec l'information obtenue d'un système de reconnaissance de gestes d'une façon multimodale pour résoudre toute ambiguïté due, par exemple, à l’occlusion de la main effectuant le geste ou de la main se trouvant en dehors du champ de vision du système d’imagerie associé au système informatisé et pour déclencher des interactions avec le système d'interaction basé sur des gestes. Exploités d'une façon multimodale, les deux systèmes d'interaction différents sont utilisés de manière efficace en combinaison et chacun délivre des signaux à utiliser pour améliorer les signaux de l'autre, permettant ainsi une interaction améliorée homme-ordinateur qui ne peut être fournie si l'on utilise uniquement un des deux systèmes d'interaction.

Un autre système d'interaction sans contact qui utilise une caméra vidéo et un système d'écran d'ordinateur est décrit dans WO-A-99/40562. Le système comprend un système d'entrée de données de type écran tactile déterminé à partir d'images vidéo comprenant des données relatives à des objets s'approchant de l'écran d'ordinateur. Le système de caméra vidéo est monté au-dessus de l'écran d’ordinateur pour surveiller la zone située immédiatement devant l'écran. Le traitement des images permet la détection et le suivi d'une main d'un utilisateur ou d'un stylo à l'avant-plan de l'écran en utilisant des techniques courantes d'élimination d'arrière-plan. Un processus d'étalonnage est utilisé dans lequel des points d’étalonnage sont placés de manière à couvrir la majeure partie de l'écran, le processus d'étalonnage générant des coordonnées spatiales d'écran en transformant des coordonnées d'espace virtuel de la position de la main suivie en utilisant des moyens tels que l'interpolation linéaire et l'extrapolation linéaire.

Dans WO-A-02/03316, un écran tactile capacitif passif est associé à au moins une caméra à vision stéréo basée sur un système d'interaction sans contact. Les données du système tactile capacitif à faible résolution, sensible à la température et à l'humidité, à faible extensibilité sont améliorées par l'information récupérée par la caméra. La caméra à vision stéréo basée sur un système d'interaction sans contact comprend au moins deux caméras avec des champs de vision se chevauchant qui englobent la surface de l'écran tactile capacitif. Les caméras acquièrent des images de la surface tactile à partir de différents endroits et déterminent l'endroit exact du pointeur par rapport à la surface tactile quand ce pointeur est capturé dans des images acquises par les caméras. Une routine d'étalonnage est utilisée pour faciliter la détermination de la position de l'objet en recourant à la triangulation et en tenant compte des angles de déviation de la caméra par rapport à la surface tactile. Cela permet de mieux déterminer si un pointeur est en contact avec la surface tactile en un point donné ou s'il plane au-dessus de la surface tactile.

Alors que les systèmes interactifs homme-ordinateur existants permettent des interactions multimodales basées sur des interfaces tactiles et des interfaces de gestes tridimensionnels sans contact en associant au moins deux systèmes de détection ayant des technologies différentes, par exemple un écran tactile capacitif associé à un système de reconnaissance de gestes tridimensionnels sans contact exploité en utilisant des informations de profondeur d'une caméra 3D, il n'existe pas encore de solution pour permettre des interfaces multimodales tactiles et basées sur des gestes tridimensionnels sans contact, précises, fiables, efficaces et rentables pour contrôler un système informatisé de la même façon qu'un système utilisant une combinaison de différentes technologies existantes.

De surcroît, l'intégration de deux systèmes de détection ayant des technologiques différentes avec une interface utilisateur graphique est toujours contrainte par une des technologies. Par exemple, quand on utilise un écran d'affichage capacitif pour permettre une interaction de geste tactile, l'écran utilisé a la principale interface utilisateur graphique et, l'ajout d'une autre interface utilisateur graphique qui, par exemple, peut avoir des propriétés d'extensibilité, tel qu'un système de projection, nécessite d'ajouter de la complexité et des coûts au système existant. De la même façon, l'association d'une pluralité d'écrans d'affichage avec une pluralité de systèmes de détection ne fournit pas un système complet qui est polyvalent et embarquable, permettant ainsi au système interactif d'être exploité n'importe où et sur n'importe quelle surface.

Dernier point et qui n'est pas le moindre, comme l'intégration d'une pluralité de systèmes de détection est contrainte et rendue complexe par le système d'affichage requis par un des systèmes de détection, l'intégration d’interactions naturelles en utilisant une combinaison de gestes tridimensionnels tactiles et non tactiles pour exploiter de manière naturelle l'interface multimodale homme-machine (ou ordinateur) tend à être assez limitée en termes d'application, d'utilisabilité et d'ergonomie dans le processus d'interaction. Résumé de l'invention

Par conséquent, un but de la présente invention est de fournir un système d'interaction multimodal polyvalent qui surmonte les problèmes associés à l'utilisation d’une pluralité de systèmes de détection pour permettre une multimodalité fiable, simple et utilisable. La présente invention comprend, en particulier, un nouveau procédé pour utiliser un unique système de détection, soit seul soit en association avec un unique système d'affichage polyvalent, pour fournir un système interactif basé sur des gestes tactiles et non tactiles ayant une interface utilisateur graphique, le procédé étant suffisamment polyvalent et ergonomique pour être exploité sur différentes surfaces d’interaction qui peuvent être différentes de celle imposée par l'unique système de détection même.

Par conséquent, un but de la présente invention est également de fournir un nouveau système d'interaction multimodal naturel dans lequel différents modes d'interaction peuvent être facilement associés ou combinés les uns avec les autres, soit séquentiellement soit simultanément, pour permettre une interaction homme-ordinateur en utilisant au moins une partie d'au moins une main d'un utilisateur, ou un autre objet, tout en étant suffisamment polyvalent pour permettre des interactions naturelles homme-ordinateur en utilisant au moins deux parties soit d'une soit de deux mains ou plus d'un ou de multiples utilisateurs.

Par conséquent, un objet de la présente invention est, en particulier, de fournir un système polyvalent pour interagir avec une interface utilisateur graphique, le système comprenant: un système d'affichage pour afficher une interface utilisateur graphique sur une surface d'interaction, un système d'imagerie tridimensionnelle exploité pour au moins suivre au moins une partie d'au moins un objet ou d'au moins une main d’un utilisateur à l'intérieur de son tronc de cône, et un système informatique configuré pour contrôler le système d'affichage et le système d'imagerie tridimensionnel ainsi que pour déterminer des contrôles d'interaction basés sur des gestes sur la base de données produites par le système d'imagerie tridimensionnel.

Le présent système interactif est en outre avantageusement caractérisé en ce que la surface d'affichage servant à afficher l’interface utilisateur graphique est située dans une partie du tronc de cône du système d'imagerie et est aussi sensiblement aligné sur celui-ci de manière à réduire à un minimum le problème et les contraintes d'étalonnage. Le terme "sensiblement aligné" tel qu'utilisé dans le présent document se réfère à la perspective de l'affichage ou de la surface d'interaction du point de vue de la caméra, c'est-à-dire que le plan X-Y de la surface d'interaction se trouve dans une plage angulaire prédéterminée par rapport au plan X-Y du système d'imagerie, par exemple entre 0 et 45 degrés.

De manière avantageuse quand on considère des systèmes embarqués, le système d'affichage comprendra un élément projecteur situé sur le même côté de la surface d'interaction sur lequel l'interface utilisateur graphique est affichée comme le dispositif d'imagerie tridimensionnelle.

Quand on considère des surfaces d'interaction telles que des bureaux, des tables ou des fenêtres, le système interactif sera de préférence configuré de manière que le système d'imagerie tridimensionnelle et l'élément projecteur soient situés sur des côtés opposés de la surface d'interaction sur laquelle l'interface utilisateur graphique est projetée. La surface d'interaction sera exploitable de préférence pour diffuser un rayonnement ayant une longueur d'onde dans une plage qui correspond sensiblement à la partie visible du spectre électromagnétique, et pour transmettre un rayonnement ayant une longueur d'onde dans une plage qui correspond sensiblement à la partie infrarouge du spectre électromagnétique avec diffusion limitée, le coefficient de transmission de la surface d'interaction étant supérieur à 50 % avec une diffusion limitée inférieure à 20 degrés dans le domaine IR.

Par conséquent, un autre but de la présente invention est de fournir un procédé destiné à être mis en œuvre par le système interactif, le procédé étant stocké dans un support informatique non temporaire et étant mis en œuvre comme instructions exécutables par le système interactif.

Le procédé prévoit des interactions multimodales tactiles et non tactiles pour contrôler le système informatisé dans lequel lesdites interactions multimodales tactiles et non tactiles sont détectées et reconnues en utilisant des informations de données d'un unique système de détection. L’unique système de détection est de préférence un dispositif d'imagerie tridimensionnelle, et le procédé comprend les étapes de: détection et suivi d'au moins une partie d'au moins un objet à l'intérieur du tronc de cône d'un dispositif d’imagerie tridimensionnelle; amorçage de l'interaction en déterminant si ladite au moins une partie dudit au moins un objet suivi effectue au moins un de: un geste tactile prédéterminé sur une zone interactive prédéterminée sur la surface d'interaction et un geste tridimensionnel non tactile prédéterminé dans un volume interactif prédéterminé le long d'un axe de vecteur normal d'une zone interactive prédéterminée; interaction avec le système informatisé en détectant et en reconnaissant les gestes effectués par ladite au moins une partie dudit au moins un objet à l'intérieur du tronc de cône du dispositif d'imagerie tridimensionnelle, et les gestes détectés et reconnus étant au moins un de: un geste tactile prédéterminé sur la zone interactive prédéterminée de la surface d'interaction et un geste tridimensionnel non tactile prédéterminé dans le volume interactif prédéterminé le long d'un axe de vecteur normal à une zone interactive prédéterminée.

De manière avantageuse, la détection de l'exécution d'un geste tactile sur une zone interactive prédéterminée de la surface d'interaction correspond au fait de détecter quand ladite au moins une partie dudit au moins un objet suivi est positionnée dans l'espace tridimensionnel au même endroit dans l'espace que la zone interactive prédéterminée sur la surface d'interaction.

Dans un mode de réalisation préféré, détecter si un geste tactile a été effectué peut correspondre au fait de déterminer quand la distance par rapport à la surface d'interaction de ladite au moins une partie dudit au moins un objet suivi, dans l’espace tridimensionnel, est inférieure à un seuil prédéterminé.

De manière similaire, le procédé comprend le fait de déterminer si un geste tactile multipoint est effectué en détectant quand les positions d'au moins deux parties dudit au moins un objet suivi dans l'espace atteignent au moins deux zones interactives prédéterminées appartenant à la surface d'interaction.

Le procédé comprend en outre la détermination de commandes de contrôle d'interaction de gestes tactiles comme fonction de positions et durées successives d'au moins un de: un geste tactile et un geste tactile multipoint.

De plus, le procédé comprend aussi la détection d’interactions de geste tridimensionnels non tactiles et la détermination de commandes de contrôle contextuellement comme fonction du geste tridimensionnel effectué par ladite au moins une partie dudit au moins un objet suivi. Par contextuellement, on entend à quel moment, pendant combien de temps et où dans l'espace par rapport aux zones et volumes d'interaction de la surface d’interaction.

Dans un mode de réalisation préféré, le procédé comprend en outre l'étape consistant à mettre fin à une interaction amorcée basée sur un geste quand un événement prédéterminé est déclenché, ledit événement prédéterminé étant au moins un de: l'écoulement d'une période de temps prédéterminée, la reconnaissance d'un geste tactile prédéterminé sur la surface d'interaction, la reconnaissance d'un geste non tactile tridimensionnel prédéterminé dans ie tronc de cône du dispositif d'imagerie tridimensionnelle et une sortie dudit au moins un objet d'un volume interactif prédéterminé dans l'espace tridimensionnel.

Le procédé peut utiliser au moins une première partie détectée et suivie d'au moins un premier objet pour amorcer une interaction et au moins une deuxième partie détectée et suivie dudit au moins un premier objet pour effectuer l’interaction. Le procédé peut aussi utiliser séquentiellement une seule partie détectée et suivie d'un objet pour effectuer l'amorçage de l'interaction de geste et l'interaction de geste proprement dite. Le procédé peut aussi utiliser une pluralité d'objets détectés et suivis d'un ou plusieurs objets pour déterminer soit des gestes tactiles, des gestes tactiles multipoints et des gestes tridimensionnels, les gestes tridimensionnels étant statiques, par exemple, une pose de la main, ou dynamiques, par exemple un geste de la main avec changement d'au moins l'agencement dans l'espace d'au moins une partie détectée et suivie sur la main.

De manière avantageuse, le procédé comprend l'affichage d'un retour visuel prédéterminé sur une interface utilisateur graphique sur au moins une partie de la surface d'interaction, ledit retour visuel étant relatif à au moins un de: la position de ladite au moins une partie dudit au moins un objet et les gestes reconnus de ladite au moins une partie dudit au moins un objet suivi.

Un but de la présente invention est en particulier de fournir un procédé dans lequel l’interaction avec l'interface utilisateur graphique affichée sur la surface d'interaction comprend en outre l'accomplissement des étapes de;- détermination de la position dans l'espace et de la topologie de la surface d'interaction en utilisant le dispositif d'imagerie tridimensionnelle; détermination d'un ensemble prédéterminé de zones interactives sur la surface d’interaction comme fonction de sa topologie et sa taille; et association avec chaque zone interactive d'au moins un contrôle d'interaction de geste tactile.

De manière plus avantageuse, le procédé comprend en plus les étapes de: association avec l'ensemble prédéterminé de zones interactives d'au moins un volume interactif, chaque volume interactif étant situé au-dessus de ladite zone interactive le long d'un vecteur normal à cette zone interactive; et association de chaque volume interactif avec un contrôle d'interaction de geste non tactile tridimensionnel prédéterminé.

Et enfin, le procédé comprenant l'affichage d'un retour visuel prédéterminé sur une interface utilisateur graphique sur la surface d'interaction selon l'un quelconque des modes de réalisation précédents qui peut en outre être mis en œuvre en utilisant au moins un de: une partie d'un corps d'un utilisateur, un plateau de bureau, une paroi, une surface translucide infrarouge et un objet, l'interface utilisateur graphique étant projetée sur la surface d’interaction.

Brève description des dessins

Pour une meilleure compréhension de la présente invention, il sera maintenant fait référence, à titre d'exemple uniquement, aux dessins joints dans lesquels:

La figure 1 montre une vue schématique de côté d'un système interactif selon la présente invention, le système interactif comprenant une surface d'interaction sur laquelle une interface utilisateur graphique est projetée, un écran d'affichage additionnel et des éléments de détection de projection et de profondeur avec un ensemble de montage supérieur;

La figure 2 montre une vue schématique de devant du système interactif de la figure 1 ;

La figure 3 montre une vue en plan d'une surface associée avec le système interactif des figures 1 et 2 dans laquelle la zone interactive est incorporée dans la surface de la surface d'interaction;

La figure 4 montre quatre positions différentes d’un élément suivi utilisé pour contrôler une interaction tridimensionnelle en utilisant le système interactif de la présente invention, où la position d'un élément suivi est déterminée comme fonction de la surface d'interaction et où les quatre positions différentes déterminent respectivement un contrôle d'interaction de geste tactile et trois contrôles d'interaction de geste tridimensionnel;

La figure 5 montre un mode de réalisation du système interactif de la présente invention dans lequel une surface diffusant de la couleur affiche une interface utilisateur graphique rétroprojetée et l'interaction de geste tactile d’une première main suivie est utilisée en combinaison avec une interaction de geste tridimensionnel d'une deuxième main suivie; et la figure 6 montre un autre mode de réalisation du système interactif de la présente invention dans lequel une surface diffusant de la couleur affiche une interface utilisateur graphique rétroprojetée et une interaction de geste tactile multipoint d'au moins deux parties d'une première main suivie est utilisée adjacente à une autre interaction de tactile monopoint déterminée par une partie d'une deuxième main suivie.

Description de l'invention

La présente invention sera décrite en rapport avec des modes de réalisation particuliers et en référence à certains dessins mais l'invention n'y est toutefois pas limitée. Les dessins décrits ne sont que schématiques et sont non limitatifs. Dans les dessins, la taille de certains des éléments peut être exagérée et non dessinée à l'échelle à des fins illustratives.

La présente invention fournit un procédé et un système pour permettre des interactions basées sur des gestes humains multimodaux tactiles et non tactiles avec un système informatisé ayant au moins une interface utilisateur graphique (GUI) affichant des informations de retour visuel. L'interface utilisateur graphique peut afficher des paramètres tels que des boutons à presser, des barres de défilement, des boutons à tourner, des pointeurs, des fenêtres, du contenu multimédia ou tout autre paramètre parmi ceux connus des personnes de métier. Des commandes de contrôle peuvent être associées à chaque paramètre affiché pour exploiter le système interactif. Chaque commande de contrôle peut être associée à un événement déclencheur contrôlé par la détection et la reconnaissance d'au moins un geste spécifique prédéterminé.

Un geste spécifique prédéterminé peut être un geste humain tactile ou non tactile. Les interactions basées sur des gestes tactiles forment une premier mode d'interaction de geste multimodal et les interactions basées sur des gestes non tactiles forment un deuxième mode d'interaction de geste multimodal. L’utilisation conjointe des deux modes d'interaction, séquentiellement ou simultanément, forme un système interactif basé sur des gestes multimodaux destiné à être exploité à partir de données d'information obtenues d'un seul système de détection.

Par exemple, un geste spécifique prédéterminé peut être un geste tridimensionnel basé sur une pose d'une main suivie où un nuage de points tridimensionnel (3D) de cette main capturée par le système d'imagerie a un agencement spécifique correspondant à une pose spécifique. La détection de cette pose est effectuée en utilisant des classifieurs et des techniques d’apprentissage machine pour le traitement d'images et la vision par ordinateur. L'un quelconque d'un réseau de neurones, d'un classifieur SVM ou d'un classifieur Random Forest (forêts aléatoires) (ou d'autres classifieurs appropriés) fonctionne bien, c'est-à-dire a un taux de détection supérieur à 85 %, avec un ensemble de gestes tridimensionnels spécifiques prédéfinis et de descripteurs appropriés.

Le geste spécifique prédéterminé peut être un geste tridimensionnel basé sur un mouvement d’une main suivie où un nuage de points en 3D de cette main capturée par le système d'imagerie, ou au moins un point d'intérêt associé, tel que, sans toutefois y être limité, un point correspondant à un point de centrage de paume de main ou à un bout de doigt, démontre l'exécution d'un mouvement dynamique spécifique dans l'espace, dont le chemin tridimensionnel associé est analysé statistiquement pour déterminer, à partir d'un ensemble de descripteurs, la forme qui a été réalisée. Chaque forme peut être associée à un geste tridimensionnel. Par exemple, si le mouvement d'une main suivie en mouvement effectue un mouvement circulaire à l’intérieur d'une zone prédéterminée dans le tronc de cône du système d'imagerie, un geste en forme de cercle peut en conséquence être détecté. Il est à noter que la qualité des descripteurs est décisive. Un descripteur d'objet pertinent de grande qualité peut être sa vitesse moyenne au cours du temps, un ensemble de positions où le mouvement tel que démontré est un changement de direction le long d'un des axes d'un système de coordonnées, l'accélération, une durée, la taille du mouvement, etc.

Les gestes tridimensionnels basés sur un mouvement et les gestes tridimensionnels basés sur une pose sont appelés conjointement ci-après geste tridimensionnel. Ils peuvent être effectués et donc détectés en même temps et, par conséquent, ils peuvent déclencher une commande de contrôle si le système interactif le permet. En pratique, la sélection de l'un ou de l'autre est prédéterminée spécifiquement pour chaque type d'interaction. Par exemple, une main se déplaçant rapidement de gauche à droite dans la scène peut déclencher une commande de contrôle de "balayage" de droite si l'application le permet. Dans un tel cas, par exemple, un contenu multimédia peut être remplacé par un autre contenu. Dans un autre exemple, si la détection d'un geste tridimensionnel de "saisie" basé sur une pose est effectuée à un endroit spécifique sur une représentation d'une barre de défilement ou d'un bouton de l'interface utilisateur graphique (GUI) et que ce geste de "saisie" est maintenu pendant que la position de la main se déplace le long de l'axe de la barre de défilement de la GUI, la représentation de la barre de défilement ou du bouton se déplacera et le contenu affiché, comme une carte, défilera en conséquence jusqu'à ce que le geste de "saisie" soit détecté comme étant relâché ou comme n'étant plus effectué.

La détection de l’exécution d'un geste tactile se fait par rapport à une zone interactive prédéterminée sur la surface d'interaction. Des gestes tactiles multipoints sont déterminés de la même façon mais sont relatifs à une pluralité de zones interactives de la surface d'interaction. La détection comprend le suivi d'une position tridimensionnelle, par rapport au temps ou au cours du temps, d’au moins une partie d'au moins un objet suivi. Elle comprend en outre l'étape de détermination continue de la distance de chaque partie suivie de l'objet, qui peut être le bout d'un doigt d'une main, par rapport à la zone interactive la plus proche prédéterminée sur la surface d’interaction. Elle comprend en outre l'étape de déclenchement de l'événement du geste tactile ou du geste tactile multipoint au niveau de chaque zone interactive où au moins une partie de l'objet suivi a sa distance par rapport à la zone interactive en dessous d'un seuil prédéterminé, par exemple, le seuil peut être 0,1 mm, ou si la distance est égale à zéro (0). Chaque geste tactile unique déclenche une commande de contrôle en fonction de la zone interactive avec laquelle il est associé ou à laquelle il appartient.

Par exemple, un contrôle simultané utilisant des gestes tactiles multipoints peut être permis avec une GUI affichant un clavier dans lequel trois gestes tactiles simultanés sur la GUI et leurs zones interactives associées correspondent au bouton “CTRL”, au bouton “ALT” et au bouton “DEL”, et qui, quand ils sont effectués ensemble, activent une commande de contrôle pour afficher un nouveau menu.

Un contrôle simultané utilisant une combinaison d'au moins deux gestes du même mode ou de différents modes est également possible, par exemple, un contrôle tactile multipoint effectué avec une main pendant que l'autre main effectue un geste tridimensionnel basé sur un mouvement. Des combinaisons séquentielles de différents modes d'interaction de gestes peuvent aussi être permises.

La présente invention est caractérisée en ce qu'elle utilise un système d'interaction ne comprenant qu'un système de détection comme fournisseur d'informations de données au moyen de calcul ou processeur qui détermine les deux différents modes d'interaction, à savoir les interactions de gestes tactiles et les interactions de gestes non tactiles. Les interactions de gestes non tactiles peuvent aussi être appelées ci-après "gestes sans contact", "gestes tridimensionnels (3D)” ou "gestes tridimensionnels (3D) non tactiles".

Comme décrit ci-dessus, la GUI affichée peut comprendre une pluralité de paramètres qui peuvent être associés contextuellement à au moins un moyen de contrôle d'interaction. Un moyen de contrôle d'interaction est une instruction de système informatisé qui effectuera un calcul prédéterminé quand elle est déclenchée. Le résultat du calcul prédéterminé peut éventuellement être fourni comme information de retour selon le moyen de retour du système informatisé, en utilisant au moins le retour visuel graphique de la GUI, et éventuellement des retours audio, si un système de rendu audio est inclus dans le système interactif multimodal. Par exemple, un bouton sur une interface utilisateur peut être associé à une opération "fermer fenêtre" ou une action "lire multimédia" que le système informatisé effectuera. Si une interaction d'utilisateur déclenche le début de cette opération, le système informatisé effectuera la fermeture des fenêtres ouvertes et son rendu sur la GUI et lancera le lecteur multimédia générant un retour audio par l'intermédiaire d’un système audio, tandis que la GUI affichera et actualiser l'état d'une barre de progression du lecteur multimédia.

Chaque paramètre sera contrôlé par une interaction d'utilisateur qui peut être associée à au moins une zone interactive prédéterminée sur la surface de la surface d'interaction avec laquelle l'utilisateur est censé interagir.

Chaque zone interactive ainsi définie est destinée à être utilisée avec des interactions de gestes tactiles. De préférence, la zone associée à un paramètre sera d'une taille correspondant à la représentation rendue de ce paramètre sur la surface d'interaction. Cela empêche de déclencher une interaction basée sur un geste, laquelle appartient à un paramètre voisin, si les paramètres sont trop proches l'un de l'autre. Cependant, à des fins de facilité d'utilisation, certains paramètres peuvent avoir contextuellement une zone interactive de taille différente (soit plus petite, soit plus grande) que leur représentation graphique sur la surface d'interaction.

De manière similaire, chaque paramètre, ou un sous-paramètre de ce paramètre qui sera contrôlé par les interactions d'utilisateur peut être associé à au moins un volume interactif prédéterminé, c'est-à-dire une zone interactive tridimensionnelle dont la position est de préférence au-dessus de la zone interactive d'un retour visuel rendu sur la surface d'interaction. La taille, la position et la forme du volume interactif peuvent être contextuellement prédéfinies selon l'interaction supportée par l'application. Les contrôles de volume interactif sont de préférence destinés à être utilisés avec des interactions de gestes tridimensionnels.

Par exemple, un volume interactif peut être associé au contrôle du volume d'un système audio. Le volume interactif peut être situé au-dessus d'une représentation de haut-parleur affichée sur la GUI. Quand l’utilisateur effectue une interaction tactile, en utilisant au moins une partie de sa main, avec la zone interactive sur la surface d'interaction associée à la représentation de haut-parleur, la zone interactive ayant la taille de la représentation de haut-parleur, le système informatisé reçoit l'instruction qu'une interaction de contrôle du volume commence. Le déplacement de la main de l'utilisateur à la suite de l'interaction tactile constitue un contrôle d'interaction de geste tridimensionnel continu pour lequel la distance entre au moins une partie de la main, par exemple, la paume ou un doigt prédéterminé, et la surface de la zone interactive détermine la valeur du paramètre d'ajustement (ou de contrôle) du volume audio, c'est-à-dire que plus la main est distante (ou surélevée) de la surface d'interaction, plus le volume audio est élevé, et plus la main est proche (ou abaissée) de la surface d'interaction, plus le volume est faible.

Dans un mode de réalisation supplémentaire, la valeur du volume audio peut être continuellement ajustée comme fonction du mouvement de la main jusqu'à ce que la main sorte d'un volume interactif associé à la zone interactive, et donc au contrôle du volume audio. Dans un autre mode de réalisation, le volume audio peut être continuellement réglé comme fonction de la distance de la main à la surface d'interaction et fixé après une période de temps prédéterminée. Dans un autre mode de réalisation préféré, le volume audio peut être continuellement réglé comme fonction de la distance de la main à la surface d'interaction et fixé quand la main suivie, à l'intérieur du volume interactif, effectue un geste tridimensionnel prédéterminé, à savoir un geste statique ou une pose, tel qu'un geste de "pincement" ou de "saisie", où des doigts prédéterminés, par exemple, sans toutefois y être limité, l'index et le pouce, sont détectés comme s'approchant l'un de l'autre en dessous d’un seuil de distance prédéterminé. Dans un mode de réalisation, le seuil de distance peut être aussi bas que 1 mm.

Dans ce dernier exemple, on comprendra que la représentation du haut-parleur sur la GUI est un paramètre de GUI dans une zone interactive associée à une opération d'interaction de démarrage du "contrôle du volume audio" déclenchée quand une interaction tactile est détectée et que l'interaction de volume est associée à un sous-paramètre de "contrôle de valeur audio" activé comme fonction de la détection d'une interaction subséquente prédéterminée de geste tridimensionnel.

Comme décrit dans le présent document, l'invention comprend un procédé comprenant le suivi d'au moins une partie d'au moins un objet à l'intérieur du tronc de cône du système d'imagerie tridimensionnelle. L'objet peut être une main et une partie de l'objet peut être un doigt ou un bout de doigt. On se rendra compte que la détection et le suivi de points d'intérêt n'est pas le but de la présente invention et que plusieurs techniques peuvent être appliquées pour obtenir un apport requis similaire. Par exemple, dès que la configuration du système interactif est réglée, une technique d’apprentissage en arrière-plan statique peut être appliquée pour enregistrer l'arrière-plan d'une scène capturée, et une technique d'élimination de l'arrière-plan, tel qu'une soustraction d’image de profondeur morpho-mathématique, peut être appliquée lors de l'exécution pour dissocier, trame par trame, des objets d'intérêt en mouvement à l’avant-plan d'une scène capturée de l'arrière-plan statique. En ce qui concerne l'acquisition d'une carte de profondeur du dispositif capteur d'imagerie, un nuage de points en 3D de la main d'un utilisateur peut être obtenu. Une technique de mise en grappes de nuages de points en 3D contrainte par la taille des grappes peut alors être appliquée sur les points d'avant-plan correspondant à la main et un graphe d'adjacence utilisé pour déterminer des extrémités en détectant quelles grappes sont connectées à une seule autre grappe. L'identification et le suivi d'objets, ou de parties d'objets, peuvent être effectués efficacement en utilisant des techniques de classification, telles que le classifieur Random Forest, si elles sont appliquées à des données adéquatement segmentées en utilisant, par exemple, un mélange de mises en grappes par K-moyennes et meneur-suiveur. Combiner l'élimination de l'arrière-plan avec des techniques de mise en grappes et de classifieurs fournit une manière de détecter, suivre et identifier chaque partie d'un objet connu avec des formes 3D connues ou apprises destinées à être utilisées pour l'interaction.

Si le procédé d'interaction est compatible avec un quelconque type de système d'affichage ayant au moins un écran d'affichage, une pluralité d’affichages peuvent être utilisés en combinaison, comme par exemple, comme montré sur la figure 1 où un écran d'affichage conventionnel 110 tel qu'un écran LCD est associé à une surface d'interaction 120 sur laquelle une GUI peut être affichée en utilisant des moyens de projection. Des interactions basées sur des gestes peuvent permettre à un utilisateur de transférer des paramètres, tels qu'un contenu multimédia, de la GUI d'un écran d'affichage à la GUI de l'autre. Plus précisément, la commande de transfert peut être déclenchée après qu'un geste tactile a été détecté à l'endroit où le paramètre était affiché sur une première GUI, amorçant l'interaction qui peut ensuite être permise et effectuée en détectant l'accomplissement d'une séquence de gestes de "saisie - glissement - relâchement" en direction de la deuxième GUI à laquelle le paramètre de contenu sera transféré.

Dans un mode de réalisation préféré de la présente invention, la GUI est affichée en utilisant un seul système d'affichage en raison de l'utilisation du moyen de projection, tel qu'un projecteur ou un pico-projecteur, qui fournit un retour visuel à l'utilisateur pendant l'interaction. Cela est illustré sur les figures 5 et 6 ci-dessous et décrit en référence à celles-ci.

La projection peut être effectuée sur une grande variété de surfaces et matériaux. Le terme "surface" tel qu’utilisé dans le présent document se réfère à une quelconque surface sur laquelle des images peuvent être projetées. Les surfaces appropriées incluent, sans toutefois y être limitées, des écrans, des surfaces plates, des surfaces incurvées et des surfaces transparentes.

Dans le mode de réalisation le plus simple de la présente invention, la GUI peut être projetée sur un plateau plan de bureau ou sur une paroi plate qui sera utilisée comme support d'affichage définissant la surface d'interaction homme-ordinateur. Cependant, la GUI peut aussi être projetée sur des surfaces non planes, telles qu'un objet ayant des formes circulaires, par exemple un ballon, ou une partie d'un corps d'un utilisateur, telle qu'un avant-bras ou la partie intérieure d'une paume de main.

Dans un mode de réalisation préféré, le matériel utilisé comme écran d'affichage et surface d'interaction peut présenter des propriétés de diffusion substantielles pour un rayonnement électromagnétique ayant des longueurs d'onde dans la partie visible (par l'homme) du spectre électromagnétique. Des propriétés de diffusion substantielles signifient que le matériel diffuse au moins dix pour-cent (10%) de la lumière incidente pour permettre un rendu adéquat du retour visuel à afficher. L'énergie lumineuse émise par le système de projection peut être adaptée en conséquence.

De préférence, un rayonnement électromagnétique appartenant au faisceau de lumière incidente ayant une plage de longueurs d'onde entre 400 nm et 680 nm peut être diffusé de façon "lambertienne", c'est-à-dire de manière homogène pour tous les angles de réflexion possibles quand l'utilisateur est du même côté de la surface d'interaction que le moyen de projection ou pour tous les angles de transmission possibles quand l'utilisateur est sur le côté opposé de la surface d'interaction à celui du moyen de projection.

La réflectance lambertienne est une propriété qui définit une surface ''matte" ou à réflexion diffuse idéale. La brillance apparente d'une telle surface pour un observateur est la même quel que soit l'angle de vue de l'observateur. Plus spécifiquement, la luminance de la surface est isotrope et, l'intensité lumineuse obéit à la loi du cosinus de Lambert.

Dans un mode de réalisation encore plus préféré de la présente invention, le rayonnement électromagnétique du faisceau incident de lumière projetée ayant une longueur d’onde supérieure à 680 nm, c'est-à-dire dans le domaine infrarouge, peut être transmis avec un taux élevé du coefficient de transmission (par exemple supérieur à 20 %) et sans diffusion substantielle, c’est-à-dire, dans les limites d'un angle solide de moins de 20 degrés quand l'utilisateur est positionné sur le côté opposé de la surface d'interaction par rapport à la caméra tridimensionnelle. Quand l'utilisateur est positionné du même côté de la surface d'interaction que la caméra tridimensionnelle, un matériel avec un faible taux du coefficient de réflexion infrarouge (IR) de moins de 20 % est préféré tout en présentant un taux de diffusion élevé substantiel de plus de 60 degrés d’angle solide pour éviter la réflexion spéculaire IR dans le système d'imagerie qui est capable de détruire la fiabilité des valeurs de mesure de profondeur.

Le présent système destiné à permettre des interactions basées sur des gestes humains tactiles et non tactiles multimodaux avec un système informatisé est caractérisé en ce qu'il comprend un seul système de détection. Le seul système de détection tel qu'utilisé ici comme fournisseur d'informations de données comprend un système de détection tridimensionnelle, par exemple un système de détection tridimensionnelle peut être un système d'imagerie ou une caméra tridimensionnelle (3D). De préférence, le présent système informatisé interactif basé sur des gestes humains tactiles et non tactiles multimodaux fera usage d'une caméra 3D utilisant l'éclairage IR de la scène pour obtenir de meilleures mesures de profondeur. Une caméra 3D IR passive, tel qu'une caméra 3D à vision stéréo ou lumière structurée, peut être appropriée avec le système informatisé, cependant, des caméras 3D basées sur un éclairage actif, tel que des caméras à détection de profondeur ou temps de vol (ToF) sont préférées. Encore mieux, le système d'imagerie peut en outre incorporer une caméra 3D conjointement avec une caméra en couleur d'une résolution similaire ou supérieure. La caméra à détection de profondeur ou ToF et la caméra en couleur ont chacune un tronc de cône qui au moins se chevauchent réciproquement et qui permettront de capturer toute la surface d'interaction dans laquelle des mouvements et des gestes d'au moins une partie d'au moins une main ou un objet peuvent être détectés, suivis et utilisés pour déterminer des paramètres de contrôle de la GUI projetée.

Le terme "tronc de cône” tel qu'utilisé dans le présent document se réfère au champ de vision de l'élément d'imagerie, par exemple, un volume conique s'étendant d'une lentille à une surface. Il se réfère également à une vue d'une image projetée à partir d'un projecteur, par exemple, un cône s'étendant de la lentille du projecteur à une surface. Dans chaque cas, la zone sur la surface peut être définie par une ellipse, un cercle ou un rectangle, si la projection est collimatée de la même façon.

Les termes "caméra tridimensionnelle", "caméra à détection de profondeur" ou "caméra temps de vol (ToF)" tels qu'utilisés dans le présent document se réfèrent à une caméra vidéo ou un appareil photographique qui fournit des coordonnées tridimensionnelles pour chaque pixel dans une image d'une scène capturée. Deux des dimensions (X et Y) sont déterminées par un plan X-Y qui est normal à un axe de la caméra, et la troisième dimension (Z) est une distance du pixel de la caméra à la surface imagée. Une telle caméra produit un nuage de points tridimensionnel où chaque point dans le nuage correspond à un pixel ayant des coordonnées tridimensionnelles. Le nuage de points en 3D ou la carte de profondeur correspondante fournit des valeurs corrélées avec le système de coordonnées de la caméra et corrélées avec le système de coordonnées de la surface d'interaction (ou mondiales) quand un procédé d'étalonnage de l'état de la technique est utilisé pour appliquer une matrice de transformation pour projeter des valeurs de données d'un système de coordonnées dans l'autre.

De plus, les termes "caméra en couleur" ou "caméra RGB" tels qu'utilisés dans le présent document se réfèrent à une caméra vidéo ou un appareil photographique qui fournit des images en couleur d'une scène capturée. Une telle caméra produit une image en couleur bidimensionnelle pour chaque pixel dans la scène capturée. La caméra en couleur et la caméra tridimensionnelle associent chaque valeur de mesure de profondeur (s'il y a référence au système de coordonnées de la caméra) ou point 3D (s'il y a référence au système de coordonnées mondiales) à une couleur quand il est fait usage de techniques d'enregistrement d'images de l'état de la technique. Dans un mode de réalisation, le système d'imagerie comprenant au moins une caméra tridimensionnelle pour extraire des informations de profondeur de la scène et une caméra en couleur d'une plus haute résolution. La résolution plus élevée de l'unité de détection de couleur qui donne une image de la même scène que l'unité de détection de profondeur peut être utilisée pour la localisation et la détermination précises de gestes tactiles sur une surface d'interaction affichant l'interface utilisateur graphique. Des techniques conventionnelles d'enregistrement d'images peuvent être utilisées pour associer chaque pixel détecteur de profondeur avec chaque pixel détecteur de couleur, la résolution plus élevée de l'unité de détection de couleur étant utilisée pour affiner des positions X-Y brutes obtenues de la caméra à détection de profondeur à plus faible résolution pour fournir une position X-Y plus précise sur la surface d'affichage qui est également de résolution élevée.

La présente invention sera à présent décrite de manière plus détaillée ci-après en rapport avec les figures 1 à 6 qui concernent des modes de réalisation spécifiques englobant la portée de la présente invention.

Le procédé de la présente invention comprend la détection de l'exécution d'un geste tactile par rapport à une zone interactive prédéterminée sur la surface d'interaction. Il comprend aussi une étape de prédétermination des zones interactives contextuellement avec une interface utilisateur graphique à afficher et les commandes de contrôle permises pour interagir avec elle. Lors d'une étape préliminaire, la surface d'interaction est détectée et au moins une de sa position, forme et topologie, c'est-à-dire la modélisation de la surface est enregistrée.

Selon le système exploitant le procédé, la détection de la surface d'interaction peut être effectuée une fois, par exemple, au démarrage du système interactif basé sur des gestes multimodaux quand la surface d'interaction est fixe, c'est-à-dire, non mobile, et d’une forme connue, telle qu'un panneau plat, un bureau ou une surface, le processus de détection peut être effectué manuellement ou automatiquement. Quand la surface d'interaction est capable de bouger et d’avoir une forme variable, par exemple quand la surface d'interaction est un avant-bras d'un utilisateur, la détection doit être effectuée automatiquement en temps réel.

Dans un premier mode de réalisation dans lequel la détection est effectuée manuellement avec une surface plate statique disposée dans l'espace dans le système de sorte que sa surface est à l'intérieur du tronc de cône du système d'imagerie, l'utilisateur du système interactif peut, lors une première étape, utiliser une simple feuille de papier blanc placée sur le dessus de la surface, dont la taille est définie pour être de la taille de la surface d’interaction. La feuille de papier blanc réfléchit l'éclairage IR d'une caméra IR active à détection de profondeur, par exemple une caméra tridimensionnelle ToF. Cependant, si la propriété de réflexion d'IR de la surface, sans la feuille de papier blanc, est suffisamment forte, c'est-à-dire au moins 20 % de la lumière incidente, la feuille de papier blanc n'est pas obligatoire.

Lors d'une deuxième étape, la distance de la surface d'interaction désignée au système de détection est mesurée en utilisant le système de détection. Les données de profondeur acquises peuvent être utilisées lors d'une troisième étape utilisant des procédés de vision par ordinateur pour déterminer un plan dans l'ensemble de données 3D, le nuage de points en 3D ou la carte de profondeur acquis. Des méthodes de détection de plan, telles que des algorithmes conventionnels d'ajustement de plan, par exemple plan des moindres carrés en 3D par exemple, Ransac ou tout autre méthode basée sur l'algèbre linéaire peuvent être utilisées. L'entrée requise pour déterminer les propriétés géométriques du plan doit comprendre au moins quatre points répartis sur la surface de la surface d'interaction. De préférence, si ces points sont limités au nombre de quatre, ils doivent être choisis comme les coins de la surface d'interaction. Une fois le plan déterminé, chacun de ses points peut être situé comme fonction de leur distance par rapport au système d'imagerie, et comme une fonction par rapport à un quelconque point à l'intérieur du tronc de cône du système d'imagerie. Les mesures de profondeur, fournissant des mesures de distance réelle, peuvent être utilisées comme critères pour déterminer des seuils à utiliser à des fins de reconnaissance de gestes lors d’une étape subséquente.

De manière similaire, les mêmes étapes de détection et de détermination de la surface d'interaction peuvent être accomplies automatiquement avec une surface plate statique disposée dans l'espace dans le système afin que sa surface soit à l'intérieur du tronc de cône du système d'imagerie. Comme illustré sur la figure 3, la surface d'interaction plate peut comprendre un ensemble de quatre points hautement réfléchissants à l'éclairage IR qui remplacent les au moins quatre points mesurés sur la feuille de papier blanc des étapes de détection et de détermination manuelles, chaque point étant de nouveau situé dans un coin d'une zone définie pour être la surface d'interaction.

Dans une autre mise en œuvre manuelle de l'étape de détection et détermination de la surface d'interaction, l'ensemble de quatre points qui sont hautement réfléchissants à l'éclairage IR peuvent ne pas se trouver sur la surface d'interaction. L'utilisateur utilisera ses doigts pour localiser séquentiellement dans le temps les quatre coins de la surface d'interaction. Le système d'imagerie sera en plus activé pour détecter et suivre un bout de doigt spécifique et pour enregistrer séquentiellement la position tridimensionnelle dans l'espace de chacun des quatre coins.

Dans l'une quelconque des mises en œuvre précédemment décrites, une déviation de, par exemple, 3 mm, peut être appliquée dans la direction verticale (Z) le long d'une normale au plan de la surface d'interaction.

Cela fournit une compensation pour les problèmes de précision des mesures de profondeur du dispositif d'imagerie en 3D, et pour s'assurer qu'un objet en mouvement qui est détecté comme étant presque en contact avec la zone d'interaction, c'est-à-dire, par exemple, à une distance de 2 mm, peut encore être capable de déclencher un événement de geste tactile si possible.

Dans un autre mode de réalisation de la présente invention où la position tridimensionnelle du projecteur est connue par rapport à la position de la caméra tridimensionnelle, par exemple s'ils sont tous les deux du même côté de la zone d'interaction, et s'ils sont statiquement incorporés dans un système matériel, tel qu'un ordinateur portable, un casque ou incorporés dans des lunettes intelligentes, le réglage des paramètres de projection, à savoir la mise au point, la distorsion trapézoïdale, la variation de focale, et la taille du modèle d'interface utilisateur graphique peuvent être automatiquement modifiés en extrayant la distance, la topologie et des informations géométriques relatives à une surface d'interaction potentiellement en mouvement pour adapter le rendu de la taille du modèle d'interface utilisateur graphique. Cela peut se faire par rétablissement d’une distorsion géométrique en utilisant des méthodes de triangulation.

La détection et la détermination de la surface d'interaction et, celles de la surface d'affichage, peuvent être effectuées en continu même quand la surface d'affichage peut bouger par rapport au temps. Par exemple, quand la surface d'affichage est un objet spécifique ou une partie du corps d'un utilisateur, par exemple l'avant-bras ou la partie intérieure d'une paume, et si la caméra tridimensionnelle et le projecteur sont montés sur un casque ou dans des lunettes intelligentes, l'utilisation de moyens de traitement d'images tels que des techniques de reconnaissance de formes (motifs) ou de classifieurs, fournit une détection et un suivi fiables de l'avant-bras utilisé comme une surface d'interaction dans l’espace tridimensionnel. La position et l'orientation de l'avant-bras suivi peuvent en outre être déterminées par accumulation progressive d'un modèle topologique de l'objet en mouvement suivi en utilisant un quelconque algorithme de localisation et cartographie simultanées (SLAM) de l'état de la technique, le modèle topologique étant une représentation tridimensionnelle de la surface d'interaction, la position et l'orientation exactes de la représentation étant déterminées d'une trame à l'autre, et une quelconque position de la surface d'affichage peut être déterminée en utilisant de simples calculs géométriques tridimensionnels tels que la triangulation.

Nous référant pour commencer à la figure 1, une vue schématique de côté d'un système interactif 100 selon la présente invention y est montré. Le système 100 comprend un écran 110 positionné sur une surface 120 et une unité d'imagerie 130 associée à l'écran 110. L'écran 110 peut être un quelconque écran approprié qui peut être connecté à une source de données (non représentée) pour afficher des images. L'unité d'imagerie 130 est positionnée pour avoir un tronc de cône 140 qui s'étend jusqu'à la surface de support 120.

Dans le mode de réalisation montré sur la figure 1, l’unité d'imagerie 130 est montée directement sur l'écran 110. Cependant, on se rendra facilement compte que l'unité d'imagerie 130 peut être montée d'une quelconque autre façon appropriée telle manière qu'elle ait le même tronc de cône 140 mais est soit incorporée soit montée séparément par rapport à l'écran. De plus, l'écran 110 est montré supporté par la surface 120. De nouveau, on se rendra compte que l'écran peut être supporté d'autres façons.

La figure 2 montre une vue schématique de devant du système interactif 100. L'unité d'imagerie 130 comprend trois éléments d'imagerie 150, 160, 170 séparés. Bien que les éléments d’imagerie 150, 160, 170 soient montrés intégrés dans une seule unité d'imagerie 130, on se rendra compte que chacun de ces éléments peut être situé individuellement par rapport à l'écran 110 et par rapport à la surface 120 tout en offrant la même fonctionnalité comme cela sera décrit de manière plus détaillée ci-dessous. L'élément d'imagerie 150 peut comprendre une caméra en couleur ou RGB qui capture des images en couleur bidimensionnelles d'une scène à l'intérieur de son tronc de cône 180 (indiqué par deux lignes en trait-point-point-trait). L'élément d'imagerie 150 produit des images qui sont utilisées pour l'enregistrement d'images avec des images de l'élément d'imagerie 170, les deux se trouvant dans le système interactif de la présente invention, et comme décrit de manière plus détaillée ci-dessous. L'élément d'imagerie 170 peut comprendre une caméra à détection de profondeur ou ToF qui capture des images tridimensionnelles d'une scène à l'intérieur de son tronc de cône 190 (indiqué par deux lignes en trait-point-trait). Les images produites par l'élément d'imagerie 170, quand elles sont traitées, fournissent des informations de position tridimensionnelle pour des objets à l'intérieur de son tronc de cône 190 qui peuvent être utilisées à des fins d'interaction avec une interface utilisateur graphique (GUI) projetée sur la surface 120 comme cela sera décrit de manière plus détaillée ci-dessous. L'élément d'imagerie 160 comprend un projecteur qui est connecté au système informatisé. Il peut projeter les mêmes images fournies à l'écran 110 sur la surface 120. L'élément d'imagerie 160 projette les images dans un tronc de cône 200 (indiqué par deux lignes en traits interrompus). Dans un mode de réalisation, les images projetées sont des images en couleur comprenant une GUI avec au moins un paramètre qui est affiché sur la surface 120.

Comme le montre la figure 2, il y a un chevauchement, sur la surface 120, des troncs de cône 180, 190, 200 de chacun des éléments d'imagerie 150, 160, 170.

La figure 3 illustre une vue en plan de la surface 120 indiquant des zones qui sont à l'intérieur des troncs de cône des éléments d'imagerie 150, 170 avec la zone 200 sur laquelle l'élément d'imagerie 160 projette des images. Comme montré, chaque zone est encadrée par le même type de ligne que sur la figure 2 et comprend, par exemple, un rectangle. Naturellement, en fonction des éléments d'imagerie particuliers, les troncs de cône peuvent être différents, par exemple, une ellipse ou un cercle.

Comme le montre la figure 3, une zone 210 est commune aux troncs de cône 180, 190, 200. Une zone ou région interactive 220 est également montrée à l'intérieur de la zone commune 210. La zone ou région interactive comprend effectivement un volume s'étendant de la surface d'interaction dans une direction vers le système d'imagerie ToF. Dès que le système interactif a été étalonné, le mouvement d’un quelconque objet à l'intérieur de la région interactive 220 peut être utilisé pour contrôler une image sur l'écran.

Dans un mode de réalisation de la présente invention dans lequel une surface plane tel qu'un plateau de bureau est utilisée comme surface d’interaction, l'étalonnage de la région interactive 220 est réalisé en définissant un sous-ensemble de quatre points 220A, 220B, 220C, 220D qui correspondent aux coins d'un rectangle sur la surface à l'intérieur de la zone commune. Le processus d’étalonnage peut être une étape préliminaire dans laquelle un utilisateur ne peut effectuer qu'une seule fois le placement d'au moins une partie d'au moins une main, par exemple un doigt, dans chacun des coins de manière séquentielle pour définir la zone interactive sur la surface 120 sur laquelle une interface utilisateur graphique (GUI) est projetée par l'élément d'imagerie ou projecteur 160. Dans le processus d'étalonnage, la position du doigt dans l'espace tridimensionnel est enregistrée séquentiellement pour chacun des quatre points et un plan est déterminé comme étant la surface délimitée par les quatre points par des calculs géométriques. Toute position appartenant à la surface ainsi déterminée, c'est-à-dire ayant la même hauteur que cette surface et des coordonnées horizontale et verticale dans les limites de la surface, constitue des points qui forment une surface d'interaction et sa zone interactive associée.

Dans un autre mode de réalisation de la présente invention dans lequel une surface plane, telle qu'un plateau de bureau, est utilisée comme surface d’interaction, l'étalonnage de la région interactive 220 peut être réalisé en ligne avec un processus automatisé au démarrage. Le processus automatisé peut comprendre la détection, en utilisant des techniques de reconnaissance de motifs (formes), du motif de quatre vignettes autocollantes collées précédemment sur la surface d'interaction de manière à déterminer physiquement ses limites. La reconnaissance de motifs (formes) peut comprendre l'utilisation d'une de la forme, la couleur et la texture des quatre vignettes autocollantes. Une fois les vignettes autocollantes détectées avec chaque système d'imagerie, l'étalonnage comprend la transformation des données de position de chaque système d'imagerie en données de position d'un autre système d'imagerie. Par exemple, des données X horizontale et Y verticale de la caméra en couleur peuvent être projetées dans le système de coordonnées de la caméra tridimensionnelle en utilisant des modèles ordinaires de transformation d'enregistrement d'image, tels qu'une simple transformation linéaire ou de préférence des splines en plaque mince ou de surface, des transformations multiquadratiques.

Les positions X-Y respectives de la caméra en couleur, de la caméra 3D et du projecteur sont enregistrées les unes par rapport aux autres de sorte que toute position X-Y d'un paramètre d'un quelconque de ces systèmes peut être associée à des informations de profondeur. L'association d'une coordonnée X-Y bidimensionnelle (2D) d'un paramètre avec une troisième coordonnée relative à l'information de profondeur forme une coordonnée 3D. Par conséquent, l'étalonnage permet à chaque paramètre du système d'imagerie 130 d'être associé à une position tridimensionnelle dans l'espace et à une couleur pour ce qui est d'une quelconque position sur la surface d'interaction déterminée qui fait partie de la zone interactive 220.

Comme décrit ci-dessus, dans un mode de réalisation de la présente invention, la GUI peut comprendre au moins une partie au-dessus laquelle un mouvement d’un objet par rapport à celle-ci dans une direction perpendiculaire au plan de la surface 120 peut contrôler un paramètre, par exemple, un contrôle du volume audio. La figure 4 montre un exemple de la mise en oeuvre d'un contrôle de volume qui sera décrit de manière plus détaillée ci-dessous. L'identification d'un objet à l'intérieur de la région interactive 220 est déterminée en utilisant l'élément d'imagerie 170, c'est-à-dire la caméra à détection de profondeur ou ToF. Un nuage de points tridimensionnel est traité en premier pour identifier l'objet et puis pour suivre son mouvement d'une trame à l'autre. Le suivi de l'objet fournit l'interaction qui est utilisée pour contrôler la GUI; Le mouvement de l'objet 240 s'éloignant de la surface 120 dans la direction perpendiculaire à celle-ci est suivi pour fournir des signaux de contrôle au contrôleur de volume.

Plus précisément, une partie 230 de la GUI, c'est-à-dire une zone interactive correspondant à la position d'un paramètre de la GUI, peut être considérée comme étant un contrôleur et, quand un objet 240, tel qu'un doigt ou une main, est mis en contact avec la surface sur la partie et éloigné dans une direction de la surface 120 sur laquelle la GUI est projetée dans une direction prédéterminée, le contrôleur est activé pour changer le niveau du volume associé à une image projetée. À la position représentée par 0 %, le volume est à 0 ou coupé. Lorsque l'objet 240 est déplacé de la position 0 % à une première distance prédéterminée de la partie 230, le volume est augmenté à 25 % du volume maximum. Lorsque l'objet 240 est déplacé à une deuxième distance prédéterminée de la partie 230, le volume est augmenté à 50 % du volume maximum. Lorsque l'objet est déplacé à une troisième distance prédéterminée de la partie 230, le volume est augmenté au volume maximum. Naturellement, bien que seuls trois niveaux soient montrés sur la figure 4 à titre d'exemple, on se rendra compte qu’un quelconque nombre approprié de niveaux peut être mis en oeuvre conformément à d'autres distances prédéterminées de la surface.

Bien que le mouvement d'un objet dans une direction perpendiculaire à la surface soit décrit, on se rendra compte que d'autres mouvements par rapport à la surface peuvent aussi être utilisés pour contrôler la GUI, par exemple un mouvement dynamique, tel qu'une rotation, qui peut être détecté quand on considère une main d'un utilisateur comme une fonction du changement de position d'un ensemble d'au moins trois points d’intérêt, qui peuvent être le bout du pouce, le bout de l'index et le milieu du poignet. La détection et le suivi de points d'intérêt peuvent être effectués selon diverses méthodes, telles qu'une analyse de composants principaux, sur le masque de détection de la main ou de toute autre extrémité appropriée.

Sur la figure 5, un mode de réalisation du système interactif de la présente invention comprend un affichage de rétroprojection diffusant des couleurs de l'interface utilisateur graphique en utilisant un projecteur 160. Une surface d'interaction 120 est utilisée pour des interactions de gestes tactiles dans une zone d'interaction 230a contextuellement prédéterminée de gestes tactiles d’une première main 240a suivie en combinaison avec une interaction déterminée de gestes tridimensionnels par une deuxième main 240b suivie et survenant dans un volume d'interaction d'une taille prédéterminée qui s'étend le long d'une normale à la surface d'interaction 120 sur une deuxième zone d'interaction 230b contextuellement déterminée, le suivi utilisant une caméra à détection de profondeur 170 montée frontalement, située au-dessus de la surface d'interaction 120 et sur le côté opposé au projecteur par rapport à la surface d'interaction 120.

Dans le mode de réalisation illustré sur la figure 5, la surface d'interaction doit présenter des propriétés spécifiques par rapport à la lumière. Elle doit diffuser des longueurs d'onde dans la partie visible du spectre électromagnétique afin que l'interface utilisateur graphique projetée puisse être vue par l'utilisateur, tout en étant transparente à l'IR pour éviter une saturation ou perturbation des mesures de profondeur sur les capteurs IR quand il est fait usage d'une caméra IR active à détection de profondeur, telle qu'une caméra 3D ToF, due à des réflexions spéculaires ou fortes du matériau dont est constituée la surface d'interaction.

Des telles propriétés photoniques pour une telle surface sont difficiles à obtenir, et quelques solutions peuvent être prévues. Celles-ci comprennent par exemple, sans toutefois y être limitées, l’utilisation d'une fenêtre en verre ou d'une fenêtre en polycarbonate ayant une surface sur laquelle un revêtement peut être appliqué. Le revêtement peut être constitué de particules de pigment sulfure de zinc (ZnS) ou de particules de sulfate de zinc (ZnS04) dans une proportion de 10% de la substance utilisée pour appliquer le revêtement. Du pigment sulfate de baryum (BaS04) peut aussi convenir, étant considéré comme le meilleur diffuseur de lumière du spectre visible, et étant donné qu'il n'introduit pas d'aberrations chromatiques quand il est utilisé comme substrat vu qu'il réfléchit de manière homogène les longueurs d'onde dans la partie visible du spectre électromagnétique de façon lambertienne.

Un mode de réalisation comprendra un revêtement sur une fenêtre en verre ou en polycarbonate qui est imprimé avec la substance pour former une grille de substance de revêtement sur la fenêtre. Le pas entre les minuscules zones revêtues sur la fenêtre ainsi que leur taille et leur agencement peuvent être ajustés en fonction des propriétés de diffusion de couleur escomptées.

Sur la figure 6, un mode de réalisation du système interactif de la présente invention comprend un affichage de rétroprojection diffusant des couleurs de l'interface utilisateur graphique en utilisant un projecteur 160. Une surface d'interaction 120 déterminée est utilisée pour des interactions de gestes tactiles dans des zones d'interaction 230 contextuellement prédéterminées de gestes tactiles. Une première main 240c suivie effectue une interaction d'un seul geste tactile tandis qu'une deuxième main 240d suivie effectue une interaction de gestes tactiles multipoints sur deux zones d'interaction 230 différentes, le suivi utilisant une caméra à détection de profondeur 170 avec un tronc de cône 140 situé au-dessus de la surface d'interaction 120.

Un mode de réalisation préféré plus approprié pour permettre des gestes tactiles multipoints robustes et puissants serait d'avoir le dispositif de détection d'imagerie sur le côté opposé à celui de l'utilisateur par rapport à la surface d'interaction. Un tel mode de réalisation fournirait un système où les principales parties interagissantes d'une main d’un utilisateur pour des gestes tactiles, c'est-à-dire que les bouts des doigts ne sont jamais masqués.

Bien que la présente invention ait été décrite en référence à des modes de réalisation spécifiques, on se rendra compte que l'invention n'est pas limitée à de tels modes de réalisation et que l'invention peut être mise en œuvre autrement.

Claims (18)

1. REVENDICATIONS:

   1. Procédé d'interaction multimodale tactile et non tactile avec un système informatisé dans lequel ladite interaction multimodale tactile et non tactile est effectuée en utilisant des informations de données d'un seul système de détection, le seul système de détection étant un dispositif d'imagerie tridimensionnelle, le procédé comprenant les étapes de: a) détection et suivi d'au moins une partie d'au moins un objet à l'intérieur du tronc de cône d'un dispositif d'imagerie tridimensionnelle; b) amorçage de l'interaction en déterminant si ladite au moins une partie dudit au moins un objet suivi effectue au moins un de: un geste tactile prédéterminé sur une zone interactive prédéterminée d'une surface d’interaction et un geste tridimensionnel non tactile prédéterminé dans un volume interactif prédéterminé sur l'axe de vecteur normal à une zone interactive prédéterminée; c) interaction avec le système informatisé en détectant et en reconnaissant les gestes effectués par ladite au moins une partie dudit au moins un objet à l'intérieur du tronc de cône du dispositif d'imagerie tridimensionnelle, les gestes détectés et reconnus étant au moins un de: un geste tactile prédéterminé sur une zone interactive prédéterminée de la surface d'interaction et un geste tridimensionnel non tactile prédéterminé dans un volume interactif prédéterminé sur l'axe de vecteur normal à une zone interactive.
2. 2. Procédé selon la revendication 1, dans lequel la détection de l'exécution d'un geste tactile sur une zone interactive prédéterminée de la surface d'interaction correspond au fait de détecter quand ladite au moins une partie dudit au moins un objet suivi est positionnée dans l'espace tridimensionnel au même endroit dans l'espace que la zone interactive prédéterminée sur la surface d'interaction.
3. 3. Procédé selon la revendication 1 ou 2, dans lequel le fait de détecter si un geste tactile a été exécuté est déterminé quand la distance par rapport à la surface d'interaction de ladite au moins une partie dudit au moins un objet suivi, dans l'espace tridimensionnel, est inférieure à un seuil prédéterminé.
4. 4. Procédé selon l'une quelconque des revendications 1 à 3, dans lequel la détermination d'un geste tactile multipoint est effectuée quand les positions d'au moins deux parties dudit au moins un objet suivi dans l'espace atteignent au moins deux zones interactives prédéterminées appartenant à la surface d'interaction.
5. 5. Procédé selon l'une quelconque des revendications 1 à 4, comprenant en outre l'étape de détermination de contrôles d'interactions de gestes tactiles comme une fonction de positions successives et de la durée d'au moins un de: un geste tactile et un geste tactile multipoint.
6. 6. Procédé selon l'une quelconque des revendications 1 à 5, comprenant en outre l'étape de détermination de contrôles d'interactions de gestes tridimensionnels non tactiles comme fonction du geste tridimensionnel effectué par ladite au moins une partie dudit au moins un objet.
7. 7. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel l'étape c) comprend l'étape consistant à mettre fin à l'interaction quand un événement prédéterminé est déclenché, ledit événement prédéterminé comprenant au moins un de: l'écoulement d'une période de temps prédéterminée, la reconnaissance d'un geste tactile prédéterminé sur la surface d'interaction, la reconnaissance d'un geste non tactile tridimensionnel prédéterminé dans le tronc de cône du dispositif d'imagerie tridimensionnelle et une sortie dudit au moins un objet d'un volume interactif prédéterminé dans l'espace tridimensionnel.
8. 8. Procédé selon la revendication 7, dans lequel l'étape b) comprend l'utilisation d'une première partie détectée et suivie dudit au moins un objet, et l'étape c) comprend l'utilisation d'une deuxième partie détectée et suivie dudit au moins un objet.
9. 9. Procédé selon la revendication 7, dans lequel les étapes b) et c) sont contrôlées séquentiellement en utilisant une seule partie détectée et suivie d'un objet.
10. 10. Procédé selon l'une quelconque des revendications 1 à 9, lequel comprend en outre l'affichage d'un retour visuel prédéterminé sur une interface utilisateur graphique sur au moins une partie de la surface d'interaction, le retour visuel concernant au moins un de: la position de ladite au moins une partie dudit au moins un objet et les gestes reconnus de ladite au une partie dudit au moins un objet suivi.
11. 11. Procédé selon la revendication 10, dans lequel l'interaction avec l'interface utilisateur graphique affichée sur la surface d'interaction comprend en outre l'accomplissement des étapes de:- d) détermination de la position dans l’espace et de la topologie de la surface d'interaction en utilisant le dispositif d'imagerie tridimensionnelle; e) détermination d'un ensemble prédéterminé de zones interactives sur la surface d'interaction comme fonction de sa topologie et sa taille; et f) association avec chaque zone interactive d'au moins un contrôle d'interaction de geste tactile.
12. 12. Procédé selon la revendication 11, comprenant en outre les étapes de: g) association avec l'ensemble prédéterminé de zones interactives, d'au moins un volume interactif, chaque volume interactif étant situé au-dessus de ladite zone interactive le long d'un vecteur normal à cette zone interactive; et h) association avec chaque volume interactif d'un contrôle d'interaction de geste non tactile tridimensionnel prédéterminé.
13. 13. Procédé selon la revendication 11 ou 12, dans lequel la surface d'interaction est au moins un de: une partie d'un corps d'un utilisateur, un plateau de bureau, une paroi, une surface translucide infrarouge et un objet, l'interface utilisateur graphique étant projetée sur la surface d’interaction.
14. 14. Système pour interagir avec une interface utilisateur graphique, le système comprenant:- un système d'affichage pour afficher l'interface utilisateur graphique sur la surface d'interaction; un système d'imagerie tridimensionnelle exploité pour au moins suivre au moins une partie d'au moins une main d'un utilisateur à l'intérieur de son tronc de cône; et un système informatique configuré pour contrôler le système d'affichage et le dispositif d'imagerie tridimensionnelle, et pour déterminer des contrôles d'interaction basée sur des gestes en utilisant des données produites par le dispositif d'imagerie tridimensionnelle; le système étant caractérisé en ce que la surface d'affichage servant à afficher l'interface utilisateur graphique comprend au moins une partie du tronc de cône du dispositif d'imagerie tridimensionnelle et est sensiblement alignée sur celle-ci.
15. 15. Système selon la revendication 14, dans lequel le système d'affichage comprend un élément projecteur qui est situé du même côté de la surface d'interaction sur laquelle l'interface utilisateur graphique est affichée que le dispositif d'imagerie tridimensionnelle.
16. 16. Système selon la revendication 14, dans lequel le système d'imagerie tridimensionnelle et l'élément projecteur sont situés sur des côtés opposés de la surface d'interaction sur laquelle l'interface utilisateur graphique est projetée, la surface d'interaction étant exploitable pour diffuser un rayonnement ayant une longueur d'onde dans une plage qui correspond sensiblement à la partie visible du spectre électromagnétique et pour transmettre un rayonnement ayant une longueur d'onde dans une plage qui correspond sensiblement à la partie infrarouge du spectre électromagnétique avec diffusion limitée, le coefficient de transmission de la surface d'interaction étant supérieur à 50% et la diffusion limitée étant inférieure à 20 degrés.
17. 17. Système selon l'une quelconque des revendications 14 à 16, lequel est exploitable pour mettre en oeuvre le procédé de l'une quelconque des revendications 1 à 13.
18. 18. Support informatique non temporaire utilisable pour stocker des instructions exécutables pour mettre en œuvre le procédé selon l'une quelconque des revendications 1 à 13.