FR3029655A1 - Dispositif d'entree notamment d'un vehicule automobile pour la saisie sans contact de la position et/ou d'un changement de position d'au moins un doigt d'une main de l'utilisateur - Google Patents

Dispositif d'entree notamment d'un vehicule automobile pour la saisie sans contact de la position et/ou d'un changement de position d'au moins un doigt d'une main de l'utilisateur Download PDF

Info

Publication number
FR3029655A1
FR3029655A1 FR1561811A FR1561811A FR3029655A1 FR 3029655 A1 FR3029655 A1 FR 3029655A1 FR 1561811 A FR1561811 A FR 1561811A FR 1561811 A FR1561811 A FR 1561811A FR 3029655 A1 FR3029655 A1 FR 3029655A1
Authority
FR
France
Prior art keywords
hand
neutral zone
gesture
gestures
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1561811A
Other languages
English (en)
Other versions
FR3029655B1 (fr
Inventor
Markus Langenberg
Boer Gerrit De
Philippe Dreuw
Esther-Sabrina Wacker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of FR3029655A1 publication Critical patent/FR3029655A1/fr
Application granted granted Critical
Publication of FR3029655B1 publication Critical patent/FR3029655B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50Instruments characterised by their means of attachment to or integration in the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Dispositif d'entrée notamment de véhicule automobile ayant un capteur vidéo (3) pour la saisie sans contact d'une position et/ou d'un changement de position d'au moins un doigt (8) de la main (6) de l'utilisateur. Le dispositif d'entrée reconnait une entrée en fonction de la position et/ou du changement de position d'au moins un doigt (8). Le dispositif d'entrée détermine zone neutre (11) dans l'image saisie par la caméra qui est au moins adjacente à une zone de gestes (12-15). Le dispositif d'entrée (2) prend en compte un changement de position dans la zone de gestes (12-15) comme entrée seulement si le geste est issu de la zone neutre (11).

Description

1 Domaine de l'invention La présente invention se rapporte à un dispositif d'entrée notamment de véhicule automobile ayant un capteur vidéo pour la saisie sans contact d'une position et/ou d'un changement de position d'au moins un doigt de la main de l'utilisateur, le dispositif d'entrée recon- naissant une entrée en fonction de la position et/ou du changement de position d'au moins un doigt et exécutant cette entrée. Etat de la technique Actuellement, les véhicules utilisent des concepts de commande avec un dispositif d'entrée et un dispositif d'affichage proches l'un de l'autre. Habituellement, on utilise ainsi des écrans-images tactiles et des patins tactiles de sorte que la commande et l'affichage se font au même endroit. Fréquemment, les dispositifs d'affichage se situent dans la zone supérieure d'une console de ma- noeuvre ou du tableau de bord du véhicule automobile pour que le con- ducteur ne soit pas obligé de détourner son regard trop fortement de la circulation pour la lecture. Dans d'autres cas de véhicules, le patin tactile, c'est-à-dire le capteur sensible au toucher se trouve dans la région du tableau de bord du conducteur et le dispositif d'affichage se trouve à l'endroit habituel dans le tableau de bord. Le retour visuel vers le con- ducteur qui actionne le capteur peut ainsi se faire sous la forme de l'indication d'une main transparente représentée par le dispositif d'affichage. Le conducteur peut ainsi manoeuvrer confortablement le dispositif d'entrée pendant que l'affichage continue d'être présenté dans un angle de visée avantageux. Dans ce cas, on peut également envisager de réaliser le dispositif d'affichage non pas sous la forme d'un écran, mais d'un affichage tête haute. Alors que les capteurs tactiles, classiques ou les patins tactiles nécessitent que l'utilisateur les touche pour les actionner, on connait également des dispositifs d'entrée qui détectent les entrées sans contact, c'est-à-dire les enregistrent. Ainsi, par exemple, on détecte la position de la main, des doigts et/ou du bras de l'utilisateur dans l'espace à l'aide de capteurs de profondeur et on les exploite pour une manoeuvre par geste. Il faut une résolution poussée pour les gestes des doigts que l'on réalise avec des capteurs tels que par exemple des cap- 3029655 2 teurs dits de temps de vol, avec des caméras stéréoscopiques, de la lumière structurée ou des moyens optiques analogues. Pour les gestes de la main ou du corps on peut utiliser des capteurs ayant une résolution moindre comme par exemple des capteurs radar. A l'aide d'un ou plu- 5 sieurs capteurs on saisit la position ou le changement de position de la main de l'utilisateur et en fonction de la position saisie et/ou du changement de position on reconnaît une entrée (signe d'entrée) et on l'applique. Par un mouvement de son doigt ou par un mouvement d'au moins un doigt de sa main, l'utilisateur présente ainsi le dispositif 10 d'entrée qu'il souhaite activer. Le dispositif d'entrée reconnaît l'entrée souhaitée par le mouvement de la main / mouvement du doigt et applique cette entrée en ce qu'il exécute l'ordre prédéfini par le mouvement et change par exemple un paramètre de fonctionnement du véhicule automobile. C'est ainsi que par exemple, en fonction de la posi- 15 tion de la variation de position d'un doigt de l'utilisateur on peut détec- ter le signal de « augmenter le son » et exécuter ce signal avec le dispositif d'entrée augmentant le volume du son émis par exemple par le système de sonorisation du véhicule. Le document US 2012 010 5613 A 1 décrit la saisie de 20 gestes de la main ou d'un doigt à l'aide d'une caméra vidéo pour com- mander ainsi les fonctions du véhicule selon la reconnaissance des gestes. Le document EP 2 441 635 A 1 décrit un système analogue. Ce document décrit en outre la détection du temps pris par les changements de position de la pointe d'un doigt dans l'espace.
25 Exposé et avantages de l'invention La présente invention a pour objet un dispositif d'entrée du type défini ci-dessus caractérisé en ce qu'il détermine une zone neutre dans l'image saisie par la caméra, cette zone étant au moins adjacente à une zone de gestes, le dispositif d'entrée prenant en compte 30 comme entrée un changement de position dans la zone de gestes seu- lement si le geste est issu de la zone neutre. Le dispositif d'entrée selon l'invention a l'avantage de dis- tinguer de manière simple entre les gestes de balayage, intentionnels et les mouvements de retour non intentionnels ou les mouvements de dé- 35 battement de l'utilisateur, et cela d'une manière simple et économe en 3029655 3 ressources. L'image saisie par la caméra est pour cela subdivisée en plusieurs zones et le mouvement des doigts et/ou de la main de l'utilisateur est reconnu comme correspondant à un geste ou est pris en compte pour déterminer l'entrée si le changement de position exécuté 5 dans la zone respective remplit les conditions ou les exigences définies dans la zone respective. Ainsi, selon l'invention, il est prévu, comme indiqué ci- dessus, de définir une zone neutre dans l'image saisie dans la caméra vidéo avec une zone de gestes, adjacente ; un changement de position 10 dans la zone de gestes n'est pris en compte que si le geste est issu de la zone neutre. Ainsi, l'utilisateur doit tout d'abord placer sa main dans la zone neutre et pour effectuer un geste de balayage, déplacer notamment ses doigts à partir de la zone neutre et les faire sortir jusque dans la zone des gestes pour que son geste de balayage soit reconnu comme un 15 geste de balayage intentionnel et produire ainsi l'action combinée par le dispositif d'entrée. En particulier, sur une installation d'affichage, la position de la main de l'utilisateur lui est indiquée dans la zone de saisie de la caméra et ainsi l'image saisie par la caméra est présentée au moins 20 schématiquement et en plus avantageusement, la zone neutre et au moins une zone de gestes sont affichées pour que l'utilisateur puisse facilement s'orienter et exécuter le geste de balayage ou d'essuyage. La dimension de la zone neutre est de préférence choisie pour qu'en comparaison avec un geste d'essuyage ou de balayage intentionnel, les 25 gestes de débattement qui normalement sont plus petits, puissent se faire dans la zone neutre. On évite alors que le geste de retour des doigts de la main qui arrivent de façon non intentionnelle dans une zone de gestes, voisine, y soit interprété comme représentant une entrée. Il est ainsi possible à l'utilisateur d'exécuter des gestes d'essuyage 30 non équivoques pour activer le dispositif d'entrée ou encore activer à l'aide du dispositif d'entrée, d'autres installations du véhicule. Selon un développement préférentiel de l'invention, le dispositif d'entrée ne tient compte des changements de position dans la zone des gestes comme entrée que si ces changements de position se 35 font dans une direction issue de la zone neutre ce qui garantit que les 3029655 4 mouvements de retour de la main ou des doigts de la main ne soient pas non plus pris en compte comme des gestes d'entrée. Suivant une autre caractéristique, la zone neutre est dé- finie en fonction de la position de la main dans l'image saisie pour qu'au 5 moins la main sensiblement au repos se trouve pratiquement pour l'essentiel, dans la zone neutre. Ainsi, les mouvements, notamment ceux des bouts des doigts se font toujours à partir de la zone neutre ou commencent dans la zone neutre. En particulier, la zone neutre est de forme rectangulaire permettant de recevoir complètement la main dé- 10 ployée de l'utilisateur. De façon préférentielle, la dimension de la zone neutre est plus grande qu'une main saisie dans l'image. Cela permet par exemple de tenir compte de la proximité de la main de l'utilisateur par rapport à la caméra et augmente d'autant la possibilité de variation et de robustesse du système. Dans la mesure où la zone neutre est affi- 15 chée pour l'utilisateur, cela permet de déterminer la zone neutre, en va- riante, comme zone fixe dans l'image de la caméra vidéo. Selon un développement préférentiel, la zone neutre est plus grande que la main de sorte que la zone de gestes est écartée de la main qui se trouve dans la zone neutre. Comme déjà indiqué, cela ga- 20 rantit que pour commencer un geste de balayage, il faut tout d'abord traverser une partie de la zone neutre jusqu'à ce que les bouts des doigts arrivent dans la zone des gestes si bien que les gestes non intentionnels ou les mouvements de débattement ne sont pas reconnus comme des entrées.
25 D'une manière particulièrement préférentielle, la zone neutre est déplacée avec la main, cela permet notamment l'affichage de la main dans l'image saisie par le capteur. Comme la zone neutre est déplacée aussi, cela garantit toujours que l'utilisateur commence son geste d'essuyage en sortant de la zone neutre. De manière préférentielle, 30 la zone neutre se déplace à une vitesse plus faible que celle obtenue par comparaison avec un geste d'essuyage classique, ce qui évite que la zone neutre soit déplacée avec le geste d'essuyage et que ce geste ne soit pas reconnu comme une entrée. En variante ou en plus, la zone déplacée peut être accrochée à un point de la main qui se déplace habituel- 3029655 5 lement plus lentement, notamment que les bouts des doigts, pour l'exécution d'un geste d'essuyage. En particulier, il est prévu de déterminer le centre de gra- vité de la main et de déplacer la zone neutre en fonction de la position / 5 changement de position du centre de gravité de la main. Il est notam- ment comme centre de gravité de la main, on choisit l'articulation de la main. Cela peut se détecter par une analyse des données images de la caméra en procédant de façon connue. Par rapport à la poignée de la main, les doigts effectuent un geste de balayage beaucoup plus rapide 10 de sorte que la différence de vitesse entre les doigts et l'articulation de la main ou entre les doigts et le centre de gravité de la main permettent d'appliquer le procédé décrit ci-dessus. Alors que la zone centrale est déplacée au maximum à la vitesse de l'articulation de la main ou du centre de gravité de la main, les doigts quitteront la zone neutre avec 15 une vitesse plus grande et pénétreront dans la zone de gestes de sorte que les variations de position qui s'y produisent seront prises en compte pour déterminer l'entrée. Suivant une autre caractéristique préférentielle, au moins deux zones de gestes sont prévues opposées l'une à l'autre de façon ad- 20 jacente à la zone neutre. Les deux zones de gestes fonctionnent comme indiqué ci-dessus, c'est-à-dire exploitant un geste de balayage. Ainsi, partant de la zone neutre, l'utilisateur peut effectuer un geste de balayage dans deux directions par exemple pour remonter dans le menu contextuel dans lequel il exécute le geste de balayage ou encore pour 25 descendre en exécutant le geste d'essuyage dans l'autre zone de geste, opposée. De façon avantageuse, sur le côté opposé à l'articulation de la main, il y a également une zone des gestes adjacente à la zone neutre. Suivant une autre caractéristique avantageuse, un changement de position est saisi dans plusieurs zones de gestes. Seul le 30 changement de position pour l'entrée est pris en compte s'il se fait dans la zone de gestes dans laquelle a été détecté le plus grand nombre de changements de positions. Cela garantit en plus que si l'utilisateur devait exécuter un grand nombre de mouvements de déploiements, au cours desquels il arrive avec sa main dans une zone des gestes qu'il ne 35 voulait pas atteindre, il pourra néanmoins exécuter une entrée correcte.
3029655 6 D'une manière particulièrement préférentielle, les changements de position sont fondés sur des données vectorielles qui définissent l'image saisie par le capteur vidéo et qui seront ainsi calculées ou déterminées. On peut également définir des directions de mouve- 5 ments non équivoques et les comparer par exemple à une direction de mouvement autorisée pour comparer à une zone des gestes et permettre l'exploitation rapide des changements de position pour avoir une détection rapide des entrées souhaitées. Dessins 10 La présente invention sera décrite ci-après de manière plus détaillée à l'aide d'un dispositif d'entrée représenté dans les dessins annexés dans lesquels : la figure 1 montre l'habitacle d'un véhicule automobile avec le dispositif d'entrée selon l'invention, 15 la figure 2 montre l'image fournie par une caméra du dispositif d'entrée. Description d'un mode de réalisation La figure 1 est une représentation schématique de l'habitacle d'un véhicule non détaillé, équipé d'un dispositif d'entrée 2 20 pour entrer des ordres sans contact. Le dispositif d'entrée comporte à cet effet une caméra de capteur 3 fonctionnant sans contact et une unité d'affichage 4. L'unité d'affichage 4 est intégrée dans le tableau de bord ou la console de manoeuvre du véhicule 1. L'unité d'affichage 4 est un écran-image, notamment un afficheur et peut par exemple faire par- 25 tie d'un système de navigation ou d'un système de sonorisation domes- tique du véhicule 1. On peut également envisager de réaliser l'unité d'affichage 4 en variante ou en plus, comme affichage « tête haute ». Le capteur vidéo ou caméra 3 est de préférence un capteur vidéo à deux dimensions ou une installation de caméra et qui a 30 une zone de saisie représentée par des traits interrompus. La caméra vidéo est, dans cet exemple de préférence orientée pour être tournée vers le côté frontal de l'accoudoir intermédiaire 5 du véhicule automobile 1. Le tableau de bord 5 n'a lui-même pas de surface d'appui propre par laquelle le conducteur pourrait introduire son ordre en balayant 3029655 7 avec la main qui n'est représentée que schématiquement, par le contact avec la surface d'entrée pour introduire un ordre. Au lieu de cela, le dispositif d'entrée 2 saisit une position et/ou changement de position d'au moins un doigt de la main 6 dans 5 l'espace et en déduit une entrée à exécuter. Les données d'images sai- sies par la caméra sont exploitées comme cela sera décrit ci-après pour servir à la commande du dispositif d'entrée 2. La figure 2 montre un exemple d'image saisie par le cap- teur 3 et ainsi de la zone de saisie 7. La main 6 de l'utilisateur se trouve 10 dans l'image saisie. Le dispositif d'entrée 2 permet à l'utilisateur d'effectuer dans la zone de saisie du capteur 3, des gestes de balayage pour activer le dispositif d'entrée 2. Les mouvements de retour et les mouvements de débat- tement ne sont pas pris en compte. Le procédé décrit ci-après tient 15 compte des gestes de balayage exécutés de manière ergonomique à par- tir de l'articulation de la main. Pour distinguer entre les gestes de balayage intentionnels et les mouvements de retour non intentionnels, le procédé utilise le fait que dans le mouvement d'essuyage l'articulation 7 de la main 6 de l'utilisateur reste plus ou moins immobile et la surface 20 de la main et en particulier les doigts 8 de la main 6 se déplacent par rapport à l'articulation. Si, dans l'exemple de réalisation présenté, le geste de balayage se fait vers la gauche comme l'indique la flèche 9, le mouvement de balayage se fait sur le côté gauche de l'articulation 7 de la droite vers la gauche. Le mouvement de retour se fait par conséquent 25 de la gauche vers la droite et ne peut ainsi tout d'abord se distinguer d'un balayage vers la droite. Mais comme le mouvement se fait seulement jusqu'à l'arrivée dans la position neutre ou la position de repos sur le côté gauche de l'articulation 7 de la main au lieu du côté droit, ce mouvement de retour se distingue du mouvement de balayage inten- 30 tionnel vers la droite. La condition est que les gestes de balayage se fas- sent par rapport à un point de référence aussi fixe que possible, par exemple dans le cas présent, l'articulation 7 et que le retour de la main ne dépasse pas la position neutre ou ne dépasse pas de manière significative.
3029655 8 La croix représentée sur la main à la figure 2 explicite le centre relativement rigide de la main ou le centre de gravité 10 de la main 6. Une zone neutre 11 est associée au centre de gravité 10 dans l'image saisie. La zone neutre 11 du présent exemple de réalisation a 5 une forme rectangulaire. Cette zone centrale est orientée et disposée pour que la main 6 se trouve pratiquement dans la zone neutre 11. Les changements de position ou les mouvements effectués dans la zone neutre 11 sont ignorés du dispositif d'entrée de signal 2. Lorsqu'un geste de balayage est effectué, le centre de gravité 10 est également dé- 10 veloppé mais toutefois d'une manière moins poussée dans son expres- sion et son amplitude que la surface de la main avec les doigts 8 de la même main 6. Une zone neutre 11 suffisamment grande autour du centre de gravité 10 donne au dispositif d'entrée de signal 2, une robustesse supplémentaire car la position neutre est présentée par une zone 15 étendue dans l'espace et ainsi les gestes de balayage non intentionnels ne sont pas reconnus ou ne sont pas utilisés pour une entrée. Quatre zones de geste 12, 13, 14, 15 sont adjacentes à la zone neutre 11. Ces zones de gestes sont adjacentes chacune d'un côté de la zone neutre 11. Les zones des gestes 12-15 dans le présent 20 exemple sont également de forme rectangulaire. Pour effectuer un geste de balayage vers la gauche, il faut que la surface de la main avec les doigts 8 sortent de la région centrale ou de la zone neutre 11 et passent dans la zone d'images gauche, c'est-à-dire dans la zone 12. Si dans cette zone d'images on détecte un chan- 25 gement de position qui se fait dans le sens issu de la zone neutre 11 selon la flèche 9, le geste de balayage sera détecté comme geste de balayage à gauche. Pour le mouvement de retour dans la même zone de gestes 12, on détectera un mouvement vers la droite. Le dispositif de signal 2 ne reconnaît comme entrée dans la zone de gestes 12 que les 30 variations de position qui ne se font pas à partir d'une zone neutre 11. Un mouvement vers la droite dans la zone de gestes 12, est ainsi un mouvement non autorisé, qui n'est pas pris en compte par le dispositif d'entrée de signal 2 lors de la détection d'une entrée. De façon analogue, pour un mouvement de balayage vers la droite, on saisit le mou- 35 vement de retour dans la zone de gestes 14 alors qu'un mouvement vers 3029655 9 la gauche qui correspond à un mouvement de retour dans la zone de gestes 14, ne sera pas autorisé et ainsi il ne sera pas pris en compte. Les zones de gestes 12-15 peuvent ainsi être considérées comme des chemins à un sens pour la direction de balayage autorisée.
5 Les zones de gestes 12 et 14 sont situées de part et d'autre de la zone neutre 11. Si plusieurs zones des gestes, notamment dans des zones de gestes 12 et 14 qui se font face, donnent lieu à la détection de changement de position qui se font chaque fois dans le sens autorisé, avantageusement seuls les changements de positions dans la zone de gestes 10 12 ou 14 sont pris en compte par la détection de l'entrée et la majorité des mouvements ou des changements de position sont détectés. Pour exécuter le procédé, le dispositif de signal 2 a une unité de calcul non détaillée qui se fonde sur l'image vidéo du capteur 3 pour effectuer une détection de mouvement. Pour cela, on détermine le 15 flux optique dans l'image. Comme résultat, on obtient ainsi un en- semble de vecteurs qui, pour certains points images dans l'image comme indiqué à la figure 2 donnent un instant t, le décalage dans le plan image à l'instant t+1. Cet ensemble de vecteurs est appelé ci-après flux de données 2D et représente le mouvement de la main 6 dans la 20 zone de saisie du capteur 3. L'unité de calcul applique un algorithme enregistré dans une mémoire fixe et qui, est fondé sur le motif de mouvement dans chaque étape par rapport à un point de référence aussi rigide que possible de la main à savoir le centre de gravité 10 défini ci-dessus. Cela se fait de manière avantageuse de préférence en ce qu'à 25 partir d'un premier champ de flux résultant, on filtre par un filtre passe-bande, tout d'abord selon la longueur du vecteur de flux (intensité de mouvement). D'autres calculs, ne considèrent que les vecteurs de flux dont la longueur dépasse un premier seuil Si en restant en-dessous d'un second seuil S2. Les seuils sont obtenus en se fondant au- 30 tomatiquement sur la statistique des champs de flux. Mais on peut les choisir autrement, par exemple en ce qu'elles correspondent à une limite de 5 `)/0 ou de 95 `)/0. Cela signifie que 5% des vecteurs de flux ont dans le champ de flux, une longueur inférieure au premier seuil Si et 5 % des vecteurs de flux ont une longueur supérieure au second seuil 35 S2. Le premier seuil Si élimine le bruit du mouvement, par exemple oc- 3029655 10 casionné par le bruit des pixels. De plus, le filtrage avec le second seuil S2 élimine des mouvements relativement importants des bouts des doigts qui se produisent pour un essuyage par rapport au centre de la main, moins mobile (centre de gravité 10). Le centre de gravité du 5 champ de flux se calcule en appliquant la relation suivante : 1 N Dans cette formule N désigne le nombre de vecteurs de 10 flux dans le champ de flux filtré p (xi, yi) représente le point d'arrivée du vecteur flux respectif j dans les coordonnées images. Pour améliorer la robustesse ou l'inertie du centre de gravité 10, calculé, on effectue en outre un filtrage en fonction du temps. Cela signifie que dans une fenêtre glissante, définie de manière fixe qui correspond par exemple à dix 15 étapes de temps, on forme la moyenne arithmétique du centre de gravité formé dans cette fenêtre de temps. En variante, on peut également prévoir des procédés de filtrage plus complexes tels que par exemple l'application du filtre de Gauss pour augmenter encore plus la robustesse.
20 Par rapport au centre de gravité 10, fixé, on détermine alors les coordonnées images des plages de gestes, différentes et la zone neutre. L'extension optimale de la zone neutre peut également se déterminer de manière dynamique avec le champ de flux filtré. Pour cela, on calcule tout d'abord l'extension du champ de flux filtré sous la forme 25 d'une limite (boîte frontière). La zone neutre 11 autour du centre de gravité 10 est alors déterminée en liaison avec l'extension obtenue du champ de flux filtré, par exemple 90% de l'extension dans chaque direction. Dans le présent exemple de réalisation, dans la figure 2, pour la droite du centre de gravité 10, c'est-à-dire la main droite de la zone 30 neutre 11, on a sélectionné un pourcentage inférieur à l'extension car selon la physiologie de la main, un mouvement de balayage vers le haut a une amplitude moindre qu'un mouvement de balayage dans les autres directions. Les zones de gestes 12-15 sont définies en ce que ces zones de gestes sont adjacentes à la zone neutre comme cela a été décrit ci- 35 dessus.
3029655 11 L'unité de calcul exécute également un algorithme qui détecte la zone de gestes avec le mouvement maximum instantané ou avec le nombre maximum instantané de changements de position. Cela se fait avantageusement en ce que dans chaque étape pour les zones de 5 gestes 12-15, la longueur moyenne des vecteurs de flux sera calculée. En plus, on détermine le nombre de vecteurs de flux dont la longueur dépasse un troisième seuil S3, pour y voir une mesure de la part actuelle des mouvements rapides dans cette zone des gestes. Pour cela, on choisit de préférence le troisième seuil S3 en fonction de la résolution 10 d'image ou la résolution de réception du capteur 3 ainsi que de la dis- tance entre le capteur 3 et le plan d'interaction que l'on choisit constant. Pour la zone de gestes dans laquelle à la fois la longueur moyenne des vecteurs flux ainsi que le nombre des vecteurs de flux 15 « rapides » est au maximum, on continue ensuite d'analyser l'information de mouvement. Pour cela, et en fonction de tous les vecteurs de flux dans cette zone de gestes, on calcule la direction moyenne des vecteurs de flux (de préférence en degrés) et on les reproduit sur un cadran du cercle unité. Ainsi, par exemple, un mouvement vers la 20 gauche correspond à une plage angulaire de 45°-135°. Le balayage vers le bas dans la plage des gestes 15 correspond à une plage angulaire de 135°-225°, le balayage vers la droite dans la zone des gestes 14 correspond à une plage angulaire de 225°-315° et un balayage vers le haut dans la zone des gestes 13 correspond à une plage angulaire comprise 25 entre 315° et 45°. Un alphabet des gestes, prédéfini, c'est-à-dire avec des actions combinées à des gestes différents, associe chacune quatre zones des gestes 12-15 à l'un des quatre quadrants. Pour détecter les gestes de balayage vers la gauche, il faut par exemple détecter un mouvement 30 dans une plage angulaire de 45°-135° dans la zone de gestes 12. Tout autre mouvement dans cette zone est ignoré. Il en résulte ainsi la consigne décrite ci-dessus en ce que l'on exploite comme entrée, seuls les mouvements effectués dans une direction issue de la zone neutre 11 et pour lesquels on exploite une entrée. Cela s'applique de façon analogue 3029655 12 aux mouvements de balayage vers le bas, à droite et au-dessus des zones de gestes 13, 14, 15. De façon générale, l'association entre les directions de ba- layage et les quadrants peut être librement paramétrée sur le cercle 5 unité et dépend notamment des réalisations pratiques de l'algorithme. De plus, on peut choisir de manière quelconque les résolutions angulaires pour différentes directions de manière non équidistante, par exemple la détection des gestes de balayage dans certaines directions qui sont non équidistantes et choisies de manière quelconque pour que 10 la détection des gestes de balayage dans certaines directions soit plus ou moins sensible. Selon l'alphabet des gestes définis dans une zone avec un mouvement maximum, on détermine la direction de mouvements autorisée de sorte que le dispositif d'entrée 2 génère l'évènement qui correspond au geste ou appelle ou lance l'action associée au geste.
15 A la place de la direction de flux dans une zone des gestes calculée par une moyenne, on peut également envisager pour le calcul de la direction de flux moyenne, de pondérer les vecteurs de flux avec leur longueur (intensité de mouvement). Le procédé présenté suppose toujours qu'un geste commence dans la zone neutre 11. Pour cela, 20 une fois le mouvement de balayage effectué, il y a un mouvement de retour dans la zone neutre mais qui est toutefois effectué intuitivement par la majorité des utilisateurs. Si l'amplitude ou l'extension du mouvement de retour est telle que le mouvement traverse complètement la zone neutre 11, cela se traduit par la détection non voulue du mouve- 25 ment de retour comme geste dans la plage des gestes qui est opposée. La robustesse de la détection des gestes pourra être augmentée en plus en ce que l'on modélise ce mouvement de retour de manière explicite. Dans ce cas l'événement correspondant ne sera lancé ou l'entrée correspondante ne sera reconnue que si, après un mouvement de balayage 30 reconnu, correct, ensuite dans une fenêtre de temps définie on détecte- ra un mouvement opposé (mouvement de retour). La détection est ainsi indépendante des différentes zones 11-15. Cela permet d'ignorer de manière robuste les mouvements de retour dont l'exécution au-delà de la zone neutre 11 passe dans la zone de gestes, voisine. La dimension 35 de la fenêtre de temps est choisie de préférence en fonction de la fré- 3029655 13 quence de détection du capteur 3 et de la proximité souhaitée du mouvement de retour par rapport au geste proprement dit. On peut également envisager d'adapter la fenêtre de temps aux conditions d'utilisations individuelles.
5 Par la saisie du centre de gravité 10 de la main 6 on couvre non seulement une neutralisation robuste des mouvements de retour à la détection des entrées, mais de plus on couvre la détection de gestes de balayage quelconques à tout endroit dans la zone de saisie 7 du capteur 3 car la zone neutre 11 se déplace avec le centre de gravité 10 10 de la main 6. Comme extension on peut envisager non seulement de reconnaître les gestes de balayage unidirectionnels simples, l'alphabet des gestes ou les entrées à détecter, étendus à des gestes de balayage cohérents. En divisant la zone de saisie en zones 11-15 couplées au 15 centre de gravité 10, on pourra distinguer par exemple entre les gestes de balayage gauche ; droite d'un balayage à gauche suivi d'un mouvement de retour ; en plus des informations directionnelles, pures, on pourra utiliser les informations de localisation grossièrement détectées. Ainsi un balayage intentionnel avec des mouvements à gauche succes- 20 sifs, très rapides dans la plage de gestes 12 serait suivi de mouvements vers la droite dans la plage de gestes 14 permettant de détecter un tel balayage avec une plus faible latence dans le temps. De façon analogue, des gestes de balayage plus complexes pourront être définis comme somme de directions de mouvement saisis et de zones de gestes corres- 25 pondantes. Les gestes à utiliser pour différentes entrées, c'est-à-dire ceux de l'alphabet des gestes sont enregistrés avantageusement avant la mise en service dans une mémoire morte comme modèle et on pourra les utiliser pour la comparaison avec les gestes saisis actuellement et détecter l'entrée respective.
30 35 3029655 14 NOMENCLATURE DES ELEMENTS PRINCIPAUX 1 Véhicule automobile 2 Dispositif d'entrée / dispositif de signal d'entrée 5 3 Capteur vidéo 4 Unité d'affichage 5 Accoudoir 6 Main 7 Articulation de la main 10 8 Doigt / accoudoir 9 Flèche 10 Centre de gravité de la main 11 Zone neutre 12-15 Zone de gestes 15 20

Claims (8)

  1. REVENDICATIONS1°) Dispositif d'entrée (2) notamment de véhicule automobile (1) ayant un capteur vidéo (3) pour la saisie sans contact d'une position et/ou d'un changement de position d'au moins un doigt (8) de la main (6) de l'utilisateur, le dispositif d'entrée (2) reconnaissant une entrée en fonction de la position et/ou du changement de position d'au moins un doigt (8) et exécutant cette entrée, dispositif d'entrée caractérisé en ce qu' il détermine une zone neutre (11) dans l'image saisie par la caméra (3), cette zone étant au moins adjacente à une zone de gestes (12-15), - le dispositif d'entrée (2) prenant en compte comme entrée un changement de position dans la zone des gestes (12-15) seulement si le geste est issu de la zone neutre (11).
  2. 2°) Dispositif d'entrée selon la revendication 1, caractérisé en ce qu' il tient compte du changement de position dans la zone de gestes (1215) comme entrée seulement si le changement de position se fait dans le sens venant de la zone neutre (11).
  3. 3°) Dispositif d'entrée selon la revendication 1, caractérisé en ce qu' en fonction de la position de la main (6) dans l'image saisie il définit de la zone neutre (11) de façon que la main (6) au moins sensiblement au repos, se trouve au moins pratiquement dans la zone neutre (11).
  4. 4°) Dispositif d'entrée selon la revendication 1, caractérisé en ce qu' elle définit la zone neutre (11) plus grande que la main (6) de sorte que la zone de gestes (12-15) soit écartée de la main (6) qui est au moins sensiblement au repos.
  5. 5°) Dispositif d'entrée selon la revendication 1, caractérisé en ce qu' 3029655 16 il déplace la zone neutre (11) avec la main (6).
  6. 6°) Dispositif d'entrée selon la revendication 1, caractérisé en ce qu' 5 il détermine le centre de gravité (10) de la main (6) et déplace la zone neutre en fonction de la position / changement de position du centre de gravité (10).
  7. 7°) Dispositif d'entrée selon la revendication 1, 10 caractérisé en ce qu' elle définit la zone neutre (11) adjacente à au moins deux zones de gestes (12-15) qui se font face en étant adjacentes à la zone neutre (11).
  8. 8°) Dispositif d'entrée selon la revendication 1, 15 caractérisé en ce que s'il détecte un changement de position dans plusieurs zones de gestes (12-15), il ne tient compte pour l'entrée que des changements de position qui se produisent dans la zone de gestes (12-15) dans laquelle sont détectés le plus grand nombre de changements de position. 20
FR1561811A 2014-12-04 2015-12-03 Dispositif d'entree notamment d'un vehicule automobile pour la saisie sans contact de la position et/ou d'un changement de position d'au moins un doigt d'une main de l'utilisateur Active FR3029655B1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014224898.1 2014-12-04
DE102014224898.1A DE102014224898A1 (de) 2014-12-04 2014-12-04 Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE201520100273 DE202015100273U1 (de) 2014-12-04 2015-01-22 Eingabevorrichtung

Publications (2)

Publication Number Publication Date
FR3029655A1 true FR3029655A1 (fr) 2016-06-10
FR3029655B1 FR3029655B1 (fr) 2018-11-16

Family

ID=52991262

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1561811A Active FR3029655B1 (fr) 2014-12-04 2015-12-03 Dispositif d'entree notamment d'un vehicule automobile pour la saisie sans contact de la position et/ou d'un changement de position d'au moins un doigt d'une main de l'utilisateur

Country Status (4)

Country Link
CN (1) CN105759955B (fr)
DE (2) DE102014224898A1 (fr)
FR (1) FR3029655B1 (fr)
IT (1) ITUB20156045A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019092386A1 (fr) 2017-11-13 2019-05-16 Nicand Patrick Système de commande gestuelle d'actionneurs
FR3073649A1 (fr) * 2017-11-13 2019-05-17 Frederic Delanoue Systeme de commande gestuelle d'actionneurs

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015015067A1 (de) 2015-11-20 2017-05-24 Audi Ag Kraftfahrzeug mit zumindest einer Radareinheit
DE102016206142A1 (de) 2016-04-13 2017-10-19 Volkswagen Aktiengesellschaft Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Erkennung einer Hand eines Anwenders

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110118877A1 (en) * 2009-11-19 2011-05-19 Samsung Electronics Co., Ltd. Robot system and method and computer-readable medium controlling the same
US20130271397A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated Rapid gesture re-engagement

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2441635B1 (fr) 2010-10-06 2015-01-21 Harman Becker Automotive Systems GmbH Système d'interface d'utilisateur de véhicule
US8817087B2 (en) * 2010-11-01 2014-08-26 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
EP2703950A4 (fr) * 2011-04-28 2015-01-14 Nec Solution Innovators Ltd Dispositif de traitement d'informations, procédé de traitement d'informations et support d'enregistrement
CN102436301B (zh) * 2011-08-20 2015-04-15 Tcl集团股份有限公司 一种基于参考区域和时域信息的人机交互方法及系统
US20130053007A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
US8970519B2 (en) * 2012-02-01 2015-03-03 Logitech Europe S.A. System and method for spurious signal detection and compensation on an input device
JP5593339B2 (ja) * 2012-02-07 2014-09-24 日本システムウエア株式会社 自動車のステアリングハンドルを用いるジェスチャー認識装置と手の認識方法及びそのプログラム
CN102662557B (zh) * 2012-03-07 2016-04-13 上海华勤通讯技术有限公司 移动终端和解锁方法
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110118877A1 (en) * 2009-11-19 2011-05-19 Samsung Electronics Co., Ltd. Robot system and method and computer-readable medium controlling the same
US20130271397A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated Rapid gesture re-engagement

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019092386A1 (fr) 2017-11-13 2019-05-16 Nicand Patrick Système de commande gestuelle d'actionneurs
FR3073649A1 (fr) * 2017-11-13 2019-05-17 Frederic Delanoue Systeme de commande gestuelle d'actionneurs
FR3073647A1 (fr) * 2017-11-13 2019-05-17 Patrick Nicand Systeme de commande gestuelle d'actionneurs

Also Published As

Publication number Publication date
DE202015100273U1 (de) 2015-04-08
CN105759955B (zh) 2023-07-04
FR3029655B1 (fr) 2018-11-16
ITUB20156045A1 (it) 2017-06-02
CN105759955A (zh) 2016-07-13
DE102014224898A1 (de) 2016-06-09

Similar Documents

Publication Publication Date Title
US20190251374A1 (en) Travel assistance device and computer program
EP3109797B1 (fr) Procédé de reconnaissance d'écriture manuscrite sur une surface physique
US9733717B2 (en) Gesture-based user interface
FR3029655A1 (fr) Dispositif d'entree notamment d'un vehicule automobile pour la saisie sans contact de la position et/ou d'un changement de position d'au moins un doigt d'une main de l'utilisateur
US9477315B2 (en) Information query by pointing
CN105745606A (zh) 基于图像识别触摸敏感表面的目标触摸区域
EP3221781B1 (fr) Interface graphique et procede de gestion de l'interface graphique lors de la selection tactile d'un element affiche
EP3332352B1 (fr) Dispositif et procede de detection de place de stationnement libre pour un vehicule automobile
FR3029484A1 (fr) Procede d'interaction depuis le volant entre un utilisateur et un systeme embarque dans un vehicule
FR3030798A1 (fr) Procede de gestion d'un dispositif d'entree et ainsi que dispositif d'entree applique a un vehicule automobile pour la mise en oeuvre du procede
FR3041445A1 (fr) Procede et bouton de selection pour deplacer un pointeur sur un objet virtuel
WO2017140988A1 (fr) Detection optique de la position du volant de conduite
EP1228423B1 (fr) Procede de commande d'une surface tactile
EP3579191A1 (fr) Estimation dynamique du tangage instantané et du roulis instantané d'une caméra embarquée dans un véhicule automobile
JP5912177B2 (ja) 操作入力装置、操作入力方法及び操作入力プログラム
EP2881841A1 (fr) Procede de reconnaissance continue de gestes d'un utilisateur d'un terminal mobile prehensible muni d'un ensemble capteur de mouvement, et dispositif associe
EP3274809A1 (fr) Procédé de commande, dispositif de commande, système et véhicule automobile comprenant un tel dispositif de commande
TW201339948A (zh) 電子裝置和影像擷取方法
EP3393840B1 (fr) Surface tactile sur volant de vehicule
FR3023513A1 (fr) Procede d'interaction pour piloter un combine d'instruments d'un vehicule automobile
FR2859800A1 (fr) Dispositif electronique portable a interface homme/machine tenant compte de mouvements du dispositif, procede et programme informatique correspondants
EP2936284B1 (fr) Module d'interface permettant de detecter un geste
CN116057500A (zh) 用于光学位置确定装置的光学触笔
JP6188468B2 (ja) 画像認識装置、ジェスチャ入力装置及びコンピュータプログラム
FR3124872A1 (fr) Dispositif électronique et procédé d'affichage de données sur un écran d’affichage, système d’affichage, véhicule et programme d’ordinateur associés

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLFP Fee payment

Year of fee payment: 3

PLSC Publication of the preliminary search report

Effective date: 20180105

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9