FR3030798A1 - Procede de gestion d'un dispositif d'entree et ainsi que dispositif d'entree applique a un vehicule automobile pour la mise en oeuvre du procede - Google Patents

Procede de gestion d'un dispositif d'entree et ainsi que dispositif d'entree applique a un vehicule automobile pour la mise en oeuvre du procede Download PDF

Info

Publication number
FR3030798A1
FR3030798A1 FR1562738A FR1562738A FR3030798A1 FR 3030798 A1 FR3030798 A1 FR 3030798A1 FR 1562738 A FR1562738 A FR 1562738A FR 1562738 A FR1562738 A FR 1562738A FR 3030798 A1 FR3030798 A1 FR 3030798A1
Authority
FR
France
Prior art keywords
hand
sensor
information
variation
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR1562738A
Other languages
English (en)
Inventor
Stefan Andreas Kniep
Jens Heimsoth
Markus Langenberg
Boer Gerrit De
Philippe Dreuw
Daniel Zaum
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of FR3030798A1 publication Critical patent/FR3030798A1/fr
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • B60K35/81
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • B60K2360/141
    • B60K2360/146
    • B60K2360/1464
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

Procédé de gestion d'un dispositif d'entrée (2), notamment d'un véhicule (1) comportant au moins un capteur (3) fonctionnant sans contact tactile pour saisir une position et/ou une variation de position d'au moins un doigt (8) d'une main (6) de l'utilisateur ainsi qu'une unité d'affichage (4) pour afficher des informations, une entrée est détectée et exécutée, en fonction de la position et/ou de la variation de position saisies. Selon le procédé si le capteur saisit un rond formé avec les doigts (8), on modifie la représentation des informations affichées par l'unité d'affichage (4) en fonction de la variation entre la distance du doigt (8) et du capteur (3) et/ou de l'unité d'affichage (4).

Description

Domaine de l'invention La présente invention se rapporte à un procédé de gestion d'un dispositif d'entrée, notamment d'un véhicule comportant au moins un capteur fonctionnant sans contact tactile pour saisir une position et/ou une variation de position d'au moins un doigt d'une main de l'utilisateur ainsi qu'une unité d'affichage pour afficher des informations, et l'entrée est détectée et exécutée en fonction de la position et/ou de la variation de position saisies. L'invention se rapporte également à un dispositif d'entrée comportant au moins un capteur fonctionnant sans contact tactile et une unité d'affichage ainsi qu'un véhicule automobile équipé d'un tel dispositif. Etat de la technique Les automobiles actuelles appliquent des concepts de service ou commande avec un dispositif d'entrée et un dispositif d'affichage juxtaposé. Habituellement, on utilise pour cela des pavés sensibles au contact et des écrans dits tactiles avec lesquels la commande et l'affichage se font aux mêmes endroits. Fréquemment, l'unité d'affichage se trouve dans la zone supérieure d'une console de service ou du tableau de bord du véhicule pour que le conducteur ne détourne pas trop son regard des événements de la circulation pour la lecture. Dans d'autres véhicules, on a un pavé tactile, c'est-à-dire un capteur sensible au toucher installé dans la région de l'accoudoir du conducteur et l'unité d'affichage se trouve à l'endroit habituel au niveau du tableau de bord. La réponse visuelle pour le conducteur lors d'une manoeuvre du capteur peut être représentée par une main suggérée, transparente, représentée par l'unité d'affichage. Le conducteur peut ainsi commander de manière pratique le dispositif d'entrée pendant que l'affichage reste présenté suivant un angle avantageux pour le conducteur. Dans ce cas, on peut également envisager de réaliser l'unité d'affichage non comme écran, mais comme afficheur tête haute. Alors que les capteurs usuels, sensibles au toucher ou pavés tactiles nécessitent que l'utilisateur les touche pour commander, on connaît également des dispositifs d'entrée qui permettent d'enregistrer ou de détecter les entrées sans contact tactile. Pour cela, par exemple, à l'aide de capteurs de profondeur, on détecte la position de la main, celle des doigts et/ou celle du bras de l'utilisateur dans l'espace et on exploite l'information pour une commande par des gestes. Pour les gestes des doigts, il faut une résolution très poussée qui est celle des capteurs tels que par exemple des capteurs de temps de vol, des caméras stéréo, de la lumière structurée ou des moyens optiques analogues. Pour les gestes de la main ou du corps on peut utiliser également des capteurs ayant une résolution plus faible tels que par exemple des capteurs radar. Un ou plusieurs capteurs permettent ainsi de saisir la position ou la variation de position de la main de l'utilisateur et en fonction de la position saisie et/ou de la variation de position, on détecte ou reconnaît une entrée et qui est alors exécutée. Par un mouvement de sa main ou au moins un mouvement d'un doigt de sa main l'utilisateur indique ainsi au dispositif d'entrée qu'il souhaite faire une entrée. Le dispositif d'entrée reconnaît le mouvement du doigt correspondant à l'entrée souhaitée et il exécute l'ordre qui correspond à ce mouvement, en modifiant par exemple un paramètre de fonctionnement du véhicule. C'est ainsi que par exemple, la position et de la varia- tion de position d'un doigt de l'utilisateur signifient augmenter le volume sonore ; cette opération sera faite par le dispositif d'entrée qui augmentera le volume sonore par exemple du système de sonorisation du véhicule. Exposé et avantages de l'invention L'invention a pour objet un procédé du type défini ci- dessus caractérisé en ce que si le capteur saisit un rond formé avec les doigts, le procédé modifie la représentation des informations affichées par l'unité d'affichage en fonction de la variation entre la distance du doigt et du capteur et/ou de l'unité d'affichage.
Le procédé selon l'invention a l'avantage que l'utilisateur du dispositif d'entrée peut prédéfinir par de simples gestes brefs qu'il souhaite modifier la représentation sur l'écran de base par exemple pour améliorer la lisibilité des informations présentées pour l'utilisateur. L'utilisateur peut ainsi, de manière simple et facile, modi- fier la luminosité de l'écran. Selon l'invention il est prévu à cet effet que si le capteur détecte un rond, notamment fermé, formé avec le doigt, en fonction de variations de la distance entre le doigt et le capteur et/ou l'écran, il modifiera la représentation des informations affichées sur l'écran. Par exemple, si l'utilisateur forme avec un doigt, un rond dans la zone de saisie du capteur pour que ce signal soit saisi par le capteur, c'est-à-dire il faut qu'il se trouve dans un plan perpendiculaire à l'axe du capteur ou axe optique du capteur, alors bouger le doigt en direction du capteur ou de l'écran-image indique au dispositif d'entrée qu'il doit modifier la représentation de l'information affichée sur l'écran. Le mou- vement du rond formé avec le doigt est ainsi exploité comme une entrée pour modifier la représentation des informations affichée. Selon un développement préférentiel de l'invention, la taille des informations présentées sera modifiée en fonction de la variation de la distance. En déplaçant le rond dans la zone de saisie du cap- teur, vers le capteur ou vers l'écran-image, l'utilisateur peut ainsi modifier la taille de l'information présentée par exemple la carte routière. L'utilisateur dispose ainsi d'un zoom activé par des gestes brefs qui permettent de zoomer les informations de l'écran-image ou les informations représentées.
D'une manière particulièrement préférentielle, les infor- mations présentées seront réduites ou agrandies en fonction de l'augmentation de la distance ; ces informations seront agrandies ou réduites en fonction de la diminution de la distance. Suivant que l'utilisateur déplace le rond d'une certaine manière pour diminuer ou augmenter la distance, les informations, notamment la carte routière ou le détail de la carte routière seront réduits ou agrandis. Suivant une autre caractéristique préférentielle, la varia- tion de la distance est saisie en fonction de la variation du diamètre du rond. Si l'utilisateur déplace sa main en faisant un rond perpendiculaire à l'axe du capteur, en se rapprochant du capteur, le diamètre du rond monte dans l'image saisie par le capteur, ce qui, de manière simple permet de conclure à une réduction de la distance du doigt par rapport au capteur. Suivant une autre caractéristique préférentielle, la repré- sentation des informations n'est modifiée que si le rond saisi est situé entre la pointe de la main et son articulation. Cela garantit qu'effectivement, l'utilisateur utilisera sa main pour former le rond. Cela garantit par exemple que le rond formé par la main de l'utilisateur se distinguera par exemple du bord d'un gobelet ou autre objet à contour circulaire. Les procédés d'exploitation de l'image, connus, permettent d'analyser de manière appropriée l'image du capteur pour déterminer la position du rond par rapport à la main de l'utilisateur. De plus, on fixe ainsi de manière préférentielle que l'utilisateur ne peut zoomer avec ce geste que si la main est introduite dans la zone de capteur selon un angle prédéfini. On réduit ainsi d'autant les erreurs de manoeuvre du dispositif d'entrée. Selon un développement préférentiel de l'invention, la re- présentation des informations n'est modifiée que si le diamètre dépasse au moins une grandeur minimale prédéfinie. L'utilisateur est ainsi obli- gé de faire clairement le geste du rond pour éviter les fausses ma- noeuvres. Suivant une autre caractéristique préférentielle, la repré- sentation des informations n'est modifiée que si le rond est formé avec le doigt et le pouce de la même main. L'exploitation d'image permet de déterminer les extrémités des doigts de la main de l'utilisateur. L'extrémité du pouce est considérée dans le cadre de la présente invention comme étant également une extrémité de doigt. En suivant les extrémités des doigts, on reconnaît que le rond est formé par un doigt et le pouce de la main, ce qui confirme que l'utilisateur souhaite effective- ment cette entrée. De façon particulièrement préférentielle, en plus de la grandeur minimale du diamètre, on détermine également si le rond a une forme circulaire ou pratiquement circulaire. L'utilisateur doit ensuite afficher avec le pouce et les doigts une sorte de forme de loupe ou de cadre symbolique circulaire d'une loupe. Le geste de l'utilisateur est ainsi également un geste intuitif indiquant qu'en formant le cadre de la loupe et en modifiant la distance par rapport à l'écran ou au capteur, il souhaite modifier la dimension de la représentation sur l'écran. L'invention a également pour objet un dispositif d'entrée qui applique le procédé de l'invention. Le dispositif d'entrée comporte à cet effet un capteur à contact tactile, une unité d'affichage, une unité de calcul exploitant les données saisies par le capteur pour reconnaître les entrées respectives et commander l'écran pour qu'il affiche les informations et qu'il modifie la présentation des informations. En découlent les avantages déjà évoqués à propos du procédé. Enfin, l'invention a pour objet un véhicule automobile équipé d'un tel dispositif d'entrée mettant en oeuvre le procédé. Dessins La présente invention sera décrite ci-après, de manière plus détaillée à l'aide des dessins annexés dans lesquels : - la figure 1 montre l'habitacle d'un véhicule équipé d'un dispositif d'entrée avantageux, et - les figures 2A-2C montrent un exemple de réalisation pour l'exécution d'une entrée dans le dispositif d'entrée au cours de plu- sieurs étapes. Description de modes de réalisation La figure 1 est une représentation schématique de l'habitacle d'un véhicule non détaillé. Il comporte un dispositif d'entrée 2 pour entrer des commandes sans faire de contact tactile. Le dispositif d'entrée comporte à cet effet un capteur 3 fonctionnant sans contact tactile ainsi qu'une unité d'affichage 4. L'unité d'affichage 4 est intégrée dans le tableau de bord ou dans la console du véhicule 1. L'unité d'affichage 4 a, dans le cas présent un écran 10, notamment un afficheur qui fait par exemple partie d'un système de navigation ou d'un équipement de loisir du véhicule 1. On peut également envisager de réa- liser l'unité d'affichage 4, en variante ou en plus, comme afficheur tête haute (HUD). Le capteur 3 fonctionnant sans contact tactile est de préférence sous la forme d'une caméra vidéo fonctionnant en deux dimensions ou d'une installation de caméras avec la zone de saisie représentée par les traits interrompus 7. La caméra vidéo est de préfé- rence orientée pour être dirigée sur le côté frontal de l'accoudoir central 5 du véhicule 1. L'accoudoir 5 lui-même n'a pas de surface d'entrée proprement dite par laquelle le conducteur pourrait entrer avec sa main 6 représentée schématiquement, un ordre en touchant la surface d'entrée.
Le dispositif d'entrée 2 est en revanche réalisé pour saisir la position et/ou la variation de position d'au moins un doigt de la main 6 dans l'espace et de reconnaître en fonction de cette variation, une entrée et exécuter cette entrée.
Il est prévu ici que le capteur 3 surveille la main 6 qui se trouve dans sa zone de saisie pour déterminer si le doigt 8 forme un rond avec le doigt 9. Pour cela l'image saisie par le capteur 3 est vérifiée ou surveillée pour saisir un contour de rond, fermé. Si le capteur 3 utilise une caméra vidéo, mono, la position des extrémités des doigts éga- l() lement celle du pouce sont des points bidimensionnels. Pour détecter le geste décrit précédemment, il est avantageux que les doigts 8 et les pouces 9 se trouvent dans un plan perpendiculaire à l'axe optique de la caméra du capteur 3 car ainsi la saisie se fait particulièrement bien. Il n'est pas nécessaire alors de déterminer la profondeur, c'est-à-dire la 15 distance absolue effective des doigts 8, 9 par rapport au capteur 3. En combinaison avec un procédé de poursuite, on peut calculer l'évolution dans le temps des extrémités des différents doigts et de l'ensemble de la main 6 dans une certaine fenêtre de temps pour en déduire de nouveau une trajectoire et vecteur directionnel. Si l'on a qu'un seul vecteur direc- 20 tionnel, par exemple extrait du décalage du centre de gravité du contour de la main, on pourra interpréter la longueur et l'angle du vecteur directionnel, directement comme geste d'essuyage. Si l'on a plusieurs vecteurs directionnels, on détermine en plus l'axe principal, par exemple, par une transformation de l'axe principal pour déterminer le vecteur 25 global et son angle. Le champ des vecteurs directionnels peut par exemple se calculer en fonction du flux optique. Dans cette solution, il n'est pas nécessaire de segmenter de manière explicite, la main. La longueur, c'est-à-dire l'intensité des gestes d'essuyage peut se déterminer ensuite, par exemple en formant une simple moyenne des vecteurs di- 30 rectionnels. Les nombreuses fonctions des systèmes d'information actuels dans un véhicule et notamment dans un véhicule automobile permettent à l'utilisateur d'agrandir ou de réduire (zoom) le contenu de l'image, c'est-à-dire les informations présentées sur l'écran. Dans le cas 35 d'une saisie sans contact tactile de gestes d'entrée, on ne pourra appli- quer les gestes classiques utilisés sur les capteurs sensibles au contact car ils reposent sur leur exécution sur la surface. Malgré l'absence d'une surface réelle, le procédé selon l'invention permet, d'agrandir ou de diminuer par le mouvement de la main 6, à l'aide de gestes intuitifs de l'utilisateur, le contenu de l'image de l'unité d'affichage 4 avec l'écran 10. Comme déjà indiqué, en exploitant les données d'images du capteur 3 on saisit ici le pouce 9 et l'index 8 qui forment un rond, notamment un rond circulaire. Ce rond est proche de la forme circulaire d'une loupe ou d'un cadre de loupe et l'utilisateur comprend cela de manière intuitive. Si le dispositif d'entrée 2 détecte que l'utilisateur qui a formé le rond avec un diamètre dépassant une grandeur minimale prédéfinie, le dispositif d'entrée 2 passera en mode zoom. On surveille alors si l'utilisateur déplace la main en direction du capteur 3 ou en s'écartant de celui-ci. Il est notamment prévu que la réduction de la dis- tance du doigt 8 et du pouce 9 par rapport au capteur 2 se traduit par un agrandissement des informations représentées sur l'écran 10 ; pour zoomer en réduction et en agrandissant la distance sera interprétée pour réduire les informations présentées (dézoomées). Dès qu'il est saisi que le rond fermé a disparu du fait que l'utilisateur écarte de nouveau les extrémités du pouce 9 et l'index 8, le mode zoom s'arrête. Lever et abaisser la main 6 n'a plus alors d'influence sur le mode zoom de la représentation des informations. Les figures 2A-2C montrent des exemples de gestes à ef- fectuer avec la main pour qu'ils soient saisis par le dispositif d'entrée 2 et permettent de modifier la taille des informations représentées. Pour cela, les figures 2A-2C montrent l'image saisie par le capteur de caméra 3. Tout d'abord, l'utilisateur déplace sa main 6 dans la zone de saisie de capteur 3 comme le montre la figure 2A. L'utilisateur main- tient sa main 6 dans une position neutre, par exemple comme celle présentée avec des doigts allongés, rapprochés de sa main 6. Ensuite, l'utilisateur bouge sa main 6 suivant le geste de la loupe décrit ci-dessus pour que l'index 8 et le pouce 9 forment en combinaison, un rond comme celui de la figure 2B. L'utilisateur tourne sa main de façon que le rond se trouve dans un plan aussi perpendiculaire que possible à l'axe optique du capteur 3. Si l'utilisateur déplace alors sa main 6 en direction du capteur comme le montre la flèche 11 ou va dans la direction s'éloignant du capteur 3 comme l'indique la flèche 12, alors le dispositif d'entrée 2 reconnait un geste de zoom et agrandit les informations représentées (zoomées) lorsque la main est déplacée dans la direction de la flèche 11 ou (dézoomées) réduire les informations représentées si le dispositif reconnaît un mouvement dans la direction de la flèche 12.
Si la direction du mouvement de la main est parallèle à l'axe optique de la caméra du capteur 3, mais qu'il n'y a pas d'information de profondeur, connue, avantageusement on surveille le diamètre du rond formé avec le doigt et l'index 8 pour détecter des variations. Si l'utilisateur bouge sa main 6 en direction du capteur à ca- méra 3, l'image de caméra agrandira le rond formé entre le pouce 9 et l'index 8. Si l'utilisateur bouge sa main en l'éloignant du capteur suivant la flèche 12, le rond diminue, ce qui permet simplement de saisir la direction de mouvement de la main 6 même sans information de profondeur ou avec des valeurs de distance absolue. Une variation de la distance se traduit ainsi par une variation, notamment un agrandisse- ment ou une réduction de la représentation de l'information sur l'écran 10. Il est notamment prévu que l'agrandissement ou la réduction seront proportionnels à la variation de la distance entre la main 6 et le capteur de sorte que l'utilisateur aura une bonne sensation / retour du service du dispositif d'entrée 2. Lorsque l'utilisateur a terminé son entrée et que le contenu de l'écran-image lui est représenté avec une dimension qui lui convient, il déplace de nouveau sa main dans la position neutre comme l'indique la figure 2C qui correspond par exemple à la position neutre de la figure 2A. Dès que le rond qui était formé par le pouce 9 et l'index 8 est ouvert, le dispositif d'entrée 2 arrête son mode zoom de sorte que d'autres mouvements de la main vers le capteur ou en s'éloignant du capteur 3, ne seront plus exploités pour l'agrandissement ou la réduction du contenu de l'écran-image.
L'exploitation des données d'images du capteur 3 pour reconnaître le geste zoom sera détaillée ci-après : Tout d'abord on modélise l'arrière-plan selon la technique Zivkovic, Zoran (Zivkovic, Zoran ; « Improved Adaptive Gaussian Mix- ture Model for Background Substration », ICPR, 2004). Il s'agit de l'image saisie par le capteur 3. L'arrière-plan et l'avant-plan sont à ce moment séparés. Comme arrière-plan on saisit l'image statique ou non variable par le capteur 3 du véhicule. L'image statique sert d'image de référence qui, à tout instant sera retranchée d'une suite d'images cor- respondant à l'image actuelle saisie de sorte que seuls les éléments images ou les pixels de l'image de la différence qui en résulte, seront marqués. Ces éléments d'images diffèrent de l'image du fond, statique, saisie précédemment. Le fond est la main 6 déplacée, et qui est saisie par le capteur 3 comme le montre à titre d'exemple la figure 1.
En variante ou en plus de la modélisation du fond, il est prévu une modélisation de l'avant-plan selon Dadgostar et Sarrafzadeh (Dadgostar, Farhad et Sarrafzadeh, Abdolhossein : «An adaptive realtime skin detector based on Hue thresholding : A comparison on two motion tracking methods » pattern Recognition Letters, 2006, 1342- 1352) ; dans cette modélisation on saisit les régions caractéristiques de l'avant-plan pour la reconnaissance de la main par des modèles spéciaux de couleur de la peau et en fonction de la différence de couleur, on reconnait la main et le fond. En se fondant sur les données recueillies par la modélisa- tion de l'avant-plan et/ou du fond on détermine le contour de la main 6 et notamment le centre de gravité du contour de la main. De façon avantageuse, on applique une segmentation du contour de la main selon Suzuki et Abe (Zuzuki S. et Abe, K. : Topological Structural Analysis of Digitized Binary Images by Border Following CVGIP, 1985, 32-46).
Ensuite, on reconnait les extrémités des doigts de la main 6 et ainsi les différents doigts. Cela se fait de préférence en fonction des courbures saisies du contour de la main comme par exemple selon Malik (Malik Shahzad : « Real-time Hand Tracking and Finger Tracking for Interaction », Toronto : C5C2503F Project Report, University of Toronto, 2003).
En variante on peut également appliquer la modélisation de la main selon Liu et Lovell (Liu, Nianjun et Lovell, Brian C « Hand Gesture Extraction by Active Shape Models », Proceedings of the Digital Image Computing On Techniques and Applications, 2005). On détecte alors à la fois la main et les extrémités des doigts (Lee, J. et Kunii, T. L.: « Model-Based Analysis of Hand Posture », TEE Computer Graphics and Applications, 1995, 77-86). En se fondant sur des extrémités des doigts déterminées on calcule de nouveau des contours fermés et les centres de gravité re- présentent la position finale des extrémités des doigts. Si plusieurs fausses extrémités de doigts ont été détectées par une sur-segmentation, on les rejette en s'appuyant sur des procédés heuristiques, géométriques et sur la distance par rapport au centre de gravité de la main. Pour cela, on détermine de manière simple les différentes extrémités des doigts de la main 6. A la fois l'ensemble de la main 6 et aussi les extrémités des doigts peuvent être suivis par des procédés de poursuite tels que par exemple celui de Do, Asfour et dillmann (Do, Martin ; Asfour, Tamim ; et Dillmann, Rüdiger : « Particle Filter-Based Fingertip Tracking with Circula rough Transformer Features » MVA, 2011) peut se faire avec des procédés de classification standardisés et indépendamment de chaque image d'une séquence comme (Lockton, R. et Fitzgibbon, A.W. : « Real-time gesture recognition using deterministic boosting », BMVC, 2002) ou (Nagi, Jawad et al. « Max-Pooling Convolutional Neural Net- works for Vision-based Hand Gesture Recognition » ICSIPA, 2011, 342- 347). Les procédés de modélisation de séquences en probabilité permettent à la fois de reconnaître des gestes statiques simples (Dreuw, Phillippe ; Keysers, Daniel ; Deselaers, Thomas et Ney, Hermann : « Gesture Recognition Using Image Comparision Methods », International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124-128) ou des gestes dynamiques plus complexes (Dreuw, Philippe ; Rybach, David ; Deselaers, Thomas ; Zahedi, Morteza et Ney, Hermann. » Speech Recognition Techniques for a Sign Language Recognition System », Interspeech, Antwerp, Belgium, 2007, 2513-2516), qui ne s'appuient pas nécessairement sur la segmentation de contour de main déjà effectuée comme entrée, mais utilisent l'ensemble de l'image à l'aide de caractéristiques fondées sur des apparitions. Des procédés analogues que l'on peut également exploiter sont fondés sur une analyse du flux optique (Cutler, R. et Turk, M. : « View-Based Interpreta- tion on Real-Time Optical Flow for Gesture Recognition », TEE International Conference on Automatic Face and Gesture Recognition, Nara, Japon, 1998). En se construisant à partir du contour de la main et des extrémités de doigts reconnues, on effectue de préférence la détection du geste de la loupe en s'appuyant sur deux types. Tout d'abord après avoir troué le masque de l'avant-plan trous qui sont entourés par le rond fermé, suivant la manipulation à la main de l'utilisateur on voit le fond à travers des cercles. On obtient ainsi une surface formée de pixels de fond qui sont complètement encadrés par des pixels en plan (enca- drement circulaire). Pour être reconnu comme geste de la loupe, il faut que le trou dépasse une certaine taille minimale et se trouve dans une certaine zone de l'avant-plan, par exemple entre la pointe de la main et le centre de gravité du contour de la main. Le contour de la main s'obtient alors tout d'abord exclusivement à partir de l'arête entre l'avant-plan et l'arrière-plan. En plus on peut reconnaître les bords dans l'avant-plan à l'aide d'autres procédés de reconnaissance d'arête, par exemple la détection Canny-Edge et ajouter le contour de la main. Dans ce cas, le contour résultant dépasse le rond formé par le geste de la loupe, les extrémités du pouce 9 et de l'index 8 seront toujours re- connus ; les extrémités des doigts (Blobs) seront obtenus en fonction du contour en des points communs là où les doigts 9, 8 se touchent. Le trajet entre les points de contact forme le rond à reconnaître et peut être exploité en dimensions et en formes. Dès que le cercle formé ou le rond formé est trouvé, on peut observer ses dimensions ou son diamètre en fonction du temps et saisir le mouvement d'approche ou le mouvement d'écartement de la main 6 par rapport au capteur 3. Si le capteur 3 permet de déterminer les informations de profondeur on peut renoncer à la poursuite de la variation de dimension du diamètre en ce qu'on détermine directement la distance ou la varia- tion de distance entre la main ou les doigts 8 et/ou 9 et on l'utilise pour régler ou modifier la dimension des informations présentées.5

Claims (5)

  1. REVENDICATIONS1°) Procédé de gestion d'un dispositif d'entrée (2), notamment d'un véhicule (1) comportant au moins un capteur (3) fonctionnant sans contact tactile pour saisir une position et/ou une variation de position d'au moins un doigt (8) d'une main (6) de l'utilisateur ainsi qu'une unité d'affichage (4) pour afficher des informations, et l'entrée est détectée et exécutée, en fonction de la position et/ou de la variation de position saisies, procédé caractérisé en ce que si le capteur (3) saisit un rond formé avec les doigts (8), le procédé mo- difie la représentation des informations affichées par l'unité d'affichage (4) en fonction de la variation entre la distance du doigt (8) et du capteur (3) et/ou de l'unité d'affichage (4).
  2. 2°) Procédé selon la revendication 1, caractérisé en ce que la dimension des informations représentées est modifiée en fonction de la variation de la distance.
  3. 3°) Procédé selon la revendication 1, caractérisé en ce que les informations représentées sont réduites ou agrandies selon l'augmentation de la distance ou sont agrandies ou réduites selon la diminution de la distance.
  4. 4°) Procédé selon la revendication 1, caractérisé en ce qu' on saisit la variation de distance en fonction de la variation du diamètre du rond.
  5. 5°) Procédé selon la revendication 1, caractérisé en ce que la représentation des informations n'est modifiée que si le rond saisi est formé entre la pointe de la main et l'articulation de la main (6).356°) Procédé selon la revendication 1, caractérisé en ce que la représentation des informations n'est modifiée que si le diamètre du rond dépasse une dimension minimale prédéfinie. 7°) Procédé selon la revendication 1, caractérisé en ce que la représentation des informations n'est modifiée que si le rond est formé avec le doigt (8) et le pouce (9) de la main (6). 8°) Procédé selon la revendication 1, caractérisé en ce que la représentation des informations n'est modifiée que si le rond a une forme circulaire ou pratiquement circulaire. 15 9°) Dispositif d'entrée (2) pour un véhicule, notamment un véhicule (1) automobile ayant au moins un capteur fonctionnant sans contact tactile (3) pour saisir une position et/ou une variation de position d'au moins un doigt (8) d'une main (6) de l'utilisateur ainsi qu'une unité 20 d'affichage (4) pour afficher les informations, et en fonction de la posi- tion saisie / ou de la variation de position une entrée sera détectée et exécutée, dispositif d'entrée caractérisé en ce qu' il applique le procédé selon l'une quelconque des revendications 1 à 8, 25 selon lequel si le capteur saisi a un rond formé avec les doigts (8), on modifie la représentation des informations affichées par l'unité d'affichage (4) en fonction de la variation entre la distance du doigt (8) et du capteur (3) et/ou de l'unité d'affichage (4). 30 10°) Véhicule automobile (2) équipé d'un dispositif d'entrée (2) selon la revendication 9. 10 35
FR1562738A 2014-12-19 2015-12-18 Procede de gestion d'un dispositif d'entree et ainsi que dispositif d'entree applique a un vehicule automobile pour la mise en oeuvre du procede Pending FR3030798A1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014226553.3A DE102014226553A1 (de) 2014-12-19 2014-12-19 Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung, Kraftfahrzeug

Publications (1)

Publication Number Publication Date
FR3030798A1 true FR3030798A1 (fr) 2016-06-24

Family

ID=56099509

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1562738A Pending FR3030798A1 (fr) 2014-12-19 2015-12-18 Procede de gestion d'un dispositif d'entree et ainsi que dispositif d'entree applique a un vehicule automobile pour la mise en oeuvre du procede

Country Status (4)

Country Link
CN (1) CN105718188A (fr)
DE (1) DE102014226553A1 (fr)
FR (1) FR3030798A1 (fr)
IT (1) ITUB20159290A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523679A (zh) * 2024-01-08 2024-02-06 成都运达科技股份有限公司 一种驾驶员手势识别方法、系统及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568507A (en) * 2017-11-17 2019-05-22 Jaguar Land Rover Ltd Vehicle Controller
DE102018214784A1 (de) 2018-08-30 2020-03-05 Audi Ag Verfahren zum Darstellen mindestens eines Zusatzanzeigeinhalts
CN112753005B (zh) * 2019-08-30 2024-03-01 谷歌有限责任公司 移动设备的输入方法
JP2021133877A (ja) * 2020-02-28 2021-09-13 株式会社Subaru 車両の乗員監視装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327977A1 (en) * 2006-03-22 2009-12-31 Bachfischer Katharina Interactive control device and method for operating the interactive control device
US20120105315A1 (en) * 2006-08-08 2012-05-03 Microsoft Corporation Virtual Controller For Visual Displays
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101405177A (zh) * 2006-03-22 2009-04-08 大众汽车有限公司 交互式操纵装置和用于运行所述交互式操纵装置的方法
US9377867B2 (en) * 2011-08-11 2016-06-28 Eyesight Mobile Technologies Ltd. Gesture based interface system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327977A1 (en) * 2006-03-22 2009-12-31 Bachfischer Katharina Interactive control device and method for operating the interactive control device
US20120105315A1 (en) * 2006-08-08 2012-05-03 Microsoft Corporation Virtual Controller For Visual Displays
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523679A (zh) * 2024-01-08 2024-02-06 成都运达科技股份有限公司 一种驾驶员手势识别方法、系统及存储介质

Also Published As

Publication number Publication date
CN105718188A (zh) 2016-06-29
DE102014226553A1 (de) 2016-06-23
ITUB20159290A1 (it) 2017-06-17

Similar Documents

Publication Publication Date Title
FR3030798A1 (fr) Procede de gestion d'un dispositif d'entree et ainsi que dispositif d'entree applique a un vehicule automobile pour la mise en oeuvre du procede
You et al. Adherent raindrop modeling, detection and removal in video
JP7061685B2 (ja) 動作認識、運転動作分析の方法及び装置、並びに電子機器
US20190025773A1 (en) Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
Parada-Loira et al. Hand gestures to control infotainment equipment in cars
CN110765807B (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
CN111565978A (zh) 主预览区域和基于视线的驾驶员分心检测
FR2997046A1 (fr) Systeme d'assistance de conduite et son procede de gestion
Langner et al. Traffic awareness driver assistance based on stereovision, eye-tracking, and head-up display
EP3271869B1 (fr) Procédé de traitement d'un signal asynchrone
Borghi et al. Hands on the wheel: a dataset for driver hand detection and tracking
CN114170826B (zh) 自动驾驶控制方法和装置、电子设备和存储介质
FR3028967A1 (fr) Interface graphique et procede de gestion de l'interface graphique lors de la selection tactile d'un element affiche
CN112668428A (zh) 车辆变道的检测方法、路侧设备、云控平台和程序产品
EP3814981A1 (fr) Procédé et appareil de vision artificielle
CN111767843A (zh) 三维位置预测方法、装置、设备以及存储介质
Mishra et al. Sensing accident-prone features in urban scenes for proactive driving and accident prevention
CN105759955B (zh) 输入装置
CN107567609B (zh) 用于运行输入设备的方法、输入设备、机动车
CN104156069B (zh) 对象拾取方法、对象拾取装置及用户设备
CN112835484A (zh) 基于操作体的动态显示方法、装置、存储介质及电子设备
KR102348123B1 (ko) 카메라 렌즈 오염 경고 장치 및 방법
Kopinski et al. A light-weight real-time applicable hand gesture recognition system for automotive applications
Arvind et al. Vision based speed breaker detection for autonomous vehicle
WO2016071171A1 (fr) Procede et dispositif de changement de point de vue d'une carte tridimensionnelle (3d) ou d'une image d'un objet physique tridimensionnel (3d) observe par reconnaissance d'une gestuelle sur un ecran tactile multi-points

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLFP Fee payment

Year of fee payment: 3

PLSC Publication of the preliminary search report

Effective date: 20180112