FR2920892A1 - Systeme de pointage et de controle sans contact - Google Patents

Systeme de pointage et de controle sans contact Download PDF

Info

Publication number
FR2920892A1
FR2920892A1 FR0706406A FR0706406A FR2920892A1 FR 2920892 A1 FR2920892 A1 FR 2920892A1 FR 0706406 A FR0706406 A FR 0706406A FR 0706406 A FR0706406 A FR 0706406A FR 2920892 A1 FR2920892 A1 FR 2920892A1
Authority
FR
France
Prior art keywords
computer
reprocessing
controller
automatic control
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR0706406A
Other languages
English (en)
Inventor
Bernard Martinez
Fakhroo Aziz Aluthman
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IDEALYS ENTERTAINMENT SOC RESP
Original Assignee
IDEALYS ENTERTAINMENT SOC RESP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IDEALYS ENTERTAINMENT SOC RESP filed Critical IDEALYS ENTERTAINMENT SOC RESP
Priority to FR0706406A priority Critical patent/FR2920892A1/fr
Publication of FR2920892A1 publication Critical patent/FR2920892A1/fr
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G06F3/0423Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

Dispositif d'interface homme/machine. Dispositif de commande gestuelle ou dispositif de pointage et/ou de contrôle qui permet à un utilisateur, par un geste, un mouvement ou un déplacement dans un espace donné, de commander un écran ou une surface ou tout autre espace. L'écran, la surface ou l'espace dédié sont alors rendus interactifs, en l'absence même d'un quelconque contact physique direct de l'utilisateur.Le procédé de commande met en oeuvre un dispositif de commande gestuelle consistant à capter des mouvements de l'utilisateur situé dans un espace donné (la zone de capture); à mesurer et traiter les mouvements afin de déterminer les commandes à appliquer sur l'écran ou la surface paramétrée ou l'espace dédié ; à appliquer les actions initialement commandées par l'utilisateur.Système comportant un boîtier relié à un ordinateur. Le boitier est principalement composé d'un capteur rotatif laser qui va détecter le mouvement, le traiter et contrôler le pointeur ou le contrôleur de l'ordinateur afin de permettre la réalisation de l'action sur l'écran ou la surface.

Description

La présente invention concerne un dispositif d'interface homme/machine. Il s'agit d'un dispositif de commande gestuelle ou dispositif de pointage qui permet à un utilisateur, par un geste dans un espace donné, de commander un écran ou une surface paramétrée. L'écran ou la surface sont alors rendus interactifs, en l'absence même d'un quelconque contact physique direct de l'utilisateur. L'invention s'applique, notamment, à la commande d'un écran par l'intermédiaire d'un ordinateur dont le curseur va être automatiquement contrôlé.
Elle peut également s'appliquer, cumulativement ou alternativement, à la commande d'animations multi sensorielles et notamment visuelles, sonores et/ou olfactives. Pour déplacer un pointeur sur un écran d'affichage, sélectionner des zones d'affichage ou déclencher des animations, ont été développés à cet effet des systèmes de souris, de surface sensible au toucher, de manche à balai, de boules roulantes ou d'ensemble de boutons. Ces systèmes présentent des difficultés en termes d'ergonomie puisqu'ils nécessitent une surface horizontale sur laquelle ils sont posés et doivent se trouver à proximité de l'appareil à commander. D'autres dispositifs de commande vont nécessiter la prise en main, par l'utilisateur d'un objet à l'origine de la commande.
Le dispositif de commande du brevet US 5 737 360, par exemple, comprend un boîtier de forme ovoïde destiné à être tenu par la main de l'utilisateur. Celui du brevet US WO 00/63874 exige qu'un tel objet soit relié, par une liaison filaire, à un ordinateur. D'autres systèmes de commande gestuelle ont été développés en utilisant des capteurs portés 25 par l'homme ou connectés à l'appareil à commander. Le système décrit dans le brevet US 6 275 214 met en oeuvre une caméra connectée à l'appareil à commander et un pointeur laser porté par l'utilisateur qui projette sur un écran d'affichage un spot laser détecté par un système d'analyse d'image relié à la caméra. Le dispositif de pointage décrit par le brevet US 5 703 623 permet quant à lui, de détecter des 30 changements de position et/ou d'orientation et des moyens de calcul couplés aux capteurs de mouvements mais suppose que l'utilisateur soit muni de ces capteurs. Celui décrit par le brevet FR 2858073, requiert, lui aussi, un équipement préalable de l'utilisateur puisqu'il exige de celui-ci qu'il porte le dispositif de commande. L'importance des moyens nécessaires à la mise en oeuvre de ces dispositifs de commande, 35 l'exigence d'équiper, d'une façon ou d'une autre l'utilisateur limitent leur utilisation. En outre, les dispositifs de pointage réalisés à partir de capteurs sont limités aux capacités de détection des capteurs dans l'espace. Ils sont donc cantonnés à être appliqués à des petites surfaces. La présente invention a pour objet de supprimer ces inconvénients.
Cet objectif est atteint par la prévision d'un procédé de commande d'un écran ou d'une surface paramétrée. Le procédé de commande met en oeuvre un dispositif de commande gestuelle consistant à capter des mouvements de l'utilisateur situé dans un espace donné (la zone de capture) ; à mesurer et traiter les mouvements afin de déterminer les commandes à appliquer sur l'écran ou la surface paramétrée ; à appliquer les actions initialement commandées par l'utilisateur. Le dispositif selon l'invention permet ainsi de transformer aisément et rapidement tout écran ou toute surface interactive, dont la taille peut aller, en fonction du paramétrage et grâce à l'ouverture angulaire du capteur laser à 180 degrés, jusqu'à 80 mètres. Par le système selon l'invention le bras, le doigt ou la main de l'utilisateur se comporte comme une souris d'ordinateur ou comme un contrôleur. Le dispositif selon l'invention permet donc de capturer les mouvements de l'utilisateur (ci-après dénommés objet interacteur ) en temps réel et, pour tout type de contenu standard, de substituer à la souris classique le doigt, la main ou le bras de l'utilisateur évoluant dans l'espace ou encore de contrôler tout type d'animation interactive ou objet. Ce même bras, doigt ou main ou encore objet ne nécessite, par ailleurs, aucun équipement préalable de l'utilisateur. Les figures 3 à 6 annexées illustrent différentes utilisations possibles du dispositif selon l'invention. La figure 3 décrit une projection ou un affichage sur une surface de grande taille, à partir du contrôle de l'utilisateur, situé à distance.
La figure 4, décrit la même projection que dans la figure 3 mais à partir du contrôle de l'utilisateur, situé juste devant la surface interactive. La figure 5 illustre quant à elle une autre utilisation possible du dispositif selon l'invention : l'éclairage d'une vitrine à l'initiative d'un utilisateur situé de l'autre coté de la vitrine, dans la rue. L'animation visuelle est permise par le toucher de la vitre, rendue interactive, par l'utilisateur. La figure 6 montre le dispositif selon l'invention, lorsque celui-ci est appliqué à une grande surface, divisée en zone de capture d'une part, et en zone d'interactivité d'autre part. Le dispositif comporte un boitier constitué par un capteur rotatif laser et optionnellement une interface de conversion RS 422/USB ou Ethernet ou toute autre connectique appropriée.35 Le boitier est relié à un ordinateur dont la commande automatique du pointeur ou du contrôleur est permise par un logiciel. Ce dernier réalise également le panneau de configuration Windows.
Le dispositif de l'invention se décompose en plusieurs phases numérotées et détaillées schématiquement comme suit : Un objet interacteur (1) initié par l'utilisateur dans la zone de capture est détecté (2) puis traité par le boîtier qui va d'abord opérer un traitement informatique afin de convertir un ensemble de points représentant des valeurs de distance du capteur en un ensemble de points 2D exprimés en données cartésiennes (3). Ensuite, le boîtier, par des procédés de lissage de trajectoire et de seuillage du mouvement, va retraiter la position de l'objet interacteur afin de la rendre utilisable (4). Le boîtier pourra alors répercuter les résultats du traitement sur l'ordinateur grâce au contrôle du déplacement et du clic du curseur de l'ordinateur (5) qui permettra de lancer l'action initialement commandée par l'utilisateur (6). (1) Objet interacteur (2) Détection ù>(3) Conversion ù> (4) Lissage et seuillage -45) Commande du curseur contrôleur de l'ordinateur (6) [Réalisation de l'action commandée La figure 1 annexée représente la phase de détection (2) de l'objet interacteur (A). En référence à ce dessin, le dispositif comporte un boitier (A) relié à un ordinateur (B).
Ce boitier va détecter l'objet interacteur (C) dans une zone de capture (D) composée d'un ensemble de points (E) relevés par le boitier. Le boîtier comprend : - Des moyens de captation sans contact d'un plan 2D dans l'espace 3D. Le plan 2D est échantillonné de manière semi-circulaire, c'est-à-dire que le capteur relève la distance entre lui-même et le premier objet interacteur qui entre en intersection avec le plan de capture dans un angle donné sur une plage typique de 70° ou 180° selon le type de capteur utilisé. - Des moyens de communication entre le capteur et l'ordinateur, notamment via une liaison usb, ethernet, RS 422 ou tout autre connexion. - Des premiers moyens de traitement informatique pour convertir un ensemble de points représentant des valeurs de distance d'un point fixe- le capteur - échantillonnés de manière demi-circulaire, sur un angle de 180°, en un ensemble de points 2D exprimés en coordonnées cartésiennes notamment : ^ une sélection des points par critère d'appartenance à la zone configurée comme étant la zone de capture dans l'espace ; ^ une sélection de points les plus proches du capteur, ceux là étant les points relevés dans le voisinage de l'objet interacteur ; ^ une sélection de points avec des critères de distance maximum avec le point le plus proche. Les points sous le seuil de distance sont sélectionnés, les autres ne le sont pas. - Des moyens de retraitement de la position (coordonnées (x ; y) afin de la rendre plus utilisable. Ces moyens comprennent notamment : ^ le lissage de la trajectoire afin de la rendre moins sensible aux petites variations non 10 souhaitées. Ce lissage est configurable. ^ le seuillage du mouvement afin de rendre immobile le pointeur ou le contrôleur si le mouvement dans la zone de capture est inférieur au seuil de distance. - Des moyens de contrôle automatique de la souris ou du contrôleur de l'ordinateur (PC/Windows). 15 - Des moyens de gestion du clic sur des critères d'immobilité ou de vitesse du pointeur : L'utilisateur clique soit en maintenant le pointeur immobile via l'immobilité de son doigt ou de son bras soit en double cliquant, selon les paramètres enregistrés grâce au logiciel. - Des moyens de gestion de l'activation de commandes sur des critères de zones : certaines zones déterminées et configurables activent des commandes configurables elle aussi. 20 - Des moyens de configuration du système sous la forme d'un panneau de contrôle. Selon un mode de réalisation de l'invention, le système est caractérisé en ce que les moyens de captation d'un plan dans l'espace sont constitués d'un télémètre rotatif laser (mesure de la distance par temps de vol) : capteur SICK LMS 200 - 180°-entre 0 et 80 mètres. Selon un autre mode de réalisation, le système est caractérisé en ce que les moyens de 25 captation d'un plan dans l'espace sont constitués d'un télémètre rotatif laser (mesure de la distance par décalage de phase) : capteur SICK LMS 400 - 70°- entre 0.7 et 3 mètres. Le dispositif selon l'invention comprend en plus du boîtier, un logiciel dont le rôle est d'établir la communication avec le capteur, de traiter les points mesurés et d'envoyer les messages de contrôle du pointeur ou du contrôleur au système. Ce logiciel permet également 30 de configurer le système. Le dispositif selon l'invention se révèle notamment adapté aux domaines suivants : domaine de la communication interactive à grand échelle, architecture, urbanisme ; domaine de l'évènementiel (salons, expositions, séminaires, colloques, défilés, concerts, vitrines commerciales...) ; domaine culturel. 35 Il permet de rendre interactifs des écrans (LCD, plasma, LEDs, projecteur ou rétroprojecteur) et toute surface paramétrée (espace, meuble, mur, bâtiment, tableau, bateau...). Plusieurs modes d'utilisation sont possibles et sont illustrés par la figure n° 2 annexée.
Le boîtier peut être placé au sol, au mur, au plafond, la fenêtre de capture dirigée vers le haut, le côté et le bas. Le boîtier peut également être placé au-dessus mais aussi à gauche ou à droite de la zone de capture. Dans tous les cas, les mouvements de l'objet interacteur effectués dans la zone de capture sont reproduits sur l'ordinateur par l'intermédiaire de déplacements et/ou clics du pointeur et/ou 10 activation de commandes. Le dispositif est par la même totalement compatible avec tout contenu et notamment avec les sites internet, applications, contenus flash, animations 3D, systèmes d'éclairage, systèmes sonores et olfactifs.

Claims (1)

  1. REVENDICATIONS I) Système permettant de rendre interractif (sans contact physique direct) un écran, une surface ou tout espace par un mouvement dans l'espace caractérisé en ce qu'il comprend : Un boîtier lié à un ordinateur et composé de : - moyens de captation sans contact d'un plan 2D dans l'espace 3D constitués d'un capteur type télémètre rotatif laser . - moyens de communication entre le capteur et l'ordinateur, notamment via une liaison usb, ethernet, RS 422 ou tout autre connexion. - premiers moyens de traitement informatique pour convertir un ensemble de points exprimés en coordonnées polaires vers des coordonnées cartésiennes (x;y). - moyens de détection et d'analyse des points pour déterminer la position de l'objet interacteur. - moyens de retraitement de la position (coordonnées (x;y) afin de la rendre plus utilisable, parmi lesquels le lissage et l'aimantage de la position courante. - moyens de contrôle automatique de la souris ou du contrôleur de l'ordinateur (PC / Mac Windows). II) Système selon la revendication I caractérisé en ce que les moyens de captation d'un plan 2D dans l'espace 3D sont constitués d'un capteur de type télémètre rotatif laser , de son interface de communication (boîtier RS422-USB ou interface Ethernet IP), de son logiciel (commande de la souris ou du contrôleur et panneau de configuration Windows).
FR0706406A 2007-09-12 2007-09-12 Systeme de pointage et de controle sans contact Pending FR2920892A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR0706406A FR2920892A1 (fr) 2007-09-12 2007-09-12 Systeme de pointage et de controle sans contact

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0706406A FR2920892A1 (fr) 2007-09-12 2007-09-12 Systeme de pointage et de controle sans contact

Publications (1)

Publication Number Publication Date
FR2920892A1 true FR2920892A1 (fr) 2009-03-13

Family

ID=39720492

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0706406A Pending FR2920892A1 (fr) 2007-09-12 2007-09-12 Systeme de pointage et de controle sans contact

Country Status (1)

Country Link
FR (1) FR2920892A1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455669A (en) * 1992-12-08 1995-10-03 Erwin Sick Gmbh Optik-Elektronik Laser range finding apparatus
US5789739A (en) * 1995-10-26 1998-08-04 Sick Ag Optical detection device for determining the position of an indicator medium
US6411278B1 (en) * 1999-03-19 2002-06-25 Mitsubishi Denki Kabushiki Kaisha Coordinated position control system, coordinate position control method, and computer-readable storage medium containing a computer program for coordinate position controlling recorded thereon
US20030160155A1 (en) * 2001-10-09 2003-08-28 Liess Martin Dieter Device having touch sensitivity functionality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455669A (en) * 1992-12-08 1995-10-03 Erwin Sick Gmbh Optik-Elektronik Laser range finding apparatus
US5789739A (en) * 1995-10-26 1998-08-04 Sick Ag Optical detection device for determining the position of an indicator medium
US6411278B1 (en) * 1999-03-19 2002-06-25 Mitsubishi Denki Kabushiki Kaisha Coordinated position control system, coordinate position control method, and computer-readable storage medium containing a computer program for coordinate position controlling recorded thereon
US20030160155A1 (en) * 2001-10-09 2003-08-28 Liess Martin Dieter Device having touch sensitivity functionality

Similar Documents

Publication Publication Date Title
JP6342458B2 (ja) ビデオにおける改良型の顔面認識
US20230205151A1 (en) Systems and methods of gestural interaction in a pervasive computing environment
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US9274597B1 (en) Tracking head position for rendering content
JP5833231B2 (ja) デバイス相互作用を用いる空間情報の使用
CN105407774B (zh) 自动清扫系统、清扫机器人和控制清扫机器人的方法
US9378581B2 (en) Approaches for highlighting active interface elements
US8891868B1 (en) Recognizing gestures captured by video
CN102163127B (zh) 触敏显示器上的手势
JP2014519665A6 (ja) ビデオにおける改良型の顔面認識
US20120200494A1 (en) Computer vision gesture based control of a device
US20160329006A1 (en) Interactive integrated display and processing device
US20050168448A1 (en) Interactive touch-screen using infrared illuminators
US10306193B2 (en) Trigger zones for objects in projected surface model
US20140139429A1 (en) System and method for computer vision based hand gesture identification
US20150139483A1 (en) Interactive Controls For Operating Devices and Systems
JP2016520946A (ja) 人間対コンピュータの自然な3次元ハンドジェスチャベースのナビゲーション方法
US9129400B1 (en) Movement prediction for image capture
JP2015520471A (ja) ジェスチャー入力のための指先の場所特定
JP2015510648A (ja) 多次元入力のためのナビゲーション手法
Gomez et al. RoboGuideDog: Guiding blind users through physical environments with laser range scanners
CN107430856A (zh) 信息处理系统和信息处理方法
US20110298698A1 (en) Manual human machine interface operation system and method thereof
WO2016053320A1 (fr) Manipulation gestuelle d'images tridimensionnelles
US20160316113A1 (en) Integrated processing and projection device with object detection