EP2451617A2 - Systeme et procede pour generer des comportements contextuels d'un robot mobile - Google Patents

Systeme et procede pour generer des comportements contextuels d'un robot mobile

Info

Publication number
EP2451617A2
EP2451617A2 EP10784435A EP10784435A EP2451617A2 EP 2451617 A2 EP2451617 A2 EP 2451617A2 EP 10784435 A EP10784435 A EP 10784435A EP 10784435 A EP10784435 A EP 10784435A EP 2451617 A2 EP2451617 A2 EP 2451617A2
Authority
EP
European Patent Office
Prior art keywords
robot
editing
control
text
behaviors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP10784435A
Other languages
German (de)
English (en)
Inventor
Bruno Maisonnier
Jérôme MONCEAUX
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aldebaran SAS
Original Assignee
Aldebaran Robotics SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aldebaran Robotics SA filed Critical Aldebaran Robotics SA
Publication of EP2451617A2 publication Critical patent/EP2451617A2/fr
Ceased legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/34Graphical or visual programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)
  • Toys (AREA)
  • Stored Programmes (AREA)

Abstract

L'invention concerne un système et un procédé pour générer des comportements d'un robot apte à reproduire un script, notamment en fonction du sens du script et, éventuellement, de réactions de l'environnement du robot. Pour ce faire, le système est doté d'une bibliothèque de balises de commande et d'un module d'insertion des dites balises dans l'éditeur du script à reproduire par le ou les robots. L'invention permet ainsi à un utilisateur qui n'est pas doté de connaissances particulières en programmation de réaliser des scénarios complexes d'utilisation de son robot. Ces scénarios peuvent également être échangés entre différents utilisateurs.

Description

SYSTEME ET PROCEDE POUR GENERER DES COMPORTEMEMENTS CONTEXTUELS D'UN ROBOT MOBILE La présente invention appartient au domaine des systèmes de programmation de robots. Plus précisément, elle s'applique à la commande de comportements cohérents avec le contexte dans lequel le robot notamment de forme humaine ou animale, évolue, s'exprime et se déplace sur des membres articulés ou non. Un robot peut être qualifié d'humanoïde à partir du moment où il possède certains attributs de l'apparence et des fonctionnalités de l'homme: une tête, un tronc, deux bras, éventuellement deux mains, deux jambes, deux pieds... Une des fonctionnalités susceptibles de donner au robot une apparence et des comportements quasi-humains est la possibilité d'assurer un couplage fort entre expression gestuelle et expression orale. En particulier, parvenir à ce résultat de manière intuitive permettrait à de nouveaux groupes d'utilisateurs d'accéder à la programmation de comportements de robots humanoïdes. Ce problème n'a pas été correctement résolu par l'art antérieur. Dans le domaines des agents virtuels et des avatars, des langages spécialisés dans la programmation de comportements au niveau fonctionnel ou intentionnel, indépendamment des actions physiques tels que le FML (Function Markup Language) ou au niveau de comportements eux-mêmes (qui impliquent plusieurs parties du personnage virtuel pour exécuter une fonction) tel que le BML (Behaviour Markup Language) ne restent accessibles qu'au programmeur professionnel et ne s'intègrent pas avec des scripts écrits en langage de tous les jours. L'invention permet de dépasser ces limitations de l'art antérieur.
Notamment, l'invention permet d'insérer dans un texte parlé par le robot des commandes d'intonation et/ou de comportements associées à l'expression orale, lesdites commandes pouvant être exprimées par exemple de manière graphique.
A cet effet, la présente invention divulgue un système d'édition et de commande de comportements d'au moins un robot comprenant un module d'édition d'un script à reproduire par le robot, un module de synthèse sonore dudit script, une bibliothèque de balises de commande de comportements à exécuter par le robot, un module d'insertion desdites balises dans ledit script et un module de génération et de contrôle des comportements dudit robot, ledit système étant caractérisé en ce que ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant du contenu du script.
Avantageusement, le système d'édition et de commande selon l'invention comprend en outre un module de surveillance de l'environnement du robot et ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant de l'environnement du robot. Avantageusement, la bibliothèque de balises de commande comprend au moins une balise choisie dans le groupe commandes d'attente, commandes de réponse à une action extérieure attendue.
Avantageusement, les balises de commande sont choisies dans le groupe comprenant des symboles graphiques, des signes de ponctuation et des mots.
Avantageusement, une partie des balises de commande est insérée dans le script sous forme d'une liste, chaque article de ladite liste correspondant à un membre de phrase auquel est associé un groupe de comportements.
Avantageusement, une partie des balises de commande est insérée dans le script entre au moins un séparateur d'ouverture et au moins un séparateur de fermeture qui déclenchent respectivement le début d'une suite de comportements et la fin de ladite suite.
Avantageusement, les comportements à exécuter par le robot sont choisis dans le groupe comprenant des combinaisons des modulations des voix lisant le script, des gestes d'accompagnement du script et des émissions de signaux.
Avantageusement, les modulations des voix sont choisies dans un groupe comprenant des combinaisons de langues, de voix, de tonalités, de vitesses et d'intonations différentes.
Avantageusement, le module d'édition de script communique avec le module de contrôle des comportements du robot par un module de messagerie électronique.
Avantageusement, le système d'édition et de commande selon l'invention est apte à dialoguer avec des éléments appartenant à un groupe comprenant des robots physiques, des robots virtuels et des ordinateurs. Avantageusement, les robots appartenant au groupe commandé exécutent chacun une partie du script déterminée par au moins une balise de commande caractéristique de chacun des éléments du groupe.
Avantageusement, le comportement commandé par une balise de commande peut changer selon une méthode choisie dans le groupe comprenant le changement aléatoire, le changement cyclique ou le changement contextuel.
L'invention divulgue également un procédé d'édition et de commande de comportements d'au moins un robot comprenant une étape d'édition d'un script à reproduire par le robot, une étape de synthèse sonore dudit script, une étape de lecture d'une bibliothèque de balises de commande de comportements à exécuter par le robot, une étape d'insertion desdites balises dans ledit script et une étape de contrôle des comportements dudit robot, ledit procédé étant caractérisé en ce que ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant du contenu du script.
L'invention permet de créer des bibliothèques de comportements et de les insérer facilement dans un script de scènes jouées par le robot. En outre, le langage utilisé est formellement très proche de celui qui est utilisé sur Internet et est donc très facilement accessible, sans aucune connaissance ou formation préalables.
L'invention complète également de manière appropriée la demande de brevet française n° 09/53434 relative à un système et à un procédé pour éditer et commander les comportements d'un robot mobile appartenant à la demanderesse. Celle-ci procure des moyens pour faire exécuter des comportements par un robot, lesdits comportements pouvant être commandés soit en utilisant un langage script spécialisé, accessible à des programmeurs, soit de manière graphique en faisant appel à des bibliothèques préprogrammées que l'on peut sélectionner et insérer dans une suite de boîtes de comportements reliées par des événements. L'invention permet de simplifier encore l'interface de programmation des comportements du robot. L'invention sera mieux comprise et ses différentes caractéristiques et avantages ressortiront de la description qui suit de plusieurs exemples de réalisation et de ses figures annexées dont :
- La figure 1 est un exemple de programmation de comportements en utilisant des éléments du langage BML selon un document de l'art antérieur ;
- La figure 2 est un organigramme indiquant les principales étapes du procédé de l'invention dans un de ses modes de réalisation;
- La figure 3 est une vue d'un arbre des balises de commande prévues pour mettre en œuvre l'invention dans un de ses modes de réalisation ;
- La figure 4 est un premier exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation;
- La figure 5 est un deuxième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation ;
- La figure 6 est un troisième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation ;
- La figure 7 est un quatrième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation.
La figure 1 est un exemple de programmation de comportements en utilisant des éléments du langage BML selon un document de l'art antérieur.
La programmation BML s'adresse à un robot virtuel et non à un robot physique. Elle ne génère donc pas de commandes directement exécutables par un robot physique.
En outre, dans la programmation BML, le script qui doit être lu par le robot n'est pas directement accessible à partir de l'éditeur de programmation (Cf l'instruction <sentence>). Ce type d'interface de programmation n'est donc pas accessible à un utilisateur non doté de capacités techniques de programmation. C'est une caractéristique distinctive de l'invention d'être accessible en langage totalement naturel dans lequel le texte qui est reproduit par un robot physique est directement accessible dans l'éditeur de commandes. D'autres caractéristiques distinctives seront détaillées dans la suite de la description. La figure 2 est un organigramme indiquant les principales étapes du procédé de l'invention dans un de ses modes de réalisation.
Le système est apte à contrôler les comportements d'un robot 10 qui peut être un robot humanoïde à deux membres inférieurs et deux membres supérieurs ou un robot ayant l'apparence d'un animal à deux ou quatre membres inférieurs. Les membres du robot peuvent être dotés d'articulations motorisées, contrôlées par des cartes, lui permettant éventuellement de se déplacer selon des commandes qui sont embarquées et interprétées par un ou plusieurs processeurs ou transmises à partir d'un serveur en forme directement exécutable par le ou les processeurs embarqués ou qui doivent être élaborées par lesdits processeurs. Le robot est avantageusement doté d'une tête et d'un corps complétant sa forme humanoïde ou d'animal. Il est également avantageusement doté de capteurs lui permettant de se positionner dans son environnement et de percevoir des signaux sonores ou de mouvement provenant dudit environnement. Le robot peut également avoir d'autres capacités d'action avec son environnement, telles que des sources d'émission de lumière ou de sons, ou encore la possibilité d'agir sur Internet comme par exemple un envoi de mail ou un appel téléphonique ou une modification de l'environnement par communication avec un système de domotique.
Pour mettre en œuvre l'invention, le système d'édition et de commande est doté d'un éditeur de script 20 dans lequel est entré un texte destiné à être reproduit par le robot sous forme de signaux sonores. Cette entrée peut être effectuée directement à l'aide d'un simple clavier d'ordinateur ou par chargement dans le système d'un fichier de type textuel (*.doc, *.txt ou autre) ou d'un fichier html (éventuellement désigné par son adresse URL).. Ces fichiers peuvent également être reçus d'un site distant, par exemple par l'intermédiaire d'un système de messagerie. Pour opérer cette lecture, le système ou le robot sont doté d'un dispositif de synthèse 30 apte à interpréter le texte de l'éditeur de script pour produire des sons, qui peuvent être soit des paroles dans le cas d'un robot humanoïde, soit des sons représentatifs du comportement d'un animal. Le dispositif de synthèse sonore peut également reproduire des sons de fond, par exemple une musique d'ambiance qui, éventuellement, peut-être joué sur un ordinateur distant. Le déclenchement de la lecture d'une histoire peut de se faire lors de la réception d'un événement externe au robot tel que :
- la réception d'un message électronique (mail, SMS, appel téléphonique ou autre message).
- un événement domotique (par exemple, l'ouverture de la porte par quelqu'un, lumière allumée par quelqu'un ou autre événement) Le système comprend une bibliothèque 40 de balises de commande destinées à être insérées dans l'éditeur de script par l'intermédiaire d'un module d'insertion 50. Avantageusement, l'insertion s'opère en faisant glisser (geste « drag and drop » avec une souris connectée à l'ordinateur sur lequel l'éditeur est implanté) la balise de commande choisie dans l'éditeur.
La figure 3 est une vue d'un arbre des balises de commande prévues pour mettre en œuvre l'invention dans un de ses modes de réalisation ;
Les différentes balises de commande sont regroupées par type de comportement à générer dans des répertoires dont certains sont visualisables à côté de l'éditeur de script.
L'arborescence développée à partir du niveau de type le plus élevé est reproduite ci-dessous :
Général
Langue
- Français
- Anglais
- Espagnol
Prosodie
Vitesse
- lente
- moyenne
- rapide
Volume
- faible
- moyen
- fort
Style - cartoon
- normal
- speed Voix
- Heather
- Julie
- Kenny
Organisation
Titres
- Grand Titre
- Sous-titre
- Auteur Structures
- Citation Listes
- Numérotée
- Non-numérotée
Attitudes
- Exclamation
- Interrogation
- Affirmation
- Doute
- Honoré
- Blagueur
Politesse
- Bonjour
- Salut
- Au-revoir - Bisous
Indications
Lieu
- Ici
- Partout - Nulle part
- Loin
- La-bas
- A coté
Temps
- Avant
- Après
- Toujours
- Il y a longtemps
Manière
- Gentiment
- Franchement
Quantité
- Beaucoup
- Un peu
- Trop
- Assez
Négatif
- Ne pas
- Aucun
- Jamais
Mouvements
- Danse
- Marche
- Hourrah
Interactions
- Détection de visage
- Bumper (Appui sur bouton du pied)
- Détection de présence (ultra-sons)
Cette liste n'est pas limitative. Elle peut être enrichie par un éditeur de système d'édition et de commande de robot appliquant les enseignements de la présente invention. Des exemples de types de commandes sont plus particulièrement détaillés ci-dessous:
Formes de lecture du script (ou prosodie): par exemple, la langue dans laquelle le script sera lu, dans le cas d'un robot humanoïde, pourra être choisie (français, anglais, anglo-américain, allemand, russe, etc ..) ; la voix pourra être une voix mâle, femelle ou d'enfant ; la tonalité pourra être plus ou moins grave ou aiguë ; la vitesse pourra être plus ou moins rapide ; l'intonation pourra être choisie en fonction de l'émotion que le robot est susceptible de ressentir en fonction du texte du script (affection, étonnement, colère, joie, remontrance, etc ..) ;
Gestes d'accompagnement du script : par exemple, mouvement des bras vers le haut ou vers l'avant ; frappe d'un pied sur le sol ; mouvements de la tête vers le haut, le bas, à droite ou à gauche, selon l'impression que l'on veut communiquer en cohérence avec le script...
- Emission de signaux : par exemple, si le robot est doté de diodes lumineuses (LED), celles-ci pourront être actionnées pour traduire des émotions fortes « ressenties » par le robot en lisant le texte ou pour générer un clignement des yeux adapté à la forme et à la vitesse d'élocution. Par l'intermédiaire d'un module de génération de comportements 6OA, les balises insérées dans le script génèrent l'exécution des commandes correspondantes par le robot en passant par un module de contrôle 6OB qui peut passer au module de génération des signaux transmis par le robot en réponse aux commandes.
Comme il apparaît à la lecture des exemples cités ci-dessus, une des caractéristiques de l'invention est de permettre la génération automatique de commandes cohérentes avec le contenu du script à lire par le robot. Une première manière de réaliser ce couplage est de disposer de balises de commande liées à la ponctuation : dans ce cas, un point d'interrogation va générer une commande de tonalité cohérente avec le mode interrogatif. De même pour un point d'exclamation. Certains mots ou signes de ponctuation peuvent également générer automatiquement une balise qui commandera un comportement cohérent avec ce mot. A titre d'illustrations non limitatives :
les guillemets peuvent être liés à une balise programmée pour déclencher un geste "citation", qui consiste à lever les bras et ouvrir et fermer deux fois les doigts de la main ; les adverbes ou mots clefs tels que "ici", "après", "beaucoup", peuvent être liés à une balise programmée pour déclencher le geste correspondant ;
le mot « bonjour » peut être lié à une balise programmée pour générer automatiquement une balise de commande de levée de bras ; l'expression « je t'aime » peut être liée à une balise programmée pour générer automatiquement une commande des LED du visage qui génère un rougissement de celui-ci;
l'expression « conduis une voiture » peut être liée à une balise programmée pour générer un mouvement imitant le geste indiqué dans l'expression;
l'expression « il était furieux » sera accompagnée d'une modulation de la voix et d'un mouvement symbolisant la colère ;
l'expression « il regarda attentivement la personne dans les yeux » sera soulignée par une rotation de la tête du robot dans la direction d'une personne de l'assistance ;
les listes à points et les listes numérotées, où chaque point ou numéro pourra déclencher un mouvement d'énumération (la main descend d'un cran vertical à chaque point).
Avantageusement, certaines commandes peuvent être des commandes d'interruption et d'attente d'un événement extérieur, tel qu'un mouvement en réponse à une question posée par le robot.
Ainsi, certaines commandes peuvent être dépendantes des réactions du robot à son environnement, telles que mesurées par l'intermédiaire d'un module de surveillance de l'environnement 70. Ce module est interface avec des capteurs embarqués sur le robot. Par exemple, une caméra peut repérer des éléments caractéristiques dans l'environnement du robot, tels qu'un autre robot ou un humain qui tend une main au robot, ou tout simplement la présence ou l'absence de spectateurs de manière à ne jouer le texte qu'en présence d'un public. De même, les capteurs peuvent être, alternativement ou en complément, des capteurs ultrasonores qui permettent de détecter un mouvement dans l'environnement proche du robot. Dans ce cas, si c'est une réponse attendue par le script dans lequel une commande d'attente a été insérée, la commande suivante est exécutée. Avantageusement, les commandes de la bibliothèque sont transformées dans la syntaxe du langage balise utilisé pour mettre en œuvre l'invention à partir de commandes générées par le système d'édition et de commande divulgué par la demande de brevet française n° 09/53434 relative à un système et à un procédé pour éditer et commander les comportements d'un robot mobile appartenant à la demanderesse. Selon cette invention, les commandes obéissent à une double logique temporelle et événementielle, ce qui est particulièrement adapté dans le cas d'interactions d'un robot avec son environnement.
Le système d'édition et de commande selon l'invention peut permettre la commande de plusieurs robots proches ou distants On peut prévoir que le choix du robot appelé à jouer un passage particulier d'un script est à la discrétion de l'utilisateur qui peut effectuer son choix par exemple à l'aide d'onglets prévus à cet effet dans l'interface du système d'édition et de commande. On peut également automatiser cette allocation de passages du script correspondant à des personnages différents à des robots distincts, par l'incrustation de balises particulières correspondant à chacun des personnages au sein du script. La figure 4 est un premier exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation.
Dans ce mode de réalisation, on voit en particulier l'utilisation possible de listes dotées de balises numérotées, chacun des éléments de la liste étant affecté à une phrase et déclenchant un comportement adapté au contenu de la phrase. En particulier :
[Story Init] -> met le robot en position de raconter une histoire (le met debout s'il est assis par exemple) ;
[LANG=fr] -> change la langue courante du robot, ainsi le robot est multi-langue et l'éditeur supporte toutes les langues du robot (anglais, français, italien, espagnol, allemand ...) ;
[Main Title]... [/Main Title] -> couple de balises d'ouverture et de fermeture déclenchant et terminant un comportement ;
[Long Time Ago] -> Le robot fait un geste du bras vers l'arrière, signifiant ainsi que l'action a lieu dans le passé ; [Therel] -> Correspond au mot-clef "la-bas", le robot fait un geste du bras vers l'horizon indiquant un lieu lointain ;
[Herel] -> Correspond au mot-clef "ici", le robot fait un geste du bras vers le bas indiquant la proximité de l'action;
- La phrase commençant par la balise [Thisi] pourra être lue avec une première voix, avec une tonalité interrogative ;
La phrase commençant par la balise [This2] pourra être lue avec une deuxième voix, avec également une tonalité interrogative ;
La phrase commençant par la balise [This3] pourra être lue avec une troisième voix, avec une tonalité exclamative ;
[Nowhere] -> Correspond à "nulle part", le robot fait un geste de déni de la tête (hochement horizontal)
Les balises d'ouverture et de fermeture d'un comportement peuvent être imbriquées sur plusieurs niveaux . Plusieurs comportements pourront alors être exécutés soit complètement simultanément (même début et même fin) soit pendant des périodes dont les ouvertures et fermetures sont déclenchées en fonction de la place des balises d'ouverture et de fermeture dans le script. La figure 5 est un second exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation.
Dans cet exemple, une balise graphique est insérée. Cette balise a l'apparence d'un « smiley » ou émoticône, ce qui est désormais un langage commun utilisé dans les messageries et sur les chats internet. Ce type de balise permet de rendre encore plus intuitive l'utilisation du système d'édition et de commande de l'invention.
La figure 6 est un troisième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation ;
La figure 7 est un quatrième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation.
Sur la figure 6, les différentes balises ont les significations qui suivent :
drapeau français -> passage de la langue en français smiley (ou émoticône) avec bras en l'air -> exclamation smiley (ou émoticône) avec point d'interrogation -> Posture interrogative (regard en l'air, mains sur les hanches)
[Bumper] Attends l'appui d'un bumper (bouton-poussoir sur le pied) pour continuer l'histoire
- guillemets -> geste de citation
smiley rigolard -> balise Blagueur
Les deux figures illustrent bien la combinaison possible de plusieurs types de balises au sein d'un même script. En particulier, la figure 7 combine des balises graphiques et des balises textuelles.
L'utilisateur a également la possibilité de modifier le nom des balises à sa guise et ainsi de les remplacer par un mot de son choix. Il peut également décider de créer un nouveau comportement qu'il associera à un mot de son choix. Par exemple, il peut tout à fait décider qu'a chaque fois qu'il écrit « Salut » dans le système d'édition et de commande de l'invention, le robot accompagne ce mot d'un mouvement de la main, le comportement contenant le mouvement de la main sera donc associé à la balise « Salut ».
Une balise peut être programmée pour correspondre à plusieurs comportements : ainsi à chaque lecture le comportement peut changer (il est soit pris aléatoirement, soit séquentiellement, ou peut être dépendant des mots et balises précédents et suivants, c'est-à-dire contextualisé).
L'invention peut être mise en œuvre sur un ordinateur du commerce qui communique avec un ou plusieurs robots par l'intermédiaire de liaisons filaires ou sans fil. La génération de commandes est avantageusement effectuée par le système d'édition et de commande divulgué par la demande de brevet française n° 09/53434 déjà citée. Le ou les robots sont avantageusement dotées d'une architecture de contrôle commande à trois niveaux telle que celle divulguée par la demande de brevet française n° 08/01956000 appartenant également à la demanderesse. Ils doivent être dotés d'un logiciel permettant d'interpréter les commandes envoyées par le générateur de commandes de l'invention. Les exemples décrits ci-dessus sont donnés à titre d'illustration de modes de réalisation de l'invention. Ils ne limitent en aucune manière le champ de l'invention qui est défini par les revendications qui suivent.

Claims

REVENDICATIONS
1. Système d'édition et de commande de comportements d'au moins un robot (10) comprenant un module (20) d'édition d'un texte devant être déclamé par le robot, un module (30) de synthèse sonore dudit texte, une bibliothèque (40) de balises de commande de comportements à exécuter par le robot, un module d'insertion (50) desdites balises dans ledit texte et un module de génération et de contrôle (6OA, 60B) des comportements dudit robot, lesdites balises de commande comprenant au moins une balise pour commander un comportement dépendant du contenu du texte, ledit système étant caractérisé en ce que lesdites balises de commande sont des représentations sémantiques desdits comportements.
2. Système d'édition et de commande selon la revendication 1 caractérisé en ce qu'une partie des balises de commande est insérée dans le texte entre au moins un séparateur d'ouverture et au moins un séparateur de fermeture qui déclenchent respectivement le début d'une suite de comportements et la fin de ladite suite.
3. Système d'édition et de commande selon l'une des revendications 1 à
2, caractérisé en ce qu'il comprend en outre un module (70) de surveillance de l'environnement du robot et en ce que ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant de l'environnement du robot.
4. Système d'édition et de commande selon l'une des revendications 1 à
3, caractérisé en ce que la bibliothèque de balises de commande comprend au moins une balise choisie dans le groupe commandes d'attente, commandes de réponse à une action extérieure attendue.
5. Système d'édition et de commande selon l'une des revendications 1 à
4, caractérisé en ce que balises de commande sont choisies dans le groupe comprenant des symboles graphiques, des signes de ponctuation et des mots.
6. Système d'édition et de commande selon l'une des revendications 1 à
5, caractérisé en ce qu'une partie des balises de commande est insérée dans le texte sous forme d'une liste, chaque article de ladite liste correspondant à un membre de phrase auquel est associé un groupe de comportements.
7. Système d'édition et de commande selon l'une des revendications 1 à 6, caractérisé en ce que les comportements à exécuter par le robot sont choisis dans le groupe comprenant des combinaisons des modulations des voix lisant le texte, des gestes d'accompagnement du texte et des émissions de signaux.
8. Système d'édition et de commande selon la revendication 7, caractérisé en ce que les modulations des voix sont choisies dans un groupe comprenant des combinaisons de langues, de voix, de tonalités, de vitesses et d'intonations différentes.
9. Système d'édition et de commande selon l'une des revendications 1 à
8, caractérisé en ce que le module d'édition de texte communique avec le module de contrôle des comportements du robot par un module de messagerie électronique.
10. Système d'édition et de commande selon l'une des revendications 1 à
9, caractérisé en ce qu'il est apte à dialoguer avec des éléments appartenant à un groupe comprenant des robots physiques, des robots virtuels et des ordinateurs.
11. Système d'édition et de commande selon la revendication 10, caractérisé en ce que les robots appartenant au groupe commandé exécutent chacun une partie du texte déterminée par au moins une balise de commande caractéristique de chacun des éléments du groupe.
12. Système d'édition et de commande selon l'une des revendications 1 à 11 , caractérisé en ce que le comportement commandé par une balise de commande peut changer selon une méthode choisie dans le groupe comprenant le changement aléatoire, le changement cyclique ou le changement contextuel.
13. Procédé d'édition et de commande de comportements d'au moins un robot comprenant une étape d'édition d'un texte devant être déclamé par le robot, une étape de synthèse sonore dudit texte, une étape de lecture d'une bibliothèque de balises de commande de comportements à exécuter par le robot, ladite bibliothèque de balises de commande comprenant au moins une balise pour commander un comportement dépendant du contenu du texte, une étape d'insertion desdites balises dans ledit texte et une étape de contrôle des comportements dudit robot, ledit procédé étant caractérisé en ce que lesdites balises de commande sont des représentations sémantiques desdits comportements.
14. Procédé d'édition et de commande de comportements caractérisé en ce qu'une partie des balises de commande est insérée dans le texte entre au moins un séparateur d'ouverture et au moins un séparateur de fermeture qui déclenchent respectivement le début d'une suite de comportements et la fin de ladite suite.
EP10784435A 2009-07-10 2010-07-12 Systeme et procede pour generer des comportements contextuels d'un robot mobile Ceased EP2451617A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0954837A FR2947923B1 (fr) 2009-07-10 2009-07-10 Systeme et procede pour generer des comportements contextuels d'un robot mobile
PCT/EP2010/004234 WO2011003628A2 (fr) 2009-07-10 2010-07-12 Systeme et procede pour generer des comportements contextuels d'un robot mobile

Publications (1)

Publication Number Publication Date
EP2451617A2 true EP2451617A2 (fr) 2012-05-16

Family

ID=42111526

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10784435A Ceased EP2451617A2 (fr) 2009-07-10 2010-07-12 Systeme et procede pour generer des comportements contextuels d'un robot mobile

Country Status (6)

Country Link
US (1) US9205557B2 (fr)
EP (1) EP2451617A2 (fr)
JP (1) JP2012532390A (fr)
CN (1) CN102596516B (fr)
FR (1) FR2947923B1 (fr)
WO (1) WO2011003628A2 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2933065A1 (fr) 2014-04-17 2015-10-21 Aldebaran Robotics Robot humanoïde avec une capacité de vie autonome

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2947923B1 (fr) * 2009-07-10 2016-02-05 Aldebaran Robotics Systeme et procede pour generer des comportements contextuels d'un robot mobile
JP5698614B2 (ja) * 2011-06-22 2015-04-08 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation コンテキスト情報処理システム及び方法
FR2989209B1 (fr) * 2012-04-04 2015-01-23 Aldebaran Robotics Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d'utilisation dudit robot
FR2991222B1 (fr) * 2012-06-01 2015-02-27 Aldebaran Robotics Systeme et procede pour generer des comportements contextuels d'un robot mobile executes en temps reel
EP2933070A1 (fr) * 2014-04-17 2015-10-21 Aldebaran Robotics Procédés et systèmes de manipulation d'un dialogue avec un robot
EP2933067B1 (fr) * 2014-04-17 2019-09-18 Softbank Robotics Europe Procédé de réalisation de dialogue multimodal entre un utilisateur et un robot humanoïde, produit de programme informatique et robot humanoïde mettant en oeuvre ce procédé
KR101966564B1 (ko) * 2014-08-07 2019-08-13 각코호진 오키나와가가쿠기쥬츠다이가쿠인 다이가쿠가쿠엔 밀도 비 추정에 의한 역 강화 학습
DE102016115243A1 (de) * 2016-04-28 2017-11-02 Masoud Amri Programmieren in natürlicher Sprache
US10239205B2 (en) * 2016-06-29 2019-03-26 International Business Machines Corporation System, method, and recording medium for corpus curation for action manifestation for cognitive robots
EP3551393A4 (fr) * 2016-12-12 2020-08-12 Microsoft Technology Licensing, LLC Génération de gestes de robot
CN107186706B (zh) * 2017-06-16 2019-08-09 重庆柚瓣家科技有限公司 养老机器人控制模块远程化的方法及系统
CN109521927B (zh) * 2017-09-20 2022-07-01 阿里巴巴集团控股有限公司 机器人互动方法和设备
JP2019118992A (ja) * 2017-12-28 2019-07-22 株式会社日立ビルシステム ロボット装置制御システム
US10691113B1 (en) * 2018-02-06 2020-06-23 Anthony Bergman Robotic process control system
CN111098301B (zh) * 2019-12-20 2020-08-18 西南交通大学 一种基于场景知识图谱任务型机器人的控制方法
CN111723557A (zh) * 2020-06-30 2020-09-29 北京来也网络科技有限公司 基于ai的语段编辑方法、装置、设备以及存储介质
US20230236575A1 (en) * 2022-01-26 2023-07-27 Vivek Ramdas Pai Computer-automated scripted electronic actor control

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561637A (ja) 1991-09-02 1993-03-12 Toshiba Corp 音声合成メールシステム
JPH09185607A (ja) * 1995-12-28 1997-07-15 Dainippon Screen Mfg Co Ltd ハイパーテキストレイアウト装置
DE19615693C1 (de) * 1996-04-19 1997-12-11 Siemens Ag Vorrichtung und Verfahren zur Aktionsermittlung
US5838973A (en) * 1996-05-03 1998-11-17 Andersen Consulting Llp System and method for interactively transforming a system or process into a visual representation
US6259969B1 (en) * 1997-06-04 2001-07-10 Nativeminds, Inc. System and method for automatically verifying the performance of a virtual robot
JPH11224179A (ja) * 1998-02-05 1999-08-17 Fujitsu Ltd 対話インタフェース・システム
JPH11327872A (ja) * 1998-05-18 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 電子メール提示方法及び電子メール端末及び電子メール提示プログラムを格納した記憶媒体
US6629087B1 (en) * 1999-03-18 2003-09-30 Nativeminds, Inc. Methods for creating and editing topics for virtual robots conversing in natural language
US6947893B1 (en) * 1999-11-19 2005-09-20 Nippon Telegraph & Telephone Corporation Acoustic signal transmission with insertion signal for machine control
JP4465768B2 (ja) * 1999-12-28 2010-05-19 ソニー株式会社 音声合成装置および方法、並びに記録媒体
JP4032273B2 (ja) * 1999-12-28 2008-01-16 ソニー株式会社 同期制御装置および方法、並びに記録媒体
JP2001353678A (ja) * 2000-06-12 2001-12-25 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP2002127062A (ja) 2000-08-18 2002-05-08 Nippon Telegr & Teleph Corp <Ntt> ロボットシステム、ロボット制御信号生成装置、ロボット制御信号生成方法、記録媒体、プログラムおよびロボット
US6724409B1 (en) * 2000-11-16 2004-04-20 Hewlett-Packard Development Company L.P. Tree-based graphical user interface for creating and editing machine control sequences
US7367017B2 (en) * 2001-01-31 2008-04-29 Hewlett-Packard Development Company, L.P. Method and apparatus for analyzing machine control sequences
JP2002268663A (ja) * 2001-03-08 2002-09-20 Sony Corp 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
CN100509308C (zh) * 2002-03-15 2009-07-08 索尼公司 用于机器人的行为控制系统和行为控制方法及机器人装置
JP2003308142A (ja) * 2002-04-17 2003-10-31 Seiko Epson Corp メッセージ処理システム、音声信号処理システム、メッセージ処理設備、メッセージ送信端末、音声信号処理設備、メッセージ処理プログラム、音声信号処理プログラム、設備用プログラム、端末用プログラム及びメッセージのデータ構造、並びにメッセージ処理方法、音声信号処理方法及びメッセージ生成方法
WO2004063883A2 (fr) * 2003-01-09 2004-07-29 Evolution Robotics, Inc. Programmation de robots et/ou systemes informatiques en fonction de signes visuels et de l'environnement
US7707135B2 (en) * 2003-03-04 2010-04-27 Kurzweil Technologies, Inc. Enhanced artificial intelligence language
JP2004287016A (ja) * 2003-03-20 2004-10-14 Sony Corp 音声対話装置及び方法並びにロボット装置
EP1610221A4 (fr) * 2003-03-28 2009-01-07 Sony Corp Dispositif fournisseur d'informations, procede associe et systeme fournisseur d'informations
JP2004318862A (ja) * 2003-03-28 2004-11-11 Sony Corp 情報提供装置及び方法、並びに情報提供システム
JP4271193B2 (ja) 2003-08-12 2009-06-03 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット用制御システム
US7434176B1 (en) * 2003-08-25 2008-10-07 Walt Froloff System and method for encoding decoding parsing and translating emotive content in electronic communication
JP2005088179A (ja) * 2003-09-22 2005-04-07 Honda Motor Co Ltd 自律移動ロボットシステム
JP2005199373A (ja) * 2004-01-14 2005-07-28 Toshiba Corp コミュニケーション装置及びコミュニケーション方法
JP2005266671A (ja) * 2004-03-22 2005-09-29 Yamaha Corp ロボット及び音声再生方法
JP2006155299A (ja) * 2004-11-30 2006-06-15 Sharp Corp 情報処理装置、情報処理プログラム、および、プログラム記録媒体
JP2006263858A (ja) * 2005-03-24 2006-10-05 Advanced Telecommunication Research Institute International コミュニケーションロボット
US8065157B2 (en) * 2005-05-30 2011-11-22 Kyocera Corporation Audio output apparatus, document reading method, and mobile terminal
JP2007044825A (ja) * 2005-08-10 2007-02-22 Toshiba Corp 行動管理装置、行動管理方法および行動管理プログラム
JP4815940B2 (ja) * 2005-08-17 2011-11-16 日本電気株式会社 ロボット制御システム、ロボット装置、およびロボット制御方法
JP4718987B2 (ja) * 2005-12-12 2011-07-06 本田技研工業株式会社 インターフェース装置およびそれを備えた移動ロボット
US7738997B2 (en) * 2005-12-19 2010-06-15 Chyi-Yeu Lin Robotic system for synchronously reproducing facial expression and speech and related method thereof
WO2007072328A2 (fr) * 2005-12-20 2007-06-28 Philips Intellectual Property & Standards Gmbh Procédé d'envoi d'un message, dispositif de transmission de message et dispositif de rendu de message
CN100348381C (zh) * 2006-01-06 2007-11-14 华南理工大学 家政服务机器人
JP2007232829A (ja) * 2006-02-28 2007-09-13 Murata Mach Ltd 音声対話装置とその方法及びプログラム
US20080071540A1 (en) * 2006-09-13 2008-03-20 Honda Motor Co., Ltd. Speech recognition method for robot under motor noise thereof
JP2008168375A (ja) * 2007-01-10 2008-07-24 Sky Kk ボディランゲージロボット、ボディランゲージロボットの制御方法及び制御プログラム
CN101020312A (zh) * 2007-03-13 2007-08-22 叶琛 基于网络功能的机器人传递行为的方法和装置
JP5025353B2 (ja) * 2007-07-03 2012-09-12 ニュアンス コミュニケーションズ,インコーポレイテッド 対話処理装置、対話処理方法及びコンピュータ・プログラム
TWI338588B (en) * 2007-07-31 2011-03-11 Ind Tech Res Inst Method and apparatus for robot behavior series control based on rfid technology
FR2947923B1 (fr) * 2009-07-10 2016-02-05 Aldebaran Robotics Systeme et procede pour generer des comportements contextuels d'un robot mobile

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2011003628A2 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2933065A1 (fr) 2014-04-17 2015-10-21 Aldebaran Robotics Robot humanoïde avec une capacité de vie autonome

Also Published As

Publication number Publication date
CN102596516B (zh) 2016-04-13
WO2011003628A2 (fr) 2011-01-13
US20120197436A1 (en) 2012-08-02
US9205557B2 (en) 2015-12-08
CN102596516A (zh) 2012-07-18
FR2947923B1 (fr) 2016-02-05
JP2012532390A (ja) 2012-12-13
FR2947923A1 (fr) 2011-01-14
WO2011003628A3 (fr) 2011-03-03

Similar Documents

Publication Publication Date Title
WO2011003628A2 (fr) Systeme et procede pour generer des comportements contextuels d&#39;un robot mobile
KR102627948B1 (ko) 다수의 연령 및/또는 어휘 수준을 수용하는 자동화 어시스턴트
WO2012010451A1 (fr) Robot humanoide dote d&#39;une interface de dialogue naturel, procede de controle du robot et programme correspondant
US20180133900A1 (en) Embodied dialog and embodied speech authoring tools for use with an expressive social robot
US9116880B2 (en) Generating stimuli for use in soliciting grounded linguistic information
AU2003288790B2 (en) Proactive user interface
CN106663219B (zh) 处理与机器人的对话的方法和系统
Mani Computational modeling of narrative
US7836437B2 (en) Semantic annotations for virtual objects
EP2834811A1 (fr) Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d&#39;utilisation dudit robot
CA2925930C (fr) Procede de dialogue entre une machine, telle qu&#39;un robot humanoide, et un interlocuteur humain, produit programme d&#39;ordinateur et robot humanoide pour la mise en oeuvre d&#39;un tel procede
EP2855105A1 (fr) Systeme et procede pour generer des comportements contextuels d&#39;un robot mobile executes en temps reel
US20150142434A1 (en) Illustrated Story Creation System and Device
Strauss et al. Proactive spoken dialogue interaction in multi-party environments
JP2023156489A (ja) 自然言語処理システム、自然言語処理方法および自然言語処理プログラム
Klüwer et al. Talking NPCs in a virtual game world
Ball 11 A Bayesian Heart: Computer Recognition and Simulation of Emotion
WO2019211552A1 (fr) Procede de commande d&#39;une pluralite d&#39;effecteurs d&#39;un robot
Nakatsu Nonverbal information recognition and its application to communications
Ma Confucius: An intelligent multimedia storytelling interpretation and presentation system
Boyarin Take the Bible for example: Midrash as literary theory
Silvey Communicative emergence and cultural evolution of word meanings
Brunnberg How tools shape the game authoring process
Ooi Mobile augmented reality for smart pet
Birkeland ‘Things he wanted to say’: Figures in the Dialogue of Raymond Carver’s Short Fiction

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120203

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20121213

APBK Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNE

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SOFTBANK ROBOTICS EUROPE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

APBT Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9E

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20200604