EP2451617A2 - System and method for generating contextual behaviours of a mobile robot - Google Patents

System and method for generating contextual behaviours of a mobile robot

Info

Publication number
EP2451617A2
EP2451617A2 EP10784435A EP10784435A EP2451617A2 EP 2451617 A2 EP2451617 A2 EP 2451617A2 EP 10784435 A EP10784435 A EP 10784435A EP 10784435 A EP10784435 A EP 10784435A EP 2451617 A2 EP2451617 A2 EP 2451617A2
Authority
EP
European Patent Office
Prior art keywords
robot
editing
control
text
behaviors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP10784435A
Other languages
German (de)
French (fr)
Inventor
Bruno Maisonnier
Jérôme MONCEAUX
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aldebaran SAS
Original Assignee
Aldebaran Robotics SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aldebaran Robotics SA filed Critical Aldebaran Robotics SA
Publication of EP2451617A2 publication Critical patent/EP2451617A2/en
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Definitions

  • the present invention pertains to the field of robot programming systems. More precisely, it applies to the control of behaviors coherent with the context in which the robot, in particular of human or animal form, evolves, expresses itself and moves on members articulated or not.
  • a robot can be called a humanoid from the moment it has certain attributes of the appearance and functionality of the man: a head, a trunk, two arms, possibly two hands, two legs, two feet ...
  • One of the features likely to give the robot an appearance and quasi-human behavior is the possibility of ensuring a strong coupling between gestural expression and oral expression.
  • to achieve this result in an intuitive way would allow new groups of users to access the programming of behaviors of humanoid robots. This problem has not been correctly solved by the prior art.
  • the invention makes it possible to insert in a text spoken by the robot commands of intonation and / or behaviors associated with the oral expression, said commands being able to be expressed for example graphically.
  • the present invention discloses a system for editing and controlling behaviors of at least one robot comprising a module for editing a script to be reproduced by the robot, a sound synthesis module of said script, a library behavior control tags to be executed by the robot, a module for inserting said tags into said script and a module for generating and controlling the behaviors of said robot, said system being characterized in that said command tag library comprises at least one tag for controlling a behavior depending on the content of the script.
  • the editing and control system further comprises a robot environment monitoring module and said control tag library comprises at least one tag for controlling a behavior depending on the environment of the robot.
  • the control tag library comprises at least one tag selected from the waiting commands group, response commands to an expected external action.
  • control tags are chosen from the group comprising graphic symbols, punctuation marks and words.
  • a portion of the command tags is inserted into the script in the form of a list, each item of said list corresponding to a phrase with which a group of behaviors is associated.
  • control tags is inserted into the script between at least one opening separator and at least one closing separator which respectively trigger the start of a sequence of behaviors and the end of said sequence.
  • the behaviors to be executed by the robot are chosen from the group comprising combinations of the modulations of the voices reading the script, script accompanying gestures and signal transmissions.
  • the modulations of the voices are chosen from a group comprising combinations of languages, voices, tones, speeds and different intonations.
  • the script editing module communicates with the behavior control module of the robot by an electronic mail module.
  • the editing and control system is able to interact with elements belonging to a group comprising physical robots, virtual robots and computers.
  • the robots belonging to the commanded group each execute a part of the script determined by at least one control tag characteristic of each of the elements of the group.
  • the behavior controlled by a control tag can change according to a method chosen from the group comprising the random change, the cyclic change or the contextual change.
  • the invention also discloses a method for editing and controlling behaviors of at least one robot comprising a step of editing a script to be reproduced by the robot, a step of sound synthesis of said script, a step of reading a library of behavior control tags to be executed by the robot, a step of inserting said tags into said script and a step of controlling behaviors of said robot, said method being characterized in that said control tag library comprises at least one minus a tag to control a behavior depending on the contents of the script.
  • the invention makes it possible to create behavioral libraries and to easily insert them into a script of scenes played by the robot.
  • the language used is formally very close to the one used on the Internet and is therefore very easily accessible, without any prior knowledge or training.
  • the invention also satisfactorily completes French Patent Application No. 09/53434 relating to a system and a method for editing and controlling the behavior of a mobile robot belonging to the Applicant.
  • This provides means to execute behaviors by a robot, said behaviors can be controlled either using a specialized scripting language, accessible to programmers, or graphically by using preprogrammed libraries that can be selected and insert into a series of boxes of behaviors linked by events.
  • the invention makes it possible to further simplify the programming interface of the behavior of the robot.
  • the invention will be better understood and its various features and advantages will emerge from the following description of several exemplary embodiments and its appended figures including:
  • FIG. 1 is an example of programming behaviors using elements of the BML language according to a document of the prior art
  • FIG. 2 is a flowchart indicating the main steps of the method of the invention in one of its embodiments
  • FIG. 3 is a view of a control beacon shaft provided for implementing the invention in one of its embodiments
  • FIG. 4 is a first example of a scenario of use of the invention in one of its embodiments
  • FIG. 5 is a second example of a scenario of use of the invention in one of its embodiments.
  • FIG. 6 is a third example of a scenario of use of the invention in one of its embodiments.
  • FIG. 7 is a fourth example of a scenario of use of the invention in one of its embodiments.
  • FIG. 1 is an example of programming behaviors using elements of the BML language according to a document of the prior art.
  • BML programming is for a virtual robot and not a physical robot. It does not generate commands directly executable by a physical robot.
  • the system is able to control the behavior of a robot 10 which may be a humanoid robot with two lower limbs and two upper limbs or a robot having the appearance of a two or four-limb animal.
  • the members of the robot can be provided with motorized joints, controlled by cards, possibly allowing it to move according to commands that are embedded and interpreted by one or more processors or transmitted from a server in form directly executable by the or processors embedded or to be developed by said processors.
  • the robot is advantageously endowed with a head and a body completing its humanoid or animal form. It is also advantageously equipped with sensors enabling it to position itself in its environment and to perceive sound or movement signals coming from said environment.
  • the robot can also have other action capabilities with its environment, such as sources of light emission or sound, or the ability to act on the Internet such as sending a mail or a phone call or a modification of the environment by communication with a home automation system.
  • the editing and control system is provided with a script editor 20 in which is entered a text intended to be reproduced by the robot in the form of sound signals.
  • This entry can be made directly using a simple computer keyboard or by loading into the system a file type text (* .doc, * .txt or other) or a html file (optionally designated by its URL).
  • These files can also be received from a remote site, for example via a messaging system.
  • the system or the robot is provided with a synthesis device 30 able to interpret the text of the script editor to produce sounds, which can be either words in the case of a humanoid robot, or sounds representative of the behavior of an animal.
  • the sound synthesis device can also reproduce background sounds, for example background music which, possibly, can be played on a remote computer.
  • the triggering of the reading of a story can be done during the reception of an external event to the robot such as:
  • the system includes a library 40 of control tags to be inserted into the script editor by via an insertion module 50.
  • the insertion is effected by dragging (gesture "drag and drop” with a mouse connected to the computer on which the editor is implanted) the command tag chosen in the editor.
  • Fig. 3 is a view of a control beacon shaft provided for implementing the invention in one of its embodiments
  • the different command tags are grouped by type of behavior to generate in directories some of which are viewable next to the script editor.
  • Forms of reading of the script for example, the language in which the script will be read, in the case of a humanoid robot, may be chosen (French, English, Anglo-American, German, Russian, etc.) ); the voice may be a male, female or child voice; the tone may be more or less serious or acute; the speed may be more or less rapid; the intonation can be chosen according to the emotion that the robot is likely to feel according to the text of the script (affection, astonishment, anger, joy, remonstrance, etc.);
  • Script accompanying gestures for example, arm movement up or forward; strike a foot on the ground; movements of the head upwards, downwards, to the right or to the left, according to the impression that one wants to communicate coherently with the script ...
  • Emitting signals for example, if the robot is equipped with LEDs, they can be activated to express strong emotions "felt" by the robot by reading the text or to generate a blink of the eye adapted to the form and speed of speech.
  • the tags inserted in the script generate the execution of the corresponding commands by the robot via a control module 6OB which can pass to the module for generating the signals transmitted by the robot. robot in response to commands.
  • one of the features of the invention is to allow the automatic generation of commands consistent with the content of the script to be read by the robot.
  • a first way to achieve this coupling is to have control tags related to punctuation: in this case, a question mark will generate a tone control consistent with the interrogative mode. Similarly for an exclamation point. Some words or punctuation may also automatically generate a tag that will command consistent behavior with that word. As non-limiting illustrations:
  • the quotation marks can be linked to a beacon programmed to trigger a "quote” gesture, which consists of lifting the arms and opening and closing the fingers twice; adverbs or key words such as “here”, “after”, “many” can be linked to a programmed beacon to trigger the corresponding gesture;
  • the word “hello” may be related to a programmed beacon to automatically generate an arm lift command tag;
  • the expression “I love you” can be linked to a beacon programmed to automatically generate a control of the LEDs of the face which generates a blush of it;
  • the expression "drive a car” can be linked to a beacon programmed to generate a movement imitating the gesture indicated in the expression;
  • certain commands can be commands for interrupting and waiting for an external event, such as a movement in response to a question posed by the robot.
  • certain commands may be dependent on the reactions of the robot to its environment, as measured by means of an environmental monitoring module 70.
  • This module interfaces with sensors embedded on the robot.
  • sensors embedded on the robot.
  • a camera can identify features in the robot environment, such as another robot or a human handing the robot, or simply the presence or absence of spectators to play the robot. text only in the presence of an audience.
  • the sensors can be, alternatively or in addition, ultrasonic sensors that detect movement in the environment close to the robot. In this case, if it is an expected response by the script in which a wait command has been inserted, the following command is executed.
  • the commands of the library are transformed into the syntax of the tag language used to implement the invention from commands generated by the editing and control system disclosed by the French patent application No.
  • the editing and control system can allow the control of several robots near or distant. It can be foreseen that the choice of the robot called to play a particular passage of a script is at the discretion of the user who can make your choice for example using tabs provided for this purpose in the interface of the editing and control system. We can also automate this allocation of passages of the script corresponding to different characters to separate robots, by embedding particular tags corresponding to each of the characters within the script.
  • FIG. 4 is a first example of a scenario of use of the invention in one of its embodiments.
  • [LANG en] -> changes the current language of the robot, so the robot is multi-language and the editor supports all languages of the robot (English, French, Italian, Spanish, German ...);
  • Fig. 5 is a second exemplary use scenario of the invention in one of its embodiments.
  • a graphical tag is inserted.
  • This tag has the appearance of a "smiley” or emoticon, which is now a common language used in messaging and internet chats. This type of tag makes it even more intuitive to use the editing and control system of the invention.
  • FIG. 6 is a third example of a scenario of use of the invention in one of its embodiments.
  • Fig. 7 is a fourth exemplary use scenario of the invention in one of its embodiments.
  • Figure 7 combines graphic tags and text tags.
  • the user also has the possibility to change the name of the tags as he wishes and so replace them with a word of his choice. He may also decide to create a new behavior that he will associate with a word of his choice. For example, he can quite decide that every time he writes "Hi" in the editing and command system of the invention, the robot accompanies this word with a hand movement, the behavior containing the movement of the hand will therefore be associated with the tag "Hi".
  • a beacon can be programmed to correspond to several behaviors: thus at each reading the behavior can change (it is either taken randomly, or sequentially, or can be dependent on the preceding and following words and markers, that is to say contextualized) .
  • the invention can be implemented on a commercial computer that communicates with one or more robots via wired or wireless links.
  • the generation of commands is advantageously carried out by the editing and control system disclosed by French Patent Application No. 09/53434 already cited.
  • the robot or robots are advantageously equipped with a three-level control command architecture such as that disclosed by the French patent application No. 08/01956000 also belonging to the applicant. They must be equipped with software for interpreting the commands sent by the command generator of the invention.
  • the examples described above are given by way of illustration of embodiments of the invention. They in no way limit the scope of the invention which is defined by the following claims.

Abstract

The invention relates to a system and a method for generating behaviours of a robot which is able to reproduce a script, in particular as a function of the sense of the script and, optionally, of reactions of the environment of the robot. To do this, the system is endowed with a library of command tags and with a module for inserting said tags into the editor of the script to be reproduced by the robot or robots. The invention thus enables a user who is not endowed with particular programming knowledge to produce complex scenarios of use of his robot. These scenarios may also be exchanged between various users.

Description

SYSTEME ET PROCEDE POUR GENERER DES COMPORTEMEMENTS CONTEXTUELS D'UN ROBOT MOBILE La présente invention appartient au domaine des systèmes de programmation de robots. Plus précisément, elle s'applique à la commande de comportements cohérents avec le contexte dans lequel le robot notamment de forme humaine ou animale, évolue, s'exprime et se déplace sur des membres articulés ou non. Un robot peut être qualifié d'humanoïde à partir du moment où il possède certains attributs de l'apparence et des fonctionnalités de l'homme: une tête, un tronc, deux bras, éventuellement deux mains, deux jambes, deux pieds... Une des fonctionnalités susceptibles de donner au robot une apparence et des comportements quasi-humains est la possibilité d'assurer un couplage fort entre expression gestuelle et expression orale. En particulier, parvenir à ce résultat de manière intuitive permettrait à de nouveaux groupes d'utilisateurs d'accéder à la programmation de comportements de robots humanoïdes. Ce problème n'a pas été correctement résolu par l'art antérieur. Dans le domaines des agents virtuels et des avatars, des langages spécialisés dans la programmation de comportements au niveau fonctionnel ou intentionnel, indépendamment des actions physiques tels que le FML (Function Markup Language) ou au niveau de comportements eux-mêmes (qui impliquent plusieurs parties du personnage virtuel pour exécuter une fonction) tel que le BML (Behaviour Markup Language) ne restent accessibles qu'au programmeur professionnel et ne s'intègrent pas avec des scripts écrits en langage de tous les jours. L'invention permet de dépasser ces limitations de l'art antérieur.  The present invention pertains to the field of robot programming systems. More precisely, it applies to the control of behaviors coherent with the context in which the robot, in particular of human or animal form, evolves, expresses itself and moves on members articulated or not. A robot can be called a humanoid from the moment it has certain attributes of the appearance and functionality of the man: a head, a trunk, two arms, possibly two hands, two legs, two feet ... One of the features likely to give the robot an appearance and quasi-human behavior is the possibility of ensuring a strong coupling between gestural expression and oral expression. In particular, to achieve this result in an intuitive way would allow new groups of users to access the programming of behaviors of humanoid robots. This problem has not been correctly solved by the prior art. In the domain of virtual agents and avatars, languages specialized in the programming of behavior at the functional or intentional level, independently of physical actions such as FML (Function Markup Language) or at the level of behaviors themselves (which involve several parts of the virtual character to perform a function) such as BML (Behavior Markup Language) remain accessible only to the professional programmer and do not integrate with scripts written in everyday language. The invention makes it possible to overcome these limitations of the prior art.
Notamment, l'invention permet d'insérer dans un texte parlé par le robot des commandes d'intonation et/ou de comportements associées à l'expression orale, lesdites commandes pouvant être exprimées par exemple de manière graphique. In particular, the invention makes it possible to insert in a text spoken by the robot commands of intonation and / or behaviors associated with the oral expression, said commands being able to be expressed for example graphically.
A cet effet, la présente invention divulgue un système d'édition et de commande de comportements d'au moins un robot comprenant un module d'édition d'un script à reproduire par le robot, un module de synthèse sonore dudit script, une bibliothèque de balises de commande de comportements à exécuter par le robot, un module d'insertion desdites balises dans ledit script et un module de génération et de contrôle des comportements dudit robot, ledit système étant caractérisé en ce que ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant du contenu du script. For this purpose, the present invention discloses a system for editing and controlling behaviors of at least one robot comprising a module for editing a script to be reproduced by the robot, a sound synthesis module of said script, a library behavior control tags to be executed by the robot, a module for inserting said tags into said script and a module for generating and controlling the behaviors of said robot, said system being characterized in that said command tag library comprises at least one tag for controlling a behavior depending on the content of the script.
Avantageusement, le système d'édition et de commande selon l'invention comprend en outre un module de surveillance de l'environnement du robot et ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant de l'environnement du robot. Avantageusement, la bibliothèque de balises de commande comprend au moins une balise choisie dans le groupe commandes d'attente, commandes de réponse à une action extérieure attendue. Advantageously, the editing and control system according to the invention further comprises a robot environment monitoring module and said control tag library comprises at least one tag for controlling a behavior depending on the environment of the robot. . Advantageously, the control tag library comprises at least one tag selected from the waiting commands group, response commands to an expected external action.
Avantageusement, les balises de commande sont choisies dans le groupe comprenant des symboles graphiques, des signes de ponctuation et des mots.  Advantageously, the control tags are chosen from the group comprising graphic symbols, punctuation marks and words.
Avantageusement, une partie des balises de commande est insérée dans le script sous forme d'une liste, chaque article de ladite liste correspondant à un membre de phrase auquel est associé un groupe de comportements. Advantageously, a portion of the command tags is inserted into the script in the form of a list, each item of said list corresponding to a phrase with which a group of behaviors is associated.
Avantageusement, une partie des balises de commande est insérée dans le script entre au moins un séparateur d'ouverture et au moins un séparateur de fermeture qui déclenchent respectivement le début d'une suite de comportements et la fin de ladite suite. Advantageously, a portion of the control tags is inserted into the script between at least one opening separator and at least one closing separator which respectively trigger the start of a sequence of behaviors and the end of said sequence.
Avantageusement, les comportements à exécuter par le robot sont choisis dans le groupe comprenant des combinaisons des modulations des voix lisant le script, des gestes d'accompagnement du script et des émissions de signaux.  Advantageously, the behaviors to be executed by the robot are chosen from the group comprising combinations of the modulations of the voices reading the script, script accompanying gestures and signal transmissions.
Avantageusement, les modulations des voix sont choisies dans un groupe comprenant des combinaisons de langues, de voix, de tonalités, de vitesses et d'intonations différentes.  Advantageously, the modulations of the voices are chosen from a group comprising combinations of languages, voices, tones, speeds and different intonations.
Avantageusement, le module d'édition de script communique avec le module de contrôle des comportements du robot par un module de messagerie électronique. Advantageously, the script editing module communicates with the behavior control module of the robot by an electronic mail module.
Avantageusement, le système d'édition et de commande selon l'invention est apte à dialoguer avec des éléments appartenant à un groupe comprenant des robots physiques, des robots virtuels et des ordinateurs. Avantageusement, les robots appartenant au groupe commandé exécutent chacun une partie du script déterminée par au moins une balise de commande caractéristique de chacun des éléments du groupe. Advantageously, the editing and control system according to the invention is able to interact with elements belonging to a group comprising physical robots, virtual robots and computers. Advantageously, the robots belonging to the commanded group each execute a part of the script determined by at least one control tag characteristic of each of the elements of the group.
Avantageusement, le comportement commandé par une balise de commande peut changer selon une méthode choisie dans le groupe comprenant le changement aléatoire, le changement cyclique ou le changement contextuel. Advantageously, the behavior controlled by a control tag can change according to a method chosen from the group comprising the random change, the cyclic change or the contextual change.
L'invention divulgue également un procédé d'édition et de commande de comportements d'au moins un robot comprenant une étape d'édition d'un script à reproduire par le robot, une étape de synthèse sonore dudit script, une étape de lecture d'une bibliothèque de balises de commande de comportements à exécuter par le robot, une étape d'insertion desdites balises dans ledit script et une étape de contrôle des comportements dudit robot, ledit procédé étant caractérisé en ce que ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant du contenu du script. The invention also discloses a method for editing and controlling behaviors of at least one robot comprising a step of editing a script to be reproduced by the robot, a step of sound synthesis of said script, a step of reading a library of behavior control tags to be executed by the robot, a step of inserting said tags into said script and a step of controlling behaviors of said robot, said method being characterized in that said control tag library comprises at least one minus a tag to control a behavior depending on the contents of the script.
L'invention permet de créer des bibliothèques de comportements et de les insérer facilement dans un script de scènes jouées par le robot. En outre, le langage utilisé est formellement très proche de celui qui est utilisé sur Internet et est donc très facilement accessible, sans aucune connaissance ou formation préalables. The invention makes it possible to create behavioral libraries and to easily insert them into a script of scenes played by the robot. In addition, the language used is formally very close to the one used on the Internet and is therefore very easily accessible, without any prior knowledge or training.
L'invention complète également de manière appropriée la demande de brevet française n° 09/53434 relative à un système et à un procédé pour éditer et commander les comportements d'un robot mobile appartenant à la demanderesse. Celle-ci procure des moyens pour faire exécuter des comportements par un robot, lesdits comportements pouvant être commandés soit en utilisant un langage script spécialisé, accessible à des programmeurs, soit de manière graphique en faisant appel à des bibliothèques préprogrammées que l'on peut sélectionner et insérer dans une suite de boîtes de comportements reliées par des événements. L'invention permet de simplifier encore l'interface de programmation des comportements du robot. L'invention sera mieux comprise et ses différentes caractéristiques et avantages ressortiront de la description qui suit de plusieurs exemples de réalisation et de ses figures annexées dont : The invention also also satisfactorily completes French Patent Application No. 09/53434 relating to a system and a method for editing and controlling the behavior of a mobile robot belonging to the Applicant. This provides means to execute behaviors by a robot, said behaviors can be controlled either using a specialized scripting language, accessible to programmers, or graphically by using preprogrammed libraries that can be selected and insert into a series of boxes of behaviors linked by events. The invention makes it possible to further simplify the programming interface of the behavior of the robot. The invention will be better understood and its various features and advantages will emerge from the following description of several exemplary embodiments and its appended figures including:
- La figure 1 est un exemple de programmation de comportements en utilisant des éléments du langage BML selon un document de l'art antérieur ;  FIG. 1 is an example of programming behaviors using elements of the BML language according to a document of the prior art;
- La figure 2 est un organigramme indiquant les principales étapes du procédé de l'invention dans un de ses modes de réalisation;  FIG. 2 is a flowchart indicating the main steps of the method of the invention in one of its embodiments;
- La figure 3 est une vue d'un arbre des balises de commande prévues pour mettre en œuvre l'invention dans un de ses modes de réalisation ;  FIG. 3 is a view of a control beacon shaft provided for implementing the invention in one of its embodiments;
- La figure 4 est un premier exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation;  FIG. 4 is a first example of a scenario of use of the invention in one of its embodiments;
- La figure 5 est un deuxième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation ;  FIG. 5 is a second example of a scenario of use of the invention in one of its embodiments;
- La figure 6 est un troisième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation ;  FIG. 6 is a third example of a scenario of use of the invention in one of its embodiments;
- La figure 7 est un quatrième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation.  FIG. 7 is a fourth example of a scenario of use of the invention in one of its embodiments.
La figure 1 est un exemple de programmation de comportements en utilisant des éléments du langage BML selon un document de l'art antérieur. FIG. 1 is an example of programming behaviors using elements of the BML language according to a document of the prior art.
La programmation BML s'adresse à un robot virtuel et non à un robot physique. Elle ne génère donc pas de commandes directement exécutables par un robot physique. BML programming is for a virtual robot and not a physical robot. It does not generate commands directly executable by a physical robot.
En outre, dans la programmation BML, le script qui doit être lu par le robot n'est pas directement accessible à partir de l'éditeur de programmation (Cf l'instruction <sentence>). Ce type d'interface de programmation n'est donc pas accessible à un utilisateur non doté de capacités techniques de programmation. C'est une caractéristique distinctive de l'invention d'être accessible en langage totalement naturel dans lequel le texte qui est reproduit par un robot physique est directement accessible dans l'éditeur de commandes. D'autres caractéristiques distinctives seront détaillées dans la suite de la description. La figure 2 est un organigramme indiquant les principales étapes du procédé de l'invention dans un de ses modes de réalisation. In addition, in BML programming, the script that must be read by the robot is not directly accessible from the programming editor (see the <sentence> statement). This type of programming interface is therefore not accessible to a user who does not have technical programming capabilities. It is a distinctive characteristic of the invention to be accessible in a totally natural language in which the text that is reproduced by a physical robot is directly accessible in the command editor. Other distinguishing features will be detailed in the following description. Figure 2 is a flowchart indicating the main steps of the method of the invention in one of its embodiments.
Le système est apte à contrôler les comportements d'un robot 10 qui peut être un robot humanoïde à deux membres inférieurs et deux membres supérieurs ou un robot ayant l'apparence d'un animal à deux ou quatre membres inférieurs. Les membres du robot peuvent être dotés d'articulations motorisées, contrôlées par des cartes, lui permettant éventuellement de se déplacer selon des commandes qui sont embarquées et interprétées par un ou plusieurs processeurs ou transmises à partir d'un serveur en forme directement exécutable par le ou les processeurs embarqués ou qui doivent être élaborées par lesdits processeurs. Le robot est avantageusement doté d'une tête et d'un corps complétant sa forme humanoïde ou d'animal. Il est également avantageusement doté de capteurs lui permettant de se positionner dans son environnement et de percevoir des signaux sonores ou de mouvement provenant dudit environnement. Le robot peut également avoir d'autres capacités d'action avec son environnement, telles que des sources d'émission de lumière ou de sons, ou encore la possibilité d'agir sur Internet comme par exemple un envoi de mail ou un appel téléphonique ou une modification de l'environnement par communication avec un système de domotique.  The system is able to control the behavior of a robot 10 which may be a humanoid robot with two lower limbs and two upper limbs or a robot having the appearance of a two or four-limb animal. The members of the robot can be provided with motorized joints, controlled by cards, possibly allowing it to move according to commands that are embedded and interpreted by one or more processors or transmitted from a server in form directly executable by the or processors embedded or to be developed by said processors. The robot is advantageously endowed with a head and a body completing its humanoid or animal form. It is also advantageously equipped with sensors enabling it to position itself in its environment and to perceive sound or movement signals coming from said environment. The robot can also have other action capabilities with its environment, such as sources of light emission or sound, or the ability to act on the Internet such as sending a mail or a phone call or a modification of the environment by communication with a home automation system.
Pour mettre en œuvre l'invention, le système d'édition et de commande est doté d'un éditeur de script 20 dans lequel est entré un texte destiné à être reproduit par le robot sous forme de signaux sonores. Cette entrée peut être effectuée directement à l'aide d'un simple clavier d'ordinateur ou par chargement dans le système d'un fichier de type textuel (*.doc, *.txt ou autre) ou d'un fichier html (éventuellement désigné par son adresse URL).. Ces fichiers peuvent également être reçus d'un site distant, par exemple par l'intermédiaire d'un système de messagerie. Pour opérer cette lecture, le système ou le robot sont doté d'un dispositif de synthèse 30 apte à interpréter le texte de l'éditeur de script pour produire des sons, qui peuvent être soit des paroles dans le cas d'un robot humanoïde, soit des sons représentatifs du comportement d'un animal. Le dispositif de synthèse sonore peut également reproduire des sons de fond, par exemple une musique d'ambiance qui, éventuellement, peut-être joué sur un ordinateur distant. Le déclenchement de la lecture d'une histoire peut de se faire lors de la réception d'un événement externe au robot tel que : To implement the invention, the editing and control system is provided with a script editor 20 in which is entered a text intended to be reproduced by the robot in the form of sound signals. This entry can be made directly using a simple computer keyboard or by loading into the system a file type text (* .doc, * .txt or other) or a html file (optionally designated by its URL). These files can also be received from a remote site, for example via a messaging system. To perform this reading, the system or the robot is provided with a synthesis device 30 able to interpret the text of the script editor to produce sounds, which can be either words in the case of a humanoid robot, or sounds representative of the behavior of an animal. The sound synthesis device can also reproduce background sounds, for example background music which, possibly, can be played on a remote computer. The triggering of the reading of a story can be done during the reception of an external event to the robot such as:
- la réception d'un message électronique (mail, SMS, appel téléphonique ou autre message).  - the reception of an electronic message (mail, SMS, telephone call or other message).
- un événement domotique (par exemple, l'ouverture de la porte par quelqu'un, lumière allumée par quelqu'un ou autre événement) Le système comprend une bibliothèque 40 de balises de commande destinées à être insérées dans l'éditeur de script par l'intermédiaire d'un module d'insertion 50. Avantageusement, l'insertion s'opère en faisant glisser (geste « drag and drop » avec une souris connectée à l'ordinateur sur lequel l'éditeur est implanté) la balise de commande choisie dans l'éditeur.  - a home automation event (for example, the opening of the door by someone, light on by someone or other event) The system includes a library 40 of control tags to be inserted into the script editor by via an insertion module 50. Advantageously, the insertion is effected by dragging (gesture "drag and drop" with a mouse connected to the computer on which the editor is implanted) the command tag chosen in the editor.
La figure 3 est une vue d'un arbre des balises de commande prévues pour mettre en œuvre l'invention dans un de ses modes de réalisation ; Fig. 3 is a view of a control beacon shaft provided for implementing the invention in one of its embodiments;
Les différentes balises de commande sont regroupées par type de comportement à générer dans des répertoires dont certains sont visualisables à côté de l'éditeur de script. The different command tags are grouped by type of behavior to generate in directories some of which are viewable next to the script editor.
L'arborescence développée à partir du niveau de type le plus élevé est reproduite ci-dessous :  The tree developed from the highest type level is reproduced below:
Général General
Langue  Language
- Français  - French
- Anglais  - English
- Espagnol  - Spanish
Prosodie Prosody
Vitesse  Speed
- lente  - slow
- moyenne  - average
- rapide  - fast
Volume  Volume
- faible  - low
- moyen  - way
- fort  - strong
Style - cartoon Style - cartoon
- normal - normal
- speed Voix - speed Voice
- Heather - Heather
- Julie - Julie
- Kenny  - Kenny
Organisation Organization
Titres  Securities
- Grand Titre  - Grand Title
- Sous-titre - Subtitle
- Auteur Structures - Author Structures
- Citation Listes  - Quotation Lists
- Numérotée - Numbered
- Non-numérotée - Unnumbered
Attitudes attitudes
- Exclamation  - Exclamation
- Interrogation  - Query
- Affirmation  - Affirmation
- Doute  - Doubt
- Honoré  - Honored
- Blagueur  - Joker
Politesse  Courtesy
- Bonjour - Hello
- Salut - Hello
- Au-revoir - Bisous  - Goodbye, kisses
Indications indications
Lieu  Location
- Ici  - Right here
- Partout - Nulle part - All over - Nowhere
- Loin  - Far
- La-bas  - Over there
- A coté  - Beside
Temps  Time
- Avant  - Before
- Après  - After
- Toujours  - Always
- Il y a longtemps  - Long ago
Manière  Way
- Gentiment  - nicely
- Franchement  - Frankly
Quantité  Quantity
- Beaucoup  - A lot
- Un peu  - A little
- Trop  - Too much
- Assez  - Enough
Négatif  Negative
- Ne pas  - Do not
- Aucun  - No
- Jamais  - Never
Mouvements movements
- Danse  - Dance
- Marche  - Walk
- Hourrah  - Hooray
Interactions interactions
- Détection de visage  - Face detection
- Bumper (Appui sur bouton du pied)  - Bumper (Foot button press)
- Détection de présence (ultra-sons)  - Presence detection (ultrasound)
Cette liste n'est pas limitative. Elle peut être enrichie par un éditeur de système d'édition et de commande de robot appliquant les enseignements de la présente invention. Des exemples de types de commandes sont plus particulièrement détaillés ci-dessous: This list is not exhaustive. It can be enriched by a robot editing and control system editor applying the teachings of the present invention. Examples of order types are more particularly detailed below:
Formes de lecture du script (ou prosodie): par exemple, la langue dans laquelle le script sera lu, dans le cas d'un robot humanoïde, pourra être choisie (français, anglais, anglo-américain, allemand, russe, etc ..) ; la voix pourra être une voix mâle, femelle ou d'enfant ; la tonalité pourra être plus ou moins grave ou aiguë ; la vitesse pourra être plus ou moins rapide ; l'intonation pourra être choisie en fonction de l'émotion que le robot est susceptible de ressentir en fonction du texte du script (affection, étonnement, colère, joie, remontrance, etc ..) ;  Forms of reading of the script (or prosody): for example, the language in which the script will be read, in the case of a humanoid robot, may be chosen (French, English, Anglo-American, German, Russian, etc.) ); the voice may be a male, female or child voice; the tone may be more or less serious or acute; the speed may be more or less rapid; the intonation can be chosen according to the emotion that the robot is likely to feel according to the text of the script (affection, astonishment, anger, joy, remonstrance, etc.);
Gestes d'accompagnement du script : par exemple, mouvement des bras vers le haut ou vers l'avant ; frappe d'un pied sur le sol ; mouvements de la tête vers le haut, le bas, à droite ou à gauche, selon l'impression que l'on veut communiquer en cohérence avec le script...  Script accompanying gestures: for example, arm movement up or forward; strike a foot on the ground; movements of the head upwards, downwards, to the right or to the left, according to the impression that one wants to communicate coherently with the script ...
- Emission de signaux : par exemple, si le robot est doté de diodes lumineuses (LED), celles-ci pourront être actionnées pour traduire des émotions fortes « ressenties » par le robot en lisant le texte ou pour générer un clignement des yeux adapté à la forme et à la vitesse d'élocution. Par l'intermédiaire d'un module de génération de comportements 6OA, les balises insérées dans le script génèrent l'exécution des commandes correspondantes par le robot en passant par un module de contrôle 6OB qui peut passer au module de génération des signaux transmis par le robot en réponse aux commandes.  - Emitting signals: for example, if the robot is equipped with LEDs, they can be activated to express strong emotions "felt" by the robot by reading the text or to generate a blink of the eye adapted to the form and speed of speech. Through a 6OA behavior generation module, the tags inserted in the script generate the execution of the corresponding commands by the robot via a control module 6OB which can pass to the module for generating the signals transmitted by the robot. robot in response to commands.
Comme il apparaît à la lecture des exemples cités ci-dessus, une des caractéristiques de l'invention est de permettre la génération automatique de commandes cohérentes avec le contenu du script à lire par le robot. Une première manière de réaliser ce couplage est de disposer de balises de commande liées à la ponctuation : dans ce cas, un point d'interrogation va générer une commande de tonalité cohérente avec le mode interrogatif. De même pour un point d'exclamation. Certains mots ou signes de ponctuation peuvent également générer automatiquement une balise qui commandera un comportement cohérent avec ce mot. A titre d'illustrations non limitatives : As it appears from reading the examples cited above, one of the features of the invention is to allow the automatic generation of commands consistent with the content of the script to be read by the robot. A first way to achieve this coupling is to have control tags related to punctuation: in this case, a question mark will generate a tone control consistent with the interrogative mode. Similarly for an exclamation point. Some words or punctuation may also automatically generate a tag that will command consistent behavior with that word. As non-limiting illustrations:
les guillemets peuvent être liés à une balise programmée pour déclencher un geste "citation", qui consiste à lever les bras et ouvrir et fermer deux fois les doigts de la main ; les adverbes ou mots clefs tels que "ici", "après", "beaucoup", peuvent être liés à une balise programmée pour déclencher le geste correspondant ; the quotation marks can be linked to a beacon programmed to trigger a "quote" gesture, which consists of lifting the arms and opening and closing the fingers twice; adverbs or key words such as "here", "after", "many" can be linked to a programmed beacon to trigger the corresponding gesture;
le mot « bonjour » peut être lié à une balise programmée pour générer automatiquement une balise de commande de levée de bras ; l'expression « je t'aime » peut être liée à une balise programmée pour générer automatiquement une commande des LED du visage qui génère un rougissement de celui-ci;  the word "hello" may be related to a programmed beacon to automatically generate an arm lift command tag; the expression "I love you" can be linked to a beacon programmed to automatically generate a control of the LEDs of the face which generates a blush of it;
l'expression « conduis une voiture » peut être liée à une balise programmée pour générer un mouvement imitant le geste indiqué dans l'expression;  the expression "drive a car" can be linked to a beacon programmed to generate a movement imitating the gesture indicated in the expression;
l'expression « il était furieux » sera accompagnée d'une modulation de la voix et d'un mouvement symbolisant la colère ;  the expression "he was furious" will be accompanied by a modulation of the voice and a movement symbolizing anger;
l'expression « il regarda attentivement la personne dans les yeux » sera soulignée par une rotation de la tête du robot dans la direction d'une personne de l'assistance ;  the expression "he looked intently into the person's eyes" will be underlined by a rotation of the robot's head in the direction of a person in the audience;
les listes à points et les listes numérotées, où chaque point ou numéro pourra déclencher un mouvement d'énumération (la main descend d'un cran vertical à chaque point).  point lists and numbered lists, where each point or number can trigger an enumeration movement (the hand goes down one notch vertically at each point).
Avantageusement, certaines commandes peuvent être des commandes d'interruption et d'attente d'un événement extérieur, tel qu'un mouvement en réponse à une question posée par le robot. Advantageously, certain commands can be commands for interrupting and waiting for an external event, such as a movement in response to a question posed by the robot.
Ainsi, certaines commandes peuvent être dépendantes des réactions du robot à son environnement, telles que mesurées par l'intermédiaire d'un module de surveillance de l'environnement 70. Ce module est interface avec des capteurs embarqués sur le robot. Par exemple, une caméra peut repérer des éléments caractéristiques dans l'environnement du robot, tels qu'un autre robot ou un humain qui tend une main au robot, ou tout simplement la présence ou l'absence de spectateurs de manière à ne jouer le texte qu'en présence d'un public. De même, les capteurs peuvent être, alternativement ou en complément, des capteurs ultrasonores qui permettent de détecter un mouvement dans l'environnement proche du robot. Dans ce cas, si c'est une réponse attendue par le script dans lequel une commande d'attente a été insérée, la commande suivante est exécutée. Avantageusement, les commandes de la bibliothèque sont transformées dans la syntaxe du langage balise utilisé pour mettre en œuvre l'invention à partir de commandes générées par le système d'édition et de commande divulgué par la demande de brevet française n° 09/53434 relative à un système et à un procédé pour éditer et commander les comportements d'un robot mobile appartenant à la demanderesse. Selon cette invention, les commandes obéissent à une double logique temporelle et événementielle, ce qui est particulièrement adapté dans le cas d'interactions d'un robot avec son environnement. Thus, certain commands may be dependent on the reactions of the robot to its environment, as measured by means of an environmental monitoring module 70. This module interfaces with sensors embedded on the robot. For example, a camera can identify features in the robot environment, such as another robot or a human handing the robot, or simply the presence or absence of spectators to play the robot. text only in the presence of an audience. Similarly, the sensors can be, alternatively or in addition, ultrasonic sensors that detect movement in the environment close to the robot. In this case, if it is an expected response by the script in which a wait command has been inserted, the following command is executed. Advantageously, the commands of the library are transformed into the syntax of the tag language used to implement the invention from commands generated by the editing and control system disclosed by the French patent application No. 09/53434 relating to a system and method for editing and controlling the behaviors of a mobile robot belonging to the Applicant. According to this invention, the commands obey a dual temporal and event logic, which is particularly suitable in the case of interactions of a robot with its environment.
Le système d'édition et de commande selon l'invention peut permettre la commande de plusieurs robots proches ou distants On peut prévoir que le choix du robot appelé à jouer un passage particulier d'un script est à la discrétion de l'utilisateur qui peut effectuer son choix par exemple à l'aide d'onglets prévus à cet effet dans l'interface du système d'édition et de commande. On peut également automatiser cette allocation de passages du script correspondant à des personnages différents à des robots distincts, par l'incrustation de balises particulières correspondant à chacun des personnages au sein du script. La figure 4 est un premier exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation. The editing and control system according to the invention can allow the control of several robots near or distant. It can be foreseen that the choice of the robot called to play a particular passage of a script is at the discretion of the user who can make your choice for example using tabs provided for this purpose in the interface of the editing and control system. We can also automate this allocation of passages of the script corresponding to different characters to separate robots, by embedding particular tags corresponding to each of the characters within the script. FIG. 4 is a first example of a scenario of use of the invention in one of its embodiments.
Dans ce mode de réalisation, on voit en particulier l'utilisation possible de listes dotées de balises numérotées, chacun des éléments de la liste étant affecté à une phrase et déclenchant un comportement adapté au contenu de la phrase. En particulier :  In this embodiment, we see in particular the possible use of lists with numbered tags, each of the elements of the list being assigned to a sentence and triggering behavior adapted to the content of the sentence. In particular :
[Story Init] -> met le robot en position de raconter une histoire (le met debout s'il est assis par exemple) ;  [Story Init] -> puts the robot in the position to tell a story (puts it up if it sits for example);
[LANG=fr] -> change la langue courante du robot, ainsi le robot est multi-langue et l'éditeur supporte toutes les langues du robot (anglais, français, italien, espagnol, allemand ...) ;  [LANG = en] -> changes the current language of the robot, so the robot is multi-language and the editor supports all languages of the robot (English, French, Italian, Spanish, German ...);
[Main Title]... [/Main Title] -> couple de balises d'ouverture et de fermeture déclenchant et terminant un comportement ;  [Main Title] ... [/ Main Title] -> pair of opening and closing tags triggering and ending a behavior;
[Long Time Ago] -> Le robot fait un geste du bras vers l'arrière, signifiant ainsi que l'action a lieu dans le passé ; [Therel] -> Correspond au mot-clef "la-bas", le robot fait un geste du bras vers l'horizon indiquant un lieu lointain ; [Long Time Ago] -> The robot makes a gesture of the arm to the back, meaning that the action takes place in the past; [Therel] -> Corresponds to the keyword "la-bas", the robot makes a gesture of the arm towards the horizon indicating a distant place;
[Herel] -> Correspond au mot-clef "ici", le robot fait un geste du bras vers le bas indiquant la proximité de l'action;  [Herel] -> Corresponds to the keyword "here", the robot makes a gesture of the arm downwards indicating the proximity of the action;
- La phrase commençant par la balise [Thisi] pourra être lue avec une première voix, avec une tonalité interrogative ;  - The sentence starting with the tag [Thisi] can be read with a first voice, with an interrogative tone;
La phrase commençant par la balise [This2] pourra être lue avec une deuxième voix, avec également une tonalité interrogative ;  The sentence starting with the tag [This2] can be read with a second voice, with also an interrogative tone;
La phrase commençant par la balise [This3] pourra être lue avec une troisième voix, avec une tonalité exclamative ;  The sentence starting with the tag [This3] can be read with a third voice, with an exclamatory tone;
[Nowhere] -> Correspond à "nulle part", le robot fait un geste de déni de la tête (hochement horizontal)  [Nowhere] -> Corresponds to "nowhere", the robot makes a gesture of denial of the head (horizontal nod)
Les balises d'ouverture et de fermeture d'un comportement peuvent être imbriquées sur plusieurs niveaux . Plusieurs comportements pourront alors être exécutés soit complètement simultanément (même début et même fin) soit pendant des périodes dont les ouvertures et fermetures sont déclenchées en fonction de la place des balises d'ouverture et de fermeture dans le script. La figure 5 est un second exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation.  The opening and closing tags of a behavior can be nested on several levels. Several behaviors can then be executed either completely simultaneously (same beginning and same end) or during periods whose openings and closings are triggered depending on the place of the opening and closing tags in the script. Fig. 5 is a second exemplary use scenario of the invention in one of its embodiments.
Dans cet exemple, une balise graphique est insérée. Cette balise a l'apparence d'un « smiley » ou émoticône, ce qui est désormais un langage commun utilisé dans les messageries et sur les chats internet. Ce type de balise permet de rendre encore plus intuitive l'utilisation du système d'édition et de commande de l'invention.  In this example, a graphical tag is inserted. This tag has the appearance of a "smiley" or emoticon, which is now a common language used in messaging and internet chats. This type of tag makes it even more intuitive to use the editing and control system of the invention.
La figure 6 est un troisième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation ; FIG. 6 is a third example of a scenario of use of the invention in one of its embodiments;
La figure 7 est un quatrième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation. Fig. 7 is a fourth exemplary use scenario of the invention in one of its embodiments.
Sur la figure 6, les différentes balises ont les significations qui suivent :  In Figure 6, the different tags have the following meanings:
drapeau français -> passage de la langue en français smiley (ou émoticône) avec bras en l'air -> exclamation smiley (ou émoticône) avec point d'interrogation -> Posture interrogative (regard en l'air, mains sur les hanches) french flag -> passage of the tongue in french smiley (or emoticon) with arms in the air -> exclamation smiley (or emoticon) with question mark -> Interrogative posture (look in the air, hands on hips)
[Bumper] Attends l'appui d'un bumper (bouton-poussoir sur le pied) pour continuer l'histoire  [Bumper] Wait for the support of a bumper (push-button on the foot) to continue the story
- guillemets -> geste de citation  - quotation marks -> quote gesture
smiley rigolard -> balise Blagueur  laughter smiley -> Joker tag
Les deux figures illustrent bien la combinaison possible de plusieurs types de balises au sein d'un même script. En particulier, la figure 7 combine des balises graphiques et des balises textuelles.  The two figures illustrate the possible combination of several types of tags within a single script. In particular, Figure 7 combines graphic tags and text tags.
L'utilisateur a également la possibilité de modifier le nom des balises à sa guise et ainsi de les remplacer par un mot de son choix. Il peut également décider de créer un nouveau comportement qu'il associera à un mot de son choix. Par exemple, il peut tout à fait décider qu'a chaque fois qu'il écrit « Salut » dans le système d'édition et de commande de l'invention, le robot accompagne ce mot d'un mouvement de la main, le comportement contenant le mouvement de la main sera donc associé à la balise « Salut ». The user also has the possibility to change the name of the tags as he wishes and so replace them with a word of his choice. He may also decide to create a new behavior that he will associate with a word of his choice. For example, he can quite decide that every time he writes "Hi" in the editing and command system of the invention, the robot accompanies this word with a hand movement, the behavior containing the movement of the hand will therefore be associated with the tag "Hi".
Une balise peut être programmée pour correspondre à plusieurs comportements : ainsi à chaque lecture le comportement peut changer (il est soit pris aléatoirement, soit séquentiellement, ou peut être dépendant des mots et balises précédents et suivants, c'est-à-dire contextualisé). A beacon can be programmed to correspond to several behaviors: thus at each reading the behavior can change (it is either taken randomly, or sequentially, or can be dependent on the preceding and following words and markers, that is to say contextualized) .
L'invention peut être mise en œuvre sur un ordinateur du commerce qui communique avec un ou plusieurs robots par l'intermédiaire de liaisons filaires ou sans fil. La génération de commandes est avantageusement effectuée par le système d'édition et de commande divulgué par la demande de brevet française n° 09/53434 déjà citée. Le ou les robots sont avantageusement dotées d'une architecture de contrôle commande à trois niveaux telle que celle divulguée par la demande de brevet française n° 08/01956000 appartenant également à la demanderesse. Ils doivent être dotés d'un logiciel permettant d'interpréter les commandes envoyées par le générateur de commandes de l'invention. Les exemples décrits ci-dessus sont donnés à titre d'illustration de modes de réalisation de l'invention. Ils ne limitent en aucune manière le champ de l'invention qui est défini par les revendications qui suivent. The invention can be implemented on a commercial computer that communicates with one or more robots via wired or wireless links. The generation of commands is advantageously carried out by the editing and control system disclosed by French Patent Application No. 09/53434 already cited. The robot or robots are advantageously equipped with a three-level control command architecture such as that disclosed by the French patent application No. 08/01956000 also belonging to the applicant. They must be equipped with software for interpreting the commands sent by the command generator of the invention. The examples described above are given by way of illustration of embodiments of the invention. They in no way limit the scope of the invention which is defined by the following claims.

Claims

REVENDICATIONS
1. Système d'édition et de commande de comportements d'au moins un robot (10) comprenant un module (20) d'édition d'un texte devant être déclamé par le robot, un module (30) de synthèse sonore dudit texte, une bibliothèque (40) de balises de commande de comportements à exécuter par le robot, un module d'insertion (50) desdites balises dans ledit texte et un module de génération et de contrôle (6OA, 60B) des comportements dudit robot, lesdites balises de commande comprenant au moins une balise pour commander un comportement dépendant du contenu du texte, ledit système étant caractérisé en ce que lesdites balises de commande sont des représentations sémantiques desdits comportements. 1. System for editing and controlling behaviors of at least one robot (10) comprising a module (20) for editing a text to be declaimed by the robot, a module (30) for sound synthesis of said text , a library (40) of behavior control tags to be executed by the robot, an insertion module (50) of said tags in said text and a generation and control module (60A, 60B) of the behaviors of said robot, said control beacons comprising at least one beacon for controlling a behavior dependent on the content of the text, said system being characterized in that said control beacons are semantic representations of said behaviors.
2. Système d'édition et de commande selon la revendication 1 caractérisé en ce qu'une partie des balises de commande est insérée dans le texte entre au moins un séparateur d'ouverture et au moins un séparateur de fermeture qui déclenchent respectivement le début d'une suite de comportements et la fin de ladite suite.  2. editing and control system according to claim 1 characterized in that a portion of the control tags is inserted into the text between at least one opening separator and at least one closing separator which respectively trigger the start of a sequence of behaviors and the end of said sequence.
3. Système d'édition et de commande selon l'une des revendications 1 à 3. Editing and control system according to one of claims 1 to
2, caractérisé en ce qu'il comprend en outre un module (70) de surveillance de l'environnement du robot et en ce que ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant de l'environnement du robot. 2, characterized in that it further comprises a module (70) for monitoring the environment of the robot and in that said library of control beacons comprises at least one beacon for controlling a behavior depending on the environment of the robot .
4. Système d'édition et de commande selon l'une des revendications 1 à 4. Editing and control system according to one of claims 1 to
3, caractérisé en ce que la bibliothèque de balises de commande comprend au moins une balise choisie dans le groupe commandes d'attente, commandes de réponse à une action extérieure attendue.3, characterized in that the control tag library comprises at least one tag selected from the standby commands group, response commands to an expected external action.
5. Système d'édition et de commande selon l'une des revendications 1 à5. Editing and control system according to one of claims 1 to
4, caractérisé en ce que balises de commande sont choisies dans le groupe comprenant des symboles graphiques, des signes de ponctuation et des mots. 4, characterized in that control tags are selected from the group consisting of graphic symbols, punctuation marks and words.
6. Système d'édition et de commande selon l'une des revendications 1 à6. Editing and control system according to one of claims 1 to
5, caractérisé en ce qu'une partie des balises de commande est insérée dans le texte sous forme d'une liste, chaque article de ladite liste correspondant à un membre de phrase auquel est associé un groupe de comportements. 5, characterized in that part of the control beacons is inserted in the text in the form of a list, each article of said list corresponding to a phrase which is associated with a group of behaviors.
7. Système d'édition et de commande selon l'une des revendications 1 à 6, caractérisé en ce que les comportements à exécuter par le robot sont choisis dans le groupe comprenant des combinaisons des modulations des voix lisant le texte, des gestes d'accompagnement du texte et des émissions de signaux.  7. editing and control system according to one of claims 1 to 6, characterized in that the behaviors to be performed by the robot are selected from the group comprising combinations of voice modulation reading the text, gestures of accompanying text and signal transmissions.
8. Système d'édition et de commande selon la revendication 7, caractérisé en ce que les modulations des voix sont choisies dans un groupe comprenant des combinaisons de langues, de voix, de tonalités, de vitesses et d'intonations différentes.  An editing and control system according to claim 7, characterized in that the voice modulations are selected from a group comprising different combinations of languages, voices, tones, speeds and intonations.
9. Système d'édition et de commande selon l'une des revendications 1 à 9. Editing and control system according to one of claims 1 to
8, caractérisé en ce que le module d'édition de texte communique avec le module de contrôle des comportements du robot par un module de messagerie électronique. 8, characterized in that the text editing module communicates with the behavior control module of the robot by an electronic mail module.
10. Système d'édition et de commande selon l'une des revendications 1 à 10. Editing and control system according to one of claims 1 to
9, caractérisé en ce qu'il est apte à dialoguer avec des éléments appartenant à un groupe comprenant des robots physiques, des robots virtuels et des ordinateurs. 9, characterized in that it is able to interact with elements belonging to a group comprising physical robots, virtual robots and computers.
11. Système d'édition et de commande selon la revendication 10, caractérisé en ce que les robots appartenant au groupe commandé exécutent chacun une partie du texte déterminée par au moins une balise de commande caractéristique de chacun des éléments du groupe.  11. Editing and control system according to claim 10, characterized in that the robots belonging to the controlled group each execute a part of the text determined by at least one control tag characteristic of each of the elements of the group.
12. Système d'édition et de commande selon l'une des revendications 1 à 11 , caractérisé en ce que le comportement commandé par une balise de commande peut changer selon une méthode choisie dans le groupe comprenant le changement aléatoire, le changement cyclique ou le changement contextuel.  12. editing and control system according to one of claims 1 to 11, characterized in that the behavior controlled by a control tag can change according to a method selected from the group comprising the random change, the cyclic change or the contextual change.
13. Procédé d'édition et de commande de comportements d'au moins un robot comprenant une étape d'édition d'un texte devant être déclamé par le robot, une étape de synthèse sonore dudit texte, une étape de lecture d'une bibliothèque de balises de commande de comportements à exécuter par le robot, ladite bibliothèque de balises de commande comprenant au moins une balise pour commander un comportement dépendant du contenu du texte, une étape d'insertion desdites balises dans ledit texte et une étape de contrôle des comportements dudit robot, ledit procédé étant caractérisé en ce que lesdites balises de commande sont des représentations sémantiques desdits comportements. 13. A method for editing and controlling behavior of at least one robot comprising a step of editing a text to be declaimed by the robot, a step of sound synthesis of said text, a step of reading a library of behavior control tags to be executed by the robot, said command tag library comprising at least one tag for controlling a behavior depending on the content of the text, a step of inserting said tags in said text and a step of controlling the behaviors of said robot, said method being characterized in that said control tags are semantic representations said behaviors.
14. Procédé d'édition et de commande de comportements caractérisé en ce qu'une partie des balises de commande est insérée dans le texte entre au moins un séparateur d'ouverture et au moins un séparateur de fermeture qui déclenchent respectivement le début d'une suite de comportements et la fin de ladite suite.  14. A method of editing and controlling behaviors characterized in that a portion of the control tags is inserted in the text between at least one opening separator and at least one closing separator which respectively trigger the start of a following behaviors and the end of the said sequence.
EP10784435A 2009-07-10 2010-07-12 System and method for generating contextual behaviours of a mobile robot Ceased EP2451617A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0954837A FR2947923B1 (en) 2009-07-10 2009-07-10 SYSTEM AND METHOD FOR GENERATING CONTEXTUAL BEHAVIOR OF A MOBILE ROBOT
PCT/EP2010/004234 WO2011003628A2 (en) 2009-07-10 2010-07-12 System and method for generating contextual behaviours of a mobile robot

Publications (1)

Publication Number Publication Date
EP2451617A2 true EP2451617A2 (en) 2012-05-16

Family

ID=42111526

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10784435A Ceased EP2451617A2 (en) 2009-07-10 2010-07-12 System and method for generating contextual behaviours of a mobile robot

Country Status (6)

Country Link
US (1) US9205557B2 (en)
EP (1) EP2451617A2 (en)
JP (1) JP2012532390A (en)
CN (1) CN102596516B (en)
FR (1) FR2947923B1 (en)
WO (1) WO2011003628A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2933065A1 (en) 2014-04-17 2015-10-21 Aldebaran Robotics Humanoid robot with an autonomous life capability

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2947923B1 (en) * 2009-07-10 2016-02-05 Aldebaran Robotics SYSTEM AND METHOD FOR GENERATING CONTEXTUAL BEHAVIOR OF A MOBILE ROBOT
JP5698614B2 (en) * 2011-06-22 2015-04-08 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ Context information processing system and method
FR2989209B1 (en) 2012-04-04 2015-01-23 Aldebaran Robotics ROBOT FOR INTEGRATING NATURAL DIALOGUES WITH A USER IN HIS BEHAVIOR, METHODS OF PROGRAMMING AND USING THE SAME
FR2991222B1 (en) * 2012-06-01 2015-02-27 Aldebaran Robotics SYSTEM AND METHOD FOR GENERATING CONTEXTUAL MOBILE ROBOT BEHAVIOR EXECUTED IN REAL-TIME
EP2933067B1 (en) * 2014-04-17 2019-09-18 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
EP2933070A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems of handling a dialog with a robot
JP6417629B2 (en) * 2014-08-07 2018-11-07 学校法人沖縄科学技術大学院大学学園 INVERSE REINFORCEMENT LEARNING METHOD, STORAGE MEDIUM FOR STORING INSTRUCTION TO EXECUTE PROCESSOR FOR PROCESS FOR INVERSE REINFORCEMENT LEARNING, SYSTEM FOR INVERSE REINFORCEMENT LEARNING, AND PREDICTION SYSTEM INCLUDING SYSTEM FOR INVERSE REINFORCEMENT LEARNING
DE102016115243A1 (en) * 2016-04-28 2017-11-02 Masoud Amri Programming in natural language
US10239205B2 (en) * 2016-06-29 2019-03-26 International Business Machines Corporation System, method, and recording medium for corpus curation for action manifestation for cognitive robots
CN110062683B (en) * 2016-12-12 2023-04-28 微软技术许可有限责任公司 Robot gesture generation method, device and computer readable medium
CN107186706B (en) * 2017-06-16 2019-08-09 重庆柚瓣家科技有限公司 The method and system of endowment robot control module's long-range
CN109521927B (en) * 2017-09-20 2022-07-01 阿里巴巴集团控股有限公司 Robot interaction method and equipment
JP2019118992A (en) * 2017-12-28 2019-07-22 株式会社日立ビルシステム Robot device control system
US10691113B1 (en) * 2018-02-06 2020-06-23 Anthony Bergman Robotic process control system
CN111098301B (en) * 2019-12-20 2020-08-18 西南交通大学 Control method of task type robot based on scene knowledge graph
CN111723557A (en) * 2020-06-30 2020-09-29 北京来也网络科技有限公司 AI-based language fragment editing method, device, equipment and storage medium
US20230236575A1 (en) * 2022-01-26 2023-07-27 Vivek Ramdas Pai Computer-automated scripted electronic actor control

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561637A (en) * 1991-09-02 1993-03-12 Toshiba Corp Voice synthesizing mail system
JPH09185607A (en) * 1995-12-28 1997-07-15 Dainippon Screen Mfg Co Ltd Hyper text layout device
DE19615693C1 (en) * 1996-04-19 1997-12-11 Siemens Ag Device and method for action determination
US5838973A (en) * 1996-05-03 1998-11-17 Andersen Consulting Llp System and method for interactively transforming a system or process into a visual representation
US6259969B1 (en) * 1997-06-04 2001-07-10 Nativeminds, Inc. System and method for automatically verifying the performance of a virtual robot
JPH11224179A (en) * 1998-02-05 1999-08-17 Fujitsu Ltd Interactive interface system
JPH11327872A (en) * 1998-05-18 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> Electronic mail presenting method, electronic mail terminal and storage medium for storing electronic mail presenting program
US6629087B1 (en) * 1999-03-18 2003-09-30 Nativeminds, Inc. Methods for creating and editing topics for virtual robots conversing in natural language
US6947893B1 (en) * 1999-11-19 2005-09-20 Nippon Telegraph & Telephone Corporation Acoustic signal transmission with insertion signal for machine control
JP4465768B2 (en) * 1999-12-28 2010-05-19 ソニー株式会社 Speech synthesis apparatus and method, and recording medium
JP4032273B2 (en) * 1999-12-28 2008-01-16 ソニー株式会社 Synchronization control apparatus and method, and recording medium
JP2001353678A (en) * 2000-06-12 2001-12-25 Sony Corp Authoring system and method and storage medium
JP2002127062A (en) * 2000-08-18 2002-05-08 Nippon Telegr & Teleph Corp <Ntt> Robot system, robot control signal generating device, robot control signal generating method, recording medium, program and robot
US6724409B1 (en) * 2000-11-16 2004-04-20 Hewlett-Packard Development Company L.P. Tree-based graphical user interface for creating and editing machine control sequences
US7367017B2 (en) * 2001-01-31 2008-04-29 Hewlett-Packard Development Company, L.P. Method and apparatus for analyzing machine control sequences
JP2002268663A (en) * 2001-03-08 2002-09-20 Sony Corp Voice synthesizer, voice synthesis method, program and recording medium
CN100509308C (en) * 2002-03-15 2009-07-08 索尼公司 Robot behavior control system, behavior control method, and robot device
JP2003308142A (en) 2002-04-17 2003-10-31 Seiko Epson Corp Message processing system, voice signal processing system, message processing facility, message transmitting terminal, voice signal processing facility, message processing program, voice signal processing program, program for facility, program for terminal, message data structure, message processing method, voice signal processing method and message preparation method
US20040193322A1 (en) * 2003-01-09 2004-09-30 Paolo Pirjanian Vision-and environment-based programming of robots and/or computer systems
US7707135B2 (en) * 2003-03-04 2010-04-27 Kurzweil Technologies, Inc. Enhanced artificial intelligence language
JP2004287016A (en) * 2003-03-20 2004-10-14 Sony Corp Apparatus and method for speech interaction, and robot apparatus
CN100351789C (en) * 2003-03-28 2007-11-28 索尼株式会社 Information providing device, method, and information providing system
JP2004318862A (en) * 2003-03-28 2004-11-11 Sony Corp Information providing device and method, and information providing system
CN100436082C (en) * 2003-08-12 2008-11-26 株式会社国际电气通信基础技术研究所 Communication robot control system
US7434176B1 (en) * 2003-08-25 2008-10-07 Walt Froloff System and method for encoding decoding parsing and translating emotive content in electronic communication
JP2005088179A (en) * 2003-09-22 2005-04-07 Honda Motor Co Ltd Autonomous mobile robot system
JP2005199373A (en) * 2004-01-14 2005-07-28 Toshiba Corp Communication device and communication method
JP2005266671A (en) * 2004-03-22 2005-09-29 Yamaha Corp Robot and voice reproduction method
JP2006155299A (en) * 2004-11-30 2006-06-15 Sharp Corp Information processor, information processing program and program recording medium
JP2006263858A (en) * 2005-03-24 2006-10-05 Advanced Telecommunication Research Institute International Communication robot
US8065157B2 (en) * 2005-05-30 2011-11-22 Kyocera Corporation Audio output apparatus, document reading method, and mobile terminal
JP2007044825A (en) * 2005-08-10 2007-02-22 Toshiba Corp Action control device, action control method and program therefor
JP4815940B2 (en) * 2005-08-17 2011-11-16 日本電気株式会社 Robot control system, robot apparatus, and robot control method
JP4718987B2 (en) * 2005-12-12 2011-07-06 本田技研工業株式会社 Interface device and mobile robot equipped with the same
US7738997B2 (en) * 2005-12-19 2010-06-15 Chyi-Yeu Lin Robotic system for synchronously reproducing facial expression and speech and related method thereof
KR20080085049A (en) * 2005-12-20 2008-09-22 코닌클리케 필립스 일렉트로닉스 엔.브이. Method of sending a message, message transmitting device and message rendering device
CN100348381C (en) * 2006-01-06 2007-11-14 华南理工大学 Housekeeping service robot
JP2007232829A (en) * 2006-02-28 2007-09-13 Murata Mach Ltd Voice interaction apparatus, and method therefor and program
US20080071540A1 (en) * 2006-09-13 2008-03-20 Honda Motor Co., Ltd. Speech recognition method for robot under motor noise thereof
JP2008168375A (en) * 2007-01-10 2008-07-24 Sky Kk Body language robot, its controlling method and controlling program
CN101020312A (en) * 2007-03-13 2007-08-22 叶琛 Robot transmission method and unit based on network function
JP5025353B2 (en) * 2007-07-03 2012-09-12 ニュアンス コミュニケーションズ，インコーポレイテッド Dialog processing apparatus, dialog processing method, and computer program
TWI338588B (en) * 2007-07-31 2011-03-11 Ind Tech Res Inst Method and apparatus for robot behavior series control based on rfid technology
FR2947923B1 (en) * 2009-07-10 2016-02-05 Aldebaran Robotics SYSTEM AND METHOD FOR GENERATING CONTEXTUAL BEHAVIOR OF A MOBILE ROBOT

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2011003628A2 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2933065A1 (en) 2014-04-17 2015-10-21 Aldebaran Robotics Humanoid robot with an autonomous life capability

Also Published As

Publication number Publication date
CN102596516B (en) 2016-04-13
US20120197436A1 (en) 2012-08-02
FR2947923A1 (en) 2011-01-14
CN102596516A (en) 2012-07-18
WO2011003628A3 (en) 2011-03-03
JP2012532390A (en) 2012-12-13
FR2947923B1 (en) 2016-02-05
US9205557B2 (en) 2015-12-08
WO2011003628A2 (en) 2011-01-13

Similar Documents

Publication Publication Date Title
WO2011003628A2 (en) System and method for generating contextual behaviours of a mobile robot
WO2012010451A1 (en) Humanoid robot equipped with a natural dialogue interface, method for controlling the robot and corresponding program
US20180133900A1 (en) Embodied dialog and embodied speech authoring tools for use with an expressive social robot
AU2003288790B2 (en) Proactive user interface
CN106663219B (en) Method and system for processing dialogue with robot
Mani Computational modeling of narrative
US20140156259A1 (en) Generating Stimuli for Use in Soliciting Grounded Linguistic Information
US7836437B2 (en) Semantic annotations for virtual objects
KR20240013280A (en) Automated assistants that accommodate multiple age groups and/or vocabulary levels
EP2834811A1 (en) Robot capable of incorporating natural dialogues with a user into the behaviour of same, and methods of programming and using said robot
CA2925930C (en) Method for dialogue between a machine, such as a humanoid robot, and a human interlocutor; computer program product; and humanoid robot for implementing such a method
EP2855105A1 (en) System and method for generating contextual behaviours of a mobile robot executed in real time
US20150142434A1 (en) Illustrated Story Creation System and Device
Strauss et al. Proactive spoken dialogue interaction in multi-party environments
JP2023156489A (en) Natural language processing system, natural language processing method, and natural language processing program
Klüwer et al. Talking NPCs in a virtual game world
Ball 11 A Bayesian Heart: Computer Recognition and Simulation of Emotion
EP3787849A1 (en) Method for controlling a plurality of robot effectors
Nakatsu Nonverbal information recognition and its application to communications
Ma Confucius: An intelligent multimedia storytelling interpretation and presentation system
Silvey Communicative emergence and cultural evolution of word meanings
Brunnberg How tools shape the game authoring process
Newland Interface Design: Seeking an Appropriate Analysis Framework
Ooi Mobile augmented reality for smart pet
Birkeland ‘Things he wanted to say’: Figures in the Dialogue of Raymond Carver’s Short Fiction

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120203

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20121213

APBK Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNE

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SOFTBANK ROBOTICS EUROPE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

APBT Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9E

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20200604