CN102596516A

CN102596516A - 用于产生移动机器人的情境行为的系统和方法

Info

Publication number: CN102596516A
Application number: CN201080035241XA
Authority: CN
Inventors: B·迈索尼耶; J·蒙索
Original assignee: Aldebaran Robotics SA
Current assignee: SoftBank Robotics Europe SAS
Priority date: 2009-07-10
Filing date: 2010-07-12
Publication date: 2012-07-18
Anticipated expiration: 2030-07-12
Also published as: JP2012532390A; WO2011003628A3; US9205557B2; WO2011003628A2; FR2947923A1; EP2451617A2; FR2947923B1; US20120197436A1; CN102596516B

Abstract

本发明涉及用于产生机器人的行为的系统和方法，所述机器人能够特别地根据脚本的意义并且可能的机器人的环境的反应重新生成脚本。为此，系统被提供有命令标签库和用于向要被机器人重新生成的脚本的编辑器插入所述标签的模块。因此本发明使没有特定编程知识的用户能够生成他的或者她的机器人使用的复杂场景。这些场景也可以在不同的用户之间被交换。

Description

用于产生移动机器人的情境行为的系统和方法

本发明属于机器人编程系统的领域。更具体地说，它应用于与情境一致的行为的控制，在所述情境中，机器人(特别是人或动物的形式)，操作、表达自己并且靠肢体移动，无论是否关节型的。当机器人具有人类的外貌和功能的某些属性时机器人可以被认为是人形机：头、躯干、两条胳膊、可能两只手、两条腿、两只脚等等。可能给机器人类人的外貌和行为的功能之一是确保姿态表达和口语表达之间强耦合的可能性。具体地说，实现这个结果直观地将会使新用户群能够访问人形机器人行为编程。现有技术还没有恰当地解决这个问题。在虚拟主体和化身(avatar)领域，专门用于在功能和意识两个层次，独立于物理动作的行为的编程的语言，例如FML(功能标记语言)，或者在实际行为层次(其包括执行功能的虚拟角色的若干部分)的语言，例如BML(行为标记语言)，仍然只有专业编程人员才可访问，并且不与用日常用语写的脚本结合。本发明可以克服现有技术中的这些限制。

特别地，本发明允许向由机器人说出的文本中插入与口语表达相关的语调和/或行为的命令，所述命令例如可以被图形地表达。

为此，本发明公开用于编辑和控制至少一个机器人的行为的系统，其包括用于编辑要被机器人重新生成的脚本的模块，用于合成所述脚本的声音合成模块，针对要被机器人执行的两种行为的命令库，用于向所述脚本中插入所述标签的模块，以及用于产生和控制所述机器人的行为的模块，所述系统特征在于所述命令标签库包括至少一个用于取决于脚本内容来控制行为的标签。

有利地，本发明的编辑和控制系统还包括用于监视机器人的环境的模块，并且所述命令标签库包括至少一个用于取决于机器人的环境来控制行为的标签。

有利地，命令标签库包括至少一个从以下项构成的组中选择的标签：等待命令、响应于预期的外部动作的命令。

有利地，命令标签选自于包括图形符号、标点符号和词的组。

有利地，一些命令标签以列表的形式被插入到脚本中，所述列表中的每个条目对应于与行为组相关的短语成员。

有利地，一些命令标签被插入到脚本中的至少一个开始分隔符和至少一个结束分隔符之间，其中所述至少一个开始分隔符和至少一个结束分隔符分别触发一系列行为的开始和所述一系列行为的结束。

有利地，要被机器人执行的行为选自于包括阅读脚本的声音、伴随脚本的姿态和信号发射的调制的组合的组。

有利地，声音的调制选自于包括不同的语言、声音、语气、速度和语调的组合的组。

有利地，脚本编辑模块通过电子消息传送(messaging)模块与用于控制机器人的行为的模块进行通信。

有利地，根据本发明的编辑和命令系统能与属于包括物理机器人、虚拟机器人和计算机的组的元素对话。

有利地，属于受控制组的机器人每一个执行脚本的一部分，该部分由该组的每个元素的的至少一个命令标签特性确定。

有利地，由命令标签控制的行为可以根据选自于包括随机改变、周期改变或者情境改变的组的方法而改变。

本发明还公开了用于编辑和控制至少一个机器人的行为的方法，其包括编辑要被机器人重新生成的脚本的步骤，声音合成所述脚本的步骤，从要被机器人执行的行为的命令标签库中进行读取的步骤，向所述脚本中插入所述标签的步骤以及控制所述机器人的行为的步骤，所述方法特征在于所述命令标签库包括至少一个用于取决于脚本内容来控制行为的标签。

本发明允许行为库的创建和将这些容易地插入到由机器人实施的场景脚本中。另外，所使用的语言形式上非常接近在互联网上使用的语言，并且因此非常容易访问，而不需要背景知识或者训练。

本发明也适当地补足了以申请人的名义提交的法国专利申请No.09/53434，其涉及用于编辑和控制移动机器人的行为的系统和方法。后者提供用于使机器人执行行为的方法，其中能够通过使用编程人员可访问的专门的脚本语言来控制所述行为，或者通过使用预编程的库(其可以被选出并被插入到由事件连接的一系列行为箱中)图形地控制所述行为。本发明还允许机器人行为编程界面的简化。

通过以下多个例示性实施例的描述及其附图，可以更好地理解本发明，并且本发明的各种特征和优点将会变得显而易见，其中：

-图1是使用根据现有技术文档的BML语言的元素的行为编程的示例；

-图2是本发明的一个实施例中的指示本发明的方法的主要步骤的流程图；

-图3是本发明的一个实施例中的用于实现本发明的命令标签的树状图；

-图4是本发明的一个实施例中的使用本发明的场景的第一示例；

-图5是本发明的一个实施例中的使用本发明的场景的第二示例；

-图6是本发明的一个实施例中的使用本发明的场景的第三示例；

-图7是本发明的一个实施例中的使用本发明的场景的第四示例。

图1是使用根据现有技术文档的BML语言的元素的行为编程的示例。

BML编程旨在用于虚拟机器人而非物理机器人。因此它不产生可以由物理机器人直接执行的命令。

另外，在BML编程中，必须被机器人读取的脚本不能从程序编辑器直接访问(比照<sentence>指令)。因此，这种类型的编程界面对于没有技术编程能力的用户来说是不可访问的。它是完全自然语言中的区别性特征，其中，被物理机器人重新生成的文本是可以在命令编辑器中直接访问的。其他区别性特征将会在以下的描述中详细描述。

图2是本发明的一个实施例中的指示本发明的方法的主要步骤的流程图。

该系统能控制机器人10的行为，机器人10可以是带有两个下肢和两个上肢的人形机器人，或者是具有带有两个或者四个下肢的动物外貌的机器人。机器人的肢体可以具有机动关节，由插件(card)控制，可以使它能够根据命令移动，所述命令由一个或者更多的处理器嵌入和解释或者从服务器以可以被所嵌入的处理器直接执行的形式传送，或者所述命令是必须由所述处理器产生的。机器人有利地具有补充其人形或动物形状的头和身体。它还有利地具有传感器，使它能够在它的环境中定位自己，并且感知源于所述环境的声音或者运动信号。机器人也可以具有随着它的环境(例如光或者声音发射源)行动的其他能力，或者甚至诸如在互联网上行动的可能性，例如，发送邮件或者打电话或者通过与家庭自动化系统通信来改变环境。

为了实现本发明，编辑和控制系统被提供有脚本编辑器20，其中，在所述脚本编辑器20中输入了用于被机器人重新生成的、声音信号形式的文本。可以使用简单的计算机键盘直接完成这个输入，或者通过向系统中加载文本型文件(*.doc、*.txt或者类似的)或html文件(可能由它的URL地址指示)来完成。这些文件也可以例如经由消息传送系统从远程站点接收。为了使阅读功能工作，系统或者机器人被提供有合成设备30，其能解释脚本编辑器的文本以产生声音，该声音可以是人形机器人情况中的讲话，或者是代表动物的行为的声音。声音合成设备也可以重新生成背景声音，例如环境音乐，其可选地能够在远程计算机上播放。

读故事可以在收到机器人以外的事件时被触发，例如：

-收到电子消息(邮件、SMS、电话或者其他消息)，

-家庭自动事件(例如，门被人打开，灯被人打开，或者其他事件)。

该系统包括命令标签库40，其旨在经由插入模块50而被插入到脚本编辑器中。有利地，通过将所选择的命令标签拖动(用连接到在其上安装编辑器的计算机的鼠标进行“拖和放”动作)到编辑器中完成插入。

图3是在本发明的一个实施例中用于实施本发明的命令标签的树状图；

在目录中通过要产生的行为的类型将各种命令标签分组在一起，其中的一些可以在脚本编辑器的旁边看到。

从最高类型层次发展的树形结构重新生成如下：

通用

语言

-法语

-英语

-西班牙语

-...

韵律

速度

-慢

-平均

-快

音量

-低

-中

-高

风格

-卡通

-正常

-速度

声音

-Heather

-Julie

-Kenny

组织

标题

-主标题

-副标题

-作者

结构

-引用

列表

-编号的

-未编号的

态度

-感叹

-疑问

-肯定

-怀疑

-尊敬

-诙谐

礼貌

-你好

-嗨

-再见

-亲吻

指示

地点

-这里

-到处

-没有地方

-远处

-那里

-旁边

时间

-之前

-之后

-总是

-很久以前

方式

-温柔地

-大胆地

数量

-许多

-一点儿

-太多

-足够的

否定

-不

-决不

-从不

情绪

-跳舞

-走

-欢呼

交互

-检测脸

-缓冲器(按下脚按钮)

-检测存在(超声波)

这个列表不是限制性的。可以通过使用应用本发明的教导的机器人编辑和控制系统编辑器对它进行添加。

命令类型的示例更加具体地详述如下：

-读取脚本的形式(或者韵律)：例如，在人形机器人的情况下，可以选择的读取脚本所用的语言(法语、英语、美式英语、德语、俄语等等)；声音可以是男人、女人或者孩子的声音；音调可以有点儿深或者高；速度可以有点儿快；语调可以根据机器人根据脚本的文本可能感受到的情绪(喜爱、惊喜、生气、高兴、责备等等)来选择；

-伴随脚本的姿态：例如，胳膊向上或者向下的移动；脚撞击地面；取决于根据脚本要传达的印象，头向上、向下、向右或者向左的移动等等；

-信号发射：例如，如果机器人具有发光二极管(LED)，则可以致动这些来解释由机器人在读文本时“感受”到的强情绪，或者产生适应于朗读形式和速度的眨眼。

使用行为产生模块60A，通过使对应的命令通过控制模块60B，插入到脚本中的标签产生由机器人进行的对应命令的执行，其中，该控制模块60B可以将由机器人响应于这些命令而发送的信号传递到产生模块。

如当阅读以上所提到的示例时所呈现的，本发明的特征之一是允许与要被机器人读取的脚本内容一致的命令的产生。产生这种连接的第一个方式是使命令标签链接到标点：在这种情况下，问号将产生与疑问模式一致的语气命令。感叹号也是同样。一些词或者标点符号也可以自动地产生标签，该标签将命令与这个词一致的行为。给出一些非限制性的说明：

-引号可以被链接到被编程来发起“引用”姿态的标签，该姿态在于举起胳膊以及打开和闭上手指两次；

-诸如“这里”、“之后”、“许多”的副词或者关键词可以被链接到被编程来发起对应姿态的标签；

-词“你好”可以被链接到被编程来自动地产生用于举起胳膊的命令标签的标签；

-表达“我爱你”可以被链接到被编程来自动地产生脸的LED的控制，这产生其的脸红；

-表达“开车”可以被链接到被编程来产生模仿在表达中所指示的姿态的动作的标签；

-表达“他是愤怒的”将伴随着象征愤怒的声音和移动的调制；

-表达“他仔细地看着人的眼睛”将通过机器人的头朝在场的人的方向的旋转来强调；

-要点(bullet)列表和编号列表，其中每个要点或者编号可以发起列举动作(手通过一个垂直切口(notch)落在每个要点上)。

有利地，一些命令可以是停止和等待外部事件的命令，例如响应由机器人提出的问题的动作。

因此，某些命令可能依赖于通过环境监测模块70测量的机器于对它的环境的反应。这个模块与嵌入在机器人上的传感器连接。例如，照相机可以识别机器人的环境中的特征元素，例如另一个机器人或者人向该机器人握手，或者相当简单地观众的存在或缺席以便只在有公众存在的时候播放文本。类似地，传感器可以是，可替换地或者附加地，超声波传感器，其允许机器人附近的环境中动作的检测。在这种情况下，如果它是其中已经被插入等待命令的脚本预期的响应，那么执行下一个命令。

有利地，库中的命令被转换为标签语言的语法，该标签语言被使用为基于由法国专利申请No.09/53434公开的编辑和控制系统所产生的命令实施本发明，该法国专利申请No.09/53434是以申请人的名义提交的、涉及用于编辑和控制移动机器人的行为的系统和方法。根据这个发明，命令遵守面向双时间和事件的逻辑，其尤其适合于机器人与其环境交互的情况。

根据本发明的编辑和控制系统可以允许控制若干机器人(近程和远程二者)。可以提供要求机器人播放脚本的特定段落的选择以任凭用户处理，其中，用户例如能够通过使用在编辑和控制系统的界面中为了该目的而提供的标签作出他的选择。还可以通过嵌入对应于不同字符的每一个的特定标签，来使对应于不同字符的脚本的段落的、针对不同的机器人的这种分配自动化。

图4是在本发明的一个实施例中的使用本发明的场景的第一示例。

在这个实施例中，可以具体地看到带有已编号标签的列表的可能使用，列表中的每个元素被分配给一个句子，并且发起适合于该句子内容的行为。具体地说：

-[Story Init]->使机器人置于要讲故事的位置(例如如果它坐着则使它站立)；

-[LANG＝fr]->改变机器人的当前语言，以使机器人是使用多种语言的并且编辑器支持机器人的所有语言(英语、法语、意大利语、西班牙语、德语等等)；

-[Main Title]...[/Main Title]->发起和终止行为的开始和结束标签对；

-[Long Time Ago]->机器人做出胳膊向后的姿态，因此表示动作发生在过去；

-[There1]->对应于关键词“那里”，机器人做出胳膊朝向水平的姿态以指示遥远的地方；

-[Here1]->对应于关键词“这里”，机器人做出胳膊向下的姿态以指示动作的邻近；

-可以用带有疑问语气的第一声音读以标签[This1]开始的句子；

-可以用也带有疑问语气的第二声音读以标签[This2]开始的句子；

-可以用带有感叹语气的第三声音读以标签[This3]开始的句子；

-[Nowhere]->对应于“没有地方”，机器人用头做出否定的姿态(水平摇动)。

行为的开始和结束标签可以在若干层次上嵌套。那么几个行为可以或者所有同步地被执行(相同的开始和相同的结束)，或者周期地被执行，其中根据脚本中开始和结束标签的位置来发起开始和结束。

图5是在本发明的一个实施例中的使用本发明的场景的第二示例。

在这个示例中，图形标签被插入。这个标签具有“微笑符号”或者表情符号的外观，其是目前在消息传送系统和互联网聊天中所使用的通用语言。这种类型的标签使得难以更直观地使用本发明的编辑和控制系统。

图6是在本发明的一个实施例中的使用本发明的场景的第三示例。

图7是在本发明的一个实施例中的使用本发明的场景的第四示例。

在图6中，各种标签具有如下含义：

-法国国旗->法语

-胳膊在空中的微笑符号(或者表情符号)->感叹

-带问号的微笑符号(或者表情符号)->疑问姿势(向上看，手在臀部上)

-[Bumper]等待按下缓冲器(脚上的按钮)以继续故事

-引号->引用姿态

-微笑符号->诙谐标签

这两个图清晰地说明了在一个和相同的脚本中若干类型的标签的可能组合。具体地说，图7组合了图形标签和文本标签。

用户还具有随意修改标签的名字的选择，并且因此用他或者她选择的词取代它们。他或者她也可以决定创建与他或者她选择的词相关的新行为。例如，他或者她可以完全决定每次在本发明的编辑和控制系统中写“嗨”时，机器人用手的行动伴随这个词，因此包含手的该行动的行为将与“嗨”标签相关。

标签可以被编程为与若干行为对应：因此，每次读取时，行为可能改变(它或者随机地发生，或者顺序地发生，或者可以取决于前面和后面的词和标签，即，情境化)。

本发明可以被实施在市场标准的计算机上，其经由有线或者无线链接与一个或者更多的机器人通信。命令有利地由编辑和控制系统产生，该系统由已经引用的法国专利申请No.09/53434所公开。如以申请人的名义提交的法国专利申请No.08/01956000所公开的，机器人有利地具有三层控制和命令架构。它们应该具有软件，以使其可以解释由本发明的命令产生器所发送的命令。

给出以上所描述的示例来说明本发明的实施例。它们决不限制由所附权利要求所定义的本发明的范围。

Claims

1.一种用于编辑和控制至少一个机器人(10)的行为的系统，其包括模块(20)，用于编辑要被所述机器人所说的文本，声音合成模块(30)，用于合成所述文本，针对要被所述机器人执行的行为的命令标签库(40)，用于向所述文本中插入(50)所述标签的模块，以及用于产生和控制(60A，60B)所述机器人的行为的模块，所述命令标签包括至少一个用于取决于所述文本的内容控制行为的标签，所述系统特征在于，所述命令标签是所述行为的语义表示。

2.根据权利要求1所述的编辑和控制系统，其特征在于，所述命令标签中的一些被插入到所述文本中至少一个开始分隔符和至少一个结束分隔符之间，所述开始分隔符和所述结束分隔符分别触发一系列行为的开始和所述一系列行为的结束。

3.根据权利要求1至权利要求2中的一项所述的编辑和控制系统，其特征在于，它也包括模块(70)，其用于监测所述机器人的环境，并且在于所述命令标签库包括至少一个用于取决于所述机器人的所述环境控制行为的标签。

4.根据权利要求1至权利要求3中的一项所述的编辑和控制系统，其特征在于，所述命令标签库包括至少一个从以下项构成的组中选择的标签：等待命令、响应于预期外部动作的命令。

5.根据权利要求1至权利要求4中的一项所述的编辑和控制系统，其特征在于，命令标签选自于包括图形符号、标点符号和词的组。

6.根据权利要求1至权利要求5中的一项所述的编辑和控制系统，其特征在于，所述命令标签中的一些以列表的形式被插入到所述文本中，在所述列表中的每个条目对应于与行为组相关的一个短语成员。

7.根据权利要求1至权利要求6中的一项所述的编辑和控制系统，其特征在于，要被所述机器人执行的所述行为选自于包括阅读所述文本的声音、伴随所述文本的姿态以及信号发射的调制的组合的组。

8.根据权利要求7所述的编辑和控制系统，其特征在于，所述声音的调制选自于包括不同的语言、声音、语气、速度和语调的组合的组。

9.根据权利要求1至权利要求8中的一项所述的编辑和控制系统，其特征在于，所述文本编辑模块通过电子消息传送模块与用于控制所述机器人的行为的模块进行通信。

10.根据权利要求1至权利要求9中的一项所述的编辑和控制系统，其特征在于，它能够与属于包括物理机器人、虚拟机器人和计算机的组的元素对话。

11.根据权利要求10所述的编辑和控制系统，其特征在于，属于受控制的组的所述机器人每个执行由所述组的每个元素的至少一个命令标签特性确定的所述文本的一部分。

12.根据权利要求1至权利要求11中的一项所述的编辑和控制系统，其特征在于，由命令标签所控制的行为可以根据选自于包括随机变化、循环变化或者情境变化的组的方法而改变。

13.一种用于编辑和控制至少一个机器人的行为的方法，其包括用于编辑要被所述机器人所说的文本的步骤，声音合成所述文本的步骤，从要被所述机器人执行的行为的命令标签库中进行读取的步骤，所述命令标签库包括至少一个用于取决于所述文本的内容控制行为的标签，向所述文本插入所述标签的步骤，以及控制所述机器人的行为的步骤，所述方法特征在于，所述命令标签是所述行为的语义表示。

14.一种用于编辑和控制行为的方法，其特征在于，命令标签中的一些被插入到文本中至少一个开始分隔符和至少一个结束分隔符之间，所述开始分隔符和所述结束分隔符分别触发一系列行为的开始和所述一系列行为的结束。