CN1457287A

CN1457287A - 用于机器人装置的操作控制的方法、程序、和记录介质、以及机器人装置

Info

Publication number: CN1457287A
Application number: CN02800361A
Authority: CN
Inventors: 横野顺; 佐部浩太郎; 加布里尔·科斯塔; 大桥武史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-02-21
Filing date: 2002-02-21
Publication date: 2003-11-19
Also published as: WO2002066211A1; JP2002239960A; KR20030007533A; US20030144764A1; US6697711B2

Abstract

机器人装置(1)，包括：学习单元(103)，用于学习根据操作部分(106)的外部操作所获得的时间序列信号，以便开始腿部单元(腿部块3A、腿部块3B、腿部块3C、腿部块3D)和头部单元(4)的运动；操作控制部分(102)，用于控制操作部分(106)，以便基于通过外力从操作部分(106)所获得的信号和先前的通过学习单元(103)所学到信号，而执行教学操作；驱动单元(105)、和预测单元(104)，用于预测操作是否是由通过外力从操作单元(106)所获得的初始信号所教的操作，借此，可以学到由用户所教的操作，可以判断通过外力所获得的信号，以及可以执行教学操作。

Description

用于机器人装置的操作控制的方法、程序、和记录介质、以及机器人装置

技术领域

本发明大体涉及机器人装置、用于控制机器人装置操作的方法和程序、以及具有在其中记录的程序的记录介质，更具体地说，涉及可以学会动作的机器人装置、使机器人装置能够学会动作的机器人装置操作控制方法和程序、以及具有在其中记录的程序的记录介质。

背景技术

最近，可获得被设计成外表像狗、猫等的机器人装置。一些这样的机器人装置根据外部信息和它们的内部状态自主地行动。控制器等用于使这样的机器人装置能够学会所期望的动作。例如，所谓的游戏杆被作这样的控制器。

为了通过控制器等使机器人装置能够学会动作，用户应该练习到某种程度。而且，四足行走机器人装置等具有更复杂的移动部分链接机构，因此，就更难以控制了。

同样，如果用户能够教机器人装置像真正的宠物那样以更逼真的方式做出动作，仿佛他或她把它当成真正的宠物似的，那么，他将会得到更多的乐趣。

发明内容

相应的地，本发明的目的是通过提供可以更容易地和以更逼真的方式学会动作的机器人装置、用于控制机器人装置操作的方法和程序、和具有在其中记录的程序的记录介质，来克服传统机器人装置的上述的缺陷。

上述的目的可以通过提供控制具有移动部分的机器人装置的操作的方法来实现，根据本发明，通过步骤：

学习与移动部分的操作相对应地在移动部分上产生的时间序列信号；和

根据在学习之后由于施加到移动部分上的外力而在移动部分上产生的信号和在学习步骤中学到的时间序列信号，来控制移动部分。

上述的机器人装置操作控制方法使机器人装置能够学会由用户对移动部分做出的动作，此后，通过回忆根据施加到移动部分上的外力而如此学会的动作，自主地行动。

同样，上述的目的可以通过提供用于控制机器人装置的操作的程序来实现，根据本发明，该程序使机器人装置能够执行步骤：

上述的程序可以使机器人装置能够学会与移动部分的操作相对应地在移动部分上产生的时间序列信号，此后，根据由于施加到移动部分上的外力而在移动部分上产生的信号和在学习步骤中学到的时间序列信号，来控制移动部分。因此，机器人装置通过回忆根据施加到移动部分上的外力而如此学会的动作，自主地行动。

同样，上述的目的可以通过提供具有在其中记录的用于控制具有移动部分的机器人装置的操作的程序的记录介质来实现，根据本发明，该记录介质使机器人装置能够执行步骤：

上述的记录在记录介质中的程序使机器人装置能够学会由用户对移动部分做出的动作，此后，通过回忆根据施加到移动部分上的外力而如此学会的动作，自主地行动。

同样，上述的目的可以通过提供具有移动部分的机器人装置来实现，根据本发明，该机器人装置包括：

用于学习与移动部分的操作相对应地在移动部分上产生的时间序列信号的装置；和

如上述的所构成的机器人装置能够学会由用户对移动部分做出的动作，此后，通过回忆根据施加到移动部分上的外力而如此学会的动作，自主地行动。

从结合附图对用于实现本发明的最佳模式的在下面的详细描述，本发明的这些和其它目的、特征和优点将变得更加明显。

附图说明

图1是示出了根据本发明的机器人装置的实施例的外表的透视图；

图2是包含在根据本发明的机器人装置中的、以便学会动作和做其它事情的基本单元的方框图；

图3解释了通过学习实现的、机器人装置的动作；

图4示出了形成图1中所示的机器人装置的学习单元的RNN(循环型神经网络)；

图5示出了在机器人装置中的在学习动作中进行的操作的流程；

图6示出了形成图1中所示的机器人装置中的预测单元的逆RNN；

图7是机器人装置的电路结构的方框图；

图8是示出了图1中所示的机器人装置中的软件结构的方框图；

图9是示出了图8中所示的机器人装置中的中间件层的结构的方框图；

图10是示出了图1中所示的机器人装置的软件结构中的应用层的结构的方框图；

图11是示出了图10中所示的应用层中的行为模型库的结构的方框图；

图12解释了作为用于决定机器人装置的行为的信息的有限概率自动控制(finite probability automation)；

图13示出了为有限概率自动控制的每个节点而准备的状态转换表；

图14是更详细地示出了图1中所示的机器人装置中的学习单元等的结构的方框图；和

图15是示出了RNN模块的结构的方框图。

具体实施方式

应当注意到，将要作为本发明的实施例描述的机器人装置是与它的周围环境(外部因素)和内部状态(内部因素)自适应地自主地行动的自主类型。

图1示出了用标号1一般地表示的机器人装置的具体例子。机器人装置1的形状是象诸如“狗”之类的动物，即，宠物机器人。如图所示的，机器人装置1包括主体块2、分别与主体块2的前左部、前右部、后左部和后右部相连接的腿部块3A、腿部块3B、腿部块3C和腿部块3D、和分别与主体块2的前端和后端相连接的头部块4和尾部块5。如上构成的机器人装置1，通过激励诸如腿部块3A、腿部块3B、腿部块3C、腿部块3D等的移动部分，以便根据它自己(内部)的状态和周围(外部)的环境或根据由用户对机器人装置1发出的指令或做出的动作，自适应地自主行动。

机器人装置1被设计成能学习由用户教的动作。机器人装置1学到的动作是这样的，例如，当仅仅在臀部推一下时，机器人装置1将做出如后面将详细描述的教导前的相应的动作(可以称之为“反应”)。图2是提供在机器人装置1中进行这样的学习的学习系统的方框图。如图所示的，机器人装置1中的学习系统包括传感器101、运动控制器102、学习单元103、预测单元104和驱动单元105。

机器人装置1也具有移动部分106，在这里，移动部分106指的是腿部块3A到腿部块3D、头部块4等的任何一个。当移动部分106运行或移动时，它与运行相对应地产生时间序列信号。学习单元103学习时间序列信号。运动控制器102和驱动单元105，基于由于施加到移动部分106上的外力而在移动部分106上产生的信号和通过学习单元103已经学到的时间序列信号，一起控制移动部分106。在学习之后，预测单元104，基于由于施加到移动部分106上的外力而在移动部分106上产生的初始信号来预测动作。

下面将详细描述上述的机器人装置1中的学习系统的每一个部件。传感器101检测移动部分106的位置的改变。传感器101是，例如，电位计、编码器等。应当注意到，理所当然，传感器101不限制于任何电位计或编码器，而是，它可以是能够检测机器人装置1的移动部分106在受到驱动之后的位置改变的器件。同样，除了当机器人装置1自主地行动时引起的在移动部分106的位置上的上述的改变之外，传感器101还能检测到由用户施加到机器人装置1上的外力引起移动的移动部分106的位置上的改变。

在移动部分106是上述的腿部块3A到腿部块3D的任何一个的情况下，本是电位计的传感器101检测腿部块3A到腿部块3D移动时的新位置的转角。把通过已经检测到转角的传感器101产生的检测信号供应给运动控制器102。

运动控制器102将控制移动部分106。更具体地说，运动控制器102，根据诸如来自传感器101的检测信号的各种信息，来控制移动部分106。运动控制器102通过驱动单元105来控制移动部分106。也就是说，运动控制器102把与诸如检测信号等的各种信息相对应的控制信号供应给驱动单元105。同样，运动控制器102还把来自传感器101的检测信号供应给学习单元103。稍后将详细描述学习单元103。

驱动单元105根据来自运动控制器102的控制信号控制移动部分106。也就是说，驱动单元105，根据控制信号激励在这里统称为移动部分106的腿部块3A、腿部块3B、腿部块3C和腿部块3D、头部块4或尾部块5等。

学习单元103被设计成能学习根据由来自运动控制器102的控制信号的激励下已经被驱动的移动部分106所作的运动，而在移动部分上产生的时间序列信号(检测信号)。通过学习单元103学到的检测信号是，例如，当为了让机器人装置1学习动作，用户把外力施加在移动部分106上，从而迫使移动部分106改变姿势时由传感器产生的信号。

更具体地说，来自传感器101的时间序列信号是由传感器101检测移动部分106的一系列位置改变或运动的结果。它包括，例如，如上所述的作为腿部块3A到腿部块3D的任何一个的位置上的改变的、由电位计检测到的转角(间接角度)。

预测单元104，基于来自传感器101的检测信号，在由学习单元103所做的上述的学习的结果基础上，预测(或回忆)动作。例如，在将施加到机器人装置上的行为或外力与可预测的动作相联系之后，当把这样的行为或外力施加到机器人装置上时，预测单元104把象定义相应的动作那样的一段信息提供给运动控制器102。

学习单元103和预测单元104一起工作，以实现如下面将通过举例描述的动作学习。为了把一个动作教给机器人装置1，用户在，例如，臀部上，向下推机器人装置1。用户对机器人装置1重复，例如，多次这样的动作。此时，将由学习单元103学习机器人装置1的腿部块3A到腿部块3D中的任何一个的转角。

在机器人装置1中，预测单元104，在从学习单元103学习的结果的基础上，来预测动作。更具体地说，在这样的学习之后，当用户在臀部上向下推机器人装置1时，预测单元104将预测到，用户在机器人装置1上所做的动作是学习单元103已经学习过的一种，并且，把相应的动作定义信息供应给运动控制器102。也就是说，基于已经获得的学习结果，机器人装置1预测到，突然向下推臀部将导致已经教过的动作，并且，把预测动作表达成自主地动作。

更具体地说，此时，在机器人装置1中执行的过程是这样的，基于从学习单元103的学习结果，检测施加到机器人装置1上的力的大小和方向，并且，在所检测的施加的外力的大小和方向的基础上，在预测单元104中计算每个关节的运动和必要的转矩，以便提供用于驱动相应的激励器的信息。在这种情况下，预测单元104，根据学习的结果，从所施加的力的大小和方向中预测(回忆)动作，并且，把作为用于引起移动部分106去做预测动作的控制信息的转矩信息反馈到运动控制器102。

因此，在已经学习了这样的行为之后，如图3中所示的，只要由用户突然推一下臀部，机器人装置1将会自主地做出与学到的行为相对应的行为。作为这种学习的一个应用，只要重复地用手握机器人装置1，就会教会机器人装置1与用户指令“把手伸给我”相对应的行为。在这种教导之后，机器人装置1将响应由用户对机器人装置1所做的相同动作，而自主地做出如此学会的伸手行为。

下面将针对学习单元103和预测单元104的结构，详细描述用于机器人装置1的上述的行为的学习单元103和预测单元104。

学习单元103是从神经网络构成的。如图4中所示的，作为学习单元103的神经网络具有包括输入层103₁、隐藏层(或中间层)103₂和输出层103₃的层次结构。更具体地说，神经网络是一种具有用于从输出层103₃反馈到输入层103₁的环路的循环型神经网络(将被称为“RNN”)。

一起来形成RNN的输入层103₁、隐藏层(或中间层)103₂和输出层103₃中的每一层都具有在层与层之间彼此随机连接的预定的数目的神经元。在输出层103₃中的一部分神经元与输出层103₃相连接，作为前后关系神经元(context neuron)，前后关系神经元是反馈神经元。例如，在包含在输出层103₃中的神经元达14个的情况下，它们当中的两个作为前后关系神经元与输入层103₁连接。神经元在层与层之间的彼此连接被概念化成加权因子。在RNN中，按照如下将描述的那样进行学习。应当注意到，要调整并存储加权因子，即神经元的层间连接。

为了在RNN中学习，把作为学习主题的输入信息从输入层103₁供应到输出层103₃。例如，把作为学习的主题的信息作为矢量值来供应。在每一层中，将输入矢量与每个神经元的加权因子相乘，并且，把如此提供的数据供应给后一层中的任何其它神经元。

更具体地说，在RNN中的学习是按照练习序列和实际学习的顺序实现的。练习序列主要包括两个过程，并且，实际学习也主要包括两个过程。

如图5中所示的，在步骤S1中，即在练习序列的第一过程中，例如，随机地初始化RNN的输入单元和前后关系单元的加权因子。

在步骤S2中，在练习序列的第二过程中，设置在其中把输出反馈到输入的闭环模式，和从初始化的加权因子中产生N步序列。

然后，将第一过程和第二过程重复预定的次数(例如，在这里是L次)，以提供L个练习序列。

通过L行的练习序列，执行实际学习。在实际学习的第一过程中，把如上获得的L个练习序列和最近的一个经验序列加在一起，提供(L+1)个学习序列。

在步骤S3中，在实际学习的第二过程中，在误差的逆向传播的规则之下，即在所谓的逆向传播规则下，执行在上面的第一步骤中获得的学习序列M次，以更新加权因子(也称为，例如，“加权矩阵”)。

注意到误差的逆向发射规则一般是这样的，让来自输出层103₃的输出值(例如，来自传感器的检测信号的预测值)与在下一次实际获得的值(例如，来自传感器的检测信号的预测值)之间的误差或差值，从输出层103₃反馈到输入层103₁。

上述的学习过程提供了本是神经元的层间连接的加权因子。例如，当来自输入层103₁的输出值与所要求的模式之间的误差或差值大于预定的值，或通过重复学习达预定的次数时，就决定终止学习。

学习单元103从上述的RNN形成。另一方面，预测单元104被形成为基于来自学习单元103的学习结果预测动作的功能，即通过所谓的逆向动力来执行预测操作的功能。与预测单元104相比，学习单元103可以被称为是执行所谓的正向动力的功能。

基于可以被认为是上述的RNN的逆变换的所谓的逆RNN(或RNN-1)，预测单元104，根据在RNN中执行的学习的结果来预测动作。例如，逆RNN与图4中的RNN相对应地在图6中被示出。如图所示的，逆RNN包括输入层103₁、隐藏层103₂和输出层103₃。

预测单元104从上述的逆RNN形成。接下来，将针对具体例子，描述上述的RNN和逆RNN的操作。在RNN中，输入值将是指示传感器状态的传感器输出和指示马达状态的马达输出，而与输入值相对应的输出值将是预测值(下面将被称为“传感器预测值”)。

如图4中所示的，在RNN的输入层103₁，把传感器输出S_t和马达输出m_t供应给RNN，并且，RNN在其输出层103₃，传送与输入相对应的且指示传感器状态的输出S_t+1和也与输入相对应的且指示马达状态的输出m_t+1。在RNN中，把一部分输出作为内容C_t反馈到输入层103₁。注意到在RNN中，反馈是通过以输出的传感器预测值S_t+1与在下一次实际测量的传感器值S_t+1之间的误差为基础的逆向传播规则而实现的。

在RNN中，基于到输入层103₁的输入信息，作为学习的结果，决定出每层的加权因子。也就是说，利用这种RNN，例如，当向下推臀部时，机器人装置1，基于视为由腿部块3A到腿部块3D的每一个中的电位计检测到的值的传感器输出S_t，作为学习的结果，决定出加权因子。

另一方面，逆RNN，基于学习的结果，可以提供作为上述的RNN的逆变换的预测值。更具体地说，如图6中所示的，把在时间n的传感器预测值S_n和前后关系C_n供应给逆RNN。这样，逆RNN将提供在时间n-1的传感器输入、马达状态输入和内容C_n-1。然后，与RNN类似，通过到正向动力的输入与输出结果之间的误差，逆RNN利用逆向传播规则进行操作。

通过依次反馈作为操作结果的传感器输入和前后关系，逆RNN输出马达状态的时间追溯序列作为预测值。最后，逆RNN可以提供用于在时间n的传感器预测值S_n的动作的时间序列A1，A2，…，A_n-1或马达的时间序列m1，m2，….，m_n-1。从逆RNN形成的预测单元104，把马达的时间序列m1，m2….，m_n-1输出到运动控制器102，运动控制器102将从马达的时间序列中获取时间序列转矩信息，并且将其输出到驱动单元105。驱动单元105，基于时间序列转矩信息，控制移动部分106。

利用上述的逆RNN，机器人装置1，从学习之后再学到的预先获得的结果中，预测到突然向下推臀部将导致预先教过的动作，并且，使动作成为自主地操作。

如上所述，学习单元103从上述的RNN形成，而预测单元104从上述的逆RNN形成。利用从这样的RNN形成的学习单元103和从这样的逆RNN形成的预测单元104，机器人装置1可以从传感器信息中学习所教的动作，并且，从学习之后输入的传感器信息中预测在下一次要输出的转矩，这样，就转变成所期望的姿势(回忆起的那一个姿势)。

(1)根据本实施例的机器人装置的结构

在前述的中，针对在机器人装置1上的本发明的实施例的应用已经描述了本发明的实施例。将更详细地描述机器人装置1的结构。

如图1中已经示出的，机器人装置1的形状象如“狗”之类的动物，即宠物机器人。如图所示的，机器人装置1是由主体块2、分别与主体块2的前左部、前右部、后左部和后右部相连接的腿部块3A、腿部块3B、腿部块3C和腿部块3D、和分别与主体块2的前端和后端相连接的头部块4和尾部块5组成。

如图7中所示的，主体块2容纳了控制单元16和电池17，控制单元16通过内部总线15相互连接CPU(中央处理单元)10、DRAM(动态随机存取存储器)11、高速(flash)ROM(只读存储器)12、PC(个人计算机)卡接口电路13和信号处理电路14而形成，电池17作为机器人装置1的电源。主体块2也容纳了角速度传感器18、加速度传感器19等，它们检测机器人装置1的运动的方向和加速度。

头部单元4在其上布置了CCD(电荷耦合器件)摄像机20，以捕捉外部环境；触摸传感器21，以检测当用户对机器人装置1做出诸如“轻拍”或“打击”之类的物理动作时施加在机器人装置1上的压力；距离传感器22，以测量从机器人装置1到存在于它前面的物体之间的距离；麦克风23，以拾取外部声音；扬声器，以输出诸如吠声之类的声音；和相当于机器人装置1的“眼睛”的LED(发光二极管)(未示出)。

而且，腿部块3A到腿部块3D的连接、腿部块3A到腿部块3D与主体块2之间的耦合、头部块4与主体块2之间的耦合、尾巴5A与尾部块5之间的耦合等，在其上布置了针对那里各自的数目的自由度数的激励器25₁到激励器25_n和电位计26₁到电位计26_n。例如，激励器25₁到激励器25_n的每一个是伺服马达。腿部块3A到腿部块3D由它们各自的伺服马达控制，以做出目标姿势或运动。电位计26₁到电位计26_n一起形成了在前面参照图2已经描述过的传感器101。

包括角速度传感器18、加速度传感器19、触摸传感器21、距离传感器22、麦克风23、扬声器24和电位计26₁到电位计26_n的传感器、以及LED和激励器25₁到激励器25_n，分别通过集线器27₁到集线器27_n与控制单元16中的信号处理电路14相连接。CCD摄像机20和电池17直接与信号处理电路14相连接。

信号处理电路14依次获取来自传感器的传感器数据、图像数据和声音数据，并且，通过内部总线15，将数据依次存储在DRAM 11中的位置中。同样，信号处理电路14获取来自电池17的电池剩余电压数据，并将数据存储在DRAM 11中的位置中。

随后，CPU 10使用存储在DRAM 11中的传感器数据、图像数据、声音数据和电池剩余电压数据，来控制机器人装置1的操作。

实际上，在打开机器人装置1之后的初始操作中，CPU 10通过PC卡接口电路13或直接从布置在主体块2中的PC卡插槽(未示出)中的存储器卡28或高速ROM 12中读取控制程序，并且，把程序存储在DRAM 11中。应当注意到，CPU 10起着在前面参照图2已经描述过的运动控制器10的功能。

此后，基于如上所述的来自信息处理电路14的被依次存储在DRAM 11中的传感器数据、图像数据、声音数据和电池剩余电压数据，CPU 10确定机器人装置1的内部状态和周围环境，和是否已经从用户发出了指令和做出了动作。

基于确定结果和存储在DRAM 11中的控制程序，CPU 10决定下一个行为，并且，基于该决定，驱动激励器25₁到激励器25_n中的相应的几个，例如，使头部块4垂直地或水平地转动，使尾部块5的尾巴A摇动，以及激励腿部块3A到腿部块3D而行走。

同样，CPU 10在必要的时候产生声音数据，并把它作为声音信号通过信号处理电路14供应给扬声器24，以便基于声音信号输出声音，或者，打开和关闭LED，或使LED闪烁。

如上所述，机器人装置1可以自适应地根据它自己的状态和周围环境以及响应来自用户的指令和动作，自主地行动。

(2)控制程序的软件结构

图8示出了用在机器人装置1中的上述的控制程序的软件结构。如图所示的，控制程序包括位于其底层且由一套设备驱动器31组成的设备驱动器层30。在这个程序中，设备驱动器31的每一个，是允许直接访问CCD摄像机20(在图7中)和如定时器之类的普通的计算机硬件的对象，并根据来自相应的硬件的中断而工作。

控制程序也包括位于设备驱动器层30上面的机器人服务器对象32。机器人服务器对象32是由虚拟机器人33、电源管理器34、设备驱动器管理器35和原设的机器人36组成的，其中，虚拟机器人33是从提供用于访问诸如上述的传感器和激励器25(激励器25₁到激励器25_n)之类的接口的软件组形成的，电源管理器34是从管理电池之间的切换的软件组形成的，设备驱动器管理器35是从管理其它各种设备驱动器的软件组形成的，而原设的机器人36是从管理机器人装置1的机构的软件组形成的。

控制程序也包括由对象管理器38和服务管理器39组成的管理器对象37。在这个控制程序中，对象管理器38是管理包含在机器人服务器对象32、中间件层40和应用层41中的每个软件组的开始和结束的软件组。服务管理器39是基于存储在存储器卡28(在图7中)中的连接文件中描述的、关于对象间连接的信息，管理对象间的连接的软件组。

中间件层40是从位于机器人服务器对象32上面的软件组形成的，以便提供机器人装置1的诸如图像处理和声音处理之类的基本功能。应用层41是从位于中间件层40上面的软件组形成的，以便基于由包含在中间件层40中的每个软件组处理的结果，来决定机器人装置1的行为。

图9中详细地说明了中间件层40和应用层41的软件结构。

从图9中可以看出，中间件层40是由识别系统60、和输出系统69组成的，其中，识别系统60包括分别用于噪声检测、温度检测、亮度检测、音阶检测、距离检测、姿势检测、触摸感测、运动检测和颜色检测的信号处理模块50到信号处理模块58，和输入语义转换器模块59等，而输出系统69包括输出语义转换模块68和信号处理模块61到信号处理模块67，分别用于姿势管理、跟踪、运动再现、行走、从跌倒状态恢复过来、LED发光和声音再现。

在这个实施例中，包含在识别系统60中的信号处理模块50到信号处理模块58，获取由机器人服务器对象32中的虚拟机器人33从DRAM 11(在图7中)中读取的传感器数据、图像数据和声音数据中的相应的那些，基于这些数据执行预定的处理，并且，把处理的结果供应给输入语义转换器模块59。例如，虚拟机器人33被设计成用于在预定的通信代码下的信号传送或转换。

输入语义转换器模块59，基于从信号处理模块50到信号处理模块58供应的处理的结果，来识别机器人装置的内部状态和周围环境以及来自用户的命令和动作，诸如“吵闹”、“炎热”、“明亮”、“机器人装置检测到一个球”、“机器人装置检测到它自己跌倒了”、“机器人装置受到轻拍”、“机器人装置受到打击”、“机器人装置听到音阶“do”、“mi”和“so”、“机器人装置检测到一个移动物体”或“机器人装置检测到一个障碍物”等，并把识别的结果输出到应用层41(在图7中)。

如图10中所示的，应用层41是由5个模块，包括行为模型库70、行为切换模块71、学习模块72、情感模型73和本能模型74而组成的。

在这个实施例中，行为模型库70包括独立的行为模型70₁到行为模型70_n，这些行为模型70₁到行为模型70_n与诸如“电池剩余电压已经变低”、“机器人装置从跌倒状态中恢复过来”、“机器人装置避开障碍物行走”、“机器人装置表达情感”、“机器人装置已经检测到一个球”等的一些预先选择的条件项是相对应的。

当从输入语义转换器模块59供应识别的结果时，或根据供应了识别的最后的结果之后所经过的预定的时间，就象将要在下面所述的那么必要，行为模型70₁到行为模型70_n，参照保持在情感模型73中的相应的情感参数值和保持在本能模型74中的相应的欲望(desire piece)参数值，决定下一个行为，并把决定的结果供应给行为切换模块71。

注意到在本实施例中，行为模型70₁到行为模型70_n的每一个，使用称为“概率自动控制”的算法，作为决定下一个行为的方法，为的是，基于为相互连接节点NODE₀到节点NODE_n(如图12中所示的)的弧线ARC₁到弧线ARC_n而设置的转换概率P₁到转换概率P_n，随机地决定，节点NODE₀到节点NODE_n中的哪一个是转换源，以及节点NODE₀到节点NODE_n中的另外的哪一个是转换目的。

更具体地说，为了让节点NODE₀到节点NODE_n中的每一个都形成行为模型70₁到行为模型70_n，行为模型70₁到行为模型70_n中的每一个都具有如图13中所示的状态转换表80。

状态转换表80具有作为用于从节点NODE₀到节点NODE_n中的一个转换到另一个的条件的事件(识别的结果)，其中的条件，按照输入的优先级，列在其中“输入事件名”的列相对应的其中的行中，并且，这样的转换条件还列在与“数据名”和“数据范围”的列相对应的行中。

因此，根据图13中的状态转换表80，在识别的结果是“机器人装置检测到一个球(BALL)”的情况下，只有当与识别的结果一起给出的球的尺寸(SIZE)是在范围“0到1000”之内时，或者，在识别的结果是“机器人装置检测到一个障碍物(OBSTACLE)”的情况下，只有当与识别的结果一起给出的从机器人装置1到障碍物的距离(DISTANCE)是在“0到100”的范围之内时，机器人装置1才可以从NODE₁₀₀的状态中转换到任何其它节点的状态。

同样，根据状态转换表80，即使没有供应识别的结果，但是，当在行为模型70₁到行为模型70_n循环引用的情感模型73和本能模型74中保持的情感和欲望的参数值中，保持在情感模型73中的“喜悦(JOY)”、“惊讶(SURPRISE)”和“悲伤(SADNESS)”中的任何一个，具有在“50到100”的范围之内的值时，机器人装置也可以从NODE₁₀₀的状态中转换到任何其它节点的状态。

同样，在状态转换表80中，把机器人装置1可以从节点NODE₀到节点NODE_n中的任何一个的状态中转换到的那些节点状态的节点的名称写入与“转换到其它节点的概率”的列相对应的“转换目的节点”的行中；把当满足写入“输入事件名”、“数据值”和“数据范围”的行中的所有条件时，机器人装置1可以转换到节点NODE₀到节点NODE_n的其它一个的状态中的转换的概率写入与“转换到其它节点的概率”的列相对应的行中；并且，把当机器人装置1转换到节点NODE₀到节点NODE_n之中的上述的节点的状态中时，机器人装置1要做出的行为被写入与“转换到其它节点的概率”相对应的“输出行为”行中。应当注意到，在与“转换到其它节点的概率”的列相对应的行中的概率的总和是100[％]。

因此，根据图13中的状态转换表80，当识别的结果“机器人装置检测到一个球(BALL)”和“球的尺寸(SIZE)”是在“0到1000”的范围之内时，机器人装置1可以有30[％]的概率从NODE₁₀₀转换到节点“node 120”的状态中，并且，输出行为将是“ACTION 1”。

行为模型70₁到行为模型70_n的每一个都是由象写入上述的状态转换表80中的那样的、相互连接的多个节点NODE₀到节点NODE_n组成的。当识别的结果是从输入语义转换器模块59提供时，通过利用节点NODE₀到节点NODE_n中的相应的一个的状态转换表80，行为模型随机地决定下一个行为，并且，把决定的结果供应给行为切换模块71。

如图10中所示的行为切换模块71，从分别从行为模型库70的行为模型70₁到行为模型70_n输出的行为中，选择具有较高的预定的优先级的、从行为模型70₁到行为模型70_n输出的那些行为，并且，把用于执行这些行为的命令(下面将被称为“行为命令”)发送到中间件层40中的输出语义转换器模块68。应当注意到，在这个实施例中，行为模型70₁到行为模型70_n(在图11中)的最下面的一个，被设置成具有最高优先级，而最上面一个被设置成具有最低优先级。

同样，在行为完成之后，行为切换模块71，基于从输出语义转换器模块68供应的行为完成信息，把行为完成通知学习模块72、情感模型73、和本能模型74。

另一方面，从输入语义转换器模块59供应的识别的结果当中，把作为诸如“打击”或“轻拍”之类的来自用户的动作而给予的教导的识别的结果供应给学习模块72。

然后，学习模块72，将基于识别的结果和来自行为切换模块71的信息，改变与行为模型库70中的行为模型70₁到行为模型70_n中的一个相对应的转换概率，以便，当机器人装置1受到“打击(批评)”时，降低行为的执行的概率，而当机器人装置1受到“轻拍(表扬)”时，增加行为的执行的概率。

另一方面，情感模型73，保持着表示6种情感的每一种的强度的参数值，这6种情感包括“喜悦”、“悲伤”、“愤怒”、“惊讶”、“厌恶”、和“害怕”。根据从输入语义转换器模块59供应的诸如“打击”或“轻拍”等的特别的识别的结果、经过的时间和来自行为切换模块71的信息，情感模型73循环地更新这些情感的参数值。

更具体地说，情感模型73，从来自输入语义转换器模块59供应的识别结果、在某一时刻机器人装置1的行为和从最后一次更新所经过的时间，利用预定的算法来计算那一时刻情感的变化。然后，假定情感变化为ΔE[t]，情感的当前的参数值为E[t]，以及指示对情感的敏感度的系数为k_e，情感模型73，通过计算方程(1)，确定在下一个循环中的、情感的参数值E[t+1]，并且，用情感的当前的参数值E[t]取代先前的参数值E[t+1]，从而，更新情感的参数值。情感模型73类似地计算方程(1)，以更新所有的其余的情感的参数值。

E[t+1]＝E[t]+k_e×ΔE[t] ………………………… (1)

注意到要预先确定每一个识别结果和来自输出语义转换器模块68的信息对每种情感的参数值的改变ΔE[t]影响到何种程度。预先确定是这样的，例如，“打击”的识别的结果将对“愤怒”的情感的参数值的改变量ΔE[t]有较大的影响，而“轻拍”的识别的结果对“喜悦”的情感的参数值的改变量ΔE[t]有较大的影响。

来自输出语义转换器模块68的信息是关于行为的反馈信息(行为完成信息)。也就是说，它是关于行为执行的结果的信息。情感模型73将通过这样的信息而改变情感。例如，“发哀鸣声”的行为将降低“愤怒”的情感的级别。应当注意到，来自输出语义转换器模块68的信息也被供应到前述的学习模块72，学习模块72将基于该信息而改变与行为模型70₁到行为模型70_n相对应的转换的概率。

注意到可以通过行为切换模块71的输出(具有加入其中的情感的行为)来反馈行为的结果。

另一方面，本能模型74保持着表示4种欲望(本能)的每一种的强度的参数值，这4种欲望(本能)包括“运动的欲望”、“爱”、“食欲”、和“好奇心”。根据从输入语义转换器模块59供应的识别的结果、经过的时间、来自行为切换模块71的信息等，本能模型74循环地更新这些欲望的参数值。

更具体地说，本能模型74，从识别的结果、经过的时间和来自输出语义转换器模块68的信息中，利用预定的算法来计算出在某一时刻包括“运动的欲望”、“爱”、“食欲”、和“好奇心”的欲望的每一个的变化。然后，假定欲望变化为ΔI[k]，欲望的当前的参数值为I[k]，以及指示对欲望的敏感度的系数为k_i，本能模型74，通过在给定的循环中计算方程(2)，确定在下一个循环中的欲望的参数值I[k+1]，并且，用欲望的当前的参数值I[k]取代值I[k+1]，从而，更新欲望的先前的参数值。本能模型74也计算方程(2)，以更新除了“食欲”之外的所有其余的本能(欲望)的参数值。

I[k+1]＝I[k]+k_i×ΔI[k] ………………………… (2)

注意到要预先确定每一个识别结果和来自输出语义转换器模块68的信息对每种欲望的参数值的改变ΔI[k]影响到何种程度。预先确定是这样的，例如，来自输出语义转换器模块68的信息对“疲劳”状态的参数值的改变量ΔI[k]有较大的影响。

注意到在这个实施例中，每钟情感和欲望(本能)的参数值被定义成在0到100的范围之内变化，并且，也为每一种情感和欲望设置系数k_e和k_i。

另一方面，如图9中所示的，中间件层40的输出语义转换器模块68，把如上所述的从应用层41的行为切换模块71供应的诸如“前进”、“喜悦”、“哀鸣”、或“跟踪(一个球)”的简短的行为命令，提供给输出系统69的信号处理模块61到信号处理模块67中的相应的一个。

当供应上述的行为命令时，基于行为命令，信号处理模块61到信号处理模块67产生用于供应给激励器25₁到激励器25_n(在图7中)的相应的一个的伺服命令、要从扬声器24(在图7中)输出的声音数据、和/或用于供应给“眼睛”的LED的驱动数据，并且，通过机器人服务器对象32的虚拟机器人33和信号处理电路14(在图7中)，以这种次序，把这些数据依次发送到激励器25₁到激励器25_n、扬声器24或LED中的相应的一个。

如上所述，机器人装置1在控制程序下，自适应地根据其内部状态和周围环境、来自用户的指令或动作，而做出自主的行为。

(3)本发明对机器人装置的应用

在前面，已经描述了机器人装置的结构。接下来，下面将详细描述通过机器人装置1的学习，所述的机器人装置1的结构已经在上面做了详细的描述。

如图14中所示的，除了前述的虚拟机器人33和用于姿势控制跟踪、运动再现、从跌倒状态恢复过来和行走的信号处理模块61到信号处理模块64之外，机器人装置1还包括行为程序模块111、RNN模块112和特征提取模块113。例如，这些部件的每一个都是控制程序。更具体地说，它们一起形成前面参照图8已经描述的中间件层40。用于姿势控制跟踪、运动再现、从跌倒状态恢复过来、和行走的信号处理模块61到信号处理模块64被包含在输出系统69中，而特征提取模块113被包含在识别系统60中。

在如图15中构成的RNN模块112中，由机器人装置1检测的每个传感器信息被供应给特征提取模块113。

特征提取模块113处理各种传感器信息，以便从传感器信息中提取特征，从而，提供传感器特征。然后，特征提取模块113把传感器特征供应给RNN模块112。

RNN模块112起着在前面参照图2已经描述过的学习单元103和预测单元104的功能。也就是说，它学习信息并基于学到的信息来预测信息。例如，RNN模块112是如图15中所示的那样而构成的。同样，RNN模块112是由，例如，图10中所示的作为学习模块72的控制程序所组成的。

来自行为程序模块111的命令A_t与传感器信息一起，作为输入而供应给如图12中所示的那样而构成的RNN模块112。在RNN模块112中，输入的传感器信息和命令A_t，被用于通过作为RNN的正向模块112₁和作为逆RNN的逆向模块112₂来学习信息。

为了在RNN模块112中的学习，正向模块112₁从输入的传感器信息S_t等信息中，获取在下一个时间的传感器信息(传感器预测值)S_t+1和前后关系C_t+1。例如，在必要的时候，将通过RNN模块112获取的在下一个时间的传感器信息(传感器预测值)S_t+1和前后关系C_t+1，出于需要，与机器人装置1的内部状态相联系地存储在行为程序模块111中。应当注意到，内部状态是，例如，情感等。

行为程序模块111将决定用于机器人装置1的行为程序。行为程序模块111被作为，例如，图10中所示的行为模型库70而构成。为了学习(在学习阶段；即，当还没有完全学会时)，行为程序模块111，基于行为模型库70中的上述的行为模型70₁到行为模型70_n中的一个所期望那一个，来决定机器人装置1的行为。如图14中所示的，行为程序模块111，把与行为程序相对应的行为信息A_t供应给姿势管理模块61。然后，通过位于行为程序模块111下游的模块的运行，基于行为信息A_t，来控制机器人装置1的运行。

同样，当有必要在RNN模块112中的学习已经进行时(也就是说，经过了一些学习之后)，回忆存储在行为程序模块111内的传感器信息和前后关系时，行为程序模块111，取出将要回忆的传感器信息S和前后关系C，并且，把它们作为输入到正向模块112₂的的逆RNN而供应给RNN模块112。

在RNN模块112中，通过逆RNN，从输入中逐个计算要做(回忆)的动作的时间序列A₁、A₂、…、A_n，并且，把时间序列A₁、A₂、…、A_n发送到姿势管理模块61。这样，机器人装置1就行动起来，以便可以提供到行为程序模块111的所期望的输入。

如上所述，由用户把外力直接施加到机器人装置1上，可以在用户与机器人装置1之间建立起直观的界面，并且，同一动作的重复教导，使机器人装置1能够预测它应当做的操作，因此，即使没有对机器人装置1做完用于操作的指令性动作，也可以自主地做那些操作。

注意到在上述的实施例中，在学习了一个动作之后，机器人装置1可以检测与在学习期间已经使用过的那一个相似的外力的施加，并且，自主地执行与学到的那一个相对应的动作。但是，本发明并不限于这个实施例，而是可以应用于实现一种无需把任何施加的外力当作触发信号、一开始就可以自主地做出学到的动作的机器人装置1。在这种情况中，机器人装置1可以将情感等与学会的动作相联系，并且，当机器人装置1拥有与那个动作相联系的情感时，就做出学会的动作。为了做出一个姿势，机器人装置1利用学会的正向模型来解决逆向动力问题，以便计算要输出的转矩，并利用转矩来实现目标姿势。

在本发明的上述的实施例中，学习单元利用RNN，而预测单元利用逆RNN。但是，本发明并不限于这种实施例。当然，学习单元也不限于这样的神经网络。

同样，在上述的实施例中，本发明应用于机器人装置1本身。但是，本发明并不限于这样的机器人装置。例如，本发明可应用于将要由上述的机器人装置1所执行的程序和具有记录在其中的这样的程序的介质。

工业可应用性

根据本发明的机器人装置操作控制方法，使机器人装置能够学会由用户对移动部分做出的动作，并且，通过基于施加到移动部分上的外力而回忆动作，而自主地做出学会的动作。

在根据本发明的程序之下，机器人装置能够学会由用户对移动部分做出的动作，并且，通过基于施加到移动部分上的外力而回忆动作，而自主地做出学会的动作。同样，本发明还提供了具有记录在其中的程序的记录介质。在这种情况下，机器人装置读取记录在记录介质中的程序，以学习由用户对移动部分做出的动作，并且，通过基于施加到移动部分上的外力而回忆动作，而自主地做出学会的动作。

根据本发明的机器人装置，包括：学习装置，用于学习当操作移动部分时，在移动部分上产生的时间序列信号；和运动控制装置，用于基于在学习之后，由于施加到移动部分上的外力而在移动部分上产生的信号和通过学习装置而学到的时间序列信号，来控制移动部分，因此，可以学会由用户对移动部分所做出的动作，并且，通过基于施加到移动部分上的外力而回忆动作，而自主地做出学会的动作。

Claims

1.一种控制具有移动部分的机器人装置的操作的方法，该方法包括步骤：

2.如权利要求1的方法，其中，信号指示了移动部分的位置。

3.如权利要求2的方法，其中：

机器人装置包括当控制移动部分的运动时用于检测移动部分已经移动到那个位置的装置；和

信号是来自位置检测装置的检测信号。

4.如权利要求1的方法，其中，在运动控制步骤中，基于在学习之后由于施加到移动部分上的外力而在移动部分上产生的初始信号来预测运动，把预测值与在学习步骤中学到的时间序列信号相比较，并且，基于比较的结果来控制移动部分。

5.如权利要求1的方法，其中，在学习步骤中，时间序列信号是通过神经网络学到的，在神经网络中，信号是沿着输入层、隐藏层和输出层而输入的。

6.如权利要求5的方法，其中，神经网络是具有用于从输出层反馈到输入层的环路的循环型神经网络。

7.一种用于控制机器人装置的操作的程序，该程序使机器人装置执行步骤：

8.一种已经在其中记录了用于控制具有移动部分的机器人装置的操作的程序的记录介质，该程序使机器人装置执行步骤：

9.一种具有移动部分的机器人装置，包括：

10.如权利要求9的装置，其中，信号指示了移动部分的位置。

11.如权利要求10的装置，其中：

机器人装置包括用于在控制移动部分的运动时，检测移动部分已经移动到那个位置的装置；和

信号是来自位置检测装置的检测信号。

12.如权利要求9的装置，还包括用于从在学习之后由于施加到移动部分上的外力而在移动部分上产生的初始信号来预测动作的装置；

运动控制装置把来自预测装置的预测值与通过学习装置学到的时间序列信号进行相互比较，并且，基于比较的结果控制移动部分。

13.如权利要求9的装置，其中，学习装置通过神经网络学习时间序列信号，在神经网络中，信号是沿着输入层、隐藏层和输出层而输入的。

14.如权利要求13的装置，其中，神经网络是具有用于从输出层反馈到输入层的环路的循环型神经网络。