CN102279600B - 机器人设备和控制机器人设备的方法 - Google Patents

Abstract

公开了一种机器人设备和控制机器人设备的方法。机器人设备包括：指令获得单元，其从使用者获得用于激励机器人设备建立对目标的联合关注的命令；位置/姿势估计单元，其响应于命令的获得来估计光学指示设备的位置和姿势，其中，使用者操作光学指示设备以通过光束的照射来指示目标；以及，目标指定单元，其基于位置和姿势的估计结果指定由光束的照射所指示的目标的方向，并且基于方向的指定结果在表示周围环境的环境地图上指定目标。

Description

机器人设备和控制机器人设备的方法

技术领域

本发明涉及一种机器人设备和控制机器人设备的方法。

背景技术

近年来，与使用者一起工作并根据使用者的命令来行动的机器人设备(在下文中被称为“机器人”)使用得很广泛了。为了使机器人与使用者注意到相同的目标(对象或位置)，需要建立联合关注(joint attention)。

例如，当使用者指示目标并命令针对该目标的行动时，使用者指示的目标必须与机器人根据使用者的命令所指定的目标相同。在这种情况下，尽管需要在使用者和机器人之间建立对目标的联合关注，但是难以确定地建立联合关注。

过去，为建立对目标的联合关注，使用了激光指示器识别、手势识别、触摸面板操作、加速传感器等。

例如，日本专利申请公开(JP-A)第2005-349497号公开了使用与加速传感器相结合的遥控器来控制机器人的控制技术。在该控制技术中，如果使用者通过遥控器的指示器(pointer)指示了目标，遥控器基于加速传感器的检测结果计算由指示器指示的位置并将计算结果传输给机器人。因此，机器人能基于计算结果将由指示器指示的位置指定为下一移动位置。

发明内容

在使用激光指示器识别的情况下，使用者通过高强度的激光来指示目标，并且机器人通过检测高亮度的点或区域来执行识别。在这种情况下，如果在摄像机中未安装专用滤光器，检测鲁棒性由于光照环境的影响而恶化。但是，如果安装专用滤光器，摄像机除了检测高强度的激光之外，不能用于其它目的。另外，在仅使用激光指示器识别的情况下，如果存在除由使用者指示的目标之外的任何高亮度的点或区域，不能充分确保识别的准确度。

另外，在使用手势识别的情况下，尽管摄像机可用于除手势识别之外的目的，手势识别不能充分地确保识别的准确度。另外，被认为是由使用者指示的目标可能不同于客观地被识别为正由使用者指示的目标，从而导致意向上的差异。

另外，在使用触摸面板操作的情况下，需要在机器人周围的真实空间与触摸面板上的显示空间之间进行映射，并且界面(interface)不自然。另外，如果显示分辨率低，指示目标的准确度会降低，然而如果分辨率高，会变得难以执行映射。

另外，在使用加速传感器的情况下，在JP-A第2005-349497号所公开的控制技术中，如果不经常地重启加速传感器，会累积检测误差，因此会难以以高准确度来指定下一移动位置。

如上所述，难以确定地在机器人与使用者之间建立对目标的联合关注。因此，考虑到上述情况，所期望的是提供一种机器人设备、控制机器人设备的方法以及程序，其中，能支持在使用者和机器人之间建立对目标的联合关注。

根据本发明的实施例，提供了一种机器人设备，包括：指令获得单元，其从使用者获得用于激励机器人设备建立对目标的联合关注的命令；位置/姿势估计单元，其响应于命令的获得来估计光学指示设备的位置和姿势，其中，使用者操作光学指示设备以通过光束的照射来指示目标；以及，目标指定单元，其基于位置和姿势的估计结果指定由光束的照射所指示的目标的方向，并且基于方向的指定结果在表示周围环境的环境地图上指定目标。

机器人设备还包括交互处理单元，其确认在与使用者建立联合关注时所执行的交互的建立。

交互处理单元可在获得命令之后确认交互的建立。

交互处理单元可在获得命令之前确认交互的建立。

位置/姿势估计单元可通过识别由使用者握住的光学指示设备来估计光学指示设备的位置和姿势。

根据本发明的实施例，提供了一种控制机器人设备的方法，包括以下步骤：从使用者获得用于激励与机器人设备建立对目标的联合关注的命令；响应于命令的获得来估计光学指示设备的位置和姿势，其中，使用者操作光学指示设备以通过光束的照射来指示目标；以及，基于位置和姿势 的估计结果指定由光束的照射所指示的目标的方向，并且基于方向的指定结果在表示周围环境的环境地图上指定目标。

根据本发明的另一实施例，提供了一种程序，用于使计算机执行控制机器人设备的方法。这里，可通过使用计算机可读的存储介质来提供程序，或者可经由通信装置(means)来提供程序。

如上所述，根据本发明，可提供一种机器人设备、控制机器人设备的方法和程序，其中，能支持在使用者和机器人之间建立对目标的联合关注。

附图说明

图1是示出根据本发明例示性实施例的机器人系统的配置的图；

图2是示出机器人的外形的透视图；

图3是示出机器人的控制系统的配置的方框图；

图4是示出机器人的主要功能性配置的方框图；

图5是示出指示器的外形的透视图；

图6是示出指示器的主要功能性配置的方框图；

图7是示出机器人的控制方法的过程的流程图；

图8A是用于说明图7中所示出的控制方法的图(1/6)；

图8B是用于说明图7中所示出的控制方法的图(2/6)；

图8C是用于说明图7中所示出的控制方法的图(3/6)；

图8D是用于说明图7中所示出的控制方法的图(4/6)；

图8E是用于说明图7中所示出的控制方法的图(5/6)；

图8F是用于说明图7中所示出的控制方法的图(6/6)；

图9是示出机器人的另一控制方法的流程的流程图；

图10A是用于说明使用者与机器人之间的交互的图(1/7)；

图10B是用于说明使用者与机器人之间的交互的图(2/7)；

图10C是用于说明使用者与机器人之间的交互的图(3/7)；

图10D是用于说明使用者与机器人之间的交互的图(4/7)；

图10E是用于说明使用者与机器人之间的交互的图(5/7)；

图10F是用于说明使用者与机器人之间的交互的图(6/7)；

图10G是用于说明使用者与机器人之间的交互的图(7/7)；

具体实施方式

在下文中，将参考附图详细描述本发明的优选实施例。应当指出，在本说明书和附图中，用相同的附图标记表示实质上具有相同功能和结构的结构元件，并且省略这些结构元件的重复说明。

在本公开中，将根据以下各项来描述本发明的例示性实施例：

1.机器人系统的配置

2.机器人的配置 

3.指示器的配置 

4.机器人的控制方法

5.交互的示例 

6.总结

[1.机器人系统的配置]

首先，将参考图1描述根据本发明的例示性实施例的机器人系统。图1示出了机器人系统的配置。

如图1所示，在机器人系统中，使用诸如激光指示器的指示器200(光学指示设备)来支持使用者10与机器人设备100(在下文中也被称为“机器人100”)之间对目标O的联合关注的建立。

例如，机器人100是支持日常生活的各种场景中的人类活动的双腿机器人。机器人100能够对应于内部状态(高兴、愤怒、悲伤、快乐等)做出举动并能够表达由人类做出的基本行为。

如图3所示，机器人100包括安装在其中的图像输入设备121、声音输入设备122和声音输出设备123。机器人100通过图像输入设备121接收周围环境图像数据，通过声音输入设备122接收声音数据以及通过声音输出设备123输出声音数据。另外，如图3所示，机器人100还包括安装在其中的通信接口(I/F)124。因此，机器人100响应于使用者的操作接收从指示器200等输出的指示命令C，以及将响应传输给指示器200等。

使用指示器200以通过具有高方向性的光束L的照射来指示目标O。指示器200优选地具有充足的光强度以使使用者看见照射到目标O上的光束L的亮点P，其中，该亮点P不必是可被机器人100检测到的。指示器200的光不是用于供机器人100识别要对其建立联合关注的目标O，而是用于供使用者100确认目标O。

如果使用者10希望与机器人100建立对目标O的联合关注，使用者向机器人100发出用于激励联合关注的建立的指示(联合关注指示)命令C，并且操作指示器200以通过照射光束L来指示目标O。机器人100获得指示命令C，并且响应于指示命令C估计由使用者10操作的指示器200的位置和姿态。机器人100基于位置和姿态的估计结果指定由光束L的照射所指示的目标O的方向(指示方向)，并且基于指示方向的估计结果在表示周围环境的环境地图EM上指定目标O。

这里，可在使用者10与机器人100之间确认交互I的建立，其中，基于图像或声音的识别结果或指示命令C的检测结果关于联合关注的建立而进行该交互I。

[机器人100的配置]

接下来，将参考图2到图4描述根据本发明的例示性实施例的机器人100。图2示出了机器人100的外形，以及图3示出了机器人100的控制系统的配置。图4示出了机器人100的主要功能性配置。

如图2所示，构成机器人100，使得头部101、一对右胳膊部103R和左胳膊部103L、以及一对右腿部104R和左腿部104L分别耦合到躯干单元102的预定位置。 

如图3所示，机器人100包括布置在例如躯干单元102中的控制系统。控制系统包括思考控制模块110和动作控制模块130，其中，思考控制模块110主动响应于使用者的输入来处理情感判断或感情的表达；动作控制模块130控制机器人100的全身协同动作，例如致动器140的驱动。

思考控制模块110包括中央处理单元(CPU)111、随机访问存储器(RAM)112、只读存储器113、外部存储设备114等，其中，中央处理单元111执行与情感判断或感情的表达有关的算术处理。思考控制模块110响应来自于外部世界的刺激而决定机器人100的当前感情或思考，其中，上述刺激例如是从图像输入设备121输入的图像数据、从声音输入设备122输入的声音数据、以及从通信接口I/F 124输入的指示命令C。思 考控制模块110将指示传输给动作执行模块130以执行基于决策的动作或行为。

动作控制模块130包括CPU 131、RAM 132、ROM 133、外部存储设备134等，其中，该CPU 131控制机器人100的全身协同动作。例如，在外部存储设备134中累积离线计算的行走模式、目标零力矩点(zero moment point，ZMP)轨道以及其它动作模式。

诸如致动器140、距离测量传感器(未示出)、姿势传感器141、地面确认传感器142L和142R、负荷传感器(未示出)和电源控制设备143的各种设备通过总线接口(I/F)135连接到动作控制模块130。致动器140实现机器人100的关节的活动。距离测量传感器测量使用者10与目标O之间的距离。姿势传感器141用于测量躯干单元102的姿势或倾斜度。地面确认传感器142L和142R分别检测右脚和左脚的脚底离开地面或落在地面上。负荷传感器检测作用于右脚和左脚的脚底上的负荷。电源控制设备143用于管理电源，例如，电池电源。

思考控制模块110和动作控制模块130被构造在公共平台上，并且通过总线I/F 115和135彼此连接。

动作控制模块130通过每个致动器140控制全身协同动作，以便能够实现从思考控制模块110指示的行为。即，CPU 131从外部存储设备134中读取对应于从思考控制模块110指示的行为的动作模式，或者CPU 131内部地生成动作模式。CPU 131根据所指示的动作模式来设置脚的动作、ZMP轨道、躯干的动作、上肢的动作、以及腰部的水平位置或高度。CPU131将用于指示根据所设置的内容的动作的命令传输给每个致动器140。

另外，通过基于姿势传感器141的输出信号来检测机器人100的躯干单元102的姿势或倾斜度，以及通过基于来自地面确认传感器142L和142R中的每个的输出信号来检测腿部104L和104R中的每个处于腿站立和腿空闲中的哪个状态，CPU 131自适应地控制机器人100的全身协同动作。另外，CPU 131控制机器人100的姿势或动作，使得ZMP位置能被引到ZMP稳定区域的中心。

另外，动作控制模块130将关于由思考控制模块110决定的预期行为被实现到什么程度的反馈(即，处理状态)提供回给思考控制模块110。如上所述，机器人100能够通过基于控制程序判断其自身的状态和周围环境的状态来自治地行动。另外，机器人100基于控制程序执行用于支持联 合关注的建立的控制方法，其将在稍后详细描述。

如图4所示，机器人100包括用于与使用者10建立对目标O的联合关注的各种功能性配置。机器人100的主要功能性配置包括命令接收单元151、图像输入单元152、声音输入单元153、声音输出单元154、图像识别单元155、声音识别单元156、环境地图创建单元157、交互处理单元158、位置/姿势估计单元159、目标指定单元160、环境地图存储单元161以及特征量存储单元162。

另外，命令接收单元151、图像输入单元152、声音输入单元153和声音输出单元154分别对应于如图3所示的通信接口I/F 124、图像输入单元121、声音输入单元122和声音输出单元123。例如，可由思考控制模块110的CPU 111、RAM 112、外部存储设备114等来实现其它功能性配置。

命令接收单元151响应于指示器200上的操作以有线或无线方式从指示器200接收包括联合关注命令的指示命令C。命令接收单元151包括例如布置在头部101中的一个或更多个接收设备(未示出)。如果指示命令C是无线电信号，那么在不同方向上布置多个接收设备，并且基于接收设备之间所接收到的信号强度的不同可估计使用者10所位于的粗略的方向。命令接收单元151用作指令获得单元。

图像输入单元152将机器人100周围的图像接收为图像数据，并且将图像数据提供给图形识别单元155和环境地图创建单元157。图像数据包括表示位于机器人100周围的对象或使用者10的数据，以及表示指示器200的位置和姿势的数据。另外，图像数据包括表示用于确认交互I的建立的使用者的表情或手势的数据。

声音输入单元153将机器人100周围的声音接收为声音数据，并且将声音数据提供给声音识别单元156。声音数据包括由位于机器人100周围的对象或使用者10所发出的声音的数据。另外，声音数据包括表示用于确认交互I的建立的来自使用者10的声音命令的数据。

声音输出单元154响应于预定的声音数据向外部输出声音。声音数据包括表示用于确认交互I的建立的声音响应的数据。另外，基于外部存储设备114等中所存储的数据来生成声音响应。

图像识别单元155基于图像数据中所包含的特征量来识别位于机器人100周围的对象或使用者10、指示器200的位置和姿势以及使用者的 表情或手势。另外，在特征量存储单元162中事先存储使用者10或对象的特征量、指示器200的特征量、使用者的表情或手势的特征量等。

声音识别单元156基于声音数据中所包括的特征量来识别由位于机器人100周围的对象或使用者10所发出的声音以及来自使用者10的声音命令。另外，声音命令的特征量也被事先存储在特征量存储单元162中。

环境地图创建单元157通过从以立体视觉等获取的距离信息中提取的多个平面(plane)来识别对象的环境、台阶差(step difference)等以创建环境地图EM，并且将环境地图EM存储在环境地图存储单元161中。环境地图创建单元157更新环境地图EM，并且将环境地图EM提供给位置/姿势估计单元159。通过对从构成图像输入单元152的两个摄像机(未示出)输入的图像进行立体图像处理来获取立体视觉。

环境地图创建单元157通过立体视觉系统来观察外部世界，并且将根据立体摄像机的视差图像计算出的立体数据(三维距离信息)输出为图像。即，在每个像素附近比较来自对应于人类双眼的左和右两台摄像机的图像输入，由视差估计到目标O的距离，以及将三维距离信息输出为图像。

环境地图创建单元157通过用平面检测器(未示出)从立体数据中检测平面来识别环境中所呈现的多个平面。另外，环境地图创建单元157创建环境地图EM，其中，在该环境地图EM中，以预定大小的网格的形式在水平方向或垂直方向上划分由立体视觉系统从平面数据中获得的周围环境。环境地图创建单元157还基于立体数据来更新环境地图EM，并且通过参考三维网格的障碍存在可能性来创建环境地图EM。

交互处理单元158基于图像或声音的识别结果或指示命令C的检测结果来确认关于与使用者的联合关注的建立而进行的交互I的建立。另外，稍后将描述交互处理的细节。交互处理单元158用作与图像识别单元155、声音识别单元156等合作的交互处理单元。

位置姿势/估计单元159估计由使用者10操作的指示器200的位置和姿势，并且将估计结果提供给目标指定单元160。基于指示器200的位置和姿势的估计结果，目标指定单元160指定由指示器200所指示的目标O的方向，并且在环境地图EM上指定目标O。另外，稍后将描述估计指示器200的位置和姿势的过程的细节和指定目标O的过程的细节。

[3.指示器200的配置]

接下来，将参考图5和图6来描述根据本发明的例示性实施例的指示 器200。图5示出指示器200的外形，并且图6示出指示器200的主要功能性配置。

如图5所示，指示器200是光学指示设备，例如通过光束L的照射来指示目标O的激光指示器。指示器200包括照射孔201、光束照射切换开关202、指示命令C操作开关203、诸如光发射器件的发光器件204，其中，照射孔201布置在指示器的前端，并且通过照射孔201照射诸如激光的光束L。指示器200具有可被使用者握住的大小。在图5中，指示器200具有扁平的矩形形状，但是指示器200可具有任意其它形状。

如图6所示，指示器200包括照射操作单元251、光束照射单元252、发光单元253、命令操作单元254、命令传输单元255和天线256。

照射操作单元251是响应使用者操作的操作单元，例如光束照射的切换开关202和接通/断开开关。当光束照射处于接通状态时，光束照射单元252从指示器200的照射孔201沿某个方向照射光束L。发光单元253是诸如发光二极管(LED)的光发射器件，并且当光束照射处于接通状态时点亮发光单元253。发光单元253可被配置成根据闪烁模式而点亮。发光器件253可被布置在指示器200的中央，或者被分散地布置在每个端部。

命令操作单元254是诸如操作开关203的操作单元，并响应使用者的操作将预定的指示命令C传输给机器人100。指示命令C包括用于激励联合关注的建立的指示命令C或用于确认交互I的建立的指示命令C。命令传输单元255通过天线256将对应于命令输入的指示命令C传输给机器人100。在下文中，假设以无线电方式传输指示命令C，但是可以以有线方式传输指示命令C。

当使用者10将指示器200的照射孔201转向对其建立联合关注的目标O的方向时，使用者10开启光束照射。指示器200将光束L照射到目标O上，并通过光束L的亮点P来指示目标O。另外，指示器200根据预定的闪烁模式等而点亮。

这里，光束L优选地具有这样的光强度：以该光强度，光束L的亮点P可被使用者看见，而无需被机器人100检测到。同时，发光二极管优选地具有这样的光强度：以该光强度，预定的闪烁模式能被机器人100检测到。

另外，发光单元253被布置成改进指示器200的空间位置和姿势的估计的准确度。因此，为了提高估计的准确度，排除发光器件253或与发光 器件253一起，指示器200可被配置成具有特有的形状、图案或颜色。可替选地，可在整个指示器200上形成随机的点图案。这里，通过检测分散在指示器200不同位置处的两个或更多个点的特征，能够估计指示器200的空间位置和姿势。

[4.机器人的控制方法]

接下来，将参考图7和图8A至图8F来描述机器人100的第一控制方法的流程。图7示出了机器人100的第一控制方法的流程，并且图8A至图8F示出了图7中所示的控制方法。

如图7所示，机器人100在思考控制模块110和动作控制模块130的控制下执行自治行为或待机行为(步骤S101)。自治行为表示响应于周围的外部状态或机器人100的内部状态自治地执行的动作。待机状态表示等待来自使用者10的命令的行为。

如图8A所示，使用者10向机器人100给出用于激励联合关注的建立的联合关注命令，并且使得可被机器人100看见(步骤S103和S105)。另外，可以以相反的顺序或并行地执行用于给出联合关注命令的动作(步骤S103)和用于使得可被机器人100看见的动作(步骤S105)。

通过指示器200上的预定操作来执行联合关注命令。在这种情况下，响应于预定操作将表示联合关注命令的指示命令C从指示器200传输给机器人100。另外，例如通过除指示器200以外的操作输入设备上的预定操作或者通过声音输入单元153上的预定声音命令可执行联合关注命令。另外，可在与稍后描述的目标O的指示相同的时间执行联合关注命令。

同时，机器人100在自治行为或待机行为期间基于命令接收单元151的指示命令C的接收状态确认联合关注命令是否存在(步骤S107)。然后，如图8B所示，当联合关注命令被确认时，机器人100通过动作M1转向使用者10的方向(步骤S109)。

具体地，机器人100将输入单元152的拍摄(shooting)方向调整到使用者10的方向(例如，脸部)，尤其是能够检测到由使用者的操作所操作的指示器200的方向。因此，机器人100转向使用者的方向，表达了交互的意思，并且能以自然状态执行接下来的联合关注的建立。

通过从输入到图像输入单元153的图像数据中检测使用者10或指示器200的特征量并且通过识别使用者10或指示器200来指定拍摄方向。通过用动作控制模块130转动机器人100的整个身体或仅转动头部101来 调整拍摄方向。另外，在转动机器人100的整个身体或头部101的位置的同时，可检测使用者10或指示器200的特征量。

如图8C所示，如果使用者10和机器人100彼此面对，机器人100确认交互I的建立是否存在(步骤S111)。稍后将详细描述交互I的建立，但是基于图像或声音的识别结果或指示命令C的检测结果来确认交互I的建立。当在预定时间内确认交互I的建立时，机器人100执行接下来的过程(步骤S113)，但是当在预定时间内未确认交互I的确认时，机器人100返回到自治行为或待机行为(步骤S101)。

这里，由于使用者10和机器人100彼此面对，机器人100能够通过确认交互I的建立而确认给出了联合关注命令。因此，与没有确认交互的建立的情况相比，能够防止由联合关注命令的检测错误所导致的错误动作。

机器人100估计由使用者10操作的指示器200的位置和姿势(步骤S113)。这里，如图8D所示，假设在估计指示器200的位置和姿势的时间点处，使用者10操作指示器200以照射光束L，并且指示目标O。

目标O可被指示为由停止的光束L的亮点P所表示的点，或者可被指示为由在预定范围内移动的光束L的亮点P所表示的区域。在前者的情况下，由亮点P表示的点被指定为目标O，以及在后者的情况下，由亮点P表示的范围被指定为目标O。使用者10能够通过使光束L的亮点P可看见来确认所指示的目标O。机器人100基于指示器200的位置和姿势，而不是基于光束L的亮点P来指定目标O。

通过从输入到图像输入单元152的图像数据中检测指示器200的特征量来估计指示器200的位置和姿势。具体地，通过检测布置在指示器200内的光发射器件的发光状态以及作为特征量的指示器200的形状、颜色或图案，可以以高准确度来估计指示器200的位置和姿势。这里，假设指示器200的特征量被事先存储在特征量存储单元162等中。

另外，使用日本专利申请公开(JP-A)第2004-326693号所提出的对象识别技术或者使用诸如立体识别或哈夫(Hough)变换的技术，可估计指示器200的位置和姿势。另外，排除图像数据或者与图像数据一起，使用布置在指示器200内的加速传感器或磁传感器(未示出)的检测数据，可检测指示器200的位置和姿势。

具体地，当机器人100靠近使用者10时，尽管对其建立联合关注的 目标O位于远处，可以以高准确度估计指示器200的位置和姿势，因此能够以高准确度指定目标O。另外，当机器人100靠近使用者10时，由于可以以高准确度来估计指示器200的位置和姿势，使用者10能够自发地或响应来自机器人100的请求而容易地执行用于提高估计的准确度的方法。例如，使用者10能够改变指示器200的姿势，以便在目标O的方向被指示的状态下能够容易地识别指示器200。

当指示器200的位置和姿势被估计时，机器人100基于估计结果指定由光束L的照射所指示的目标O的方向(指示方向)(步骤S115)。即，基于指示器200的位置和姿势的识别，而不是基于照射到目标O上的光束L的亮点P的识别，来指定指示方向。通过基于指示器200的位置和姿势估计照射孔201的位置和方向来指定指示方向。另外，指示器200上的照射孔201的位置和方向被设置为机器人事先已知的信息。

当目标O的方向被指定时，机器人100基于指示方向的指定结果在环境地图EM上指定目标O(步骤S117)。通过在环境地图EM上指定指示器200的位置和姿势，并且通过在环境地图EM上进一步检查指示方向和数据，将目标O指定为例如特定的目标或位置。

图8E示出了目标O在环境地图EM上的指定结果。使用三维坐标在环境地图EM上指定目标O。例如通过从图像数据中检测指示器200中所存在的三个或更多个特征量来估计指示器200的位置和姿势。因此，在环境地图EM上使用三维坐标来估计指示器200的位置和姿势。

通过根据指示器200的位置和姿势估计照射孔201的位置和方向来指定指示方向。因此，在环境地图EM上使用三维坐标来估计照射孔201的位置和方向。另外，指示方向被指定为参数(三维角度信息等)，该参数定义了从作为基点的照射孔201的位置Pp开始沿照射孔201所面对的方向延伸的直线。目标O被指定为环境地图EM中出现在指示器200前方直线上的目标或位置。

如图8F所示，当目标O被指定时，机器人100开始关于所指定的目标O的预定动作(步骤S119)。例如，机器人100通过图8D中所示的动作M2转向目标O的方向，并且通过图8F所示的动作M3在目标O的方向上移动。然后，当完成预定动作时(步骤S121)，机器人100返回到自治行为或待机行为(步骤S101)。

因此，能够支持在使用者10与机器人100之间对目标O的联合关注 的建立。另外，可以以相反的顺序或并行地执行确认交互I的建立的过程(步骤S111)、估计指示器200的位置和姿势的过程(步骤S113)以及指定目标O的方向的过程。此时，当在估计指示器200的位置和姿势之后确认交互I的建立时，由于完成了位置和姿势的估计，能够确定无疑地支持联合关注的建立。

接下来，将参考图9描述机器人100的第二控制方法。另外，将省略与第一控制方法重复的说明。

机器人100执行自治行为或待机行为(步骤S151)。当使用者使得可被机器人100看见时(步骤S153)，确认交互I的建立是否存在(步骤S157)。当机器人转向使用者10的方向时(步骤S155)，确定交互I的建立(步骤S157中的是)。另外，当机器人100转向使用者10的方向时(步骤S155)，确认交互I的建立是否存在(步骤S159)。当使用者使得可被机器人10看见时(步骤S153)，确认交互I的建立(步骤S159中的是)。

如果机器人100和使用者10中的至少之一确认交互I的建立(步骤S157和步骤S159)，机器人100确认联合关注命令是否存在(步骤S163)。当确定联合关注命令时，机器人100执行接下来的过程(步骤S165)；但是当未确认联合关注命令时，返回到自治行为或待机行为(步骤S151)。

然后，当确认联合关注命令时，机器人100估计由使用者操作的指示器200的位置和姿势(步骤S165)。这里，假设在估计指示器200的位置和姿势的时间点处，使用者10操作指示器200以照射光束L，并且指示目标O。

当估计指示器200的位置和姿势时，机器人100基于估计结果指定由光束L的照射所指示的目标O的方向(指示方向)(步骤S167)。当指定目标O的方向时，机器人100基于指示方向的指定结果在环境地图EM上指定目标O(步骤S169)。

然后，机器人对所指定的目标O开始预定的动作(步骤S171)。当完成预定动作时(步骤S173中的是)，机器人100返回到自治行为或待机行为(步骤S151)。

因此，能够支持使用者10与机器人100之间对目标O的联合关注的建立。另外，可以以相反的顺序或并行地执行确认交互I的建立的过程(步骤S159)、估计指示器200的位置和姿势的过程(步骤S165)以及指定目标O的方向的过程(步骤S167)。

在第二控制方法中，由于在确认交互I的建立之后确认联合关注命令的存在，能够以比第一控制方法中更高的确定度来确认联合关注命令。

[5.交互I的示例]

接下来，将参考图10A至图10G来描述关于使用者10与机器人100之间共同关注的建立所执行的交互I的示例。例如，使用图像或声音的识别结果、指示命令C的检测结果及其组合来执行交互I。

如图10A所示，在使用使用者脸部识别的情况下，机器人100可从图像输入单元152的图像数据中检测使用者的脸部特征C1，并且将脸部特征C1识别为使用者的脸。在这种情况下，当识别使用者的脸时，机器人100执行用于将图像输入单元152的拍摄方向调整到使用者的脸的方向的动作M1。使用者10通过确认动作M1能够确认交互I的建立。另外，可通过检测使用者的脸的正面或侧面的特征来识别使用者的脸，或者可通过检测使用者的全身的特征并且然后估计脸的位置来识别使用者的脸。

另外，如图10B所示，为了确保交互I的建立，机器人100从图像数据中可检测使用者的脸部特征C2，并且估计脸的方向或视线的方向。另外，当难以从图像数据中检测使用者的脸部特征C1时，机器人100可使用视觉的方法或听觉的方法来激励使用者10以将其脸转向机器人100本身(例如，声音V1“往这儿看”)。

另外，为了确保交互I的建立，机器人100在面对使用者10的状态下可以通过检测使用者10执行了预定动作来确认交互I的建立。

例如，如图10C所示，机器人100可从图像数据中检测使用者10的脸部特征C3和C4，并且检测使用者的点头M3或眨眼。另外，如图10D所示，机器人100可检测预定声音命令(例如，声音V2“去”和“拿”)或预定手势(例如，动作“去”和“拿”)的发出。另外，如图10E所示，在机器人100输出声音“我会拿到它”之后，机器人100可检测来自使用者10的响应“好”；或者机器人100可检测在预定时间内没有响应(默许)。

在不使用脸部识别的情况下，如图10F所示，机器人100在指定目标O之后输出声音V3“我会去”和“拿”。机器人100确认在预定时间内是否有来自使用者10的响应。如果在预定时间内确认了声音V4“去”和“拿”，机器人100可开始关于所指定的目标O的预定动作。在这种情况下，机器人100可将指示器200上的预定操作或预定声音命令检测为响应。

另外，如图10G所示，机器人100在指定目标O之后，通过点亮M5布置在身体的一部分中的光发射器件等，可激励使用者10执行将视线转向机器人100本身的动作M6。机器人100确认在预定时间内是否有来自使用者10的响应。如果确认了响应，机器人100可开始关于所指定的目标O的预定动作。在这种情况下，机器人100可将指示器200上的预定操作、或预定声音命令等检测为响应。

另外，为了提高指定目标O的准确度，可将处理结果从机器人100反馈给使用者10，从而响应于机器人100的处理结果来改变指示器200的操作。

例如，机器人100估计指示器200的位置和姿势，计算伴随估计结果的误差，以及将误差传输给指示器200。当估计误差小于阈值时，指示器200判断估计的准确度是足够的；但是当估计误差等于或大于阈值时，指示器200判断估计的准确度是不够的。另外，可由机器人100而不是指示器200来执行关于估计的准确度的判断。

指示器200根据判断结果改变照射到目标O上的光束L的方面(aspect)，例如方向性或颜色。例如，作为光束L的方面，当估计的准确度更高时，方向性可更强，颜色可更深，和/或可连续地照射光束L。但是，当估计的准确度更低时，方向性可更弱，颜色可更淡，和/或可间歇地照射光束L。

使用者10通过使照射到目标O上的光束L的方面可被看见来确认伴随估计结果的误差。当判断估计的准确度足够时，使用者10执行例如响应“好”。因此，机器人100在使用者10确认估计的准确度足够的状态下能够指定目标O。

但是，当判断估计的准确度不够时，使用者10在照射目标O的情况下调整例如指示器200的姿势。此时，例如当调整指示器200的姿势时，机器人100估计指示器200的位置和姿势，并且指示器200根据判断结果改变光束L的方面。因此，机器人100基于处理结果的反馈能够提高指定目标O的准确度。 

[6.总结]

如上所述，根据依据本发明的例示性实施例的机器人100的控制方法，由于使用指示器200以通过光束L的照射来指示目标O，使用者10能确认所指示的目标O。另外，由于通过估计指示器200的位置和姿势来 指定目标O，机器人100在不检测光束L的照射的情况下能够指定所指示的目标O。另外，由于机器人100为了识别由使用者操作的指示器200而转向使用者10的方向，能够在使用者10和机器人100之间表达交互的意思。因此，在使用者10与机器人100之间能够支持对目标O的联合关注的建立。

如上所述，在上文中参考附图详细描述了本发明的例示性实施例，但是本发明不限于上述实施例。本领域的技术人员将理解，在权利要求所定义的以及在本发明的技术范围内所包括的技术精神的范围内，能够进行各种修改和变形。

本申请包括与2010年3月31日在日本专利局提交的日本优先权专利申请JP2010-82047所公开的内容有关的主题，其全部内容通过引用合并到本文中。

Claims (6)

1.一种机器人设备，包括：

指令获得单元，其从使用者获得用于激励机器人设备建立对目标的联合关注的命令；

位置/姿势估计单元，其响应于所述命令的获得来估计光学指示设备的位置和姿势，其中，所述使用者操作所述光学指示设备以通过光束的照射来指示所述目标；以及

目标指定单元，其基于所述位置和姿势的估计结果指定由所述光束的照射所指示的所述目标的方向，并且基于所述方向的指定结果在表示周围环境的环境地图上指定所述目标。

2.根据权利要求1所述的机器人设备，还包括交互处理单元，其确认关于与所述使用者的联合关注的建立所执行的交互的建立。

3.根据权利要求2所述的机器人设备，其中，所述交互处理单元在获得所述命令之后确认所述交互的建立。

4.根据权利要求2所述的机器人设备，其中，所述交互处理单元在获得所述命令之前确认所述交互的建立。

5.根据权利要求1所述的机器人设备，其中，所述位置/姿势估计单元通过识别由所述使用者握住的所述光学指示设备来估计所述光学指示设备的所述位置和姿势。

6.一种控制机器人设备的方法，包括以下步骤：

从使用者获得用于激励与机器人设备建立对目标的联合关注的命令；

响应于所述命令的获得来估计光学指示设备的位置和姿势，其中，所述使用者操作所述光学指示设备以通过光束的照射来指示所述目标；以及

基于所述位置和姿势的估计结果指定由所述光束的照射所指示的所述目标的方向，并且基于所述方向的指定结果在表示周围环境的环境地图上指定所述目标。