CN111093913A - 注视对方的行为自主型机器人 - Google Patents

Abstract

机器人具备：动作控制部，选择机器人的动作；驱动机构，执行由动作控制部选择的动作；眼控制部，使眼部图像显示在设置于机器人的显示屏；以及识别部，检测用户。眼控制部根据用户与机器人的相对位置，使包含在眼部图像中的瞳部区域变化。眼控制部可以在检测到用户的视线方向时或者用户位于规定范围时使瞳部区域变化。

Description

注视对方的行为自主型机器人

技术领域

本发明涉及一种根据内部状态或外部环境自主地作出行为选择的机器人。

背景技术

人类为了寻求慰藉而饲养宠物。另一方面，有很多人因为无法充分确保照顾宠物的时间、没有养宠物的居住环境、有过敏反应、难以忍受生离死别等各种理由而放弃养宠物。假如存在扮演宠物角色的机器人，可能会为无法养宠物的人也带来宠物所能给予的那种慰藉(参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2000－323219号公报

发明内容

发明所要解决的问题

近年来，机器人技术正在急速发展，但尚未实现宠物这样的作为伴侶的存在感。这是因为我们认为机器人没有自由意志。人类通过观察宠物的只能解释为拥有自由意志的行为，感受宠物自由意志的存在，与宠物产生共鸣从而被宠物慰藉。

宠物不能说话所以要用眼睛传达自己的心情。眼睛也被称为“心灵之窗”。注视对方意味着对对方有兴趣。人类在与宠物对视时会感到心灵相通，从而激发对宠物的亲昵之情。本发明人认为，为了使机器人发挥“作为生物的存在感”，机器人的眼睛的表现力，特别是“注视”控制是重要的。

本发明是基于上述认知而完成的发明，其主要目的在于提出一种机器人注视用户时的合适的控制方法。

用于解决问题的方案

本发明的某一方案的行为自主型机器人具备：动作控制部，选择机器人的动作；驱动机构，执行由动作控制部选择的动作；眼控制部，使眼部图像显示于机器人的显示装置；以及识别部，检测用户。

眼控制部根据用户与机器人的相对位置，改变包含在眼部图像中的瞳部区域。

本发明的另一方案的行为自主型机器人具备：摄像头；温度检测传感器；动作控制部，选择机器人的动作；驱动机构，执行由动作控制部选择的动作；眼控制部，使眼部图像显示于机器人的显示装置；以及识别部，基于由摄像头获取到的拍摄图像或由温度检测传感器获取到的热分布图像来检测用户。

识别部根据机器人与用户的位置关系来选择拍摄图像和热分布图像中的任一个，根据选择出的图像来确定用户的面部区域。

眼控制部将确定出的面部区域设定为注视点，使包含在眼部图像中的瞳部区域根据注视点而移动。

本发明的另一方案的行为自主型机器人具备：动作控制部，选择机器人的动作；驱动机构，执行由动作控制部选择的动作；眼控制部，使眼部图像显示于机器人的显示装置；以及识别部，检测用户的眼睛。

眼控制部在设定用户的眼睛作为注视点的基础上，使包含在眼部图像中的瞳部区域根据注视点而移动，由此使机器人的视线朝向用户的眼睛，在机器人与用户的位置关系发生了变化的情况下，将变化后的用户的眼睛的位置设定为新的注视点，由此维持朝向用户的眼睛的机器人的视线。

本发明的另一方案的行为自主型机器人具备：动作控制部，选择机器人的动作；驱动机构，执行由动作控制部选择的动作；眼控制部，使眼部图像显示于机器人的显示装置；以及识别部，检测用户。

识别部还检测用户的视线方向。

眼控制部在设定用户的眼睛作为注视点的基础上，使包含在眼部图像中的瞳部区域根据注视点而移动，由此使机器人的视线朝向用户的眼睛，在用户的视线脱离机器人时使注视点离开用户的眼睛。

发明效果

根据本发明，容易使机器人的观察者感觉到被机器人注视。

附图说明

图1的(a)是机器人的正面外观图，图1的(b)是机器人的侧面外观图。

图2是概略性地表示机器人的构造的剖视图。

图3是机器人系统的配置图。

图4是情感地图的概念图。

图5是机器人的硬件配置图。

图6是机器人系统的功能框图。

图7是眼部图像的外观图。

图8是眼部图像的放大图。

图9是表示眼部图像的生成方法的示意图。

图10是用于说明视线方向与对象方向的关系的示意图。

图11是观察对象位于机器人的左边时的机器人的外观图。

图12的(a)是表示通常时的眼部图像的显示方式的图，图12的(b)是表示扁平时的眼部图像的显示方式的图，图12的(c)是表示从图12的(b)所示的眼部图像的斜向观察的视觉确认方式的图。

图13是表示对象方向与显示屏和瞳部图像的观察方式的示意图。

图14是用于说明固视微动的示意图。

图15是观察对象位于机器人的上方时的机器人的外观图。

图16是用于说明注视点的示意图。

图17是右眼显示屏中的瞳部图像位于中央部位时的眼部图像的示意图。

图18是右眼显示屏中的瞳部图像从中央部位偏离时的眼部图像的示意图。

图19是用于说明眼睑图像与瞳部图像的联动的示意图。

图20的(a)是表示睁眼前的瞳孔缩小状态的示意图，图20的(b)是表示闭眼中的通常状态的示意图，图20的(c)是表示刚睁眼的通常状态的示意图，图20的(d)是表示睁眼后的瞳孔缩小状态的示意图。

图21的(a)是表示睁眼前的瞳孔放大状态的示意图，图21的(b)是表示闭眼中的通常状态的示意图，图21的(c)是表示刚睁眼的通常状态的示意图，图21的(d)是表示睁眼后的瞳孔放大状态的示意图。

具体实施方式

图1的(a)是机器人100的正面外观图。图1的(b)是机器人100的侧面外观图。

本实施方式中的机器人100是基于外部环境和内部状态来决定行为、举动(Gesture)的行为自主型的机器人。外部环境通过摄像头、热敏传感器等各种传感器来识别。内部状态被量化为表现机器人100的情感的各种参数。对此在后文加以说明。

机器人100原则上以主人家的房屋内为行动范围。以下，将与机器人100有关系的人称为“用户”，特别是将作为机器人100所属家庭的成员的用户称为“主人”。

机器人100的主体104具有整体上圆润的形状，包括由聚氨酯、橡胶、树脂、纤维等柔软而具有弹性的材料形成的外皮。可以给机器人100着装。通过采用圆润而柔软的手感好的主体104，机器人100给予用户安心感和舒服的触感。

机器人100总重量在15千克以下，优选10千克以下，进一步优选5千克以下。一半以上的婴儿到出生后13个月开始走路。出生后13个月的婴儿的平均体重为男孩略高于9千克、女孩略低于9千克。因此，如果机器人100的总重量为10千克以下，则用户只需耗费大致与抱起不会走路的婴儿同等的力气就能抱起机器人100。出生后2个月以内的婴儿的平均体重是男女均小于5千克。因此，如果机器人100的总重量在5千克以下，则用户耗费与抱起小婴同等的力气就能抱起机器人100。

通过适度的重量和圆润感、柔软度、手感好等诸多属性，会实现用户容易抱起并且愿意抱起机器人100的效果。基于同样的理由，优选机器人100的身高在1.2米以下，理想的是0.7米以下。对本实施方式的机器人100而言，能抱起来是重要的设计理念。

机器人100具备用于进行三轮行进的三个轮子。如图所示，包括一对前轮102(左轮102a、右轮102b)和一个后轮103。前轮102为驱动轮，后轮103为从动轮。前轮102不具有转向机构，但能独立控制旋转速度、旋转方向。后轮103由所谓的全向轮(omniwheel)构成，能自由旋转以便使机器人100向前后左右移动。机器人100能通过使右轮102b的转速大于左轮102a来进行左转或逆时针旋转。机器人100能通过使左轮102a的转速大于右轮102b来进行右转或顺时针旋转。

前轮102和后轮103能通过驱动机构(转动机构、连杆机构)而完全收纳于主体104。行进时各轮子的大部分隐藏在主体104中，而当各轮子完全收纳于主体104时，机器人100会变为不可移动的状态。即，随着轮子的收纳动作，主体104下降而就座于地面F。在该就座状态下，形成于主体104的底部的平坦状的就座面108(接地底面)与地面F抵接。

机器人100具有两只手106。手106不具有抓持物体的功能。手106能进行抬起、摆动、振动等简单的动作。两只手106也能独立控制。

眼睛110能通过液晶元件或有机EL元件来进行图像显示。本实施方式中的眼睛110通过在配置有有机EL元件的平面形状的显示屏上粘贴防反射膜来实施防反射处置。也可以在显示屏上装配实施了防反射处理的凸透镜。机器人100搭载有能确定声源方向的麦克风阵列、超声波传感器等各种传感器。此外，还能内置扬声器来发出简单的声音。

机器人100的头部装配有角112。如上所述，机器人100重量轻，因此用户也能通过抓住角112来提起机器人100。角112装配有全景摄像头，能一次性拍摄机器人100的整个上部区域。

图2是概略性地表示机器人100的构造的剖视图。

如图2所示，机器人100的主体104包括：基础框架308、主体框架310、一对树脂制的轮罩312以及外皮314。基础框架308由金属构成，构成主体104的轴芯并且支承内部机构。基础框架308通过多个侧板336将上板332和下板334上下连结而构成。在多个侧板336间设有足够的间隔，以便能进行通气。在基础框架308的内侧收容有电池118、控制电路342以及各种驱动器。

主体框架310由树脂材料构成，包括头部框架316和躯干部框架318。头部框架316呈中空半球状，形成机器人100的头部骨架。躯干部框架318呈分段筒状，形成机器人100的躯干部骨架。躯干部框架318与基础框架308固定为一体。头部框架316以可相对位移的方式组装于躯干部框架318的上端部。

头部框架316设有偏转(yaw)轴320、俯仰(pitch)轴322、横摆(roll)轴324这三个轴以及用于旋转驱动各轴的驱动器326。驱动器326包括用于独立驱动各轴的多个伺服马达。为了进行转头动作而驱动偏转轴320，为了进行点头动作而驱动俯仰轴322，为了进行歪头动作而驱动横摆轴324。

头部框架316的上部固定有支承偏转轴320的板325。板325上形成有多个用于确保上下之间的通气的通气孔327。

以从下方支承头部框架316和其内部机构的方式设有金属制的基板328。基板328经由桥接(crosslink)机构329(缩放机构)与板325连结，另一方面，经由接头330与上板332(基础框架308)连结。

躯干部框架318收容基础框架308和轮子驱动机构370。轮子驱动机构370包括转动轴378和驱动器379。为了在躯干部框架318的下半部与轮罩312之间形成前轮102的收纳空间S而将躯干部框架318的下半部设置得窄。

外皮314由聚氨酯橡胶形成，从外侧覆盖主体框架310和轮罩312。手106与外皮314一体成形。在外皮314的上端部设有用于导入外部空气的开口部390。

图3是机器人系统300的配置图。

机器人系统300包括：机器人100、服务器200以及多个外部传感器114。在房屋内预先设置多个外部传感器114(外部传感器114a、114b、……、114n)。外部传感器114既可以固定在房屋的墙面上，也可以放置在地上。服务器200中录入有外部传感器114的位置坐标。位置坐标在被假定为机器人100的行动范围的房屋内被定义为x、y坐标。

服务器200设置于房屋内。本实施方式中的服务器200与机器人100通常一一对应。服务器200基于获取自机器人100的内置传感器以及多个外部传感器114的信息，来决定机器人100的基本行为。

外部传感器114用于强化机器人100的感觉器，服务器200用于强化机器人100的头脑。

外部传感器114定期发送包括外部传感器114的ID(以下，称为“信标ID”)的无线信号(以下，称为“机器人搜索信号”)。机器人100在接收到机器人搜索信号时会回复包括信标ID的无线信号(以下，称为“机器人应答信号”)。服务器200测量从外部传感器114发送机器人搜索信号开始到接收到机器人应答信号为止的时间，来测定出从外部传感器114到机器人100的距离。通过测量多个外部传感器114与机器人100的各自距离，来确定机器人100的位置坐标。

当然，也可以采用机器人100定期向服务器200发送自身位置坐标的方式。

图4是情感地图116的概念图。

情感地图116是储存于服务器200的数据表。机器人100根据情感地图116来作出行为选择。图4所示的情感地图116表示机器人100对场所的好恶情感的程度。情感地图116的x轴和y轴表示二维空间坐标。z轴表示好恶情感的程度。z值为正值时表示对该场所的好感高，z值为负值时表示厌恶该场所。

在图4的情感地图116中，坐标P1是作为机器人100的行动范围而由服务器200管理的屋内空间中好感高的地点(以下，称为“好感地点”)。好感地点可以是沙发的背面、桌子下等“安全场所”，也可以是像客厅这种经常聚人的场所、热闹的场所。此外，也可以是曾经被轻抚或触碰过的场所。

机器人100喜欢怎样的场所的定义是任意的，但一般而言理想的是将小孩或狗、猫等小动物喜欢的场所设定为好感地点。

坐标P2是厌恶感高的地点(以下，称为“厌恶地点”)。厌恶地点可以是电视机附近等声音大的场所、像浴缸和洗面台这种经常被弄湿的场所、密闭空间、暗处、会勾起被用户粗暴对待的不愉快记忆的场所等。

机器人100厌恶怎样的场所的定义也是任意的，但一般而言理想的是将小孩或狗、猫等小动物害怕的场所设定为厌恶地点。

坐标Q表示机器人100的当前位置。服务器200根据由多个外部传感器114定期发送的机器人搜索信号和与之对应的机器人应答信号，来确定机器人100的位置坐标。例如，在信标ID＝1的外部传感器114和信标ID＝2的外部传感器114分别检测到机器人100时，求出机器人100与两个外部传感器114的距离，并据此求出机器人100的位置坐标。

在被赋予图4所示的情感地图116的情况下，机器人100会向靠近好感地点(坐标P1)的方向、远离厌恶地点(坐标P2)的方向移动。

情感地图116会动态变化。当机器人100到达坐标P1时，坐标P1处的z值(好感)会随时间降低。由此，机器人100能模拟出到达好感地点(坐标P1)而“情感获得满足”且不久后会对该场所产生“厌倦”这样的生物行为。同样，坐标P2处的厌恶感也会随时间而减轻。随着时间推移，会产生新的好感地点、厌恶地点，由此机器人100会作出新的行为选择。机器人100对新的好感地点有“兴趣”，会不断地作出行为选择。

作为机器人100的内部状态，情感地图116体现出情感的起伏。机器人100会靠近好感地点而避开厌恶地点，暂时停留在好感地点，不久会作出下一行为。通过这样的控制，能将机器人100的行为选择设计成人类/生物性的行为选择。

需要说明的是，影响机器人100的行为的地图(以下，统称为“行为地图”)不限于图4所示的类型的情感地图116。例如，能定义好奇、避免恐惧的情绪、寻求安心的情绪、以及寻求安静或昏暗、凉爽或温暖等肉体的舒适的情绪等各种行为地图。并且，可以通过对多个行为地图各自的z值进行加权平均，来确定机器人100的目的地点。

机器人100除了行为地图之外，还可以具有表示各种情感、感觉的程度的参数。例如，在寂寞这样的情感参数的值变高时，可以将评估安心场所的行为地图的加权系数设定得较大，并通过到达目标地点来降低该情感参数值。同样，在表示无聊这样的感觉的参数的值变高时，将评估满足好奇心的场所的行为地图的加权系数设定得大即可。

图5是机器人100的硬件配置图。

机器人100包括：内部传感器128、通信器126、存储装置124、处理器122、驱动机构120以及电池118。驱动机构120包括上述的轮子驱动机构370。处理器122和存储装置124包含在控制电路342中。各单元通过电源线130和信号线132而相互连接。电池118经由电源线130向各单元供电。各单元通过信号线132来收发控制信号。电池118为锂离子二次电池，是机器人100的动力源。

内部传感器128是内置于机器人100的各种传感器的组合体。具体而言，是摄像头(全景摄像头)、麦克风阵列、测距传感器(红外线传感器)、热敏传感器、触摸传感器、加速度传感器、嗅觉传感器、触摸传感器等。触摸传感器设置于外皮314与主体框架310之间，检测用户的触摸。嗅觉传感器是一种已知的传感器，其应用了电阻因作为气味源的分子的吸附而变化的原理。

通信器126是以服务器200、外部传感器114、用户持有的便携设备等各种外部设备为对象来进行无线通信的通信模块。存储装置124由非易失性内存和易失性内存构成，存储计算机程序、各种设定信息。处理器122是计算机程序的执行部。驱动机构120是控制内部机构的驱动器。除此之外，还搭载有显示屏、扬声器等。

处理器122在经由通信器126与服务器200、外部传感器114进行通信的同时，进行机器人100的行为选择。由内部传感器128获取的各种外部信息也会影响行为选择。驱动机构120主要控制轮子(前轮102)和头部(头部框架316)。驱动机构120通过改变两个前轮102各自的旋转速度、旋转方向，来改变机器人100的移动方向、移动速度。此外，驱动机构120还能使轮子(前轮102和后轮103)升降。当轮子上升时，轮子完全收纳在主体104中，机器人100通过使就座面108与地面F抵接，变为就座状态。此外，驱动机构120经由金属丝134来控制手106。

图6是机器人系统300的功能框图。

如上所述，机器人系统300包括：机器人100、服务器200以及多个外部传感器114。机器人100和服务器200的各构成要素由硬件和软件来实现，其中，硬件包括中央处理器(Central Processing Unit：CPU)以及各种协处理器等运算器、内存(Memory)和存储器(Storage)等存储装置、将这些装置连结起来的有线或无线的通信线，软件存储于存储装置，将处理命令提供给运算器。计算机程序可以由设备驱动程序、操作系统、位于它们的上位层的各种应用程序、以及为这些程序提供共通功能的程序库构成。以下所说明的各区组不表示硬件单位的构成，而表示功能单位的区组。

机器人100的部分功能可以由服务器200来实现，服务器200的部分或全部功能也可以由机器人100来实现。

(服务器200)

服务器200包括：通信部204、数据处理部202、以及数据储存部206。

通信部204负责与外部传感器114以及机器人100的通信处理。数据储存部206储存各种数据。数据处理部202基于由通信部204获取到的数据和储存在数据储存部206的数据来执行各种处理。数据处理部202也作为通信部204和数据储存部206的接口来发挥功能。

数据储存部206包括：动作储存部232、地图储存部216以及个人数据储存部218。

机器人100具有多个动作(Motion)模式。定义有抖动手106、蛇行接近主人、歪头注视主人等各种各样的动作。

动作储存部232存储对动作的控制内容进行定义的“动作文件”。各动作通过动作ID来识别。动作文件也被下载到机器人100的动作储存部160。执行哪个动作有时由服务器200来决定，有时也由机器人100来决定。

机器人100的动作大多配置为包括多个单位动作的复合动作。例如，可表现为在机器人100接近主人时转向主人的单位动作、一边抬手一边接近的单位动作、一边晃动身体一边接近的单位动作、以及一边举起双手一边坐下的单位动作的组合。通过这样的四个动作的组合，会实现“接近主人、中途抬手、最后晃动身体坐下”这样的动作。动作文件中，与时间轴建立关联地定义有设于机器人100的驱动器的旋转角度、角速度等。依据动作文件(驱动器控制信息)，随着时间经过来控制各驱动器，由此实现各种动作。

将从前一个单位动作变化到下一个单位动作时的过渡时间称为“间隔”。根据单位动作变更所需的时间、动作的内容来定义间隔即可。间隔的长度可调整。

以下，将何时选择哪个动作、实现动作基础上的各驱动器的输出调整等等与机器人100的行为控制有关的设定统称为“行为特性”。机器人100的行为特性由动作选择算法、动作的选择概率、动作文件等来定义。

动作储存部232除了动作文件以外，还储存对各种事件发生时应执行的动作进行定义的动作选择表。在动作选择表中，为事件对应一个以上的动作及其选择概率。

地图储存部216除了多个行为地图以外，还储存表示椅子、桌子等障碍物的配置状况的地图。个人数据储存部218储存用户特别是主人的信息。具体而言，储存表示对用户的亲密度和用户的身体特征/行为特征的主人信息。也可以储存年龄、性别等其他的属性信息。

机器人100按每个用户具有亲密度这样的内部参数。机器人100在识别出抱起自己、打招呼等对自己示好的行为时，对该用户的亲密度会提高。对与机器人100无关的用户、动粗的用户、见面频率低的用户的亲密度会降低。

数据处理部202包括：位置管理部208、地图管理部210、识别部212、动作控制部222、亲密度管理部220以及状态管理部244。

位置管理部208通过用图3说明过的方法来确定机器人100的位置坐标。位置管理部208也可以实时追踪用户的位置坐标。

状态管理部244管理充电率、内部温度、处理器122的处理负荷等的各种物理状态等各种内部参数。状态管理部244包括情感管理部234。

情感管理部234对表示机器人100的情感(寂寞、好奇心、认可欲等)的各种情感参数进行管理。这些情感参数经常波动。多个行为地图的重要度根据情感参数而发生变化，机器人100的移动目标地点根据行为地图而发生变化，情感参数随着机器人100的移动、时间经过而发生变化。

例如，在表示寂寞的情感参数高时，情感管理部234将评估安心场所的行为地图的加权系数设定得大。当机器人100到达该行为地图中能消除寂寞的地点时，情感管理部234降低表示寂寞的情感参数。此外，各种情感参数也根据后述的应对行为而发生变化。例如，当被主人“抱抱”时，表示寂寞的情感参数降低，在长期看不到主人时，表示寂寞的情感参数一点一点地增加。

地图管理部210通过与图4关联地进行过说明的方法，针对多个行动地图改变各坐标的参数。地图管理部210既可以选择多个行为地图中的任一个，也可以对多个行为地图的z值进行加权平均。例如，在行为地图A中坐标R1、坐标R2处的z值为4和3，在行为地图B中坐标R1、坐标R2处的z值为－1和3。在简单平均的情况下，坐标R1的合计z值为4－1＝3，坐标R2的合计z值为3+3＝6，因此，机器人100会前往坐标R2的方向，而不是坐标R1的方向。

在使行为地图A五倍着重于行为地图B时，坐标R1的合计z值为4×5－1＝19，坐标R2的合计z值为3×5+3＝18，因此，机器人100会前往坐标R1的方向。

识别部212识别外部环境。外部环境的识别包括基于温度、湿度的气候、季节的识别；基于光量、温度的隐蔽处(安全地带)的识别等多种识别。机器人100的识别部156通过内部传感器128获取各种环境信息，并在对其进行了一次处理后转发至服务器200的识别部212。

具体而言，机器人100的识别部156从图像中提取与移动物体特别是人物、动物对应的图像区域，并从提取到的图像区域中提取“特征向量”作为表示移动物体的身体特征、行为特征的特征量的组合。特征向量分量(特征量)是将各种身体/行为特征量化后获得的数值。例如，人类的眼睛的横向宽度被数值化为0～1的范围，形成一个特征向量分量。从人物的拍摄图像中提取特征向量的方法使用已知的面部识别技术。机器人100将特征向量发送给服务器200。

服务器200的识别部212进一步包括人物识别部214和应对识别部228。

人物识别部214将提取自由机器人100的内置摄像头拍摄到的拍摄图像的特征向量、和预先录入个人数据储存部218的用户(集群)的特征向量进行比较，由此判定拍摄到的用户与哪位人物对应(用户识别处理)。人物识别部214包括表情识别部230。表情识别部230通过对用户的表情进行图像识别来推测用户的情感。

需要说明的是，人物识别部214也对人物以外的移动物体、例如作为宠物的猫、狗进行用户识别处理。

应对识别部228识别机器人100所受到的各种应对行为，并将其分类为愉快/不愉快行为。此外，应对识别部228还通过识别主人对机器人100的行为的应对行为，分类为肯定/否定反应。

愉快/不愉快行为根据用户的应对行为对生物而言是舒服的还是不愉快的来判别。例如，对于机器人100而言，被抱起是愉快行为，被踢是不愉快行为。根据用户的应对行为表现出了用户的愉快情感还是不愉快情感，来判别肯定/否定反应。例如，被抱起是表示用户的愉快情感的肯定反应，被踢是表示用户的不愉快情感的否定反应。

服务器200的动作控制部222与机器人100的动作控制部150相互配合，决定机器人100的动作。服务器200的动作控制部222基于地图管理部210的行为地图选择，来制定机器人100的移动目标地点和移动至该移动目标地点的移动路线。动作控制部222可以制定多条移动路线并在此基础上选择任一条移动路线。

动作控制部222从动作储存部232的多个动作中选择机器人100的动作。各动作按情况与选择概率建立对应。例如，定义了如下的选择方法：当主人作出愉快行为时，以20％的概率执行动作A，当气温为30度以上时，以5％的概率执行动作B。

行为地图决定移动目标地点、移动路线，并根据后述的各种事件选择动作。

亲密度管理部220管理每个用户的亲密度。如上所述，亲密度作为个人数据的一部分被录入个人数据储存部218。在检测到愉快行为时，亲密度管理部220会增加对该主人的亲密度。在检测到不愉快行为时亲密度会下降。此外，长时间未见到的主人的亲密度会逐渐下降。

(机器人100)

机器人100包括：通信部142、数据处理部136、数据储存部148、内部传感器128以及驱动机构120。

通信部142与通信器126(参照图5)对应，负责与外部传感器114、服务器200以及其他机器人100的通信处理。数据储存部148储存各种数据。数据储存部148与存储装置124(参照图5)对应。数据处理部136基于由通信部142获取到的数据以及储存在数据储存部148的数据来执行各种处理。数据处理部136与处理器122以及由处理器122执行的计算机程序对应。数据处理部136也作为通信部142、内部传感器128、驱动机构120、以及数据储存部148的接口来发挥功能

数据储存部148包括定义机器人100的各种动作的动作储存部160和眼部图像储存部172。

各种动作文件从服务器200的动作储存部232被下载到机器人100的动作储存部160。通过动作ID来识别动作。为了表现收起前轮102并坐下、抬起手106、通过使两个前轮102反转或仅使单侧的前轮102旋转来使机器人100作出旋转行为、通过在收起前轮102的状态下使前轮102旋转来振颤、在远离用户时一度停止并回头等各种各样的动作，在动作文件中按时序定义有各种驱动器(驱动机构120)的动作定时、动作时长、动作方向等。

各种数据也可以从地图储存部216和个人数据储存部218被下载到数据储存部148。眼部图像储存部172储存显示于眼睛110的眼部图像(后述)的数据。

内部传感器128包括触摸传感器154、热敏传感器138、视线检测部140、摄像头144以及测距传感器180。

本实施方式的摄像头144是装配于角112的全景摄像头(全方位摄像头)。摄像头144始终拍摄机器人100的周边。热敏传感器138定期检测机器人100周边的外部空气温分布。机器人100通过摄像头144和热敏传感器138来检测周边是否存在用户。视线检测部140是根据摄像头144的拍摄图像来检测用户眼睛的活动的已知传感器。由视线检测部140检测用户对机器人100的视线方向。

触摸传感器154检测用户对主体104的触摸。测距传感器180是测定到对象物的距离的已知传感器。

数据处理部136包括：识别部156、动作控制部150以及眼控制部152。

机器人100的动作控制部150与服务器200的动作控制部222配合来决定机器人100的动作。可以是部分动作由服务器200来决定，其他动作由机器人100来决定。此外，也可以由机器人100来决定动作，但在机器人100的处理负荷高时由服务器200来决定动作。也可以由服务器200来决定基础动作，并由机器人100来决定追加动作。根据机器人系统300的规格来设计服务器200和机器人100如何分担动作的决定处理即可。

机器人100的动作控制部150与服务器200的动作控制部222一起决定机器人100的移动方向。可以由服务器200来决定基于行为地图的移动，并由机器人100的动作控制部150来决定躲避障碍物等的即时移动。驱动机构120按照动作控制部150的指示来驱动前轮102，由此使机器人100前往移动目标地点。

机器人100的动作控制部150向驱动机构120指示执行所选择的动作。驱动机构120根据动作文件来控制各驱动器。

动作控制部150既能在亲密度高的用户接近时，执行抬起双手106的动作来作为求“抱抱”的举动，也能在厌倦了“抱抱”时通过在收起左右前轮102的状态下交替反复进行反向旋转和停止来表现厌恶拥抱的动作。驱动机构120按照动作控制部150的指示来驱动前轮102、手106、头部(头部框架316)，由此使机器人100表现出各种各样的动作。

眼控制部152生成眼部图像，使眼部图像显示在设置于眼睛110的显示屏。眼部图像的详细情况将在后文加以说明。

机器人100的识别部156对由内部传感器128得到的外部信息进行解释。识别部156能进行视觉识别(视觉部)、气味识别(嗅觉部)、声音识别(听觉部)、触觉识别(触觉部)。包含在识别部156中的相对位置确定部182确定机器人100与观察对象的相对位置关系。

识别部156基于由摄像头144拍摄的拍摄图像(球形图像)来检测人、宠物等移动物体。识别部156包括特征提取部146。特征提取部146从移动物体的拍摄图像中提取特征向量。如上所述，特征向量是表示移动物体的身体特征和行为特征的参数(特征量)的组合。在检测到移动物体时，也会由嗅觉传感器、内置的收音麦克风、温度传感器等来提取身体特征、行为特征。这些特征也被量化为特征向量分量。

机器人系统300基于根据大量的图像信息、其他传感信息而得到的身体特征和行为特征，将高频率出现的用户归类为“主人”。

例如长胡子的移动物体(用户)经常在清晨活动(早起)且不常穿红衣服，则能得出早起且长胡子且不怎么穿红衣服的集群(用户)这样的第一简档。另一方面，在戴眼镜的移动物体常穿裙子但该移动物体不长胡子的情况下，能得出戴眼镜且穿裙子但绝对不长胡子的集群(用户)这样的第二简档。

以上只是简单设例，但通过上述的方法，会形成与父亲对应的第一简档和与母亲对应的第二简档，机器人100会认识到这个家至少有两位用户(主人)。

不过，机器人100不需要识别第一简档为“父亲”。归根结底，只要能识别出“长胡子且常早起且很少穿红衣服的集群”这样的人物形象即可。按简档定义赋予简档特征的特征向量。

在完成这种集群分析的状态下，机器人100会重新识别移动物体(用户)。

此时，服务器200的人物识别部214基于新的移动物体的特征向量来执行用户识别处理，并判断移动物体与哪个简档(集群)对应。例如，在检测到长胡子的移动物体时，该移动物体是父亲的概率较高。如果该移动物体在清晨行动，更能确定其为父亲。另一方面，在检测到戴眼镜的移动物体时，则该移动物体有可能是母亲。如果该移动物体不长胡子，由于既不是母亲也不是父亲，因此判定为是未进行过集群分析的新人物。

基于特征提取的集群(简档)的形成(集群分析)、以及向伴随特征提取的集群的套用可以同时并行地执行。需要说明的是，主人的特征也可以预先录入。而且，在检测到未知用户时，特征提取部146从用户提取特征向量，人物识别部214通过判定是否与已知的主人中的任一位对应来进行人物确定。

在包括检测/分析/判定的一系列识别处理之中，机器人100的识别部156进行识别所需的信息的取舍选择、提取，判定等解释处理则由服务器200的识别部212来执行。识别处理既可以仅由服务器200的识别部212来进行，也可以仅由机器人100的识别部156来进行，还可以如上所述双方分工来执行上述识别处理。

在机器人100受到强烈的冲击时，识别部156通过内置的加速度传感器来对其进行识别，服务器200的应对识别部228识别出邻近的用户作出了“粗暴行为”。在用户抓住角112提起机器人100时，也可以识别为粗暴行为。在处于与机器人100正对的状态下的用户以特定音域以及特定频带发声时，服务器200的应对识别部228可以识别为对自己进行了“打招呼行为”。此外，在检测到体温级别的温度时识别为用户进行了“接触行为”，在已作出接触识别的状态下检测到向上方的加速度时识别为被“抱抱”。可以检测用户抬起主体104时的物理接触，也可以通过施加给轮子102的负荷降低来识别拥抱。

总之，机器人100通过内部传感器128来获取用户的行为作为物理信息，服务器200的应对识别部228判定愉快/不愉快，服务器200的识别部212执行基于特征向量的用户识别处理。

服务器200的应对识别部228识别用户对机器人100的各种应对。各种应对行为中的一部分典型的应对行为与愉快或不愉快、肯定或否定建立对应。一般而言作为愉快行为的应对行为几乎都为肯定反应，作为不愉快行为的应对行为几乎都为否定反应。愉快/不愉快行为与亲密度关联，肯定/否定反应会影响机器人100的行为选择。

根据由识别部156识别出的应对行为，服务器200的亲密度管理部220使对用户的亲密度发生变化。原则上讲，对进行过愉快行为的用户的亲密度会变高，对进行过不愉快行为的用户的亲密度会降低。

服务器200的识别部212根据应对来判定愉快/不愉快，地图管理部210可以使表现“对场所的喜爱”的行为地图中经历愉快/不愉快行为的地点的z值发生变化。例如，在客厅经历了愉快行为时，地图管理部210可以高概率地将客厅设定为喜欢地点。在该情况下，实现了机器人100喜欢客厅并因在客厅受到愉快行为而越来越喜欢客厅这样的正反馈效果。

根据被移动物体(用户)施以怎样的行为，对用户的亲密度会发生变化。

机器人100可以对经常遇到的人、经常接触的人、经常打招呼的人设定较高的亲密度。另一方面，对很少遇到的人、很少接触的人、粗暴的人、大声呵斥的人的亲密度会降低。机器人100也基于由传感器(视觉、触觉、听觉)检测到的各种外界信息来改变每个用户的亲密度。

实际的机器人100会按照行为地图来自主进行复杂的行为选择。机器人100会在基于寂寞程度、无聊程度、好奇等各种参数而受到多个行为地图的影响的同时作出行为。当排除了行为地图的影响时，或者当处于行为地图的影响小的内部状态时，原则上讲，机器人100会接近亲密度高的人，远离亲密度低的人。

机器人100的行为根据亲密度被分类如下。

(1)亲密度非常高的用户

机器人100通过接近用户(以下，称为“接近行为”)并且进行预先定义为对人示好的举动的爱意举动来强烈地表达亲昵之情。

(2)亲密度比较高的用户

机器人100仅作出接近行为。

(3)亲密度比较低的用户

机器人100不进行特别的动作。

(4)亲密度特别低的用户

机器人100作出逃离行为。

根据以上的控制方法，机器人100在看见亲密度高的用户时会接近该用户，相反，在看见亲密度低的用户时会远离该用户。通过这样的控制方法，能行为表现出“认生”。此外，在出现客人(亲密度低的用户A)时，机器人100有时也会远离客人而走向家人(亲密度高的用户B)。在该情况下，用户B能感觉到机器人100认生并感到不安、依赖自己。通过这样的行为表现，用户B会被唤起被选择、被依赖的喜悦以及随之而来的喜爱之情。

另一方面，当作为客人的用户A频繁来访、打招呼、触摸时，机器人100对用户A的亲密度会逐渐上升，机器人100不会对用户A作出认生行为(逃离行为)。用户A也能通过感受到机器人100逐渐与自己熟悉而对机器人100抱有喜爱。

需要说明的是，不限于始终执行以上的行为选择。例如，在表示机器人100的好奇心的内部参数变高时，寻求满足好奇心的场所的行为地图会被着重使用，因此机器人100也有可能不选择受亲密度影响的行为。此外，在设置于门厅的外部传感器114检测到用户回家的情况下，有可能优先执行迎接用户的行为。

识别部156通过摄像头144和热敏传感器138来检测用户的面部的位置。识别部156的相对位置确定部182通过测距传感器180来测定从机器人100到用户的距离(以下，称为“对象距离”)。相对位置确定部182也可以基于根据拍摄图像、热分布图像而确定出的用户的面部的尺寸，来测定对象距离。

[眼部图像控制]

图7是眼部图像174的外观图。

眼控制部152生成包括瞳部图像164(瞳部区域)和周缘图像168的眼部图像174，使眼部图像174动态显示在埋设于眼睛110处的显示屏170。通过移动瞳部图像164来表现机器人100的“视线”。此外，也能以规定的定时执行眨眼动作。

瞳部图像164包括瞳孔区域158和角膜区域162。此外，瞳部图像164也显示用于表现外部光的映入的反光(Catch Light)166。眼部图像174的反光166不是因外部光的反射而发光的区域，而是通过眼控制部152表现为高亮度区域的图像区域。

眼控制部152能使瞳部图像164上下左右移动。在机器人100的识别部156识别出用户时，眼控制部152使瞳部图像164朝向用户所在的方向。眼控制部152通过使眼部图像174变化来表现机器人100的“注视”。眼部图像174的控制的详细情况将在后文与图9关联地加以说明。

眼控制部152也可以使瞳部图像164的形状变化。例如，瞳部图像164在位于显示屏170的中心时为正圆形，在位于周缘部分时变化为椭圆形。通过根据显示屏170内的位置来使瞳部图像164的形状变化，能使平面的显示屏170看起来像实际的眼球那样的曲面形状。

眼控制部152与外部光源的所在方向对应地使反光166的位置变化。图7表示从机器人100来看外部光源位于左上方的情况下的反光166的显示位置。通过使反光166的位置与外部光源联动，能表现更真实的眼部图像174。眼控制部152可以通过对拍摄图像进行图像识别来判定外部光源的方向，还可以根据光传感器(未图示)的检测数据来判定外部光源的方向。

图8是眼部图像174的放大图。

在眼部图像174中，表示眼睑(眼皮)的眼睑图像176与瞳部图像164和周缘图像168重叠。眼睑图像176包括睫毛178。周缘图像168是相当于人的结膜的部分。包含在瞳部图像164中的角膜区域162是相当于人的角膜的部分。

眼控制部152使眼部图像174之中的眼睑图像176、瞳孔区域158、角膜区域162以及反光166变化。当光量大时，眼控制部152缩小瞳孔区域158的直径。眼控制部152也可以使瞳部图像164整体放大/缩小，而不是使瞳孔区域158放大/缩小。当光量特别大时，眼控制部152可以通过使眼睑图像176下垂来表现出“刺眼的样子”。

图9是表示眼部图像174的生成方法的示意图。

眼球模型250是模拟机器人100的眼球的三维计算机图形图像。眼控制部152首先以多边形来生成三维的球体，在其上附上纹理(以下，称为“眼球纹理”)从而形成眼球模型250。眼球纹理是包括瞳部图像164的图像。眼部图像储存部172储存多种眼球纹理。

在眼球模型250的前方设定有第一面252和第二面254。第一面252和第二面254是与眼睛110的显示屏170的显示面对应的虚拟的平面。眼控制部152使第一面252投影至眼球模型250，由此从三维的眼球模型250生成二维的眼球投影图像256。

眼控制部152使眼睑图像176显示于第二面254。通过使第一面252的眼球投影图像256与第二面254的眼睑图像176重叠，生成图8等所示的眼部图像174。眼控制部152生成右眼用和左眼用的两个眼球模型250，并分别生成眼部图像174。以下，将第一面252和第二面254统称为“眼球面258”。

眼控制部152通过使眼球模型250旋转来使眼球投影图像256变化。由于采用生成三维的眼球模型250并使其旋转的同时将其投影至第一面252的方式，因此与在第一面252上直接画出眼部图像174相比，能顺畅地表现机器人100的视线的变动。即使是二维的眼部图像174，也以三维的眼球模型250为基础而被生成/控制，因此本方式容易表现后述的固视微动等生物的眼球所特有的复杂活动。

眼控制部152使眼睑图像176显示于与第一面252不同的第二面254，由此使眼球投影图像256重叠至眼睑图像176。在眼前拍手时，人会反射性地闭眼。为了使机器人100实现这样的眼睛的条件反射，需要使眼睑图像176高速变化。在本实施方式中，第一面252的图像处理和第二面254的图像处理是独立的。在作出闭眼表现时，眼控制部152仅以第二面254作为对象进行图像控制即可。在眨眼时，眼控制部152也以第二面254作为对象执行图像处理即可。由于能分别控制眼球模型250(眼球投影图像256)和眼睑图像176，因此能高速地控制眼睑图像176。

图10是用于说明视线方向与对象方向的关系的示意图。

生物具有球形的眼球，通过使眼球旋转来改变视线的方向。例如，人即使在位于狗的左侧时也会感觉到狗的视线是因为狗能使眼球旋转，使瞳部朝向位于左侧的人。与狗的瞳部正对的方向也就是狗的眼球面中的瞳部的中心线方向(法线方向)表示狗的视线方向。此时，在人眼中狗的瞳部是正圆的。狗即使身体、颈部不动，也能通过活动眼球来改变瞳部的法线方向(视线方向)，从而以所谓的“斜眼”凝视人。

如上所述，为了使机器人100也表现凝视，需要使瞳部图像164的法线方向朝向凝视的对象(以下，称为“观察对象”)。本实施方式中的机器人100的眼睛110通过在显示屏170上显示眼部图像174而生成。显示屏170是固定于主体104的平面状的显示装置。因此，机器人100的眼睛110的视线方向(瞳的法线方向)被固定。

图10是从正上方观察机器人100的图。右眼法线NR表示右眼显示屏170R的法线方向(视线方向)，左眼法线NL表示左眼显示屏170L的法线方向(视线方向)。机器人100只要不使头部框架316或躯干部框架318旋转，就无法使右眼法线NR(右眼视线)、左眼法线NL(左眼视线)移动。

以下，将从机器人100朝向观察对象的方向称为“对象方向”。相对位置确定部182不仅确定对象距离还确定对象方向。在机器人100的右侧存在观察对象时，由于右眼法线NR靠近对象方向DR，观察对象能感受到被机器人100的右眼注视。另一方面，由于左眼法线NL与对象方向DR大不相同，观察对象难以感受到被机器人100的左眼注视。同样，在机器人100的左侧存在观察对象时，观察对象感受到被机器人100的左眼注视，但难以感受到来自右眼的视线。

在机器人100的正面存在观察对象时，右眼法线NR和左眼法线NL都不与对象方向DF一致。观察对象无论从机器人100的左右哪一只眼睛都难以感受到视线。

图11是观察对象位于机器人100的左侧时的机器人100的外观图。

在图11中，观察对象位于机器人100的左侧。左眼法线NL与对象方向DL大致一致，因此如果使左眼显示屏170L的瞳部图像164(以下，记为“左瞳部图像164L”)稍微向左方向移动，则观察对象能感受到被机器人100的左眼注视。另一方面，右眼法线NR与对象方向DL大不相同。即使眼控制部152使右眼显示屏170R的瞳部图像(以下，记为“右瞳部图像164R”)向左方向移动，观察对象也难以感受到机器人100的右眼的视线。这是因为右眼法线NR(右眼的视线方向)未朝向观察对象。在对象距离近时，被左眼注视但不被右眼注视这样的违和感容易变强。

如果动作控制部150使头部框架316向左方向移动，则能使右眼法线NR与对象方向DL的偏离小。但是，头部框架316的转动量也有限度。此外，也存在想要实现不移动颈部而仅使视线朝向观察对象这样的表现的情况。

在感受到视线时，观察对象与对方的瞳部正对。可以认为在观察对象眼中机器人100的瞳部图像164为正圆时，观察对象能感受到被机器人100注视。本实施方式中的显示屏170固定于主体，因此无法使显示屏170像眼球那样朝向观察对象旋转。此外，显示屏170是平面显示屏，因此视线方向也不会根据瞳部图像164的位置而发生变化。因此，在本实施方式中，在右眼法线NR与对象方向DL发生偏离时，通过使瞳部图像164变化来使右眼部图像174R的视线方向模拟性地变化。

图12的(a)是表示通常时的眼部图像174的显示方式的图。图12的(b)是表示扁平时的眼部图像174的显示方式的图。图12的(c)是表示从图12的(b)所示的眼部图像174的斜向观察的视觉确认方式的图。

在本实施方式中，为了抑制伴随视线方向(法线方向)与对象方向的偏离而产生的违和感，眼控制部152通过使瞳部图像164扁平化来模拟性地移动瞳部图像164的视线方向(以下，称为“瞳部扁平处理”)。瞳部扁平处理是将瞳部图像164纵向压缩，使瞳部图像164变形为横向长的椭圆形的处理。

在观察对象位于机器人100的左侧时，观察对象与左眼显示屏170L的显示面正对。此时，眼控制部152不使左眼的瞳部图像164扁平化。观察对象会看到正圆的左眼图像174L和正圆的瞳部图像164，因此观察对象能感受到机器人100左眼的视线。

另一方面，由于观察对象从斜左方向观察右眼显示屏170R(参照图11)，右眼显示屏170R看起来为纵向长的椭圆形。与在从斜向观察圆形的硬币时，硬币看起来纵向长的情况相同。眼控制部152使右眼的瞳部图像164如图12的(b)所示扁平化。当从斜左方向观察扁平化为横向长的瞳部图像164时，如图12的(c)所示，瞳部图像164看起来为正圆。在从斜向观察显示屏170时，显示屏170会扁平化为纵向长，因此如果将瞳部图像164扁平化为横向长，则瞳部图像164显示为近似正圆。

图13是表示对象方向与显示屏170和瞳部图像164的观察方式的示意图。

在图13中，使瞳部图像164如图12的(b)所示扁平化。在观察对象与显示屏170正对时(正面方向D1)，显示屏170看起来为正圆，但瞳部图像164大幅扁平为横向长。在显示屏170的左方向D2存在观察对象时，观察对象从斜向观察显示屏170，因此显示屏170看起来为纵向长的扁平形状。显示屏170的纵向长扁平与瞳部图像164的横向长扁平相抵消，瞳部图像164看起来为接近正圆的横向长扁平形状。当观察对象还位于左方向D3时，显示屏170看起来进一步纵向长地扁平，瞳部图像164看起来为正圆形。像这样，在从斜向观察横向长椭圆形的瞳部图像164时，对于观察对象而言瞳部图像164看起来为正圆。

如果不移动平面的显示屏170，则显示屏170的法线方向就不会发生变化，因此无法实际改变机器人100的视线方向。在本实施方式中，通过改变瞳部图像164，即使在从斜向观察显示屏170时也能使观察对象看到正圆形的瞳部图像164。通过使瞳部图像164扁平为横向长，能使不与显示屏170正对的观察对象看到近似正圆的瞳部图像164。根据这样的控制方法，位于机器人100的左侧的观察对象不仅能感受到被左眼注视，还能感受到被右眼注视。通过瞳部扁平处理，即使是静止并且平面状的显示屏170也能表现出“斜眼的凝视”。不过，在对应于位于左方向D3的观察对象执行瞳部扁平处理时，位于正面方向D1的另一用户会看到扁平化的瞳部图像164。

在本实施方式中准备了正圆的瞳部图像164和扁平的瞳部图像164两种模式。眼控制部152通过变更眼球纹理来切换两种瞳部图像164。不限于两种模式，也可以根据扁平度来准备多种眼球纹理。由于仅更换眼球纹理，眼控制部152能简易且高速地变更瞳部图像164的扁平度。

在观察对象位于机器人100的正面时(参照图10的对象方向DF)，眼控制部152使右眼的瞳部图像164和左眼的瞳部图像164的双方扁平化。在观察对象位于机器人100的左侧时(参照图10的对象方向DL)，眼控制部152使右眼的瞳部图像164扁平化但不使左眼的瞳部图像164扁平化。在观察对象位于机器人100的右侧时(参照图10的对象方向DR)，眼控制部152使左眼的瞳部图像164扁平化但不使右眼的瞳部图像164扁平化。

机器人100在感测到用户所作的抱起时，将进行抱起的用户确定为观察对象。在被抱起时，眼控制部152使双方或一方的瞳部图像164根据机器人100与观察对象的相对位置而扁平化。由相对位置确定部182确定的“相对位置”既可以是对象方向，也可以基于对象方向和对象距离双方来定义。

当未被抱起时，机器人100通过摄像头144来拍摄周边，识别部156通过图像处理来识别用户。在只有一名用户时，识别部156将该唯一的用户确定为观察对象。眼控制部152根据机器人100与观察对象的相对位置来使瞳部图像164(瞳部区域)变化。相对位置确定部182通过根据摄像头144的拍摄图像识别用户的面部来确定对象方向。当存在两名以上的用户时，识别部156选择任意一名用户来作为观察对象。观察对象既可以是对象距离最接近的用户，也可以是亲密度最高的用户。

图14是用于说明固视微动的示意图。

人的瞳部为了防止从眼睛导入的光灼烧视网膜，还为了防止视神经的疲劳而不断地微动。将其称为“固视微动(Involuntary Eye Movement)”。固视微动被分解为称为漂移运动(Drift)、振颤(Tremor)、闪动(Micro-Saccade)的活动。漂移运动表示瞳部的中心点的波状活动，振颤表示与漂移运动重叠的锯齿状活动，闪动表示瞳部的直线状活动。也可以说固视微动表示人的心理状态。

本实施方式中的机器人100的眼部图像174模拟该固视微动。具体而言，眼控制部152使瞳部图像164的轴点以波状缓慢移动，并且使瞳部图像164以轴点为中心振动，由此表现振颤和漂移运动。此外，通过定期或者随机使瞳部图像164的轴点跳跃地移动来表现闪动。轴点是瞳部图像164中所包含的任意点即可。在本实施方式中，轴点采用瞳部图像164的中心点。

通过使映现于显示屏170的瞳部图像164振动，特别是使其进行与固视微动相似的运动，能进一步提高机器人100的生物感。眼控制部152使瞳部图像164进行振颤运动，并且以随机的定时进行闪动运动。眼控制部152在机器人100的电源接通后，使瞳部图像164始终进行漂移运动，并且持续进行振颤运动和闪动运动。

以上，基于实施方式对机器人100和包括机器人100的机器人系统300进行了说明。

根据本实施方式所示的控制方法，即使在用户不与机器人100正对时，用户也能感受到被机器人100注视。所谓被注视是指感受到视线，换言之，眼球中的瞳部的法线朝向自己。此时，注视自己的瞳部为正圆。本实施方式中的机器人100虽然具有三维的眼球模型250，但由于将其投影至二维的显示屏170(眼球面258)，实际上不能使瞳部的法线移动。因此，在本实施方式中，将瞳部图像164扁平化，使不与显示屏170正对的用户也能看到接近正圆的瞳部图像164，由此给用户带来“被注视”这样的感觉。

机器人100具有圆润的头部，使眼部图像174显示于法线方向不同的两片显示屏170。本质上，左右的瞳部图像164朝向不同的方向(图10的右眼法线NR和左眼法线NL)。本发明人发现在与机器人100相对时，难以感受到被机器人100注视，并对其原因进行了分析。在本实施方式中，根据用户(观察对象)与机器人100的相对位置来实施瞳部扁平处理，由此使用户看到正圆的瞳部图像164。通过瞳部扁平处理，能设定不固定于显示屏170的法线方向的模拟的视线方向。

在本实施方式中，眼控制部152生成三维的眼球模型250，通过将其投影至第一面252来生成二维的眼部图像174。能通过使眼球模型250旋转来表现瞳部图像164的移动、固视微动。而且，眼控制部152将投影了眼睑图像176的第二面254与第一面252重叠显示。眼球模型250(眼球投影图像256)能独立控制眼睑图像176，因此眼控制部152能快速地使眼睑图像176变化。

眼控制部152使瞳部图像164以模仿固视微动的运动进行微动。即使在用户近距离注视机器人100的眼部图像174时，也不仅通过视线还通过固视微动而更容易感受到“被注视”。此外，通过表现固视微动，用户变得容易感受到机器人100作为生物的存在。

需要说明的是，本发明不限定于上述实施方式、变形例，可以在不脱离技术精神的范围内对构成要素进行变形来具体化。也可以通过适当组合上述实施方式、变形例中所公开的多个构成要素来形成各种发明。此外，也可以从上述实施方式、变形例中所示的全部构成要素中去掉若干构成要素。

对由一个机器人100和一个服务器200、多个外部传感器114构成机器人系统300的情况进行了说明，但机器人100的部分功能可以由服务器200来实现，服务器200的部分或全部功能也可以分配给机器人100。既可以是一个服务器200控制多个机器人100，也可以是多个服务器200协同控制一个以上的机器人100。

机器人100、服务器200以外的第三装置也可以承担部分功能。图6中所说明的机器人100的各功能和服务器200的各功能的组合体也可以整体作为一个“机器人”来掌握。关于怎样为一个或多个硬件分配实现本发明所需的多个功能，只要能鉴于各硬件的处理能力、机器人系统300所要求的规格等来决定即可。

如上所述，“狭义的机器人”是不包括服务器200的机器人100，而“广义的机器人”是机器人系统300。服务器200的很多功能将来也有可能会集成至机器人100。

机器人100的行为控制程序既可以由规定的服务器经由互联网提供，也可以由CD－ROM等固定的记录介质提供。总之，可以是，机器人100的行为控制程序由与机器人100不同的记录介质(服务器、CD－ROM等)提供，由此安装至机器人100。

[变形例]

在本实施方式中，说明了机器人100具有两只眼睛110的情况，但本发明也能应用于具有三只以上的眼睛110的机器人或者只有一只眼睛110的机器人。

在本实施方式中的机器人100中，说明了两只眼睛110的法线方向(显示屏170的朝向)不同的情况，但在两只以上的眼睛110的法线方向相同时也能应用本发明。例如，假设一种具有平面状的脸面并在平面脸面上设定有两只眼睛110的机器人。在观察对象位于该机器人的正面时，不需要进行瞳部扁平处理。在观察对象位于机器人的斜前方时，只要根据观察对象与机器人100的相对位置使两个瞳部图像164双方扁平化即可。

在用户A将机器人100转交给用户B时，如果对用户A的亲密度比对用户B的亲密度高，则机器人100也可以选择用户A作为观察对象。在该情况下，能作出通过眼睛对用户A倾诉由于被从喜欢的用户A转交给用户B而产生的不安感这样的情感表达。

可以是，当在机器人100的周边检测到多名用户时，眼控制部152不执行瞳部扁平处理或者抑制扁平度。在用户A为观察对象时，机器人100将瞳部图像164扁平化以便用户A能看到正圆的瞳部图像164。此时，位于与用户A不同的方向的用户B(不是观察对象的用户)会看到扁平化的瞳部图像164。在存在多名用户时或者从机器人100的角度来看规定角度以上的不同的方向存在多名用户时，眼控制部152可以中止或抑制瞳部图像164的扁平化。

可以是：只有在观察对象位于距机器人100规定范围(以下，称为“瞳控制范围”)内时，例如距机器人100三米以内，且在机器人100的前方150度的范围内存在观察对象时，眼控制部152才执行瞳部扁平化处理。在观察对象离开机器人100时，观察对象不易感受到机器人100的视线，不易产生随着视线方向的偏离而带来的违和感。此外，在观察对象位于机器人100的后方时，观察对象看不到机器人100的眼睛110，因此执行瞳部扁平化处理的必要性小。

可以是，当瞳控制范围内存在多名用户时，眼控制部152不执行瞳部扁平处理或抑制瞳部扁平处理。这是因为当多名用户位于瞳控制范围时，如果对一名用户执行瞳部扁平处理则其他用户会看到扁平化的瞳部图像164。另一方面，可以是，即使存在多名用户时，在位于瞳控制范围内的用户仅有一名的情况下，眼控制部152也以该用户为对象执行瞳部扁平处理。

眼控制部152可以使瞳部图像164放大/缩小。眼控制部152也可以在维持周缘图像168的尺寸的情况下使瞳孔区域158放大/缩小，也可以使角膜区域162本身放大/缩小。眼控制部152以发生了规定的事件(以下，称为“放大/缩小事件”)为契机，对瞳部图像164进行放大/缩小。可以是，在检测到大的声音、人时，眼控制部152通过放大瞳部图像164来表现机器人100的惊吓、兴趣。可以是，在检测到亲密度为规定的阈值以上的用户时、检测到用户的视线时，眼控制部152放大瞳部图像164。

识别部156也可以通过光传感器等来检测外部环境的亮度。眼控制部152可以在外部环境的亮度为规定值以上时使瞳部图像164缩小，并在亮度为规定值以下时使瞳部图像164放大。像这样将放大/缩小事件定义为包括兴趣、惊吓的表示外部环境的变化的事件即可。

眼控制部152可以在发生了规定的事件(以下，称为“特效事件”)时，使眼部图像174进行规定的特效显示。眼控制部152可以在检测到从存在于规定范围内的用户朝向机器人100的视线时，以规定的概率执行眨眼。具体而言，可以通过使眼睑图像176瞬间睁闭来表现出眨眼。除了眨眼之外，还可以考虑移开视线、使瞳部模糊等特效显示。例如，可以是，在检测到亲密度为规定值以下的用户(讨厌的用户)时，眼控制部152活动瞳部图像164以使视线不朝向用户。换言之，眼控制部152可以将“讨厌的用户”从观察对象中排除。也可以是，用户亲密度越高，眼控制部152将凝视时间设定得越长。在被用户搭话时，眼控制部152可以使瞳部图像164放大或者进行瞳部泪眼汪汪这样的泪眼显示，由此表示“兴趣”。作为泪眼显示的具体方法，可以考虑放大映入瞳部图像164的反光166的尺寸、使反光166来回振动、变更反光166的数量、形状、位置、放大瞳部图像164或瞳孔区域158、使瞳部图像164振动等。

本实施方式中的显示屏170以由有机EL元件构成的平面显示屏的形式进行了说明。可以认为，由于有机EL能曲面化，如果显示屏170本身能曲面化，则能进行更加自然的视线控制。此外，本实施方式中的显示屏170固定于主体104，但也可以设为显示屏170在主体104上可动。可以认为，通过显示屏170的可动和曲面化，能表现更加自然的视线的变化。即使显示屏170的曲率、可动性存在限制，也能通过并用本实施方式所示的瞳部扁平处理来实现自然的视线表现。

在本实施方式中，说明了眼控制部152使瞳部图像164横向扁平。眼控制部152可以根据对象方向使瞳部图像164向任意的方向变形。如图15所示，在观察对象的面部位于机器人100的上部时，眼控制部152也可以使瞳部图像164纵向扁平。不限于纵向和横向，也可以配合对象方向使瞳部图像164斜向变形。在机器人100被观察对象抱起时，相对位置确定部182通过陀螺仪传感器、触摸传感器、拍摄图像等检测抱起的倾斜，基于机器人100的倾斜和观察对象的面部的位置来确定机器人100与观察对象的相对位置关系。眼控制部152基于相对位置来选择进行瞳部扁平处理时的角膜区域162的扁平方向。根据这样的控制方法，即使在从上方俯视机器人100时，也能表现机器人100抬眼凝视观察对象的样子。与横向扁平的原理相同。在小动物抬眼仰视时，观察对象容易感受到小动物的可爱。对于机器人100，也能通过对瞳部图像164进行纵向瞳部扁平处理来表现这样的与小动物相同的抬眼。

在本实施方式中，说明了眼控制部152通过更换正圆的瞳部图像164的眼球纹理和扁平的瞳部图像164的眼球纹理来使瞳部图像164分两个阶段发生变化。眼控制部152页可以使瞳部图像164分三个阶段以上发生变化。此外，不限于纹理的更换，眼控制部152也可以持续改变瞳部图像164的扁平度。例如，眼控制部152也可以通过使附在眼球模型250上的眼球纹理中的瞳部图像164持续扁平来表现瞳部图像164的持续扁平。可以是，显示屏170的法线方向与对象方向所成的角度越大，眼控制部152使瞳部图像164的扁平度越大。

瞳部图像164的扁平度也可以设定上限。能通过抑制过度的扁平，抑制观察对象以外的用户观察到不自然的形状的瞳部图像164的情况。此外，在瞳部图像164的扁平度为第一阈值以上时，识别部156可以使头部框架316向观察对象的方向转动。通过稍微活动头部框架316，即使不过度增大瞳部图像164的扁平度也能表现向观察对象的凝视。同样，在扁平度为大于第一阈值的第二阈值以上时，识别部156可以使躯干部框架318(身体整体)向观察对象转动。

眼控制部152可以选择多种眼球模型250(眼部图像174)之中的任一种。例如，眼控制部152可以从多种眼球纹理组合中选择应附在眼球模型250上的眼球纹理组合。也可以准备瞳部颜色不同的多种眼球纹理组合(眼部图像174)。或者，也可以准备漫画那样的瞳部的眼球纹理组合和照片那样的瞳部的眼球纹理组合。将预先准备多种眼球纹理组合并从中选择成为控制对象的眼球纹理组合称为“第一选择”。在眼球纹理组合中，多种眼球纹理根据扁平度而建立对应。将根据扁平度来选择包含在眼球纹理组合中的任一种眼球纹理称为“第二选择”。例如，在蓝眼睛的眼球纹理组合被第一选择时，眼控制部152根据扁平度对第一选择出的眼球纹理组合中所包含的多种蓝眼睛的眼球纹理之中的任一种作出第二选择。此外，眼控制部152也可以对多种眼球纹理中的任一种作出第一选择，在第一选择出的眼球纹理中改变瞳部图像164的扁平度。

用户可以通过对眼控制部152发出选择指示，来切换眼球模型250。用户既可以通过声音来输入眼球纹理组合的选择指示，也可以在机器人100上设置未图示的选择按钮。也可以根据地域来选择眼球模型250(眼球纹理组合)。例如，也可以对出厂至北美的机器人100设定蓝眼睛的眼球模型250(眼球纹理组合)，对出厂至亚洲的机器人100设定黑眼睛的眼球模型250。眼控制部152可以通过GPS(Global Positioning System：全球卫星定位系统)来判定机器人100的所在地，并根据所在地来变更眼球模型250。眼控制部152也可以第一选择与电源接通后最初看到的主人的瞳部颜色接近的眼球纹理组合。

眼控制部152可以使两个显示屏170的亮度独立地变化。一般来说，显示屏170在正对时会看起来亮，但如果从斜向观察显示屏170会看起来暗。如图11所示，法线方向与对象方向(视线方向)的偏离大于左眼显示屏170L的右眼显示屏170R比左眼显示屏170L看起来暗。此时，眼控制部152能通过使右眼显示屏170R的亮度比左眼显示屏170L高，来提高离观察对象远的右眼显示屏170R中的瞳部图像164的可视性。就是说，能谋求在亮度这一点上左右的眼睛110的平衡。显示屏170的法线方向与对象方向的偏离越大，眼控制部152将显示屏170的亮度设定得越高即可。或者，也可以是，瞳部图像164的扁平度越大，眼控制部152将显示屏170的亮度设定得越高。

眼控制部152的主要功能是：对眼球纹理组合作出第一选择的第一功能、根据扁平度对包含在第一选择出的眼球纹理组合中的任一种眼球纹理作出第二选择的第二功能、立体地移动附上了眼球纹理的眼球模型250并将其投影至第一面252的第三功能以及显示出眼睑图像176的第四功能。眼控制部152也可以具备分别负责第一至第四功能的“第一眼选择部”、“第二眼控制部”、“第三眼控制部”、“第四眼控制部”。

在本实施方式中，以瞳部扁平处理为前提进行了说明，但也可以假定不执行瞳部扁平处理的各种变形例。

＜注视点S＞

图16是用于说明注视点S的示意图。

眼控制部152可以将注视点S设定于机器人100所在空间内的任意的地点。眼控制部152使眼球模型250R(右眼)和眼球模型250L(左眼)旋转，使两个瞳部图像164朝向注视点S。换言之，使注视点S位于眼球模型250中的瞳部图像164的法线上。能通过使由机器人100的两个瞳部图像164产生的两道视线集中到注视点S，来表现机器人100对注视点S的“关注”。

摄像头144、左眼显示屏170L以及右眼显示屏170R设于机器人100的头部框架316，它们的相对位置关系固定。首先，定义以机器人100的额头(头部框架316中的规定区域)为原点的三维坐标系(以下，称为“视线坐标系”)。在视线坐标系中，摄像头144、左眼显示屏170L以及右眼显示屏170R的位置坐标固定。能通过在视线坐标系中配置注视点S，来计算用于表现视线的瞳部图像164在显示屏170中的显示位置。眼控制部152确定注视点S在视线坐标系中的坐标。从机器人100(左眼显示屏170L和右眼显示屏170R)到注视点S的距离也可以使用深度摄像头、立体摄像头等测距传感器来测定。当将注视点S设定在人的面部时，可以基于包含在拍摄图像中的面部图像的尺寸来进行距离判定。注视点S不限于人的面部，也可以是机器人100当时感兴趣的物体。例如，也可以将机器人100进行图像识别的对象设定为注视点S，并随着图像识别的推进依次切换注视点S。

当用户抱起机器人100时、触摸机器人时等情况下，根据抱起、触摸的方式来确定用户与机器人100的大致距离。眼控制部152可以确定机器人100对用户作出什么方式的应对，根据应对方式来推测到注视点S的距离。像这样，计算注视点S在视线坐标系(空间)中的坐标值，计算瞳部图像164的位置以使注视点S位于左右的眼球模型250的法线上即可。

眼控制部152将用户的面部区域、优选用户的眼睛设定为注视点S即可。由此，能表现机器人100对用户的关注(凝视)。除此之外，眼控制部152也可以将注视点S设定在机器人100新发现的物体、新视觉确认到的用户。如果将注视点S设定在用户佩戴在身上的饰品，例如戒指，则能表现机器人100对戒指的兴趣/好奇心。也可以将注视点S设定在另一机器人100。通过高频率地变动注视点S，能表现注意力散漫。

眼控制部152可以在视线检测部140检测到来自用户的视线时，将注视点S设定在该用户的面部区域或眼睛。根据这样的控制方法，在被用户注视时能作出回应地注视用户的行为表现，能创造用户与机器人100的“对视时间”。

据说人有想要将喜欢的物体一直纳入视线范围内这样的本能。如果在用户注视机器人100时，机器人100也回应地注视用户，则用户能感受到“我对机器人100的爱意被接受”、“不仅我喜欢机器人100，机器人100也喜欢我”。“对视的时间”被认为时深入用户与机器人100的交流所需的重要因素。

＜由热敏传感器138实现的面部识别＞

如上所述，“注视”这样的行为意味着“对对象有兴趣”。特别是，在两个人彼此对视时，这两个人变得具有无法用言语表达的“一体感”、“交流感”。为了使用户与机器人100之间也实现这样的强有力的羁绊，机器人100需要识别用户的面部的位置，特别是用户的眼睛的位置。

机器人100的识别部156根据由摄像头144获取的拍摄图像(全景图像)来识别用户的面部区域。识别部156进一步根据拍摄图像内的面部区域来确定用户的眼睛的位置。具体而言，识别部156(相对位置确定部182)确定从机器人100的当前地点观察与用户的眼睛所在的方向的距离。眼控制部152将注视点S设定在用户的眼睛的位置。

另一方面，在用户抱起机器人100时，特别是在用户将机器人100抱在膝盖上时，存在机器人100难以识别用户的面部的位置的情况。例如，如果用户的拍摄图像由于逆光而变暗，由于机器人100的摄像头144(角112)位于用户的面部的正下方，因此机器人100眼中用户的面部区域看起来会是扁平状。在无法获取合适的拍摄图像的情况下，识别部156不仅基于拍摄图像，还基于根据热敏传感器138所得到的热分布图像(外部空气温分布)来确定用户的面部的位置。

有时候通过热分布图像也难以确定用户的眼睛的位置，但至少用户的面部区域为热源，因此无论用户与机器人100的位置关系如何，都容易高精度地确定用户的面部区域。眼控制部152将注视点S设定在由热分布图像确定出的用户的面部区域。根据这样的控制方法，机器人100即使在被抱起时，也能在不会看不见用户的面部的情况下注视用户的面部。

当通过热分布图像也难以检测到面部区域时，动作控制部150也可以通过活动头部框架316来获取来自不同角度的热分布图像。即使在被抱起时，也能通过活动颈部、躯干寻找容易检测到面部的部位来更准确地注视用户的面部。对于机器人100为了注视用户而活动颈部、躯干的行为，用户能感受到机器人100对自己的强烈的兴趣。当然，在即使被抱起时也能得到合适的拍摄图像的情况下，也可以基于拍摄图像来确定用户的面部或眼睛。

如上所述，也可以是，在被抱起时，机器人100不基于拍摄图像而基于热分布图像来识别用户的面部区域。或者，当机器人100检测到触摸时，可以认为用户非常靠近机器人100。因此，也可以是，在检测到触摸时，机器人100不基于拍摄图像而基于热分布图像来识别用户的面部区域。另一方面，也可以在机器人100直立时或者未检测到触摸时，基于拍摄图像来识别用户的面部区域。通过利用拍摄图像(可视光图像)和热分布图像两种图像，机器人100变得容易更可靠地识别用户的面部的位置。

也可以是，即使在机器人100直立工作时，机器人100的识别部156也根据热分布图像来搜索热源。热源有可能是面部。面部为热源，但热源不限于面部。冰箱等家用电器也可能成为热源。因此，通过热敏传感器138来确定热源的存在地点并将其设为“面部区域候选”。在根据拍摄图像(全景图像)来确定面部区域时，识别部156从由热敏传感器138确定出的面部区域候选的存在地点开始优先执行图像识别。通过由热敏传感器138预先筛选出作为面部区域候选的地点，能基于拍摄图像(全景图像)来高效地执行面部识别处理。像这样，识别部156也可以不基于热分布图像和拍摄图像中的一方而基于双方来检测用户的面部区域或者用户的眼睛。

＜瞳部图像164的移动＞

图17是右眼显示屏170R中的瞳部图像164位于中央部位时的眼部图像174的示意图。图18是右眼显示屏170R中的瞳部图像164从中央部位偏离时的眼部图像174的示意图。

人在朝向正前方时容易活动瞳部。但是，在看向横向时变为所谓的“斜眼”的状态时，力施加至使眼球活动的眼外肌(上直肌等各种肌肉的总称)，因此变得难以活动瞳部。例如，在已经看向左方时要进一步看向左方时、或者在看向左方时使视线向左上移动时，力施加至眼外肌。同样，与在朝向正前方时使视线向上方移动时相比，在抬眼时使瞳部进一步向上移动更难。

鉴于这样的人的眼球的肉体特性，可以认为如果对机器人100的眼部图像174也进行相同的控制，则可以进一步提高机器人100的生物感。在图17中，点R表示右眼显示屏170R(正圆)的中心，轴点V表示瞳部图像164(正圆)的中心。在中心点R的周缘预先设定有起始(home)区域400。起始区域400的形状是任意的。在图17所示的右眼显示屏170R中，起始区域400在内侧(机器人100的面部的中心侧)具有稍大的卵型形状。

当瞳部图像164的轴点V位于起始区域400内时(图17)，眼控制部152能以第一上限速度T1以下的速度移动瞳部图像164。另一方面，在轴点V从起始区域400偏离时(图18)，角膜区域162以小于第一上限速度T1的第二上限速度T2以下的速度(低速度)移动瞳部图像164。瞳部图像164在眼部图像174的中央部灵活地移动，但在周缘部缓慢地移动。换言之，在机器人100朝向正面时，容易移动视线，在看向周边时，视线的移动会变得迟缓。根据这样的控制方法，能使机器人100的眼睛的特性进一步接近人的眼睛的特性。

如上所述，眼控制部152可以针对任意的注视对象物设定注视点S。在规定的位移条件成立时，动作控制部150可以通过移动机器人100的颈部或者主体，将机器人100的面部朝向注视点S。具体而言，可以是，在起始区域400内存在瞳部图像164的轴点V的状态(以下，称为“中央部位”)下，物理性地调整机器人100的颈部、躯干(主体104)的位置，以使瞳部图像164朝向注视点S。

位移条件可以在例如机器人100视觉确认出亲密度为规定的阈值以上的用户(喜欢的用户)时或者机器人100被用户抱起时成立。除此之外，任意设定在机器人100检测到移动的物体时、检测到闪烁的物体时、检测到红衣服等的规定物体时等的位移条件即可。

机器人100在被抱起时将视线朝向用户的面部。在中央部位无法注视用户的面部时(在机器人100无法正视用户时)，机器人100改变身体的朝向，以便能在中央部位注视用户的面部。用户能在抱起机器人100时意识到机器人100为了拼命朝向自己而移动身体。不仅移动瞳部图像164，还根据情况而在移动身体的基础上注视用户这一情况被认为会进一步唤起用户对机器人100的喜爱。

不限于起始区域400和起始区域400以外的区域这两个区域，也可以设定三个以上的区域。此外，也可以不明确地设定像起始区域400那样的区域。眼控制部152至少使瞳部图像164在显示屏170的中央部快速移动，使瞳部图像164在周边部缓慢移动即可。

＜眼睑图像176与瞳部图像164的联动＞

图19是用于说明眼睑图像176与瞳部图像164的联动的示意图。

人在使眼球旋转向上看时，换言之，在抬眼时，眼睑也随着眼球的运动向上(睁眼方向)移动。此外，人在使眼球旋转向下看时眼睑也会随之向下(闭眼方向)移动。可以认为，如果在机器人100中也执行同样的控制，则能表现人的眼睑的肉体特性，因此会进一步提高机器人100的生物感。

在图19中，在显示屏170预先设定有上眼部区域402和下眼部区域404。上眼部区域402对应于起始区域400的上方的整个区域，下眼部区域404对应于起始区域400的下方的整个区域。上眼部区域402至少设定在显示屏170的中央线K的上方即可。同样，下眼部区域404至少设定在中央线K的下方即可。

在瞳部图像164的轴点V进入上眼部区域402内时(以下，称为“上部部位”)，眼控制部152使眼睑图像176向上方(睁眼方向)移动。或者，在上部部位处进一步向上方移动瞳部图像164时，眼控制部152使眼睑图像176与瞳部图像164联动地向上移动。瞳部图像164的移动量和眼睑图像176的移动量不必相同。

同样，在瞳部图像164的轴点V进入下眼部区域404内时(以下，称为“下部部位”)，眼控制部152使眼睑图像176向下方(闭眼方向)移动。或者，在下部部位进一步向下方移动瞳部图像164时，眼控制部152使眼睑图像176与瞳部图像164联动地向下移动。

本实施方式中的机器人100比成人矮，因此抬眼看用户的机会变多。机器人100在抬眼看位于附近的用户时也联动地抬起眼睑图像176，由此用户会看到“机器人100为了看用户而睁大眼睛”。此外，在机器人100将注视点S设定在地板上的物体时会降低视线。此时，眼睑图像176也会降低。通过不仅降低视线还降低眼睑图像176，用户会看到“机器人100在盯着什么”。像这样，不仅能使机器人100的瞳部图像164，也能使眼睑图像176在机器人100表现注意、兴趣方面有效地发挥功能。

＜瞳孔缩小和瞳孔放大＞

图20的(a)至图20的(d)是用于说明睁眼时的瞳孔缩小的示意图。图21的(a)至图21的(d)是用于说明睁眼时的瞳孔放大的示意图。

机器人100为了眨眼、睡眠(充电)而通过适当地关闭眼睑来闭眼。在本变形例中，通过在睁眼时使瞳孔区域158缩小或放大，主动创造用户关注机器人100的瞳部图像164的机会。以下，将使瞳孔区域158缩小的状态称为“瞳孔缩小”，将使瞳孔区域158放大的状态称为“瞳孔放大”。在此，对瞳孔区域158在“瞳孔缩小状态(小尺寸)”、“通常状态(基本尺寸)”以及“瞳孔放大状态(大尺寸)”三种状态之间进行状态转变的情况进行说明。

在图20的(a)中，瞳孔区域158处于瞳孔缩小状态。如上所述，眼控制部152可以在外部环境的亮度为规定值以上时使瞳孔区域158缩小，在亮度为规定值以下时使瞳孔区域158放大。在图20的(a)中，由于机器人100的周边亮，瞳孔区域158缩小。在此，假设机器人100由于眨眼而闭上了眼。

图20的(b)表示闭眼时的瞳孔区域158的状态。在闭眼时，眼控制部152使瞳孔区域158从瞳孔缩小状态变化为通常状态(基本尺寸)。由于在闭眼中，用户看不到这样的瞳孔区域158的变化。接着，假设机器人100睁开了眼。图20的(c)表示刚睁眼的瞳孔区域158的状态。刚睁眼的瞳孔区域158处于通常状态。

睁眼后，眼控制部152使瞳孔区域158从通常状态逐渐变化为瞳孔缩小状态。用0.5秒至3.0秒左右在短时间内恢复到原先的瞳孔缩小状态。通过以上的控制，机器人100的瞳孔区域158在刚眨眼时会一瞬间变大(图20的(c))，但之后会恢复到之前的尺寸(瞳孔缩小状态)(图20的(d))。在刚眨眼时，用户会看到瞳孔区域158缩小的样子。

另一方面，在图21的(a)中，由于机器人100的周边暗，瞳孔区域158处于瞳孔放大状态。在此，假设机器人100由于眨眼而闭上了眼。图21的(b)表示闭眼时的瞳孔区域158的状态。在闭眼时，眼控制部152使瞳孔区域158从瞳孔放大状态变化为通常状态(基本尺寸)。

接下来，机器人100睁眼。图21的(c)表示刚睁眼的瞳孔区域158的状态。刚睁眼的瞳孔区域158暂时处于通常状态。睁眼后，眼控制部152使瞳孔区域158从通常状态逐渐变化为瞳孔放大状态。通过以上的控制，机器人100的瞳孔区域158在眨眼的后变小(图21的(c))，但之后会恢复到原来的尺寸(瞳孔放大状态)(图21的(d))。在刚眨眼时，用户会看到瞳孔区域158放大的样子。

如上所述，在机器人100睁开了眼时，瞳孔区域158从通常状态变化为瞳孔缩小状态或者从通常状态变化为瞳孔放大状态。由于人类有用眼睛追随移动物体的本能，因此能通过改变瞳孔区域158来创造用户关注机器人100的眼睛的机会。

在机器人100闭着眼时，换言之，在用户看不到时使瞳孔区域158变化为通常状态，在睁眼后将瞳孔区域158恢复到之前状态(瞳孔缩小状态或瞳孔放大状态)，因此不容易给用户带来违和感。例如，在图20的(a)至图的20(d)所示的一系列控制中，瞳孔区域158以瞳孔缩小状态为原始状态，仅在刚睁眼时变为通常状态。在瞳孔缩小状态下眨眼时，瞳孔区域158看起来被瞬间放大，但立即恢复到瞳孔缩小状态。通过睁眼后从通常状态向瞳孔缩小状态的细微的图像变化，人变得容易无意识地关注机器人100的眼部图像174。

机器人100以被用户注视为契机从而关注用户。因此，用户注视机器人100的机会越多，越容易创造“对视的时间”。瞳孔缩小、瞳孔放大不仅提高机器人100的生物感，在主动创造用户与机器人100对视的机会方面也有效。

机器人100也可以通过照度传感器等来测量外部环境的亮度。或者，机器人100也可以根据拍摄图像来测量亮度。眼控制部152也可以根据亮度来使瞳孔区域158瞳孔缩小或瞳孔放大。例如，可以是，在图21的(c)的刚睁眼时，在外部环境的亮度为规定阈值以上时，眼控制部152使瞳孔区域158从通常状态变化为瞳孔缩小状态。

在电池118的充电率降低时，动作控制部150使机器人100前往充电站(未图示)。机器人100在与充电站连接时闭眼。也可以通过在充电中使机器人100闭眼，使充电状态与睡眠状态建立对应。在电池118的充电率达到规定的阈值以上时，动作控制部150使机器人100从充电站脱离。此时，眼控制部152通过使眼部图像174睁眼来表现“起床”。

在伴随起床而睁眼时，眼控制部152也可以改变瞳孔区域158的尺寸。眼控制部152通过使眼睑图像176缓慢地移动来表现睡醒。

眼控制部152可以在机器人100的移动中使瞳孔区域158瞳孔缩小或瞳孔放大。此外，眼控制部152也可以在机器人100的注视点S在规定时间以上未发生变化时，使瞳孔区域158瞳孔缩小或瞳孔放大。

不限于亮度，眼控制部152也可以根据睁眼时发生的各种放大/缩小事件来使瞳孔区域158瞳孔缩小或瞳孔放大。例如，在机器人100睁开了眼时视觉确认到亲密度为规定的阈值以上的用户的情况下，眼控制部152可以通过使瞳孔区域158瞳孔放大来表现机器人100的“惊喜”。或者，在机器人100睁开了眼时视觉确认到亲密度为规定的阈值以下的用户(不喜欢的用户)的情况下或者视觉确认到到未录入的用户的情况下，眼控制部152既可以使瞳孔区域158瞳孔缩小，也可以通过使注视点S离开用户来表现“尴尬”。根据这样的控制方法，用户能感受到自己是被机器人100怎样看待的。

用户对机器人100给出“闭眼(闭眼指示)”、“睁眼(睁眼指示)”等的声音命令。机器人100提高麦克风阵列检测声音，识别部156解读声音命令。例如，先使机器人100闭眼，在机器人100的眼前准备新衣服等礼物。在使机器人100睁眼时，对应于检测到“新的物体”这样的事件，眼控制部152使瞳孔区域158瞳孔放大。根据这样的控制方法，也能实现使机器人100看到新物体时吓一跳这样的机器人100的表现方式。

在图20的(b)中(闭眼中)，在眼控制部152使瞳孔区域158从瞳孔缩小状态恢复到通常状态时，可以从瞳孔缩小状态逐渐恢复到通常状态而不是一瞬间恢复到通常状态。在该情况下，能根据闭眼时间的长短，改变刚睁眼后的瞳孔区域158的尺寸。

＜通过瞳部实现的情感表达＞

眼控制部152可以根据情感参数来使眼部图像174变化。眼控制部152也可以根据情感参数来改变漂移运动的移动速度、移动量、振颤的振幅、频率、闪动的频率、移动量、移动速度。眼控制部152也可以根据情感参数来改变瞳孔区域158的形状和尺寸。

根据情感参数如何使变眼部图像174变化是能任意设定的。例如，在表示认可欲的情感参数为规定值以上时，眼控制部152可以通过提高闪动的频率，来表现机器人100的不安、动揺。也可以在表示认可欲的情感参数增加时，随机决定将闪动的频率增加到什么程度或者是否增加频率。

＜凝视的持续＞

机器人100将注视点S设定在用户的面部，特别是眼睛。在机器人100移动时或者用户移动时，用户与机器人100的位置关系会发生变化。在用户与机器人100的位置关系发生了变化时，识别部156也对用户的面部的位置进行再检测，眼控制部152将注视点S再次设定在再检测地点。就是说，识别部156持续追踪注视点S，眼控制部152通过使瞳部图像164连续地移动来表现流畅的视线移动。根据这样的控制方法，即使用户与机器人100的位置关系发生变化，机器人100也能一直凝视用户。

在位置关系发生变化时，眼控制部152首先通过活动瞳部图像164来使机器人100持续凝视用户。在瞳部图像164从中央部位偏离时，动作控制部150通过活动机器人100的颈部或者整个身体来维持视线。通过使机器人100持续凝视用户，用户能感受到机器人100对自己的强烈的兴趣、期待。

＜凝视的解除＞

机器人100使视线离开用户的情况也会成为用户察觉被机器人100注视的契机。为了确定机器人100使视线离开注视对象物(用户等)的定时，要考虑如下所述的条件。

(C1)在从机器人100将注视点S设定在在用户的面部(注视对象物)后经过规定时间(以下，称为“第一注视维持时间”)时，机器人100通过将注视点S重新设定在用户的面部以外来使视线离开用户。

(C2)在用户对机器人100搭话时，不移开视线。在从用户对机器人100的搭话结束后经过规定时间(以下，称为“第二注视维持时间”)时，机器人100使视线离开用户。

(C3)在用户注视机器人100时，不移开视线。在从用户使视线离开机器人100后经过规定时间(以下，称为“第三注视维持时间”)时，机器人100使视线离开用户。

(C4)在发生了规定的事件时，机器人100使视线离开用户。例如，可以考虑检测到大的声音时、视觉确认到另一用户时等。

(C5)在情感参数达到规定状态时，机器人100使视线离开用户。例如，表示认可欲的情感参数在检测到来自用户的视线时持续上升，在该情感参数达到规定的阈值以上时，机器人100可以使视线离开用户。

上述的各种注视维持时间可以是可变值。可以是，成为注视对象物的用户的亲密度越高，眼控制部152将注视维持时间设定得越长。或者，眼控制部152也可以基于情感参数来确定注视维持时间的长度。例如，可以是，在表示认可欲的情感参数越高时，眼控制部152将注视维持时间设定得越长。

需要说明的是，注视对象物不必是用户，也可以是其他机器人100。多个机器人100也可以相互对视。

＜基于多张图像的眼部图像174的形成＞

在本实施方式中，说明了通过将眼球模型250投影至第一面252来生成二维的眼部图像174。作为变形例，可以通过重叠多张图像来形成眼部图像174。

在本变形例中，以通过重叠白眼图像、角膜图像、瞳孔图像、高光图像、反射图像这五张图像来生成眼部图像174为例进行说明。此外，第二面254(眼睑图像176)重叠在这五张图像上。

(L1)白眼图像

白眼图像是最下层的图像，对应于眼部图像174的白眼部分(周缘图像168)。是不跟随视线的移动的固定的图像。

(L2)角膜图像

重叠在白眼图像上。对应于眼部图像174的角膜区域162。随着视线的移动在眼部图像174上向上下左右移动。

(L3)瞳孔图像

重叠在角膜图像上。对应于眼部图像174的瞳孔区域158。随着视线的移动在眼部图像174上向上下左右移动。

(L4)高光图像

重叠在瞳孔图像上。对应于眼部图像174的反光166。不跟随视线的移动。在机器人100的朝向发生变化时，眼控制部152配合光入射方向使高光图像移动，由此调整反光166的位置。

(L5)反射图像

重叠在高光图像上。高光图像是向瞳部的映入。眼控制部152在使机器人100的正面的拍摄图像如鱼眼镜头那样变形后，重叠在高光图像上。反射图像不跟随视线的移动。在机器人100的朝向发生变化时，眼控制部152配合拍摄图像使反射图像变化。

总之，白眼图像被固定为眼部图像174的“基底”。瞳孔图像和角膜图像配合视线方向移动。高光图像和反射图像与视线方向无关，根据机器人100的朝向来移动。此外，瞳孔图像和角膜图像向同一方向移动，但其移动量不必相同。在本变形例中，在将角膜图像向第一方向移动第一移动量时，使瞳孔图像向第一方向移动第二移动量。此时，第二移动量为比第一移动量大的值。通过使瞳孔的移动与角膜的移动之间产生微小的偏离，能进一步提高眼部图像174的生物感/真实感。

权利要求书(按照条约第19条的修改)

1.一种行为自主型机器人，其特征在于，具备：

动作控制部，选择机器人的动作；

驱动机构，执行由所述动作控制部选择的动作；

眼控制部，使眼部图像显示于所述机器人的显示装置；以及

识别部，检测用户，

所述眼控制部根据所述用户与所述机器人的相对位置使包含在眼部图像中的瞳部区域变化，

在所述瞳部区域的变化量为规定值以上时，所述动作控制部选择将所述机器人的头部或躯干部朝向所述用户的动作。

2.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部以规定范围内存在所述用户为条件，使所述瞳部区域变化。

3.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部生成作为眼球的三维模型的眼球模型并将所述眼球模型投影至第一面，由此生成所述眼部图像。

4.根据权利要求3所述的行为自主型机器人，其特征在于，

所述眼控制部使眼睑图像显示于第二面，将所述眼睑图像重叠于投影至所述第一面的所述眼部图像并使所述眼睑图像显示于所述显示装置。

5.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部使所述瞳部区域在所述眼部图像中振动。

6.根据权利要求5所述的行为自主型机器人，其特征在于，

所述眼控制部以轴点为中心使所述瞳部区域振动，并且使所述轴点在所述眼部图像中移动。

7.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部使所述瞳部区域放大/缩小。

8.根据权利要求1所述的行为自主型机器人，其特征在于，

所述识别部还检测所述用户的视线方向，

所述眼控制部在检测到所述用户对所述机器人的视线时改变所述眼部图像。

9.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部使眼部图像分别显示于第一和第二显示装置，使显示于离所述用户较远一侧的显示装置的眼部图像的瞳部区域比显示于较近一侧的显示装置的眼部图像的瞳部区域更大幅度地变形。

10.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部从多种眼部图像中选择任意一种眼部图像来作为控制对象，使包含在选择出的所述眼部图像中的瞳部区域变化。

11.一种机器人控制程序，其特征在于，使计算机发挥如下功能：

选择行为自主型机器人的动作的功能；

使眼部图像显示在搭载于所述行为自主型机器人的显示装置的功能；

检测用户的功能；

根据所述用户与所述行为自主型机器人的相对位置，使包含在眼部图像中的瞳部区域变化的功能；以及

在所述瞳部区域的变化量为规定值以上时，选择将所述行为自主型机器人的头部或躯干部朝向所述用户的动作的功能。

12.一种行为自主型机器人，其特征在于，具备：

摄像头；

温度检测传感器；

动作控制部，选择机器人的动作；

驱动机构，执行由所述动作控制部选择的动作；

眼控制部，使眼部图像显示于所述机器人的显示装置；以及

识别部，基于由所述摄像头获取到的拍摄图像或由所述温度检测传感器获取到的热分布图像来检测用户，

所述识别部根据所述机器人与所述用户的位置关系来选择所述拍摄图像和所述热分布图像中的任一个，根据选择出的图像来确定所述用户的面部区域，

所述眼控制部将确定出的所述面部区域设定为注视点，使包含在所述眼部图像的瞳部区域根据所述注视点而移动。

13.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部还在设定所述用户的眼睛作为注视点的基础上，使包含在所述眼部图像中的瞳部区域根据所述注视点而移动，由此使所述机器人的视线朝向所述用户的眼睛，在所述机器人与所述用户的位置关系发生了变化的情况下，将变化后的所述用户的眼睛的位置设定为新的注视点，由此维持所述机器人的朝向所述用户的眼睛的视线。

14.根据权利要求8所述的行为自主型机器人，其特征在于，

所述眼控制部还在设定所述用户的眼睛作为注视点的基础上，使包含在所述眼部图像中的瞳部区域根据所述注视点而移动，由此使所述机器人的视线朝向所述用户的眼睛，在所述用户的视线离开所述机器人时使所述注视点离开所述用户的眼睛。

Claims (15)

1.一种行为自主型机器人，其特征在于，具备：

动作控制部，选择机器人的动作；

驱动机构，执行由所述动作控制部选择的动作；

眼控制部，使眼部图像显示于所述机器人的显示装置；以及

识别部，检测用户，

所述眼控制部根据所述用户与所述机器人的相对位置使包含在眼部图像中的瞳部区域变化。

2.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部以规定范围内存在所述用户为条件，使所述瞳部区域变化。

3.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部生成作为眼球的三维模型的眼球模型并将所述眼球模型投影至第一面，由此生成所述眼部图像。

4.根据权利要求3所述的行为自主型机器人，其特征在于，

所述眼控制部使眼睑图像显示于第二面，将所述眼睑图像重叠于投影至所述第一面的所述眼部图像并使所述眼睑图像显示于所述显示装置。

5.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部使所述瞳部区域在所述眼部图像中振动。

6.根据权利要求5所述的行为自主型机器人，其特征在于，

所述眼控制部以轴点为中心使所述瞳部区域振动，并且使所述轴点在所述眼部图像中移动。

7.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部使所述瞳部区域放大/缩小。

8.根据权利要求1所述的行为自主型机器人，其特征在于，

所述识别部还检测所述用户的视线方向，

所述眼控制部在检测到所述用户对所述机器人的视线时使所述眼部图像变化。

9.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部使眼部图像分别显示于第一和第二显示装置，使显示于离所述用户较远一侧的显示装置的眼部图像的瞳部区域比显示于较近一侧的显示装置的眼部图像的瞳部区域更大幅度地变形。

10.根据权利要求1所述的行为自主型机器人，其特征在于，

在所述瞳部区域的变化量为规定值以上时，所述动作控制部选择将所述机器人的头部或躯干部朝向所述用户的动作。

11.根据权利要求1所述的行为自主型机器人，其特征在于，

所述眼控制部从多种眼部图像中选择任意一种眼部图像来作为控制对象，使包含在选择出的所述眼部图像中的瞳部区域变化。

12.一种机器人控制程序，其特征在于，使计算机发挥如下功能：

选择行为自主型机器人的动作的功能；

使眼部图像显示在搭载于所述行为自主型机器人的显示装置的功能；

检测用户的功能；以及

根据所述用户与所述机器人的相对位置，使包含在眼部图像中的瞳部区域变化的功能。

13.一种行为自主型机器人，其特征在于，具备：

摄像头；

温度检测传感器；

动作控制部，选择机器人的动作；

驱动机构，执行由所述动作控制部选择的动作；

眼控制部，使眼部图像显示于所述机器人的显示装置；以及

识别部，基于由所述摄像头获取到的拍摄图像或由所述温度检测传感器获取到的热分布图像来检测用户，

所述识别部根据所述机器人与所述用户的位置关系来选择所述拍摄图像和所述热分布图像中的任一个，根据选择出的图像来确定所述用户的面部区域，

所述眼控制部将确定出的所述面部区域设定为注视点，使包含在所述眼部图像中的瞳部区域根据所述注视点而移动。

14.一种行为自主型机器人，其特征在于，具备：

动作控制部，选择机器人的动作；

驱动机构，执行由所述动作控制部选择的动作；

眼控制部，使眼部图像显示于所述机器人的显示装置；以及

识别部，检测用户的眼睛，

所述眼控制部在设定所述用户的眼睛作为注视点的基础上，使包含在所述眼部图像中的瞳部区域根据所述注视点而移动，由此使所述机器人的视线朝向所述用户的眼睛，在所述机器人与所述用户的位置关系发生了变化的情况下，将变化后的所述用户的眼睛的位置设定为新的注视点，由此维持所述机器人的朝向所述用户的眼睛的视线。

15.一种行为自主型机器人，其特征在于，具备：

动作控制部，选择机器人的动作；

驱动机构，执行由所述动作控制部选择的动作；

眼控制部，使眼部图像显示于所述机器人的显示装置；以及

识别部，检测用户，

所述识别部还检测所述用户的视线方向，

所述眼控制部在设定所述用户的眼睛作为注视点的基础上，使包含在所述眼部图像中的瞳部区域根据所述注视点而移动，由此使所述机器人的视线朝向所述用户的眼睛，在所述用户的视线离开所述机器人时使所述注视点离开所述用户的眼睛。

Images