CN109262606A

CN109262606A - 装置、方法、程序以及机器人

Info

Publication number: CN109262606A
Application number: CN201810748410.2A
Authority: CN
Inventors: 宫崎亮太
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-07-18
Filing date: 2018-07-10
Publication date: 2019-01-25
Anticipated expiration: 2038-07-10
Also published as: CN109262606B; EP3432225A1; US20190022870A1; US11220008B2

Abstract

本公开涉及装置、方法、程序以及机器人。处理部根据所述取得的影像和所述取得的声音使所述机器人作为初始行为而执行用于与所述对象人物交流的第1行为、第2行为以及第3行为中的任一行为，在执行包括所述初始行为的当前行为后存在通过所述麦克风取得的声音的情况下使所述机器人执行所述当前行为的上位一位的行为，在执行所述当前行为后没有通过所述麦克风取得的声音的情况下判断从执行所述当前行为起的经过时间是否小于阈值，在判断为所述经过时间小于所述阈值的情况下使所述机器人继续执行所述当前行为，在判断为所述经过时间为所述阈值以上的情况下使所述机器人执行所述当前行为的下位一位的行为。

Description

装置、方法、程序以及机器人

技术领域

本公开涉及实现与人的交流的机器人等。

背景技术

以往，已知有一种以通过与人的交流来实现对人的干预(日语：関与)为主要着眼点的机器人。在这样的机器人中，尽可能地使用户与机器人相互干预的状态持续是重要的。

专利文献1中公开了如下技术：包括机器人执行与用户输入独立的任务的自主任务状态和机器人与用户相互作用的干预状态，基于当前的状况，判断从自主任务状态向干预状态转换的转换定时和从干预状态向自主任务状态转换的转换定时。

现有技术文献

专利文献1：日本特表2014-502566号公报

发明内容

发明要解决的问题

但是，在上述的现有技术中，完全没有考虑在集中注意力时会看不到周围情况且容易产生厌烦的这一幼儿的特性，因此存在无法继续干预状态这一问题，需要进一步的改善。

用于解决问题的技术方案

本公开的一个技术方案的装置是通过执行预定行为与对象人物进行交流的装置，具备：摄像头，其取得所述装置周边的影像；麦克风，其取得所述装置周边的声音；处理部；扬声器；以及驱动部，其驱动所述装置，所述处理部，根据所述取得的影像和所述取得的声音，使所述装置执行用于与所述对象人物进行交流的第1行为、第2行为以及第3行为中的任一行为来作为初始行为，所述第2行为是所述第3行为的上位一位的行为，所述第1行为是所述第2行为的上位一位的行为，在执行包括所述初始行为的当前行为后存在通过所述麦克风取得的声音的情况下，使所述装置执行所述当前行为的上位一位的行为，在执行所述当前行为后不存在通过所述麦克风取得的声音的情况下，判断从执行所述当前行为起的经过时间是否小于阈值，在判断为所述经过时间小于所述阈值的情况下，使所述装置继续执行所述当前行为，在判断为所述经过时间为所述阈值以上的情况下，使所述装置执行所述当前行为的下位一位的行为，使所述装置执行预定任务来作为所述第1行为，使所述扬声器输出对所述对象人物讲话的语音来作为所述第2行为，控制所述驱动部，使所述装置进行与所述对象人物的运动同步调的运动来作为所述第3行为。

发明的效果

根据上述技术方案，能够实现进一步的改善。

附图说明

图1是示出本公开的实施方式中的机器人的整体构成的一例的框图。

图2是示出初始干预阶段表的一例的图。

图3是示出转换表的一例的图。

图4是示出干预阶段的决定处理的一例的流程图。

图5是接着图4的流程图。

图6是示出图5的S205的详细处理的一例的流程图。

图7是示出禁止中断条件表的一例的图。

图8是示出辞典表的一例的图。

图9是示出机器人的外观的一例的图。

标号说明

1机器人；100传感器部；101麦克风；102摄像头；200行为执行部；201语音识别部；202图像识别部；203初始干预阶段判断部；204干预执行部；205转换判断部；207指令生成部；208存储器；210处理器；300输出部；301扬声器；302驱动部；T1初始干预阶段表；T2转换表；T3禁止中断条件表；T4辞典表。

具体实施方式

(发明出本公开的一个技术方案的经过)如上述那样，在专利文献1中，公开了一种决定干预状态与干预状态之外的非干预状态(自主任务状态和休憩状态等)之间的转换定时的方法。具体而言，在专利文献1中公开了如下内容：在用户注视机器人、且用户回应了来自机器人的干预邀请(例如询问)的情况下，从非干预状态转换到干预状态。另外，在专利文献1中公开了如下内容：在干预状态下，在对话不成立之后，对于多次询问均没有来自用户的应答，在待机状态持续了一定时间的情况下转换到非干预状态。

本发明人正在进行如下机器人的研究，该机器人如同幼儿玩猜谜、或催促幼儿整理物品或催促幼儿学习那样通过某些工作(任务)对幼儿进行教育和管教来提高幼儿的能力。在此，幼儿有以自我为中心性强这一心理特性，好奇心旺盛，相反也有容易厌烦、注意力难以持续集中这样的倾向。

因此，在专利文献1中在以幼儿为对象的情况下会发生如下问题：无法期待其注视机器人或针对机器人的询问可靠地作出应答，从非干预状态向干预状态转换的契机少。另外，即使能够转换到干预状态，幼儿马上变为对于来自机器人的询问没有反应、或采取远远地离开机器人这一行为的倾向高，因此存在马上会返回到非干预状态这一问题。这样，专利文献1存在无法长时间持续干预状态这一问题。

该问题在上述专利文献1中也没有提及，以往没有认识到该问题的存在。

于是，本发明人得到了如下见解：在使幼儿执行某任务的情况下，在幼儿的意识差的状态下突然分配任务反倒会适得其反，在充分提高幼儿的意识后再让其执行任务才是有效的。因此，得到了一边增减与幼儿的干预程度、一边逐渐提高幼儿对机器人的关注的状况较有效这一见解。

本发明人为解决上述的问题，在上述见解的基础上研究出以下的改善对策。

本公开的一个技术方案的装置，是通过执行预定行为与对象人物进行交流的装置，具备：摄像头，其取得所述装置周边的影像；麦克风，其取得所述装置周边的声音；处理部；扬声器；以及驱动部，其驱动所述装置，所述处理部，根据所述取得的影像和所述取得的声音，使所述装置执行用于与所述对象人物进行交流的第1行为、第2行为以及第3行为中的任一行为来作为初始行为，所述第2行为是所述第3行为的上位一位的行为，所述第1行为是所述第2行为的上位一位的行为，在执行包括所述初始行为的当前行为后存在通过所述麦克风取得的声音的情况下，使所述装置执行所述当前行为的上位一位的行为，在执行所述当前行为后不存在通过所述麦克风取得的声音的情况下，判断从执行所述当前行为起的经过时间是否小于阈值，在判断为所述经过时间小于所述阈值的情况下，使所述装置继续执行所述当前行为，在判断为所述经过时间为所述阈值以上的情况下，使所述装置执行所述当前行为的下位一位的行为，使所述装置执行预定任务来作为所述第1行为，使所述扬声器输出对所述对象人物讲话的语音来作为所述第2行为，控制所述驱动部，使所述装置进行与所述对象人物的运动同步调的运动来作为所述第3行为。

在本技术方案中，按干预程度升高的顺序准备了第1、第2以及第3行为，首先，根据机器人的周围的影像和声音的状况，将第1～第3行为中的某一行为决定为初始行为。在此，第1行为是用于使对象人物执行任务的行为，第2行为是向对象人物讲话的行为，第3行为是与对象人物的运动同步调的行为，可以说，按第1～第3行为的顺序与对象人物的干预升高。

并且，在麦克风检测到周围的声音的情况下，认为初始行为对于对象人物而言相称、对象人物对装置的关注高，初始行为向上位一位的行为转换。另一方面，在直到从执行初始行为起的经过时间达到阈值为止也没有通过麦克风检测到声音的情况下，判定为初始行为与对象人物的意识不相称、无法提高对象人物的关注，初始行为向下位一位的行为转换。之后，这样一边阶段性地转换当前行为、一边提高对象人物的关注，在对象人物的关注充分地提高了的状态下，向对象人物分配任务。

这样，本技术方案能够在充分提高对象人物对装置的关注后向对象人物分配任务，因此，即使对象人物是例如具有幼儿那样的心理特性的人，也能够使装置与对象人物的干预状态长时间持续。结果，能够使对象人物长时间致力应对任务，能够有效地提高对象人物的能力。

在上述技术方案中，也可以是，所述第3行为的下位一位的行为是第4行为，所述第4行为的下位一位的行为是第5行为，所述处理部，在执行所述当前行为后存在通过所述麦克风取得的声音并且所述取得的声音所包含的所述对象人物的语音中包含所述装置具备的辞典所包含的语句的情况下，使所述装置执行所述第5行为，控制所述驱动部，使所述装置在所述装置的当前位置进行预定运动来作为所述第4行为，使所述装置停止与所述对象人物的交流来作为所述第5行为。

在本技术方案中，还准备有在当前位置使装置进行预定运动的第4行为和与第4行为相比干预程度处于下位并使与对象人物的交流停止的第5行为。而且，在对象人物说出了辞典所含的语句(例如，走开)的情况下，执行第5行为，因此能够防止在对象人物积极地拒绝与装置的交流、没希望提高对装置的关注的状况下，装置不必要地刺激对象人物的情况，能够防止装置对于对象人物而言成为恼人的存在。

在上述技术方案中，也可以是，所述处理部，在从所述取得的影像识别出所述对象人物并且从所述取得的声音识别出所述对象人物的语音的情况下，使所述装置执行所述第1行为来作为所述初始行为。

在本技术方案中，在对象人物例如正在朝着装置的方向说话那样的情况下，认为对象人物的关注足够高，执行第1行为，因此能够迅速地向对象人物分配任务。

在上述技术方案中，也可以是，所述处理部，在从所述取得的影像没有识别出所述对象人物并且从所述取得的声音识别出所述对象人物的语音的情况下，使所述装置执行所述第2行为来作为所述初始行为。

在本技术方案中，在对象人物例如不朝向装置地正说着某些话那样的情况下，执行装置向对象人物讲话的第2行为，因此能够适当地刺激对象人物来提高对象人物的关注。

在上述技术方案中，也可以是，所述处理部，在从所述取得的影像识别出所述对象人物并且从所述取得的声音没有识别出所述对象人物的语音的情况下，使所述装置执行所述第3行为来作为所述初始行为。

在本技术方案中，在对象人物例如既没有朝向装置也没有说话那样的情况下，执行与对象人物的运动同步调的第3行为，因此能够适当地刺激对象人物来提高对象人物的关注。

在上述技术方案中，也可以是，所述处理部，使所述扬声器输出建议开始与所述对象人物的交流的语音来作为所述第1行为。

在本技术方案中，在进行第1行为时能够通过与对象人物的交流来要求对象人物执行任务，能够没有违和感地要求对象人物执行任务。

在上述技术方案中，也可以是，所述处理部，在从所述取得的影像识别出所述对象人物的头部的倾斜的情况下，控制所述驱动部，使所述装置的上部以与所述头部的倾斜相同的方向和角度倾斜来作为所述第3行为。

在本技术方案中，在进行第3行为时，装置的姿势与对象人物的头部的姿势的变化联动地变化，因此能够使对象人物容易地了解装置正在与对象人物的运动同步调地动作，能够提高对象人物对装置的关注。

在上述技术方案中，也可以是，所述处理部，在从所述取得的影像识别出所述对象人物的配合预定节奏的动作的情况下，控制所述驱动部，使所述装置配合所述节奏地运动来作为所述第3行为。

在本技术方案中，在进行第3行为时，装置配合对象人物的运动的节奏而运动，因此能够使对象人物容易地了解装置正在与对象人物的运动同步调地动作，能够提高对象人物对装置的关注。

在上述技术方案中，也可以是，所述处理部，使所述扬声器输出包含与所述对象人物对应的名字的语音来作为所述第2行为。

在本技术方案中，在进行第2行为时，装置使用对象人物的名字跟对象人物讲话，因此能够提高对象人物对装置的关注。

在上述技术方案中，也可以是，所述处理部，使所述装置左右摆动来作为所述第4行为。

在本技术方案中，在进行第4行为时，装置左右摆动，因此能够在对象人物的关注并不那么高的状况下以比较少的刺激引起对象人物对装置的关注。

在上述技术方案中，也可以是，所述处理部，使所述装置以重力方向为轴旋转来作为所述第4行为。

在本技术方案中，在进行第4行为时，装置就地自转，因此能够在对象人物的关注并不那么高的状况下以比较少的刺激引起对象人物对装置的关注。

在上述技术方案中，也可以是，所述处理部，使所述装置远离所述对象人物来作为所述第5行为。

在本技术方案中，在进行第5行为时，装置远离对象人物，因此能够防止在没希望提高对象人物的关注的状况下向对象人物施加不必要的刺激。

在上述技术方案中，也可以是，所述处理部，使所述装置以重力方向为轴旋转180度来作为所述第5行为。

在本技术方案中，装置相对于对象人物朝向相反方向，因此能够防止在没希望提高对象人物的关注的状况下向对象人物施加不必要的刺激。

在上述技术方案中，也可以是，所述处理部，在执行所述当前行为后不存在通过所述麦克风取得的声音并且在所述装置设定有预定禁止中断条件的情况下，使所述装置执行所述第5行为，所述预定禁止中断条件，包括关于预定时间段的条件和关于所述对象人物的场所的条件。

有时在预定场所、在预定时间对象人物习惯进行与机器人干预会很困惑那样的预定行为(例如就餐和睡眠)。该情况下，使机器人与对象人物干预会打乱生活模式，因此不优选。于是，在本技术方案中，设置了禁止中断条件，在设置有禁止中断条件的时间段和场所使机器人执行装置从与对象人物的干预脱离的第5行为。由此，能够防止机器人打乱对象人物的生活模式。

本公开也可以作为使计算机执行这样的装置所包含的特征性的各步骤的计算机程序来实现。并且，当然，也可以使这样的计算机程序经由CD-ROM等计算机可读的非瞬时性存储介质或互联网等通信网络来流通。

此外，下面要说明的实施方式均是示出本公开的一个具体例的方式。下面的实施方式中示出的数值、形状、构成要素、步骤、步骤的顺序等均是一例，主旨并非是限定本公开。另外，关于以下的实施方式中的构成要素中表示最上位概念的独立权利要求中未记载的构成要素，作为任意的构成要素进行说明。另外，在所有实施方式中，也能够将各自的内容进行组合。

(实施方式)

(整体构成)

下面对本公开的实施方式进行说明。在下面的说明中，举出将本公开的装置应用于机器人的情况为例进行说明。

图1是示出本公开的实施方式中的机器人1的整体构成的一例的框图。机器人1例如是以通过与幼儿等具有以自我为中心性强这一心理特性的用户的交流来辅助幼儿的发育为主要目的的机器人。此外，所谓交流，不仅包括如幼儿与机器人1通过语音进行对话这样的直接交流，也包括机器人1与幼儿一起跳舞那样的间接交流。

机器人1具备传感器部100、行为执行部200、以及输出部300。传感器部100由麦克风101和摄像头102构成。麦克风101将机器人1的周围的声音变换成语音信号。另外，麦克风101以预定的采样率对变换出的语音信号进行A/D变换，变换成数字的语音数据并向处理器210输出。摄像头102取得机器人1的周围的影像，并取得图像数据。在此，摄像头102例如由CCD或CMOS图像传感器构成，按预定的帧率(例如1秒钟60帧)对机器人1的周围的图像进行拍摄并变换成数字的图像数据。摄像头102既可以由对机器人1的正面前方进行拍摄的通常的摄像头构成，也可以由对机器人1的全方位进行拍摄的全方位摄像头构成。由摄像头102以预定的帧率拍摄到的图像数据，以预定帧率输入到处理器210。在此，摄像头102也可以由立体摄像头或红外线摄像头构成。该情况下，摄像头102所拍摄的图像数据中会包括表示到周围的物体为止的距离的距离成分。

行为执行部200具备处理器210和存储器208。处理器210例如由ASIC、DSP、或CPU等处理器构成，并具备语音识别部201、图像识别部202、初始干预阶段判断部203、干预执行部204、转换判断部205、以及指令生成部207。在此，处理器210所具备的各构成要素，既可以通过处理器执行存储器208所存储的使计算机作为行为执行部200来发挥功能的程序来实现，也可以由专用的硬件电路构成。构成行为执行部200的所有构成要素，也可以安装于同一终端。或者，构成行为执行部200的所有或一部分构成要素，也可以个别地安装于经由光纤、无线或公共电话线路等任意的网络连接的其他终端或服务器上。该情况下，行为执行部200通过与其他终端或服务器进行通信来实现。

语音识别部201对从麦克风101输入的语音数据执行预定的语音识别处理，从语音数据识别存在于机器人1周围的用户的话语内容，将识别出的话语内容变换成字符串并生成话语数据。作为预定的语音识别处理，能够采用例如隐马尔科夫模型、统计方法、或动态时间规整法这样的公知的方法。

另外，语音识别部201通过将从麦克风101输入的语音数据的声纹与存储器208所存储的预定的用户的声纹进行对照，确定说话的用户。并且，语音识别部201将包括确定出的用户的识别信息和话语数据的数据作为语音识别数据来输出。作为预定的用户，例如包括机器人1用来作为教育辅助对象的幼儿和该幼儿的家人。下面，将机器人1用来作为教育辅助的对象的幼儿作为对象人物的一例来进行说明。

图像识别部202通过对从摄像头102输入的图像数据适用面部识别处理，来识别位于机器人1周围的用户，并将识别出的用户的识别信息作为图像识别数据输出。另外，图像识别部202对通过面部识别处理识别出的用户的视线、面部的朝向、以及用户的移动量等进行检测，将检测结果作为图像识别数据输出。在此，图像识别处理包括例如提取图像数据所包含的人物的面部的特征量的处理和将提取出的特征量与预先存储于存储器208的预定的用户的面部的特征量进行比较的处理等。

初始干预阶段判断部203基于从语音识别部201输出的语音识别数据和从图像识别部202输出的图像识别数据，来决定表示机器人1对于幼儿的初始的干预阶段的初始干预阶段。图2是示出初始干预阶段判断部203为了决定初始干预阶段所用的初始干预阶段表T1的一例的图。此外，初始干预阶段表T1事先存储于存储器208。

初始干预阶段表T1是将多个初始干预阶段和对于各初始干预阶段的条件相关联的数据库，具备“识别项目”、“传感器”、“条件”、以及“初始干预阶段”的字段。

“初始干预阶段”字段中登记有“任务执行”、“模仿”以及“询问”这3个干预阶段、和表示没有对应的干预阶段的“N/A”。此外，按“任务执行”、“询问”、以及“模仿”的顺序，机器人1对于幼儿的干预程度依次升高。所谓“干预阶段”是指用于决定机器人1对幼儿干预时的行为的指标。

在干预阶段处于“任务执行”的情况下，由机器人1执行要求幼儿完成预定任务的行为(第1行为的一例)。所谓预定任务是指幼儿应该应对的工作或问题，例如猜谜游戏、整理物品、学习、家庭作业、阅读、听机器人1读绘本以及帮忙等。此外，任务基于从语音识别部201输出的语音识别数据和从图像识别部202输出的图像识别数据中的至少一方，在初始干预阶段的决定前由处理器210事先决定。换言之，决定初始干预阶段的处理，每当决定新的任务时被执行。

例如，在话语数据中包含由催促幼儿整理物品的母亲说出的讯息的情况下，“整理物品”被决定为任务。例如，如果语音识别数据中包含“小○○，整理物品啦”这样的由催促幼儿整理物品的母亲说出的话语数据，则“整理物品”被决定为预定任务。

“识别项目”字段中登记有机器人1对于每个初始干预阶段的识别项目。在图2的例子中，对于所有的初始干预阶段，作为“识别项目”均包括“人识别”和“语音识别”。所谓“人识别”是指机器人1通过影像识别出幼儿。所谓“语音识别”是指机器人1通过声音识别出幼儿。

“传感器”字段中登记有用于实现识别项目所举出的识别的传感器的种类。在图2的例子中，在所有的初始干预阶段中，在“人识别”登记有“摄像头”，在“语音识别”登记有“麦克风”。也就是说，“人识别”使用由摄像头102拍摄到的图像数据来执行，“语音识别”使用由麦克风101收集到的语音数据来执行。

“条件”字段中登记有对于各初始干预阶段的决定条件。例如，“任务执行”在“人识别”和“语音识别”均为“识别”的情况下被决定。“模仿”在“人识别”为“识别”、“语音识别”为“无”(＝非识别)的情况下被决定。“询问”在“人识别”为“无”、“语音识别”为“识别”的情况下被决定。此外，在“人识别”和“语音识别”均为“无”的情况下，不决定初始干预阶段。

在此，初始干预阶段的决定，基于幼儿对机器人1的关注越高则越提高对机器人1的干预的程度这一考量。另外，视为幼儿对机器人1的关注，按幼儿正在朝向机器人1地对话的状况、幼儿未朝向机器人1地对话的状况、以及幼儿朝向机器人1但没有对话的状况的顺序升高。

因此，在初始干预阶段表T1中，“人识别”和“语音识别”均为“识别”的状况，视为处于幼儿对机器人1的关注程度最高的阶段，并被分配作为机器人1对于幼儿的干预的程度最高的干预阶段的“任务执行”。另外，“人识别”为“无”、“语音识别”为“识别”的状况，视为处于幼儿对机器人1的关注第二高的阶段，并被分配作为机器人1对于幼儿的干预程度第二高的干预阶段的“询问”。

另外，“人识别”为“识别”、“语音识别”为“无”的状况，视为处于幼儿对机器人1的关注第三高的阶段，并被分配作为机器人1对于幼儿的干预程度第三高的干预阶段的“模仿”。

返回到图1。干预执行部204向指令生成部207输出用于使机器人1执行与由初始干预阶段判断部203决定出的初始干预阶段对应的行为的指令的输出委托。另外，干预执行部204，在由后述的转换判断部205决定了干预阶段的转换的情况下，向指令生成部207输出用于使机器人1执行与转换目的地的干预阶段相对应的行为的指令的输出委托。

在此，如后述的图3所示，干预阶段由“任务执行”、“询问”、“模仿”、“待机’、以及“脱离”这5个构成。因此，干预执行部204向指令生成部207输出用于使机器人1执行与上述5个干预阶段相对应的5个行为的指令的输出委托。此外，分别与“任务执行”、“询问”、“模仿”、“待机’、以及“脱离”相对应的行为与第1行为、第2行为、第3行为、第4行为以及第5行为的一例相符合。

例如，如果决定出的干预阶段是“任务执行”，则“任务执行”的指令的输出委托向指令生成部207输出，如果决定出的干预阶段是“模仿”，则“模仿”的指令的输出委托向指令生成部207输出。

转换判断部205判断是否要将由初始干预阶段判断部203决定出的初始干预阶段转换到其他的干预阶段。另外，转换判断部205判定是否要将使初始干预阶段转换后的干预阶段转换到其他的干预阶段。下面，包括初始干预阶段和从初始干预阶段转换后的干预阶段在内，将当前设定于机器人1的干预阶段记述为“当前的干预阶段”。

在此，转换判断部205，在执行了与当前的干预阶段相对应的行为后由语音识别部201识别到了幼儿的语音的情况下，判断为将当前的干预阶段转换到上位一位的干预阶段。即，转换判断部205，在使机器人1执行了当前的干预阶段的结果是幼儿通过说话作出了反应的情况下，判断为存在幼儿对机器人1的关注升高的倾向，将当前的干预阶段转换到上位一位的干预阶段。

另一方面，转换判断部205，在执行与当前的干预阶段对应的行为(当前行为)后未由语音识别部201识别到幼儿的语音的情况下，判断从当前行为被执行起的经过时间是否小于阈值。并且，转换判断部205，在判断为所述经过时间小于阈值的情况下，判断为继续执行当前的干预阶段。另一方面，转换判断部205，在所述经过时间成为阈值以上而幼儿仍未说话的情况下，判断为将当前的干预阶段转换到下位一位的干预阶段。即，转换判断部205，在即使等到所述经过时间达到阈值仍未从幼儿处得到通过说话体现的反应的情况下，判断为当前的干预阶段不适合幼儿，反倒会降低幼儿对机器人1的关注，将当前的干预阶段转换到下位一位的干预阶段。

图3是示出规定机器人1的干预阶段的顺序的转换表T2的一例的图。图3所示的转换表T2中按机器人1对幼儿干预的程度升高的顺序登记有“任务执行”、“询问”、“模仿”、“待机”以及“脱离”这五个干预阶段。例如，转换判断部205按照登记于转换表T2的顺位分阶段地设定干预阶段，使机器人1对幼儿的干预程度升高或下降。此外，转换表T2事先存储于存储器208。

指令生成部207，在从干预执行部204接收了指令的输出委托的情况下，将输出委托所表示的指令向输出部300输出。

输出部300是按照来自指令生成部207的指令使机器人1实现与当前的干预阶段相对应的行为的构成要素，具备扬声器301和驱动部302。

扬声器301按照来自指令生成部207的指令将执行与当前的干预阶段相对应的行为时所需的语音数据变换成语音并向外部输出。

驱动部302例如由马达等致动器和通过致动器动作的机构部构成，按照来自指令生成部207的指令使机器人1实现与当前的干预阶段相对应的行为。作为机构部，包括使机器人1前进或后退的部件、使机器人1的姿势变化的部件、以及使显示机器人1的面部表情的显示部的朝向变化的部件等。作为致动器，包括对使机器人1前进或后退的部件进行驱动的马达、对使机器人1的姿势变化的部件进行驱动的马达、以及使显示部的朝向变化的马达等。

此外，在行为执行部200安装于与机器人1的主体部分不同的另外的终端或服务器的情况下，扬声器301和驱动部302经由有线或无线与安装了行为执行部200的终端或服务器连接即可。

(流程图)

接着，使用图4和图5对机器人1中的干预阶段的决定处理进行说明。

图4是示出干预阶段的决定处理的一例的流程图。图5是接着图4的流程图。

首先，处理器210，若语音识别部的电源被接通则机器人1起动(S101)。接着，初始干预阶段判断部203基于通过语音识别部201得到的语音识别数据和通过图像识别部202得到的图像识别数据，来检测传感器输入的有无(S102)。在此，初始干预阶段判断部203，在未由语音识别部201输出与幼儿有关的语音识别数据、且未由图像识别部202输出与幼儿有关的图像识别数据的情况下，判断为没有传感器输入，在与幼儿有关的语音识别数据和与幼儿有关的图像识别数据中的至少一方被输出了的情况下，判断为有传感器输入即可。

在S102中，在判断为有传感器输入的情况下(S102：“是”)，处理向S103前进，在判断为没有传感器输入的情况下(S102：“否”)，处理返回到S102。

在S103中，初始干预阶段判断部203参照存储器208所存储的初始干预阶段表T1来决定机器人1的初始干预阶段(S103)。在此，初始干预阶段判断部203将与条件的项目匹配的干预阶段决定为机器人1的初始干预阶段。

例如，在由语音识别部201语音识别到了幼儿的话语、且由图像识别部202识别到了幼儿的影像的情况下，将“任务执行”决定为初始干预阶段。另外，在未由语音识别部201语音识别到幼儿的话语、且由图像识别部202识别到了幼儿的影像的情况下，将“模仿”决定为初始干预阶段。

另外，在由语音识别部201语音识别到了幼儿的话语、且未由图像识别部202识别到幼儿的影像的情况下，将“询问”决定为初始干预阶段。

接着，参照图5，在S202中当前的干预阶段不是“脱离”的情况下(S202：“否”)，干预执行部204向指令生成部207输出用于执行与当前的干预阶段相对应的行为的指令的输出委托(S203)。在此，作为初始干预阶段存在“任务执行”、“询问”以及“模仿”这三个，因此，首先会执行与上述三个干预阶段中的任一个相对应的行为。

作为任务，例如，在执行猜谜游戏的情况下，处理器210向输出部300输出使扬声器301对幼儿输出“咱们来猜谜吧”这样的提议开始交流的语音的指令、以及从扬声器301输出朗读猜谜的问题的语音的指令即可。另外，处理器210，在朗读了猜谜的问题之后，在由语音识别部201从幼儿处语音识别到了回答的话语的情况下，将话语内容与猜谜的谜底进行对照，在正解的情况下，向输出部300输出使扬声器301输出表示是正解的语音的指令即可。

另外，在作为任务执行整理物品的情况下，处理器210在向输出部300输出了使扬声器301输出“整理一下房间吧”这一询问的语音的指令之后，从图像识别部202的识别结果来判断幼儿是否正在整理，在判断为正在整理的情况下，向输出部300输出使扬声器301输出表扬幼儿的行为的语音的指令即可。另一方面，处理器210在判断为幼儿没有整理房间的情况下，向输出部300输出使扬声器301对幼儿输出催促进行整理的语音的指令即可。

关于与“询问”的干预阶段对应的行为，机器人1对幼儿例如呼喊幼儿的名字等跟幼儿讲话的行为相符合。

关于与“模仿”的干预阶段对应的行为，机器人1进行与幼儿同步调的运动的行为即模仿幼儿的运动的行为相符合。在机器人1执行与“模仿”的干预阶段对应的行为的情况下，处理器210例如若根据图像识别部202的识别结果检测到幼儿正低头专注于某一操作则向输出部300输出使机器人1的上部以与幼儿的头部的倾斜相同的角度向相同的朝向倾斜的指令即可。在此，所谓相同的朝向，假定机器人1与幼儿相对面，例如若幼儿将头部向左倾斜则机器人1将上部向右方向倾斜、或者若幼儿将头部向右倾斜则机器人1将上部向左方向倾斜的情况相符合。

另外，处理器210例如在从图像识别部200的识别结果中检测到如跳舞那样幼儿正在进行配合预定节奏的动作的情况下，向输出部300输出使机器人1配合预定节奏跳舞的指令即可。

另一方面，在S202中当前的干预阶段为“脱离”的情况下(S202：“是”)，干预执行部204向指令生成部207输出使机器人1执行从对幼儿的干预脱离的脱离行为的指令的输出委托，使机器人1执行脱离行为(S207)并结束处理。

在此，所谓脱离行为是指机器人1脱离对幼儿的干预的行为。例如作为脱离行为，使机器人1向从幼儿离开了预定距离的位置移动、或使机器人1的朝向以重力方向为轴旋转180度而使机器人1的正面朝向与幼儿的面部相反的方向那样的、使机器人1与幼儿的交流停止的自主行为相符合。由此，能够防止在越没希望提高对机器人1的关注则幼儿的意识越差的状态下不必要地刺激幼儿导致幼儿对机器人1抱有厌恶感。

在S204中，干预执行部204，在当前的干预阶段为“任务执行”且该结束了的情况下(S204：“是”)，向指令生成部207输出使机器人1执行脱离行为的指令的输出委托，使机器人1执行脱离行为(S207)，并结束处理。由此，防止在任务的结束后机器人1还缠着幼儿导致幼儿对机器人1抱有厌恶感。

另一方面，在当前的干预阶段为“任务执行”且该任务没有结束的情况下(S204：“否”)、或者当前的干预阶段为“询问”、“模仿”、或“待机”的情况下(S204：“否”)，转换判断部205进行干预阶段的转换的判断处理(S205)。

此外，任务在按每种任务设定的结束条件被满足的情况下结束。

例如，在任务为回答幼儿的提问的任务的情况下，任务在机器人1回答了幼儿的提问之后，如果到经过一定时间为止都没有来自幼儿的提问，则结束。另外，如果任务是猜谜游戏，则在幼儿针对机器人1给出的猜谜回答了预定次数的情况下或从出题起到经过一定时间为止幼儿都没有说话的情况下结束。

接着，干预执行部204向指令生成部207输出用于使机器人1执行与通过S205的处理决定出的干预阶段相对应的行为的指令的输出委托(S206)。由此，由机器人1来执行与通过S205的处理决定出的干预阶段相对应的行为。此外，通过S205的处理决定出的干预阶段暂时存储于存储器208。

接着，对图5的S205所示的转换的判断处理进行说明。图6是示出图5的S205的详细处理的一例的流程图。

首先，转换判断部205在判断为没有幼儿的语音反应的情况下(S301：“否”)，确认是否处于禁止中断状态(S302)。图7是示出禁止中断条件被设定了的禁止中断条件表T3的一例的图。

在幼儿已经习惯了在预定的时间、在预定的场所进行若被机器人1干预则会很困惑那样的行为的情况下，若在预定的时间、在预定的场所机器人1对幼儿干预，则会扰乱幼儿的生活模式。例如，在幼儿已经习惯了在早晨的时间段在餐厅吃早饭的情况下，若在该早晨的时间段机器人1对幼儿干预，则会妨碍吃早饭。因此，在本实施方式中，设置了禁止中断条件，在设定了禁止中断条件的时间段和场所，使机器人1执行脱离行为，防止机器人1扰乱幼儿的生活模式。

禁止中断条件表T3是纵轴规定了时间段、横轴规定了场所的二维表。“时间段”字段中登记有将一天的时间段区分成多个而得到的时间段。在此，如从7点到9点、从9点到12点、…、从21点到7点这样，一天的时间段被区分成7个时间段。“场所”字段中登记有幼儿家的房间名。禁止中断条件表T3的各单元中登记有表示设定了禁止中断条件的数据“有”(ON)和表示没有设定禁止中断条件的数据“无”(OFF)。

例如，在从7点到9点的时间段中在餐厅的单元登记有“有”。因此，转换判断部205，当在该时间段检测到幼儿在餐厅的情况下，将干预阶段决定为“脱离”。这是因为：在该家庭中，例如在从7点到9点的时间段幼儿在餐厅吃早饭已成习惯，若机器人1对幼儿进行干预则会影响幼儿吃早饭。

另一方面，例如，在从7点到9点的时间段在餐厅以外的场所的单元登记有“无”。因此，转换判断部205，如果在该时间段幼儿也在餐厅以外的场所，则机器人1进行允许除了脱离行为以外的行为的通常动作。

此外，禁止中断条件例如基于用户对智能手机等便携终端输入的数据而事前设定。用户例如通过对便携终端说话来设定禁止中断条件即可。由此，在处于禁止中断状态的情况下，能够防止机器人1对幼儿干预。

参照回到图6。在S302中，转换判断部205参照禁止中断条件表T3，在判定为处于禁止中断状态的情况下(S302：“是”)，将干预阶段转换到“脱离”(S305)。另一方面，在判断为不处于禁止中断状态的情况下(S302：“否”)，处理向S303前进。在此，转换判断部205，从图像识别部202的识别结果中判定幼儿所在的房间，在与判定出的房间和当前时刻所属的时间段对应的单元登记有“有”的情况下，判定为处于禁止中断状态(S302：“是”)，在所述单元登记有“无”的情况下，判定为不处于禁止中断状态(S302：“否”)。

在S303中，转换判断部205判定从执行与当前的干预阶段对应的行为起的经过时间是否小于阈值。如果所述经过时间小于阈值(S303：“是”)，则转换判断部205维持当前的干预阶段(S307)。

另一方面，如果所述经过时间为阈值以上(S303：“否”)，转换判断部205参照转换表T2，使当前的干预阶段转换到下位一位的干预阶段(S308)。作为阈值，例如采用即便使机器人1执行与同一干预阶段对应的行为也没希望提高幼儿的关注的预先确定的时间，例如可以采用1分钟、2分钟、3分钟、5分钟、10分钟这样的值。

在图3中，例如当前的干预阶段为“模仿”，当在该状态下判断为干预阶段向下位一位转换的情况下，干预阶段被设定为“待机”。

此外，与“待机”的干预阶段对应的行为，使机器人1就地左右摆动的行为或使机器人1以重力方向为轴就地旋转(spin)的行为相符合。由此，能够在幼儿的关注低的状况下以比较少的刺激引起幼儿对机器人1的关注。

在S301中，转换判断部205在判断为有幼儿的语音反应的情况下(S301：“是”)，判断幼儿的话语内容是否命中拒绝用语辞典(S304)。图8是示出登记了拒绝用语辞典的辞典表T4的一例的图。辞典表T4中登记有如“走开”、“别说话”以及“好吵”等拒绝机器人1那样的用语。转换判断部205，在幼儿的话语内容中含有辞典表T4所登记的某一用语的情况下(S304：“是”)，判断为幼儿积极地拒绝机器人1的干预，使当前的干预阶段转换到“脱离”(S305)。

另一方面，在幼儿的话语内容中不含有辞典表T4所登记的任一用语的情况下(S304：“否”)，转换判断部205使当前的干预阶段转换到上位一位的干预阶段(S306)。参照图3，例如，在当前的干预阶段为“模仿”、且在该状态下判断为将干预阶段提高到上位一位的情况下，干预阶段转换到“询问”。

若S305、S306、S307、S308的处理结束，则处理返回到图5的S206，在干预阶段被转换了之后，处理向图5的S202前进，直到任务结束或执行脱离行为为止反复进行S202～S206的处理。

(机器人)

接着，对机器人1的机构进行说明。图9是示出机器人1的外观的一例的图。机器人1具备球带状的主壳体401和球冠部402、403，主壳体401和球冠部402、403作为整体而构成球体。即，机器人1具有球体形状。另外，机器人1在球冠部402(或球冠部403)具备麦克风101、摄像头102以及扬声器301。另外，机器人1具备省略图示的控制电路。图1所示的行为执行部200安装于该控制电路。

在图9的例子中，摄像头102由包括分别设置于球冠部402和球冠部403的2个摄像头的立体摄像头构成，取得周边环境的影像和距离数据。

球冠部402的中心和球冠部403的中心通过在主壳体401的内部设置的轴(省略图示)而固定连接。主壳体401旋转自如地安装于轴。另外，在轴安装有框架(省略图示)和显示部(省略图示)。在框架安装有使主壳体401旋转的第1马达(省略图示)。该第1马达(省略图示)旋转，从而主壳体401相对于球冠部402、403旋转，机器人1前进或后退。此外，在机器人1前进或后退的情况下，球冠部402、403处于停止状态，因此扬声器301和摄像头102维持为朝向机器人1的正面的状态。另外，在显示部显示表示机器人1的眼和口的图像。该显示部被安装成通过第2马达(省略图示)的动力自如调整相对于轴的角度。因此，通过调整显示部的相对于轴的角度，从而可调整机器人的眼和口的方向。此外，显示部相对于主壳体401独立地安装于轴，因此即使主壳体401旋转，显示部相对于轴的角度也不会变化。因此，机器人1能够在将眼和口的朝向固定了的状态下前进或后退。

并且，在轴悬挂有配重(省略图示)。该配重被安装成通过第3马达(省略图示)的动力而以机器人1的正面方向为轴地自如摆动。因此，通过使配重摆动，从而能够使机器人1就地以摆动的方式动作。另外，通过在从后方向前方观察配重使其向左方或右方倾斜了的状态下使机器人1前进，能够使机器人1向左方或右方旋转。另外，通过一点一点地反复进行在使配重向左方倾斜了的状态下使机器人1前进的动作和在使配重向右方倾斜的状态下使机器人1后退的动作，能够使机器人1以重力方向为轴进行旋转(就地旋转)。

此外，上述的主壳体401、第1马达、第2马达、第3马达以及显示部构成图1的驱动部302。

控制电路控制机器人1的各种动作。此外，机器人1整体上构成球体，但不限于此，具备至少具有移动机构的构成即可。

这样，在本实施方式中，通过分阶段地提高机器人1对幼儿的干预程度，能够分阶段地提高幼儿对机器人1的关注，并在幼儿的关注充分升高了的状态下对幼儿分配任务。因此，在本公开中，能够使机器人1对于具有注意力难以持续的心理特性的幼儿长时间干预。结果，能够使幼儿长时间应对任务，能够有效地提高幼儿的能力。

本公开可以采用下述的变形例。

(1)在上述实施方式中，示出了本公开的装置适用于机器人1的例子，但不限定于此，只要是机器人1以外的可移动的装置，可以是任意的装置。

(2)在上述实施方式中，作为干预阶段包括“脱离”和“待机”，但是也可以省略这些干预阶段。该情况下，机器人1会采取与“任务执行”、“询问”以及“模仿”这三个干预阶段中的任一方对应的行为。

(3)在图6的流程图中，设置有判定有无禁止中断状态的处理(S302)和判定有无命中拒绝用语辞典的处理(S304)，但这只是一例，也可以省略两个处理中的任一方或双方。

(4)图5的流程图以电源接通为触发而开始，但这只是一例，也可以是以产生了应分配给幼儿的任务为触发而开始。

Claims

1.一种装置，是通过执行预定行为与对象人物进行交流的装置，具备：

摄像头，其取得所述装置周边的影像；

麦克风，其取得所述装置周边的声音；

处理部；

扬声器；以及

驱动部，其驱动所述装置，

所述处理部，

根据所述取得的影像和所述取得的声音，使所述装置执行用于与所述对象人物进行交流的第1行为、第2行为以及第3行为中的任一行为来作为初始行为，所述第2行为是所述第3行为的上位一位的行为，所述第1行为是所述第2行为的上位一位的行为，

在执行包括所述初始行为的当前行为后存在通过所述麦克风取得的声音的情况下，使所述装置执行所述当前行为的上位一位的行为，

在执行所述当前行为后不存在通过所述麦克风取得的声音的情况下，判断从执行所述当前行为起的经过时间是否小于阈值，

在判断为所述经过时间小于所述阈值的情况下，使所述装置继续执行所述当前行为，

在判断为所述经过时间为所述阈值以上的情况下，使所述装置执行所述当前行为的下位一位的行为，

使所述装置执行预定任务来作为所述第1行为，

使所述扬声器输出对所述对象人物讲话的语音来作为所述第2行为，控制所述驱动部，使所述装置进行与所述对象人物的运动同步调的运动来作为所述第3行为。

2.根据权利要求1所述的装置，

所述第3行为的下位一位的行为是第4行为，

所述第4行为的下位一位的行为是第5行为，

所述处理部，

在执行所述当前行为后存在通过所述麦克风取得的声音并且所述取得的声音所包含的所述对象人物的语音中包含所述装置具备的辞典所包含的语句的情况下，使所述装置执行所述第5行为，

控制所述驱动部，使所述装置在所述装置的当前位置进行预定运动来作为所述第4行为，

使所述装置停止与所述对象人物的交流来作为所述第5行为。

3.根据权利要求1所述的装置，

所述处理部，在从所述取得的影像识别出所述对象人物并且从所述取得的声音识别出所述对象人物的语音的情况下，使所述装置执行所述第1行为来作为所述初始行为。

4.根据权利要求1所述的装置，

所述处理部，在从所述取得的影像没有识别出所述对象人物并且从所述取得的声音识别出所述对象人物的语音的情况下，使所述装置执行所述第2行为来作为所述初始行为。

5.根据权利要求1所述的装置，

所述处理部，在从所述取得的影像识别出所述对象人物并且从所述取得的声音没有识别出所述对象人物的语音的情况下，使所述装置执行所述第3行为来作为所述初始行为。

6.根据权利要求3所述的装置，

所述处理部，使所述扬声器输出建议开始与所述对象人物的交流的语音来作为所述第1行为。

7.根据权利要求5所述的装置，

所述处理部，

在从所述取得的影像识别出所述对象人物的头部的倾斜的情况下，

控制所述驱动部，使所述装置的上部以与所述头部的倾斜相同的方向和角度倾斜来作为所述第3行为。

8.根据权利要求5所述的装置，

所述处理部，

在从所述取得的影像识别出所述对象人物的配合预定节奏的动作的情况下，

控制所述驱动部，使所述装置配合所述节奏地运动来作为所述第3行为。

9.根据权利要求4所述的装置，

所述处理部，

使所述扬声器输出包含与所述对象人物对应的名字的语音来作为所述第2行为。

10.根据权利要求2所述的装置，

所述处理部，

使所述装置左右摆动来作为所述第4行为。

11.根据权利要求2所述的装置，

所述处理部，

使所述装置以重力方向为轴旋转来作为所述第4行为。

12.根据权利要求2所述的装置，

所述处理部，

使所述装置远离所述对象人物来作为所述第5行为。

13.根据权利要求2所述的装置，

所述处理部，

使所述装置以重力方向为轴旋转180度来作为所述第5行为。

14.根据权利要求2所述的装置，

所述处理部，

在执行所述当前行为后不存在通过所述麦克风取得的声音并且在所述装置设定有预定禁止中断条件的情况下，使所述装置执行所述第5行为，

所述预定禁止中断条件，

包括关于预定时间段的条件和关于所述对象人物的场所的条件。

15.一种方法，是通过执行预定行为来与对象人物进行交流的装置中的方法，该方法包括：

通过摄像头取得所述装置周边的影像；

通过麦克风取得所述装置周边的声音；

根据所述取得的影像和所述取得的声音，使所述装置执行用于与所述对象人物进行交流的第1行为、第2行为以及第3行为中的任一行为来作为初始行为，所述第2行为是所述第3行为的上位一位的行为，所述第1行为是所述第2行为的上位一位的行为；

在执行包括所述初始行为的当前行为后存在通过所述麦克风取得的声音的情况下，使所述装置执行所述当前行为的上位一位的行为；

在执行所述当前行为后不存在通过所述麦克风取得的声音的情况下，判断从执行所述当前行为起的经过时间是否小于阈值；

在判断为所述经过时间小于所述阈值的情况下，使所述装置继续执行所述当前行为；

在判断为所述经过时间为所述阈值以上的情况下，使所述装置执行所述当前行为的下位一位的行为；

使所述装置执行预定任务来作为所述第1行为；

使扬声器输出对所述对象人物讲话的语音来作为所述第2行为，控制驱动部，使所述装置进行与所述对象人物的运动同步调的运动来作为所述第3行为。

16.一种程序，是用于使计算机执行权利要求15所述的方法的程序。

17.一种机器人，是通过执行预定行为与对象人物进行交流的机器人，具备：

摄像头，其取得所述机器人周边的影像；

麦克风，其取得所述机器人周边的声音；

处理部；

扬声器；以及

驱动部，其驱动所述机器人，

所述处理部，

根据所述取得的影像和所述取得的声音，使所述机器人执行用于与所述对象人物进行交流的第1行为、第2行为以及第3行为中的任一行为来作为初始行为，所述第2行为是所述第3行为的上位一位的行为，所述第1行为是所述第2行为的上位一位的行为，

在执行包括所述初始行为的当前行为后存在通过所述麦克风取得的声音的情况下，使所述机器人执行所述当前行为的上位一位的行为，

在判断为所述经过时间小于所述阈值的情况下，使所述机器人继续执行所述当前行为，

在判断为所述经过时间为所述阈值以上的情况下，使所述机器人执行所述当前行为的下位一位的行为，

使所述机器人执行预定任务来作为所述第1行为，

使所述扬声器输出对所述对象人物讲话的语音来作为所述第2行为，控制所述驱动部，使所述机器人进行与所述对象人物的运动同步调的运动来作为所述第3行为。