CN115079688A - 控制装置、控制方法以及控制系统 - Google Patents

Abstract

本发明提供一种控制装置、控制方法以及控制系统。本发明提供对来访者进行适当待客的向导机器人。控制能够在设施内自行的机器人的控制装置具备：来访者确定机构，其确定设施内的来访者的位置；机器人确定机构，其确定机器人的位置；指示机构，其指示位于来访者附近的预定的范围的机器人拍摄来访者的图像；推断机构，其基于机器人拍摄到的图像，推断来访者的情绪；以及控制机构，其根据来访者的情绪，控制机器人是留在预定的范围内、还是向预定的范围外移动。

Description

控制装置、控制方法以及控制系统

技术领域

本发明涉及能够自行的机器人的控制装置、控制方法以及控制系统。

背景技术

目前为止，提出了与使用了向导机器人的机器人控制系统有关的各种各样的技术(专利文献1)。在专利文献1所述的机器人控制系统中，向导机器人(交流机器人)对来访者例如，听取需求或者对展示会场进行向导。

现有技术文献

专利文献

专利文献1：专利第6142306号公报

发明内容

发明所需解决的问题

在此，在为了接受预定的商品的购入和服务的提供、来访者需要在设施内等待这样的设施中，有时来访者会在设施内打发时间。因此，作为设施侧，期待对来访者进行适当待客，并期望一种设施侧使用有限的向导机器人而对来访者能够实现适当待客的技术。

用于解决问题的方法

本发明的目的在于，提供对来访者进行适当待客的向导机器人。

根据本发明的一种方式，

提供一种控制装置，该控制装置控制在设施内能够自行的机器人，其特征在于，

所述控制装置具备：

来访者确定机构，其确定设施内的来访者的位置；

机器人确定机构，其确定所述机器人的位置；

指示机构，其指示位于所述来访者附近的预定的范围的所述机器人拍摄所述来访者的图像；

推断机构，其基于所述机器人拍摄到的图像，推断所述来访者的情绪；以及

控制机构，其根据所述来访者的所述情绪，控制所述机器人是留在所述预定的范围内、还是向所述预定的范围外移动。

另外，根据本发明的一种方式，

提供一种控制方法，该控制方法由控制在设施内能够自行的机器人的控制装置执行，其特征在于，

所述控制方法包括：

来访者确定步骤，在该来访者确定步骤中，确定设施内的来访者的位置；

机器人确定步骤，在该机器人确定步骤中，确定所述机器人的位置；

指示步骤，在该指示步骤中，指示位于所述来访者附近的预定的范围的所述机器人拍摄所述来访者的图像；

推断步骤，在该推断步骤中，基于所述机器人拍摄到的图像，推断所述来访者的情绪；以及

控制步骤，在该控制步骤中，根据所述来访者的所述情绪，控制所述机器人是留在所述预定的范围内、还是向所述预定的范围外移动。

根据本发明，能够提供对来访者进行适当待客的向导机器人。

附图说明

图1是本实施方式所涉及的机器人管理系统的概要构成图。

图2是示意性地表示图1的向导机器人的立体图。

图3是表示图1的机器人管理系统的构成的框图。

图4是表示图3的控制服务器的构成的框图。

图5是表示控制服务器执行的机器人派遣处理的一个例子的流程图。

图6是表示图5的来访者确定处理的一个例子的流程图。

图7是表示用于推断来访者的状态的表格的一个例子的图。

图8是表示来访者与设施人员的位置关系的图。

图9是表示控制服务器执行的机器人派遣处理的一个例子的流程图。

附图标记说明：

1：展示厅；3：向导机器人；4：控制服务器；11：拍摄装置；306：模拟眼睛；305：显示部。

具体实施方式

以下，参照附图，对实施方式进行详细说明。需要说明的是，以下的实施方式不限定技术方案所涉及的发明，另外，在实施方式中说明的特征组合的全部并非是发明所必需的。可以对在实施方式中说明的多个特征中的两个以上的特征进行任意组合。另外，对相同或者同样的构成标注相同的参照编号，并省略重复的说明。

以下，参照图1～图9，对本实施方式所涉及的机器人管理装置进行说明。本实施方式所涉及的机器人管理装置基于设置在店铺等设施内的拍摄部拍摄的设施内图像，判断是否需要向检测到的人物派遣向导机器人。例如，在检测到的人物是来访者等客人，并且设施人员、店铺工作人员、向导机器人等不在检测到的客人周边而判断为需要接待客人的的情况下，向该客人身边派遣向导机器人。

如此，向需要接待的客人派遣向导机器人并进行交流，因此能够避免客人判断为未被设施人员注意到而感到压力或者打发时间的情况。

作为如上述那样的使用向导机器人的设施，例如，可列举零售销售各种商品的销售店、美术馆、博物馆、画廊以及展厅等美术相关设施、科技馆、纪念馆、展览会、研讨会等。作为零售销售各种商品的销售店，例如，可列举百货商场、超市、专卖店等。作为专卖店，可列举各种专卖店、机动车销售店等。另外，在机动车销售店中，除了提供机动车的销售以外，还提供机动车的维护、租赁等各种各样的服务。在以下的实施方式中，对如下例子进行说明：通过控制服务器构成机器人管理装置，并将该控制服务器设置于机动车销售店，向来访机动车销售店的展示厅的来访者身边，派遣配置于该展示厅的向导机器人。

图1是机器人管理系统100的概要构成图，该机器人管理系统100使用了构成本发明的实施方式所涉及的机器人管理装置的控制服务器4。如图1所示，在使用了本实施方式所涉及的服务器装置(控制服务器)4的机器人管理系统100中，在对展示车辆2进行展示的机动车销售店的展示厅1中配置能够自行的向导机器人3。然后，根据设置于展示厅1的天花板10的多个拍摄装置11分别拍摄的展示厅内图像，确定到访展示厅1的来访者。例如，基于在展示厅内图像上映现的来访者各自的脸图像，确定各来访者与展示厅工作人员(设施人员)。另外，例如，基于在展示厅内图像上映现的的多个来访者各自的脸图像，确定各来访者与展示厅工作人员。

进一步，根据展示厅图像，判断来访者附近是否有展示厅工作人员，并进行控制，使向导机器人向附近不存在设施人员的来访者身边移动。

例如，如图1所示，在三位来访者A、B、C来访了存在设施人员(工作人员)D、E的展示厅1的情况下，服务器装置4根据多个拍摄装置11拍摄到的展示厅内图像，确定三位来访者A、B、C与工作人员D、E。例如，服务器装置4可以将穿着像制服一样的特定的服装的人物判断为工作人员，将除此以外的人物判断为来访者。然后，假设为，工作人员D接待来访者A，工作人员E接待来访者B，但没有任何工作人员接待来访者C。

在此，针对向导机器人3，一边参照图2一边进行说明。图2是示意性地表示构成图1所示的机器人管理系统100的向导机器人3的立体图。如图2所示，向导机器人3形成为直立的大致葫芦型，以缩窄部302为中心，上方构成头部301，下方构成躯体部303。向导机器人3形成为头部301仅比躯体部303大了大致两头身，作为整体而成为可爱、温和的形状。在本实施方式中，向导机器人3具有110cm左右的身高。

另外，向导机器人3构成为无手脚而是通过设置于躯体部303的下端的行驶装置304，在前后左右以及倾斜方向等360度任何方向移动自如。需要说明的是，针对行驶装置304的具体的构成，在此省略其说明。如此，向导机器人3通过具有头部301比躯体部303略大且无手脚的形状，例如，成为孩子容易拥抱、容易实现与孩子交流的形状。另外，向导机器人3使行驶装置304能够一边在前后方向以及左右方向摆动一边进行动作，因此来访者容易察觉接近等，并且向导机器人3能够作出便于与来访者交流的动作等。

在向导机器人3的头部301，设置有在水平方向较长的大致椭圆形状的脸部305，脸部305构成为能够显示向导机器人3的表情、简单的文字图像等。在本实施方式中，在向导机器人3的脸部305显示有表现眼睛的一对模拟眼睛306，构成为通过一对模拟眼睛306能够显示各种各样的表情。例如，通过变化一对模拟眼睛306，306的形状，能够表现喜怒哀乐等表情。在本实施方式中，还显示有表现嘴巴的模拟嘴巴307，通过变化一对模拟眼睛306以及模拟嘴巴307的形状，使得容易区分表情的变化。

另外，向导机器人3构成为在脸部305中能够移动一对模拟眼睛306的位置。向导机器人3通过在脸部305内改变一对模拟眼睛306的位置来表现移动视线的动作。向导机器人3在来访者面前改变一对模拟眼睛306的位置来表现移动视线的动作，由此引导来访者的视线。此时，通过使向导机器人3与视线的移动联动并进行旋转动作等，更容易引导来访者的视线。

向来访者身边派遣如上述那样形成的向导机器人3，询问来访的需求、或者询问为来访者提供的饮料的要求、或者询问要求哪位设施人员的接待，从而进行简单的向导。另外，通过获取来访者的图像并判断为是在过去来访过的来访者，设施人员能够掌握在过去销售的商品、提供的服务的信息，并提高设施人员的接待的质量。为了良好地实现提供如这样的机动车销售店的机器人派遣向导服务，在本实施方式中，构成使用了如以下这样的服务器装置4的机器人管理系统100。

图3是表示图1所示的机器人管理系统100的主要部位构成的框图，图4是表示图3所示的服务器装置4的主要部位构成的框图。如图1所示，本实施方式所涉及的机器人管理系统100具备：设置于机动车销售店的展示厅1的天花板10的拍摄装置11、配置在展示厅1内的能够自行的向导机器人3、机动车销售店具有的服务器装置4。

如图3所示，拍摄装置11、向导机器人3以及服务器装置4，与无线通信网、互联网、电话线路网等通信网络5连接。图3为了方便只示出了一个拍摄装置11，但如图1所示，实际上存在多个拍摄装置11。同样地，图3只示出了一个向导机器人3，但也能够配置多个向导机器人3。

如图3所示，拍摄装置11具有：通信部111、拍摄部112、传感器部113、存储部114、控制部115。通信部111构成为经由通信网络5而与服务器装置4以及向导机器人3能够进行无线通信。拍摄部112是具有CCD、CMOS等拍摄元件的相机，构成为能够拍摄到访了展示厅1的来访者。传感器部113是运动体感测传感器、人体感应传感器等传感器，构成为能够检测到访了展示厅1的来访者的展示厅内的位置、活动。在展示厅1的天花板10上配置多个拍摄部112以及传感器部113，使得无论到访展示厅1的来访者在展示厅1内的任何位置，也能够对来访者进行拍摄以及感测。

存储部114具有未图示的易失性或者非易失性存储器。存储部114存储控制部115执行的各种程序、数据等。例如存储部114暂时存储拍摄部112拍摄到的展示厅内图像以及传感器部113检测到的来访者的位置信息。

控制部115具有CPU，并基于经由通信部111而从拍摄装置11的外部接收到的信号以及存储于存储部114的各种程序等，执行预定的处理，通信部111向拍摄部112、传感器部113以及存储部114输出预定的控制信号。

例如，控制部115以预定的周期，向服务器装置4发送通过拍摄部112拍摄到的图像以及通过传感器部113检测到的来访者、设施人员等人物的位置。或者，根据来自服务器装置4的拍摄指示，通过拍摄部112拍摄图像，并通过传感器部113检测来访者的位置，向服务器装置4发送图像以及位置信息。由此，服务器装置4能够获取展示厅1内的图像(展示厅内图像)。服务器装置4通过解析展示厅内图像，能够识别获取到的图像所包含的来访者、设施人员。

如图3所示，向导机器人3作为功能性构成，具有通信部31、输入部32、输出部33、拍摄部34、行驶部35、传感器部36、存储部37以及控制部38。通信部31构成为经由通信网络5而与服务器装置4以及拍摄装置11能够进行无线通信。输入部32具有在维护等时候能够操作的各种开关按钮(未图示)、以及能够输入来访者等的语音的麦克风(未图示)等。

输出部33具有能够输出语音的扬声器(未图示)与能够显示图像的显示部331。显示部331构成向导机器人3的上述的脸部305，并在显示部331显示上述的一对模拟眼睛306与文字图像等。显示部331可以构成为能够显示一对模拟眼睛306与文字图像等，例如，由液晶面板、投影仪以及屏幕等构成。

拍摄部34是具有CCD、CMOS等拍摄元件的相机，构成为能够拍摄到访了展示厅1的来访者。拍摄部34例如，设置在向导机器人3的头部301。通过在头部301设置拍摄部34，容易拍摄来访者的脸。另外，从拍摄来访者的脸的观点看，优选为将拍摄部34设置在向导机器人3的一对模拟眼睛306附近。

行驶部35由使向导机器人3自行的上述的行驶装置304构成。行驶部35构成为具有蓄电池以及马达，并通过蓄电池的电力来驱动马达而行驶。行驶部35能够使用公知的电动技术而构成。传感器部36具有各种传感器，如行驶速度传感器、加速度传感器以及陀螺仪传感器等检测向导机器人3的行驶以及停下状态的传感器；障碍物传感器、人体感应传感器以及运动体传感器等检测向导机器人3的周围状态的传感器等。

存储部37具有未图示的易失性或者非易失性存储器。存储部37存储控制部38执行的各种程序与数据等。另外，存储部37暂时存储与来访者的待客内容有关的数据等。例如，暂时存储向导机器人3询问出的来访者的需求、向导机器人3进行的对来访者的说明等。

作为存储器负责的功能性构成一个例子，存储部37存储展示厅数据库371与交流用数据库372。展示厅数据库371存储例如，与配置在展示厅1内的展示车辆2、表格等配置对应的数据。在向导机器人3在展示厅内移动时，参照展示厅数据库371。交流用数据库372存储与向导机器人3试图与来访者交流时的语音识别处理、语音输出处理对应的数据等。在向导机器人3试图与来访者交流时，参照交流用数据库372。

控制部38具有CPU，并基于经由通信部31而从向导机器人3的外部接收到的信号、经由输入部32而输入的信号、由传感器部36检测到的信号、存储于存储部37的各种程序与数据等，执行预定的处理，并向通信部31、输出部33、拍摄部34、行驶部35以及存储部37输出预定的控制信号。

例如，控制部38基于经由通信部31而从服务器装置4接收到的信号以及传感器部36检测的信号，向行驶部35以及存储部37输出控制信号。通过控制部38中的该处理，向来访者身边派遣向导机器人3。另外，例如，控制部38基于经由通信部31而从服务器装置4接收到的信号，向拍摄部34以及通信部31输出控制信号。通过控制部38中的该处理，拍摄来访者的脸，并向服务器装置4发送拍摄到的脸图像。

另外，例如，控制部38基于经由通信部111而从服务器装置4接收到的信号，向输出部33(显示部331)输出控制信号。通过控制部38中的该处理，改变向导机器人3的表情，或者变化一对模拟眼睛306的视线。另外，例如，控制部38基于经由输入部32而输入的信号，向输出部33以及存储部37输出控制信号。通过控制部38中的该处理，向导机器人3将能够实现与来访者交流。

如图4所示，服务器装置4具有通信部41、输入部42、输出部43、存储部44以及控制部45。服务器装置4能够在云上利用虚拟服务器功能构成，也能够分散各功能构成。

通信部41构成为经由通信网络5，与拍摄装置11以及向导机器人3能够进行无线通信(参照图3)。输入部42具有触摸面板、键盘等用户能够操作的各种开关、以及能够输入语音的麦克风等。需要说明的是，在此所说的用户是指，在本实施方式中，机动车销售店的店员(设施人员)。输出部43具有例如，能够显示文字、图像的监视器、能够输出语音的扬声器等。

存储部44具有未图示的易失性或者非易失性存储器。存储部44存储控制部45执行的各种程序与各种数据等。存储部44作为存储器负责的功能性构成，具有向导机器人数据库(DB)441、展示厅DB442、来访者DB443、以及设施人员DB444。

向导机器人DB441存储与向导机器人3有关的基本信息以及维护信息等，例如，用于机器人派遣向导服务的向导机器人3的机器人ID等。展示厅DB442存储与配置在展示厅1内的展示车辆2、表格等配置对应的数据。需要说明的是，展示厅数据库442具有与向导机器人3具有的存储部37存储的展示厅数据库371同样的构成，可以是具有任一种的构成。另外，展示厅DB442存储配置在展示厅1内的拍摄装置11的位置、姿态。

来访者DB443存储来访展示厅1的来访者的来访者信息。作为来访者信息，除了包括来访者的住所、姓名、年龄、职业、性别等来访者的基本信息以外，还包括来访者的脸图像以及来访历史等。在来访历史中，除了包括来访时的商谈内容以外，还包括商谈前的闲谈等。

另外，来访者DB443可以储存表示来访展示厅1的来访者的来访中标记、表示在展示厅1内的滞留时间的信息。在一个例子中，通过接受等，来访者或者设施人员经由向导机器人3或者外部装置，针对来访者进行与需求有关的信息的输入，由此能够获取表示在展示厅1内的滞留时间的信息。另外，在来访者构成团体而来访的情况下，来访者DB443可以与来访者团队相关联而存储来访者。例如，在来访者以家庭团队来访的情况下，能够将该来访者与该家庭团队相关联而进行存储，在来访者以友人团队来访的情况下，能够将该来访者与友人团队相关联而进行存储。如此，来访者有时会属于多个团队，在来访者DB443中可以形成来访者地图。

控制部45具有CPU等处理器，并基于经由输入部42而接收到的信号、经由通信部41而从服务器装置4的外部接收到的信号、以及存储于存储部44的各种程序与各种数据等，执行预定的处理，并向通信部41、输出部43、以及存储部44输出控制信号。

如图4所示，控制部45作为处理器负责的功能性构成，具有设施内图像获取部451、机器人图像获取部452、机器人视线指示部453、来访者确定部454、设施人员确定部455、状态推断部456、机器人移动指示部457。

设施内图像获取部451获取由设置在展示厅1内的多个拍摄装置11拍摄的展示厅内图像。具体地说，设施内图像获取部451经由通信部41而输入由多个拍摄装置11拍摄到的展示厅1的内部(对展示车辆2进行展示的空间)的图像(包括静止画面以及视频)数据。在本实施方式中，设施内图像获取部451使多个拍摄装置11拍摄展示厅内图像，并获取拍摄到的展示厅内图像。具体地说，设施内图像获取部451经由通信部41而输入使多个拍摄装置11拍摄展示厅1的控制信号，并经由通信部41而输入多个拍摄装置11拍摄到的展示厅内图像数据。

机器人图像获取部452获取包括配置在展示厅1的向导机器人3拍摄到的来访者的脸图像在内的图像。具体地说，机器人图像获取部452经由通信部41而输入包括向导机器人3拍摄到的来访者的脸图像在内的图像(包括静止画面以及视频)数据。在本实施方式中，机器人图像获取部452使向导机器人3拍摄来访者的脸，并获取包括拍摄到的脸图像在内的图像。具体地说，机器人图像获取部452经由通信部41而输出使向导机器人3拍摄来访者的脸的控制信号，并经由通信部41而输入包括向导机器人3拍摄到的来访者的脸图像在内的图像数据。

机器人视线指示部453指示向导机器人3的一对模拟眼睛306的视线方向。具体地说，机器人视线指示部453经由通信部41而向向导机器人3输出指示向导机器人3的一对模拟眼睛306的位置以及活动的控制信号。

当经由通信部31输入该控制信号时，向导机器人3基于所输入的该控制信号控制显示部331，使一对模拟眼睛306的位置变化。即，移动视线。当向导机器人3移动视线时，来访者被向导机器人3的视线吸引，看向向导机器人3的视线方向。如此，向导机器人3通过移动视线，能够引导来访者的视线而促使来访者的位置或者姿态的变化。例如，通过将向导机器人3的视线朝向拍摄装置11，能够将来访者的视线朝向拍摄装置11。然后，当来访者看向拍摄装置11时，能够通过拍摄装置11拍摄来访者的脸。

来访者确定部454根据设施内图像获取部451获取到的展示厅内图像，确定来访展示厅1的来访者。例如，来访者确定部454从展示厅内图像中提取人物，并从提取到的人物中进一步提取(识别)脸图像。然后，从存储于来访者数据库443的来访者数据中，对具有与提取到的脸图像一致的脸图像的来访者数据进行检索，并确定来访者。在没有具有与提取到的脸图像一致的脸图像的来访者数据的情况下，作为新来访者，将其存储于来访者数据库443。

另外，在从展示厅内图像中提取到的人物中，无法从中提取(识别)脸图像，并判断为不能够确定来访者的情况下，来访者确定部454向机器人移动指示部457输出控制信号。当输入该控制信号时，机器人移动指示部457对向导机器人3指示移动，使向导机器人3被派遣至该人物身边。然后，机器人图像获取部452使向导机器人3拍摄该人物的脸。经由通信部41，向机器人图像获取部452输入包括向导机器人3拍摄到的上述人物的脸图像在内的图像，来访者确定部454使用输入至机器人图像获取部452的上述人物的脸图像，通过与上述同样的方法确定来访者。

另外，来访者确定部454确定从展示厅内图像中提取到的人物的位置。例如，控制服务器4可以事先存储配置在展示厅DB442、设施内的拍摄装置11的位置与拍摄范围，并基于展示厅内图像、拍摄到该图像的拍摄装置11的位置、拍摄范围，确定来访者的位置。或者，可以基于根据拍摄装置11的传感器部113获取到的传感器信息来检测人物，并基于根据拍摄装置11的拍摄部112获取到的展示厅内图像，判断检测到的人物是否为来访者。

设施人员确定部455例如，通过对根据拍摄装置11获取到的展示厅内图像进行图像识别处理，检测在展示厅内图像上映现了设施人员。例如，控制服务器4可以基于储存于设施人员DB444的设施人员的脸图像，判断展示厅内图像上映现的人物是哪位设施人员。或者，设施人员确定部455可以基于设施人员的制服、饰品等预定的标志，判断在展示厅内图像上映现的人物是否为设施人员。需要说明的是，设施人员确定部455可以与来访者确定部454同样基于根据传感器部113获取到的传感器信息来检测人物，并基于根据拍摄部112获取到的展示厅内图像，判断检测到的人物是否为设施人员。

另外，在设施人员具有发送器的情况下，设施人员确定部455可以根据设置在设施内的多个接收器(未图示)，获取发送器的位置信息或者从发送器发送的基准信号的信号强度，由此确定设施人员的位置。

状态推断部456推断包括通过来访者确定部454确定的来访者的情绪在内的来访者的状态。例如，基于根据拍摄装置11以及向导机器人3中的至少一个获取到的来访者的脸图像，推断来访者正在笑、正在生气等情绪。另外，状态推断部456基于来访者的动态图像，检测来访者正在环顾四周、或者正在作出抖腿等姿势，推断为不安、生气等需要接待的状态。另外，状态推断部456检测来访者所持的饮料的剩余量变少，并推断为口渴，即需要添加饮料。

能够基于来访者的行为、举动等推断各来访者的情绪。例如，根据从展示厅内图像中提取到的来访者的脸图像、来访者的动作等，推断来访者的情绪。例如，在来访者露出生气的脸的情况下，在环顾周围、或者抖腿等焦躁不安的情况下等，推断为心情差。另一方面，在来访者露出看起来高兴的脸的情况下，在来访者正在互相交谈的情况下等，推断为心情好。

基于通过来访者确定部454以及设施人员确定部455确定的来访者与设施人员的位置关系，机器人移动指示部457对向导机器人3指示移动，使向导机器人3被派遣至来访者身边。具体地说，机器人移动指示部457经由通信部41，向向导机器人3发送包括与向导机器人3应该移动的移动路径有关的信息在内的控制信息。与移动路径有关的信息可以包括与向导机器人3的目的地有关的信息，以及与直行、30度右转等向导机器人3的动作有关的信息。

此时，机器人移动指示部457在通过控制服务器4指示的移动路径上移动时，当收到指示为留在该场地时，暂停移动路径上的移动而留在该场地。由此，向心情差等需要接待的来访者附近移动向导机器人3，与来访者进行交流，能够防止来访者的情绪进一步恶化。

进一步，在来访者确定部454基于展示厅内图像而判断为不能够确定来访者的情况下，机器人移动指示部457对向导机器人3指示移动，使向导机器人3被派遣至判断为不能够确定的来访者身边。例如，当输入从来访者确定部454输出的不能够确定来访者的控制信号时，机器人移动指示部457对向导机器人3指示移动，使向导机器人3被派遣至通过来访者确定部454而从展示厅内图像中提取到的人物附近。由此，能够采集不能够确定的来访者的图像，并能够基于新获取到的图像而确定来访者，或者能够采集首次来访的来访者的图像数据。在该情况下，机器人移动指示部457对向导机器人3指示如下动作：通过由设施内图像获取部451获取的展示厅内图像，判断为不能够确定的来访者变为能够确定，促使这样的该来访者的位置或者姿态的变化。例如，机器人移动指示部457指示向导机器人3移动，使判断为不能够确定的来访者变为朝向拍摄装置11的一方的位置或者姿态。

另外，机器人视线指示部453通过指示向导机器人3的一对模拟眼睛306的视线方向，能够引导该来访者的视线而促使该来访者的位置或者姿态的变化。例如，通过进行使一对模拟眼睛306的视线方向向拍摄装置11的一方移动的动作，优选为将来访者的视线引导至拍摄装置11的一方。此时，例如，机器人移动指示部457通过使向导机器人3进行与视线移动联动的旋转动作等，将容易引导视线。

另外，通过机器人视线指示部453控制为使向导机器人3的一对模拟眼睛306朝向通过拍摄部34检测到的来访者的脸的方向，能够使来访者感到与向导机器人3目光交汇。由此，在来访者与向导机器人3的交谈中等情况下，即使来访者的脸移动，也能够追随向导机器人3的模拟眼睛306，来访者能够感到向导机器人3正在倾听来访者的话语而安心。

＜第一实施例＞

图5是表示通过图3的服务器装置4的控制部45执行的向导机器人派遣处理的一个例子的流程图。图6是表示通过图3服务器装置4的控制部45执行的来访者确定处理的一个例子的流程图。图7是表示如下表格的一个例子的图：在确定来访者的状态的处理中，对使用的用户状态与接待的必要性进行表示的点数，与该点数相关联的表格。图8是表示来访者与设施人员的位置关系的一个例子的图。图5所示的处理，例如，当展示厅1开门时处理开始，并以预定的时间间隔执行直到关门。

如图5所示，首先，在步骤S1(称为S1。后续的处理步骤也同样)中，通过设施内图像获取部451向设置在展示厅1的多个拍摄装置11发送拍摄指示，拍摄展示厅内的图像并根据拍摄装置11获取展示厅内图像。在该情况下，一同获取展示厅图像与拍摄到该图像的拍摄装置11的标识符。

接着，在S2中确定设施人员的位置。例如，在S2中，通过计算在S1中获取到的展示厅内图像上映现的人物的脸图像与储存于设施人员DB444的设施人员的脸图像的相似度，能够判断哪张图像上映现了设施人员。或者，通过对在展示厅内图像上映现的人物的图像与服装、首饰等设施人员所持的标志的图像进行比较，能够判断哪张图像上映现了设施人员。另外，基于拍摄到映现了设施人员的图像的拍摄装置11、其位置以及朝向，判断设施人员的位置。需要说明的是，如上述那样，在设施人员具有发送器的情况下，可以不使用通过拍摄装置11获取到的图像而判断设施人员的位置。

需要说明的是，在S2中基于展示厅内图像确定设施人员的位置的情况下，设施人员确定部455可以确定设施人员的脸的朝向。由此，能够确定设施人员正在接待哪位来访者。

接下来，在S3中，服务器装置4基于在S1中获取到的展示厅内图像确定来访者的位置。例如，在S3中，通过对在S1中获取到的展示厅内图像上映现的人物的脸图像与储存于来访者DB443的来访者的脸图像进行比较，能够判断哪张图像上映现了设施人员。

在S3中，如图6所示，首先，在S31中，通过来访者确定部454中的处理，根据在S1中获取到的展示厅内图像而提取存在于设施的人物。在此，确定与提取到人物的展示厅内图像对应的拍摄装置11。接着，在S32中，控制服务器4根据来访者DB443，获取来访者的脸图像。在一个例子中，在S32中，可以获取来访者的性别、年龄等个人资料。即，在S32中，获取能够确定的来访者的来访者信息。接着，在S33中，根据在S32中获取到的来访者信息与在S31中获取到的展示厅内图像，确定哪位来访者在哪个位置。例如，根据拍摄到检测到人物的展示厅内图像的拍摄装置11与其姿态，能够确定人物在哪个位置。另外，通过图像处理，计算展示厅内图像的人物的脸图像与来访者信息所包含的脸图像的相似度，由此能够判断最高相似度的脸图像的来访者是否存在于展示厅。

需要说明的是，在无法从展示厅内图像中提取人物的脸的图像的情况下，可以仅确定来访者的位置，指示向导机器人3向该位置移动，根据向导机器人3的拍摄部34获取来访者的脸图像，基于从该向导机器人3接收到的脸图像确定来访者。

另外，在S3中，来访者确定部454也可以对确定的来访者的脸的朝向进行确定。由此，能够获取来访者正在注视的方向。

需要说明的是，在服务器装置4通过接受等而识别到确定的来访者在设施内的情况下，可以预先提取识别为在设施内的来访者的脸图像，并对拍摄装置11获取到的图像与提取到的来访者的脸图像进行比较。由此，能够快速进行来访者的确定。

接下来，在S4中，服务器装置4根据在S2中确定的设施人员与来访者的位置关系，确定设施人员未接待的来访者，并将该来访者作为移动目的地而决定移动向导机器人。在此，参照图8所示的设施人员与来访者的位置关系的一个例子，对确定设施人员未接待的来访者的处理进行说明。

在图8中，6位来访者801、802、803、804、805以及806，设施人员811、812以及813，向导机器人821、822存在于设施内。

在此，设施人员811正在与来访者801以及802交谈，设施人员812正在与来访者803交谈，设施人员813正在与来访者804交谈，向导机器人821正在对来访者805进行向导。

在该情况下，设施人员811～813以及向导机器人821中的任一者位于通过各点线表示的来访者801～805的预定的范围内。如此，通过确定来访者、设施人员、以及向导机器人的位置，能够检测任何设施人员以及任何向导机器人都没有对来访者806进行接待。因此，控制服务器4能够决定向来访者806派遣向导机器人822。需要说明的是，预定的范围可以是以来访者为中心的半径3m等圆形，也可以在来访者的视线上，还可以是距来访者5m以下的距离，能够针对系统任意设定。

需要说明的是，在附近不存在设施人员而存在多位来访者的情况下，向导机器人3可以在多个来访者附近按顺序移动。由此，通过1台向导机器人3能够接待多个来访者。在这样的情况下，控制服务器4可以进行指示，使向导机器人3向靠近向导机器人3的位置的来访者移动。或者，为了为各个来访者提供商品或者服务，在能够获取必要的剩余所需时间、来访者来访设施后的滞留时间等来访者的等待时间的情况下，可以按等待时间的长度顺序发送控制信号，使向导机器人3向控制服务器4的来访者DB443移动。由此，向导机器人3能够优先接待滞留时间更长的来访者、预计之后将长时间等待的来访者，能够避免来访者因滞留时间过长而感到不快的情况。

接下来，在S5中，机器人移动指示部457向向导机器人822发送控制信号，使向导机器人822向来访者附近的预定的范围内移动。在一个例子中，控制信号包括向导机器人的移动目的地，即应该接待的来访者的位置信息。在另一个例子中，控制信号包括的信息是，包括成为来访者附近的预定的范围的区间在内的向导机器人822的移动路径信息。

需要说明的是，向导机器人3无需在来访者附近停下，控制服务器4也可以在向导机器人3通过来访者附近时，进行以下的S6～S9的处理。由此，能够避免因向导机器人3在来访者附近停下而给来访者带来压迫感。

需要说明的是，在S5中，控制服务器4可以进行指示，以使以预定的时间间隔通过向导机器人的拍摄部34拍摄图像并向控制服务器4发送。由此，即使向导机器人3移动中，也能够在S7之后进行后述的来访者情绪的推断。

接下来，在S6中，控制服务器4判断向导机器人3是否预定的轻易地移动至来访者附近。例如，在S6的处理期间，控制服务器4继续获取向导机器人3在展示厅内的位置，通过计算到在S3中确定的来访者位置为止的距离，能够判断是否移动至来访者附近。作为来访者附近的预定的范围，例如，可以是距来访者3m以内等预定的范围，也可以是距来访者5m以内，且通过拍摄部34能够拍摄来访者脸的范围。

在判断为向导机器人3移动至来访者附近的情况(在S6中为“是”)下，控制服务器4使处理进入到S7，并使向导机器人3的拍摄部34拍摄，获取来访者的图像。由此，即使在根据拍摄装置11获取到的展示厅内图像中无法识别来访者的情况下，也能够从更近的距离获取映现了来访者的图像，因此能够提高控制服务器4的来访者的识别精度。

接下来，控制服务器4使处理进入到S8，基于通过向导机器人822获取到的图像，推断来访者的状态。在S8中获取的图像可以是静止图像，也可以是动态图像。

例如，在S8中，可以基于来访者的皱眉、笑脸等表情来推断来访者的状态，也可以基于抱着胳膊、抖腿等预定的姿势来推断来访者的状态。由此，控制服务器4能够判断为需要通过向导机器人822或者设施人员尽快接待，并能够在来访者感到不快前机敏地进行服务提供。

另外，例如，在S8中，控制服务器4可以确定为来访者提供的餐饮物的剩余量。例如，在机动车销售店等中，在设施人员接待之前的期间、在等待车辆检修等服务提供的期间，有时会为来访者提供饮料、零食等茶点。在这样的情况下，来访者喝完饮料后，会感到还想要添加饮料。因此，控制服务器4基于根据向导机器人3获取到的图像，确定来访者的饮料的剩余量，由此能够判断是否需要为来访者添加提供饮料。

接下来，控制服务器4使处理进入到S9，判断是否需要使向导机器人3对来访者进行接待。

例如，在S8中，判断确定的来访者的饮料的剩余量是否比预定的阈值少。或者，判断来访者是否正在环顾周围。在这样的情况下，能够通过向导机器人3接受添加饮料的需求，或者能够针对来访者有兴趣的事情进行信息提供，因此能够判断为需要向导机器人3的接待。另一方面，在来访者正在笑、或者正在进行智能手机的操作等的情况下，判断为不需要向导机器人3的接待。

在一个例子中，在S8中，针对来访者的表情、姿势，事先将接待必要性定为预先数值，并根据来访者的表情、姿势统计该数值，在统计值超过阈值的情况下，判断为需要接待。

图7示出表示与用户的状态相关联的接待必要性的点数表格的一个例子。图7所示的表格储存于控制服务器4的存储部44。在图7的例子中，在正在笑、正在交谈、正在打电话、正在进行智能手机的操作的情况下，向导机器人3最好不接待，因此作为接待必要性而取负值。另一方面，在正在哭泣、正在环顾周围、正在抖腿、饮料的剩余量变成阈值以下、或者露出生气的表情的情况下，最好通过向导机器人3接待，因此作为接待必要性而取正值。这些项目中，如果符合来访者的项目统计为10个以上，则可以判断为需要接待。需要说明的是，能够根据设施的种类、提供的服务，适当设定判断为图7所示的用户状态、点数、以及需要接待的阈值。

在判断为需要向导机器人3接待的情况下(在S9为“是”)，控制服务器4使处理进入到S10，针对判断为需要接待的事项，对向导机器人3进行接待的指示。例如，能够将显示于向导机器人3的显示部的模拟眼睛306显示为正在关注来访者的饮料。由此，能够促使为来访者添加饮料。在该情况下，控制服务器4可以通过向导机器人3的输出部33的扬声器(未图示)播放“您需要添加饮料吗？”等语音向导。由此，能够使向导机器人3知道来访者的饮料的剩余量变少，并能够促使为来访者添加饮料。

另外，在S9中，在控制服务器4通过来访者环顾周围而判断为需要接待的情况下，将显示于向导机器人3的显示部的模拟眼睛306显示为正在关注来访者，可以通过输出部33的扬声器(未图示)播放“您遇到困难吗？”等语音。

另一方面，在通过向导机器人3判断为不需要接待的情况下(在S9中为“否”)，控制服务器4使处理进入到S10，并发送控制信号，使向导机器人3向来访者附近的预定的范围外移动。

如以上已说明的那样，根据本实施例，服务器进行指示，使向导机器人向周围不存在设施人员的来访者移动，由此能够掌握设施人员未顾及到的来访者的状况。另外，能够防止来访者感到无人接待而被晾在一旁的情况，让来访者能够舒适地滞留于设施。

另外，根据本实施方式，向导机器人向来访者附近移动后，拍摄来访者的图像。由此，能够判断为应该为来访者添加饮料、来访者感到不快。

＜第二实施例＞

在第一实施例中，对向周围不存在设施人员的来访者派遣向导机器人的处理进行了说明。但是，即使在来访者附近不存在设施人员并希望接待这样的情况下，有时也会不期待与向导机器人的交流。在第二实施例中，基于向导机器人对来访者拍摄到的来访者的图像，对判断是否通过向导机器人干预来访者的处理进行说明。

需要说明的是，针对与第一实施例同样的处理、构成、以及功能，省略说明。

图9表示第二实施例所涉及的处理。需要说明的是，S1～S8的处理与第一实施例是同样的，因此省略说明。

在S81中，控制服务器4基于在S7中拍摄到的来访者的图像，推断来访者对向导机器人3的反应。例如，基于在S7中获取到的图像，推断来访者的视线，判断向导机器人3是否位于来访者的视线上。

接着，在S9中，判断是否需要接待来访者。在判断为需要接待来访者的情况下，控制服务器4使处理进入到S91，并判断对向导机器人的反应是否良好。

例如，在S81中，在判断为向导机器人3位于来访者的视线上的情况下，判断为来访者对向导机器人3感兴趣，并判断为反应良好而使处理进入到S10。或者，在判断为向导机器人3位于来访者的视线上，且来访者的表情是笑脸的情况下，判断为反应良好从而使处理进入到S10。在另外的例子中，向导机器人3位于来访者的视线上，并且来访者朝向向导机器人3正在说话的情况下，可以判断为反应良好从而使处理进入到S10。

另一方面，在S81中，在判断为向导机器人3不位于来访者的视线上的情况下，判断为来访者对向导机器人3不感兴趣，并判断为反应不良好，使处理进入到S11。或者，在S81中，在判断为向导机器人3不位于来访者的视线上，并且即使向导机器人3存在于附近，来访者仍继续进行与其他来访者的交谈、智能手机的操作等的情况下，判断为反应不良好而使处理进入到S11。在另外的例子中，在S81中，即使是向导机器人3位于来访者的视线上的情况，在判断为来访者的表情是生气、皱眉的情况下，也判断为反应不良好而使处理进入到S11。

由此，在来访者期待设施人员而不是向导机器人3的接待的情况下，能够避免向导机器人3对来访者进行接待。

接下来，在S10中，在存储部44的来访者DB443储存能够确定为来访者提供商品或者服务之前的所需时间的信息的情况下，控制服务器4可以向向导机器人3发送该信息，并经由显示部331或者扬声器而向来访者通知剩余的所需时间。由此，来访者能够知道剩余的所需时间，并能够减轻来访者的不安。

如以上说明的那样，根据本实施方式，能够使用有限的向导机器人3，对来访机动车销售店的展示厅1的来访者实现机动车销售店侧的适当待客。例如，通过向长时间等待而心情变差的来访者身边派遣向导机器人3并进行交流，使来访者心情好转，或者能够抑制来访者心情进一步变差。由此，能够使此后的机动车销售店侧的售货员(例如销售员)等进行的谈话等待客顺利进行。

另外，例如，当将多个向导机器人3配置在展示厅1内时，可能给来访者带来压迫感，并且还将增大机动车销售店侧的成本，但通过向未被设施人员接待的来访者派遣向导机器人3，能够实现使用了有限的向导机器人3的高效交流。

另外，例如，能够使向导机器人3预先对来访者询问需求，或者进行简单的向导。例如，能够使向导机器人3预先对长时间等待的来访者、预计将长时间等待的来访者询问需求等，或者进行简单的向导。由此，能够实现此后的售货员(例如销售员)等进行的高效待客。

如此，通过使用本实施方式所涉及的控制服务器4，例如，能够实现使用了有限的向导机器人3的高效且顺利的待客。

＜其他实施方式＞

发明不限定于上述的实施方式，在发明主旨的范围内，能够进行各种变形·变更。

例如，对在S8中作为基于向导机器人3拍摄到的图像来推断来访者的状态的情况进行了说明。在一个例子中，控制服务器4可以根据向导机器人3的传感器部36具备的麦克风获取语音，基于语音推断来访者的状态。由此，基于来访者的自言自语、来访者间的交谈、以及来访者朝向向导机器人3说过的话语，能够更正确地推断来访者的状态。

＜实施方式总结＞

1.上述实施方式的控制装置是控制在设施内能够自行的机器人的控制装置(4)，其特征在于，

所述控制装置(4)具备：

来访者确定机构(454)，其确定设施内的来访者的位置；

机器人确定机构(457)，其确定所述机器人的位置；

指示机构(452)，其指示位于所述来访者附近的预定的范围的所述机器人拍摄所述来访者的图像；

推断机构(456)，其基于所述机器人拍摄到的图像，推断所述来访者的情绪；以及

控制机构(457)，其根据所述来访者的所述情绪，控制所述机器人是留在所述预定的范围内、还是向所述预定的范围外移动。

由此，能够防止向不需要向导机器人的接待的来访者派遣向导机器人，并能够提供对来访者进行适当待客的向导机器人。

2.在上述实施方式的控制装置中，其特征在于，

所述控制装置还具有时间确定机构(444)，该时间确定机构(444)按照每个来访者而确定用于为所述来访者提供服务的所需时间，

所述控制机构在已指示所述机器人留在所述来访者附近的情况下，进行控制以使经由所述机器人来通知通过所述时间确定机构确定的所述所需时间。

由此，来访者能够掌握剩余的所需时间，并能够减轻来访者的不安感。

3.在上述实施方式的控制装置中，其特征在于，

所述控制机构在已指示所述机器人留在所述来访者附近的情况下，进行控制以使所述机器人的显示部(331)朝向所述来访者。

由此，能够使来访者容易接受来自向导机器人的通知。

4.在上述实施方式的控制装置中，其特征在于，

所述控制装置还具有视线确定机构(456)，该视线确定机构(456)根据从所述机器人获取到的图像，确定所述来访者的视线方向，

所述控制机构基于通过所述视线确定机构确定的视线，指示所述机器人移动。

由此，能够根据来访者的视线来推断来访者的情绪，并判断向导机器人是否接待。

5.在上述实施方式的控制装置中，

所述控制机构使所述机器人在所述来访者附近停下后，

在通过所述视线确定机构判断为所述来访者的所述视线上存在所述机器人的情况下，使所述机器人在所述来访者附近停下，

在判断为在所述视线上不存在所述机器人的情况下，指示所述机器人移动。

由此，在来访者不希望向导机器人的接待的情况下，能够避免留在用户附近。

6.上述实施方式的控制方法是由控制在设施内能够自行的机器人的控制装置执行，其特征在于，

所述控制方法包括：

来访者确定步骤，在该来访者确定步骤中，确定设施内的来访者的位置；

机器人确定步骤，在该机器人确定步骤中，确定所述机器人的位置；

指示步骤，在该指示步骤中，指示位于所述来访者附近的预定的范围的所述机器人拍摄所述来访者的图像；

推断步骤，在该推断步骤中，基于所述机器人拍摄到的图像，推断所述来访者的情绪；以及

控制步骤，在该控制步骤中，基于所述来访者的所述情绪，控制所述机器人是留在所述预定的范围内、还是向所述预定的范围外移动。

由此，能够避免向不需要向导机器人的接待的来访者派遣向导机器人，并能够提供对来访者进行适当待客的向导机器人。

7.在上述实施方式的控制系统中，其特征在于，

所述控制系统具备：

上述实施方式1至5中的任一项所述的控制装置；

拍摄装置，其能够与所述控制装置进行通信；以及

所述机器人，其能够与所述控制装置进行通信并能够自行。

由此，能够防止向不需要向导机器人的接待的来访者派遣向导机器人，并能够提供对来访者进行适当待客的向导机器人。

Claims (7)

1.一种控制装置，该控制装置控制在设施内能够自行的机器人，

其特征在于，

所述控制装置具备：

来访者确定机构，其确定设施内的来访者的位置；

机器人确定机构，其确定所述机器人的位置；

指示机构，其指示位于所述来访者附近的预定的范围的所述机器人拍摄所述来访者的图像；

推断机构，其基于所述机器人拍摄到的图像，推断所述来访者的情绪；以及

控制机构，其根据所述来访者的所述情绪，控制所述机器人是留在所述预定的范围内、还是向所述预定的范围外移动。

2.根据权利要求1所述的控制装置，其特征在于，

所述控制装置还具有时间确定机构，该时间确定机构按照每个来访者而确定用于为所述来访者提供服务的所需时间，

所述控制机构在已指示所述机器人留在所述来访者附近的情况下，进行控制以使经由所述机器人来通知通过所述时间确定机构确定的所述所需时间。

3.根据权利要求1所述的控制装置，其特征在于，

所述控制机构在已指示所述机器人留在所述来访者附近的情况下，进行控制以使所述机器人的显示部朝向所述来访者。

4.根据权利要求1所述的控制装置，其特征在于，

所述控制装置还具有视线确定机构，该视线确定机构根据从所述机器人获取到的图像，确定所述来访者的视线方向，

所述控制机构基于通过所述视线确定机构确定的视线，指示所述机器人移动。

5.根据权利要求4所述的控制装置，其特征在于，

所述控制机构使所述机器人在所述来访者附近停下后，

在通过所述视线确定机构判断为所述来访者的所述视线上存在所述机器人的情况下，使所述机器人在所述来访者附近停下，

在判断为所述视线上不存在所述机器人的情况下，指示所述机器人移动。

6.一种控制系统，其特征在于，

所述控制系统具备：

权利要求1至5中的任一项所述的控制装置；

拍摄装置，其能够与所述控制装置进行通信；以及

所述机器人，其能够与所述控制装置进行通信并能够自行。

7.一种控制方法，该控制方法由控制在设施内能够自行的机器人的控制装置执行，

所述控制方法包括：

来访者确定步骤，在该来访者确定步骤中，确定设施内的来访者的位置；

机器人确定步骤，在该机器人确定步骤中，确定所述机器人的位置；

指示步骤，在该指示步骤中，指示位于所述来访者附近的预定的范围的所述机器人拍摄所述来访者的图像；

推断步骤，在该推断步骤中，基于所述机器人拍摄到的图像，推断所述来访者的情绪；以及

控制步骤，在该控制步骤中，根据所述来访者的所述情绪，控制所述机器人是留在所述预定的范围内、还是向所述预定的范围外移动。

Images