CN109709947B - 机器人管理系统 - Google Patents

Abstract

本发明提供机器人管理系统，适当地决定停留在设施内的人所需的服务。该机器人管理系统，具备能够移动的机器人、进行拍摄的摄像机、以及从拍摄影像检测人的人检测部，机器人对检测到的人提供服务，该机器人管理系统具备：行为模式表(111g)，将人的静止时间、动作时间、以及根据该静止时间与该动作时间的组合的反复而定义的行为模式与提供给人的服务建立关联地登录；以及行为模式判定部(111f)，其在根据拍摄影像检测到的人的行为与登录到行为模式表(111g)的行为模式一致的情况下，基于相应的行为模式决定机器人应提供给人的服务。

Description

机器人管理系统

技术领域

本发明涉及管理对人进行服务的机器人的机器人管理系统。

背景技术

以往，有如下的技术，计测由摄像机拍摄到的人滞留在特定区域的时间，并基于滞留时间，移动机器人对于在与设置物品的区域相接的第一区域、以及与第一区域相接的第二区域移动或者静止的人进行引导(例如，参照专利文献1。)。

然而，如专利文献1所记载那样仅通过计测人滞留(停留)在特定区域的时间，不能判定该停留的原因并适当地提供滞留的人所需的服务。

现有技术文献

专利文献

专利文献1：日本特开2007－152442号公报

发明内容

本发明是考虑上述的状况而完成的，使得机器人能够对于停留在某区域的人适当地提供该人所需的服务。

本发明的一方式的机器人管理系统是具备能够移动的机器人、进行拍摄的摄像机以及根据由摄像机拍摄到的影像检测人的人检测部，机器人对由人检测部检测到的人提供服务统。

上述机器人管理系统具备行为模式表和行为模式判定部。在行为模式表中，人的静止时间、动作时间以及根据静止时间与动作时间的组合的反复而定义的行为模式与提供给人的服务被关联地登录。行为模式判定部具备在根据摄像机的影像检测到的人的行为与登录到行为模式表的行为模式一致的情况下，基于相应的行为模式根据行为模式表决定机器人应提供给人的服务的功能。

发明效果

根据本发明的至少一方式，机器人能够对于停留的人适当地提供该人所需的服务。

根据以下的实施方式的说明使上述以外的课题、构成以及效果变得清楚。

附图标记说明

1…机器人管理系统，100、100－1～100－3…机器人，110…机器人控制装置，111d…人检测部，111d、111e…行为分析部，111f…行为模式判定部，111g…行为模式表，111h…场景储存部，120…机器人监控中心，200、200－1～200－3…监控摄像机，210…摄像机控制装置。

附图说明

图1是表示本发明的一实施方式例的机器人管理系统的整体构成例的框图。

图2是表示本发明的一实施方式例的机器人的构成例的功能框图。

图3是表示本发明的一实施方式例的机器人控制装置的构成例的功能模块图。

图4是表示本发明的一实施方式例的机器人监控中心的构成例的功能框图。

图5是表示本发明的一实施方式例的摄像机控制装置的构成例的功能框图。

图6是表示配置有本发明的一实施方式例的机器人以及监控摄像机的建筑物的内部(第一例)的说明图。

图7是表示配置有本发明的一实施方式例的机器人以及监控摄像机的建筑物的内部(第二例)的说明图。

图8是表示本发明的一实施方式例的机器人管理表的数据结构的一个例子的说明图。

图9是表示本发明的一实施方式例的监控摄像机管理表的数据结构的一个例子的说明图。

图10是表示本发明的一实施方式例的行为模式表的数据结构的一个例子的说明图。

图11是表示本发明的一实施方式例的行为判定结果数据库的数据结构的一个例子的说明图。

图12是表示本发明的一实施方式例的机器人管理系统的基于停留者的行为模式提供服务的步骤示例的流程图。

具体实施方式

以下，参照附图对用于实施本发明的方式(以下，描述为“实施方式”)的例子进行说明。在本说明书以及附图中，对于基本上具有相同的功能或者构成的构件标注相同的附图标记，省略重复的说明。

＜1.一实施方式＞

[机器人管理系统的整体构成]

首先，参照图1对本发明的一实施方式例(以下，也称为“本例”)的机器人管理系统的整体构成例进行说明。图1是表示机器人管理系统1的整体构成例的框图。

如图1所示，机器人管理系统1具备多台机器人100、机器人控制装置110、以及机器人监控中心120。在本例的机器人管理系统1中，在建筑物300内配置有机器人100、机器人控制装置110、监控摄像机200、以及摄像机控制装置210。

机器人100和控制机器人100的机器人控制装置110例如经由无线LAN(local areanetwork：局域网)等连接。另外，一个或者多个监控摄像机200能够拍摄建筑物300内。摄像机控制装置210经由有线LAN等记录监控摄像机200拍摄到的影像。机器人控制装置110和摄像机控制装置210经由有线LAN等连接，能够相互发送和接收数据。机器人控制装置110和摄像机控制装置210也可以在相互的距离近的情况下，通过无线LAN等无线通信单元连接。

机器人100是自主地朝向位于建筑物300内的人(用户)移动，并对该用户进行建筑物300内的引导或商品信息的建议等的自主移动型的建议机器人。商品信息例如是与在建筑物300内设置的店铺等处理的商品有关的信息。以下，将机器人100对用户进行的这些引导或建议等行为称为“服务”。机器人100通常在建筑物300内的层的预定位置处待机。机器人100构成为与设置在建筑物300内的机器人控制装置110进行通信，通过无线由机器人控制装置110来控制。

例如若机器人控制装置110检测到用户，并向机器人100发出移动指示，则机器人100通过来自机器人控制装置110的指示设定机器人100从待机位置移动到目的地的路径。机器人100自主移动到所指定的用户的位置，进行引导或建议等服务。若对用户的服务结束，则机器人100自主移动而返回到原来的待机位置，或者移动到下一个用户身边。

此外，本例的机器人100中的自主移动是指机器人本身动作而移动，并不是机器人本身全部自主地进行移动所需要的判断(路径的判断等)。即，如上述那样，机器人100移动的路径通过来自机器人控制装置110的指示而设定，不是由机器人100独自地判断自主移动的路径等的结构。但是，也可以使机器人100进行移动所需要的全部的判断。

机器人控制装置110除了对机器人100进行指令以执行服务以外，还经由互联网等网络N，进行与在建筑物300的外部设置的机器人监控中心120的通信。

机器人监控中心120通常进行与设置于多个建筑物300的机器人控制装置110的通信，监控配置于各建筑物300的机器人100的管理状况等。

监控摄像机200在建筑物300的出入口、共享区域、餐厅/商店区域等分别设置有一台或者多台。即，监控摄像机200设置于建筑物300内的人来往的场所、人通行的通道等。监控摄像机200持续拍摄在各拍摄区域(拍摄空间)内显现出的人，将通过拍摄能够得到的影像数据经由有线LAN发送到摄像机控制装置210。当然，监控摄像机200能够基于来自摄像机控制装置210的指示任意地变更拍摄方向以及拍摄倍率来拍摄。在以下的说明中，在不区别作为监控摄像机200拍摄的对象的拍摄区域(拍摄场所)亦即共享区域、餐厅/商店区域等的情况下，有时也总称为“区域”。

摄像机控制装置210记录从监控摄像机200获取到的影像数据，并且将该影像数据经由有线LAN提供给机器人控制装置110。记录于摄像机控制装置210的数据经由机器人控制装置110并经由网络N提供给机器人监控中心120。在本例中，如后述那样，利用机器人控制装置110进行影像数据的解析，但也可以构成为利用摄像机控制装置210进行影像数据的解析。

在本实施方式中，将监控摄像机200的设置场所设为建筑物300的内部，但设置场所并不局限于屋内。例如监控摄像机200也可以设置在能够拍摄属于屋外的设施或者任意的设施的建筑物外的位置。

[机器人的构成]

图2是表示机器人100的内部构成例的功能框图。

如图2所示，机器人100由具备CPU104且在CPU104的控制下执行各处理的计算机装置和与该计算机装置连接的外围设备构成。机器人100具备经由总线连接的主存储装置101、输入输出装置102、以及通信接口103。机器人100能够在后述的图7以及图8所示的预定区域移动。

主存储装置101具备驱动控制部101a、对话控制部101b、以及输入输出部101c。驱动控制部101a、对话控制部101b、以及输入输出部101c是基于来自CPU104的指令而动作的计算机程序所具有的功能。计算机程序记录于未图示的非易失性的大容量记录装置，必要的计算机程序从大容量记录装置被读出到主存储装置101。

驱动控制部101a进行使机器人100自主移动的驱动控制。例如，驱动控制部101a在机器人100移动时，根据机器人100的摄像机102a拍摄到的影像、测距传感器102d通过电磁波检测到的自己的位置来判断机器人100周围的状况，使用关于与对象物的距离的数据，使机器人100避开人、墙壁等障碍物而移动。另外，驱动控制部101a使用陀螺传感器102c检测机器人100的机体的倾斜，进行机器人100不会跌倒地移动的控制。

对话控制部101b使用输入输出装置102具备的麦克风102b和扬声器102e通过声音控制与对象者的对话。若举出一个例子，则对话控制部101b从扬声器102e输出建议(执行服务)所需要的发声等声音信息，通过麦克风102b得到来自对象者的利用声音的回答。其是示出了从对象者得到回答的方法的一个例子，作为代替方法的例子，也可以在机器人100安装显示面板、触摸面板，通过该显示面板以及触摸面板显示引导信息、商品信息等。对象者能够通过操作触摸面板来得到回答或希望的信息。

输入输出部101c除了与输入输出装置102之间执行数据的输入输出动作以外，还经由通信接口103与机器人控制装置110之间执行数据的输入输出动作。

输入输出装置102具备摄像机102a、麦克风102b、陀螺传感器102c、测距传感器102d、扬声器102e以及驱动机构102f。

摄像机102a拍摄机器人100周围的拍摄区域(拍摄空间)，并将通过拍摄得到的影像数据送出到主存储装置101或者未图示的大容量记录装置。摄像机102a使用CCD、CMOS等拍摄装置构成。一般来说，机器人100的摄像机102a配置于比作为拍摄对象的人的身高(例如一般的人(包括孩子)的平均身高)低的位置，但并不局限于该例子。

麦克风102b获取来自对象者的声音信息。由摄像机102a获取到的图像信息、以及由麦克风102b获取到的声音信息等各种数据经由通信接口103供给到机器人控制装置110。

陀螺传感器102c根据施加到机器人100的角加速度来检测机器人100的倾斜等，经由通信接口103将检测数据供给到机器人控制装置110。

测距传感器102d是用于确定机器人100的位置的传感器，一并检测机器人100的周围环境。测距传感器102d射出激光、红外线等，检测来自周围的物体的反射。通过该测距传感器102d，计测包括机器人100的位置以及障碍物等的周围的空间形状，计测出的数据经由通信接口103发送到机器人控制装置110。

扬声器102e针对对象者输出由对话控制部101b生成的向作为服务对象者的停留者的建议所需要的固定文本等对话用的声音。

驱动机构102f基于来自驱动控制部101a的指示，使机器人100移动。驱动机构102f至少具备使车轮驱动的马达。或者，在机器人100是人型机器人的情况下，进行通过步行的移动，所以具备驱动相当于腿的部件的促动器。

如图1所示，通信接口103通过无线LAN等与机器人控制装置110的通信接口112(参照图3)连接。该通信接口103将输入输出装置102收集到的数据输出到机器人控制装置110，并且，接受来自机器人控制装置110的指示。

另外，驱动控制部101a在机器人100移动时，判断摄像机102a拍摄到的图像、测距传感器102d检测到的周围状况，来进行停止移动或者避开障碍物等的动作的控制。在本例的情况下，机器人100能够移动的可移动范围被限制在预先决定的范围(后述的拍摄区域和其周边等)。换句话说，由驱动控制部101a判断出的机器人100的当前位置保持在该可移动范围内的位置。

[机器人控制装置的构成]

图3是表示机器人控制装置110的内部构成例的功能框图。机器人控制装置110由在CPU113的控制下执行各处理的计算机装置构成。

CPU113与经由总线连接的主存储装置111以及通信接口112连接。

主存储装置111具备基于CPU113的指令而动作的输入输出数据处理部111a、移动指示部111b、以及机器人管理表111c。另外，主存储装置111具备人检测部111d、行为分析部111e、行为模式判定部111f、行为模式表111g、以及场景储存部111h。行为分析部111e以及行为模式判定部111f分别是构成服务决定功能的要素的一个例子。

输入输出数据处理部111a经由通信接口112进行与机器人100、摄像机控制装置210、机器人监控中心120的数据的接收和发送的处理。

移动指示部111b进行使机器人100移动到通过行为分析部111e判定为是停留者的人(服务对象者)的位置的指示。该指示包含有机器人100移动的路径。作为路径的一个例子，有将机器人100引导到停留者所在的地方的路径、用于在向停留者提供的服务结束时使机器人100返回原来的待机位置的路径、或者将机器人100引导到下个停留者的路径。

机器人管理表111c储存有作为机器人控制装置110管理对象的机器人100的管理数据。后面在图8中叙述机器人管理表111c的细节。

人检测部111d基于由监控摄像机200拍摄到的影像来检测人。关于影像内的人，例如能够通过检测人的面部即面部图像、或者人的步态来检测。这里，所谓“步态”是指人步行时的身体运动的情形，指的是外观看起来的行走方式。若人检测部111d根据影像检测到人，则暂时赋予用于唯一确定出该人的人ID(识别信息)，并且根据影像来计算该人的位置(二维坐标或者三维坐标)。由此，人检测部111d能够通过坐标来识别检测到的人的位置。

行为分析部111e通过计算由人检测部111d根据影像检测到的人的静止时间、动作时间、以及静止时间与动作时间的组合的反复(行为周期数)的各项目(参照图10的行为模式表111g)，来分析对象人的行为。基于该各项目的计算结果和存储在行为模式表111g的行为模式，进行行为模式判定部111f对停留者的检测。在本例中，将静止时间与动作时间的一个组合作为一个行为周期，将一个行为周期的反复次数作为行为周期数。此外，静止时间与动作时间的顺序任意一个都可以在先，但在判断静止有无(计算静止时间)之后计算动作时间的流程可以说是自然的。

这里，在本说明书中，所谓静止是指人站在当场或停留在极狭窄的范围内。并且，所谓停留者是静止的人、或者周期性地进行静止和动作的人中与预先设定的条件(行为模式)一致的人。例如行为分析部111e比较相同的场所连续拍摄到的多个图像，检测在一定的位置或者一定范围内停留一定时间的人。

行为分析部111e检测人的停留的目的是提高向位于拍摄区域内的人提供的服务的精度。静止的人、反复静止和动作的人具有某种兴趣或困难的可能性高。因此，本实施方式中的机器人100被控制为对仅通过的人不提供服务。说到底，成为服务提供的对象的人是拍摄区域中静止时间长、或者反复静止和动作的人。

行为模式判定部111f比较行为分析部111e的行为解析结果和存储于行为模式表111g的行为模式，进行停留者的检测和停留者的行为模式的判定，基于判定结果决定机器人应提供给停留者的服务。该行为模式判定部111f在具备决定应从机器人对停留者提供的服务的功能这样的点上也可以说是服务决定部。另外，行为模式判定部111f将判定为是停留者的人的人ID和判定为是停留者时的各种数据经由通信接口112供给到机器人监控中心120。而且，停留者的人ID和判定为是停留者时的各种数据被登录到行为模式表111g。

在行为模式表111g储存有预先对每个建筑物登录的停留者的行为模式的信息。在行为模式判定部111f判定停留者的行为模式时参照行为模式表111g。

场景储存部111h存储有与行为模式判定部111f判定出的原因/服务对应的、描述有机器人100向停留者提供的服务的内容的场景数据。

并且，机器人控制装置110具有能够与机器人100以及网络N相互通信的通信接口112。通信接口112经由网络N，除了进行与机器人100的无线通信以外，还进行与机器人监控中心120的通信。

[机器人监控中心的构成]

图4是表示机器人监控中心120的内部构成例的功能框图。机器人监控中心120由在CPU124的控制下执行各处理的计算机装置构成。CPU124负责经由总线连接的主存储装置121、操作部122、以及通信接口123的控制。

主存储装置121具备影像数据存储部121a、行为数据存储部121b、以及机器人管理表121c。

在影像数据存储部121a存储有由监控摄像机200拍摄到的影像。

在行为数据存储部121b存储有从机器人控制装置110发送的、积蓄有行为模式判定部111f判定为有停留者时的各种数据的行为判定结果数据库121bD(参照图11)。在机器人管理表121c集中储存有被多个机器人控制装置110分别管理的机器人100的管理数据。

存储于影像数据存储部121a、行为数据存储部121b、以及机器人管理表121c的各数据也可以存储于未图示的大容量存储装置。

操作部122例如使用键盘、鼠标或者触摸面板等，系统管理者能够进行预定的操作，输入指示。

通信接口123经由网络N进行与机器人控制装置110的通信。

[监控摄像机的构成]

监控摄像机200是能够从远程位置操作的摄像机，是所谓的网络摄像机。监控摄像机200具备CCD、CMOS等拍摄装置(省略图示)，对由拍摄装置拍摄到的影像进行处理并经由未图示的通信接口发送到摄像机控制装置210。一般来说，监控摄像机200具备将从拍摄装置输出的原始数据(RAW图像)转换成能够由摄像机控制装置210处理的数据形式的影像处理部。

[摄像机控制装置的构成]

图5是表示摄像机控制装置210的内部构成例的功能框图。

摄像机控制装置210由在CPU213的控制下执行各处理的计算机装置构成。CPU213负责经由总线连接的主存储装置211以及通信接口212的控制。

主存储装置211具备基于来自CPU213的指令而动作的输入输出数据处理部211a、影像数据存储部211b、以及监控摄像机管理表211c。

输入输出数据处理部211a进行经由通信接口212与监控摄像机200以及机器人控制装置110之间通信的数据的输入输出。

影像数据存储部211b记录有由监控摄像机200拍摄到的影像。

监控摄像机管理表211c储存有各监控摄像机200的管理数据。监控摄像机管理表211c的细节通过图9在后叙述。

通信接口212除了利用有线LAN等与机器人控制装置110进行通信以外，还经由有线LAN等进行与监控摄像机200的通信。

在以上的说明中，使图2～图5的框图所示的功能分别分担到机器人100、机器人控制装置110、机器人监控中心120以及摄像机控制装置210，实现本例的机器人管理系统1。然而，这些机器人100、机器人控制装置110、机器人监控中心120以及摄像机控制装置210负责的功能不一定固定。特别是，也能够使机器人监控中心120或者机器人100具有机器人控制装置110具有的部分功能。其中，机器人100被构成为单个单元，所以还希望注意系统运用者不希望机器人100包括很多功能这样的期望。

[监控摄像机的配置例]

图6是表示配置有机器人100以及监控摄像机200的建筑物的内部(第一例)的示意图。图7是表示建筑物的内部(第二例)的示意图。图6以及图7示出机场301作为建筑物300的例子。

在图6所示的机场301的1楼设置有作为第一拍摄区域而拍摄国际到达大厅的监控摄像机200－1。机器人100－1负责对在国际到达大厅的人提供服务。

在图7所示的机场301的2楼设置有作为第二拍摄区域而拍摄餐厅/商店区域的监控摄像机200－2、和作为第三拍摄区域而拍摄国际出发大厅的监控摄像机200－3。机器人100－2负责对在餐厅/商店区域的人提供服务，机器人100－3负责对在国际出发大厅的人提供服务。此外，在不需要特别区别监控摄像机200－1、200－2、200－3的情况下，称为监控摄像机200。监控摄像机200设置于能够俯视拍摄区域的位置。

[各种表的数据结构]

(机器人管理表)

图8示出机器人管理表111c、121c的数据结构的一个例子。

机器人管理表111c、121c具备顾客ID、设施ID、全球IP、机器人ID、本地IP、以及区域的各项目。

“顾客ID”是基于与机器人100的提供者签订的合同而唯一确定利用机器人或者本实施方式的商业模型的顾客的ID(识别信息)。

“设施ID”是唯一确定配置有机器人的设施的ID。设施不管屋内以及屋外，若例如举出屋内的例子则是建筑物的所有区划或者一部分区划。

“全球IP”是设置于对象设施的通信设备的全球IP(Internet Protocol：互联网协议)地址。

“机器人ID”是唯一确定机器人100的ID。

“本地IP”是机器人100(通信接口103)的本地IP地址。

“区域”表示在对象设施内存在机器人100的区域即机器人100能够移动的区域。在图6以及图7的例子中，国际到达大厅、餐厅/商店区域、国际出发大厅等符合。此外，在本例中，使该机器人管理表111c、121c的“区域”和后述的监控摄像机管理表211c的“区域”所表示的场所一致。

根据图8的例子，例如机器人提供者与顾客ID“001”的顾客签订机器人提供合同，在设施ID是“001”的设施中利用了3台机器人100。在设施ID“001”的设施中，机器人ID“001”的机器人100配置于区域“B3”，机器人ID“002”的机器人100配置于区域“B2”，机器人ID“003”的机器人100配置于区域“C2”。

机器人控制装置110具有的机器人管理表111c管理该机器人控制装置110控制的机器人100的信息。另一方面，机器人监控中心120具有的机器人管理表121c管理该机器人监控中心120监控的全部的机器人控制装置110控制的机器人100的信息。在机器人100具有驱动机构102f的情况下，使用机器人100具有的测距传感器102d、机器人100具有的驱动机构102f的移动历史(行驶历史)、未图示的信标等来获取表示机器人100的位置的区域。

(监控摄像机管理表)

图9示出监控摄像机管理表211c的数据结构的一个例子。

监控摄像机管理表211c具备顾客ID、设施ID、全球IP、监控摄像机ID、本地IP、以及区域的各项目。以下，对监控摄像机管理表211c的各项目进行了说明，但对于与机器人管理表121c的项目重复的项目简略说明。

“顾客ID”是唯一确定顾客的ID。

“设施ID”是唯一确定设施的ID。

“全球IP”是对象设施内的通信设备的全球IP地址。

“监控摄像机ID”是唯一确定监控摄像机200的ID。

“本地IP”是监控摄像机200(未图示的通信接口)的本地IP地址。

“区域”表示配置在对象设施内的监控摄像机200的位置，即，成为监控摄像机200的拍摄对象的区域。

根据图9的例子，对于例如机器人提供者与顾客ID“001”的顾客签订了合同的机器人提供设施，在设施ID“001”的设施中配置有3台监控摄像机200。在设施ID“001”的设施中，监控摄像机ID“001”的监控摄像机200配置在区域“B3”，监控摄像机ID“002”的监控摄像机200配置在区域“B2”，监控摄像机ID“003”的监控摄像机200配置在区域“C2”。

(行为模式表)

图10示出行为模式表111g的数据结构的一个例子。

行为模式表111g具备编号(NO)、设施ID、设施名、监控摄像机ID、对象时间段、行为模式名、静止时间、动作时间、行为周期数、原因/服务的各项目。

“NO”是存储于行为模式表111g的数据的任意编号。

“设施ID”与储存于机器人管理表111c、121c以及监控摄像机管理表211c的“设施ID”相同。

“设施名”表示设施ID所示的设施的名称。

“监控摄像机ID”与储存于监控摄像机管理表211c的“监控摄像机ID”相同。

“对象时间段”是相应的行为模式成为对象的时间段，换言之，应用了相应的行为模式的时间段。

“行为模式名”表示与设施ID关联地登录的行为模式的名称。

“静止时间”表示人静止的连续时间。

“动作时间”表示人动作的连续时间。

“行为周期数”表示实施静止与动作的反复行为周期的数量。

“原因/服务”在对象人的行为与所登录的行为模式一致的情况下，示出停留原因和机器人100提供给对象人(停留者)的服务。

例如，希望引导的人频繁地看周围的引导显示板、光电显示装置的信息的情况较多。即，在希望引导的情况下，有静止时间短，反复行为多的趋势。另外，身体不适的人由于动作迟缓的蹲伏等行为，而倾向为静止时间长且反复行为少。在检测到这样的身体不适的人的情况下，需要使机器人100快速走向对象人。

在图10所示的行为模式表111g的例子中，对每个设施考虑按时间段的用户的交通量以及对象场所的确定而设定了行为模式。关于监控摄像机ID“001”的拍摄区域(国际到达大厅)中的行为模式，假设上午人的来往较多(假设上午有多个到达航班的情况的拥挤)。另外，关于监控摄像机ID“002”的拍摄区域(餐厅/商店区域)中的行为模式，假设早上寻找吃饭地点的人多。并且，关于监控摄像机ID“003”的拍摄区域(国际出发大厅)中的行为模式，假设下午人的来往多(假设下午有多个出发航班的情况的拥挤)。

是否登录这些行为模式能够考虑各种条件来决定。例如，在监控摄像机ID“001”的拍摄区域中，若下午人少不需要停留者的判定，则也可以不登录行为模式。另外，虽然人少但检测停留者并进行利用机器人100的对应，在人停留的趋势与上午的趋势不同的情况下，希望改变对象时间段、静止时间以及动作时间(和行为周期数)而登录新的行为模式。

另外，场景按其种类分别登录，以便能够针对停留者的引导希望而根据其目的、内容来适当地对应。在图10的例子中，对于监控摄像机ID“001”的拍摄区域(国际到达大厅)，登录有对到达机场A的人假设关于机场内或机场外的引导的服务(场景引导A)。另外，对于监控摄像机ID“002”的拍摄区域(餐厅/商店区域)，登录有假设关于机场内的吃饭地点的引导的服务(场景引导B)。另外，对于监控摄像机ID“003”的拍摄区域(国际出发大厅)，登录有向从机场A出发的人假设关于搭乘手续的引导的服务(场景引导C)。

另外，对于监控摄像机ID“001”的拍摄区域，也登录有假设对身体不适的人的呼唤/呼叫救护人员等的服务(场景身体不适)。此外，对于身体不适的场景也可以按其种类分别登录。

如上述那样，能够通过对每个设施(设施ID)、拍摄场所(与监控摄像机ID对应)、或者时间段(对象时间段)登录行为模式和原因/服务，来提高停留原因和服务的精度。特别是，因为设施内的用户的往来根据拍摄场所和时间段而变化，所以对每个监控摄像机ID或者对象时间段登录行为模式，从而能够从机器人控制装置110对机器人100适时地指示最佳的服务/对应。

此外，在机器人管理系统1的运用开始后，能够对机器人监控中心120的操作部122进行操作，任意地变更行为模式表111g的静止时间和动作时间。另外，相应的原因/服务也能够同样地变更。

(行为判定结果数据库)

图11表示存储于行为数据存储部121b的行为判定结果数据库121bD的数据结构的一个例子。

行为判定结果数据库121bD具备编号(NO)、设施ID、设施名、拍摄日、判定时间、人ID、监控摄像机ID、停留者场所、原因/服务的各项目。

“NO”是存储于行为判定结果数据库121bD的数据(记录)的任意编号。

“设施ID”与行为模式表111g的“设施ID”相同。

“设施名”与行为模式表111g的“设施名”相同。

“拍摄日”是监控摄像机200拍摄停留者的日期。

“判定时间”是行为分析部111e判定为在由监控摄像机200拍摄到的影像内有停留者的时刻。

“人ID”是唯一确定影像内的人的ID。作为一个例子，人ID按检测到人的顺序编号。

“监控摄像机ID”表示拍摄停留者的监控摄像机ID。

“停留者场所”表示在设施内存在停留者的场所(位置)。停留者场所由例如以设施内的某位置作为基准的坐标系(本例中，二维坐标)、或者纬度和经度来表示。

“原因/服务”与行为模式表111g的“原因/服务”相同。

希望登录到行为判定结果数据库121bD的数据在经过一定期间后删除。由此，能够减少存储于机器人监控中心120的存储装置的存储区域的数据量，确保一定的空闲区域。

[针对停留者的服务提供处理的程序]

接下来，参照图12对从停留者的检测到指示机器人100为止的处理的流程进行说明。图12是表示机器人管理系统1的基于停留者的行为模式的服务提供的步骤示例的流程图。

首先，系统的管理者将判定为是停留者的行为模式预先登录到行为模式表111g(S1)。此时，系统管理者对每个设施以及监控摄像机200的拍摄场所实施行为模式的登录。拍摄场所与监控摄像机ID对应。

接下来，在开始运用机器人管理系统1后，机器人控制装置110的人检测部111d通过图像处理技术，根据监控摄像机200拍摄的影像来检测人，对该人分配人ID(S2)。接下来，行为分析部111e通过图像处理技术计算由人检测部111d检测到的人的静止时间和动作时间(S3)。

接下来，行为模式判定部111f根据由行为分析部111e计算出的对象人的静止时间和动作时间，进行是否反复对象人的静止和动作的模式的判定(S4)。这里，在对象人的静止和动作的行为模式反复的情况下(S4的是)，行为模式判定部111f判断为有反复行为(S5)。另一方面，在对象人的静止和动作的模式不反复的情况下(S4的否)，行为模式判定部111f判断为没有反复行为(S6)。

接下来，行为模式判定部111f进行对象人的静止和动作的行为模式是否符合停留者的行为模式的判定(S7)。具体而言，行为模式判定部111f参照行为模式表111g检测与对象人的静止和动作的行为模式一致的行为模式。然后，行为模式判定部111f在行为模式表111g不存在与对象人的行为一致的行为模式的情况下(S7的否)，返回步骤S2，继续根据监控摄像机200拍摄的影像来检测人的处理。

另一方面，行为模式判定部111f在行为模式表111g存在与对象人的行为一致的行为模式的情况下，判断为对象人是停留者(S7的是)，参照行为模式表111g的原因/服务的项目来判断停留原因是什么。例如，行为模式判定部111f根据与一致的行为模式对应的原因/服务的项目的内容来进行停留原因是否是身体不适的判定(S8)。

行为模式判定部111f在停留原因是身体不适的情况下(S8的是)，向对象拍摄区域或者其附近的机器人100发送指令，使机器人100移动到停留者的身边。然后，行为模式判定部111f将与身体不适对应的场景数据从场景储存部111h读出并发送到机器人100。由此，机器人100的对话控制部101b以及驱动控制部101a基于接收到的场景数据，向停留者询问身体情况并实施救护人员的呼叫(S9)。

另一方面，行为模式判定部111f在停留原因不是身体不适的情况下(S8的否)，接着进行停留原因是否是希望引导的判定(S10)。行为模式判定部111f在停留原因是希望引导的情况下(S10的是)，向对象拍摄区域或者其附近的机器人100发送指令，使机器人100移动到停留者的身边。然后，行为模式判定部111f将与希望引导对应的场景数据从场景储存部111h读出并发送到机器人100。由此，机器人100的对话控制部101b以及驱动控制部101a基于接收到的场景数据，对停留者询问目的，实施设施引导(S11)。

在步骤S9或者步骤S10的处理结束后、或者在步骤S10中停留原因不是希望引导的情况下(S10的否)，机器人100返回到原来的待机位置。并且，在有下个停留者的情况下，机器人100基于机器人控制装置110的指示向下个停留者的身边移动。

在本实施方式中，机器人控制装置110在步骤S7中判断为对象人是停留者的情况下，与控制机器人100并行地，将判定为有停留者时的各种数据发送到机器人监控中心120，并将数据积蓄到行为判定结果数据库121bD。

如以上说明那样，根据本实施方式，预先对每个设施以及拍摄场所(建筑物300、各拍摄区域等)将预料为人的停留原因的行为模式登录到行为模式表111g。机器人控制装置110判定被设置于现场的监控摄像机200拍摄到的人是否与登录完毕的行为模式的条件一致。由此，机器人控制装置110根据由监控摄像机200拍摄到的影像来判定有无与登录完毕的行为模式对应的人(停留者)和其停留原因。然后，机器人控制装置110能够通过进行建筑物300内的停留者的检测以及停留原因的确定，使机器人100实施与停留原因对应的向停留者提供的服务。

因此、机器人100能够根据停留者的停留原因适当地提供停留者所希望的服务。并且，通过将停留者所希望的服务提供给该停留者，能够实施用于排除成为停留原因的重要因素的支持。

另外，在本实施方式中，能够任意地变更登录到行为模式表111g的静止时间和动作时间，并且相应的原因/服务也同样地能够任意地变更，所以能够根据设施(例如建筑物300)本身的使用用途、现在的利用状况，使判定基准灵活地对应。利用状况例如是建筑物300是办公室、超市、商业设施、公寓中的任意一个、或者用于其他的目的等的信息。由此，能够对利用设施而停留的人适时地进行最佳的服务/对应。

＜2.变形例＞

此外，行为模式判定部111f在构成根据监控摄像机200的影像检测到的人所属的组(集团)的人数是预定量以上的情况下，不决定提供的服务，不使机器人100进行对相应的人的服务。对属于组的人的希望引导或身体不适的应对能够由组的成员解决的情况较多。因此，约束机器人100的呼唤等服务，防止提供未要求的服务。检测到的人所属的组能够由人检测部111d来检测。例如，人检测部111d根据影像来检测多个人，在一定时间内多个人朝向相同的方向移动或者站立的情况下，判断为所述多个人(停留者)形成组。

另外，在上述的实施方式中，通过监控摄像机200对拍摄区域内的人进行了拍摄，但也可以通过机器人100具备的摄像机102a拍摄人，并根据其拍摄到的影像判断有无停留者。

另外，在建筑物300的同一区域有多名停留者的情况下，机器人控制装置110也可以控制机器人100朝向之前判定为停留者的人。或者，机器人控制装置110也可以控制为机器人100优先朝向多名停留者中抱有不适的人。

另外，在上述的实施方式中，对在假定为人的来往多且停留者也多的设施(机场、车站、商业设施、超市等)配置监控摄像机200的例子进行了说明，但也可以将监控摄像机200设置在来往的人少，且停留者难以产生或者少的设施、场所(例如公寓、员工用通道、卫生间等)。这样，通过将监控摄像机200设置在推测为在停留者难以产生或者少的场所，能够防止因身体不适而跌倒的人被长时间放置。另外，在停留者难以产生的环境中检测到停留者的情况下，身体不适的人或者可疑的人的可能性较高，所以本发明也有助于防犯，通过进一步适当地定义拍摄场所、对象时间段、行为模式，从而提高发现可疑的人的精度。

并且，本发明并不局限于上述的各实施方式例，只要不脱离专利请求书所记载的本发明的主旨，当然能够采取其他各种应用例、变形例。

例如，为了以容易理解本发明的方式进行说明，采用上述的实施方式例详细并且具体地对装置以及系统的构成进行了说明，但是不一定局限于具备说明的所有构件。另外，能够将某实施方式例的构成的一部分置换为其他的实施方式例的构件。另外，也能够对某实施方式例的构成添加其他的实施方式例的构件。另外，也能够对于各实施方式例的构成的一部分进行其他构件的追加、削除、置换。

另外，上述的各构件、功能、处理部、处理手段等也可以通过例如集成电路的设计等由硬件实现它们的一部分或者全部。另外，上述的各构件、功能等也可以通过处理器解释并执行实现各个功能的程序来由软件实现。实现各功能的程序、表、文件等信息能够放置在存储器、硬盘、SSD(Solid State Drive：固态硬盘)等记录装置、或者IC卡、SD卡、DVD等记录介质。

另外，控制线、信息线表示在说明上认为必要的部件，不一定示出产品上所有的控制线、信息线。实际上也可以认为几乎所有的构件相互连接。

另外，在本说明书中，描述时间序列的处理的处理步骤、沿着所记载的顺序按时间序列进行的处理当然不一定按时间序列进行处理，也包括并行或者分别独立地执行的处理(例如，并行处理或者基于对象的处理)。

Claims (7)

1.一种机器人管理系统，具备能够移动的机器人、进行拍摄的摄像机、以及根据由上述摄像机拍摄到的影像检测人的人检测部，上述机器人对由上述人检测部检测到的上述人提供服务，上述机器人管理系统的特征在于，具备：

行为模式表，其将人的静止时间、动作时间以及根据上述静止时间与上述动作时间的组合的反复而定义的行为模式与提供给人的服务关联起来进行登录；以及

行为模式判定部，其在根据上述影像检测到的上述人的行为与登录到上述行为模式表的上述行为模式一致的情况下，基于相应的上述行为模式决定上述机器人应提供给上述人的服务。

2.根据权利要求1所述的机器人管理系统，其特征在于，

上述行为模式判定部在根据上述影像检测到的上述人的行为符合登录到上述行为模式表的上述行为模式的情况下，判断为上述人是停留在现场的人。

3.根据权利要求2所述的机器人管理系统，其特征在于，

在上述行为模式表中，对每个设施登录有上述行为模式和上述服务。

4.根据权利要求2所述的机器人管理系统，其特征在于，

在上述行为模式表中，对设施内的每个拍摄场所登录有上述行为模式和上述服务。

5.根据权利要求4所述的机器人管理系统，其特征在于，

在上述行为模式表中，对每个时间段登录有上述行为模式和上述服务。

6.根据权利要求2所述的机器人管理系统，其特征在于，

上述行为模式判定部在构成根据上述影像检测到的人所属的组的人数是预定量以上的情况下，不使上述机器人进行上述服务。

7.根据权利要求1～6中的任意一项所述的机器人管理系统，其特征在于，

该机器人管理系统具备机器人控制装置，该机器人控制装置基于上述行为模式判定部的决定向上述机器人发送指令并控制上述机器人的动作，

上述行为模式表以及上述行为模式判定部设置于经由网络与上述机器人连接的上述机器人控制装置。

Images