CN118201745A - 管理装置、管理系统、管理方法以及管理程序 - Google Patents

Abstract

根据本公开的一个实施方式，提供一种用于管理商品补充机器人(1)的管理装置(2)，该商品补充机器人(1)进行包括对物品的把持在内的作业。管理装置(2)具备：接收部，其接收从商品补充机器人(1)发送的表示无法确定作为作业对象的物品的通知等；以及显示控制部(262)，其能够基于由接收部接收到通知来将操作画面(931)显示于显示部。操作画面(931)包括由商品补充机器人(1)拍摄到的摄像图像(932)以及用于受理操作员的与摄像图像中映出的物品有关的指示的指示输入用户接口(933、934)。

Description

管理装置、管理系统、管理方法以及管理程序

技术领域

本公开涉及一种管理装置、管理系统、管理方法以及管理程序。

背景技术

在专利文献1中，公开了一种为了业务的省力化而以无人的方式进行商品的补充的商品补充系统。该商品补充系统具有用于对作为补充对象的商品进行拍摄的拍摄装置、以及用于移动商品的多关节机器人装置。多关节机器人装置将作为补充对象的商品从预先配置该商品的规定的位置拾取并移动到陈列架。

现有技术文献

专利文献

专利文献1：日本特开2018-110755号公报

发明内容

发明要解决的问题

在专利文献1那样的系统中，有时发生根据摄像部的摄像结果而无法正确地识别作为对象的物品的状况，但是在该文献中未公开在这种情况下采取怎样的应对。专利文献1的机器人并非是被远程操作的机器人，但是在远处的操作员对机器人进行操作那样的系统中，要求能够准确地进行对作为操作对象的机器人的指示的结构。这样的问题不限于在运用用于补充商品的机器人时存在，而是在运用自动地进行包括对物品的把持在内的作业的机器人时共通的问题。

因此，本公开的目的在于提供一种在自动地进行规定的作业的机器人中发生了无法执行该作业之类的事件等规定的错误的情况下操作员能够容易地识别状况并能够准确地进行对机器人的指示的管理装置、管理系统、管理方法以及管理程序。

用于解决问题的方案

根据本公开的一个方式，提供一种管理装置，用于管理机器人，该机器人基于摄像部的摄像图像和距离检测部的检测结果中的至少任一方来确定作为作业对象的物品，并进行包括对所确定出的物品的把持在内的作业，所述管理装置具备：接收部，其接收从机器人发送的表示规定的错误的通知；以及显示控制部，其能够基于由接收部接收到通知来将操作画面显示于显示部，其中，操作画面包括由机器人的摄像部拍摄到的摄像图像以及用于受理操作员的与摄像图像中映出的物品有关的指示的指示输入用户接口。

发明的效果

根据本公开，能够提供一种在自动地进行规定的作业的机器人中发生了无法执行作业之类的事件的情况下操作员能够容易地识别状况并能够准确地进行对机器人的指示的管理装置、管理系统、管理方法以及管理程序。

附图说明

图1是示出商品补充系统的结构的图。

图2是示意性地示出店铺内的架的配置和配置在店铺内的机器人的俯视图。

图3是从前面侧观察陈列架的图。

图4是从后面侧观察陈列架的图。

图5是示出商品补充机器人和管理装置的结构的框图。

图6是示出终端装置的结构的框图。

图7是示出在变更了陈列架的商品的配置的情况下进行的工序的流程图。

图8是由商品补充机器人进行的商品补充动作的流程图。

图9是由商品补充机器人拍摄到的陈列架的图像。

图10是显示于终端装置的操作画面。

图11是显示于终端装置的操作画面。

图12是示出陈列架的引导框的例子的图。

图13是显示于终端装置的操作画面。

图14是显示于管理装置的操作画面。

图15是显示于管理装置的操作画面。

图16是显示于管理装置的操作画面。

图17是显示于管理装置的操作画面。

图18是显示于管理装置的操作画面。

图19是显示于管理装置的操作画面。

图20是显示于管理装置的操作画面。

具体实施方式

下面，参照附图来对本公开的实施方式进行说明。图1是示出商品补充系统的结构的图。图2是示意性地示出店铺内的架的配置和配置在店铺内的机器人的俯视图。图3是从前面侧观察陈列架的图。图4是从后面侧观察陈列架的图。

在本实施方式中，作为机器人的一例，例示进行商品的补充的商品补充机器人，但是本公开除了能够应用于商品补充机器人以外，还能够应用于例如具有把持规定的对象物的功能的各种作业机器人。作为这样的作业机器人，例如能够举出在物流设施中把持物品的机器人、在工厂等中把持规定的物品的机器人等。

商品补充系统S100具备商品补充机器人1、管理装置2以及终端装置3。商品补充机器人1例如被配置在便利店等店铺内，用于向陈列架410补充商品T。管理装置2被配置在与店铺分离的远处，在操作员对例如商品补充机器人1进行远程操作时使用该管理装置2。终端装置3是店铺内的店员所使用的设备。

商品补充系统S100的特征之一在于：在商品补充机器人1没能正确地识别例如商品T的情况下，向管理装置2发送表示错误的通知，管理装置2显示包括用于供远处的操作员输入指示的用户接口的操作画面。商品T的形状、店铺内的架的配置、商品补充机器人1的具体的结构不被限定为特定的形状、配置、结构，但是，下面以图2所示那样的架的配置来说明商品T为饮料的例子。

商品T例如是装入塑料瓶、瓶或罐等容器中的饮料。在图2中，绘制了塑料瓶饮料的商品T，商品T具有容器主体Ta和盖构件Tb。盖构件Tb是将容器主体Ta密封的构件，例如由不具有透光性的材料形成。商品T也可以是不具有盖构件的罐饮料。

(店内的架配置)

店铺内被分为店内空间SH1和库房空间(backyard space)SH2。店内空间SH1是顾客选择和购买商品T的空间。库房空间SH2是用于保管商品T的库存的空间。在店铺内配置有陈列架410、库存架420以及商品补充机器人1。

如图3和图4所示，陈列架410具有多个搁板411(也称为陈列架的层)。在搁板411上配置有多种商品T。例如，相同种类的商品T被排列成2列或3列。商品T也可以仅排列1列。陈列架410的前面面向店内空间SH1，顾客能够从陈列架410的前面侧取商品T。搁板411以使陈列架410的前面侧相对变低的方式倾斜。由此，当顾客取出商品T时，排列在该商品T的后面的其它商品T在搁板411上滑动而向前面侧移动。

陈列架410的后面面向库房空间SH2，店员或商品补充机器人1从陈列架410的后面侧向陈列架410补充商品T。虽然省略图示，但是也可以在陈列架410的前面和后面设置门。在图2中，仅绘制了1个陈列架410，但是也可以在店铺内配置多个陈列架410。

库存架420配置为在库房空间SH2内与陈列架410相向。也就是说，库存架420的前面与陈列架410的后面彼此相向。库存架420与陈列架410同样地具有沿高度方向配置的多个搁板(层)。在库存架420的搁板排列有作为应向陈列架410补充的商品的补充对象商品。排列补充对象商品的既可以是店员，也可以是商品补充机器人1。

(商品补充机器人1的结构)

如图5的框图所示，商品补充机器人1具备：控制装置10、机械臂16、移动机构17、摄像部18以及距离检测部19。商品补充机器人1既可以具备摄像部18和距离检测部19这双方，也可以仅具有摄像部18和距离检测部19中的一方。

如图2所示，机械臂16具有臂部16a和把持部16b。臂部16a是具有多个连杆构件的多关节机械臂。把持部16b具有例如用于把持对象物的一对把持构件。一对把持构件具有能够把持作为塑料瓶饮料的商品T的盖构件Tb的附近的形状。一对把持构件具有还能够把持作为罐饮料的商品T的外周部的形状。把持部16b除了由一对把持构件构成以外，也可以具有用于吸附并保持对象物的吸附构造，还可以具有利用粘接力、磁力等来保持对象物的构造。

移动机构17具有马达等致动器和传递机构，用于使机械臂16在陈列架410与库存架420之间的空间内移动到任意的位置。移动机构17也可以具有例如升降机构和水平移动机构中的一方或双方。升降机构是使机械臂16在铅垂方向上移动的机构。水平移动机构是沿着例如铺设在店铺内的导轨运动的机构，用于使机械臂16在水平方向上移动。

摄像部18具有对陈列架410和/或库存架420进行拍摄来生成摄像图像(例如RGB图像)的摄像元件。摄像部18既可以为1个，也可以为多个。摄像部18将所生成的摄像图像的数据输出到控制装置10。摄像部18被设置在商品补充机器人1的任意的位置。在商品补充机器人1具有能够与远处的操作员的运动联动地改变朝向的可动机构(未图示)的情况下，摄像部18也可以被安装于该可动机构。在该情况下，摄像部18与操作员的运动联动地进行运动，因此，操作员能够使摄像部18朝向期望的拍摄对象来进行拍摄。

摄像部18也可以被安装于例如机械臂16。通过机械臂16改变朝向，从而摄像部18能够对陈列架410进行拍摄，或者对库存架420进行拍摄。作为摄像部18，也可以设置有第一摄像机(未图示)和第二摄像机(未图示)。作为更具体的例子，机械臂16也可以具有被配置为对陈列架410进行拍摄的朝向的第一摄像机、以及被配置为对库存架420进行拍摄的朝向的第二摄像机。

距离检测部19是用于测量到商品T的距离数据的深度传感器(距离传感器)。距离检测部19既可以为1个，也可以为多个。距离检测部19也可以与摄像部18相邻地配置。距离检测部19的检测对象是陈列架410和库存架420中的一方或双方。距离检测部19将获取到的距离数据输出到控制装置10。距离检测部19例如能够利用立体透镜方式、LiDAR(LightDetection and Ranging：激光探测与测量)方式的设备。

控制装置10具有输入部11、接口部12、存储部13、输出部14以及控制部15(参照图5)。

输入部11是键盘、鼠标或触摸面板等用于对计算机进行输入的设备。接口部12是用于与外部的设备发送接收数据的通信接口。接口部12例如作为用于接收从商品补充机器人1发送的通知的接收部发挥功能。控制装置10经由未图示的网络(例如因特网)来与管理装置2以能够通信的方式连接。控制装置10也可以与终端装置3以能够通信的方式连接。

存储部13包括ROM(Read Only Memory：只读存储器)、RAM(Random AccessMemory：随机存取存储器)以及HDD(Hard Disk Drive：硬盘驱动器)等存储介质。存储部13用于存储由控制部15执行的计算机程序。存储部13也可以为了能够由机械臂16把持作为对象的商品T并将所把持着的商品移动到陈列架410而存储以下数据：与陈列架410有关的数据(形状数据、位置数据、或通道坐标数据等)、与库存架420有关的数据(形状数据、位置数据、或通道坐标数据等)、以及与商品T有关的数据(形状数据、位置数据等)中的1个或多个数据。

输出部14用于商品补充机器人1对店员输出警报，例如是扬声器、显示器、发光设备以及振动设备中的1个或组合。

控制部15例如是CPU(Central Processing Unit：中央处理单元)。控制部15通过执行存储部13中存储的计算机程序，来作为动作控制部151、显示控制部152以及图像处理部153发挥功能。动作控制部151对输出部14、机械臂16、移动机构17、摄像部18以及距离检测部19等的动作进行控制。动作控制部151经由接口部12向管理装置2发送摄像部18所生成的图像数据。图像数据既可以是静止图像，也可以是运动图像(包括实时地向外部发送由摄像部18拍摄到的图像数据的流运动图像的形式)。

在设置有显示器来作为输出部14的情况下，显示控制部152控制该显示器的显示。

图像处理部153具有可否陈列判定部1531和把持对象确定部1532。这些功能部均是在商品补充机器人1正在进行一系列商品补充动作的期间基于由商品补充机器人1的摄像部18拍摄到的摄像图像数据和/或由距离检测部19获取到的距离数据来进行规定的数据处理的处理部。

可否陈列判定部1531基于由摄像部18生成的摄像图像数据和由距离检测部19获取到的距离数据中的至少一方，来判定例如在排列于陈列架410的最末尾的商品T的后方是否还存在能够配置商品的空间Sp(参照图9)。在存在空间Sp的情况下，需要补充该商品T。因而，在存在空间Sp的情况下，可否陈列判定部1531向动作控制部151发送应补充该商品T的意思的通知。动作控制部151在接收到该通知的情况下，针对该商品T进行补充动作。可否陈列判定部1531在无法判定有无空间Sp的情况下，经由接口部12向管理装置2发送无法判定有无空间Sp的意思的通知。

把持对象确定部1532基于由摄像部18生成的摄像图像和由距离检测部19获取到的距离数据中的至少一方，来进行以下处理中的至少一个处理：在库存架420是否存在作为把持对象的补充对象商品的判定；补充对象商品的尺寸或形状的确定；以及补充对象商品的把持位置的决定。在是具有图2所示那样的盖构件Tb的商品T的情况下，把持对象确定部1532将把持位置设定在例如盖构件Tb的附近。另一方面，在商品T为不具有盖构件的罐饮料等的情况下，把持对象确定部1532也可以将容器的侧面部分设定为把持位置。

把持对象确定部1532例如在无法判定在库存架420是否存在补充对象商品的情况下，经由接口部12向管理装置2发送无法判定是否存在补充对象商品的意思的通知。把持对象确定部1532在无法确定补充对象商品的尺寸的情况下、或者在无法确定补充对象商品的形状的情况下、或者在无法决定补充对象商品的把持位置的情况下，分别将无法确定补充对象商品的尺寸的意思的通知、无法确定补充对象商品的形状的意思的通知、或者无法决定补充对象商品的把持位置的意思的通知经由接口部12发送到管理装置2。

以上，对控制部15的各部(动作控制部151、显示控制部152以及图像处理部153)各部的功能进行了说明，但是只要处理是由控制部15进行的，则由某个功能部执行的处理也可以由其它功能部来执行。

(关于管理装置2)

管理装置2具备显示部21、输入部22、操作部23、接口部24、存储部25以及控制部26。

显示部21是用于显示各种信息的显示器。显示部21也可以是触摸面板式显示器。显示部21也可以是佩戴于操作员的头部的头戴式显示器。输入部22是键盘、鼠标、触摸面板等用于对计算机进行输入的设备。操作部23是用于对商品补充机器人1进行远程操作的设备。操作部23也可以是例如方向盘、操纵杆、踏板、按钮等。操作部23既可以是麦克风等声音输入设备，也可以是用于识别操作员的身体或手的运动的姿势输入设备。接口部24是用于与外部的设备发送接收数据的通信接口。

管理装置2与商品补充机器人1及终端装置3以能够通信的方式连接。在图1中，示出了针对1个管理装置2连接了1个店铺的1个商品补充机器人1的图，但是也可以是，多个店铺的多个商品补充机器人1与管理装置2连接。即，也可以是1个管理装置2对多个店铺的商品补充机器人1进行远程操作。

存储部25包括ROM(Read Only Memory：只读存储器)、RAM(Random AccessMemory：随机存取存储器)以及HDD(Hard Disk Drive：硬盘驱动器)等存储介质。存储部25存储由控制部26执行的计算机程序。存储部25存储有用于供操作员对由商品补充机器人1进行的商品的补充进行支援的面向操作员的应用程序的数据。具体地说，存储部25存储有后述的图形用户接口的数据。存储部25也可以将操作员负责管理的店铺的识别信息、设置于该店铺的商品补充机器人1的识别信息、以及该操作员的任务信息的列表与该操作员的用户ID相关联地存储(详情参照图14来进行说明)。

控制部26例如是CPU(Central Processing Unit：中央处理单元)。控制部26通过执行存储部25中存储的计算机程序，来作为动作控制部261、显示控制部262以及图像处理部263发挥功能。动作控制部261是对管理装置2的基本的动作进行控制的功能部，例如，基于对操作部23的输入，来生成用于控制商品补充机器人1的控制信号，将所生成的信号经由接口部24发送到商品补充机器人1。

显示控制部262对显示部21的显示进行控制。具体地说，显示控制部262在经由接口部24从例如商品补充机器人1接收到规定的通知的情况下、或者在操作员对输入部22进行了规定的输入的情况下，适当变更显示部21的显示内容。

显示控制部262基于接收到来自商品补充机器人1或终端装置3等外部设备的通知来使规定的操作画面(用户接口)为能够显示于显示部21的状态。“显示控制部基于接收到通知来使操作画面(用户接口)为能够显示的状态的结构”既可以是控制部26在接收到通知的情况下将操作画面显示于显示部21的结构，也可以是在控制部26接收到通知之后控制部26进一步接收到某种输入(例如由操作员进行的操作)才将操作画面显示于显示部21的结构。在本说明书中，在关于与上述不同的处理使用了这样的表现的情况下也是同样的。

图像处理部263具有例如点注释赋予部2621。点注释赋予部2621对由商品补充机器人1拍摄到的陈列架410的后面的图像进行图像解析，来确定各通道的坐标。点注释赋予部2621也可以确定陈列架410上的商品的坐标。点注释赋予部2621也可以对图像内的与所确定出的坐标对应的位置赋予点等图像。

(关于终端装置3)

终端装置3具有显示部31、输入部32、接口部33、存储部34、摄像部35以及控制部36。终端装置3是例如在店铺内由店员使用的平板型的终端。

显示部31是用于显示各种信息的显示器。显示部31也可以是触摸面板式显示器。在该情况下，触摸面板相当于输入部32。关于输入部32，除了设置触摸面板以外，还可以设置麦克风等。接口部33是用于与外部的设备发送接收数据的通信接口。终端装置3经由任意的网络来与管理装置2及商品补充机器人1中的一方或双方连接。

存储部34包括ROM(Read Only Memory)、RAM(Random Access Memory)以及HDD(Hard Disk Drive)等存储介质。存储部34存储由控制部36执行的计算机程序。存储部34存储有后述的图形用户接口的数据。存储部34存储有后述的面向店员的应用程序的数据。摄像部35是生成静止图像或运动图像的图像数据的摄像机。

控制部36例如是CPU(Central Processing Unit)。控制部36通过执行存储部34中存储的计算机程序，来作为动作控制部361、显示控制部362以及图像处理部363发挥功能。动作控制部361对终端装置3的包括摄像部35在内的各部的动作进行控制。显示控制部362对显示部31的显示进行控制。图像处理部363是用于执行面向店员的应用程序中的1个功能的功能部，具有引导框确定部3631。在店员对陈列架410进行拍摄时，引导框确定部3631以使引导框重叠于由摄像部35正在拍摄的图像的方式使图像显示于显示部31。

(变更了陈列架的商品的情况下的流程以及由商品补充机器人进行的动作的流程)

参照图7和图8来对如以上那样构成的商品补充系统S100中的流程进行说明。图7是示出在店员变更了陈列架410的商品T(参照图1)的配置的情况下进行的工序的流程图。图8是由商品补充机器人1进行的商品补充动作的流程图。

在本实施方式的商品补充系统S100中，在图7和图8的流程图的各工序中利用各种用户接口。关于对用户接口的详细的说明，参照其它附图来在后文叙述。首先，下面简单地说明按照图7和图8的流程图的整体的流程。此外，“架分配数据”是指表示在陈列架的哪个通道配置有哪个商品的数据。

在例如发售了新的饮料产品的情况下、或者在存在所处理的商品的更换的情况下，需要更新架分配数据。下面，说明店员使用终端装置3拍摄陈列架的图像并将所拍摄到的图像发送到管理装置2、并且在管理装置2侧由操作员登记架分配数据的一系列流程。首先，在步骤S1中，店员变更陈列架410的商品T的配置。

接着，在步骤S2中，店员使用终端装置3对陈列架410的前面进行拍摄。店员无需对店铺内的所有陈列架410进行拍摄，而仅对商品的配置发生了变更的陈列架410进行拍摄。关于在对陈列架410进行拍摄时显示于终端装置3的用户接口，参照其它附图来在后文叙述。陈列架410的摄像图像从终端装置3被发送到管理装置2。

接着，在步骤S3中，商品补充机器人1对陈列架410的后面进行拍摄，并将陈列架410的后面的图像发送到管理装置2。由商品补充机器人1进行的该拍摄动作既可以在例如店员对商品补充机器人1给出了开始的指示的情况下开始进行，也可以在由远处的操作员经由管理装置2对商品补充机器人1给出了开始的指示的情况下开始进行。

接着，在步骤S4中，操作员使用管理装置2来登记陈列架信息(与搁板的层数、通道有关的信息)。操作员使用管理装置2还登记商品的信息(步骤S5)。然后，操作员将所登记的陈列架信息和商品信息从管理装置2发送到终端装置3。

接着，在步骤S6中，店员使用终端装置3来确认管理装置2发送的陈列架信息、商品信息。店员根据需要从终端装置3向管理装置2发送修订登记信息的委托。接着，在步骤S7中，操作员使用管理装置2来制作最终的架分配数据，并将该最终的架分配数据存储于管理装置2的存储部25。

接着，在步骤S8中，店员向库存架420补充商品T，以使商品补充机器人1能够自动地进行商品T的补充动作。接着，在步骤S9中，店员使商品补充机器人1开始进行补充动作(自动陈列)。此外，补充动作的开始未必需要由店员指示，也可以由操作员经由管理装置2来给出指示。接着，在步骤S10中，商品补充机器人1开始进行商品T的补充动作。

(由商品补充机器人进行的商品补充动作)

由商品补充机器人1进行的商品T的补充动作如下。下面，说明摄像部18和距离检测部19设置于机械臂16的例子。首先，在步骤S11中，商品补充机器人1对陈列架410的后面进行拍摄。商品补充机器人1使机械臂16移动，使得摄像部18和距离检测部19能够对陈列架410的规定的层进行拍摄。接着，商品补充机器人1使摄像部18进行动作来获取陈列架410的后面的图像，并且通过使距离检测部19进行动作来获取到排列在陈列架410上的商品T的距离数据。

接着，在步骤S12中，进行可否陈列的判定。“可否陈列的判定”是由商品补充机器人1对所拍摄到的陈列架的后面的图像进行解析来判定能够陈列哪个商品T(换言之，哪个商品T是需要补充的商品)的步骤。商品补充机器人1获取图9那样的陈列架410的后面的图像。

商品补充机器人1能够从距离检测部19获取到商品T的距离数据，因此，针对如通道“7”、“8”的商品T那样陈列数减少的情况，能够识别出在商品T的后方存在空间Sp。商品补充机器人1基于到商品T的距离数据来判定有无商品T的空间Sp，从而判定在通道“7”、“8”是否能够进一步陈列商品T。通过步骤S12的工序来判定陈列架410的哪个商品T是需要补充的商品。

此外，判定是否是需要补充的商品的方法不限定于上述的方法，能够利用各种方法。例如，也可以是，判定在规定的三维空间内以多少百分率左右的占有率配置商品T，在该值为规定的基准值以下的情况下，判定为需要补充商品T。

接着，在步骤S13中，对库存架420进行拍摄。商品补充机器人1使机械臂16和摄像部18等进行动作来对库存架420从前面侧进行拍摄。作为一例，商品补充机器人1对库存架420一层一层地进行拍摄，来获取表示商品T的库存状况的摄像图像。对库存架420的拍摄无需在对陈列架410的拍摄之后进行，也可以在对陈列架410进行拍摄之前对库存架420进行拍摄。

接着，在步骤S14中，商品补充机器人1对在步骤S13中获取到的库存架420的摄像图像进行分析，来进行排列于库存架420的商品的识别、把持位置的确定等。通过到此为止的工序，由商品补充机器人1获取表示陈列架410的哪个位置的哪个商品T是需要补充的商品的信息、以及表示与该商品T对应的补充对象商品存在于库存架420的哪个位置、该补充对象商品的把持位置是哪里的信息。

接着，在步骤S15中，商品补充机器人1基于获取到的上述信息来进行商品补充动作(拾取和放置动作)。具体地说，商品补充机器人1的控制部15(参照图5)的动作控制部151使移动机构17和机械臂16进行动作，来使把持部16b朝向库存架420的规定的补充对象商品移动。然后，通过把持部16b把持补充对象商品的预先确定出的把持位置，并拿起补充对象商品。之后，动作控制部151使机械臂16进行动作，来使所把持着的商品T移动到陈列架410的规定的载置位置，通过将商品T从把持部16b放开来将商品T载置于规定的位置。此后，商品补充机器人1重复进行同样的拾取和放置动作来完成商品T的补充。

上述一系列工序是用于商品补充机器人1将商品T从库存架420自动地补充到陈列架410的基本的动作。在本实施方式中，在这样的一系列工序中，例如在商品补充机器人1(a)没能判定商品的可否陈列、或者(b)没能识别排列于陈列架的商品、或者(c)没能确定商品的把持位置的情况下，商品补充机器人1向管理装置2发送通知，并在管理装置2显示操作画面(用户接口)以使操作员能够进行规定的支援。

在本实施方式中，显示于管理装置2的操作画面是技术特征之一。然而，在商品补充系统S100中的整体的作业流程的各种工序中利用了各种操作画面，因此，下面重新参照图7所示的流程图来对具体的操作画面进行说明。在下面的说明中，设为在店铺内设置有4个陈列架，在操作画面中如“陈列架1”～“陈列架4”那样进行显示。另外，只要没有特别需要，则商品、陈列架以及库存架以不被标注附图标记的方式记载。

首先，在步骤S1(参照图7)中，店员变更规定的陈列架的商品的配置。这里，作为一例，设为“陈列架1”的若干个商品的配置被进行了变更。

接着，在步骤S2中，店员拍摄商品的配置被进行了变更的“陈列架1”的正面的图像。具体地说，例如，店员用终端装置3启动面向店员的应用程序，并输入用户ID和登录密码。终端装置3在基于店员输入的用户ID和登录密码对用户进行了认证之后，使图10那样的操作画面801显示于显示部31。

操作画面801是包含机器人管理图标802、陈列架拍摄图标803、陈列架分配确认图标804以及库存补充图标805的用户接口。机器人管理图标802是用于开始用于管理商品补充机器人1的模式的图标。陈列架拍摄图标803是用于开始终端装置3对陈列架进行拍摄的模式的图标。

陈列架分配确认图标804是用于开始由终端装置3确认在管理装置2侧由操作员登记的信息的模式的图标。库存补充图标805是用于开始登记与商品的补充有关的各种信息的模式的图标。在下面的说明中，以在按下陈列架拍摄图标803之后显示的用户接口为中心进行说明。

当店员按下陈列架拍摄图标803时，终端装置3使图11所示那样的操作画面811显示于显示部31。操作画面811包含架显示部812a～812d(也称为架显示部812)、陈列架照片变更图标813、空通道信息修正图标814以及发送图标815。架显示部812是用于显示由店员用终端装置3拍摄到的陈列架的正面的图像的区域。架显示部812的数量与店铺内的陈列架的数量对应。

陈列架照片变更图标813是用于变更显示于架显示部812a～812d的照片的图标。空通道信息修正图标814是用于变更没有排列商品的空的通道的商品信息的图标。发送图标815是用于从终端装置3向管理装置2发送由店员进行变更后的信息的图标。此外，在图11中，店员过去对各陈列架进行一次拍摄，当时拍摄到的陈列架的前面的图像被作为默认图像显示于各个架显示部812a～812d。

本次商品的配置被进行了变更的陈列架是“陈列架1”。因而，店员按下与“陈列架1”对应的陈列架照片变更图标813。于是，终端装置3的摄像功能启动，变为能够由终端装置3的摄像部35(参照图6)对陈列架进行拍摄的状态。如图12所示，终端装置3也可以具有将引导框816以重叠于由摄像部35进行拍摄的陈列架410的方式显示于显示部31的功能，以在用终端装置3对陈列架进行拍摄时店员能够将陈列架的整体很好地收入画面中来进行拍摄。

具体地说，引导框确定部3631(参照图6)识别例如图像中映出的1个陈列架410，生成包围1个陈列架410的尺寸的引导框816的数据，显示控制部362将引导框816以重叠于摄像图像的方式显示于显示部31。店员一边参考该引导框816，一边以使陈列架410收进引导框816的方式调整拍摄位置并对陈列架进行拍摄。

店员确认所拍摄到的“陈列架1”的图像，如果没有问题，则按下登记图标(未图示)。接下来，终端装置3显示图13的操作画面821。操作画面821包含架显示部812、发送图标815、信息输入图标822以及空通道信息显示部824。在架显示部812显示“陈列架1”的图像。

信息输入图标822包含多个图标。显示为“填写”的图标是用于指定产品被变更了的层的图标。显示为“完成”的图标是在对层的指定完成了的情况下由店员按下的图标，显示为“修订”的图标是在要变更层的指定范围时由店员按下的图标。店员首先按下“填写”的图标，用框823包围产品被变更了的层。关于对框823的指定，例如也可以通过店员用手指在触摸面板上输入四边形的1个角及其对角，来输入包围1个层的尺寸的框823。如果该作业结束，则店员按下“完成”的图标。

在陈列架存在空通道(也就是说，未排列有商品T的通道)的情况下，店员读取安装于例如陈列架的通道的、表示商品信息的价格牌(price card)的码，以便应排列于空通道的商品也被正确地登记。另外，店员输入空通道的陈列位置信息。在图13中，例如，作为空通道的信息，陈列架的第二层的通道编号1为空通道且该通道的商品为“abc”被显示于空通道信息显示部824。

通过到此为止的工序，准备商品的配置被进行了变更的陈列架的正面的图像，以及在存在空通道的情况下准备空通道的商品信息。店员通过按下操作画面821的发送图标815，来从终端装置3向管理装置2发送这些信息。

接着，在步骤S3(参照图7)中，例如店员使商品补充机器人1进行动作，来使商品补充机器人1拍摄陈列架的后面的照片。商品补充机器人1对陈列架中的商品被进行了变更的规定的层(例如“陈列架1”的第二层)的后面进行拍摄，并向管理装置2发送摄像图像。

接着，对步骤S4、S5、S7这些由管理装置2执行的工序进行说明。在管理装置2中安装有面向操作员的应用程序。在步骤S4中，为了登记陈列架坐标，操作员启动管理装置2的面向操作员的应用程序。

管理装置2将图14所示那样的操作画面901显示于显示部21。操作画面901是包含任务列表显示部902和开始支援图标903的执行任务表。

任务列表显示部902是包含任务信息的表，在该任务信息中，与登录了管理装置2的操作员负责管理的多个店铺的店铺ID和/或配置于店铺的商品补充机器人的机器人ID相关联地示出各个店铺或商品补充机器人需要怎样的支援。按每个任务显示开始支援图标903，操作员能够按下该开始支援图标903来选择任务。

在任务列表显示部902的“支援内容”一栏中显示有“陈列架坐标登记”、“商品信息登记”、“可否陈列判定”、“把持对象识别”、“拾取复原”、“放置复原”以及“其它复原”等任务信息。“陈列架坐标登记”是为了使商品补充机器人1能够自动地补充商品而操作员事先登记陈列架的通道的坐标信息等的任务。“商品信息登记”是操作员1个1个地登记在各通道配置怎样的商品的任务。

“可否陈列判定”是在商品补充机器人1无法判定在陈列架是否能够陈列商品的情况下由操作员判断可否陈列商品并进行指示的任务。“把持对象识别”是在商品补充机器人1无法确定库存架的应把持的商品的情况下由操作员确定对象并进行指示的任务。“拾取复原”和“放置复原”是在商品补充机器人1把持商品的情况下(拾取)和载置商品的情况下(放置)发生了需要进行某种辅助的事件的情况下由操作员进行支援的任务。

在步骤S3(参照图7)中，陈列架坐标的登记是任务，因此，操作员从任务列表显示部902选择作为对象的店铺的“陈列架坐标登记”，并按下开始支援图标903。于是，管理装置2将图15所示的操作画面911显示于显示部21。操作画面911包含架选择图标912、陈列架前面图像913、陈列架后面图像914、通道坐标显示指示符915、层变更图标916a、916b、以及坐标登记完成图标917。

架选择图标912是用于选择多个陈列架中的1个陈列架的图标。与店铺的陈列架的数量对应地显示有4个架选择图标912a～912d。在该操作画面911中，在“陈列架1”的架选择图标912a处显示有通知徽章918。

管理装置2的显示控制部262基于从终端装置3发送的、表示商品的配置被进行了变更的陈列架的信息，来确定商品的配置被进行了变更的陈列架。显示控制部262针对商品的配置被进行了变更的陈列架，在与该陈列架对应的架选择图标91处显示作为用于表示需要由操作员进行确认作业的所述陈列架的指示符的通知徽章918。像这样，根据显示通知徽章918的结构，操作员能够容易地识别出针对哪个陈列架进行坐标登记的作业(详情下述)即可。

陈列架前面图像913是店员通过终端装置3拍摄到的陈列架的前面的图像。当操作员选择了架选择图标912a时，管理装置2的显示控制部262将“陈列架1”的前面的图像作为陈列架前面图像913来显示。

陈列架后面图像914是由商品补充机器人1拍摄到的陈列架的后面的图像。管理装置2将通过架选择图标912选择出的陈列架(这里为“陈列架1”)的后面的图像作为陈列架后面图像914来显示。在该陈列架后面图像914中，画面中映出的陈列架的层具有“1”～“10”这10个通道。

通道坐标显示指示符915是表示各通道的坐标的信息。在本实施方式中，管理装置2的点注释赋予部2621(参照图5)对摄像架的后面的图像进行分析，来确定各个通道的坐标(与陈列架的横向平行的x方向、以及与陈列架的上下方向平行的z坐标)的信息。然后，将“1”～“10”的指示符以与各通道的位置对应的方式重叠于陈列架的后面图像地显示。

通道坐标显示指示符915所示出的坐标信息在商品补充机器人1进行补充商品T的动作时使用。因而，需要准确地设定各通道的坐标信息。如图15的操作画面911那样，根据管理装置2所确定出的坐标作为通道坐标显示指示符915易于理解地显示于图像中的结构，操作员能够在画面上确认通道坐标显示指示符915的位置，因此，能够确认是否正确地设定了坐标信息。在确认了坐标的位置之后，操作员按下坐标登记完成图标917。

在对陈列架的其它层也需要进行作业的情况下，操作员按下向上三角形的层变更图标916a或向下三角形的层变更图标916b。由此，显示当前正在显示的层的上1层或下1层的图像。在针对其它层也需要由操作员进行作业的情况下，管理装置2也可以使通知徽章(未图示)显示在层变更图标916a、916b的附近。例如，在针对当前作为陈列架后面图像914所显示的层的上层需要进行作业的情况下，使通知徽章显示在层变更图标916a的附近。

(商品信息登记)

接着，在步骤S5(参照图7)中，操作员登记商品信息。在该工序中，管理装置2使图16所示那样的操作画面921显示于显示部21。

操作画面921包含架选择图标912、陈列架前面图像913、层选择图标922、瓶图标923、商品信息输入部925、登记/变更图标926以及委托给店员图标927。架选择图标912和陈列架前面图像913与在图15中显示的图像相同，因此省略说明。

层选择图标922是用于选择陈列架的层的图标，在此例子中，显示有“第一层”～“第六层”的层选择图标922。瓶图标923是用于选择排列于陈列架的商品的图标，在此例子中，与通道的数量对应地显示有“1”～“10”的瓶图标923。商品信息输入部925包含商品关键词输入部925a、候选图像显示部925b以及选择图标925c。

操作员在操作画面921中按如下过程输入商品的信息。首先，操作员选择层选择图标922中的例如第二层。接下来，当由操作员选择了例如“1”的瓶图标923时，管理装置2转变为受理第二层第一通道的商品的信息的输入的状态。在该状态下，操作员在商品关键词输入部925a输入商品名称。管理装置2从存储部25读出与所输入的商品名称对应的商品的图像，并将其显示于候选图像显示部925b。

即使是相同产品，饮料产品的设计也有时根据例如容量等的差异等而存在多种设计。在所显示的商品不是期望的商品的情况下，操作员按下左右任一个选择图标925c。当选择图标925c被按下时，管理装置2从存储部25读出与所输入的商品名称相关联的其它候选图像，并使该其它候选图像显示于候选图像显示部925b。

操作员确认所输入的商品名称和所显示的商品图像，如果能够以该内容进行登记，则按下登记/变更图标926来完成通道“1”的商品的信息的登记。此后，通过同样的过程来登记作为对象的通道的商品的信息。在为了登记商品的信息而需要由店员进行规定的支援的情况下，操作员按下委托给店员图标927，来向店员传递委托内容。一系列作业结束，操作员通过按下完成图标(未图示)，来将操作员所输入的信息登记到管理装置2。

之后，管理装置2向终端装置3发送所登记的信息。然后，在步骤S6中(参照图7)，店员经由终端装置3来确认登记内容，根据需要从终端装置3向管理装置2发送修订的委托。之后，在步骤S7中，操作员生成最终的架分配数据并将其登记到管理装置2。

以上，说明了以下流程：在变更了陈列架的商品的配置的情况下，店员通过终端装置3对陈列架进行拍摄，操作员基于该摄像图像使用管理装置2来进行商品的信息登记。像这样，为了使商品补充机器人1自动地进行商品的补充动作，需要预先准备商品的配置位置、商品自身的准确的信息。根据本实施方式的结构，在终端装置3和管理装置2中显示图10～图16那样的用户接口，从而店员或操作员能够进行规定的作业，因此，能够高效地制作陈列架的架分配数据。

(可否陈列判定、把持对象识别、拾取/放置复原)

接下来，依次说明操作员进行的任务中的可否陈列判定、把持对象识别以及拾取/放置复原。

A.可否陈列判定

如上所述，商品补充机器人1进行图8的步骤S12的商品可否陈列的判定。具体地说，商品补充机器人1判定在陈列架是否存在能够陈列商品T的空间Sp(参照图9)。商品补充机器人1在无法判定是否存在空间Sp的情况下，将表示无法判定的通知作为错误通知发送到管理装置2。商品补充机器人1还将所拍摄到的陈列架的后面的图像也发送到管理装置2。管理装置2接收这些错误通知和图像数据。

在操作员从任务列表显示部902(参照图14)中选择“可否陈列判定”并按下开始支援图标903的情况下，管理装置2使图17所示那样的操作画面931显示于显示部21。

操作画面931包含陈列图像显示部932、商品确定图标933、指示输入图标934以及可否陈列判定完成图标935。商品确定图标933、指示输入图标934以及可否陈列判定完成图标935是用于受理操作员的指示的指示输入用户接口。

陈列图像显示部932是用于显示从商品补充机器人1发送的陈列架的后面的图像的窗口。在该图像中，作为一例，通道“1”的最末尾的商品T1的附近由于阴影S而变暗，成为商品补充机器人1无法判定在商品T1的后方是否存在能够陈列商品的空间的状况。同样地，在通道“6”也是，最末尾的商品T6的附近由于阴影S而变暗，成为商品补充机器人1无法判定在商品T6的后方是否存在能够陈列商品的空间的状况。

管理装置2确定商品补充机器人1没能判定有无空间的通道，将所确定出的通道“1”、“6”的商品确定图标933以高亮的状态显示，以能够针对通道“1”、“6”受理来自操作员的指示。其它通道的商品确定图标933为变灰的状态。此外，商品确定图标933只要将需要由操作员进行作业的通道与除此以外的通道以能够区别的方式显示即可，当然也可以将图标以除了“高亮”和“变灰”以外的显示方式显示。

操作员选择例如通道“1”的商品确定图标933，观察陈列架的后面的图像来确认在商品T1的后方是否能够配置商品，并选择“可”或“不可”中的某一个指示输入图标934。在该情况下，虽然商品T1的附近由于阴影S而变暗，但是在商品T1的后方存在能够配置商品的空间。因此，操作员选择“可”的指示输入图标934。

接着，操作员选择通道“6”的商品确定图标933，确认在商品T6的后方是否能够配置商品，并选择“可”或“不可”中的某一者。在该情况下，由于在商品T6的后方无法配置商品，因此操作员选择“不可”的指示输入图标934。

如果上述的输入结束，则操作员按下可否陈列判定完成图标935。如果可否陈列判定完成图标935被按下，则管理装置2将由操作员输入的“可”或“不可”的信息发送到商品补充机器人1。根据本实施方式的管理装置2和商品补充机器人1，即使在商品补充机器人1无法正确地进行可否陈列的判定的情况下，也能够由操作员经由显示于管理装置2的操作画面931给出指示。因而，商品补充机器人1能够在无需由店铺的店员进行支援的情况下继续进行商品补充动作。

B.把持对象识别

如上所述，商品补充机器人1在图8的步骤S14中对库存架420进行拍摄，来识别作为把持对象的商品。商品补充机器人1在无法判定作为把持对象的商品的情况下，将表示无法判定商品的通知作为错误通知发送到管理装置2。商品补充机器人1将所拍摄到的库存架420的图像也发送到管理装置2。作为无法判定作为把持对象的商品的情况，例如设想以下情形：无法判定排列于库存架420的规定的通道的商品中的哪个商品配置在最靠跟前侧的位置的情形、无法判定该商品是什么的情形、无法确定该商品的尺寸的情形、无法确定该商品的形状的情形等。

在操作员从任务列表显示部902(图14)中选择了“把持对象识别”并按下开始支援图标903的情况下，管理装置2使图18所示那样的操作画面941显示于显示部21。操作画面941包含架图像显示部942、商品信息输入部943以及把持对象识别完成图标944。商品信息输入部943和把持对象识别完成图标944是用于受理操作员的指示的指示输入用户接口。具体地说，商品信息输入部943相当于形状指定用户接口和尺寸指定用户接口。

架图像显示部942是用于显示由商品补充机器人1拍摄到的库存架420的前面的图像的部分。在此例子中，在库存架420的从左起第三个通道中，种类不同的商品Tn和Tm被配置于同一通道。在商品补充机器人1在这样的状况下无法识别应把持哪个商品的情况下，管理装置2使得用于供操作员指定商品的工具与从商品补充机器人1发送的图像一起显示。管理装置2通过图像识别来区别例如商品Tn和商品Tm(图像分割)，并使得商品Tn和商品Tm以不同的显示方式(例如不同的颜色的显示)显示。

管理装置2识别操作员选择了商品Tn和商品Tm中的哪一者，将所选择出的商品确定为把持对象。在管理装置2具有触摸面板显示器的情况下，如图18所示，根据操作员触摸了例如商品Tn，控制部26的显示控制部262将被触摸的商品确定为把持对象。像这样，用于在画面上指定作为对象的商品的接口相当于用于受理操作员的指示的指示输入用户接口中的物品指定用户接口。

商品信息输入部943显示由商品补充机器人1进行的图像识别的结果，包含“库存位置”、“尺寸”、“形状”的项目。在此例子中，作为对象的商品的库存位置被正确地识别出。在“尺寸”、“形状”的项目处显示通知徽章945，表示没能正确地进行商品的尺寸和形状的识别。

通过显示通知徽章945，操作员识别出需要针对这些项目输入正确的信息。操作员观察架图像显示部942的图像来确认作为对象的商品，并经由商品信息输入部943输入商品的“尺寸”、“形状”的信息。此外，用于输入这些信息的具体的用户接口没有特别限定。例如，也可以利用在操作画面941上显示弹出窗口或下拉窗口并从在该窗口内显示的若干个候选中选择1个候选的接口。作为一例，也可以显示“塑料瓶500ml”、“塑料瓶350ml”、“罐饮料350ml”、“罐饮料190ml”那样的商品用的候选。

如果上述的输入结束，则操作员按下把持对象识别完成图标944。于是，管理装置2将由操作员输入的信息发送到商品补充机器人1。

根据本实施方式的管理装置2和商品补充机器人1，即使在商品补充机器人1无法正确地判定把持对象商品的情况下，也能够由操作员经由显示于管理装置2的操作画面941给出指示，其结果，商品补充机器人1能够在无需由店铺的店员进行支援的情况下继续进行商品补充动作。

C.拾取/放置复原

如上所述，商品补充机器人1在图8的步骤S15中进行以下动作：把持(拾取)库存架420的商品，使该商品向陈列架410移动，并将商品载置(放置)在陈列架410的规定的位置。在该一系列动作中，在商品补充机器人1无法正确地把持作为对象的商品的情况下、或者在无法正确地载置作为对象的商品的情况下，商品补充机器人1将该意思的通知发送到管理装置2。

在操作员从任务列表显示部902(图14)中选择了例如“拾取复原”并按下开始支援图标903的情况下，管理装置2使图19所示那样的操作画面951显示于显示部21。操作画面951包含架图像显示部952、远程操作开始图标953、委托给店员图标954以及支援完成图标955。远程操作开始图标953、委托给店员图标954以及支援完成图标955是用于受理操作员的指示的指示输入用户接口。

此外，关于“拾取复原”和“放置复原”，均是操作员通过远程操作一边观察由摄像部18拍摄到的图像一边使机械臂16运动来进行复原，因此，在下面的说明中，以“拾取复原”为例进行说明。

在架图像显示部942也可以显示由商品补充机器人1拍摄到的库存架420的静止图像，在本实施方式中，显示流运动图像，以能够顺畅地进行由后述的操作员进行的远程操作。即，在本实施方式中，管理装置2的显示控制部262将由商品补充机器人1发送来的运动图像数据以与数据的接收并行的方式再现，并使显示部21将其实时地显示于架图像显示部952中。

在操作员确认操作画面951并判断为能够通过对商品补充机器人1的远程操作使作为对象的商品Tn移动到正确的位置的情况下，操作员按下远程操作开始图标953。于是，商品补充机器人1转变为能够按照来自管理装置2的指示来使摄像部18、机械臂16进行动作的远程操作模式。

操作员确认显示于架图像显示部942的当前的库存架420的图像，对管理装置2的操作部23进行操作来通过例如机械臂16的把持部16b将作为对象的商品Tn把持到规定的位置。之后，操作员通过机械臂16改变商品Tn的姿勢或者挪动配置位置，来将商品Tn配置到规定的位置。

操作员在通过远程操作进行的支援结束的情况下，按下支援完成图标955。在支援完成图标955被按下的情况下，管理装置2向商品补充机器人1发送支援完成的通知。接收到该通知的商品补充机器人1再次开始进行为了接受由操作员进行的支援而暂且中断了的商品的自动补充动作。

在操作员确认操作画面951并判断为通过远程的支援无法使作为对象的商品Tn移动到规定的位置的情况下、或者在上述的远程操作的结果是没能使作为对象的商品Tn移动到规定的位置的情况下，操作员按下委托给店员图标954。在委托给店员图标954被按下的情况下，管理装置2例如向终端装置3发送该意思的通知。

终端装置3在接收到由管理装置2发送的通知的情况下，从扬声器、显示器等输出部(未图示)输出表示关于商品补充机器人1的动作需要由店员进行支援的警报信息(声音信息、文本信息或图像信息等等)。管理装置2也可以向终端装置3发送表示需要支援的作业的内容的详细信息(例如，商品补充机器人1对架进行拍摄所得到的静止图像数据、商品补充机器人1对架进行拍摄所得到的运动图像数据、时间日期信息、用于确定对象商品的信息、作业对象的位置信息等中的至少1者)来作为面向店员的信息。

根据本实施方式的管理装置2和商品补充机器人1，即使在商品补充机器人1自动地进行商品的补充动作的中途发生了例如无法正确地把持商品之类的需要支援的事件的情况下，远处的操作员也通过远程操作进行支援，之后，商品补充机器人1能够再次开始以无人的方式进行商品的补充动作。

另外，操作员还能够按下作为用于促使位于机器人的周边的店员或作业员进行辅助的呼出用户接口的操作画面951的委托给店员图标954，来委托店铺的店员进行支援。因而，即使假设发生了远处的操作员无法应对那样的事件，操作员也能够促使店员进行支援，来恢复为商品补充机器人1自动地进行补充动作的状况，因此，之后能够继续由商品补充机器人1进行补充动作。

以上，参照附图来说明了具体的操作画面的例子，但是作为显示于管理装置2的显示部21的操作画面，也可以如下。图20是用于在商品补充机器人1无法确定补充对象商品的把持位置的情况下由操作员指示把持位置的操作画面。商品补充机器人1在无法确定补充对象商品的把持位置的情况下，将该意思的通知与库存架的摄像图像一起发送到管理装置2。

管理装置2的显示控制部262在接收到该通知的情况下使图20那样的操作画面为能够显示于显示部21的状态。通过由操作员选择例如“把持位置确定”的任务(未图示)来在显示部21中显示图20的操作画面。在该情况下，图像中映出的商品T是具有盖构件Tb的塑料瓶饮料，因此操作员将例如盖构件Tb的附近的位置指示为把持位置P1。

图20的操作画面作为用于受理操作员的指示的指示输入用户接口发挥功能，由此，即使在商品补充机器人1无法确定把持位置的情况下，也能够由远处的操作员指示补充对象商品的把持位置P1。因此，能够继续由商品补充机器人1进行补充动作。

此外，管理装置2也可以不是将商品T的盖构件Tb附近作为把持位置P1受理，而是将商品的主体部作为把持位置P1受理。在管理装置2像这样构成的情况下，即使在例如由于商品陈列架的形状、机械臂的形状而无法把持盖构件Tb附近时，操作员也能够使机器人的机械臂把持适当的位置。

除了上述之外，关于由商品补充机器人1进行的商品的载置，管理装置2也可以将用于指示应载置商品的位置的操作画面、用于指示是否能够载置作为对象的商品的操作画面等显示于显示部21。

(饮料陈列的用途以外的机器人)

在上述实施方式中，说明了在通过商品补充机器人1使饮料商品从库存架420移动到陈列架410的系统中能够特别有用地利用的操作画面。然而，上述那样的操作画面例如还能够在具有通过机械臂使作为作业对象的物品移动的作业机器人以及对该作业机器人进行远程操作的管理装置的系统等中使用。如前述的那样，作为这样的作业机器人，也可以是在物流设施中把持物品的机器人、在工厂等中把持规定的物品的作业机器人等。

在这样的系统中，也优选的是，显示于远处的管理装置的操作画面例如具有用于受理操作员指定1个或多个作为对象的物品的用户接口、用于指定物品的形状的用户接口、用于指定物品的尺寸的用户接口、以及用于促使位于机器人的周边的作业员等进行辅助的用户接口中的1个或多个接口。

各种作业机器人中的“错误”的内容是各种各样的，因此，作业机器人向管理装置发送的内容是任意的，但是当管理装置接收到来自作业机器人的规定的错误信息时，管理装置使包含映出作业机器人的作业对象的摄像图像以及用于受理操作员的指示的指示输入用户接口的操作画面显示于规定的显示部。

在假设作业机器人是保持硬纸板等货物的机器人的情况下，例如在无法正确地确定作为对象的货物时、或者在虽然确定了作为对象的货物但是无法正确地保持该货物时等，判定为“错误”，并且表示错误的通知被发送到管理装置。

在由1个管理装置对多个店铺或多个机器人进行管理的管理系统中，还设想由若干个操作员利用1个管理装置那样的结构。在该情况下，针对多个操作员中的各操作员，将各自负责的机器人和/或店铺与操作员的ID相关联地管理，管理装置也可以构成为基于登录的当前的操作员的ID来将该操作员负责的机器人和/或店铺的任务显示于显示部。

[管理装置2的作用效果]

以上说明的本实施方式的管理装置2接收表示商品补充机器人1基于商品补充机器人1的摄像部18的摄像图像和距离检测部19的检测结果中的至少任一方无法确定作为对象的商品的通知、表示无法把持作为对象的商品的通知和/或表示无法载置商品的通知，并基于接收到该通知来显示操作画面(931、941、951等)。而且，这些操作画面包括由摄像部18拍摄到的摄像图像以及用于受理操作员的与摄像图像中映出的商品有关的指示的指示输入用户接口。因而，操作员能够经由显示于管理装置2的操作画面给出指示，其结果，商品补充机器人1能够在无需由店铺的店员进行支援的情况下继续进行规定的作业。

以上，使用实施方式来说明了本公开，但是本公开的技术范围不限定于上述实施方式所记载的范围，能够在其主旨的范围内进行各种变形和变更。例如，装置的全部或一部分能够以任意的单位在功能上或在物理上分散/综合地构成。另外，通过多个实施方式的任意的组合产生的新的实施方式也包括在本公开的实施方式中。通过组合而产生的新的实施方式的效果一并具有原实施方式的效果。

如果是本领域技术人员，则能够理解，在以上的实施方式中作为装置和由计算机执行规定的处理的方法的发明而公开的内容还作为装置和使计算机进行动作的程序的发明而被公开。

Claims (15)

1.一种管理装置，用于管理机器人，所述机器人基于摄像部的摄像图像和距离检测部的检测结果中的至少任一方来确定作为作业对象的物品，并进行包括对所确定出的物品的把持在内的作业，所述管理装置具备：

接收部，其接收从所述机器人发送的表示规定的错误的通知；以及

显示控制部，其能够基于由所述接收部接收到所述通知来将操作画面显示于显示部，

其中，所述操作画面包括由所述机器人的所述摄像部拍摄到的摄像图像以及用于受理操作员的与所述摄像图像中映出的物品有关的指示的指示输入用户接口。

2.根据权利要求1所述的管理装置，其中，

所述指示输入用户接口包括物品指定用户接口，所述物品指定用户接口用于受理操作员指定所述摄像图像中映出的1个或多个物品中的、1个以上的作为对象的物品。

3.根据权利要求1或2所述的管理装置，其中，

所述指示输入用户接口包括形状指定用户接口和尺寸指定用户接口中的至少一方，其中，所述形状指定用户接口用于指定所述作为作业对象的物品的形状，所述尺寸指定用户接口用于指定所述作为作业对象的物品的尺寸。

4.根据权利要求1～3中的任一项所述的管理装置，其中，

所述操作画面还包括呼出用户接口，所述呼出用户接口用于促使位于所述机器人的周边的店员或作业员进行辅助。

5.根据权利要求1～4中的任一项所述的管理装置，其中，

所述表示规定的错误的通知是表示无法确定所述作为作业对象的物品的通知、表示无法把持所述作为作业对象的物品的通知、以及表示无法载置所述作为作业对象的物品的通知中的至少一者，

所述机器人是把持载置在库存架的物品并向陈列架载置所把持着的物品的机器人，

在所述操作画面的所述摄像图像中显示所述陈列架的搁板上配置的多个物品或者所述库存架的搁板上配置的多个物品，

所述指示输入用户接口包括与所述多个物品中的所述机器人没能确定的物品、所述机器人没能把持的物品或者所述机器人没能载置到所述搁板上的物品关联的用于操作员确定物品的用户接口、用于操作员输入是否是能够把持的物品或输入所述物品的把持位置的用户接口、或者用于操作员输入是否是能够载置的物品或输入载置所述物品的位置的用户接口。

6.根据权利要求5所述的管理装置，其中，

所述指示输入用户接口将所述多个物品中的所述机器人没能确定的物品、所述机器人没能把持的物品、或者所述机器人没能载置到所述搁板的物品与除了这些物品以外的物品以能够区别的方式显示。

7.根据权利要求5或6所述的管理装置，其中，

所述指示输入用户接口还包含：

用于将所述摄像图像变更为当前正在显示的搁板的上层的搁板的摄像图像的图标；以及

用于将所述摄像图像变更为当前正在显示的搁板的下层的搁板的摄像图像的图标。

8.根据权利要求5～7中的任一项所述的管理装置，其中，

所述指示输入用户接口还包括陈列架选择用户接口，所述陈列架选择用户接口用于从多个所述陈列架中选择一个所述陈列架，

所述陈列架选择用户接口具有用于表示需要由操作员进行确认作业的所述陈列架的指示符。

9.根据权利要求5～8中的任一项所述的管理装置，其中，

所述显示控制部基于由所述摄像部拍摄到的摄像图像来确定所述库存架或所述陈列架中的各物品的位置或通道的位置，并使表示所述各物品的位置或所述通道的位置的信息以重叠于所述库存架或所述陈列架的摄像图像的方式显示。

10.根据权利要求5～9中的任一项所述的管理装置，其中，

所述机器人判定载置于所述库存架的物品是否为把持对象，在无法确定为是作为把持对象的物品的情况下，向所述管理装置发送表示无法确定所述物品的通知，

所述显示控制部能够基于接收到表示无法确定所述物品的通知来显示所述操作画面。

11.根据权利要求5～10中的任一项所述的管理装置，其中，

所述机器人进行判定在所述陈列架的搁板上是否存在用于陈列物品的空间的可否陈列判定，在无法进行可否陈列判定的情况下向所述管理装置发送无法进行可否陈列判定的意思的通知，

所述显示控制部能够基于接收到无法进行所述可否陈列判定的意思的所述通知来显示所述操作画面。

12.根据权利要求1～11中的任一项所述的管理装置，其中，

所述接收部设置为接收从多个所述机器人发送的通知，

所述显示控制部使执行任务表显示于所述显示部，所述执行任务表包含发送了所述通知的各个所述机器人的识别信息以及所需的支援的内容的信息。

13.一种管理系统，具备：

机器人，其基于摄像部的摄像图像和距离检测部的检测结果中的至少任一方来确定作为作业对象的物品，并进行包括对所确定出的物品的把持在内的作业；以及

根据权利要求1～12中的任一项所述的管理装置，其经由网络来与所述机器人连接。

14.一种管理方法，用于管理机器人，所述机器人基于摄像部的摄像图像和距离检测部的检测结果中的至少任一方来确定作为作业对象的物品，并进行包括对所确定出的物品的把持在内的作业，所述管理方法包括以下步骤：

管理装置接收从所述机器人发送的表示规定的错误的通知；以及

所述管理装置能够基于接收到所述通知来将操作画面显示于显示部，

其中，所述操作画面包括：

由所述机器人的所述摄像部拍摄到的摄像图像；以及

指示输入用户接口，其用于受理操作员的与所述摄像图像中映出的物品有关的指示。

15.一种管理程序，用于管理机器人，所述机器人基于摄像部的摄像图像和距离检测部的检测结果中的至少任一方来确定作为作业对象的物品，并进行包括对所确定出的物品的把持在内的作业，所述管理程序使管理装置执行以下步骤：

所述管理装置接收从所述机器人发送的表示规定的错误的通知；以及

所述管理装置能够基于接收到所述通知来将操作画面显示于显示部，

其中，所述操作画面包括：

由所述机器人的所述摄像部拍摄到的摄像图像；以及

指示输入用户接口，其用于受理操作员的与所述摄像图像中映出的物品有关的指示。