CN110889317A - 操作辅助装置 - Google Patents

Abstract

操作辅助装置(1)设有照相机(30)、处理器(61)和投影仪(20)。照相机(30)获取在其上布置有多个盒子(50)的物品搁架(10)的捕获图像。处理器(61)基于捕获的图像识别该多个盒子中的第一盒子(50‑1)的位置，并确定与第一盒子对应的显示区域(100‑1)的位置。投影仪(20)在显示区域(100)中显示指定给工人的指令。另外，第一盒子(50‑1)可以设置有标记(51)。在这种情况下，处理器(61)可以基于在捕获的图像中的标记(51)的位置来识别第一盒子(50‑1)的位置。该操作辅助装置能提高操作效率。

Description

操作辅助装置

技术领域

本发明涉及一种操作辅助装置。

背景技术

操作辅助装置是关于在被布置于搁架上的各种物品(例如，零件和/或货物)中拣选哪个物品对工人作出指令的装置，并广泛用于生产线和后勤基地。作为示例，一种操作辅助装置用于生产线中，以关于聚集在零件存储器(通常地，零件搁架)上的各种零件中的待组装成目标产品的零件及其数目对工人作出指令。作为另一个示例，一种操作辅助装置用于物流基地，以关于存放在仓库(通常地，货物搁架)中的各种货物中的待存储在目标吸管(容器)中的货物及其数目对工人作出指令。

操作辅助装置设置有用于向工人发出指令的显示装置。作为操作辅助装置的显示装置，最通常用的是灯和分段显示装置，而近年来，提出了使用投影仪。例如，“Applicationof Mixed Reality Technology to Order Picking for Warehouse Storage(2)”(“混合现实技术在仓库存储订单拣选中的应用(2)”)，Akitoku Hashimoto等人，日本虚拟现实社会第19届年会的会议记录，2014年9月，第553-556页(非专利文献1)讨论了可穿戴式投影仪和安装式投影仪在分类操作辅助中的优点和缺点。

操作辅助装置要求的要求之一是防止操作中的错误。为了防止操作中的错误，提出了各种机制。例如，日本专利公开JP2005-001781A(专利文献1)公开了一种拣选辅助装置，该装置测量存储在每一个吸管中的货物的重量，并基于测量的重量判断存储在吸管中的货物是否正确。另外，日本专利公开JP2006-321590A(专利文献2)公开了一种拣选辅助装置，该装置具有以下构造：通过使用红外线来检测穿过货物搁架正面的工人的手的位置，并在检测到的不合适的位置的情况下生成警告。

引用列表

专利文献

[专利文献1]日本专利公开2005-001781A

[专利文献2]日本专利公开2006-321590A

非专利文献

[非专利文献1]“Application of Mixed Reality Technology to OrderPicking for Warehouse Storage(2)”(“混合现实技术在仓库存储订单拣选中的应用(2)”)，Akitoku Hashimoto等人，日本虚拟现实社会第19届年会会议记录，2014年9月，第553-556页

发明内容

本发明要解决的问题

当通过使用操作辅助装置开始操作时，有必要根据物品的位置设定灯和分段显示装置的位置或投影仪的显示位置。考虑到这些情况，本发明的目的是提供有效地执行操作的操作辅助装置。通过以下实施例的公开和解释将理解其它目的。

解决问题的手段

在下文中，将通过使用在本发明的实施例中所使用的数字和/或符号来解释用于解决问题的手段。这些数字和/或符号被添加在括号中以供参考，从而示出权利要求的描述和本发明的实施例之间的关系的示例。因此，带括号的描述并非旨在用于限制权利要求的解释。

为了实现上述目的，与本发明的第一方面有关的一种操作辅助装置(1)设有照相机(30)、处理器(61)和投影仪(20)。照相机(30)获取物品搁架(10)的捕获的图像，在物品搁架(10)上布置多个盒子(50)。处理器(61)基于捕获的图像识别该多个盒子中的第一盒子(50-1)的位置，并确定与第一盒子对应的显示区域(100-1)的位置。投影仪(20)在显示区域(100)中显示用于工人的指令。

与本发明的第二方面有关的一种操作辅助装置(1)设有传感器(40)和处理器(61)。传感器(40)检测被设定于包含物品的物品搁架的监视区域中的物体的位置。处理器(61)在第一模式中基于传感器的检测结果检测拣选操作中的错误；处理器(61)在第二模式中基于传感器的检测结果识别需要补充的物品。

发明的效果

根据与本发明有关的操作辅助装置，能够提高操作效率。

附图说明

图1是示出与本实施例有关的操作辅助装置的构造的前视图。

图2是示出与本实施例有关的操作辅助装置的构造的右侧视图。

图3是图1中的盒子的透视图。

图4是由图1中的照相机捕获的图像的示例。

图5是示出与本实施例有关的操作辅助装置的系统构造的图。

图6是记录到图5中的处理器的盒子信息的示例。

图7是示出当将盒子的位置设定到处理器时的过程的流程图。

图8是示出当通知待补充的物品时的过程的流程图。

图9是示出与本实施例有关的操作辅助装置的构造示例的右侧视图。

附图标记说明

1 操作辅助装置

10 物品搁架

11 搁架

11-1 第一搁架

11-2 第二搁架

11-3 第三搁架

11-4 第四搁架

11-5 第五搁架

12 杆

13 屏幕

13-1 第一屏幕

13-2 第二屏幕

13-3 第三屏幕

14 臂

15 臂

20 投影仪

30 照相机

40 传感器

41 监视范围

50 盒子

50-1 第一盒子

51 标记

60 管理终端

61 处理器

62 显示装置

63 输入装置

64 接口

70 输出装置

100 显示区域

100-1 第一显示区域

110 设定请求区域

120 补充请求区域

200 盒子信息

F 地板

W 工人

具体实施方式

如图1中所示，与本实施例有关的操作辅助装置1设置有物品搁架10、投影仪20、照相机30和传感器40。物品搁架10被放置在地板F上并且设置有多个搁架11(第一搁架11-1、第二搁架11-2、第三搁架11-3、第四搁架11-4、第五搁架11-5)，该多个搁架在竖直方向上布置和排列。为了便于理解，将通过使用笛卡尔坐标系来解释以下内容。搁架11的前端延伸的方向将被称为x₁方向。垂直于x₁方向并平行于地板F的方向将被称为y₁方向。物品搁架10的竖直方向将被称为z₁方向。应当注意的是，如图2中所示，物品搁架10的前侧标示人员操作的方向。

在从底部起的三个搁架(第一搁架11-1、第二搁架11-2、第三搁架11-3)上，放置了多个用于存放物品的盒子50。杆12被设置于搁架11，在搁架11上布置有盒子50，以防止盒子50掉落。另外，通过将盒子50放置成与杆12接触，盒子50能够在每一个搁架11上被布置成直线。

另外，在x₁方向上延伸的屏幕13在其前端处(即在-y₁方向上的一端处)被设置在上搁架11上，该上搁架11与在其上放置有盒子50的搁架11相邻。特别地，第一屏幕13-1被设置在第二搁架11-2在-y₁方向上的一端处，该第二搁架11-2与在其上放置有盒子50的第一搁架11-1相邻。类似地，第二屏幕13-2和第三屏幕13-3分别在第三搁架11-3在-y₁方向上的一端处被设置于第三搁架11-3，和在第四搁架11-4在-y₁方向上的一端处被设置于第四搁架11-4。

另外，如图2中所示，在其上放置有盒子50的搁架11(第一搁架11-1、第二搁架11-2、第三搁架11-3)中的每一个均被布置成相对于y₁方向倾斜。特别地，在z₁方向上，在其上放置有盒子50的搁架11被布置成使得其后端(在+y₁方向上的一端)被定位成比其前端(在-y₁方向上的一端)更高。因此，工人W能够易于从盒子50拣选物品。

每一个搁架11的前端被布置成在从z₁方向看时从底级中的第一搁架11-1起依次在+y₁方向上排列。特别地，与第一搁架11-1的前端相比，第二搁架11-2的前端被布置在+y₁方向上。与第二搁架11-2的前端相比，第三搁架11-3的前端被布置在+y₁方向上。与第三搁架11-3的前端相比，第四搁架11-4的前端被布置在+y₁方向上。与第四搁架11-4的前端相比，第五搁架11-5的前端被布置在+y₁方向上。

另外，如图2中所示，投影仪20被放置在顶级中的第五搁架11-5处。投影仪20经由臂14由第五搁架11-5支撑。臂14被设置成从第五搁架11-5向前突出。换言之，投影仪20从第五搁架11-5的前端被放置在-y₁方向上。因此，投影仪20通过屏幕13上的投影显示指定给工人W的指令。

当工人W拣选存储在盒子50中的物品(例如，零件或货物)时，操作辅助装置1在屏幕13上显示指定给工人W的指令(例如，要拣选的物品的规格)。工人W基于在屏幕13上的显示内容从盒子50拣选规定的物品。例如，现在认为工人W被指示拣选存储在第一盒子50-1中的物品。这里，认为第一盒子50-1被放置在第三搁架11-3在-x₁方向上的一端处。在这种情况下，操作辅助装置1在第一个盒子50上方的屏幕13的区域中的第一显示区域100-1上显示存储在第一盒子50-1中的物品及其要拣选的数目。工人W检查在显示区域100中的正在显示的第一显示区域100-1，并拣选存储在第一显示区域100-1下方的第一盒子50-1中的物品。因此，工人W能够通过检查显示区域100来减少操作中的错误，其中由操作辅助装置1使显示区域100进行显示。

另外，传感器40被放置在顶级中的第五搁架11-5上。如图2中所示，传感器40检测设定在物品搁架10前侧处的监视范围41中的物体(例如手)的位置。具体地，监视范围41被设定于在其上放置有盒子50的搁架11和与该搁架11相邻的上搁架11之间形成的空间的前侧处。另外，监视范围41可以被设定于在盒子50和与盒子50相邻的上搁架11之间形成的空间的前端处。

工人W根据在屏幕13上显示的指令来拣选存储在第一盒子50-1中的物品。此时，工人W的手穿过监视范围41。结果，传感器40检测工人W的穿过监视范围41的手的位置。基于该检测结果，操作辅助装置1能够判断工人W是否从规定的第一盒子50-1拣选物品。如果操作辅助装置1判断工人W的手的位置与第一盒子50-1的位置不同，则操作辅助装置1通知工人W。即，当在由工人W拣选期间检测到操作中的错误时，操作辅助装置1通知工人W。例如，投影仪20通过在屏幕13上显示红色闪烁来通知工人W。物品搁架10可以设置有扬声器以通过声音和/或语音来通知工人W。

此外，工人W在已经从第一盒子50-1拣选了规定数目的物品之后触摸第一显示区域100-1。传感器40在对应于第一显示区域100-1的监视范围41中检测到工人W的手。结果，操作辅助装置1判断从第一盒子50-1的拣选操作已经结束。

另外，照相机30被放置在顶级中的第五搁架11-5上。照相机30经由臂15由第五搁架11-5支撑。臂15也被设置成向第五搁架11-5的前方突出。换言之，照相机30也从第五搁架11-5的前端被放置在-y₁方向上。

照相机30从物品搁架10上方捕获每一个搁架11的图像，从而规定盒子50的位置。在从z₁方向看时，每一个搁架11被布置成，在+y₁方向上搁架11的前端从底级依次排列。因此，照相机30能够捕获被放置在每一个搁架11上的盒子50的前端的图像。另外，如图3中所示，在盒子50的顶侧中的四个角部中的至少一个角部上添加标记51。盒子50被放置在搁架11上，使得该标记51被布置在搁架11的前方。因此，如图4中所示，照相机30能够捕获放置在每一个搁架11上的盒子50的标记51的图像。

由照相机30捕获的图像以被称为x2方向的方向和被称为y2方向的方向进行分析，其中搁架11的前端在x2方向上延伸，y2方向与x2方向正交。这里，+y2方向是从搁架11的前方到后方的方向。由于标记51被添加在盒子50的前端上，所以在捕获的图像中，布置在同一搁架11上的盒子50的标记51在x2方向上排列。结果，操作辅助装置1能够从在x2方向上的位置规定在x₁方向上的在搁架11上放置有盒子50的位置。另外，从z₁方向(即照相机30的捕获方向)看时，每一个搁架11的前端被布置成在+y₁方向上排列。因此，在捕获的图像中，每一个搁架11的前端在+y2方向上排列。特别地，在捕获的图像中，在上方与第一搁架11-1相邻的第二搁架11-2的前端与在底级中的第一搁架11-1的前端相比被定位于+y2方向上。在上方与第二搁架11-2相邻的第三搁架11-3的前端与第二搁架11-2的前端相比被定位于+y2方向上。因此，与放置在第一搁架11-1上的盒子50相比，放置在第二搁架11-2上的盒子50位于+y2方向上。另外，与放置在第二搁架11-2上的盒子50相比，放置在第三搁架11-3上的盒子50位于+y2方向上。换言之，在y2方向上，能够将放置在底级中的第一搁架11-1上的盒子50的标记51被反映的区域与放置在第二级处的第二搁架11-2上的盒子50的标记51被反映的区域区分开。类似地，在y2方向上，能够将放置在第二级中的第二搁架11-2上的盒子50的标记51被反映的区域与放置在第三级中的第三搁架11-3上的盒子50的标记51被反映的区域区分开。因此，能够在y2方向上基于盒子50的位置(即标记51的位置)规定在其上放置有盒子50的搁架11。

这里，标记51可以是增强现实(AR)标记、快速响应(QR)码(注册商标)等，并且用于从捕获的图像识别盒子50。因此，可以基于由照相机30捕获的图像来规定每一个盒子50的位置。

接下来，将描述操作辅助装置1的系统构造。如图5中所示，操作辅助装置1设置有管理终端60。管理终端60控制操作辅助装置1的操作。例如，管理终端60基于照相机30捕获的图像和传感器40的检测结果来控制投影仪20显示的图像。管理终端60设置有处理器61、显示装置62、输入装置63和接口64。

接口64电连接到照相机30、传感器40和投影仪20。具体地，接口64从照相机30接收示出由照相机30捕获的图像的图像信息。另外，接口64从传感器40接收表示由传感器40检测的物体的位置的位置信息。此外，接口64将示出待显示的图像的显示信息传输到投影仪20。接口64与照相机30、传感器40和投影仪20有线或无线连接。另外，操作辅助装置1可以设置有通知工人W等的输出装置70(例如，扬声器等)。在这种情况下，输出装置70也与接口64电连接。

处理器61执行数据处理以控制操作辅助装置1的操作。例如，处理器61生成规定工人W应该拣选的物品及其数目的指令数据。具体地，处理器61生成用于在显示区域100上显示要拣选的数目的指令数据，该显示区域100对应于在其中存储有要拣选的物品的盒子50。处理器61基于所生成的指令数据生成用于在期望位置处显示指定给工人W的指令的显示信息以传输到投影仪20。

例如，处理器61基于传感器40的检测结果判断工人W是否正在拣选规定的物品。具体地，处理器61判断由传感器40检测的位置是否被包括在与规定的盒子50对应的区域中。在由传感器40检测的位置不被包括在与规定的盒子50对应的区域中的情况下，处理器61判断已经发生了操作错误，生成用于显示红色闪烁的显示信息，并将显示信息传输到投影仪20。另外，处理器61可以生成表示操作错误的声音和/或语音信息并且从输出装置70输出警报。这里，与盒子50对应的区域例如是从盒子50在-y₁方向上处于监视范围41中的区域。另外，关于该区域，在-x₁方向上的边缘可以是盒子50在-x₁方向上的边缘，在+x₁方向上的边缘可以是盒子50在+x₁方向上的边缘，在-z₁方向上的边缘可以是在其上放置有盒子50的搁架11，并且在+z₁方向上的边缘可以是在上方与该区域相邻的搁架11。

另外，例如，在传感器40在与盒子50的显示区域100对应的区域中检测到物体的情况下，处理器61判断物品的拣选完成。特别地，当完成物品的拣选时，工人W触摸规定的盒子50上方的显示区域100。因此，传感器40在显示区域100在-y₁方向上的区域中检测到工人W的手。在由传感器40检测到的位置被包括在与正在显示的显示区域100对应的区域中的情况下，处理器61判断操作完成。

显示装置62显示管理终端60保持的各种数据，例如指定给工人W的指令。另外，输入装置63输入要设定给处理器61的数据等。输入装置63以键盘、鼠标、麦克风等为例。另外，管理终端60以通用个人计算机等为例。

(盒子位置的识别)

操作辅助装置1能够根据照相机30的捕获的图像来识别盒子50的位置。因此，操作辅助装置1能够通过在盒子50被放置之后分析照相机30所捕获的图像来识别在其中存储每一个物品的盒子50的位置。

如图6中所示，盒子信息200被记录在处理器61中，在盒子信息200中关联以下信息：添加到盒子50的标记51的宽度(即在x₁方向上的长度)和盒子50、表示存储在盒子50中的物品的物品ID和与盒子50对应的显示区域100的范围。除了显示区域100的范围之外，该盒子信息200预先从输入装置63记录。

下面将描述用于识别盒子50的位置的操作辅助装置1的操作。如图1中所示，在屏幕13上提供用于设定盒子50的位置的设定请求区域110。在工人W改变盒子50的位置的情况下，工人W触摸设定请求区域110。设定请求区域110是不被包括在显示区域100中的区域。用于将设定请求区域110与显示区域100区分开的图像被显示在设定请求区域110中。

当工人W触摸设定请求区域110时，传感器40在设定请求区域110的-y₁方向上检测到工人W的手。如图7中所示，处理器61基于传感器40的检测结果判断盒子50的设定请求被输入(步骤S110：是)。具体地，在由传感器40检测的位置在设定请求区域110的-y₁方向上的情况下，处理器61判断输入了设定请求。在由传感器40检测的位置不是与设定请求区域110对应的空间的情况下，处理器61判断没有输入设定请求(步骤S110：否)。

当输入了设定请求时，处理器61从照相机30获取捕获的图像(步骤S120)。例如，处理器61将示出捕获图像的指令的图像捕获信号传输到照相机30。照相机30根据图像捕获信号捕获物品搁架10的图像，并将捕获的图像传输到处理器61。另外，照相机30可以始终捕获图像。在这种情况下，处理器61获取捕获的图像，该捕获的图像是当输入了设定请求时捕获的。

如图4中所示，添加到每一个盒子50的标记51被包括在照相机30的捕获的图像中。因此，处理器61根据标记51的位置识别添加有该标记51的盒子50的位置(步骤S130)。特别地，处理器61在捕获的图像中识别每一个搁架11在y2方向上的范围。由于照相机30被固定到物品搁架10，因此可以从输入装置63预先记录每一个搁架11在y2方向上的范围。接下来，处理器61在设置在底级处的第一搁架11-1的范围中检测标记51。处理器61基于在x2方向上检测到的标记51的位置来识别在第一搁架11-1上的盒子50的位置。之后，处理器61在盒子信息200中搜索检测到的标记51，并提取盒子50的宽度和与其对应的物品ID。这里，由于获取了盒子50的宽度，因此能够识别盒子50在x₁方向上的两个边缘。接下来，处理器61同样也检测第二搁架11-2的范围和第三搁架11-3的范围中的标记51，并识别盒子50的位置。因此，处理器61基于盒子50在y2方向上的位置(即标记51的位置)识别在其上放置有盒子50的搁架11。另外，处理器61基于标记51的位置识别盒子50在x2方向上的位置，即每一个搁架11在x₁方向上的位置。

处理器61基于规定的盒子50的位置确定对应于盒子50的显示区域100(步骤S140)。具体地，处理器61将显示区域100在-x₁方向上的边缘确定为盒子50在-x₁方向上的边缘，并且将显示区域100在+x₁方向上的边缘确定为盒子50在+x₁方向上的边缘。处理器61将与在其上放置有该盒子50的搁架11上方相邻的屏幕13的范围确定为在z₁方向上的显示区域100。所确定的显示区域100被记录在盒子信息200中。

当处理器61已经规定了每一个盒子50的位置并已经确定了显示区域100时，处理器61通知工人W设定操作完成(步骤S150)。例如，通过触摸设定请求区域110，对设定请求区域110的显示可以消失，并且当完成设定操作时，设定请求区域110可以被显示。另外，可以从被包括在输出装置70中的扬声器输出表示设定操作完成的声音和/或语音。此时，处理器61生成表示设定操作完成的显示信息和/或声音和/或语音信息，并将生成的显示信息和/或声音和/或语音信息传输到投影仪20和/或输出装置70。换言之，处理器61生成并传输用于控制投影仪20和/或输出装置70的显示的控制信号。

如上所述，尽管盒子50的位置改变，但是操作辅助装置1能够在不将来自输入装置63的盒子50的位置记录到管理终端60的情况下完成设定操作。换言之，能够基于标记51识别在其中存储有每一个物品的盒子50的位置。另外，在新放置盒子50的情况下也能够执行类似的过程。因此，由于即使盒子50被移动也能够识别在其中存储有每一个物品的盒子50的位置，因此能够基于要拣选的物品识别待在其中显示要拣选的数目的显示区域100。因此，盒子50能够易于移动并且能够提高操作效率。应当注意的是，操作辅助装置1在盒子信息200中搜索待拣选的物品，并且当投影仪20显示指定给工人W的指令时提取对应的显示区域100。用于在提取的显示区域100中显示指定给工人W的指令的显示信息被传输到投影仪20。

(物品的补充)

当存储在盒子50中的物品的数目变少时，工人W补充该物品。因此，如图1中所示，在屏幕13中设置有用于请求补充物品的补充请求区域120。当存储在盒子50中的物品的数目变少时，工人W触摸补充请求区域120。之后，工人W触摸与物品数目少的盒子50对应的显示区域100，并再次触摸补充请求区域120。结果，操作辅助装置1获取要补充的物品并使用输出装置70通知其他工人。

当工人W触摸补充请求区域120时，传感器40在补充请求区域120的-y₁方向上检测到工人W的手。如图8中所示，处理器61基于传感器40的检测结果判断物品的补充请求被输入(步骤S210：是)。具体地，处理器61在传感器40检测到的位置在补充请求区域120的-y₁方向上的情况下判断输入了补充请求。处理器61在传感器40检测到的位置不是与补充请求区域120对应的空间的情况下判断没有输入补充请求。

当输入了补充请求时，处理器61改变投影仪20的显示(步骤S220)。例如，处理器61生成示出图像的图像信息，利用该图像能够识别每一个显示区域100，并将其传输到投影仪20。例如，处理器61生成示出每一个显示区域100随之变蓝的图像的图像信息。结果，操作辅助装置1向工人W通知操作模式已经被切换到用于请求补充的模式。另外，每一个显示区域100可以显示存储在对应的盒子50中的物品的名称。

工人W触摸对应于在其中存储待补充的物品的盒子50的显示区域100。因此，传感器40检测到工人W的手的位置。处理器61获取传感器40检测到的位置(步骤S230：是)。由于传感器40检测到的位置是与显示区域100对应的空间(步骤S240：否则)，因此处理器61识别要补充的物品(步骤S260)。因此，处理器61在盒子信息200中搜索显示区域100并提取对应的物品ID。由提取的物品ID所示出的物品被识别为请求补充的物品。因此，处理器61基于传感器40的检测结果识别在其中存储有所请求的物品的盒子50，并将存储在盒子50中的物品识别为所请求的物品。操作辅助装置1改变与所识别的物品对应的显示区域100的颜色。也就是说，处理器61生成图像信息，该图像信息示出了这样的图像，该图形是与在其中存储有所识别的物品的盒子50对应的显示区域100的改变了颜色的图像，并且处理器61将该图像传输到投影仪20。结果，投影仪20显示对应于所请求物品的盒子50的显示区域100的改变了颜色的图像。结果，工人W能够检查所请求的物品。

在存在要补充的其它物品的情况下，工人W触摸其它显示区域100。类似地，传感器40检测到工人W的手的位置，并且处理器61识别要补充的物品。另外，操作辅助装置1改变所请求的盒子50的显示区域100的颜色。

当工人W选择要补充的每一个物品时，工人W触摸补充请求区域120。因此，传感器40在补充请求区域120的-y₁方向上检测到工人W的手。由于传感器40检测到的位置是与补充请求区域120对应的空间(步骤S240：补充请求)，所以处理器61生成要补充的物品的列表信息并将其传输到输出装置70(步骤S250)。换言之，处理器61传输用于控制输出装置70的控制信号。输出装置70显示要补充的物品列表并通知给其他工人。当输出装置70接收到要补充的物品的列表信息时，输出装置70可以发出警报。另外，处理器61生成示出在补充请求之前投影仪20正在显示的图像的图像信息，并将该图像信息传输到投影仪20。结果，操作辅助装置1向工人W通知操作模式已经从请求补充的模式切换到普通模式。

尽管上述实施例示出了每一个搁架11的前端从底级起依次在y₁方向上排列并且照相机30的捕获方向在z₁方向上的示例，但是本发明不限于此。可以选择任何方法，只要能够通过使用照相机30的捕获的图像来识别在其中放置有盒子50的位置即可。例如，即使每一个搁架11的前端在y₁方向上处于相同位置，如果如图9中所示的那样，照相机30的捕获方向从z₁方向倾斜，则这也是令人满意的。换言之，如果在从照相机30的捕获方向看时，每一个搁架11的前端在与前端延伸方向垂直的方向上按照搁架11接近照相机30的顺序排列，则这是令人满意的。结果，照相机30能够捕获每一个搁架11的前端的图像。

另外，尽管示出了处理器61基于在捕获的图像中盒子50在y2方向上的位置来识别在其上放置有盒子50的搁架11的示例，但是本发明不限于此。能够选择任何方法，只要处理器61能够识别在其上放置有盒子50的搁架11即可。例如，处理器61可以基于在捕获的图像中反映的标记51的尺寸来识别搁架11。在标记51的尺寸相同的情况下，盒子50的位置离照相机30越远，在捕获的图像中反映的标记51的尺寸越小。另外，可以基于标记51在x₁方向上的长度来识别在其上放置有盒子50的搁架11。

尽管在上述实施例的方法中示出了屏幕13被设置在搁架11的前端处的示例，但是本发明不限于此。可以选择任何屏幕13，只要屏幕13能够显示对应于盒子50的显示区域100即可。例如，屏幕13可以被设置在盒子50上。

另外，虽然示出了监视范围41被设定在物品搁架10的前侧上的示例，但是本发明不限于此。可以选择任何方法，只要处理器61能够基于传感器40的检测结果识别工人W将他的手臂所伸向的盒子50即可。

尽管示出了传感器40在拣选操作等结束时检测屏幕13被触摸的事实的示例，但是本发明不限于此。例如，屏幕13可以设置有触摸传感器。在这种情况下，当物体触摸屏幕13时，屏幕13检测其位置并将检测结果传输到处理器61。另外，屏幕13可以设置有多个开关以在拣选操作结束时进行操作。处理器61识别被操作的开关的位置并判断拣选操作结束。另外，工人W在拣选物品之后触摸的区域可以被设置在与显示区域100不同的单个区域或多个区域中。应当注意的是，开关和/或触摸传感器可以类似地用作设定请求区域110和补充请求区域120。

上述过程是示例，并且每一个步骤的顺序和/或其处理内容可以在不抑制其功能的范围内改变。另外，所描述的构造可以在不抑制功能的范围内任意改变。例如，可以任意选择在其上放置有盒子50的搁架11的级数。另外，尽管示出了在捕获的图像中检测在每一个搁架11的范围中的标记51从而识别盒子50的位置的示例，但是本发明不限于此。例如，可以首先检测标记51的位置，并且然后可以基于检测到的标记51在y2方向上的位置来识别在其上放置有盒子50的搁架11。另外，在通过使用照相机30来识别盒子50的位置的情况下，操作辅助装置1可以设置有照相机30和处理器61。另外，在识别要补充的物品的情况下，操作辅助装置1可以设置有传感器40和处理器61。另外，尽管以用于从盒子50拣选物品的操作的示例对操作辅助装置1进行了描述，但是本发明不限于此。例如，能够理解的是，操作辅助装置1能够通过用存储物品的操作替换拣选物品的操作而被应用于存储物品的操作。

Claims (9)

1.一种操作辅助装置，包括：

照相机，所述照相机被构造成获取物品搁架的捕获的图像，在所述物品搁架上布置多个盒子；

处理器，所述处理器被构造成基于所述捕获的图像来识别所述多个盒子中的第一盒子的位置，并且所述处理器确定与所述第一盒子对应的显示区域的位置；和

投影仪，所述投影仪被构造成在所述显示区域中显示指定给工人的指令。

2.根据权利要求1所述的操作辅助装置，

其中所述第一盒子附有标记，

其中所述捕获的图像反映所述标记，并且

其中所述处理器基于所述捕获的图像中的所述标记的位置识别所述第一盒子的位置。

3.根据权利要求1或2所述的操作辅助装置，

其中所述物品搁架包括多个搁架，所述多个盒子在所述多个搁架上排列，

其中第一方向是所述多个搁架的前端延伸的方向，并且

其中当从所述照相机的捕获方向看时，所述多个搁架中包括的每一个搁架被布置成使得所述每一个搁架的前端在与所述第一方向垂直的第二方向上按照所述搁架接近所述照相机的顺序排列。

4.根据权利要求3所述的操作辅助装置，

其中所述处理器被构造成：

基于所述第一盒子在所述第一方向上的位置，识别在所述每一个搁架上所述第一盒子在所述第一方向上的位置；并且

基于所述第一盒子在所述第二方向上的位置，识别在所述多个搁架中布置有所述第一盒子的搁架。

5.根据权利要求1或2所述的操作辅助装置，进一步包括传感器，所述传感器被构造成检测在设定于所述物品搁架的监视区域中的物体的位置，

其中所述盒子被构造成包含物品，

其中所述处理器被构造成：

在第一模式中，基于所述传感器的检测结果，检测拣选操作中的错误；并且

在第二模式中，基于所述传感器的所述检测结果，识别需要补充的物品。

6.根据权利要求5所述的操作辅助装置，

其中当在所述第一模式中所述传感器在所述监视区域中的第一区域中检测到所述物体时，所述处理器从所述第一模式切换到所述第二模式。

7.根据权利要求6所述的操作辅助装置，

其中当在所述第二模式中所述传感器在所述第一区域中检测到所述物体时，所述处理器从所述第二模式切换到所述第一模式。

8.根据权利要求5所述的操作辅助装置，

其中所述处理器传输图像信息，所述图像信息示出对所述投影仪进行了向所述第二模式的切换。

9.一种操作辅助装置，包括：

传感器，所述传感器被构造成检测被设定于包含物品的物品搁架的监视区域中的物体的位置；和

处理器，

其中所述处理器被构造成：

在第一模式中，基于所述传感器的检测结果，检测拣选操作中的错误；并且

在第二模式中，基于所述传感器的所述检测结果，识别需要补充的物品。

Images