CN109844784A - 用于引导人类执行的库存任务的自适应过程 - Google Patents

用于引导人类执行的库存任务的自适应过程 Download PDF

Info

Publication number
CN109844784A
CN109844784A CN201780062277.9A CN201780062277A CN109844784A CN 109844784 A CN109844784 A CN 109844784A CN 201780062277 A CN201780062277 A CN 201780062277A CN 109844784 A CN109844784 A CN 109844784A
Authority
CN
China
Prior art keywords
operator
positioning
inventory
display
storage organization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780062277.9A
Other languages
English (en)
Other versions
CN109844784B (zh
Inventor
杰里迈亚·大卫·布拉佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN109844784A publication Critical patent/CN109844784A/zh
Application granted granted Critical
Publication of CN109844784B publication Critical patent/CN109844784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

描述了一种库存管理系统。所述库存管理系统可以被配置为确定与存储结构交互的操作者的头部或眼睛水平。作为此过程的一部分，可以获得视觉图像数据、热图像数据或LiDAR数据，并且在获得的数据中识别操作者的眼睛或头部，或者操作者可以佩戴可用于确定头部或眼睛定位的设备。所确定的头部或眼睛水平可以与显示器上的垂直定位相关联，并且库存信息可以在所确定的水平处显示给操作者。

Description

用于引导人类执行的库存任务的自适应过程
背景技术
现代库存系统(例如邮购和电子商务仓库、机场行李系统和定制订单制造设施中的库存系统)在对库存物品的请求提供快速、准确的响应方面面临着重大挑战。随着库存系统的增长，同时完成大量包装、存储和其他与库存相关的任务的挑战变得重要。例如，在产品配送中心(例如履行中心)，大量产品传统上是使用手工劳力和/或机械搬运设备(例如输送系统、叉车等)被加工装运给消费者的。在负责响应大量不同订单的库存系统中，系统资源(包括空间、设备和人力)的低效利用可能导致较低的吞吐量和大量的库存请求积压。
近年来，自动化提高了在这种系统内存储和检索库存物品的速度和效率。人类操作者可能涉及自动库存系统中的各个点，例如将识别的库存物品传送往返库存存储结构。可以实现各种系统以促进操作者与自动库存系统之间的交互，例如向操作者提供关于所识别的库存物品的信息。
附图说明
贯穿所有图示，可以重复使用参考编号来指示参考元素之间的对应关系。提供附图以说明本文描述的示例实施方案，并且附图不旨在限制本公开的范围。
图1展示了根据至少一个示例的示例框图，描绘了用于实现与使用如本文描述的动态放置的库存信息引导操作者通过操作者事件有关的技术的示例流程。
图2展示了根据至少一个示例的库存系统的组件。
图3A至图3C展示了根据至少一个示例的示例库存站，在所述库存站可以实现与如本文描述的动态放置的库存信息有关的技术。
图4是根据至少一个示例的用于实现与如本文描述的动态放置的库存信息有关的技术的示例架构或系统。
图5描绘了根据至少一个示例的流程图，包括与库存信息的动态放置相关的示例动作或技术。
具体实施方式
介绍
本文描述的示例针对使用库存信息的动态显示放置在操作者事件期间促进人类操作者与自动或半自动库存系统的交互。帮助操作者识别库存存储中感兴趣物品的上下文(contextual)信息可以在涉及所述物品的分配任务的开始处呈现给操作者。在一些实施方案中，技术针对识别定位属性，包括操作者的相对于用于呈现上下文信息的显示器的头部或眼睛水平或注视角度。库存系统可以将头部或眼睛定位或注视与显示器上的定位相关联。库存系统可以在确定的定位处在显示器上向操作者显示关于库存物品的上下文信息。这些显示技术可以将操作者在存储结构内定位物品所花费的时间最小化并且改善操作者的体验和工作流程。
例如，库存系统可以分析图像数据或其他获得的定位数据，以识别操作者与库存存储结构或显示器之间的交互的特征。这些特征可以包括操作者的高度、操作者的定位(例如蹲伏、站立、或在梯子上升高)、操作者与存储结构的距离、存储结构或显示器的高度、操作者与存储结构或显示器之间的交互的角度、以及下面描述的其他特征。学习算法可以采用这些确定的交互特征并将它们转换成定位属性，包括操作者的头部定位、眼睛定位和/或注视角度中的一个或多个。注视角度可以是头部的倾斜或成像眼睛的视线。库存系统可以将头部或眼睛定位或注视关联到显示器上的定位，并在确定的定位处在显示器上向操作者显示关于库存物品的上下文信息。
库存系统的一些实施方案可以跟踪操作者或许多操作者与库存系统的组件之间的交互，并且可以使用此历史数据来开发模型，所述模型预测操作者在各种库存分配情况中最有可能看显示器的位置。在获得关于操作者的定位属性的特定数据之前，系统可以在此预测的位置处显示上下文信息。库存系统可以在逐个用户的基础上跟踪历史移动数据(例如，用户首先看的位置)，且因此库存系统可以包含确定或接收其正在跟踪的人的身份的技术。这些技术可以包括访问当前分配给特定库存站的操作者的操作者ID，实现面部识别和图像特征匹配技术，识别捕获图像或定位数据中的操作者ID，或其他合适的操作者跟踪技术。
所公开的动态显示过程可以例如在半自动订单履行中心中实现，其中物品存储结构被自动移动到人类操作者被指示执行任务的站，例如移除顾客所订购的特定物品。每个这样的站可以包括在存储结构移动到的位置附近设置的大型显示器，并且显示器可以用于向操作者提供帮助操作者在存储结构内定位物品的信息。显示器可以是与存储结构的高度类似的高度，以便提供指示存储结构内感兴趣的物品的高度位置的位置指针。在一些库存系统中，此高度可以超过操作者的高度，例如，显示器的高度可以是大约八英尺高。
在大型显示器上定位所需信息对于操作者来说可能是耗时的并且还可能引入人为错误的机会(例如，错误地读取在与操作者的眼睛水平垂直移位的距离处显示的信息)，这两者都可能增加运营成本并降低可实现的吞吐量。在操作者的确定的或预测的头部水平、眼睛水平或注视角度处放置信息促进了与显示器的有效且用户友好的交互，而不要求操作者在大高度的显示器上搜索信息。在实现所公开的动态库存信息显示定位的系统中，操作者可以简单地通过扫视显示器的相邻部分来获得引导与存储结构的交互所需的信息，而不管操作者是蹲伏、站立还是已爬上凳子或梯子。
根据实施方案，可以基于眼睛跟踪系统确定显示水平。一个或多个摄像机可以捕获操作者在与存储结构的交互期间的图像。可以将图像提供给计算机处理器的眼睛跟踪应用，所述眼睛跟踪应用在图像中定位操作者的一只或两只眼睛和/或操作者的虹膜和/或跟踪眼球运动。计算机处理器可以将图像中操作者的眼睛的位置或运动与显示器上的定位(例如与显示器的顶部或底部的垂直偏移)相关联。计算机处理器可以将此定位设置为操作者的眼睛水平或注视角度，并使得信息在眼睛水平处呈现。
根据实施方案，可以基于获得操作者的轮廓并且识别与操作者的头部相对应的轮廓的一部分来确定显示水平。可以从图像数据获得轮廓，例如在各种实现方式中的光学图像数据或热图像数据。光学图像数据可包括可见图像数据，例如RGB图像数据、红外图像数据、紫外图像数据、或在任何波长范围或波长范围的组合下捕获的任何图像数据。计算机处理器可以将图像中操作者的头部的位置与显示器上的定位相关联，将相关联定位设置为操作者的头部水平，并使信息在头部水平处呈现。
根据实施方案，可以基于光检测和测距(“LiDAR”)数据确定显示水平。LiDAR是一种测量技术，通过用紫外、可见或近红外波长的激光照射靶标来测量距离。例如，LiDAR系统可以位于操作者通常与存储结构交互的区域附近，以捕获表示操作者与存储结构的相对定位的数据。LiDAR系统可以生成表示操作者与存储结构之间的相对定位的2D或3D数据。计算机处理器可以接收和分析2D或3D数据，以直接或间接地识别操作者的头部和/或眼睛位置以便与显示器上的定位相关联。例如，LiDAR可以捕获点云数据，并且计算机处理器可以从点云数据中将操作者手定位识别为操作者与存储结构之间的交互位置和交互角度。计算机处理器可以例如从机器学习模型中识别与交互位置相关联的头部定位，并且可以从交互角度识别注视角度。然后，计算机处理器可以将头部定位和注视角度与显示器上的定位相关联。例如，如果交互角度指示正伸展角(reach angle)(即，操作者达到肩高以上)，则计算机处理器可以基于正伸展角和操作者距显示器的距离将操作者的头部定位上方的垂直位移确定为显示器上的定位。负伸展角(即，操作者到达肩高以下)可以类似地用于将操作者头部定位下方的垂直位移确定为显示器上的定位。
使用LiDAR或其他深度感测技术来跟踪操作者手定位并使显示定位基于手定位可以从操作者的角度提供许多益处。例如，操作者可以在操作者相对于LiDAR系统的感测平面移动他们的手时观察显示器上的信息定位如何改变，从而为操作者提供关于在各种情况下将在何处定位显示信息的可预测性的机会。此外，当与诸如眼睛跟踪程序的其他技术相比时，手定位检测系统可以检测更慢或更少的移动，从而为操作者提供更平滑的动态显示定位。
根据实施方案，库存站可以包括位于接收区域上方的用于库存支架的传感器。传感器可以以向下和/或向上的角度瞄准，以提供焦点区域，所述焦点区域包括位于接收区域中的库存支架的前面，例如以检测操作者的手臂放置。传感器可以收集关于库存支架的零件的空间定位(例如距传感器的距离)、库存支架所支撑的库存物品、以及焦点区域中的其他附近物体的数据。计算机处理器可以从传感器接收数据并确定与位于接收区域中的库存支架的前面相对应的平面。计算机处理器可以将传感器检测到的物体的定位与平面的定位进行比较，以确定哪些物体(如果有的话)突出穿过平面。例如，计算机处理器可以在感兴趣的时间识别与操作者的手臂相对应的数据，例如当手臂穿过与库存支架的前部相关联的平面时或者当手或手臂的其他部分做出特定姿态时。计算机处理器可以使用传感器数据来确定感兴趣的时间窗口中的手臂的高度和横向定位。计算机处理器可以将手臂的高度和横向定位与库存支架的布局进行比较，以识别库存支架上与操作者的手臂定位相对应的箱。计算机处理器可以附加地或可选地将手臂的高度和横向定位与操作者的估计的头部定位相关联，并且可以将估计的头部定位与显示器上的定位相关联。
在一些实施方案中，操作者可以戴帽子或其他头饰，其具有传输操作者头部定位的传感器，或者具有帮助快速且准确地检测所捕获图像数据中的头部定位的光活化材料。在一些实施方案中，可穿戴发射器可以由室内物体跟踪系统跟踪以识别操作者的头部水平。存在用于获得表示操作者头部或眼睛定位的信息的其他合适技术，例如结构光、光学飞行时间、超声波测距、立体成像、雷达等等。所公开的定位信息系统和技术可以单独使用或者彼此组合使用。
在显示器上在确定的水平呈现的信息可以垂直居中于确定的水平，可以具有与确定的水平的上部对齐，可以具有与确定的水平的下部对齐，或者被以其他方式定位以便在确定的水平显示一部分信息。在一些实施方案中，所描述的对应关系和数据关联可以通过机器学习模型生成。例如，库存系统可以跟踪一个或多个操作者与一个或多个存储结构的交互以识别交互的特征。使用交互的特征，系统可以生成一个或多个机器学习模型，所述模型考虑到当前交互的特征确定与操作者的注视角度、头部水平或眼睛水平相对应的显示器上的定位。例如，系统可以根据聚类过程(例如，k均值聚类)对特征进行聚类，并且可以基于图像或定位数据中识别的特征来确定显示器上与用户的头部、眼睛、或注视定位最佳匹配的特定位置。
计算机处理器可以基于计算资源和/或操作者效率计算、由操作者设置的偏好或其组合来周期性地更新所确定的水平。例如，计算机处理器可以在每次识别到新信息以便向操作者显示时、以规则或不规则的间隔周期性地、在检测到特定事件(例如操作者看显示器)时或者连续地更新所确定的水平。当更新所确定的水平时，计算机处理器可以使显示的信息的定位在显示器上相应地更新。例如，当操作者在发明者站环境内在任务之间移动时，例如当操作者在库存存储结构与保持区域中的临时存储结构之间移动实物物品时，可以更新水平。一些实施方案可以跟踪操作者扫视显示器的数量、位置和频率以识别操作者在不同库存位置中通常首先看的定位并且可以将此定位设置为那个操作者的默认显示定位。
在一些实现方式中，当操作者最初接合存储结构以定位包含在存储结构中的物品时，可以在显示器上提供两种类型的信息。第一类信息可以是上下文信息，其被提供以使操作者能够在显示器内定位物品。上下文信息可以包括物品名称、物品编号、物品和/或其包装的图像、表示物品在存储结构中的定位的行和列信息、或者识别存储结构中的物品和/或其位置的其他视觉或文本信息。第二类信息可以是位置识别信息，例如在显示器上提供的箭头或其他定位指示符，以指示存储结构内物品的高度或者包含物品的存储结构的部分或箱的投影的突出显示。上下文信息可以帮助操作者识别她在存储结构内寻找什么。可以使用本文描述的技术动态地调整上下文信息显示水平，以适应各个操作者之间的操作者高度的变化，并适应操作者与存储结构的部分的交互期间各个操作者眼睛水平的变化。此动态定位可以将操作者通常在显示器上定位上下文信息所花费的时间最小化。位置信息可以在所述水平显示在显示器上或在存储结构上与存储结构内的物品的定位相对应的定位上。位置信息可以帮助操作者快速定位存储结构内的期望物品。
可以通过学习算法在一些实施方案中执行将操作者的定位属性与显示定位相关联。学习算法可以是决策树、随机森林法、线性回归或任何其他分类器。
现在将关于某些示例和实施方案描述本公开的各个方面，这些示例和实施方案旨在说明但不限制本公开。出于说明的目的，阐述了具体配置和细节以提供对示例的透彻理解。然而，对于本领域技术人员来说也将明显的是，可以在没有具体细节的情况下实践示例。此外，可以省略或简化众所周知的特征，以免使所描述的实施方案含糊。
示例动态库存信息放置系统和技术
图1展示了示例框图100，描绘了用于实现与使用如本文描述的动态放置的库存信息引导操作者通过操作者事件有关的技术的示例过程50。
图100展示了与库存物品25和存储结构5交互的人类操作者10。图100还包括被配置为捕获一个或多个图像的图像捕获设备15和被配置为处理图像并识别操作者事件(例如操作者10的初始或更新的头部或眼睛水平)的库存管理系统20。
过程50可以在101处开始由图像捕获设备15捕获操作者10的以及可选地包括库存物品25的存储结构5的一个或多个图像3。在一些示例中，在操作者10与库存物品25和/或存储结构5交互的时间之前、期间和/或之后捕获一个或多个图像3。一个或多个图像3可以是本文描述的用于获得可用于识别操作者10的头部和/或眼睛位置的数据的任何图像，并且可以是静止图像或视频。
可以将图像3提供给库存管理系统20。库存管理系统20可以被配置为管理在仓库中存储的、被处理设施处理等的库存物品。在一些示例中，库存管理系统20可以被配置为管理图像捕获设备15以及与实现本文描述的技术相关的任何其他设备的操作。例如，库存管理系统20可以指示图像捕获设备15捕获图像3。
在102处，库存管理系统20可以分析一个或多个图像3以识别图像3中的操作者10的头部和/或一只或两只眼睛的位置。库存管理系统20可以使用识别的位置来识别显示器30上与确定的头部和/或眼睛水平相对应的定位。在一些实施方案中，定位可以是与显示器的顶部或底部的垂直偏移、表示x像素宽和y像素高的显示器30上的高度的y坐标、或者与显示器30相关联的高度水平的另一个指示。
在103处，库存管理系统20可以检索与存储结构5内的物品25相关联的上下文信息和位置信息。如上所述，上下文信息可以帮助操作者10确定操作者在存储结构5内寻找哪个物品，并且可以使用位置信息提供视觉提示以帮助操作者更快速地定位期望的物品。
在104处，库存管理系统20可以使在显示器30上与操作者的确定的眼睛或头部水平35或注视角度相对应的定位处显示上下文信息40。库存管理系统20还可以使用表示操作者与库存系统组件之间的过往交互的历史数据来确定操作者通常首先看的位置，并且确定的眼睛或头部水平35或注视角度可以部分地基于操作者通常首先看的位置。库存管理系统20可以使可选地显示以下项的一个或多个：在物品25的高度或者包含存储结构5内的物品25的箱处的图形指针45A以及投射到包含物品25的箱上方的存储结构5上的突出显示指针45B。
图2展示了库存系统200的组件。库存系统200包括管理模块215、一个或多个移动驱动单元220、一个或多个库存存储结构230、以及一个或多个库存站250。每个存储结构230存储一种或多种类型的库存物品。移动驱动单元220响应于由管理模块215传送的命令在工作空间270内的点之间运输存储结构230。库存系统200可以利用移动驱动单元220来促进操作者与通过库存系统200传递的库存物品的战略交互。例如，移动驱动单元220可以在不同站250之间移动装载有物品的存储结构230，在这些站处操作者可以与库存物品交互并为库存系统200中的后续阶段准备库存物品。结果，库存系统200能够在工作空间270内的位置之间移动库存物品，以便于从库存系统200输入、处理和/或移除库存物品以及完成涉及库存物品的其他任务。
管理模块215将任务分配给库存系统200的适当组件，并在完成任务时协调各个组件的操作。这些任务分配218中的一些可包括本文描述的动态信息定位技术。这些任务不仅可以涉及库存物品的移动和处理，还可以涉及库存系统200的组件的管理和维护。例如，管理模块215可以将工作空间270的部分分配给移动驱动单元220的停放空间、移动驱动单元电池的预定再充电或替换、空存储结构230的存储、或者与由库存系统200及其各个组件支持的功能相关联的任何其他操作。管理模块215可以选择库存系统200的组件，以执行这些任务并将适当的命令和/或数据传送到所选组件，以便于完成这些操作。
虽然在图2中示出为单个分立组件，但是管理模块215可以表示多个组件，并且可以表示或包括移动驱动单元220的部分或库存系统200的其他元件。结果，在特定实施方案中，特定移动驱动单元220与管理模块215之间的任何或所有交互可以表示那个移动驱动单元220与一个或多个其他移动驱动单元220之间的对等通信。
移动驱动单元220在工作空间270内的位置之间移动存储结构230。移动驱动单元220可以表示基于存储结构230和/或库存系统200的其他元件的特性和配置适用于库存系统200中的任何设备或组件。在库存系统200的特定实施方案中，移动驱动单元220是被配置为围绕工作空间270自由移动的独立的自供电设备。在可替代的实施方案中，移动驱动单元220是跟踪库存系统的元件，其被配置为沿着轨道、轨、缆索、起重机系统或穿过工作空间270的其他引导或支撑元件移动存储结构230。在此类实施方案中，移动驱动单元220可以通过与引导元件(例如动力轨)的连接来接收电力和/或支撑。另外，在库存系统200的特定实施方案中，移动驱动单元220可以被配置为利用可替代的输送设备在工作空间270内和/或在工作空间270的单独部分之间移动。
另外，移动驱动单元220可能能够与管理模块215通信以接收识别所选存储结构230的信息，发送移动驱动单元220的位置，或交换在操作期间管理模块215或移动驱动单元220使用的任何其他合适信息220。移动驱动单元220可以无线地、使用移动驱动单元220与管理模块215之间的有线连接和/或以任何其他适当的方式与管理模块215通信。作为一个示例，移动驱动单元220的特定实施方案可以使用802.11、蓝牙、或红外数据协会(IrDA)标准或任何其他适当的无线通信协议与管理模块215和/或与彼此通信。作为另一示例，在跟踪库存系统200中，可以连接移动驱动单元220在其上移动的轨道或其他引导元件，以促进移动驱动单元220与库存系统200的其他组件之间的通信。此外，如上所述，管理模块215可以包括各个移动驱动单元220的组件。通常，移动驱动单元220可以基于库存系统200的配置和特性以适当的任何方式被供电、推进和控制。
存储结构230存储库存物品。在特定实施方案中，存储结构230包括多个存储箱，每个存储箱能够容纳一种或多种类型的库存物品。存储结构230能够由移动驱动单元220承载、滚动和/或以其他方式移动。在特定实施方案中，存储结构230可以提供由移动驱动单元220移动存储结构230时提供的附加的补充推进。在一些示例中，每个存储结构230可以包括多个面，并且每个箱可以通过存储结构230的一个或多个面存取。例如，在特定实施方案中，存储结构230包括四个面。在此类实施方案中，位于两个面的拐角处的箱可以通过这两个面中的任一个存取，而其他箱中的每个箱可以通过四个面中的一个中的开口存取。移动驱动单元220可以被配置为在适当的时间旋转存储结构230以将特定面和与那个面相关联的箱呈现给操作者或库存系统200的其他组件。另外，在特定实施方案中，库存物品也可以在存储结构230之内或之上的钩或条(未示出)处悬挂。通常，存储结构230可以以任何适当的方式将库存物品存储在存储结构230内和/或存储结构230的外表面上。
库存物品是适合于在自动库存系统200中存储、检索和/或处理的任何一个或多个物体。出于本说明书的目的，“库存物品”可以是存储在库存系统200中的特定类型的任何一个或多个物体。作为一个示例，库存系统200可以是邮购仓库设施的一部分，并且库存物品可以是存储在仓库设施中的商品(实物产品)。在操作期间，移动驱动单元220可以检索包含订单中所请求的待打包递送给顾客的一个或多个库存物品的存储结构230或承载包含待装运库存物品的聚集集合的货盘的存储结构230。此外，在库存系统200的特定实施方案中，包含已完成订单的盒子本身可代表库存物品。
在特定实施方案中，库存系统200还可以包括一个或多个库存站250。库存站250表示指定用于完成涉及库存物品的特定任务的位置。此类任务可以包括从存储结构230中移除库存物品，将库存物品引入存储结构230中，对存储结构230中的库存物品进行计数，对库存物品进行分解(例如，从货盘或箱子大小的组分解成各个库存物品)，将存储结构230之间的库存物品合并，和/或以任何其他合适的方式处理或处置库存物品。在特定实施方案中，库存站250可以仅表示涉及库存物品的特定任务可以在工作空间270内完成的物理位置。在可替代的实施方案中，库存站250可以表示物理位置以及用于处理或处置库存物品的任何合适设备二者，例如本文描述的动态可配置显示器、用于监测库存物品进出库存系统200的流动的扫描器、用于与管理模块215通信的通信接口、和/或任何其他合适的组件。库存站250的示例配置在图3A至图3C中示出。库存站250可以由人类操作者完全或部分地控制，或者可以是完全自动化的。此外，作为库存系统200的操作的一部分，库存站250的人类或自动操作者可能能够对库存物品执行某些任务，例如包装、计数或转移库存物品。在一些示例中，这种人类或自动操作者可以被认为是物品操纵者。
工作空间270表示与库存系统200相关联的区域，其中可以移动移动驱动单元220和/或可以存储存储结构230。例如，工作空间270可以表示库存系统200在其中操作的邮购仓库的全部或部分楼层。虽然为了说明的目的图2示出了库存系统200的实施方案，其中工作空间270包括固定的、预定的和有限的物理空间，但是库存系统200的特定实施方案可以包括被配置为在具有可变尺寸和/或任意几何形状的工作空间270内操作的移动驱动单元220和存储结构230。虽然图2展示了工作空间270完全封闭在建筑物中的库存系统200的特定实施方案，但是可替代的实施方案可以利用工作空间270，其中一些或全部工作空间270位于室外、在交通工具(例如货船)内、或者以其他方式不受任何固定结构的限制。
在操作中，管理模块215选择适当的组件来完成特定任务，并将任务分配218传输到所选组件以触发相关任务的完成。每个任务分配218定义要由特定组件完成的一个或多个任务。这些任务可以涉及库存物品的检索、存储、补充和计数和/或移动驱动单元220、存储结构230、库存站250和库存系统200的其他组件的管理。根据组件和要完成的任务，特定任务分配218可以识别与对应任务相关联的位置、组件和/或动作和/或相关组件在完成所分配的任务时要使用的任何其他适当信息。例如，任务分配可以包括向库存站250处的显示器提供库存信息，用于如本文描述的在操作者的头部或眼睛水平处的动态放置。
在特定实施方案中，管理模块215部分地基于管理模块215从库存系统200的其他组件和/或从与管理模块215通信的外部组件接收的库存请求来生成任务分配218。这些库存请求识别要完成的涉及存储或要存储在库存系统200内的库存物品的特定操作，并且可以表示任何合适形式的通信。例如，在特定实施方案中，库存请求可以表示装货单，其指定已经由顾客购买并且将从库存系统200检索的特定库存物品以便装运给顾客。作为库存系统200的整体管理和维护的一部分，管理模块215还可独立于此类库存请求生成任务分配218。例如，管理模块215可以响应于特定事件的发生(例如，响应于移动驱动单元220请求停放空间)、根据预定的时间表(例如，作为每日启动例程的一部分)或者在任何适当的时间基于库存系统200的配置和特性生成任务分配218。与任务分配218相关联的库存信息可包括表示库存物品的识别细节的上下文信息和表示库存物品在工作空间270和/或特定存储结构230中的位置的位置信息。在生成一个或多个任务分配218之后，管理模块215将所生成的任务分配218传输到适当的组件以便完成对应的任务。然后，相关组件执行其分配的任务。
具体地，关于移动驱动单元220，管理模块215可以在特定实施方案中将任务分配218传送给识别所选移动驱动单元220的一个或多个目的地的所选移动驱动单元220。管理模块215可以基于以下内容来选择移动驱动单元220以分配相关任务：所选移动驱动单元220的位置或状态、所选移动驱动单元220已完成先前分配的任务的指示、预定时间表、和/或任何其他合适的考虑因素。这些目的地可以与管理模块215正在执行的库存请求或管理模块215试图履行的管理目标相关联。例如，任务分配可以总体上基于库存系统200的配置、特性和/或状态或基于库存系统200的各个组件来定义要检索的存储结构230的位置、要访问的库存站250、移动驱动单元220应该停放直到接收到另一个任务的存储位置、或者与任何其他合适的任务相关联的位置。例如，在特定实施方案中，此类决定可以基于特定库存物品的流行度、特定库存站250的人员配置、当前分配给特定移动驱动单元220的任务、和/或任何其他适当的考虑因素。
作为完成这些任务的一部分，移动驱动单元220可以与工作空间270内的存储结构230对接并将其运输。移动驱动单元220可以通过连接、提升存储结构230和/或以任何其他合适的方式与其交互来与存储结构230对接，使得当对接时，移动驱动单元220耦接到和/或支撑存储结构230并且可以在工作空间270内移动存储结构230。在特定实施方案中，移动驱动单元220表示存储结构230的全部或部分。在此类实施方案中，移动驱动单元220可以在运输存储结构230之前不与存储结构230对接，和/或移动驱动单元220各自可以保持与特定存储结构230连续对接或在结构上合并。
在库存系统200的适当组件完成分配的任务时，管理模块215可以与相关组件交互以确保有效使用库存系统200可用的空间、设备、人力以及其他资源。作为此类交互的一个具体示例，管理模块215在特定实施方案中负责规划移动驱动单元220在工作空间270内移动时所采用的路径，并将工作空间270的特定部分的使用分配给特定移动驱动单元220用于完成所分配的任务。在此类实施方案中，移动驱动单元220可以响应于被分配了任务而请求到与任务相关联的特定目的地的路径。此外，虽然下面的描述集中于移动驱动单元220从管理模块215请求路径的一个或多个实施方案，但是移动驱动单元220可以在可替代的实施方案中生成其自己的路径。
库存系统200的组件可以向管理模块215提供关于其当前状态、与它们交互的库存系统200的其他组件、和/或与库存系统200的操作相关的其他条件的信息。这可以允许管理模块215利用来自相关组件的反馈来更新算法参数、调整策略或以其他方式修改其决策以响应操作条件的变化或特定事件的发生。例如，位于库存站250处的感测设备可以向管理模块215提供表示操作者在库存站250处的头部或眼睛定位的数据(例如视觉图像数据、热图像数据、LiDAR数据或其他定位指示数据)。在一些示例中，管理模块215可以分析此数据以确定操作者的头部或眼睛水平，将所确定的水平与库存站250的显示器上的定位相关联，然后可以将定位输出到具有库存信息以便进行显示的显示器。
另外，在特定实施方案中，虽然管理模块215可以被配置为管理库存系统200的组件的操作的各个方面，但是组件本身也可以负责与其操作的某些方面相关的决策，从而减少管理模块215上的处理负载。在一些示例中，特定于每个库存站250或一组库存站250的本地化计算资源可以分析定位指示数据以识别动态显示定位。
因此，基于对库存系统200的各个组件的位置、当前状态和/或其他特性的了解以及对当前正在完成的所有任务的认识，管理模块215可以生成任务，分配系统资源的使用，并且以其他方式以从系统范围视角优化操作的方式指导各个组件完成任务。此外，通过依赖于集中式、系统范围的管理和本地化、组件专用的决策的组合，库存系统200的特定实施方案可能能够支持多种技术以有效地执行库存系统200的操作的各个方面。结果，管理模块215的特定实施方案可以通过实现本文描述的一种或多种管理技术来提高库存系统200的效率和/或提供其他操作益处。
图3A至图3C展示了示例库存站300，在所述示例库存站可以在显示器305上实现与如本文描述的动态放置的库存信息有关的技术。图3A展示了对于在站立定位的操作者310的所确定的眼睛水平335的显示器305的配置，图3B展示了对于在梯子350上的升高定位的操作者310的所确定的眼睛水平335的显示器305的配置，以及图3C展示了对于在站立定位的操作者310的所确定的注视角度380的显示器305的配置。在一些实施方案中，显示器305可以在图3A至图3C中所示的任何配置之间平滑地转换，例如在图3A和图3B中所示的配置之间转换(当操作者爬上梯子350时)。例如，通过将噪声滤波技术用来基于在攀爬期间操作者的眼睛或头部水平的变化生成线性运动矢量，可以促进平滑转换。在另一个实施方案中，显示器305可以等待在图3A至图3C中所示的任何配置之间转换，直到操作者的眼睛或头部水平或注视角度稳定，例如当操作者310已爬上梯子350时。在另一个实施方案中，在接收到新的或更新的信息以便在显示器305上呈现时，显示器305可以在图3A至图3C中所示的任何配置之间转换。
显示器205可以是库存站300的固定组件，其位于库存站300的可移动存储结构330移动到的位置附近。在其他实施方案中，每个存储结构330可以包括可以与存储结构330一起移动的一个或多个显示器205，且因此在这种实施方案中可以省略库存站300处的固定显示器。在一些实施方案中，这些高度可以具有的高度在五英尺与十英尺之间，且更优选地在七英尺与九英尺之间。显示器的高度可以基于与存储结构高度相关的库存系统的要求而可调整，并且可以被选择以匹配存储结构高度。
库存站300可包括耦接到移动驱动单元380的存储结构330。可以指示移动驱动单元380将存储结构330的多个侧中的任何一个呈现给操作者310。库存站300还可以包括临时存储位置365。临时存储位置365可用于在短时间段内存储库存，例如在装运、检查或存放在存储结构330中之前。库存站还包括一个或多个传感器370、315、投影仪305、和具有网络通信设备的本地计算设备355，所述网络通信设备用于经由网络360与库存管理系统320和显示器305通信。临时存储位置365可以经由网络360与库存管理系统320通信，例如以指示物品何时已被移动到箱中或者操作者310何时指示分配的任务已完成。虽然未示出，但是库存站300可以包括一个或多个用户设备，所述一个或多个用户设备使得操作者310能够记录她与库存物品325的交互。例如，交互包括扫描库存物品325和扫描放置库存物品325的存储结构330的特定隔室。
在一些实现方式中，库存管理系统320可以在操作者在不同任务之间切换或移动到库存站300内的不同定位时动态地更新显示给操作者的适当上下文信息的定位。例如，库存管理系统320可以跟踪操作者与不同类型的存储结构(例如移动存储结构330和临时存储位置365中的临时存储结构)的交互。库存管理系统320可以使用这些跟踪的交互来确定当在库存站300的不同区域中执行任务时操作者通常首先看的位置。当操作者在移动存储结构330与临时存储位置365中的临时存储结构之间移动物品325时，库存管理系统320可以在显示器305上更新上下文信息340的定位。更新的定位可以至少基于操作者首先看的位置和操作者的当前定位属性中的一个或两个。此类定位属性可以包括操作者的头部和/或一只或两只眼睛的位置、操作者的注视角度、操作者的虹膜的移动、操作者的姿势(例如，跪下、站立或在梯子上升高)、操作者的伸展角(例如相对于操作者的肩部水平向上或向下伸展)、操作者距存储结构或显示器的距离、来自操作者身体上的可穿戴传感器的定位数据、以及由操作者用来存取存储结构中的物品的任何梯子或凳子的定位，如本文描述的各个设备所感测到的。
库存站300可包括耦接到移动驱动单元380的存储结构330。移动驱动单元380可以由机动跟踪系统机动或移动，以在库存环境内的位置之间移动存储结构330。可以指示移动驱动单元380将存储结构330的多个侧中的任何一个呈现给操作者310。库存站300还可以包括临时存储位置365。临时存储位置365可用于在短时间段内存储库存，例如在装运、检查或存放在存储结构330中之前。临时存储位置365可以包括用于向操作者310提供关于哪个箱是为物品所用的视觉提示的指示器和用于在将物品放置在指定箱中之后操作者310的输入的输入设备(例如按钮)。
操作者310可以利用本地计算设备355来执行与库存站300处的库存交互(例如，装载和移除物品)相关的技术。例如，可以在显示器305上呈现信息，所述信息指示操作者310从存储结构330检索库存物品325并将库存物品325放置在临时存储位置365中，或反之亦然。所述信息可以包括在操作者310的所确定的眼睛或头部水平335显示的上下文信息340以及可选地一个或多个定位位置指示器345A、345B。定位指示器可以包括例如在显示器305上在存储结构330中的物品325的高度处显示的箭头345A或其他图形指向指示器和/或存储物品325的存储结构330的隔室或区域上方的投影的突出显示345B。为此，库存站300可以包括用于将信息投射到存储结构330上的投影仪305。箭头345A的颜色可以变成与存储结构330中的不同行相对应，并且存储结构330中的行可以被相应地着色以便于操作者310快速识别期望物品325的位置。
当与存储结构330交互时，操作者310占据的典型定位将操作者310靠近显示器305放置。这样，重复扫描显示器的高度以获得所需信息可能在操作者移位期间累积相当长的时间，从而降低操作者效率并产生颈部拉伤的可能性。所公开的动态信息放置技术通过允许操作者310简单地侧向向显示器305扫视以查看显示的信息而不管操作者310在他或她与存储结构330交互时的定位来缓解这些问题。
显示器335可以包括LCD、LED或OLED屏幕(或多个此类屏幕)，并且可以实现触敏技术。如图所示，显示器335可以包括多个部分。其他实施方案可以包括单个统一的显示表面。在一些实施方案中，显示器具有内置网络连接设备，用于经由网络360与本地计算设备355和/或库存管理系统320通信。在一些实施方案中，本地计算设备355可以集成到显示器305中，使得显示器305包括用于执行本文描述的动态信息定位技术的一个或多个计算机处理器，并且是库存管理系统320的本地处理组件。在一些示例中，显示器的颜色可以指示操作者310与物品325之间的交互的状态。例如，显示器305或其一部分在等待操作者310行动时可以是蓝色的，如果库存管理系统320检测到错误则是红色的，而当已经成功完成分配的任务时是绿色的。其他状态指示在本公开的范围内是可能的。
定位检测设备370可以是被配置为检测物体相对于其自身的定位的任何合适的设备，并且根据一些实施方案，可以被定位用于检测操作者310相对于存储结构330的手臂定位。例如，如上所述，定位检测设备370可以被定位在当由移动驱动单元产生时预期被存储结构330占据的空间上方。定位检测设备370可以被配置为生成与存储结构330的面大致平行的光平面375，以检测物体与光平面375相交(例如穿过)(例如，操作者310的手伸向库存物品325)的定位。在一些示例中，定位检测设备370还可以检测关于与光平面375相交的物体的其他信息。这样的其他信息可以指示物体的尺寸特性。在一些示例中，定位检测设备370可以是光检测和测距(LiDAR)设备或其他合适的激光扫描仪或三维扫描仪。定位检测设备370可以以任何合适的方式安装。例如，定位检测设备370可以安装在框架或其他合适结构中在操作者310上方和/或操作者310侧面。在一些实施方案中，在与定位检测设备370不同的取向和/或定位处提供附加传感器，例如在存储结构330下方，以便在操作者310弯腰并且阻挡从定位检测设备370看到手臂的视野的情况下提供关于手臂定位的附加信息。
从定位检测设备370接收的信息可以指示光平面375上的交叉定位。此信息可以由本地计算设备355、库存管理系统320或其他合适的设备使用来将交叉定位与存储结构330的一个或多个隔室和/或操作者的头部或眼睛水平相关联。本地计算设备355和/或库存管理系统320可以将来自定位检测设备370的数据转换成关于由定位检测设备370检测到的物体的空间位置的空间数据，识别与操作者310的手臂相对应的数据，确定与手臂相对应的空间定位和取向(例如通过识别数据点或与手臂相对应的连续数据点的2D形状)，推测操作者310的头部的水平，以及将此所推测的头部水平与显示器305上的定位相关联。可以使用机器学习技术来实现这些功能中的一些或全部。例如，数据点的2D形状可以是圆形或椭圆形的，基于操作者是向前、向上还是向下伸展。表示操作者交互的2D形状的宽度和高度(几何参数)以及交互的时间或持续时间在一些实施方案中可用于识别操作者手臂定位。数据点的形状可用于确定操作者的身体定位。在一些实施方案中，可以输入操作者身体参数，例如身高、手臂长度、手臂周长等，以便为特定操作者定制头部水平确定。操作者身体参数、2D形状参数和其他交互参数可以被称为交互的特征。学习算法可以采用所确定的交互特征并将其转换为头部定位。
一些实现方式可以结合机器学习技术以基于关于在特定任务期间、在特定位置和/或在特定时间用户头部水平、眼睛水平或注视角度的历史数据来学习在给定情况中特定操作者可能首先看的位置。系统还可以基于例如关于所确定的头部水平的准确性的操作者反馈来改进所确定的头部水平。在一些示例中，这种反馈可以通过操作者在其他地方显示信息时在实际头部水平处敲击显示器305的触敏实现来提供。本地计算设备355和/或库存管理系统320可以通过监测操作者生产率(例如，每小时完成的任务的数量)和/或操作者错误的实例来适应性地学习向操作者或一组操作者显示信息的位置。
如上所述，图像捕获设备315可以被配置为捕获操作者310和/或存储结构330的一个或多个图像。本地计算设备355和/或库存管理系统320可以接收一个或多个图像，分析一个或多个图像以识别操作者310的头部或眼睛定位，并将识别的定位与水平335相关联以便在显示器305上显示信息。在一些示例中，图像捕获设备315可以包括红外、可见光或紫外感测摄像机。在一些示例中，图像捕获设备315可以包括热成像设备或能够使用红外辐射捕获一个或多个热图像的其他合适的设备。使用热成像设备捕获的图像可以具有代表一系列温度的区域。在一些示例中，图像可以是单色的和/或可以被映射到一系列颜色。在一些示例中，图像捕获设备315可以包括配置有合适滤光器以检测光活化材料的图像捕获设备。例如，光活化材料可以沿着电磁波谱的任何合适的频率发射电磁辐射，并且图像捕获设备315可以被配置为检测电磁辐射的发射。在一些示例中，光活化材料可以在近紫外到远红外之间的频率发射电磁辐射，其可以包括人类可见的频率。光活化材料的示例可包括但不限于硫化锌、铝酸锶、硫化钙、碱土金属硅酸盐、镭、钷、氚和具有磷光和/或发光特性的其他材料。如本文所述，光活化材料可以合并到操作者310的头饰中，以便于快速和准确地定位操作者的头部。
在一些示例中，可以使用除存储结构330之外的存储结构的变体在库存站300处实现本文描述的技术。例如，作为物品移除过程的一部分，操作者310可以与存储结构交互以从存储结构移除一个或多个物品，并将每个物品放置在临时存储区域365中的多个库存容器之一中。在一些示例中，图像捕获设备315和/或定位检测设备814可以被配置为在操作者310从存储结构330检索物品，将物品放置在库存容器中时，在不同时间点捕获一个或多个图像。使用本文描述的技术，可以确定和/或确认操作者的头部或眼睛水平并将其用于在确定的水平处动态地显示信息340，例如上下文信息。
图4是根据至少一个示例的用于实现与如本文描述的动态地定位库存信息有关的技术的示例架构或系统。库存系统400的架构可以包括存储操作系统422、事件检测引擎410和管理模块415的存储器406，所述存储器可以彼此直接通信或者分布在库存系统内的计算设备之间并经由一个或多个网络360彼此通信。网络360可以包括任何适当的网络，包括内联网、互联网、蜂窝网络、局域网或任何其他此类网络或其组合。用于架构的组件可以至少部分地取决于所选网络和/或环境的类型。网络360可以是专有的或非专有的。
库存管理系统400可以包括一个或多个计算机，所述一个或多个计算机可能布置在服务器集群中或者布置成服务器场。组成这些计算机的存储器和处理器可以位于一台计算机内或分布在许多计算机中，如本文所详述。这些服务器可以被配置为管理库存系统和其他系统的库存。例如，库存管理系统400可以被配置为管理与电子市场相关联地提供的库存。在本示例中，库存管理系统400可以在库存位于各种不同位置(例如仓库、装运中心和其他位置)时管理库存。这也可能涉及库存的端到端跟踪。在一些示例中，本文描述的技术可以使库存管理系统400能够以有效的方式管理特定仓库或多个仓库的库存。
库存管理系统400可以包括至少一个存储器706和一个或多个处理单元(或处理器)408。存储器406可以包括一个以上的存储器，并且可以分布在库存管理系统400中。存储器406可以存储可在处理器408上加载和执行的程序指令以及在执行这些程序期间生成的数据。根据存储器的配置和类型，存储器406可以是易失性的(例如随机存取存储器(RAM))和/或非易失性的(例如只读存储器(ROM)、闪存或其他存储器)。在一些示例中，存储器406可以包括多种不同类型的存储器，例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或ROM。存储器可以将程序指令存储为多个模块，这些模块配置处理器(2)408以执行本文描述的各种功能，例如操作系统422、事件检测引擎410和管理模块415。
存储器406可以包括用于与库存管理系统400交互的操作系统422。
如上所述，管理模块415可以被配置为管理移动驱动单元的移动和操作，所述移动驱动单元在库存环境中移动可移动存储结构。库存管理系统400可以被配置为管理操作者事件的确定，通常连同库存管理。在一些示例中，库存管理系统400和管理模块415协同工作以管理库存。
事件检测引擎410可以包括被配置为实现本文描述的技术的一个或多个模块、引擎、组件等。例如，事件检测引擎410可以包括图像处理功能，以便在操作者的确定的头部或眼睛水平显示上下文信息。事件检测引擎410还可以包括库存管理功能以生成和存储操作者事件。
处理器408可以包括一个或多个通用计算机、专用微处理器或能够传送电子信息的其他处理设备。处理器408的示例包括一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)和任何其他合适的专用或通用处理器。处理器的计算机可执行指令、软件或固件实现可以包括以任何合适的编程语言编写的计算机可执行或机器可执行指令，以执行所描述的各种功能。处理器408可以视情况而定实现在硬件、计算机可执行指令、软件、固件或其组合中。处理器408的计算机可执行指令、软件或固件实现可以包括以任何合适的编程语言编写的计算机可执行或机器可执行指令，以执行所描述的各种功能。
在一些示例中，库存管理系统400还可以包括附加存储设备412，其可以包括可移动存储设备和/或不可移动存储设备。附加存储设备412可以包括但不限于磁存储设备、光盘和/或磁带存储设备。磁盘驱动器及其相关联的计算机可读介质可以为计算设备提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。(可移动的和不可移动的)存储器406和附加存储设备412是计算机可读存储介质的示例。例如，计算机可读存储介质可以包括以任何合适的方法或技术实现的易失性或非易失性、可移动或不可移动介质，用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息。如本文所使用的，模块、引擎和组件可以指由作为架构的一部分的计算系统(例如处理器)执行的编程模块。库存管理系统400还可以包括一个或多个输入/输出(I/O)设备和/或端口414，例如用于启用与键盘、鼠标、笔、语音输入设备、触摸输入设备、显示器、扬声器、打印机、或其他I/O设备的连接。
库存管理系统400还可以包括用户接口416。用户接口416可以由操作者或其他授权用户使用以访问库存管理系统400的部分。在一些示例中，用户接口416可以包括图形用户接口、基于网络的应用、诸如应用编程接口(API)的编程接口、或其他用户接口配置。用户接口416可以包括本文描述的动态可配置的上下文信息显示器。
库存管理系统400还可以包括数据存储区418。在一些示例中，数据存储区418可以包括用于存储和/或保留与库存管理系统400相关联的信息的一个或多个数据存储区、数据库、数据结构等。因此，数据存储区418可以包括数据结构，诸如物品库存数据库422、显示数据储存库424和物品信息数据储存库426。
库存数据库422可用于保留关于库存系统内的物品的清单或列表的信息。例如，这可以包括关于放置或预期放置在一个或多个存储结构中的库存物品的信息。库存数据库422中的信息可以由放置和检索库存物品的操作者(无论是人类还是自动的)生成。例如，在存储结构中装载物品的人类操作者可以使用用户设备扫描库存物品上的条形码和与存储结构中的隔室相关联的其他条形码，以指示什么库存物品放置在存储结构中的哪里。此信息还可以指示库存跟踪事件，例如库存放置事件和库存移除事件。
显示数据储存库424可用于存储与在库存系统内工作的一个或多个操作者的确定的头部和/或眼睛水平有关的信息。显示数据储存库424在一些实施方案中还可以包括可用于例如从操作者的手臂与平面的交叉间接地确定估计的头部或眼睛水平的操作者信息，或者帮助将确定的头部或眼睛位置与显示器上的定位相关联的定位关联信息。
物品信息储存库426可用于存储物品库存数据库422中的一些或所有物品的上下文和位置信息。在一些实施方案中，物品信息储存库426可以合并到物品库存数据库422中。
图5描绘了包括与用于动态放置库存信息的过程500相关的示例动作或技术的流程图。过程500在一些实施方案中可以由库存管理系统400实现。
过程500可以在框505处通过库存管理系统400接收表示操作者与包括库存物品的存储结构交互的一个或多个图像的图像数据开始。图像数据可以是可见图像数据、红外或紫外图像数据、热图像数据、LiDAR图像数据、3D图像数据、立体图像数据或上述任何其他种类的图像数据。除了图像数据之外或代替图像数据，一些实施方案可以实现室内物体跟踪数据、来自操作者佩戴的加速度计的加速度计数据、操作者输入或其他类型的定位指示数据。
在框510处，库存管理系统400可以分析图像数据以识别图像数据中的操作者的一个或多个定位属性。定位属性可以是以下各项的任一项：操作者的头部和/或一只或两只眼睛的位置、操作者的注视角度、操作者的虹膜的移动、操作者的姿势(例如，跪下、站立或在梯子上升高)、操作者的伸展角(例如相对于操作者的肩部水平向上或向下伸展)、操作者距存储结构或显示器的距离、来自操作者身体上的可穿戴传感器的定位数据、以及由操作者用来存取存储结构中的物品的任何梯子或凳子的定位。库存管理系统400可以使用任何定位属性或定位属性的组合来确定操作者在显示器上看或可能看的位置。库存管理系统400可以根据所接收的数据类型识别头部、眼睛或两者的位置。
在框515处，库存管理系统400可以将识别的定位属性与显示设备上的定位或水平相关联。在一些实施方案中，定位可以是与显示器的顶部或底部的垂直偏移、表示x像素宽和y像素高的显示器30上的高度的y坐标、或者与显示器30相关联的高度水平的另一个指示。显示器所在的地板与显示器上的定位位置之间的垂直位移应该大致与地板与操作者的眼睛或头部水平之间的垂直位移相对应。
在框520处，库存管理系统400可以使得在显示设备上的定位或水平处向操作者显示信息。如上所述，在一些实现方式中，这可以包括在识别的定位向操作者呈现上下文信息，并且在另一个或多个位置向操作者呈现位置指针信息。
在判定框525处，库存管理系统400可以确定操作者的定位是否已经改变。这可以涉及接收在初始图像数据之后的时间点捕获的更新的图像数据，在更新的图像数据中识别操作者的头部和/或一只或两只眼睛的位置，以及将位置与先前确定的位置进行比较。如果差异大于阈值(例如在一些实现方式中为两英寸或更小)，则库存管理系统400可以确定操作者的定位已经改变并且循环回到框505。如果差异小于阈值，则库存管理系统400可以确定操作者的定位没有改变并且可以转换到框530。
在判定框530处，库存管理系统400可以确定是否存在信息更新以便向操作者显示。例如，如果操作者已经完成了与一个物品有关的任务，则库存管理系统400可以确定操作者应该执行与不同物品有关的分配并且可以检索关于不同物品的上下文和/或位置信息。如果库存管理系统400确定存在信息更新，则过程500可以循环到框520以在显示设备上的确定定位处向操作者显示信息。如果管理系统400确定不存在信息更新，则过程500可以在结束之前等待预定的空闲时段。
术语
取决于实施方案，本文描述的任何过程或算法的某些动作、事件或功能可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有描述的操作或事件都是对于算法实践必需的)。此外，在某些实施方案中，操作或事件可以例如通过多线程处理、中断处理、或多个处理器或处理器内核或在其他并行架构上同时执行，而不是顺序执行。
结合本文公开的实施方案描述的各种说明性逻辑框、模块、例程和算法步骤可以实现为电子硬件、计算机软件、或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经在功能性方面对各种说明性的组件、框、模块和步骤进行了总体描述。将此功能性实现为硬件还是软件取决于特定应用和强加于整体系统的设计约束。所描述的功能性可以针对每个特定应用以不同方式实现，但是这种实现决策不应被解释为导致偏离本公开的范围。
此外，结合本文公开的实施方案描述的各种说明性逻辑框和模块可以被设计用于执行本文描述的功能的机器实现或执行，诸如通用处理器设备、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、离散门或晶体管逻辑、分立硬件组件或其任意组合。通用处理器设备可以是微处理器，但是在替代方案中，处理器设备可以是控制器、微控制器或状态机、它们的组合等。处理器设备可以包括被配置为处理计算机可执行指令的电路。在另一个实施方案中，处理器设备包括FPGA或执行逻辑操作而不处理计算机可执行指令的其他可编程设备。处理器设备也可以实现为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、结合DSP内核的一个或多个微处理器、或任何其他此类配置。尽管本文主要关于数字技术进行了描述，但是处理器设备也可以主要包括模拟组件。例如，本文描述的一些或所有信号处理算法可以在模拟电路或混合模拟和数字电路中实现。计算环境可以包括任何类型的计算机系统，包括但不限于基于微处理器的计算机系统、大型计算机、数字信号处理器、便携式计算设备、设备控制器、或装置内的计算引擎，仅举几例。
结合本文公开的实施方案描述的方法、过程、例程或算法的元素可以直接在硬件中、在由处理器设备执行的软件模块中或在两者的组合中实施。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或任何其他形式的非暂时性计算机可读存储介质中。示例性存储介质可以耦合到处理器设备，使得处理器设备可以从存储介质读取信息并向存储介质写入信息。在替代方案中，存储介质可以是处理器设备的组成部分。处理器设备和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在替代方案中，处理器设备和存储介质可以作为分立组件驻留在用户终端中。
除非另有明确说明，或者在所使用的上下文内以其他方式理解，否则本文中使用的条件语言(例如“可以”、“可能”、“例如”等)通常旨在表达某些实施方案包括某些特征、元素和/或步骤，而其他实施方案不包括这些特征、元素和/或步骤。因此，此类条件语言通常不旨在暗示特征、元素和/或步骤是以任何方式为一个或多个实施方案要求的，或者一个或多个实施方案必然包括用于在有或没有其他输入或提示的情况下判断这些特征、元素和/或步骤是否包括在任何特定实施方案中或在其中执行的逻辑。术语“包括”、“具有”之类的是同义的并且以开放式方式包括地使用，并且不排除附加元素、特征、动作、操作等等。此外，术语“或”在其包括意义上(而不是在其排他意义上)使用，使得例如当用来连接元素列表时，术语“或”表示列表中的一个、一些或全部元素。
除非另有明确说明，否则诸如短语“X、Y、Z中的至少一个”之类的析取语言在通常使用的上下文中被以其他方式理解为表示项目、项等可能是X、Y、或Z、或者其任何组合(例如，X、Y和/或Z)。因此，此类析取语言通常不旨在且不应该暗示某些实施方案需要各自存在X的至少一个、Y的至少一个或Z的至少一个。
可以根据以下条款描述本公开的实施方案的示例：
1.一种用于动态定位显示信息的系统，所述系统包括：库存站，包括：图像捕获设备，其被定位以捕获表示操作者与具有多个定位的存储结构的交互的图像数据，所述存储结构用于存储库存系统的多个实物物品；以及显示器，其被定位以在所述操作者与所述存储结构交互时显示对所述操作者可见的信息；库存管理系统，包括一个或多个硬件处理器，所述库存管理系统被配置为：从所述图像捕获设备接收表示所述操作者与所述存储结构的所述交互的所述图像数据；分析所述图像数据以识别所述操作者的头部水平、所述操作者的眼睛水平以及所述操作者的注视角度中的一个或多个；接收与所述操作者要执行的任务相对应的上下文信息，所述上下文信息可被所述操作者用于识别所述存储结构中的所述多个实物物品中的特定物品；至少部分地基于所述图像数据选择显示所述上下文信息的显示定位；以及使在所述显示设备上的所述定位处向所述操作者显示所述信息。
2.根据条款1所述的系统，其中所述库存管理系统被配置为基于从表示所述操作者与所述库存系统的多个存储结构之间的多个交互的数据生成的学习算法将头部水平、眼睛水平或注视角度中的所识别的一个或多个与所述显示器上的所述定位相关联。
3.根据条款1或2所述的系统，其中所述库存管理系统被配置为：跟踪所述操作者与至少所述存储结构的多个交互；基于所跟踪的多个交互，预测所述显示器上所述操作者在至少一种库存分配情况中通常首先看的位置；以及至少部分地基于所述操作者通常首先看的所述位置来选择所述定位。
4.根据任何前述条款所述的系统，其中所述图像捕获设备包括LiDAR系统、深度感测系统以及热成像系统中的一个。
5.根据任何前述条款所述的系统，其进一步包括投影仪，其被定位以将光投射到所述存储结构的表面上，其中所述库存管理系统的所述一个或多个硬件处理器被配置为：接收表示所述存储结构内的所述物品的存储定位的定位信息；以及使所述投影仪将光投射到所述存储定位处所述存储结构的所述表面上。
6.根据任何前述条款所述的系统，其中所述库存管理系统的所述一个或多个硬件处理器被配置为：接收表示所述存储结构内的所述物品的存储定位的定位信息；将所述存储定位与所述显示器上的高度相关联；以及使在所述高度在所述显示器上显示图形指针，所述图形指针指向所述存储定位。
7.一种用于动态定位显示信息的方法，所述方法包括，经由与显示器进行数据通信的一个或多个计算机处理器：接收表示操作者与所述显示器和库存系统的存储结构中的一个或两个之间的一个或多个交互的图像数据，所述显示器被定位以在所述操作者与所述存储结构交互时显示对所述操作者可见的信息；分析所述图像数据以识别所述交互期间所述操作者的一个或多个定位属性；将识别的一个或多个定位属性与所述显示器上的定位相关联；接收表示所述存储结构中的所述库存系统的物品的上下文信息，所述上下文信息可被所述操作者用于识别所述存储结构中的多个实物物品中的所述物品；以及使在所述显示器上的所述定位处向所述操作者显示所述上下文信息。
8.根据条款7所述的方法，其进一步包括：在所述交互之后的某个时间捕获表示所述操作者与所述显示器和所述存储结构中的一个或两个之间的后续交互的附加图像数据；以及分析所述图像数据以确定所述附加图像数据中的所述一个或多个定位属性是否相对于所述图像数据发生变化。
9.根据条款7或8所述的方法，其进一步包括，响应于确定所述一个或多个定位属性发生变化：确定对所述一个或多个定位属性的更新；将所述更新与所述显示设备上的更新的定位相关联；以及使在所述显示设备上的所述更新的定位处向所述操作者显示所述信息。
10.根据任何前述条款所述的方法，其进一步包括：跟踪所述操作者与所述库存系统的多个存储结构之间的多个交互；基于所跟踪的多个交互，预测所述显示器上所述操作者在至少一种库存分配情况中通常首先看的位置；以及至少部分地基于所述操作者通常首先看的所述位置来选择所述显示器上的所述定位。
11.根据任何前述条款所述的方法，其进一步包括：访问所述交互的特征，包括所述交互的几何参数和所述操作者的身体参数；将所述交互的所述特征输入到决策树中；以及基于所述交互的所述特征将所述一个或多个定位属性识别为所述操作者的头部水平、眼睛水平或注视角度中的一个或多个。
12.根据任何前述条款所述的方法，其中所述图像数据包括LiDAR数据，所述方法进一步包括基于所述LiDAR数据确定所述交互的所述几何参数。
13.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使库存系统执行包括以下操作：接收表示操作者与库存系统内的结构之间的至少一个交互的定位数据；分析所述定位数据以识别所述操作者的一个或多个定位属性；将识别的一个或多个定位属性与所述库存系统的显示器上的定位相关联；接收针对所述操作者的任务分配；接收关于所述库存系统的实物物品的识别信息，其中所述操作者的所述任务分配包括从位于所述显示器附近的存储结构中移除所述实物物品或者将所述实物物品放置在位于所述显示器附近的所述存储结构内；以及使在所述显示器上的所述定位处向所述操作者显示所述信息。
14.根据条款(错误！没有找到引用源。)所述的非暂时性计算机可读介质，所述操作进一步包括：跟踪所述操作者与所述库存系统的多个存储结构之间的多个交互；以及基于所跟踪的多个交互，使用学习算法来预测所述显示器上所述操作者在至少一种库存分配情况中通常首先看的位置。
15.根据条款13或(错误！没有找到引用源。)所述的非暂时性计算机可读介质，所述操作进一步包括使用所述学习算法将识别的一个或多个定位属性与显示设备上的所述定位相关联。
16.根据任何前述条款所述的非暂时性计算机可读介质，所述操作进一步包括：访问所述交互的特征，包括所述交互的几何参数和所述操作者的身体参数；将所述交互的所述特征输入到决策树中；以及基于所述交互的所述特征将所述一个或多个定位属性识别为所述操作者的头部水平、眼睛水平或注视角度中的一个或多个。
17.根据任何前述条款所述的非暂时性计算机可读介质，其中所述定位数据包括LiDAR数据，所述操作进一步包括基于所述LiDAR数据确定所述交互的所述几何参数。
18.根据任何前述条款所述的非暂时性计算机可读介质，所述操作进一步包括接收表示所述存储结构内的所述实物物品的存储定位的定位信息。
19.根据任何前述条款所述的非暂时性计算机可读介质，所述操作进一步包括：将所述存储定位与所述显示器上的高度相关联；以及使在所述高度在所述显示器上显示图形指针，所述图形指针指向所述实物物品的所述存储定位。
20.根据任何前述条款所述的非暂时性计算机可读介质，所述操作进一步包括：将所述实物物品的所述存储定位与所述存储结构的表面上的区域相关联；以及使光投射到所述区域处所述存储结构的所述表面上。
虽然上述具体实施方式已经示出、描述并指出了应用于各种实施方案的新颖特征，但是可以理解，可以在不脱离本公开的精神的情况下对所展示设备或算法的形式和细节进行各种省略、替换和改变。可以认识到，本文描述的某些实施方案可以实施在不提供本文所述的所有特征和益处的形式内，因为一些特征可以与其他特征分开使用或实践。本文公开的某些实施方案的范围由所附权利要求而不是前面的描述表示。在权利要求的含义和等同范围内的所有变化都包含在其范围内。

Claims (15)

1.一种用于动态定位显示信息的系统，所述系统包括：
库存站，其包括：
图像捕获设备，其被定位以捕获表示操作者与具有多个定位的存储结构的交互的图像数据，所述存储结构用于存储库存系统的多个实物物品；以及
显示器，其被定位以在所述操作者与所述存储结构交互时显示对所述操作者可见的信息；
库存管理系统，其包括一个或多个硬件处理器，所述库存管理系统被配置为：
从所述图像捕获设备接收表示所述操作者与所述存储结构的所述交互的所述图像数据；
分析所述图像数据以识别所述操作者的头部水平、所述操作者的眼睛水平以及所述操作者的注视角度中的一个或多个；
接收与所述操作者要执行的任务相对应的上下文信息，所述上下文信息可被所述操作者用于识别所述存储结构中的所述多个实物物品中的特定物品；
至少部分地基于所述图像数据选择显示所述上下文信息的显示定位；以及
使在所述显示设备上的所述定位处向所述操作者显示所述信息。
2.根据权利要求1所述的系统，其中所述库存管理系统被配置为基于从表示所述操作者与所述库存系统的多个存储结构之间的多个交互的数据生成的学习算法将所述头部水平、所述眼睛水平或所述注视角度中的所述识别的一个或多个与所述显示器上的所述定位相关联。
3.根据权利要求1或2所述的系统，其中所述库存管理系统被配置为：
跟踪所述操作者与至少所述存储结构的多个交互；
基于所述跟踪的多个交互，预测所述显示器上所述操作者在至少一种库存分配情况中通常首先看的位置；以及
至少部分地基于所述操作者通常首先看的所述位置来选择所述定位。
4.根据任何前述权利要求所述的系统，其中所述图像捕获设备包括LiDAR系统、深度感测系统以及热成像系统中的一个。
5.根据任何前述权利要求所述的系统，其进一步包括投影仪，所述投影仪被定位以将光投射到所述存储结构的表面上，其中所述库存管理系统的所述一个或多个硬件处理器被配置为：
接收表示所述存储结构内的所述物品的存储定位的定位信息；以及
使所述投影仪将所述光投射到所述存储定位处所述存储结构的所述表面上。
6.根据任何前述权利要求所述的系统，其中所述库存管理系统的所述一个或多个硬件处理器被配置为：
接收表示所述存储结构内的所述物品的存储定位的定位信息；
将所述存储定位与所述显示器上的高度相关联；以及
使在所述高度处在所述显示器上显示图形指针，所述图形指针指向所述存储定位。
7.一种用于动态定位显示信息的方法，所述方法包括，通过与显示器进行数据通信的一个或多个计算机处理器：
接收表示操作者与所述显示器和库存系统的存储结构中的一个或两个之间的一个或多个交互的图像数据，所述显示器被定位以在所述操作者与所述存储结构交互时显示对所述操作者可见的信息；
分析所述图像数据以识别所述交互期间所述操作者的一个或多个定位属性；
将所述识别的一个或多个定位属性与所述显示器上的定位相关联；
接收表示所述存储结构中的所述库存系统的物品的上下文信息，所述上下文信息可被所述操作者用于识别所述存储结构中的多个实物物品中的所述物品；以及
使在所述显示器上的所述定位处向所述操作者显示所述上下文信息。
8.根据权利要求7所述的方法，其进一步包括：
在所述交互之后的某个时间捕获表示所述操作者与所述显示器和所述存储结构中的所述一个或两个之间的后续交互的附加图像数据；以及
分析所述图像数据以确定所述附加图像数据中的所述一个或多个定位属性是否相对于所述图像数据发生变化。
9.根据权利要求7或8所述的方法，其进一步包括，响应于确定所述一个或多个定位属性发生变化：
确定对所述一个或多个定位属性的更新；
将所述更新与所述显示设备上的更新的定位相关联；以及
使在所述显示设备上的所述更新的定位处向所述操作者显示所述信息。
10.根据任何前述权利要求所述的方法，其进一步包括：
跟踪所述操作者与所述库存系统的多个存储结构之间的多个交互；
基于所述跟踪的多个交互，预测所述显示器上所述操作者在至少一种库存分配情况中通常首先看的位置；以及
至少部分地基于所述操作者通常首先看的所述位置来选择所述显示器上的所述定位。
11.根据任何前述权利要求所述的方法，其进一步包括：
访问所述交互的特征，包括所述交互的几何参数和所述操作者的身体参数；
将所述交互的所述特征输入到决策树中；以及
基于所述交互的所述特征将所述一个或多个定位属性识别为所述操作者的头部水平、眼睛水平或注视角度中的一个或多个。
12.根据任何前述权利要求所述的方法，其中所述图像数据包括LiDAR数据，所述方法进一步包括基于所述LiDAR数据确定所述交互的所述几何参数。
13.根据任何前述权利要求所述的方法，其进一步包括使用所述学习算法将所述识别的一个或多个定位属性与显示设备上的所述定位相关联。
14.根据任何前述权利要求所述的方法，其进一步包括接收表示所述存储结构内的所述实物物品的存储定位的定位信息。
15.根据任何前述权利要求所述的方法，其进一步包括：
将所述实物物品的所述存储定位与所述存储结构的表面上的区域相关联；以及
使光投射到所述区域处所述存储结构的所述表面上。
CN201780062277.9A 2016-09-22 2017-09-18 用于引导人类执行的库存任务的自适应过程 Active CN109844784B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/273,543 US10762468B2 (en) 2016-09-22 2016-09-22 Adaptive process for guiding human-performed inventory tasks
US15/273,543 2016-09-22
PCT/US2017/052073 WO2018057463A1 (en) 2016-09-22 2017-09-18 Adaptive process for guiding human-performed inventory tasks

Publications (2)

Publication Number Publication Date
CN109844784A true CN109844784A (zh) 2019-06-04
CN109844784B CN109844784B (zh) 2023-10-31

Family

ID=61621194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780062277.9A Active CN109844784B (zh) 2016-09-22 2017-09-18 用于引导人类执行的库存任务的自适应过程

Country Status (5)

Country Link
US (1) US10762468B2 (zh)
EP (1) EP3516445B1 (zh)
JP (1) JP6835973B2 (zh)
CN (1) CN109844784B (zh)
WO (1) WO2018057463A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10747851B2 (en) * 2017-06-09 2020-08-18 Nxp B.V. Segmented platform for items
US11610167B2 (en) * 2018-11-28 2023-03-21 Target Brands, Inc. Computer storage system
US11164147B2 (en) * 2018-12-27 2021-11-02 Target Brands, Inc. Computer storage system for generating warehouse management orders
US10776651B2 (en) * 2019-01-18 2020-09-15 Intelligrated Headquarters, Llc Material handling method, apparatus, and system for identification of a region-of-interest
US11204735B2 (en) * 2019-02-14 2021-12-21 International Business Machines Corporation Receiving audio from a listening device associated with a selected geographic area
JP7370809B2 (ja) * 2019-10-30 2023-10-30 シャープ株式会社 ピッキング作業支援装置およびピッキング作業支援プログラム
US11520924B2 (en) 2019-12-30 2022-12-06 Salesforce, Inc. Identifying that an item of information potentially includes an item of sensitive information
US11176601B2 (en) * 2020-01-29 2021-11-16 Salesforce.Com, Inc. Integration of independent data for search and discovery
US20210325183A1 (en) * 2020-04-20 2021-10-21 Topcon Corporation Imformation processing device, survey system, and multifunctional surveying apparatus
JP2021189592A (ja) * 2020-05-27 2021-12-13 株式会社Ｊｖｃケンウッド 管理情報表示システム及び管理情報表示方法
EP4044084A1 (de) * 2021-02-15 2022-08-17 Zeitfracht GmbH & Co. KG Logistiksystem zur planung und abwicklung von warensendungen und verfahren zur logistischen bewegung von warensendungen
WO2024054698A1 (en) * 2022-09-07 2024-03-14 Baker Creek Heirloom Seed Co., LLC System and methods of three-dimensional projection mapping-based visual guidance for order fulfillment
CN117383126B (zh) * 2023-11-29 2024-04-09 广州赛志系统科技有限公司 板件分拣缓存库位调度方法、控制系统及智能分拣生产线

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694045A (zh) * 2005-06-02 2005-11-09 北京中星微电子有限公司 一种非接触式目控操作系统和方法
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉系统全挡风玻璃hud
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作
US20120144334A1 (en) * 2010-12-02 2012-06-07 John Paul Reichert Method and system for providing visual instructions to warehouse operators
US20140098210A1 (en) * 2011-05-31 2014-04-10 Promtcam Limited Apparatus and method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027621B1 (en) 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US8423431B1 (en) * 2007-12-20 2013-04-16 Amazon Technologies, Inc. Light emission guidance
US8384531B2 (en) 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
JP2012113437A (ja) * 2010-11-22 2012-06-14 Hitachi Omron Terminal Solutions Corp 自動券売機
US9417666B2 (en) * 2012-10-19 2016-08-16 Microsoft Technology Licesning, LLC User and device movement based display compensation
US9563331B2 (en) 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
JP5492333B1 (ja) * 2013-07-26 2014-05-14 株式会社Ｗｉｎｄｙ ディスプレイを使用した薬剤ピッキング支援システム
JP6158335B2 (ja) * 2013-08-07 2017-07-05 株式会社日立製作所 ピッキング表示装置およびピッキング表示システム
US8965562B1 (en) 2013-09-09 2015-02-24 Amazon Technologies, Inc. Efficient shuffling of mobile drive units for inventory holders
US9392254B2 (en) * 2014-02-28 2016-07-12 John Clinton Barkley Game sizing camera
US9411412B1 (en) 2014-06-17 2016-08-09 Amazon Technologies, Inc. Controlling a computing device based on user movement about various angular ranges

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694045A (zh) * 2005-06-02 2005-11-09 北京中星微电子有限公司 一种非接触式目控操作系统和方法
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉系统全挡风玻璃hud
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作
US20120144334A1 (en) * 2010-12-02 2012-06-07 John Paul Reichert Method and system for providing visual instructions to warehouse operators
US20140098210A1 (en) * 2011-05-31 2014-04-10 Promtcam Limited Apparatus and method

Also Published As

Publication number Publication date
EP3516445B1 (en) 2022-11-23
US20180082244A1 (en) 2018-03-22
EP3516445A4 (en) 2020-02-19
CN109844784B (zh) 2023-10-31
WO2018057463A1 (en) 2018-03-29
EP3516445A1 (en) 2019-07-31
US10762468B2 (en) 2020-09-01
JP2019537541A (ja) 2019-12-26
JP6835973B2 (ja) 2021-02-24

Similar Documents

Publication Publication Date Title
CN109844784A (zh) 用于引导人类执行的库存任务的自适应过程
US11263795B1 (en) Visualization system for sensor data and facility data
EP3513365B1 (en) Robotic traffic density based guidance
US10882692B1 (en) Item replacement assistance
CN104364735B (zh) 汽车用户界面的徒手手势控制
US11000953B2 (en) Robot gamification for improvement of operator performance
CN108829095A (zh) 地理围栏设置方法及限制机器人运动的方法
CN109154799A (zh) 基于可定制目标的仓库布局优化
CN108475364A (zh) 利用马达驱动的推车的仓库自动化系统和方法
US8762111B2 (en) Method for inputting a spatial layout of production devices to a computer-aided planning program and for optimizing the latter
US11524846B2 (en) Pose determination by autonomous robots in a facility context
JP2022516417A (ja) 倉庫管理の方法およびシステム
US20200182634A1 (en) Providing path directions relating to a shopping cart
US11531957B2 (en) Cargo management system and methods of managing cargo
JP2005049148A (ja) 放射線線量率分布の可視化装置
CN110520372A (zh) 物品管理支援装置、物品管理支援系统及物品管理支援方法
CN108367436A (zh) 针对三维空间中的物体位置和范围的主动相机移动确定
CA3232661A1 (en) Method and system for optimizing a warehouse
JP6557571B2 (ja) 物品位置管理システム、物品位置管理装置、および物品情報収集装置
US20240212322A1 (en) Using SLAM 3D Information To Optimize Training And Use Of Deep Neural Networks For Recognition And Tracking Of 3D Object
CN106248058A (zh) 一种对于仓储运输工具的定位方法、装置及系统
US11010903B1 (en) Computer vision and machine learning techniques for item tracking
US11851279B1 (en) Determining trends from materials handling facility information
KR102403460B1 (ko) 라이다센싱데이터 및 wms데이터를 이용한 물류창고의 자동적 3차원 모델링방법, 장치 및 컴퓨터-판독가능 매체
US20240144354A1 (en) Dynamic store feedback systems for directing users

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant