CN113711252B - 用于自动情景任务呈现的方法和系统 - Google Patents

用于自动情景任务呈现的方法和系统 Download PDF

Info

Publication number
CN113711252B
CN113711252B CN202080028934.XA CN202080028934A CN113711252B CN 113711252 B CN113711252 B CN 113711252B CN 202080028934 A CN202080028934 A CN 202080028934A CN 113711252 B CN113711252 B CN 113711252B
Authority
CN
China
Prior art keywords
computing device
task
operator
orientation
initiation event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080028934.XA
Other languages
English (en)
Other versions
CN113711252A (zh
Inventor
J·A·伯纳基
J·S·L·陈
A·皮尔斯
M·A·凡西克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zebra Technologies Corp
Original Assignee
Zebra Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zebra Technologies Corp filed Critical Zebra Technologies Corp
Publication of CN113711252A publication Critical patent/CN113711252A/zh
Application granted granted Critical
Publication of CN113711252B publication Critical patent/CN113711252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Abstract

一种在计算装置中的自动情境任务呈现的方法包括：在计算装置的存储器中存储任务指令序列，以经由连接到移动计算装置的输出组件呈现给计算装置的操作员；经由所述计算装置的输入组件检测任务启动事件；响应于检测到所述任务启动事件：控制所述输出组件以向所述操作员呈现来自所述序列的第一任务指令；从与所述计算装置相关联的惯性测量单元获得对应于所述操作员的取向数据；基于所述取向数据，跟踪自检测到所述任务启动事件以来的累积操作员取向变化；以及在所述累积操作员取向变化超过阈值时，控制所述输出组件以向所述操作员呈现来自所述序列的第二任务指令。

Description

用于自动情景任务呈现的方法和系统
背景技术
诸如仓库拣取的任务要求工作人员在整个设施中行进并检索各种对象，例如以用于后续包装和运输。存在许多用于在设施内引导工作人员的系统。例如，按灯拣货(pick-to-light)系统在整个设施中放置灯光指示器，所述灯光指示器点亮以指示工作人员检索哪些对象。但是，部署和维护此类系统可能成本高昂且耗时。
附图说明
其中相同附图标记在单独视图中指代相同元件或功能相似元件的附图与下面的详细描述一起结合并形成说明书的一部分，且用来进一步说明包括所要求保护的本发明的理念的实施例，并解释这些实施例的各种原理和优点。
图1是用于自动情境任务呈现的系统的示意图。
图2是图1的移动计算装置和图1的可穿戴抬头显示器(heads-up-display)的某些内部硬件部件的框图。
图3是自动情境任务呈现的方法的流程图。
图4A是实施图1的系统的设施的俯视图。
图4B是图4A的设施的一部分的侧视图。
图4C是由图1的可穿戴抬头显示器呈现的信息的示意图。
图5A是图4A的设施的一部分的更新侧视图。
图5B是示出了通过图3的方法生成的累积取向数据的示意图。
图6A是图5A的设施的一部分的另一更新侧视图。
图6B是示出了通过图3的方法生成的累积取向数据的附加示例的示意图。
图6C是由图1的可穿戴抬头显示器呈现的另外信息的示意图。
熟练的技术人员将理解附图中的元件出于简单和明确的目的示出，并且没有必要按照比例绘制。例如，附图中的一些元件的尺寸可以相对于其他元件夸大，以帮助改善对本发明的实施例的理解。
因此，设备和方法部件已酌情通过图中的常规符号表示，仅示出了那些与理解本发明的实施例有关的特定细节，以免因对于受益于本文中的描述的所属领域的普通技术人员显而易见的细节而使本公开混淆不清。
具体实施方式
本文中公开的示例涉及一种在计算装置中的自动情境任务呈现的方法，所述方法包括：在计算装置的存储器中存储任务指令序列，以经由连接到移动计算装置的输出组件呈现给计算装置的操作员；经由所述计算装置的输入组件检测任务启动事件；响应于检测到所述任务启动事件：控制所述输出组件以向所述操作员呈现来自所述序列的第一任务指令；从与所述计算装置相关联的惯性测量单元获得对应于所述操作员的取向数据；基于所述取向数据，跟踪自检测到所述任务启动事件以来的累积操作员取向变化；以及在所述累积操作员取向变化超过阈值时，控制所述输出组件以向所述操作员呈现来自所述序列的第二任务指令。
本文中公开的额外示例涉及一种计算装置，其包括：存储器，所述存储器存储任务指令序列，以经由连接到计算装置的输出组件呈现给计算装置的操作员；输入组件，所述输入组件被配置成检测任务启动事件；处理器，所述处理器连接到传感器和所述存储器；其中所述处理器被配置成：响应于从所述输入组件接收到所述任务启动事件的检测：控制所述输出组件以向所述操作员呈现来自所述序列的第一任务指令；从惯性测量单元获得对应于所述操作员的取向数据；基于所述取向数据，跟踪自检测到所述任务启动事件以来的累积操作员取向变化；以及在累积操作员取向变化超过阈值时，控制输出组件以向操作员呈现来自所述序列的第二任务指令。
图1描绘了用于自动情境任务呈现的系统100。系统100可以部署在仓库环境等中，其中一个或多个工作人员从例如机架、货架等的支撑结构拣取对象以进行包装和运输。如所属领域的技术人员将显而易见的，系统100还可部署于其它环境，例如零售设施等中。
系统100包括移动计算装置104，在本文中也简称为装置104。移动计算装置104被示出为可穿戴计算机，其可安装到操作员的手腕、臂、皮带等。然而，在其它实施例中，装置104可具有另一合适的形状因子，包括智能手机、膝上型计算机、平板计算机、手持移动计算机(例如，包括枪柄式手柄)等的形状因子。装置104包括外壳108，该外壳支撑输入和输出装置，包括显示器112，该显示器可包括集成触摸屏。由外壳108支撑的其它输入装置还可包括麦克风116和一个或多个按钮120。由外壳108支撑的其它输出装置可包括扬声器124。外壳108还支撑装置104的各种内部部件，这将在下文更详细地论述。
在本示例中，系统100还包括数据捕获装置126，其图1中示出为手安装式条形码扫描器，并且因此在本文中也称为扫描器126。一般来说，数据捕获装置126使得装置104和扫描器126的操作员能够从机器可读标记(例如，粘贴到诸如包装的对象的条形码)获得数据。在其它实施例中，扫描器126可以与装置104集成。在另外的实施例中，可以省略扫描器126。
扫描器126包括外壳128，该外壳支撑数据捕获组件，示出了其成像窗口132。数据捕获组件可包括基于图像或基于激光的条形码扫描器以及相关联的控制和解码硬件。在本示例中为手安装式的扫描器126还包括用于安装到诸如上述仓库中的工作人员的操作员的手上(例如，一个或多个手指上)的条带136。扫描器126还包括用于激活数据捕获组件的触发器140或其它输入组件。扫描器126和装置104被配置成经由例如无线链路(例如，BluetoothTM)的链路144进行通信。在其它示例中，链路144可以是有线的而不是无线的。
系统100还包括辅助输出装置，其在本示例中实施为可穿戴抬头显示器(HUD)148。如图1中所示，HUD 148包括玻璃框架和合适的显示硬件(例如，投影硬件等)以在玻璃的区域152上呈现视觉信息。HUD 148还包括经由链路156(例如，另一BluetoothTM链路)与装置104通信的通信接口。因此，装置104能够将数据传输到HUD 148，以在区域152处显示。
如下文将更详细地论述的，装置104、扫描器126和HUD 148由操作员携带，并且被配置成经由区域152自动地向操作员呈现与任务有关的信息。更具体地，装置104被配置成响应于由装置104、HUD 148和扫描器126中的一者或多者检测的某些事件而自动更新在区域152处呈现的信息。
在本示例中，上述与任务有关的信息限定将由操作员执行的拣取任务。也就是说，任务信息限定操作员将行进到的并检索某些对象的部署环境(例如，仓库)内的位置。任务信息还可以识别待检索的特定对象以及待检索的此类对象的数目。如所属领域的技术人员现在显而易见的，可能要求操作员执行许多此类任务，每个任务指定待检索的对象的不同类型(和此类对象的数目)。为此，系统100还可包括服务器160，该服务器经由网络162连接到装置104并存储任务指令的储存库164。任务指令可以(例如，分批地或一次一个)部署至装置104，以按顺序呈现给装置104的操作员。序列中的进展至少部分地由装置104和HUD148自动控制。
转到图2，在更详细地论述系统100的操作之前，将更详细地论述装置104和HUD148的某些内部部件。
如图2中所示，装置104包括中央处理单元(CPU)，也称为处理器200，其与诸如存储器204的非暂时性计算机可读存储介质互连。存储器204包括易失性存储器(例如，随机存取存储器(RAM))和非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)的合适组合。处理器200和存储器204各自包括一个或多个集成电路(IC)。
图1中所示的装置104的部件(例如，显示器和触摸屏112、麦克风116、按钮120和扬声器124)经由一个或多个通信总线与处理器200互连。装置104还包括通信接口208，该通信接口使得装置104能够与包括扫描器126、HUD 148和服务器160的其它装置交换数据。因此，通信接口208包括允许装置104与此类其它装置通信的任何合适的硬件(例如，发射器、接收器、网络接口控制器等)。
装置104还可包括运动传感器212。运动传感器212包括惯性测量单元(IMU)，该惯性测量单元包括一个或多个加速度计和一个或多个陀螺仪。换句话说，运动传感器212被配置成检测装置104在三维中的加速度以及装置104在三维中的取向变化，并向处理器200传输指示此类加速度和取向变化的数据。在其它实施例中，省略了运动传感器212。装置104的部件通过上述通信总线互连，并且由电池或其它电源通过通信总线或通过不同电力总线(未示出)供电。
存储器204存储多个应用程序，每个应用程序包括可由处理器200执行的多个计算机可读指令。由处理器200执行上述指令使装置104实现如本文所论述的某些功能。因此，在下面的论述中，应用程序被认为被配置成执行该功能。在本示例中，装置104的存储器204存储任务呈现应用程序216，在本文中也称为应用程序216。通过处理器200执行应用程序216，装置104被配置成响应于由处理器200检测到的某些事件而例如通过HUD 148向操作员呈现任务信息。任务信息本身也可以存储在存储器204中，例如存储在从服务器160获得的储存库220中(例如，为结合图1提到的储存库164的子集)。
如图2中所示，HUD 148包括与通信接口234和显示组件238互连的处理器230。通信接口234使得HUD 148能够与诸如装置104的其它计算装置通信，并且因此包括实现此类通信所必需的发射器、接收器、网络接口控制器等的任何合适组合。显示组件238包括任何合适的显示硬件，例如显示器膜、投影仪等，其可由处理器230控制以在图1中所示出的区域152处呈现从装置104接收的数据。
HUD 148还可包括运动传感器242，例如IMU，该运动传感器被配置成捕获指示HUD148的取向和加速度变化的数据，以经由处理器230和通信接口234传输到装置104。在其它实施例中，省略了运动传感器212、242中的一个。即，下文论述的依赖于由IMU捕获的运动数据的功能性可以用运动传感器212、242中的任一个实施，且可从系统100省略另一运动传感器。
在另外的实施例中，处理器200、230中的一个或两个实施为一个或多个具体配置的硬件元件，例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)。
现在转向图3，将更详细地描述系统100的操作。图3示出了自动情境任务呈现的方法300的流程图。将结合方法300在系统100内的执行来描述该方法的执行。特别地，下面的论述中的方法300的各框通过处理器200执行应用程序216由装置104来执行。
在框305处，装置104被配置成获得任务指令序列并将其存储在存储器204中。例如，装置104可以被配置成通过经由网络162向服务器160发送请求来获得任务指令。请求可以包括装置104的位置和/或装置104的标识符(例如，与装置104的当前操作员相关联的账户标识符等)中的一者或多者。响应于请求，服务器160可以被配置成从储存库164检索一组任务指令，并向装置104传输任务指令，以存储在本地储存库220中并通过HUD148进行后续呈现。
任务指令各自限定待由装置104的操作员执行的任务。例如，任务指令序列可以限定行进到仓库内的某个位置并扫描与该位置处的特定对象相关联的条形码的初始任务。因此，任务指令可以包括指示对象的位置和标识符的数据。任务指令还可以包括文本字符串、音频文件等，该文本字符串、音频文件指示操作员在到达指定位置时(例如，使用扫描器126)扫描上述条形码。
上述示例序列中的后续任务指令可以限定从上述位置检索指定数量的对象的另一任务。例如，任务指令因此可以包括限定上述对象标识符以及所需数量的数据。任务指令还可以包括例如指示待从其检索对象的机架、货架或其它支撑结构上的精确位置的另外的位置数据。序列中的又一任务指令可以限定将检索到的对象放置在由装置104的操作员拿着(或推着)的手推车、手提袋等中的另一任务。因此，任务指令包括限定例如待放置检索对象的手提袋或其它位置的数据。
在框310处，装置104被配置成确定是否已经由诸如扫描器126的数据捕获组件的输入组件检测到任务启动事件。在图4A、4B中示出了框310的执行。在执行框310之前，假定装置104控制HUD向操作员400呈现初始指令，以与手推车408一起行进到仓库设施中的多个机架404-1、404-2、404-3中的特定位置。初始指令还命令操作员400扫描与给定对象相关联的条形码(或从另一标记，例如RFID标签等捕获数据)。图4A示出了操作员400到达指定位置之后设施的俯视图。在其它实施例中，可以省略由HUD 148进行的上述任务显示。例如，操作员400可能已通过另一合适的机构接收到初始指令。
如图4B中所示，操作员400控制扫描器126捕获上述条形码，从而在框310处得出肯定确定。当框310处的确定为否定的时，装置104等待任务启动事件的检测。返回图3，在框315处，响应于任务启动事件的检测，装置104被配置成从存储器204(例如，从储存库220)检索主任务指令，并且通过HUD 148呈现主任务指令。如图4C中所示，在HUD 148的区域152处呈现的主任务指令包括待从机架404-2检索的对象的标识符412，以及待检索的对象的数量416。主任务指令还可包括机架404-2的视觉描绘420，包括机架404-2上的待从其检索物品的特定位置的指示器(例如，突出显示或其它视觉特征)424。
返回图3，在框320处，装置104被配置成获得对应于操作员400的取向数据。取向数据从IMU获得，且具体地从上文结合图2提到的运动传感器212、242中的一个获得。如所属领域的技术人员将显而易见的，IMU212、242生成指示三维(即，沿着三个轴线中的每一个)加速度和三维(即，围绕三个轴线中的每一个)旋转的数据。装置104被配置成处理运动传感器212或242的输出以跟踪累积取向变化。例如，装置104可以被配置成整合一个或多个陀螺仪的输出，以生成围绕上述三个轴线中的每一个的累积取向变化。因为扫描器126和装置104携带在操作员400的身上，累积取向变化指示操作员400的移动。
装置104被配置成跟踪在框310处的肯定确定时开始的累积取向变化。也就是说，装置104可以被配置成响应于框310处的肯定确定(例如，与框315的执行同时)而开始整合来自运动传感器212或242的陀螺仪输出。
在框325处，装置104被配置成确定自框310处的肯定确定以来的累积取向是否超过预定义阈值。参考图4B，如所属领域的技术人员将理解的，当操作员400已检索到由框315处呈现的任务指令识别的对象(即，本示例中的两个ACME降落伞)时，需要操作员400转身以面向手推车408并将对象放置在手推车408中。使操作员400面向手推车408所需的转身运动指示检索对象的任务已完成。框325处的确定使得装置104能够自动检测检索任务的完成，而不需要操作员400在移动到面向手推车408之外提供明确的完成指示。
参考图5A，示出了操作员400的初始位置500(如图4B中所示)以及操作员400的当前位置。如图5A中可见，操作员400已接近机架404-2以检索由框315处呈现的主指令识别的对象。图5B示出了由于图5A中所示的运动，由装置104生成的累积取向数据504。如图5B中可见，因为操作员400正面向与初始位置500相同的方向，累积取向数据504指示围绕一个轴线例如5度的取向变化。阈值可以例如以40度至100度(例如，60度)的值设定，并且与图5A和图5B相关联的累积取向变化不超过该阈值。因此，框325处的确定为否定的，装置104继续在框320处跟踪累积取向变化。因此，HUD 148还继续呈现图4C中所示的主任务指令。
转向图6A，示出了操作员400的先前位置600(即，图5A中的操作员400的位置)以及操作员400的当前位置。特别值得注意的是，在图6A中，操作员400已转身离开机架404-2以面向手推车408，已检索到由图4C中所示的主任务指令指示的对象。如上所述，装置104被配置成继续在框320处跟踪累积取向变化，直到框325处的肯定确定。因此，如图6B中所示，在图6A中所示的操作员400转身之后产生的累积取向变化由累积取向变化数据604a表示。数据604a限定先前提及的5度旋转以及围绕第二轴线的(例如，170度的)旋转。
在另外执行框325时，装置104被配置成将累积取向数据604a中的每个旋转与先前提及的阈值进行比较。如现在显而易见的，图6B中所示的170度的旋转超过阈值，因此框325处的确定是肯定的。
在讨论方法300的框330之前，应注意，图6B还示出了累积取向数据604b的另一示例。虽然数据504、604a包括与操作员400对准的轴线(例如，基本竖直轴线，以及彼此正交的两个基本水平轴线)，但方法300的执行不需要校准运动传感器212、242。此外，方法300的执行不需要了解运动传感器212、242的物理放置。也就是说，装置104和/或HUD 148可以放置在操作员身上的各个位置和取向，而不影响方法300的执行。因此，在框320处获得的取向数据可能不与操作员400对准。例如，累积取向数据604b被定义为围绕相对于结合数据604a所示的竖直轴线和水平轴线倾斜的轴线的旋转角。然而，由于在框325处针对每个轴线评估取向数据的阈值，所以数据604b中表示的轴线相对于操作员400的物理环境的取向不相关，并且不需要校准运动传感器212、242。例如，数据604b指示围绕第一轴线的约140度的旋转，以及围绕第二轴线的约50度的旋转。因此，框325处的确定是肯定的，不管由数据604b限定的轴线的取向如何。
再次参考图3，在框325处的肯定确定之后的框330处，装置104被配置成停止跟踪累积取向变化。也就是说，累积取向变化被重置。装置104还被配置成呈现在序列中的主任务指令之后的第二任务指令。参考图6C，示出了如HUD 148上(具体地说，在HUD 148的区域152处)呈现的第二任务指令的示例。第二任务指令包括上文提及的标识符412、416，以及将检索对象放置在手推车408中的位置的视觉指示608。视觉指示608可以包括例如对应于手推车408上的特定仓等的突出显示区612，检索到的对象将放置在其中。在框330的执行之后，装置104可以返回到框310以等待另一任务启动事件的检测，从而呈现下一任务指令序列。
在其它实施例中，在框305处获得的指令序列包括限定多个主任务和第二任务的信息。在此类实施例中，装置104不停止在框330处跟踪累积取向变化，而是继续跟踪累积取向变化以检测足够的运动，从而触发下一主任务指令的呈现。例如，在框325处检测到足以触发肯定确定的角变化后，装置104可以继续跟踪累积取向变化并重复框325以(在框330处呈现第一第二任务指令之后)确定是否呈现下一主任务指令。
设想了上述系统和方法的另外变化。例如，任务指令不需要呈现在HUD 148上，但可以通过显示器112、扬声器124或其组合呈现给操作员400。在另外的实施例中，HUD 148本身执行方法300。也就是说，HUD148的处理器230独立于移动装置104(而不是HUD 148充当移动装置104的外围设备，其中移动装置104本身执行与方法300相关联的计算)执行框305至330中的每一个。
在一些实施例中，无需在框305处检索任务指令序列。相反，装置104可以被配置成一次仅检索一个任务，并且仅在完成先前任务时从服务器160请求序列中的下一任务。因此，例如，装置104可以被配置成在框325处的肯定确定之后请求第二任务。
设想了用于在框310处进行检测，而不是上文提及的条形码扫描的各种其它任务启动事件。任务启动事件的另一示例包括检测音频信号，例如，操作员400说出预定字符串(例如，粘贴到机架404-2的文字或数字)。在此类实施例中，上文提及的输入组件包括麦克风116。任务启动事件的另一示例包括由装置104监测脚步计数器(计数器可以是装置104本身的部件，例如通过IMU数据的另外处理实现，或可以是物理分离的)。当在预定义时间长度(例如，2秒)内未检测到脚步时，假定操作员400已到达图4A中所示的位置并停止接收另外的指令。在另外的示例中，输入组件包括图像传感器，并且任务启动事件包括在HUD 148捕获的图像中检测到的数据。图像中检测到的数据可以是上述条形码或另一机器可读标记(例如QR码)，或机架404或其它结构的另一合适的物理特征。
在前述说明书中，已经描述了具体实施例。但是，所属领域的普通技术人员将理解可以在不偏离下面的权利要求书阐述的本发明的范围的情况下进行多种修改和改变。因此，说明书和附图被认为是说明性的，而没有限制含义，并且所有此类修改旨在包括在本发明教导的范围内。
优点、优势、解决方案以及可以造成任何优点、优势或解决方案出现或变得更加明显的任何元件不应理解为是任何或所有权利要求的关键、必须或必要特征或元件。本发明仅由所附权利要求书限定，包括本申请未决期间进行的任何修改以及所限定的那些权利要求的所有等同物。
此外，在此文件中，诸如第一和第二、顶部和底部等相对术语可仅用于将一个实体或动作与另一实体或动作区分，而不必要求或暗示这些实体或动作之间的任何这种实际关系或顺序。术语“包括(comprises/comprising)”、“具有(has/having)”、“包含(includes/including)”、“含有(contains/containing)”或其任何其它变型旨在覆盖非排他包含关系，使得包括、具有、包含、含有一系列元件的过程、方法、物品或设备不仅包括这些元件，而且还包括没有明确列出或这些过程、方法、物品或设备所固有的其它元件。没有更多限制，“包括”、“具有”、“包含”、“含有”之后的元件不排除包括、具有、包含、含有该元件的过程、方法、物品或设备中存在附加的相同元件。术语“一个”和“一”被限定为一个或多个，除非本文另外明确说明。术语“基本上”、“大致”、“大约”、“约”或其任何其他形式如所属领域的普通技术人员理解的那样被限定为接近，并且在一个非限定实施例中，该术语限定在10％内，在另一实施例中，在5％内，在另一实施例中，在1％内，并且在另一实施例中，在0.5％内。本文使用的术语“联接”被限定为连接，虽然不必是直接的，也不必是机械的。以某种方式“构造”的装置或结构至少以该方式构造，但也可以未列出的方式构造。
将理解一些实施例可包括一个或多个专用处理器(或“处理装置”)，诸如微处理器、数字信号处理器、定制处理器和现场编程门阵列(FPGA)和控制一个或多个处理器以结合某些非处理器电路来执行本文描述的方法和/或设备的一些、大部分或全部功能的独特存储程序指令(包括软件和固件两者)。替代地，一些或所有功能可以通过没有存储程序指令的状态机执行，或者在一个或多个专用集成电路(ASIC)中执行，其中每个功能或某些功能的一些组合作为自定义逻辑被执行。当然，可以使用两种方法的组合。
此外，实施例可以实施为计算机可读存储介质，其具有存储其上的计算机可读代码，该计算机可读代码对计算机(包括处理器)编程以执行如本文描述和要求保护的方法。此类计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储装置、磁存储装置、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)和闪存。另外，虽然设想到在本文公开的理念和原理的指引下，可能付出显著的努力以及通过例如可用时间、当前技术和经济考虑启发的许多设计选择，所属领域的普通技术人员将能够容易地以最少的试验生成此类软件指令和程序和IC。
提供本公开的摘要以使读者快速确认技术公开内容的本质。本公开的摘要以其不用来解释或限制权利要求书的范围或含义的认识提交。另外，在前述的具体实施方式中，可以看到各种特征在多种实施例中组合在一起，以用于简化本公开的目的。这种公开的方法不应解释为反映所要求保护的实施例需要比每个权利要求中明确叙述的特征更多的特征的意图。相反，如以下权利要求书所述，本发明的主题并不在于单个公开实施例的所有特征。因此，以下权利要求书由此结合到具体实施方式中，其中每个权利要求彼此独立成为单独要求保护的主题。

Claims (22)

1.一种在计算装置中的自动情境任务呈现的方法，所述方法包括：
在所述计算装置的存储器中存储任务指令的序列，以经由连接到移动计算装置的输出组件呈现给所述计算装置的操作员；
经由所述计算装置的输入组件检测任务启动事件；
响应于检测到所述任务启动事件：
控制所述输出组件以向所述操作员呈现来自所述序列的第一任务指令；
从与所述计算装置相关联的惯性测量单元获得对应于所述操作员的取向数据；
基于所述取向数据，跟踪自检测到所述任务启动事件以来的累积的操作员取向变化；以及
在所述累积的操作员取向变化超过阈值时，控制所述输出组件以向所述操作员呈现来自所述序列的第二任务指令。
2.根据权利要求1所述的方法，其中所述计算装置包括移动计算装置和抬头显示器(HUD)中的至少一者。
3.根据权利要求1所述的方法，其中所述输出组件包括连接到所述计算装置的抬头显示器(HUD)；并且
其中控制所述输出组件以呈现所述第一任务指令和所述第二任务指令包括向所述HUD传输所述第一任务指令和所述第二任务指令。
4.根据权利要求1所述的方法，其中所述输入组件包括连接到所述计算装置的数据捕获组件，并且其中检测所述任务启动事件包括经由所述数据捕获组件从机器可读标记捕获数据。
5.根据权利要求4所述的方法，其中所述机器可读标记是条形码。
6.根据权利要求1所述的方法，其中所述第一任务指令限定拣取操作，并且包括在支撑结构上的位置、对象标识符和数量。
7.根据权利要求1所述的方法，其中所述第二任务指令限定放置操作，并且包括在手推车上的位置。
8.根据权利要求1所述的方法，其中获得所述取向数据包括从所述惯性测量单元采集所述取向数据。
9.根据权利要求3所述的方法，其中获得所述取向数据包括从所述HUD接收所述取向数据；其中所述HUD包括所述惯性测量单元。
10.根据权利要求1所述的方法，其中检测所述任务启动事件包括通过所述移动计算装置的麦克风检测可听信号。
11.根据权利要求1所述的方法，还包括：在所述累积的操作员取向变化超过阈值时，重置累积的取向变化。
12.一种计算装置，包括：
存储器，所述存储器存储任务指令序列以经由连接到所述计算装置的输出组件呈现给所述计算装置的操作员；
输入组件，所述输入组件被配置成检测任务启动事件；
处理器，所述处理器连接到传感器和所述存储器；其中所述处理器被配置成：
响应于从所述输入组件接收到所述任务启动事件的检测：
控制所述输出组件以向所述操作员呈现来自所述序列的第一任务指令；
从惯性测量单元获得对应于所述操作员的取向数据；
基于所述取向数据，跟踪自检测到所述任务启动事件以来的累积的操作员取向变化；以及
在所述累积的操作员取向变化超过阈值时，控制所述输出组件以向所述操作员呈现来自所述序列的第二任务指令。
13.根据权利要求12所述的计算装置，还包括支撑所述存储器、所述输入组件、所述处理器和所述输出组件的移动计算装置外壳和抬头显示器(HUD)框架中的至少一者。
14.根据权利要求12所述的计算装置，其中所述输出组件包括连接到所述计算装置的抬头显示器(HUD)；并且
其中所述处理器被配置成向所述HUD传输所述第一任务指令和所述第二任务指令。
15.根据权利要求12所述的计算装置，其中所述传感器包括数据捕获装置，并且其中所述处理器被配置成检测所述任务启动事件，从所述数据捕获装置接收从机器可读标记捕获的数据。
16.根据权利要求15所述的计算装置，其中所述机器可读标记是条形码。
17.根据权利要求12所述的计算装置，其中所述第一任务指令限定拣取操作，并且包括在支撑结构上的位置、对象标识符和数量。
18.根据权利要求12所述的计算装置，其中所述第二任务指令限定放置操作，并且包括在手推车上的位置。
19.根据权利要求12所述的计算装置，还包括所述惯性测量单元。
20.根据权利要求14所述的计算装置，其中所述处理器被配置成获得所述取向数据，从所述HUD接收所述取向数据。
21.根据权利要求12所述的计算装置，还包括麦克风；其中所述处理器被配置成检测所述任务启动事件，通过所述麦克风检测可听信号。
22.根据权利要求12所述的计算装置，其中所述处理器还被配置成在所述累积的操作员取向变化超过阈值时，重置累积的取向变化。
CN202080028934.XA 2019-04-15 2020-02-04 用于自动情景任务呈现的方法和系统 Active CN113711252B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/384,565 US10726370B1 (en) 2019-04-15 2019-04-15 Method and system for automatic contextual task presentation
US16/384,565 2019-04-15
PCT/US2020/016634 WO2020214229A1 (en) 2019-04-15 2020-02-04 Method and system for automatic contextual task presentation

Publications (2)

Publication Number Publication Date
CN113711252A CN113711252A (zh) 2021-11-26
CN113711252B true CN113711252B (zh) 2023-12-08

Family

ID=71783204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080028934.XA Active CN113711252B (zh) 2019-04-15 2020-02-04 用于自动情景任务呈现的方法和系统

Country Status (6)

Country Link
US (1) US10726370B1 (zh)
KR (1) KR20210154200A (zh)
CN (1) CN113711252B (zh)
DE (1) DE112020001934T5 (zh)
GB (1) GB2596731B (zh)
WO (1) WO2020214229A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991556A (zh) * 2015-06-24 2015-10-21 上海快仓智能科技有限公司 一种智能仓储分拣站及其仓储分拣方法
CN108698758A (zh) * 2016-01-14 2018-10-23 克朗设备公司 包含多层货架、移动储存单元、储存单元传送器和分拣车辆的货物到人的仓储
WO2018203921A1 (en) * 2017-05-03 2018-11-08 Opex Corporation Material handling apparatus and method for automatic and manual sorting of items using a dynamically configurable sorting array
CN109478267A (zh) * 2016-08-25 2019-03-15 克朗设备公司 基于观察的事件跟踪
US10242333B1 (en) * 2017-07-26 2019-03-26 Amazon Technologies, Inc. Transporting packages using light guided operations

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8232742B2 (en) * 2008-11-27 2012-07-31 Arkalumen Inc. Method, apparatus and computer-readable media for controlling lighting devices
US9696809B2 (en) * 2009-11-05 2017-07-04 Will John Temple Scrolling and zooming of a portable device display with device motion
US9588593B2 (en) * 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Virtual reality system with control command gestures
SG11201809314UA (en) * 2016-05-03 2018-11-29 Opex Corp Material handling apparatus and method for sorting items using a dynamically configurable sorting array
US10127632B1 (en) * 2016-09-05 2018-11-13 Google Llc Display and update of panoramic image montages
US10416757B2 (en) * 2016-12-08 2019-09-17 Raymond Maurice Smit Telepresence system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991556A (zh) * 2015-06-24 2015-10-21 上海快仓智能科技有限公司 一种智能仓储分拣站及其仓储分拣方法
CN108698758A (zh) * 2016-01-14 2018-10-23 克朗设备公司 包含多层货架、移动储存单元、储存单元传送器和分拣车辆的货物到人的仓储
CN109478267A (zh) * 2016-08-25 2019-03-15 克朗设备公司 基于观察的事件跟踪
WO2018203921A1 (en) * 2017-05-03 2018-11-08 Opex Corporation Material handling apparatus and method for automatic and manual sorting of items using a dynamically configurable sorting array
US10242333B1 (en) * 2017-07-26 2019-03-26 Amazon Technologies, Inc. Transporting packages using light guided operations

Also Published As

Publication number Publication date
KR20210154200A (ko) 2021-12-20
US10726370B1 (en) 2020-07-28
DE112020001934T5 (de) 2022-01-20
GB202114489D0 (en) 2021-11-24
WO2020214229A1 (en) 2020-10-22
CN113711252A (zh) 2021-11-26
GB2596731A (en) 2022-01-05
GB2596731B (en) 2023-02-15

Similar Documents

Publication Publication Date Title
US10438409B2 (en) Augmented reality asset locator
US10621538B2 (en) Dynamic check digit utilization via electronic tag
US10127414B2 (en) Portable encoded information reading terminal configured to adjust transmit power level
US10272784B2 (en) System and method for display of information using a vehicle-mount computer
US11315073B1 (en) Event aspect determination
US10134112B2 (en) System and process for displaying information from a mobile computer in a vehicle
US9727840B2 (en) Package physical characteristic identification system and method in supply chain management
US10810715B2 (en) System and method for picking validation
US10242393B1 (en) Determine an item and user action in a materials handling facility
US9165279B2 (en) System and method for calibration and mapping of real-time location data
US11900653B1 (en) Mapping items to locations within an environment based on optical recognition of patterns in images
WO2018165287A1 (en) Order information determination method and apparatus
US10037510B2 (en) System and method for calibration and mapping of real-time location data
JP6687199B2 (ja) 商品棚位置登録プログラム、及び情報処理装置
CN113711252B (zh) 用于自动情景任务呈现的方法和系统
WO2014078142A2 (en) Device and method for functionality sequencing
EP3246863B1 (en) Systems and methods for reducing picking operation errors
US20180314212A1 (en) Wearable device and control method therefor
JP2012162341A (ja) コード情報読取装置及び物品管理システム並びにプログラム
US11417020B2 (en) Detection of calibration errors
WO2018047854A1 (ja) ピッキング支援装置、ピッキング支援システム、およびピッキング支援方法
KR20220053255A (ko) 증강현실기반 선내 자재창고 관리시스템
US11157869B2 (en) Monitoring worker movement in a warehouse setting
JP2022101839A (ja) 仮置き管理システム
US20220261578A1 (en) Method, System and Apparatus for Dynamic Inventory Guidance and Mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant