CN116615743A - 分析传感器数据以识别事件 - Google Patents

Abstract

本公开涉及其中环境(106)中的第一用户(102)先扫描与物件(104)(诸如，条形码)相关联的视觉标记，然后再将该物件交给第二用户(110)的技术。一个或更多个计算设备(118)可接收该扫描的指示，从该环境(106)内的相机(116)检索交互活动的图像数据，识别接收到该物件的该用户(110)，然后更新与该第二用户(110)相关联的虚拟购物车(138)以指示该物件(104)的添加。

Description

分析传感器数据以识别事件

相关申请的交叉引用

本申请要求于2020年11月30日提交的名称为“ANALYZING SENSOR DATA TOIDENTIFY EVENTS”的美国专利申请号17/106,755的优先权，该专利申请的全部内容以引用方式并入本文。

背景技术

零售商、批发商和其他产品经销商通常维护各种物件的库存，客户或顾客可订购、购买、租赁、借用、租用、查看这些各种物件。例如，电子商务网站可能会在订单履行中心维护库存。当客户订购某件物件时，该物件会从库存中挑选出来，送往包装站，然后包装并运送给顾客。同样，实体店在顾客可访问的区域(诸如，购物区)维护库存，顾客可从库存中挑选物件并将它们带到收银台进行购买、租赁等。许多实体店还在存储区域、订单履行中心或其他设施场所中维护库存，这些其他设施场所可用于补充位于购物区的库存或满足通过其他渠道(例如，电子商务)下达的物件订单。维护持有库存的设施场所的实体的其他示例包括图书馆、博物馆、租赁中心等。在每种情况下，为了将物件从一个位置移动到另一个位置，从其当前位置将物件挑选出来，转移到新的位置，用户可在设施场所内四处走动，等等。通常希望能产生有关设施场所中发生的事件的信息。

附图说明

将参考附图进行详细描述。在这些图中，参考标号的最左边数字标识首次出现该参考标号的图。在不同附图中使用相同的参考标号来表示相似或相同的物件或特征。

图1示出了示例性架构，其中环境中的第一用户先扫描与物件相关联的视觉标记(诸如，条形码)，然后再将该物件交给第二用户。该架构还包括服务器计算设备，该服务器计算设备被配置为接收扫描的指示，从该环境内的相机检索交互活动的图像数据，识别接收到该物件的该用户，然后更新与该第二用户相关联的虚拟购物车以指示该物件的添加。

图2A至图2C共同示出了示例性操作序列，其中第一用户扫描物件并将该物件交给第二用户，同时一个或更多个计算设备在扫描时分析交互活动附近环境的图像数据，以确定与接收该物件的该第二用户相关联的用户标识符。

图3A示出了图像分析部件，该图像分析部件使用机器视觉算法来生成图像数据帧的分割图。如图所示，该分割图可指示与不同对象(诸如，背景、用户的手、物件等)相关联的像素。

图3B示出了图像分析部件，该图像分析部件使用分割图和一个或更多个经训练的分类器来针对图像数据的各个帧确定该帧是否包括手，如果包括，则确定该手的位置以及其是空的还是满的。该图像分析部件可使用该信息来识别在使用扫描设备扫描物件之后获取该物件的用户。

图4A至图4B共同示出了示例性过程的流程图，该示例性过程用于更新接收由另一用户使用扫描设备扫描的物件的用户的虚拟购物车数据。

图5示出了另一示例性过程的流程图，该示例性过程用于更新接收物件的用户的虚拟购物车数据。

图6是包括传感器和库存管理系统的示例性材料处理设施场所的框图，该库存管理系统被配置为使用传感器数据生成关于该设施场所中发生的事件的输出。

图7示出了被配置为支持设施场所的操作的一个或更多个服务器的框图。

具体实施方式

本公开涉及使用设施场所中的传感器生成的传感器数据来识别该设施场所内发生的事件的系统和技术。在一个示例中，技术和系统可响应于第一用户使用扫描设备扫描物件的视觉标记(例如，条形码、QR码等)以及第二用户接收该物件来识别事件。在识别到第二用户接收该物件之后，系统和技术可更新与该第二用户相关联的虚拟购物车以指示物件的添加。在一些示例中，可在“即拿即走”零售环境中执行这些系统和技术，在该零售环境中，可对各个用户的虚拟购物车进行维护，使得用户可取走以及以其他方式接收物件，然后“直接离开”设施场所，而后响应于用户离开该设施场所，可向用户的相应预存的支付工具收取其虚拟购物车的费用。

在下述的一些示例中，某设施场所的员工(例如，雇员等)可先扫描物件的视觉标记，然后再将该物件交给设施场所内的顾客。在某些情况下，物件包括定制物件(例如，定制沙拉或定制三明治等)、重量可变物件(例如，一定量的海鲜或肉类等)、可变量物件(例如，一定长度的绗缝材料)，或其费用根据顾客实际收到的物件的数量或其他参数(例如，装饰配料)而变化的任何其他类型的物件。因此，在顾客下订单后(诸如，订购一磅虾、一码织物等)，员工可按要求的数量打包所要求的物件，并且可使用打印设备打印与该物件相关联的视觉标记。例如，员工可使用秤来测量物件的数量，并且使用打印机来打印条形码、QR码等，其中该视觉标记编码关于该物件的信息，诸如，物件的物件标识符、物件的重量/数量、物件的费用、扫描时间等。在某些情况下，员工可随后将视觉标记贴到物件或物件的包装上。例如，打印机可打印包括视觉标记的不干胶标签，员工随后可将该不干胶标签粘附到物件或包装上。

在将视觉标记贴到物件上之后，员工可随后使用扫描设备来扫描该视觉标记。例如，员工可使用条形码扫描器、平板计算设备或包括相机或其他成像设备的任何其他设备来识别或以其他方式捕获关于该视觉标记的信息。扫描设备可生成扫描数据，该扫描数据可指示上述信息，诸如，物件的标识、物件的重量/数量、物件的费用、扫描时间等。然后，可经由一个或更多个网络将该扫描数据发送到一个或更多个计算设备，该一个或更多个计算设备被配置为验证该扫描数据，然后尝试确定与关联到该扫描数据的物件相关联的事件。发送到计算设备的扫描数据可包括或可伴随有登录到扫描设备的员工的标识符、扫描设备的标识符和/或类似数据。

计算设备可接收扫描数据，并且作为响应或在稍后的时间，可尝试确定涉及该扫描数据的任何事件。例如，计算设备可确定生成扫描数据的扫描设备的标识，并且可确定设施场所内与该扫描设备相关联的感兴趣体(VOI)。也就是说，设施场所中的每个扫描设备都可与该设施场所内的相应VOI相关联，该VOI可包括环境的一部分(例如，以X-Y-Z坐标定义的环境)，顾客可能在该环境中与关联到该扫描数据的物件进行交互(例如，接收物件)。例如，每个扫描设备的VOI可包括相对于相应扫描设备定义的X-Y-Z“框”，诸如，跨越扫描设备所在台面中的一些或全部台面并向上延伸预定义的长度(例如，延伸至天花板)的边界框。在某些情况下，针对环境中的每个扫描设备手动配置这些VOI，而在其他情况下，可通过使用设施场所内的相机(例如，高架相机)来分析扫描设备和这些设备周围区域的图像数据从而确定VOI。

在任一情况下，在接收到扫描数据时，或在此之后的某个时间，计算设备可确定用于生成该扫描数据的扫描设备的标识，该标识继而可用于确定扫描设备的相应VOI。在识别出VOI之后，计算设备可确定设施场所内具有包括该VOI的视场(FOV)的相机。此外，计算设备可通过扫描数据来确定与物件的扫描相关联的时间。在识别出其FOV中具有当前VOI的一个或更多个相机之后，计算设备可检索该相机(或多个相机)在扫描时间前后生成的图像数据。也就是说，计算设备可在扫描开始时或刚好在扫描之后等的时间检索跨越物件扫描(例如，刚好在扫描之前和扫描之后)的图像数据。

在接收到该图像数据之后，计算设备可使用一个或更多个经训练的分类器来确定涉及与扫描相关联的物件的任何事件。例如，计算设备可首先针对图像数据的各个帧执行分割技术，以识别帧中所表示的内容。例如，计算设备可被配置为识别图像数据帧内的用户、用户身体部分(例如，手、头部、身体、手臂等)、背景、台面等。这些设备可利用使用监督学习或其他技术训练过的分类器来识别预定义的对象。在某些情况下，这些分类器输出对应于不同对象的像素值的指示，诸如，第一位置处的第一像素对应于背景、第二像素对应于手等的指示。

计算设备可使用该分割图来识别物件扫描周围的时空窗口内是否存在一只或多只手。也就是说，设备可确定扫描阈值时间量内的图像数据帧中的任一帧是否包括在扫描设备的VOI内的手。如果包括，则计算设备可确定扫描阈值时间量内其手在VOI中的用户的用户标识符。响应于识别到该用户标识符，计算设备可更新与该用户相关联的虚拟购物车。

在某些情况下，计算设备可随时间的推移，而非仅基于识别到图像数据帧内的手来做出该确定。例如，除了被训练来识别用户的手之外，分类器还可被训练来输出分数，用以指示手中可能是满的还是可能是空的。另外，计算设备可存储第一分数和第二分数的相应指示，其中第一分数指示相应帧是否包括手，第二分数指示所识别的手(如果包括手)是空的还是满的。计算设备还可存储所识别的手的位置。该信息中的一些或全部信息可随时间的推移而被存储，诸如，设备能够识别指示所识别的手如何随时间的推移而在VOI内移动的运动矢量。

例如，在确定与扫描数据相关联的时空窗口之后，计算设备可通过生成与图像数据帧相关联的特征数据，并且将该特征数据输入到一个或更多个经训练的分类器中来分析该时空内的图像。这些分类器可利用图像数据指示手的位置，指示手是空的还是满的(如果有的话)的指示，并且指示手的位置(如果有的话)。响应于识别到空的手“进入”VOI以及满的手“离开”VOI，计算设备可确定与该手相关联的用户已接收到物件。

因此，响应于确定用户已接收到物件，系统可调用定位部件或以其他方式与定位部件进行交互，该定位部件被配置为在给定时间维护设施场所内每个用户标识符的位置。也就是说，在用户进入设施场所后，系统可向该用户分配用户标识符(在某些情况下，该用户标识符可不含个人标识数据)，并且可使用图像数据和/或类似数据来维护该用户标识符随时间的推移在该设施场所内的位置。因此，当计算设备确定手在与扫描数据相关联的时空窗口内接收到物件时，计算设备可通过定位部件确定交接时物件的位置处存在的是哪个用户标识符。在接收到用户标识符的指示之后，系统可更新与该用户标识符相关联的虚拟购物车以指示物件的添加。例如，可更新用户的虚拟购物车以指示她已接收到物件。1.2磅的虾售价9.89美元。

因此，这些技术使顾客能够向员工要求定制物件或重量/尺寸可变物件，员工继而可准备该物件，打印该物件费用的视觉标记，将该视觉标记贴到该物件，扫描该视觉标记，然后将该物件交给提出要求的用户。作为响应或在该交互活动之后的某个时间，本文所述的系统和技术可分析表示该交互活动的图像数据，以确定哪个用户实际接收了该物件。例如，系统和技术可分析在阈值时间量内与扫描设备相关联的预定义的VOI，以识别VOI内的手的存在，并且有可能识别关于该手的信息，诸如，该手是满的还是空的，其随时间的推移的位置，和/或类似信息。可使用该信息来确定手(从而确定用户)的确接收到了物件。在做出该确定之后，随后，系统和技术可确定是哪个用户与该手相关联，并且在做出该确定之后，可更新该相应用户的虚拟购物车。

在某些情况下，可响应于计算设备接收到扫描数据的指示来执行本文所述的系统和技术。也就是说，响应于员工(或其他用户)扫描物件，作为响应，可执行这些技术来确定与接收该物件的用户相关联的用户标识符。与此同时，在其他情况下，不同的触发因素可能会导致该确定。例如，响应于用户离开设施场所，可在确定用户的虚拟购物车中的内容的系统内执行这些技术。在该示例中，系统可针对设施场所内的每个潜在事件确定一组候选用户，并且可响应于用户离开环境来解决该特定用户的每个事件。例如，当在设施场所的肉类柜台处扫描物件时，如果该肉类柜台附近(例如，在阈值距离内)有某个特定用户，则可能将该用户标记为涉及被扫描物件的特定事件的候选用户。在用户离开商店时，系统可使用上述和下述技术来确定实际上是否是该用户接收到了该物件，如果是，则可在此时更新该用户的虚拟购物车。总而言之，不同的触发因素可能导致执行本文所述的技术。

此外，虽然上述示例描述了使用基于视觉的分类器来确定VOI中手的存在(以及可能的状态和方向)以便确定用户接收到物件，但在其他情况下，可使用一个或更多个其他因素来做出该确定。例如，视觉算法可用于跟踪扫描设备所扫描的物件，直到该物件被设施场所中的另一用户接收到为止。也就是说，当物件被扫描时，一个或更多个计算机视觉算法可用于识别被扫描物件，并且跟踪被扫描物件随时间的推移在图像数据中的位置(例如，在VOI内或其他地方)，至少直到与扫描该物件的用户不同的用户接收到该物件为止。此时，可更新接收用户的虚拟购物车。

此外或另选地，可随时间的推移维护员工(或扫描物件的其他用户)的位置。例如，在员工扫描物件时，可使用一个或更多个计算机视觉算法来识别执行该扫描的员工，并且继续随时间的推移在图像数据中定位该员工，直到该物件被传递给另一用户为止。同样，这也可能导致与该接收用户相关联的虚拟购物车的更新。

另外，虽然上面和下面的讨论包括与固定位置相关联的扫描设备的示例，但应当理解，这些技术也可应用于移动扫描设备，诸如，商店的员工使用移动设备来扫描物件并将这些物件交给相应用户的示例。例如，在员工使用移动扫描设备扫描物件时，该设备可将扫描数据提供给上述一个或更多个计算设备。这些计算设备可使用该移动扫描设备的标识符来确定该移动设备和/或设施场所内的该员工的当前位置。也就是说，计算设备可使用系统的跟踪部件来确定设备和/或员工的位置，该跟踪部件维护顾客和员工在商店内的当前位置。该信息继而可用于确定具有移动扫描设备的当前位置的FOV的一个或更多个相机(例如，高架相机)。然后，计算设备可从这些相机获取图像数据以分析扫描设备周围的VOI。如上所述，可相对于扫描设备的位置来定义VOI。然后，计算设备可使用上面介绍的和下面进一步详细描述的技术来识别VOI内的顾客的手，诸如，顾客进入VOI时空的手和离开VOI时满的手。然后，可使用与该手相关联的用户标识符来更新相应用户的虚拟购物车。

最后，虽然本文所包括的示例是参考单个物件描述的，但应当理解，这些技术也可应用于多个物件。在这些情况下，员工可先连续扫描多个物件，然后再将该组物件或装有该多个物件的容器(例如，袋子或盒子)交给顾客。此处，计算设备可首先通过相应扫描数据确定这些物件是在相对于彼此的阈值时间量内扫描的。例如，计算设备可确定物件与随后物件之间的扫描所经过的时间少于阈值时间量，因此，这些物品是连续扫描的。响应于做出该确定，计算设备可使用上述技术分析手的VOI，并且可将连续扫描的物件中的每个物件与所确定的与该手相关联的用户标识符相关联。因此，如果员工先扫描例如五个物件，然后再将这些物件(例如，装在袋子中)交给顾客，则这些技术可将该五个物件中的每个物件与在VOI内识别到其手的同一顾客相关联。另外，虽然上面的示例描述了计算设备基于一组物件彼此是在阈值时间量内扫描的而确定这些物件是相关的，但在另一示例中，扫描设备可包括控件(例如，图标)，员工可选择该控件以指示将要扫描多个物件，并且这些物件是针对单个顾客的。因此，当计算设备接收到多个物件的扫描数据时，计算设备可基于所描述的手识别和手跟踪技术来确定将每个物件与同一用户标识符相关联。

以下描述介绍了这些技术在材料处理设施场所中的使用。本文所述的设施场所可包括但不限于仓库、配送中心、对接配送设施场所、订单履行中心设施场所、包装设施场所、运输设施场所、租赁设施场所、图书馆、零售店、批发店、博物馆或其他设施场所或执行材料(库存)处理的一种或多种功能的设施场所的组合。在其他具体实施中，本文所述的技术可在其他设施场所或其他情况下实现。现在下面将参考附图更全面地描述本公开的某些具体实施和实施方案，在这些具体实施和实施方案中示出了各个方面。然而，各个方面可以许多不同的形式来实现并且不应被解释为限于本文所阐述的具体实施。本公开包括实施方案的变型，如本文所述。相同的编号通篇指代相同的元素。

图1示出了示例性架构100，其中环境106中的第一用户102使用扫描设备108扫描物件104。例如，第一用户102可包括零售设施场所的员工(例如，雇员等)，并且可使用任何类型的设备扫描与物件104相关联的视觉标记(诸如，条形码、QR码、文本等)，该任何类型的设备能够生成编码或以其他方式指示物件详细信息的扫描数据。例如，扫描设备108可包括被配置为读取贴在物件104上的条形码或QR码的设备。同时，在某些情况下，物件104可包括定制物件或重量可变物件，因此，第一用户102可使用秤、打印设备和/或类似设备来生成视觉标记，诸如，条形码。在物理打印条形码等之后，第一用户可在扫描物件104之前或之后将视觉标记贴(例如，粘附)到物件104。

在使用扫描设备108扫描物件104之后，第一用户102可将物件104递给第二用户110，可将物件104放在柜台上以供第二用户110获取等。在任一情况下，第二用户110可将其手112伸入与扫描设备108相关联的感兴趣体(VOI)114中，以便接收物件104。VOI 114可包括环境106内与扫描设备108相关联的三维区域。虽然未示出，但环境106可包括多个扫描设备，该多个扫描设备中的每个扫描设备可与相应的VOI相关联。

在某些情况下，可相对于相应的扫描设备(诸如，所示的扫描设备108)来定义环境106内的每个VOI 114。例如，当环境106最初配置有传感器(诸如，扫描设备和相机)时，每个扫描设备可存储与环境106的相应三维空间的关联。该三维空间可包括VOI 114，该VOI可与相应的扫描设备108相邻，可包括扫描设备108等。在一个示例中，VOI 114对应于扫描设备108所在的工作台面上方的三维空间。在另一示例中，VOI 114包括由扫描设备周围的半径定义的区域。因此，VOI 114可包括任意形状(诸如，球体、立方体等)的三维区域。另外，在将初始VOI与扫描器相关联地存储之后，可根据环境内发生的交互活动而随时间的推移不断调整该VOI。除此之外，虽然上面的示例描述了将VOI与扫描器预先关联，但在其他情况下，可根据环境106内发生的交互活动而动态地确定VOI。

如图所示，环境106还可包括用于生成图像数据的一个或更多个相机(诸如，相机116)，该图像数据可用于识别接收物件的用户，诸如，识别接收物件104的第二用户110。环境106可包括多个相机(诸如，高架相机、货架相机和/或此类相机)，该多个相机被配置为获取环境106的不同部分和/或重叠部分的图像数据。另外，可存储每个VOI与一个或更多个具有相应视场(FOV)的相机的关联，这些相应视场包括VOI中的一些或全部VOI。例如，鉴于相机116的FOV包括环境106中的VOI 114，则可存储所示的VOI 114与所示的相机116之间的关联。

响应于扫描设备108生成扫描数据，扫描设备108可经由一个或更多个网络120将扫描数据发送到一个或更多个服务器计算设备118。网络102可表示一个或更多个有线网络和/或无线网络的任何组合。同时，服务器计算设备118可驻留在环境中、远离环境和/或它们的组合。如图所示，服务器计算设备118可包括一个或更多个处理器122和存储器124，该存储器可部分地存储定位部件126、图像分析部件128、事件确定部件130和虚拟购物车部件132。此外，存储器124可在一个或更多个数据存储区中存储从环境中的一个或更多个传感器(例如，扫描设备、相机等)接收到的传感器数据134、指示环境106中的用户标识符的位置的用户数据136、指示相应用户的虚拟购物车的内容的虚拟购物车数据(或“购物车数据”)138，以及指示关于环境内的传感器等(诸如，位置)信息的环境数据140。

响应于从扫描设备108接收到扫描数据，服务器计算设备118可将该扫描数据存储在传感器数据数据存储区134中。响应于接收到该扫描数据，或响应于另一触发事件(诸如，检测到第二用户110或另一用户离开环境106)，事件确定部件130可尝试确定涉及该被扫描物件104的任何事件的结果。例如，事件确定部件可启动用于确定接收该物件的用户的标识的过程，以便更新与所识别的用户相关的购物车数据，从而指示物件的添加。

为了确定涉及被扫描物件104的事件的结果，事件确定部件130可指示图像分析部件128分析环境中的且在其FOV中具有相应VOI的一个或更多个相机生成的图像数据，以识别接收物件104的用户。此外，事件确定部件可利用定位部件126(其存储用户标识符随时间的推移在环境106中的当前和过去的位置)并结合来自图像分析部件128的输出来确定涉及物件104的事件的结果。在确定结果之后，事件确定部件130可指示虚拟购物车部件132相应地更新相应虚拟购物车。

首先，图像分析部件128可接收指示，以分析特定时间范围内的特定VOI的图像数据。例如，事件确定部件130可通过扫描数据确定扫描发生的位置和扫描发生的时间。例如，从扫描设备108接收到的扫描数据可包括扫描时间和扫描设备108的标识。事件确定部件可将该信息提供给图像分析部件128，或者可以其他方式使用该信息来使图像分析部件分析相应时空窗口，如下所述。

在从事件确定部件130接收到请求之后，图像分析部件128可通过环境数据140确定哪个(哪些)相机包括VOI 114的FOV。也就是说，环境数据140可存储关于哪些相机具有哪些VOI的视图的相应指示，或者可以其他方式存储关于将使用哪个相机来确定在特定VOI内发生的事件的指示。在这种情况下，图像分析部件128可确定所示相机116具有包括VOI 114的FOV。因此，图像分析部件128可从传感器数据数据存储区134检索图像数据，以便针对图像数据运行一个或更多个计算机视觉算法。在某些情况下，图像分析部件128分析在至少部分基于扫描时间的时间范围内的VOI 114的图像数据。例如，图像分析部件128可分析开始于扫描时间并在此后持续三十秒、开始于扫描前十五秒并于此一分钟后结束和/或此类时间范围内的图像数据。

在针对确定的时间范围检索表示当前VOI 114的图像数据之后，图像分析部件128可使用一个或更多个经训练的分类器来确定在VOI 114内发生的事件。例如，经训练的分类器可首先被配置为接收生成的关于图像数据的每一帧的特征数据，然后逐帧输出分割图，该分割图指示相应帧内表示的预定义对象。例如，图像分析部件128可利用已(例如，经由监督学习)训练过的分类器来识别背景、用户、用户的特定部位(例如，手、头部、手臂、身体等)、一个或更多个物件和/或类似对象。下述的图3A示出了示例性分割图。

除了针对图像数据的各个帧生成分割图之外，图像分析部件128还可利用一个或更多个经训练的分类器，该一个或更多个经训练的分类器被配置为使用至少分割图来识别在VOI 114内发生的事件。例如，分类器可被配置为确定图像数据的每一帧是否包括手，如果包括，则确定手的状态，诸如“空的”(未持物件)或“满的”(持有物件)。在某些情况下，经训练的分类器可接收从图像数据的各个帧生成的特征数据，并且输出指示各个帧是否包括手的分数、任何此类手的位置以及指示手是空的还是满的的分数。可针对这些分数应用一个或更多个阈值，以确定每个单独的帧是否包括手，如果包括，则该手是空的还是满的。

除了存储针对每一帧的该信息之外，图像分析部件128还可确定所识别的手随时间的推移在VOI 114内的运动矢量。例如，如果图像分析部件128确定在第一帧中的第一位置检测到空的手，在第二、后续帧中的第二位置检测到空的手等，则图像分析部件可使用该信息来确定与该手相关联的运动矢量。另外，图像分析部件128可包括一个或更多个经训练的分类器，该一个或更多个经训练的分类器被配置为至少部分地基于这些运动矢量和关于手的状态的相关联信息来确定用户是否收到物件、归还物件等。例如，图像分析部件128可能已被训练(例如，使用监督学习)来确定空的手“进入”VOI 114和满的手“离开”VOI 114表示与该手相关联的用户获取物件。因此，在此示例中，图像分析部件114可输出“拿取”或“挑选”的指示。在相反的示例中，分类器可被训练来确定满的手进入VOI 114和空的手离开VOI114可表示归还。

在所示的示例中，图像分析部件128可确定(例如，使用一个或更多个经训练的分类器)物件104扫描时间之后空的手进入VOI 114，之后满的手离开VOI 114。图像分析部件128可向事件确定部件130提供该信息和/或相关信息(例如，“拿取”的指示)。此外，定位部件126可在相应用户在整个环境中移动时定位其用户标识符，并且可随时间的推移将这些位置存储为用户数据136。例如，当所示的第二用户110进入环境106时，定位部件126可能已创建了与该用户相关联的标识符，并且可能已随时间的推移将用户的位置与该用户标识符相关联地存储。在某些情况下，用户标识符可不含个人可识别信息，使得无法跟踪用户110的实际标识，而是跟踪与用户110没有其他可识别联系的标识符。

除了从图像分析部件128接收的数据之外，事件确定部件130还可使用该用户数据136来确定与获取物件104的用户110相关联的用户标识符(即，确定与在VOI 114中识别到的手相关联的用户110)。例如，图像分析部件128(或事件确定部件128)可能已确定特定时间(例如，10:23:55)发生了物件104的“拿取”。定位部件126(或事件确定部件130)可确定该特定时间是哪个用户标识符在VOI 114的位置处，并且可使用该信息来确定与该用户标识符相关联的用户拿取了物件104。响应于该确定，事件确定部件130可指示虚拟购物车部件132更新与特定用户标识符(诸如，与用户110相关联的用户标识符)相关联的虚拟购物车数据138。通过使用上述技术，响应于用户110直接从用户102接收到物件104(例如，以交接形式)，响应于用户110在用户102将物件104放置在柜台上之后从柜台拿取物件104，和/或类似事件，事件确定部件可从而指示虚拟购物车部件更新相应虚拟购物车数据138。

图2A至图2C共同示出了示例性操作序列200，其中上述图1中的第一用户102扫描物件104并将物件104交给第二用户110，同时服务器计算设备118分析扫描时交互活动附近环境的图像数据，以确定与接收到该物件的第二用户110相关联的用户标识符。

首先，第二用户110或另一用户可要求特定物件，诸如，一定量的食物、一定长度的织物、具有特定装饰配料的沙拉，和/或类似物件。作为响应，第一用户可准备定制物件，并且可打印或以其他方式生成与该物件相关联的物理视觉标记或数字视觉标记，诸如，条形码、QR码等。在某些情况下，视觉标记可以是关于物件的编码信息，诸如，物件标识符、物件的重量、物件的长度、物件的数量、物件的费用、订购物件的时间、创建视觉标记的时间，和/或类似信息。当视觉标记是物理视觉标记时，第一用户102可将视觉标记贴到物件上，或者当视觉标记是数字视觉标记或物理视觉标记时，第一用户可以其他方式将视觉标记与物件相关联。

在贴上视觉标记或以其他方式将其与物件104相关联之后，操作202表示使用扫描设备扫描物件104以生成扫描数据。例如，第一用户102可使用任何类型的扫描设备扫描视觉标记以生成扫描数据。如上所述，要接收扫描数据的指示的系统可存储特定扫描设备与环境内的位置之间的关联。例如，系统可存储特定VOI与每个特定扫描设备之间的关联。

操作204表示将扫描数据发送到一个或更多个计算设备，诸如，上述服务器计算设备118。在某些情况下，扫描数据包括或伴随有附加信息，诸如，扫描设备的标识符、扫描时间等。

操作206表示使用环境中的相机生成图像数据。可以理解，在某些情况下，相机可持续生成该图像数据以用于识别包括在操作202处扫描的物件的事件，以及除此之外的事件。

图2B继续操作序列200的图示并且包括在操作208处将生成的图像数据发送到一个或更多个计算设备，诸如，服务器计算设备118。在某些情况下，相机持续向计算设备发送该图像数据，该计算设备可分析该图像数据以识别环境内发生的事件。

操作210表示接收扫描数据的计算设备通过扫描数据确定与扫描相关联的时间和与扫描设备相关联的VOI。例如，该操作可包括从扫描数据中读取扫描的时间戳，并且通过将扫描设备的标识符用作密钥来确定存储在设施场所数据中的与扫描设备相关联的VOI。然后，计算设备可使用扫描时间和VOI来定义时空窗口。例如，如上所述，时空窗口可包括就该窗口的空间部分而言的VOI和就该窗口的时间部分而言的针对预定义的时间量(例如，10秒、30秒、2分钟等)的时间范围。该时空窗口可用于分析图像数据以识别在扫描之后获得物件的用户的手。

操作212表示通过图像数据分析在扫描时间之后的阈值时间量期间的VOI。例如，该操作可包括生成与图像数据相关联的特征数据，并且将该特征数据输入到经训练的分类器中，该经训练的分类器被配置为识别用户的手和用户的手的状态(例如，满的或空的)。

图2C总结了操作序列200的图示，并且包括在操作214处识别在从扫描时间起的阈值时间量内VOI内的用户的手。在某些情况下，该操作包括经训练的分类器输出在具有时间戳的图像数据帧中识别到手的指示，该时间戳在时空窗口的定义时间范围内。在其他情况下，该操作可包括识别时空窗口内的至少一帧(其中分类器识别到了空的手)，以及识别时空窗口内的至少一个后续帧(其中分类器识别到了满的手)。在其他示例中，该操作可包括跨帧生成所识别的手的运动矢量，并且识别朝向VOI前进并且还进入VOI的空的手，以及远离VOI前进并离开VOI的满的手。

操作216表示确定与用户相关联的用户标识符，该用户与所识别的手相关联。在某些情况下，该操作可包括访问定位部件生成的用户数据，以确定在扫描期间或在根据扫描定义的时间范围期间，哪个用户标识符靠近或位于扫描设备和/或VOI的位置。

操作218表示更新与用户标识符相关联的虚拟购物车数据以指示物件的添加。例如，在所示的示例中，将用户的虚拟购物车进行更新，以包括添加的费用为12.34美元的“1.2磅虾”。虽然该示例描述了将物件标识符添加到虚拟购物车，但在用户归还扫描物件的情况下，可相应地从虚拟购物车中移除物件标识符。在这些示例中，可在扫描之前以及扫描之后定义由物件扫描所触发的时空窗口，并且可分析扫描之前生成的图像数据以识别归还，诸如，识别进入VOI的满的手和从VOI中出来的用户的空的手。

图3A示出了图像分析部件128，该图像分析部件使用机器视觉算法来生成图像数据帧的分割图300。如图所示，分割图300可指示与不同对象(诸如，背景、用户的手、物件等)相关联的像素。例如，所示的分割图300指示已使用例如图像分析部件128的一个或更多个经训练的分类器302将图像数据帧的不同区域与示例性语义标签(例如，“标签”)相关联。在该示例中，语义标签包括背景304、头部306、身体308、手臂310、手312、物件(或手中的物件)314和门316。当然，应当理解，这些仅仅是示例，可使用任何其他类型的语义标签。还应注意，可通过雇用人类用户使用计算机图形工具来将相应的语义标签304至316分配给帧的不同区域，来训练用于生成该示例性分割图302的分类器。在人类用户中的一个或更多个用户将这些语义标签分配给阈值数量的图像数据之后，可训练分类器将语义标签应用到更多附加图像数据。

在某些情况下，分类器302的第一经训练的分类器逐帧输出指示身体某些部位(例如，手、下臂、上臂、头部等)和这些相应部位的位置的分割图300。在某些情况下，除了候选手的轮廓之外，第一经训练的分类器还可输出指示图像数据帧的特定部分代表手的可能性的分数。第一分类器还可将图像数据中每个识别到的手与识别到的头部相关联。该头部可用于确定用户的用户标识符，因此，每只手可与用户标识符相关联。

图3B示出了图像分析部件128，该图像分析部件使用分割图300和一个或更多个经训练的分类器302来针对图像数据的各个帧确定该帧是否包括手，如果包括，则确定该手的位置以及其是空的还是满的。图像分析部件128可使用该信息来识别在使用扫描设备扫描物件之后获取该物件的用户。例如，该示例中所示的帧可对应于VOI 114的与时间戳相关联的图像数据帧，这些时间戳在时空窗口的预定义的时间范围内。

如图所示，图像分析部件分析第一帧318(1)。在该示例中，上述第一分类器未识别到手。然而，该第一分类器在后续帧318(2)中的确识别到空的手。例如，如上所述，分类器可输出指示手的存在的分数、指示所识别的手是空的还是满的的分数，以及所识别的手的位置。此外，分类器还可将该手与头部相关联，并且还可将其与和该头部相关联的用户标识符相关联。

分类器确定第三示例性帧318(3)表示另一只空的手，而分类器确定第四帧318(4)和第五帧318(5)分别表示满的手。此外，图像分析部件128可使用相应用户标识符和跨帧的所识别的手的位置来生成与手相关联的一个或更多个运动矢量。例如，图像分析部件可使用与手相关联的用户标识符来识别该同一只手随时间的推移的运动。如图所示，在该示例中，图像分析部件128可识别指示空的手移入VOI并且满的手从VOI移开和/或移出VOI的运动矢量。分类器302或另一分类器可使用该信息来确定与手相关联的用户确实拿取了被扫描物件。

图4A至图4B共同示出了示例性过程400的流程图，该示例性过程用于更新接收由另一用户使用扫描设备扫描的物件的用户的虚拟购物车数据。过程400和本文所述的其他过程可通过硬件、软件或它们的组合来实现。在软件背景下，所描述的操作表示存储在一个或更多个计算机可读存储介质上的计算机可执行指令，这些计算机可执行指令在由一个或更多个硬件处理器执行时，执行所述的操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。本领域普通技术人员将容易认识到，可消除、组合或以替代顺序执行上图中所示的某些步骤或操作。可连续地或并行地执行任何步骤或操作。除此之外，描述操作的顺序不旨在被理解为限制。此外，这些过程可通过提篮(例如，购物车、篮子、袋子等)、服务器、其他计算设备或它们的组合来执行。

操作402表示接收扫描器已生成扫描数据的指示。例如，事件确定部件130可接收环境中的特定扫描设备已扫描与物件相关联的视觉标记(诸如，条形码、QR码等)的指示。

在操作404处，事件确定部件130或另一部件可确定与被扫描物件相关联的物件标识符。例如，事件确定部件130或另一部件可使用扫描数据来识别被扫描物件的条形码等。在某些情况下，可响应于接收到扫描数据而发生该操作，而在其他情况下，可响应于不同触发因素而发生该操作，诸如，被指定为针对与扫描数据相关联的事件的候选用户的用户离开环境。因此，在某些情况下，在下述的后续操作之后可能发生该操作。

操作406表示确定与生成扫描数据的扫描器相关联的第一时间。该第一时间可包括扫描器生成扫描数据的时间、扫描器发送扫描数据的时间、计算设备接收到扫描数据的时间，和/或此类时间等。

在操作408处，图像分析部件128或另一部件可确定与扫描设备相关联的感兴趣体(VOI)。例如，如上所述，系统可存储设施场所内的每个扫描设备与相应VOI(例如，设施场所的三维空间)之间的关联。图像分析部件可确定扫描设备的标识符，该标识符可包括在扫描数据中或伴随扫描数据，并且可使用该扫描设备标识符来确定对应的VOI。

操作410表示分析包括VOI的图像数据的第一帧。例如，该操作可包括图像分析部件128或另一部件识别其FOV包括VOI的相机(例如，通过访问存储相应相机与VOI之间的关联的数据存储区)，并且接收从该相机生成的且接近操作406处所确定的第一时间的图像数据。例如，图像分析部件128可接收由相机在某一时间范围期间生成的图像数据，该时间范围从第一时间、在第一时间之前或在刚好第一时间之后开始。

另外，该操作可包括分析对应于VOI的图像数据的部分，以确定图像数据的该部分是否包括手。例如，操作410可包括子操作410(1)，其中从图像数据中生成的特征数据被输入到分类器。在子操作410(2)处，分类器可输出指示图像数据是否包括手的第一分数和指示该手是空的还是满的的第二分数。在某些情况下，分析图像数据包括如上所述的两步过程：首先，将图像数据的每一帧分割成不同的预定义对象，包括用户的手和头部；第二，跨帧跟踪任何识别到的手的运动。例如，第一分类器可生成标识至少一只手和对应头部的分割图，其中后者可用于确定用户的用户标识符。该分割信息可由第一分类器输出，并且被输入到例如用于跨帧跟踪每只手的手跟踪部件中。

在操作412处，在该示例中，图像分析部件128或另一部件识别VOI内用户的空的手。例如，图像分析部件128或另一部件使用一个或更多个分类器来确定，在与扫描数据相关联的第一时间之后VOI内存在空的手。

操作414表示图像分析部件128或另一部件分析包括VOI的图像数据的第二帧，其中该第二帧对应于与第一帧相关联的时间之后的时间。同样，该操作可包括子操作414(1)，其中从图像数据的第二帧中生成的特征数据被输入到分类器。在子操作414(2)处，分类器可输出指示图像数据是否包括手的第三分数和指示该手是空的还是满的的第四分数。

图4B继续过程400的图示，并且包括在操作416处基于对操作414处的第二帧的分析来识别用户的满的手。例如，该操作可包括从分类器接收到图像数据的第二帧表示VOI内用户的满的手的指示。在某些情况下，该指示还可指示该满的手和在操作412处所识别的空的手与相同的用户标识符相关联。

最后，操作418表示将与物件相关联的物件标识符存储在与用户相关联的虚拟购物车数据中，该用户与用户标识符相关联。例如，虚拟购物车部件132或另一部件可更新相应的用户购物车以指示物件的添加。

在某些情况下，响应于确定用户的手空着进入VOI并且满着离开VOI，可发生操作418。同时，在其他情况下，响应于在根据第一时间定义的时间范围内在VOI中识别到用户的手，响应于在该时间范围内在VOI中识别到用户的满的手等，可发生操作418。例如，在某些情况下，如果在该时间范围内识别到单只手，则响应于识别到用户的手，可更新用户的虚拟购物车。然而，如果在该时间范围内在VOI内识别到多只手(对应于不同的用户标识符)，则响应于识别到用户的空的手，并且此后识别到该用户的满的手，可更新该特定用户的虚拟购物车。

图5示出了另一示例性过程500的流程图，该示例性过程用于更新接收物件的用户的虚拟购物车数据。操作502表示接收由环境中的传感器生成的传感器数据，该传感器数据标识物件。在某些情况下，传感器可包括响应于扫描与物件相关联的视觉标记而生成扫描数据的扫描设备。

操作504表示确定与传感器相关联的环境的一部分。如上所述，确定环境的该部分可包括确定该环境内相对于该传感器所确定的感兴趣体(VOI)。在某些情况下，所描述的系统的数据存储区可存储扫描设备与VOI之间的关联、扫描设备与具有该VOI的FOV的相机之间的关联，和/或此类关联等。

操作506表示接收由环境内的相机生成的图像数据，该图像数据表示与传感器相关联的环境部分。例如，该操作可包括从具有VOI的FOV的相机接收图像数据。在某些情况下，扫描数据可指示与传感器数据相关联的第一时间(例如，传感器生成传感器数据的时间)，因此，接收图像数据可包括从相应相机接收基于第一时间的时间范围期间的图像数据。

操作508表示分析图像数据以识别接收物件的用户。在某些情况下，该操作可包括分析由相机在第一时间之后并且在该第一时间的阈值时间量内生成的图像数据。另外，分析可包括分析对应于VOI的图像数据的至少一部分，以识别该VOI内的用户的手。另外，这可包括分析图像数据以至少通过图像数据的第一帧识别VOI内的用户的空的手，并且通过图像数据的第二帧识别该VOI内的用户的满的手。在另外其他情况下，该分析可包括：分析对应于VOI的图像数据的第一帧的至少一部分以识别该VOI内第一位置处的用户的空的手；分析对应于VOI的图像数据的第二帧的至少一部分以识别该VOI内第二位置处的用户的空的手；至少部分地基于该第一位置和该第二位置来确定第一方向矢量；分析对应于VOI的图像数据的第三帧的至少一部分以识别该VOI内第三位置处的用户的满的手；分析对应于VOI的图像数据的第四帧的至少一部分以识别该VOI内第四位置处的用户的满的手；以及至少部分地基于该第三位置和该第四位置来确定第二方向矢量。也就是说，在某些情况下，分析图像数据以识别接收物件的用户可包括：确定用户的空的手进入了VOI并且该用户的满的手离开了该VOI。

除此之外，如上所述，分析图像数据可包括生成用于识别VOI内的一只或多只手的分割图，并且使用该信息来确定接收物件的用户。例如，该操作可包括：使用图像数据的第一帧生成分割图，该分割图至少标识第一帧的对应于用户的手的第一组像素；将指示第一帧的对应于用户的手的第一组像素的第一数据输入到经训练的分类器中；以及接收作为该经训练的分类器的输出的指示用户是否接收到物件的第二数据。另外，在某些情况下，除了用户的手之外，还可在VOI内识别和跟踪物件。在这些情况下，可在图像数据帧内识别并跨帧跟踪物件，以识别被放置在用户手中的物件。在本文所述示例中的每个示例中，用户的手可从另一用户(例如，设施场所的员工)的手中、从另一用户放置物件的柜台上和/或以任何其他方式接收物件。

最后，操作510表示更新与用户相关联的虚拟购物车数据，以指示与物件相关联的物件标识符。该操作可包括将关于物件的信息添加到相应的虚拟购物车，诸如，物件标识符、物件的费用、物件的描述、用户接收到物件的时间，和/或此类信息等。

图6是包括传感器和库存管理系统的示例性材料处理设施场所602的框图，该库存管理系统被配置为使用传感器数据生成关于该设施场所中发生的事件的输出。在某些情况下，设施场所602对应于上述架构100和/或环境106。

然而，以下描述仅仅是可使用本文所述技术的行业和环境的一个例示性示例。材料处理设施场所602(或“设施场所”)包括一个或更多个物理结构或区域，其中可容纳一个或更多个物件604(1)、604(2)、…、604(Q)(通常表示为604)。如本公开中所使用的，括号中的字母诸如“(Q)”指示整数结果。物件604包括实物商品，诸如，书籍、药品、维修零件、电子设备、食品杂货等。

设施场所602可包括一个或更多个指定用于库存处理的不同功能的区域。在该图示中，设施场所602包括接收区域606、存储区域608和过渡区域610。接收区域606可被配置为诸如从供应商接收物件604，以便将其收入设施场所602。例如，接收区域606可包括装卸台，卡车或其他货物运输工具在此处卸载物件604。

存储区域608被配置为存储物件604。存储区域608可以各种物理构造进行布置。在一个具体实施中，存储区域608可包括一个或更多个过道612。过道612可被配置为在过道612的一侧或两侧具有库存位置614，或者过道可由库存位置限定。库存位置614可包括架子、货架、盒子、柜子、箱子、地板位置或用于保存或存储物件604的其他合适的存储结构中的一者或多者。库存位置614可固定在地板上或设施场所结构的另一部分，或者可以是可移动的，使得过道612的布置可进行重新构造。在一些具体实施中，库存位置614可被配置为独立于外部操作员而移动。例如，库存位置614可包括具有电源和电动机的货架，该货架可由计算设备操作以允许货架从设施场所602内的一个位置移动到另一位置。

一个或更多个用户616(1)、616(2)、…、616(U)、提篮618(1)、618(2)、…、618(T)(通常表示为618)或其他材料处理装置可在设施场所602内移动。例如，用户616可在设施场所602内四处移动以在各个库存位置614中挑选或放置物件604，将这些物件放置在提篮618上以便于运输。单个提篮618被配置为运载或以其他方式运输一个或更多个物件604。例如，提篮618可包括篮子、购物车、袋子等。在其他具体实施中，其他机构(诸如，机器人、叉车、起重机、无人机等)可在设施场所602中四处移动以挑选、放置或以其他方式移动物件604。

一个或更多个传感器620可被配置为获取设施场所602中的信息。设施场所602中的传感器620可包括固定在环境中的传感器(例如，安装在天花板上的相机)或其他形式的传感器，诸如，用户拥有的传感器(例如，移动电话、平板电脑等)。传感器620可包括但不限于相机620(1)、重量传感器、射频(RF)接收器、温度传感器、湿度传感器、振动传感器等。相对于设施场所602，传感器620可以是固定的或移动的。例如，库存位置614可包含相机620(1)，该相机被配置为获取挑选或放置架子上的物件604的图像，设施场所602中的用户616(1)和616(2)的图像等。在另一示例中，设施场所602的地板可包括重量传感器，这些重量传感器被配置为确定地板上的用户616或其他对象的重量。

在设施场所602运作期间，传感器620可被配置为提供适用于跟踪对象移动方式或设施场所602内的其他事件的信息。例如，相机620(1)获取的一系列图像可指示用户616中的一个用户从特定库存位置614移走物件604，并且将物件604放置在提篮618中的一个提篮上或至少部分地放置在其内。

虽然将存储区域608描绘为具有一个或更多个过道612、存储物件604的库存位置614、传感器620等，但应当理解，接收区域606、过渡区域610或设施场所602的其他区域可进行类似的配备。除此之外，设施场所602内的各个区域的布置是按功能而非图式进行描绘的。例如，多个不同的接收区域606、存储区域608和过渡区域610可在设施场所602中穿插散布而非相互隔离。

设施场所602可包括或耦接到库存管理系统622，该库存管理系统可执行以上参考图1至图5所述的技术中的一些或全部技术。如下所述，库存管理系统622可包括权利要求1中所示并且以上参考图1至图5所述的服务器118的部件。例如，库存管理系统可维护设施场所内每个用户的虚拟购物车。库存管理系统还可存储与每个用户相关联的记录，该记录指示用户的标识、用户的位置以及用户是否符合条件可在不对一个或更多个物件进行人工结账的情况下，带着这些物件离开设施场所。库存管理系统还可生成通知数据并将其输出给用户，以指示用户是否符合条件。

如图所示，库存管理系统622可驻留在设施场所602处(例如，作为本地服务器的一部分)、在远离设施场所602的服务器118上或它们的组合。在每种情况下，库存管理系统622被配置为识别在接收区域606、存储区域608或过渡区域610中的一个或更多个区域中与用户616和设备(诸如，传感器620、机器人、材料处理装备、计算设备等)的交互活动和事件以及用户和设备之间的交互活动和事件。如上所述，一些交互活动还可指示一个或更多个事件624，或预定义的相关活动的存在。例如，事件624可包括用户616进入设施场所602、在库存位置614存放物件604、从库存位置614挑选物件604、将物件604返还到库存位置614、将物件604放置在提篮618内、用户616相对于彼此的移动、用户616的手势等。涉及用户616的其他事件624可包括用户616在设施场所602中提供认证信息、使用设施场所602处的计算设备向库存管理系统622认证标识等。一些事件624可涉及设施场所602内的一个或更多个其他对象。例如，事件624可包括库存位置614(诸如，安装在轮子上的柜台)在设施场所602内的移动。事件624可涉及传感器620中的一个或更多个传感器。例如，传感器620的操作变化(诸如，传感器故障、校准变化等)可被指定为事件624。继续该示例，相机620(1)移动导致视场628的取向变化(诸如，由于某人或某物碰撞相机620(1))(例如，相机104)可被指定为事件624。

通过确定事件624中的一个或更多个事件的发生，库存管理系统622可生成输出数据626。输出数据626包括关于事件624的信息。例如，在事件624包括从库存位置614移走物件604的情况下，输出数据626可包括指示从库存位置614移走的特定物件604的物件标识符和移走该物件的用户的用户标识符。

库存管理系统622可使用一个或更多个自动化系统来生成输出数据626。例如，可使用人工神经网络、一个或更多个分类器或其他自动化机器学习技术来处理来自一个或更多个传感器620的传感器数据以生成输出数据626。例如，库存管理系统可执行这些技术中的一些或全部技术，以生成并利用分类器来识别图像数据中的用户活动，如上文详细描述的。自动化系统可使用概率技术或非概率技术进行运作。例如，自动化系统可使用贝叶斯网络。在另一示例中，自动化系统可使用支持向量机来生成输出数据626或暂定结果。自动化系统可生成置信度数据，该置信度数据提供指示输出数据626或暂定数据对应于物理世界的准确性或置信度的信息。

可至少部分地基于使用中的自动化系统的类型使用各种技术来生成置信度数据。例如，使用贝叶斯网络的概率系统可将分配给输出的概率用作置信度。继续该示例，贝叶斯网络可指示图像数据中描绘的物件对应于先前存储在存储器中的物件的概率为95％。该概率可用作图像数据中描绘的物件的置信度。

在另一示例中，来自非概率技术(诸如，支持向量机)的输出可具有基于数学空间中的距离的置信度，在该数学空间中已将物件的图像数据和先前存储的物件的图像进行分类。在该空间中，参考点(诸如，先前存储的图像)到事件发生期间获取的图像数据之间的距离越大，置信度越低。

在又一个示例中，可将对象(诸如，物件604、用户616等)的图像数据与一组先前存储的图像进行比较。可评估图像数据与先前存储的图像之间的差异。例如，形状、颜色、图像中特征之间的相对比例等方面的差异。这些差异可通过数学空间以距离的形式来表示。例如，图像数据中描绘的对象的颜色和先前存储的图像中描绘的对象的颜色可表示为颜色空间内的坐标。

可至少部分地基于这些差异来确定置信度。例如，用户616可从库存位置614挑选物件604(1)，诸如，形状通常为立方体的香水瓶。附近库存位置614处的其他物件604可能主要为球状。基于相邻物件的形状差异(立方体对球体)，以及与先前存储的香水瓶物件604(1)图像在形状上的对应关系(立方体和立方体)，用户106拿起香水瓶物件604(1)的置信度很高。

在某些情况下，自动化技术可能无法生成置信度高于阈值结果的输出数据626。例如，自动化技术可能无法区分一群用户616中的哪个用户616从库存位置614拿起物件604。在其他情况下，可能需要对事件624或输出数据626的准确性进行人工确认。例如，一些物件604可被视为是有年龄限制的，从而这些物件只能由超过最低年龄阈值的用户616处理。

在需要人工确认的情况下，可处理与事件624相关联的传感器数据以生成查询数据。查询数据可包括与事件624相关联的传感器数据的子集。查询数据还可包括由自动化技术确定的一个或更多个暂定结果中的一个或更多个暂定结果，或补充数据。可使用关于一个或更多个传感器620的信息来确定传感器数据的子集。例如，可使用相机数据(诸如，相机620(1)在设施场所602内的位置、相机620(1)的取向和相机620(1)的视场628)来确定设施场所602内的特定位置是否在视场628内。传感器数据的子集可包括可显示库存位置614或被储藏物件604图像。传感器数据的子集还可忽略来自在视场628中不具有该库存位置614的其他相机620(1)的图像。视场628可包括设施场所602中传感器620能够生成关于其的传感器数据的场景的一部分。

继续该示例，传感器数据的子集可包括由一个或更多个相机620(1)获取的视频剪辑，该一个或更多个相机具有包括物件604的视场628。暂定结果可包括关于哪些物件604可能涉及事件624的“最佳猜测”。例如，暂定结果可包括由自动化系统确定的具有高于最小阈值的置信度的结果。

设施场所602可被配置为从各个供应商接收不同种类的物件604，并且存储这些物件，直到顾客订购或取走物件604中的一个或更多个物件。图2的箭头指示物件604在整个设施场所602内的大致流程。具体地，如该示例所示，可在接收区域606处从一个或更多个供应商(诸如，制造商、经销商、批发商等)接收物件604。在各种具体实施中，物件604可包括商品、日用品、易腐食物或任何合适类型的物件604，具体取决于运营设施场所602的企业的性质。接收物件604可包括一个或更多个事件624，库存管理系统622可针对该一个或更多个事件生成输出数据626。

在接收区域606处从供应商接收到物件604后，可准备存储这些物件。例如，可将物件604拆包或以其他方式重新布置。库存管理系统622可包括一个或更多个软件应用程序，该一个或更多个软件应用程序在计算机系统上执行以基于与拆包或重新布置相关联的事件624来提供库存管理功能。这些库存管理功能可包括维护指示类型、数量、状况、费用、位置、重量或关于物件604的任何其他相应参数的信息。物件604可按照计数、个体单位或倍数(诸如，包裹、纸箱、板条箱、货板或其他合适的合计方式)形式来储存、管理或分配。另选地，一些物件604(诸如，散装产品、日用品等)可以连续的数量或可任意划分的数量进行存储，这些物件数量可能本身就无法组织为可计数的单位。此类物件604可按照可测量的量来管理，诸如，长度单位、面积单位、体积单位、重量单位、时间单位、保质期，或其他以测量单位为特征的维度属性。一般来讲，物件604的量可指个体单位或合计单位物件604的可计数的数量，或指物件604的可测量的量，具体视情况而定。

物件604通过接收区域606到达之后，可存储在存储区域608内。在一些具体实施中，相似的物件604可一起存储或展示在库存位置614中，诸如，箱子中、架子上、挂在配挂板上等。在该具体实施中，给定种类的所有物件604都存储在一个库存位置614中。在其他具体实施中，相似的物件604可存储在不同的库存位置614中。例如，为了优化大型物理设施场所602内频繁周转的某些物件604的检索，可将这些物件604存储在若干不同的库存位置614，以减少在单个库存位置614可能发生的拥堵。物件604的存储和这些物件的相应库存位置614可包括一个或更多个事件624。

当接收到指定一个或更多个物件604的顾客订单时，或者当用户616在设施场所602中行进时，可从包含这些物件604的库存位置614中选择或“挑选”对应物件604。在各种具体实施中，物件挑选的范围可为从手动挑选到完全自动化挑选。例如，在一个具体实施中，用户616可具有其想要的物件604的列表，并且可行进通过设施场所602从存储区域608内的库存位置614挑选物件604，然后将这些物件604放置到提篮618中。在其他具体实施中，设施场所602的雇员可使用从顾客订单中导出的书面或电子挑选列表来挑选物件604。雇员行进通过设施场所602时，可将这些被挑选的物件604放置到提篮618中。挑选可包括一个或更多个事件624，诸如，用户616移动到库存位置614、从库存位置614取走物件604等。

在挑选完物件604之后，可在过渡区域610处理这些物件。过渡区域610可以是设施场所602内的任何指定区域，其中物件604从一个位置过渡到另一位置或从一个实体过渡到另一实体。例如，过渡区域610可以是设施场所602内的包装站。当物件604到达过渡区域610时，物件604可从存储区域608过渡到包装站。过渡可包括一个或更多个事件624。库存管理系统622可使用与这些事件624相关联的输出数据626来维护关于过渡的信息。

在另一示例中，如果物件604离开设施场所602，则库存管理系统622可获得并使用物件604的列表以将物件604的责任或保管从设施场所602过渡到另一实体。例如，承运商可接受物品604以进行运输，接着该承运商就对列表中所指示物件604承担责任。在另一示例中，顾客可购买或租用物件604并且从设施场所602移走物件604。购买或租赁可包括一个或更多个事件624。

库存管理系统622可访问或生成关于设施场所602和其中的内容的传感器数据，包括物件604、用户616、提篮618等。传感器数据可由传感器620中的一个或更多个传感器获取，数据由其他系统提供，等等。例如，传感器620可包括被配置为获取设施场所602中的场景的图像数据的相机620(1)。图像数据可包括静止图像、视频或它们的组合。库存管理系统622可处理图像数据，以确定用户616的位置、提篮618、用户616的标识等。如本文所用，用户的标识可表示用户的唯一标识符(例如，姓名、与用户相关联的号码、用户名等)、将用户与位于环境中的其他用户区分开来的标识符等。

库存管理系统622或与其耦接的系统可被配置为识别用户616，以及确定其他候选用户。在一个具体实施中，该确定可包括将传感器数据与先前存储的标识数据进行比较。例如，用户616可通过向面部识别系统展示其面部、通过出示携带认证凭证的令牌、提供指纹、在进入设施场所时扫描条形码或其他类型的唯一标识符等来进行识别。可在进入设施场所602之前、期间或之后确定用户616的标识。确定用户616的标识可包括将与设施场所602中的用户616相关联的传感器数据与先前存储的用户数据进行比较。

在某些情况下，库存管理系统将设施场所内的用户分组到相应的会话中。也就是说，库存管理系统622可利用传感器数据来确定有效“在一起”(例如，一起购物)的用户组。在某些情况下，特定会话可包括一起进入设施场所602并且有可能一起游览设施场所的多个用户。例如，当由两个成年人和两个孩子组成的家庭一起进入设施场所时，库存管理系统可将每个用户与特定会话相关联。鉴于会话中的用户不仅可能单独挑选或返还或以其他方式与物件交互，而且还可能在彼此之间来回传递物件，定位除个人用户之外的会话可帮助确定单个事件的结果。例如，上面的示例中的一个孩子可能先挑选一盒麦片，然后再将该盒麦片交给她的妈妈，她的妈妈可能会将该盒麦片放置到她的提篮618中。注意到孩子和妈妈属于同一会话可增加将该盒麦片成功添加到该妈妈的虚拟购物车的机会。

通过确定一个或更多个事件624的发生以及与其相关联的输出数据626，库存管理系统622能够向设施场所602的用户616提供一项或多项服务。通过利用一个或更多个人类员工来处理查询数据并生成响应数据，然后可使用该响应数据来产生输出数据626，从而可提高系统的整体准确性。提高的准确性可改善设施场所602的一个或更多个用户616的用户体验。在一些示例中，输出数据626可通过网络630传输到一个或更多个服务器118。

图7示出了被配置为支持设施场所的操作的一个或更多个服务器118的框图。服务器118可实际存在于设施场所602处，可通过网络630访问，或两者的组合。服务器118不需要终端用户了解提供服务的系统的实际位置和配置。与服务器118相关联的通用表达可包括“按需计算”、“软件即服务(SaaS)”、“云服务”、“数据中心”等。服务器118提供的服务可跨一个或更多个物理设备或虚拟设备分布。

服务器118可包括被配置为执行一个或更多个存储指令的一个或更多个硬件处理器702(处理器)。处理器702可包括一个或更多个内核。服务器118可包括一个或更多个输入/输出(I/O)接口704，用以允许处理器702或服务器118的其他部分与其他设备进行通信。I/O接口704可包括内部集成电路(I2C)、串行外设接口总线(SPI)、如USB开发者论坛所发布的通用串行总线(USB)等。

服务器118还可包括一个或更多个通信接口706。通信接口706被配置为提供服务器118与其他设备(诸如，传感器620、接口设备、路由器等)之间的通信。通信接口706可包括被配置为耦接到个人局域网(PAN)、有线局域网和无线局域网(LAN)、有线广域网和无线广域网(WAN)等的设备。例如，通信接口706可包括与以太网、Wi-Fi^TM等兼容的设备。服务器118还可包括允许在服务器118的各个模块与部件之间传输数据的一个或更多个总线或其他内部通信硬件或软件。

服务器118还可包括电源740。电源740被配置为提供适用于操作服务器118中的部件的电力。

服务器118还可包括一个或更多个存储器710。存储器710包括一个或更多个计算机可读存储介质(CRSM)。CRSM可是电子存储介质、磁存储介质、光学存储介质、量子存储介质、机械计算机存储介质等中的任意一者或多者。存储器710为服务器118的操作提供计算机可读指令、数据结构、程序模块和其他数据的存储。存储器710中示出了存储的一些示例性功能模块，但是相同的功能可另选地采用硬件、固件或片上系统(SOC)来实现。

存储器710可包括至少一个操作系统(OS)部件712。OS部件712被配置为管理硬件资源设备(诸如，I/O接口704、通信接口708)，并且向在处理器702上执行的应用程序或部件提供各种服务。OS部件712可实现如FreeBSD项目发布的FreeBSD^TM操作系统的变体；其他UNIX^TM或类UNIX的变体；如Linus Torvalds发布的Linux^TM操作系统的变体；美国华盛顿州雷蒙德市微软公司的Server操作系统；等等。

以下部件中的一个或更多个部件也可存储在存储器710中。这些部件可作为前台应用程序、后台任务、守护进程等执行。通信部件714可被配置为建立与传感器620中的一个或更多个传感器、员工使用的设备中的一个或更多个设备、其他服务器118或其他设备的通信。可对通信进行认证、加密等。

存储器710可存储库存管理系统622。库存管理系统622被配置为提供以上参考图1至图5所述的技术中的一些或全部技术。例如，库存管理系统622可包括用于接收扫描数据、确定针对被扫描物件发生的事件、更新用户的虚拟购物车等的部件。

库存管理系统622可访问存储在存储器710中的一个或更多个数据存储库718中的信息。数据存储库718可使用平面文件、数据库、链表、树、可执行代码、脚本或其他数据结构来存储信息。在一些具体实施中，数据存储库718或数据存储库718的一部分可跨一个或更多个其他设备(包括其他服务器118、网络附加存储设备等)分布。数据存储库718可包括上述数据存储区，诸如，用户数据136、环境数据140、传感器数据134和购物车数据136。

数据存储库718还可包括物理布局数据720。物理布局数据720提供设备和对象(诸如，传感器620、库存位置614等)的物理布局内的物理位置的映射。物理布局数据720可指示库存位置614在设施场所602内的坐标、该库存位置614视场内的传感器620，等等。例如，物理布局数据720可包括相机数据，该相机数据包括相机620(1)在设施场所602内的位置、相机620(1)的取向、操作状态等中的一者或多者。继续该示例，物理布局数据720可指示相机620(1)的坐标、指示视场628沿其取向的方向的摇摄和倾斜信息、相机620(1)是运作还是故障，等等。

在一些具体实施中，库存管理系统622可访问物理布局数据720以确定与事件624相关联的位置是否在一个或更多个传感器620的视场628内。继续上面的示例，给定事件624在设施场所602内的位置和相机数据，库存管理系统622可确定可能生成事件624的图像的相机620(1)。

物件数据722包括与物件604相关联的信息。该信息可包括指示存储了物件604中的一个或更多个物件的一个或更多个库存位置614的信息。物件数据722还可包括订单数据、SKU或其他产品标识符、价格、现存数量、重量、有效期、物件604的图像、详细描述信息、评级、排名等。库存管理系统622可在物件数据722中存储与库存管理功能相关联的信息。

数据存储库718还可包括传感器数据134。传感器数据134包括从一个或更多个传感器620获取的信息，或基于该一个或更多个传感器的信息。例如，传感器数据134可包括关于设施场所602中的对象的3D信息。如上所述，传感器620可包括相机620(1)，该相机被配置为获取一个或更多个图像。这些图像可存储为图像数据726。图像数据726可包括描述多个图片元素或像素的信息。非图像数据728可包括来自其他传感器620的信息，诸如，来自麦克风、重量传感器等的输入。

用户数据730也可存储在数据存储库718中。用户数据730可包括标识数据、指示个人资料的信息、购买历史、位置数据、用户616的图像、人口统计数据等。个人用户616或用户组616可选择性地提供用户数据730以供库存管理系统622使用。个人用户616或用户组616还可授权在使用设施场所602期间收集用户数据730，或授权访问从其他系统获得的用户数据730。例如，用户616可选择加入用户数据730的收集，以在使用设施场所602时获得增强的服务。

在一些具体实施中，用户数据730可包括指定用户616进行特殊处理的信息。例如，用户数据730可指示特定用户616已与输出数据626方面的数量不断增加的错误相关联。库存管理系统622可被配置为使用该信息来对与该用户616相关联的事件624应用额外的审查。例如，可向员工提供包括具有高于阈值量的费用或结果的物件604的事件624以进行处理，而不管自动化系统生成的输出数据626中所确定的置信度如何。

库存管理系统622可包括定位部件124、识别部件734、图像分析部件128、事件确定部件130、虚拟购物车部件132、查询部件738，有可能的其他部件756中的一个或更多个部件。

定位部件124用于定位设施场所环境内的物件或用户，以允许库存管理系统622将某些事件分配给正确的用户。也就是说，定位部件124可在用户进入设施场所时为其分配唯一标识符，并且如果用户同意，可在用户位于设施场所602内期间在整个设施场所602中定位用户。定位部件124可使用传感器数据134(诸如，图像数据726)来执行该定位。例如，定位部件124可接收图像数据726，并且可使用面部识别技术从图像中识别用户。在识别设施场所内的特定用户之后，定位部件124可随后在该用户在整个设施场所602中移动时在图像内定位该用户。另外，如果定位部件124暂时“丢失”特定用户，则定位部件124可基于面部识别和/或使用其他技术(诸如，语音识别等)来再次尝试识别设施场所内的该用户。

因此，在接收到所讨论的事件的时间和位置的指示之后，定位部件124可查询数据存储库718以确定哪个或哪些用户在该事件的特定时间处于该事件位置或在该事件位置的阈值距离之内。另外，定位部件124可向不同的用户分配不同的置信度，其中这些置信度指示每个对应用户就是实际上与相关事件相关联的用户的可能性有多大。

定位部件124可访问传感器数据134以确定用户和/或物件的位置数据。位置数据提供指示对象(诸如，物件604、用户616、提篮618等)位置的信息。该位置可以是相对于设施场所602的绝对位置，或者是相对于另一对象或参考点的相对位置。绝对项可包括相对于大地测量参考点的宽度、长度和高度。相对项可包括如设施场所602的平面图所指定的沿x轴25.4米(m)和沿y轴75.2m的位置，沿169°方向距库存位置614 5.2m，等等。例如，位置数据可指示用户616(1)在沿着过道612(1)的25.2m处并且站在库存位置614前面。相比之下，相对位置可指示用户616(1)在相对于提篮118的73°方向处距提篮618 32cm。位置数据可包括取向信息，诸如，用户616面向哪个方向。取向可由用户身体面向的相对方向来确定。在一些具体实施中，取向可以是相对于接口设备的。继续该示例，位置数据可指示用户616(1)以0°方向取向，或者看向北方。在另一示例中，位置数据可指示用户616正面向接口设备。

识别部件734被配置为识别对象。在一个具体实施中，识别部件734可被配置为识别物件604。在另一个具体实施中，识别部件734可被配置为识别用户616。例如，识别部件734可使用面部识别技术来处理图像数据726，并且通过将图像数据726中的特征与先前存储的结果进行比较来确定图像中描绘的用户616的标识数据。识别部件734还可访问来自其他传感器620(诸如，来自RFID读取器、RF接收器、指纹传感器等)的数据。

事件确定部件130被配置为使用上述技术和其他技术来处理传感器数据134并生成输出数据726。事件确定部件130可访问存储在数据存储库718中的信息，包括但不限于事件描述数据742、置信度744或阈值746。在一些情况下，事件确定部件130可被配置为执行上面关于事件确定部件106描述的一些或全部技术。例如，事件确定部件130可被配置为创建并利用事件分类器来识别图像数据内的事件(例如，预定义的活动)，有可能无需使用环境中的其他传感器获取的其他传感器数据。

事件描述数据742包括指示一个或更多个事件624的信息。例如，事件描述数据742可包括预定义的配置文件，这些预定义的配置文件指定物件604从库存位置614的移动与“挑选”的事件624。事件描述数据742可手动生成或自动生成。事件描述数据742可包括指示与设施场所602中发生的事件相关联的触发因素的数据。检测到触发因素后可确定事件发生。例如，库存位置614处的传感器数据134(诸如，来自重量传感器620(6)的重量变化)可触发对物件604被添加到库存位置614或从该库存位置移走的事件的检测。在另一示例中，触发因素可包括用户616将手伸向库存位置614的图像。在又一个示例中，触发因素可包括两个或多个用户616接近到彼此的阈值距离内。

事件确定部件130可使用一种或多种技术来处理传感器数据134，该一种或多种技术包括但不限于人工神经网络、分类器、决策树、支持向量机、贝叶斯网络等。例如，事件确定部件130可使用决策树来基于传感器数据134确定“挑选”事件624的发生。事件确定部件130还可使用传感器数据134来确定一个或更多个暂定结果748。一个或更多个暂定结果748包括与事件624相关联的数据。例如，在事件624包括用户616的消歧的情况下，暂定结果748可包括可能的用户616标识的列表。在另一示例中，当事件624包括物件104之间的消歧时，暂定结果748可包括可能的物件标识符的列表。在一些具体实施中，暂定结果748可指示可能的操作。例如，操作可包括用户616挑选、放置、移动物件604、损坏物件604、提供手势输入等。

在一些具体实施中，暂定结果748可由其他部件生成。例如，暂定结果748(诸如，事件624中涉及的用户616的一个或更多个可能的标识或位置)可由定位部件124生成。在另一示例中，暂定结果748(诸如，事件624中可能涉及的可能的物件604)可由识别部件734生成。

事件确定部件130可被配置为提供与暂定结果748的确定相关联的置信度744。置信度744提供关于暂定结果748的预期准确性水平的标记。例如，低置信度744可指示暂定结果748对应于事件624的实际情况的概率低。相比之下，高置信度744可指示暂定结果748对应于事件624的实际情况的概率高。

在一些具体实施中，具有超过阈值的置信度744的暂定结果748可被视为足够准确，并且因此可用作输出数据626。例如，事件确定部件130可提供指示对应于“挑选”事件624的三个可能物件604(1)、604(2)和604(3)的暂定结果748。与可能物件604(1)、604(2)和604(3)相关联的置信度744可分别是25％、70％、92％。继续该示例，可设置阈值结果，使得90％的置信度744被视为是足够准确的。因此，事件确定部件130可将“挑选”事件624指定为涉及物件604(3)。

查询部件738可被配置为使用与事件624相关联的传感器数据134的至少一部分来生成查询数据750。在一些具体实施中，查询数据750可包括暂定结果748中的一个或更多个暂定结果或补充数据752。查询部件738可被配置为向与一个或更多个人类员工相关联的一个或更多个设备提供查询数据750。

员工用户界面呈现在员工的相应设备上。员工可通过选择特定的暂定结果748、输入新的信息、指示其无法回答询问等来生成响应数据754。

补充数据752包括与事件624相关联的信息或可用于解释传感器数据134的信息。例如，补充数据752可包括先前存储的物件604图像。在另一示例中，补充数据752可包括一个或更多个图形覆盖。例如，图形覆盖可包括图形用户界面元素，诸如，描绘相关对象的标记的覆盖。这些标记可包括高亮、边界框、箭头等，在向员工呈现期间这些标记被叠加或放置在图像数据626之上。

查询部件738处理由一个或更多个员工提供的响应数据754。该处理可包括计算与响应数据754相关联的一个或更多个统计结果。例如，统计结果可包括员工选择特定暂定结果的次数的计数748、选择特定暂定结果的员工的百分比的确定748等。

查询部件738被配置为至少部分地基于响应数据754生成输出数据626。例如，鉴于大多数员工返回的响应数据754指示与“挑选”事件624相关联的物件604为物件604(5)，则输出数据626可指示挑选了物件604(5)。

查询部件738可被配置为选择性地将查询分配给特定的员工。例如，某些员工可能更适合回答特定类型的询问。业绩数据(诸如，关于员工绩效的统计数据)可由查询部件738根据员工提供的响应数据754来确定。例如，可维护指示不同查询的百分比的信息，其中特定员工选择了与大多数员工不一致的响应数据754。在一些具体实施中，可向员工提供具有先前已知正确答案的测试或练习查询数据750，以达到训练或质量保证目的。确定要使用的员工组可至少部分地基于业绩数据。

通过使用查询部件738，事件确定部件130可能能够提供准确表示事件624的高可靠性输出数据626。查询部件738根据响应数据754生成的输出数据626还可用于进一步训练库存管理系统622使用的自动化系统。例如，基于响应数据754的传感器数据134和输出数据626可被提供给库存管理系统622的部件中的一个或更多个部件来用于过程改进的训练。继续该示例，该信息可被提供给人工神经网络、贝叶斯网络等，以进一步训练这些系统，使得将来针对相同或相似输入产生的置信度744和暂定结果748得到改善。最后，如图7所示，服务器118可存储和/或利用其他数据758。

实施方案可作为软件程序或计算机程序产品提供，包括其上存储有指令(以压缩或未压缩形式)的非暂态计算机可读存储介质，这些指令可用于对计算机(或其他电子设备)进行编程以执行本文所述的过程或方法。计算机可读存储介质可以是电子存储介质、磁存储介质、光学存储介质、量子存储介质等中的一者或多者。例如，计算机可读存储介质可包括但不限于硬盘驱动器、软盘、光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存存储器、磁卡或光卡、固态存储器设备或适合存储电子指令的其他类型的物理介质。另外，实施方案还可作为计算机程序产品提供，该计算机程序产品包括暂态机器可读信号(呈压缩或未压缩形式)。机器可读信号的示例(无论是使用载波进行调制还是未调制)包括但不限于托管或运行计算机程序的计算机系统或机器可被配置以访问的信号，包括由一个或更多个网络传输的信号。例如，暂态机器可读信号可包括互联网的软件发射。

可在任意数量的单独的计算机系统上执行或分布这些程序的单独实例。因此，尽管某些步骤被描述为由某些设备、软件程序、过程或实体执行，但情况不一定如此，并且本领域普通技术人员将理解各种替代性具体实施。

此外，本领域普通技术人员容易认识到上述技术可用于各种设备、环境和情况。尽管已经以特定于结构特征或方法动作的语言描述了主题，但应当理解，所附权利要求书中定义的主题不必限于所描述的具体特征或动作。相反，具体特征和动作被公开为实施权利要求书的示例性形式。

虽然参照特定示例描述了前述发明，但是应当理解，本发明的范围不限于这些特定示例。由于为适应特定的操作要求和环境而改变的其他修改形式和改变形式对本领域的技术人员将是显而易见的，因此本发明不应被认为限于为公开目的而选择的示例，并且本发明涵盖不构成与本发明的真正实质和范围的偏离的所有改变形式和修改形式。

可参考以下条款来描述本公开的实施方案：

1.一种系统，包括：相机，所述相机用于生成环境的图像数据；扫描器，所述扫描器用于生成指示与所述环境中的物件相关联的条形码的扫描数据；和一个或更多个计算设备，所述一个或更多个计算设备包括：一个或更多个处理器；和存储计算机可执行指令的一个或更多个计算机可读介质，所述计算机可执行指令在被执行时，使得所述一个或更多个处理器执行动作，所述动作包括：接收所述扫描器已生成所述扫描数据的指示；确定与所述扫描器生成所述扫描数据相关联的第一时间；确定与所述扫描器相关联并且在所述环境内的感兴趣体(VOI)，其中所述VOI在所述图像数据中表示；分析所述图像数据的第一帧，所述第一帧与所述第一时间之后的第二时间相关联；至少部分地基于对所述第一帧的所述分析来识别所述VOI内的用户的空的手；分析所述图像数据的第二帧，所述第二帧与所述第二时间之后的第三时间相关联；至少部分地基于对所述第二帧的所述分析来识别所述VOI内的所述用户的满的手；根据所述扫描数据确定与所述物件相关联的物件标识符；以及将所述物件的所述物件标识符与所述用户的虚拟购物车相关联地存储。

2.根据条款1所述的系统，其中：所述分析所述图像数据的所述第一帧包括：将与所述第一帧相关联的第一特征数据输入经训练的分类器；以及接收作为所述经训练的分类器的输出的指示所述第一帧是否包括手的第一分数和指示手是空的还是满的的第二分数；并且所述分析所述图像数据的所述第二帧包括：将与所述第二帧相关联的第二特征数据输入到所述经训练的分类器中；以及接收作为所述经训练的分类器的输出的指示所述第二帧是否包括手的第三分数和指示手是空的还是满的的第四分数。

3.一个或更多个计算设备，包括：一个或更多个处理器；和存储计算机可执行指令的一个或更多个计算机可读介质，所述计算机可执行指令在被执行时，使得所述一个或更多个处理器执行动作，所述动作包括：接收由环境中的传感器生成的传感器数据，所述传感器数据标识物件；确定与所述传感器相关联的所述环境的一部分；接收由所述环境内的相机生成的图像数据，所述图像数据表示与所述传感器相关联的所述环境的所述部分；分析所述图像数据；至少部分地基于所述分析来识别所述图像数据中表示的手；确定与所述手相关联的用户标识符；以及更新与所述用户标识符相关联的虚拟购物车数据，以指示与所述物件相关联的物件标识符。

4.根据条款3所述的一个或更多个计算设备，其中所述接收由所述传感器生成的所述传感器数据包括接收由扫描设备生成的扫描数据，所述扫描设备扫描与所述物件相关联的视觉标记。

5.根据条款3所述的一个或更多个计算设备，其中所述一个或更多个计算机可读介质还存储计算机可执行指令，所述计算机可执行指令在被执行时，使得所述一个或更多个处理器执行动作，所述动作包括接收指示所述传感器生成所述传感器数据的第一时间的数据，并且其中所述分析包括分析在所述第一时间之后并且在所述第一时间的阈值时间量内由所述相机生成的图像数据。

6.根据条款3所述的一个或更多个计算设备，其中：所述确定所述部分包括确定所述环境内相对于所述传感器的感兴趣体(VOI)；并且所述分析包括分析对应于所述VOI的所述图像数据的至少一部分。

7.根据条款3所述的一个或更多个计算设备，其中：所述确定所述部分包括确定所述环境内相对于所述传感器的感兴趣体(VOI)；所述分析包括分析对应于所述VOI的所述图像数据的至少一部分；所述识别包括在所述手进入所述VOI之后识别所述手。

8.根据条款3所述的一个或更多个计算设备，其中：所述确定所述部分包括确定所述环境内相对于所述传感器的感兴趣体(VOI)；所述分析包括：分析对应于所述VOI的所述图像数据的第一帧的至少一部分；以及分析对应于所述VOI的所述图像数据的第二帧的至少一部分；所述识别包括：至少部分地基于对所述第一帧的所述至少一部分的所述分析来识别所述VOI内的空的手；以及至少部分地基于对所述第二帧的所述至少一部分的所述分析来识别所述VOI内的满的手。

9.根据条款3所述的一个或更多个计算设备，其中：所述确定所述部分包括确定所述环境内相对于所述传感器的感兴趣体(VOI)；所述分析包括：分析对应于所述VOI的所述图像数据的第一帧的至少一部分；分析对应于所述VOI的所述图像数据的第二帧的至少一部分；分析对应于所述VOI的所述图像数据的第三帧的至少一部分；以及分析对应于所述VOI的所述图像数据的第四帧的至少一部分；所述识别包括：至少部分地基于对所述第一帧的所述至少一部分的所述分析来识别所述VOI内第一位置处的空的手；以及至少部分地基于对所述第二帧的所述至少一部分的所述分析来识别所述VOI内第二位置处的空的手；至少部分地基于对所述第三帧的所述至少一部分的所述分析来识别所述VOI内第三位置处的满的手；以及至少部分地基于对所述第四帧的所述至少一部分的所述分析来识别所述VOI内第四位置处的满的手；所述一个或更多个计算机可读介质还存储计算机可执行指令，所述计算机可执行指令在被执行时，使得所述一个或更多个处理器执行动作，所述动作包括：至少部分地基于所述第一位置和所述第二位置来确定第一方向矢量；以及至少部分地基于所述第三位置和所述第四位置来确定第二方向矢量；所述更新包括至少部分地基于所述第一方向矢量和所述第二方向矢量来更新与所述用户标识符相关联的所述虚拟购物车数据。

10.根据条款3所述的一个或更多个计算设备，其中：所述分析包括：使用所述图像数据的第一帧生成分割图，所述分割图至少标识所述第一帧的对应于用户的手的第一组像素；以及将指示所述第一帧的对应于所述用户的所述手的所述第一组像素的第一数据输入到经训练的分类器中；所述识别包括接收作为所述经训练的分类器的输出的指示所述手接收到所述物件的第二数据。

11.根据条款3所述的一个或更多个计算设备，其中：所述确定所述部分包括确定所述环境内相对于所述传感器的感兴趣体(VOI)；所述分析包括分析对应于所述VOI的所述图像数据的至少一部分；所述识别包括识别所述VOI内的所述手；并且所述一个或更多个计算机可读介质还存储计算机可执行指令，所述计算机可执行指令在被执行时，使得所述一个或更多个处理器执行动作，所述动作包括识别所述VOI内的所述物件。

12.一种方法，包括：接收由环境中的传感器生成的传感器数据，所述传感器数据标识物件；确定与所述传感器相关联的所述环境的一部分；接收由所述环境内的相机生成的图像数据，所述图像数据表示与所述传感器相关联的所述环境的所述部分；分析所述图像数据；至少部分地基于所述分析来识别所述图像数据中表示的手；确定与所述手相关联的用户标识符；以及更新与所述用户标识符相关联的虚拟购物车数据，以指示与所述物件相关联的物件标识符。

13.根据条款12所述的方法，其中所述接收由所述传感器生成的所述传感器数据包括接收由扫描设备生成的扫描数据，所述扫描设备扫描与所述物件相关联的视觉标记。

14.根据条款12所述的方法，还包括接收指示所述传感器生成所述传感器数据的第一时间的数据，并且其中所述分析包括分析在所述第一时间之后并且在所述第一时间的阈值时间量内由所述相机生成的图像数据。

15.根据条款12所述的方法，其中：所述确定所述部分包括确定所述环境内相对于所述传感器的感兴趣体(VOI)；并且所述分析包括分析对应于所述VOI的所述图像数据的至少一部分。

16.根据条款12所述的方法，其中：所述确定所述部分包括确定所述环境内相对于所述传感器的感兴趣体(VOI)；所述分析包括分析对应于所述VOI的所述图像数据的至少一部分；所述识别包括在所述手进入所述VOI之后识别所述手。

17.根据条款12所述的方法，其中：所述确定所述部分包括确定所述环境内相对于所述传感器的感兴趣体(VOI)；所述分析包括：分析对应于所述VOI的所述图像数据的第一帧的至少一部分；以及分析对应于所述VOI的所述图像数据的第二帧的至少一部分；所述识别包括：至少部分地基于对所述第一帧的所述至少一部分的所述分析来识别所述VOI内的空的手；以及至少部分地基于对所述第二帧的所述至少一部分的所述分析来识别所述VOI内的满的手。

18.根据条款12所述的方法，其中：所述确定所述部分包括确定所述环境内相对于所述传感器的感兴趣体(VOI)；所述分析包括：分析对应于所述VOI的所述图像数据的第一帧的至少一部分；分析对应于所述VOI的所述图像数据的第二帧的至少一部分；分析对应于所述VOI的所述图像数据的第三帧的至少一部分；以及分析对应于所述VOI的所述图像数据的第四帧的至少一部分；所述识别包括：至少部分地基于对所述第一帧的所述至少一部分的所述分析来识别所述VOI内第一位置处的空的手；以及至少部分地基于对所述第二帧的所述至少一部分的所述分析来识别所述VOI内第二位置处的空的手；至少部分地基于对所述第三帧的所述至少一部分的所述分析来识别所述VOI内第三位置处的满的手；以及至少部分地基于对所述第四帧的所述至少一部分的所述分析来识别所述VOI内第四位置处的满的手；所述一个或更多个计算机可读介质还存储计算机可执行指令，所述计算机可执行指令在被执行时，使得所述一个或更多个处理器执行动作，所述动作包括：至少部分地基于所述第一位置和所述第二位置来确定第一方向矢量；以及至少部分地基于所述第三位置和所述第四位置来确定第二方向矢量；所述更新包括至少部分地基于所述第一方向矢量和所述第二方向矢量来更新与所述用户标识符相关联的所述虚拟购物车数据。

19.根据条款12所述的方法，其中所述分析包括：使用所述图像数据的第一帧生成分割图，所述分割图至少标识所述第一帧的对应于用户的手的第一组像素；以及将指示所述第一帧的对应于所述用户的所述手的所述第一组像素的第一数据输入到经训练的分类器中；所述识别包括接收作为所述经训练的分类器的输出的指示所述手接收到所述物件的第二数据。

20.根据条款12所述的方法，其中：所述确定所述部分包括确定所述环境内相对于所述传感器的感兴趣体(VOI)；所述分析包括分析对应于所述VOI的所述图像数据的至少一部分；所述识别包括识别所述VOI内的所述手；并且所述一个或更多个计算机可读介质还存储计算机可执行指令，所述计算机可执行指令在被执行时，使得所述一个或更多个处理器执行动作，所述动作包括识别所述VOI内的所述物件。

Claims (15)

1.一种或更多种计算设备，包括：

一个或更多个处理器；和

一个或更多个计算机可读介质，其存储计算机可执行指令，所述计算机可执行指令在被执行时，使得所述一个或更多个处理器执行动作，所述动作包括：

接收由环境中的传感器生成的传感器数据，所述传感器数据标识物件；

确定与所述传感器相关联的所述环境的一部分；

接收由所述环境内的相机生成的图像数据，所述图像数据表示与所述传感器相关联的所述环境的所述一部分；

分析所述图像数据；

至少部分地基于所述分析来识别所述图像数据中表示的手；

确定与所述手相关联的用户标识符；以及

更新与所述用户标识符相关联的虚拟购物车数据，以指示与所述物件相关联的物件标识符。

2.根据权利要求1所述的一种或更多种计算设备，其中接收由所述传感器生成的所述传感器数据包括接收由扫描设备生成的扫描数据，所述扫描设备扫描与所述物件相关联的视觉标记。

3.根据权利要求1所述的一种或更多种计算设备，其中所述一个或更多个计算机可读介质还存储计算机可执行指令，所述计算机可执行指令在被执行时，使得所述一个或更多个处理器执行动作，所述动作包括接收指示所述传感器生成所述传感器数据的第一时间的数据，并且其中所述分析包括分析在所述第一时间之后并且在所述第一时间的阈值时间量内由所述相机生成的图像数据。

4.根据权利要求1所述的一种或更多种计算设备，其中：

确定所述一部分包括确定所述环境内的相对于所述传感器的感兴趣体(VOI)；并且

所述分析包括分析对应于所述VOI的所述图像数据的至少一部分。

5.根据权利要求1所述的一种或更多种计算设备，其中：

确定所述一部分包括确定所述环境内的相对于所述传感器的感兴趣体(VOI)；

所述分析包括分析对应于所述VOI的所述图像数据的至少一部分；

所述识别包括在所述手进入所述VOI之后识别所述手。

6.根据权利要求1所述的一种或更多种计算设备，其中：

确定所述一部分包括确定所述环境内的相对于所述传感器的感兴趣体(VOI)；

所述分析包括：

分析对应于所述VOI的所述图像数据的第一帧的至少一部分；以及

分析对应于所述VOI的所述图像数据的第二帧的至少一部分；

所述识别包括：

至少部分地基于对所述第一帧的所述至少一部分的分析来识别所述VOI内的空的手；以及

至少部分地基于对所述第二帧的所述至少一部分的分析来识别所述VOI内的满的手。

7.根据权利要求1所述的一种或更多种计算设备，其中：

确定所述一部分包括确定所述环境内的相对于所述传感器的感兴趣体(VOI)；

所述分析包括：

分析对应于所述VOI的所述图像数据的第一帧的至少一部分；

分析对应于所述VOI的所述图像数据的第二帧的至少一部分；

分析对应于所述VOI的所述图像数据的第三帧的至少一部分；以及

分析对应于所述VOI的所述图像数据的第四帧的至少一部分；

所述识别包括：

至少部分地基于对所述第一帧的所述至少一部分的所述分析来识别所述VOI内的第一位置处的空的手；以及

至少部分地基于对所述第二帧的所述至少一部分的所述分析来识别所述VOI内的第二位置处的空的手；

至少部分地基于对所述第三帧的所述至少一部分的所述分析来识别所述VOI内的第三位置处的满的手；以及

至少部分地基于对所述第四帧的所述至少一部分的所述分析来识别所述VOI内的第四位置处的满的手；

所述一个或更多个计算机可读介质还存储计算机可执行指令，所述计算机可执行指令在被执行时，使得所述一个或更多个处理器执行动作，所述动作包括：

至少部分地基于所述第一位置和所述第二位置来确定第一方向矢量；以及

至少部分地基于所述第三位置和所述第四位置来确定第二方向矢量；

所述更新包括至少部分地基于所述第一方向矢量和所述第二方向矢量来更新与所述用户标识符相关联的所述虚拟购物车数据。

8.根据权利要求1所述的一种或更多种计算设备，其中：

所述分析包括：

使用所述图像数据的第一帧生成分割图，所述分割图至少标识所述第一帧的对应于用户的手的第一组像素；以及

将指示所述第一帧的对应于所述用户的所述手的所述第一组像素的第一数据输入到经训练的分类器中；

所述识别包括接收作为所述经训练的分类器的输出的指示所述手接收到所述物件的第二数据。

9.根据权利要求1所述的一种或更多种计算设备，其中：

确定所述一部分包括确定所述环境内的相对于所述传感器的感兴趣体(VOI)；

所述分析包括分析对应于所述VOI的所述图像数据的至少一部分；

所述识别包括识别所述VOI内的所述手；并且

所述一个或更多个计算机可读介质还存储计算机可执行指令，所述计算机可执行指令在被执行时，使得所述一个或更多个处理器执行动作，所述动作包括识别所述VOI内的所述物件。

10.一种方法，包括：

接收由环境中的传感器生成的传感器数据，所述传感器数据标识物件；

确定与所述传感器相关联的所述环境的一部分；

接收由所述环境内的相机生成的图像数据，所述图像数据表示与所述传感器相关联的所述环境的所述一部分；

分析所述图像数据；

至少部分地基于所述分析来识别所述图像数据中表示的手；

确定与所述手相关联的用户标识符；以及

更新与所述用户标识符相关联的虚拟购物车数据，以指示与所述物件相关联的物件标识符。

11.根据权利要求10所述的方法，其中接收由所述传感器生成的所述传感器数据包括接收由扫描设备生成的扫描数据，所述扫描设备扫描与所述物件相关联的视觉标记。

12.根据权利要求10所述的方法，还包括：接收指示所述传感器生成所述传感器数据的第一时间的数据，并且其中所述分析包括分析在所述第一时间之后并且在所述第一时间的阈值时间量内由所述相机生成的图像数据。

13.根据权利要求10所述的方法，其中：

确定所述一部分包括确定所述环境内的相对于所述传感器的感兴趣体(VOI)；并且

所述分析包括分析对应于所述VOI的所述图像数据的至少一部分。

14.根据权利要求10所述的方法，其中：

确定所述一部分包括确定所述环境内的相对于所述传感器的感兴趣体(VOI)；

所述分析包括分析对应于所述VOI的所述图像数据的至少一部分；

所述识别包括在所述手进入所述VOI之后识别所述手。

15.根据权利要求10所述的方法，其中：

确定所述一部分包括确定所述环境内的相对于所述传感器的感兴趣体(VOI)；

所述分析包括：

分析对应于所述VOI的所述图像数据的第一帧的至少一部分；以及

分析对应于所述VOI的所述图像数据的第二帧的至少一部分；

所述识别包括：

至少部分地基于对所述第一帧的所述至少一部分的分析来识别所述VOI内的空的手；以及

至少部分地基于对所述第二帧的所述至少一部分的分析来识别所述VOI内的满的手。