CN114040153A - 用于在环境内计算机视觉驱动应用的系统 - Google Patents

Abstract

一种用于在环境中的计算机视觉驱动应用的系统，该系统包括：成像系统，该成像系统被配置为采集环境内的图像数据；处理引擎，该处理引擎被配置为根据图像数据维护环境对象图，其中，环境对象图是跨环境在空间和时间上对已分类对象的数据表示，环境对象图至少包括具有概率对象关联的对象子组；并且处理引擎进一步被配置为：对图像数据中的对象进行分类，并且将相应的对象实例存储在环境对象图中，跟踪对象位置并且在对象路径中建立对象实例关联，检测交互事件，并且针对所检测到的交互事件的子组中的事件实例，生成交互事件中所涉及的至少两个对象实例的对象关联，以及更新环境对象图，并且跨对象关联传播至少一个对象实例的变化。

Description

用于在环境内计算机视觉驱动应用的系统

相关申请的交叉引用

本申请是申请日为2017年05月09日，申请号为“201780041801.4”的题为“用于在环境内计算机视觉驱动应用的系统和方法”的中国专利申请的分案申请。

本申请要求2016年5月9日提交的美国临时申请号62/333,668的权益，该美国临时申请通过引用以其全部内容结合在此。

技术领域

本发明总体上涉及商业和库存管理领域，并且更具体地涉及一种用于在环境内的计算机视觉驱动应用的新型且有用的系统和方法。

背景技术

商店和仓库通常面临管理库存的挑战。从运算角度来看，许多复杂的买卖运营投入相当大量的时间和资源来手动计数库存。这样的过程容易出错，并且只能提供库存状态的周期性视图。

与关于面向顾客方面有关的库存管理相结合，商店非常依赖于传统工具和系统来向顾客收取他们的产品和/或服务的费用。传统的销售点系统以及甚至自助结账选项通常会导致排长队，这会给顾客留下另他们不满意的购物体验。当实体购物受到在线购物选项的威胁时，这可能尤其具有破坏性。

因此，在商业和库存管理领域中需要创建一种用于在环境内的计算机视觉驱动应用的新型且有用的系统和方法。本发明提供了这样一种新型且有用的系统和方法。

附图说明

图1是优选实施例的系统的示意性表示；

图2是优选实施例的示例性系统安装的示意性表示；

图3是示例性场景的示意性表示，在该场景中，EOG应用于环境的不同区中的应用；

图4是在实施该系统和方法时所使用的单个图像捕获设备的示意性表示；

图5至图8是该系统的示例性图像捕获设备配置的示意性表示；

图9是购物者的示例性路径的交互建模的示意性表示；

图10是对象变换的示意性表示；

图11是优选实施例的方法的流程图表示；

图12是具有补充数据输入的示例性集成的示意性表示；

图13是维护EOG时所涉及的迭代过程的示意性表示；

图14是具有物品计数估计的对象分类和复合对象建模的示例性示意图；

图15A和15B是对象路径的示意性表示，并且对这些对象路径的终止点处的不同对象路径分段进行关联；

图16是跨运动路径传播更新后对象状态以更改先前的对象分类的示意性表示；

图17A和17B是涉及复合对象建模和交互事件的示例性场景的示意性表示；

图18是涉及具有交互事件的复合对象建模和多状态建模的示例性序列的示意性表示；

图19A和19B是使用复合对象建模和概率多状态建模的不同对象之间的交互的示意性表示，并且在图19B中传播对象状态更新并解析图19A的多状态建模；

图20和图21是对EOG的更新的示意性表示；

图22是适用于自动结账的方法的流程图表示；

图23是适用于与结账处理系统集成的方法的流程图表示；

图24是传送结账清单的示意性表示；

图25是将购物者关联对象解析为结账清单的示意性表示；

图26是校准事件的示意性表示；

图27是根据在元媒体存储格式下的EOG来存储媒体的示意性表示；

图28是适用于生成结账清单的方法的流程图表示；以及

图29至图35是维护EOG时的示例性过程实例的示意性表示。

具体实施方式

以下对本发明实施例的描述并非旨在将本发明限制于这些实施例，而是使得本领域技术人员能够制造和使用本发明。

1.概述

用于在优选实施例的环境内的计算机视觉(CV)驱动应用的系统和方法起作用以无缝地监控、跟踪和考虑在所观察空间内的对象。该系统和方法优选地利用成像系统和通过基于统计方式的方法来考虑对象状态的处理引擎。本文中描述的系统和方法可以变换监视系统的运算能力，并实现与图1所示的其他系统的新集成和应用。

该系统和方法优选地对于不完美输入源和未知状态具有弹性，并且可以优选地应用纵向建模以便利用跨时间和空间的新图像数据进行自修正。该系统和方法可以尤其适用于取决于对在人或设备对象(例如，购物者、工作人员、购物车、袋子)旁边的多个对象(例如，产品)进行跟踪的、对对象的交互和移动感兴趣的CV驱动应用。该系统和方法可以在不完美输入源下进行操作并且利用新信息来更新了解。

优选地，该系统和方法起作用以监控对象到对象关联。对象到对象关联可以涉及一个对象拥有或包含另一个对象或者可能由此对象组成。通过对象到对象关联，可以跨时间和空间来跟踪对象的状态，而无需在不同的时间和空间实例处的直接可确认可观察的视觉数据。例如，一个人可以在商店中拿起物品，将此物品放在他的口袋中，并且该系统和方法可以考虑当此人离开商店时此人所拥有的物品。

该系统和方法可以在各个点和不同时间上使用计算机视觉检测来更新对环境内的对象内容、关联和/或呈现的了解。除了考虑视觉上可标识的产品之外，还可以通过以下方式来考虑不清晰的视觉观察和视觉上被遮挡的对象：周期性更新；以及通过对象和时间关系(比如上述对象到对象关联)传播建模。对物理世界中的对象的这种虚拟表示可以包括对比如库存物品、工作人员、购物者、容器、储存元件(例如，货架)、外来对象和/或任何合适类型的对象等对象进行建模。

该系统和方法所应用的建模可以通过在本文中被称为环境对象图(environmental object graph，EOG)的建模系统来表征，该建模系统反映了所建模对象状态和贯穿时间的关联。

该系统和方法可以在各种各样的环境中具有应用。在一个变型中，该系统和方法可以在比如购物区域或销售卖场等库存交互为非结构化的开放环境内使用。购物者可以以各种方式与库存进行交互，这可能涉及产品检查、产品移位、将物品添加到购物车或袋子、和/或其他交互。例如，该系统和方法可以在比如杂货店、大型商店、书店、便利店、药店、鞋店和/或任何合适类型的购物环境等商店内使用。当在购物环境内使用时，该系统和方法可以促进替代性结账过程，其可以更快并且在一些情况下是自动的。

该系统和方法可以替代性地在结构化工业环境内使用，其中，与产品的交互更受限制并且在很大程度上限于规定的工作人员交互。一些工业环境可能主要通过结构化实体-库存交互来表征。实体可以是人或自动化系统，比如机器人物品移动器。人和机器人都可以用于向环境添加或移开物品或移动物品。例如，该系统和/或方法可用于仓库、储存设施、商店后院、橱柜、制造环境和/或任何合适的工业环境中。

该系统和方法可以替代性地在其他类型的环境或应用内使用，比如在私人住宅内使用以跟踪个人财产。

该系统和方法优选地与成像系统结合使用，该成像系统包括如图2中所示的成像设备的分布式网络。此成像系统可以安装在商店或隔离环境中。例如，该系统和方法可以部署在商店环境内以监控店面中的库存和购物者并监控在储存和装载区域内所储存的库存。该系统和方法的不同实例化可以与网络可访问的计算平台结合使用，使得不同站点处的多个商店或位置可以协同操作、向连锁管理者提供更高水平的洞察、和/或跨不同位置利用数据洞察。

该系统和方法还可以另外在更宽的分布式系统中实施，其中，该系统和方法的运算逻辑可以利用成像设备的网络跨一个环境来执行。可以在不同的连续或不连续区内执行不同的基于CV的应用。这可以实现区特定的CV驱动应用，这些应用可以打开区内基于CV的应用以及跨区基于CV的应用。这可以在类似商场的环境中使用，在此环境中，多个商店使用该系统和方法。该系统和方法在该商场处可以实现商店特定的CV驱动应用，像在每个商店区内的自动结账，但是也可以实现如图3所示的商店间或商场级别的交互。

该系统和方法可以类似地以较小的规模应用，其中，该系统和方法可以与单个相机一起工作，该相机在相机的视场内跨不同区上应用EOG建模。在一个实施方式中，当顾客进入另一个区时，顾客在一个位置进行的对象交互可以适用于系统操作。例如，可以监控一小货架物品，以便可以跟踪购物者的物品选择，然后当购物者离开视场或前行通过出口时可以执行自动结账过程，如图4中所示。

该系统和方法可以具有各种各样的应用并且可以与其他组件结合使用。作为一个主要应用，该系统和方法可以应用于自动自助结账。自动自助结账主要由在购物过程期间生成或维护虚拟购物车(即结账清单)的系统或方法来表征，其目的是在顾客离开商店时知道所拥有的物品。该系统和方法可以用于自动地向顾客的账户针对虚拟购物车的总额进行收费，或者生成可以被传送到结账处理系统(例如，销售点(POS)设备或者个人计算设备上的顾客应用)的逐物品汇总以用于进行直接支付(例如，经由现金、信用卡/借记卡等进行支付)。在一些情况下，该系统和方法可以用于辅助结账，其中，购物者的虚拟购物车或所监控信息可以用于增强结账处理系统。

该系统和方法可以替代性地用于考虑顾客比如在图书馆、租赁商店、仓库或任何合适的物品储存设施中移开物品。该系统和方法可以替代性地用于允许或限制对位置的访问或者对比如在机场、游乐园或健身房之类的访问进行收费。该系统可以用于各种各样购物环境，比如杂货店、便利店、微商店和无人商店、大宗物品商店、药店、书店、仓库、商场、市场、自助餐厅和/或任何合适促进商业或商品或服务交换的环境。本文中，对所累积的物品组的自动自助结账被用作系统和方法的主要示例性应用，但是可以使用任何合适的应用。

在实践中作为该系统和方法的示例性场景，该系统和方法可以检测购物者将来自谷物过道的盒子添加到购物车中。由于相机的当前视野，可能无法观察到购物车内的盒子数量。然而，该系统和方法可以基于具有基于多种因素(例如，购物者在商店中的位置)的某一概率结果的某种交互来更新EOG中对库存的内部表示。该系统和方法可以例如更新其了解以便以90％的概率来预测货架保持9个盒子、8％的概率预测货架具有8个盒子、以及2％的概率预测保持7个或更少。类似地，购物者的购物车可以被分配具有某一组内容的概率分布。在某个未来点，购物者的购物车可能会被观察到包含三个可见的谷物盒。这类信息用于更新EOG中的库存表示，使得以80％的概率预测购物车内容具有三个盒子、以20％的概率预测具有四个或更多盒子。也对货架库存计数进行了类似调整。其他未来的观察可以类似地用于进一步更新库存表示。比如POS结账或手动库存计数等其他对象输入也可用于更新概率。该系统和方法优选地使用动态的机器智能，该机器智能基于来自各种输入端的反馈来主动地改善对物理世界的系统内部表示的质量。

该系统和方法可以另外或替代性地适用于库存管理。传统地，库存管理使用进货、结账处理系统、逐物品收据和周期性手动库存核算来维护基于计数的库存了解。然而，这种传统方式在其对库存的了解方面可能受到严格限制。例如，这种传统系统无法考虑产品“损耗(shrinkage)”(例如，预期物品计数与实际计数之间的差异，这通常是由盗窃、产品错放或不正确的库存核算引起的)。通常，传统的库存管理系统也可能不提供在商店中物品的可靠信息，而是取决于通常涉及员工对商店中的所有物品进行计数的耗时并且手动的盘货过程。该系统和方法可以优选地提供对库存状态的实时了解，其不仅包括计数预期，还可以另外提供物品位置、物品交互历史、物品货架期监控、媒体、元数据和/或其他信息。

该系统和方法可以另外或替代性地适用于在视觉监视的安全性、审计、分析和/或其他用途中使用的监控。可以通过该系统和方法的实施方式来解决与媒体的交互、媒体和媒体信息的存储、和/或对媒体内容的响应。

该系统和方法可以另外或替代性地适用于触发警报和/或引导环境内的工作人员或系统。在一些变型中，定制对象规则可以被配置为触发各种任务的进行。例如，当冷藏对象被移开并留在冷藏室外的货架上时，可以触发工作人员警报。

作为相关扩展，该系统和方法可以被实施用于针对特定/定制应用的定制运算逻辑和/或与外部系统集成。例如，可以实现编程界面，从而使得其他系统可以利用该系统和方法的对象建模能力。该系统和方法可以类似地用于替代性应用。

该系统和方法可以带来各种潜在益处。作为一个潜在益处，该系统和方法可以提供对凌乱环境稳健的监控能力。该系统和方法可以考虑非结构化和意外的对象交互。该系统和方法优选地利用各种方式来针对不完美检测的场景进行自修正并将其考虑在内。与此潜在益处相关联地，该系统和方法可以避免依赖于对复杂对象交互的视觉检测，这可能是易错的并且在常规使用中可能不稳健。虽然，在可能的情况下，该系统和方法可以在一些实施方式中使用交互检测方式，但是当这种检测失败或者无法被直接观察到时，该系统和方法可以优选地进行修正。作为可以推广到各种CV算法方式的系统和方法，可以实施该系统和方法的体系结构，而不限制于特定的CV算法，并且可以随着行业的进步而无缝地改善。

作为另一个相关潜在益处，该系统和方法可以解决观察孔。障碍物、不清晰的视野以及隐藏在其他对象内的对象都是阻止现有的方式提供稳健对象跟踪的因素。该系统和方法可以通过采用比如间接检测、对象建模的传播和/或反事实预测等各种方式来在这种情况下进行操作。

作为另一个潜在益处，该系统和方法可以适应各种监视系统基础结构。该系统和方法可以与各种各样的监视系统一起使用，这些监视系统可以具有任何成像设备数量和任何成像设备质量。在一些情况下，有限数量的预算成像设备可以用作低成本解决方案，包括利用单个相机的实施方式。在其他情况下，该环境可以具有从各个角度提供图像数据的各种成像设备的网络。在某些情况下，在实施该系统时可以利用现有的监视系统。在仍其他情况下，可以使用视觉、红外、激光雷达、激光、雷达、声纳、声学传感器，电磁信号映射系统和其他传感器的组合。与此相关，该系统和方法可以优选地在不依赖于成像设备的精确且耗时的校准的情况下进行操作。

作为可以在自动自助结账和其他应用中使用的另一个潜在益处，该系统和方法可以实现在贯穿购物者访问期间对购物者与产品交互的检测和监控。通过该系统和方法，可以检测到购物路径、物品被添加到购物车的顺序、从货架上选择物品的时间(例如，货架检查时间)、离开时的购物车的最终内容和/或其他因素。在一个变型中，该系统可用于使结账过程的各个部分自动化。例如，顾客或工作人员结账台或其他结账处理系统可以使用该系统和方法来增强功能性。在另一个变型中，该系统可用于验证产品在没有支付的情况下没有从商店中移开。

作为一个潜在益处，该系统和方法可以解决库存核算。商店和管理者可以更高效地了解产品的库存范围。还可以通过该系统和方法来促进产品订购、库存寿命或“健康”(例如，储存的持续时间、监控各个物品的过期日期)的监控、和/或库存的处理。

作为相关潜在益处，该系统和方法可用于跟踪商店内的物品，从而使得可以查询物品的位置。另外，该系统和方法可用于监控对象关系。对象关系可以包括关联和交互，比如哪一个对象被用于存储另一个对象、特定对象的接触/接近度、和/或其他对象关系。可以设置策略来针对特定条件触发警报或其他动作。例如，如果将冰淇淋纸盒从冰柜中移开然后放在货架上，则可以生成警报，因为检测到冰淇淋纸盒在冰柜外面并且静止持续所设定的时间量。

作为另一个潜在益处，该系统和方法可以提供数据驱动监视方式，其可以用于代替或辅助视觉监视系统。数据驱动监视方式可以具有以下优点：使得能够在特定情况下实现所存储监视的更长时间范围和/或选择性地使媒体质量优先。

该系统和方法可以类似地通过提升环境内的详细对象监控来在其他应用中展现益处，这可以用于各种应用。

环境对象图建模概述

该系统和方法优选地应用环境对象图(EOG)建模系统，该EOG建模系统可以用于跨环境在空间和时间上对多个对象进行概率性地检测、跟踪和建模。

EOG通常描述这样一种方式：该方式将环境中的物理物品表示为对象，并在对物品进行移动、添加、移开和变化时将其维护为虚拟表示。EOG优选地是已分类对象的数据表示结构，其中，EOG中的对象的实例可以具有各种概率对象关联。根据新信息流连续地或周期性地更新EOG中的对象表示。新信息可以源自新分类对象、对象之间的交互、对象的跟踪、和/或比如像来自结账处理系统的交易数据这样的补充数据输入等其他输入。

EOG尤其适用于与具有普遍存在的成像系统的环境相结合。EOG系统可以使用从各种有利点和/或在不同实例处的多个基于图像的观察来构建对环境中的对象的表示以及对象的关系。

可以在EOG内应用概率对象建模，用于进行复合对象建模、多个状态的概率建模、和/或通过EOG的建模传播。

在复合对象建模中，EOG系统优选地启用对所包含对象的概率进行预测或建模。当与交互事件检测结合时，这可以用于考虑对象的所感知出现、对象消失、对象分割或对象合并。

多个状态的概率建模促进了维护潜在现实的多个对象状态。例如，对象可以被建模为已被购物者以某种可能性选择以及已被更深地推入货架以便不被观察到。可以通过更新后信息来更新概率建模，以便以更高置信度来标识最可能的状态，和/或在被请求用于应用操作时将建模解析为预测状态。

在建模的传播中，比如在不同时间点和/或来自不同相机的更新后对象分类信息等新信息可以跨关联对象传播。模型传播可用于更新对象分类、对象跟踪、对象关联、复合对象建模和/或多状态建模。

在一个实施方式中，EOG内的对象表示可以包括分类并且可能包括一组所包含的或关联的对象。分类可以是如SKU(最小存货单位或全球唯一标识符)、一般对象(例如，苹果盒、购物者、货架、货物堆)或如至今仍未知的对象。分类通常将会伴随着置信度水平并且可能伴随一组其他分类选项。在一个变型中，所建模的一组所包含的对象可以包括任意数量(包括零)个对象。所包含的对象以某一概率表示为内容的一部分。反过来，所包含的对象可以进而具有包含在其内的其他对象，等等。

对象可以另外包括或与其他属性相关联。例如，具有SKU分类的对象可以与具有价格、名称、重量、大小尺寸和/或其他属性的库存物品相关联。在商业应用中，对象可以包括买卖运营属性，比如产品流行度、相关产品、利润/盈利、制造商/分销商、销售优先级和/或其他运营相关属性。当在库存被跟踪的环境内使用时，EOG可用于预测库存状态。库存状态可以包括计数、位置、对象关联(例如，物品在特定盒子内)、库存历史和/或其他属性。EOG可以另外用于预测由购物者或工作人员拿起的物品、对象的存储技术和/或其他信息。

如上所述，对象可以被分类为SKU对象，其可以与库存物品相对应。SKU对象优选地被表征为涉及具有特定标识的单个物品。此标识优选地与产品(例如，产品对象)相关联，该产品可以包括比如价格、尺寸、重量、产品媒体(例如，在分类时使用的产品照片的历史)等属性、以及其他属性。本文中，除非另有说明，否则物品通常可以指代与EOG的对象相对应的物理产品、人造物品或表现形式。SKU对象可以是基本上不可分割的。本文中，不可分割性通常是在环境的背景内。例如，特定谷物盒在商店的背景内可以被视为是不可分割的，即使在现实世界中它通常由盒子和单独谷物片组成；但是，它作为一个盒子存储和出售。在一些场景中，SKU对象在EOG内是可分割的(例如，六包饮料)，有时产生不同表征对象。

EOG可以另外包括可与专用属性相关联的其他类型的对象分类。环境内的其他类型的对象可以包括购物者、工作人员、购物车、储存设备(例如，货架)、产品移动设备(例如，叉车)和/或其他合适的对象。

2.系统

如图1中所示，优选实施例的系统可以包括成像系统100和EOG系统200。该系统主要起作用以跟踪和考虑环境内的物理物品。EOG系统起作用以在构建对环境内容的基于计算机的表示时使用基于图像的对象检测。EOG系统可以在构建其对对象的表示时使用各种方式。该系统可以另外包括以下各项或与以下各项结合使用：虚拟购物车管理系统、结账处理系统、库存管理系统和/或其他补充系统组件。虽然，该系统优选地与成像系统100结合使用，但是该系统可以类似地是由来自外部成像系统的图像数据驱动的EOG系统200。

成像系统

如图2中所示，成像系统100起作用以采集环境内的媒体。成像系统100优选地包括一组图像捕获设备110(例如，数码相机)。图像捕获设备100可以采集视觉、红外、基于深度、激光雷达、雷达、声纳和/或其他类型的图像的某种组合。在变型中，成像系统100是分布在具有定位于不同有利位置的范围处的图像捕获设备110的环境中的多个图像捕获设备110。优选地，成像系统100是高密度成像系统。高密度成像系统优选地特征为通常由图像捕获设备观察到的环境的相关部分中的大部分。在一个示例中，大部分可以被表征为大于95％的感兴趣表面积。高密度可以另外表征为具有冗余覆盖。在一个示例中，高密度成像系统被表征为每一百平方英尺的感兴趣表面区域(例如，地面、产品储存面等)一个相机。在像小杂货店这样的环境中，这可以是二十个相机分布用于覆盖两千平方英尺的感兴趣表面区域。成像设备120与环境空间的比率可以是任何合适的比率。在替代性变型中，成像系统100可以仅包括单个图像捕获设备。

图像数据优选地是视频，但是可以替代性地是一组周期性静态图像。在一个实施方式中，成像系统100可以从现有的监视系统或视频系统处采集图像数据。图像捕获设备110可以永久地位于固定位置。替代性地，图像捕获设备110或图像捕获设备的子组可以贯穿设施被移动、上下移位、缩放或携带，以便获取更多变化的透视图。

该系统可以适应各种各样的成像系统100设置，并且该系统在使用便宜的商品图像捕获设备110时可以是稳健的。可以将图像捕获设备110设置为成像捕获配置。在一个实施方式中，成像系统100可以包括采用不同成像捕获配置的一组图像捕获设备110。各种成像捕获配置起作用以允许不同系统专注于提供对特定类型的对象信息的视图。例如，该组成像捕获配置可以包括：库存储存捕获配置、交互捕获配置、对象标识捕获配置和/或可移动捕获配置。各种配置可以涉及使用特定类型的图像捕获设备110和/或图像捕获设备的安装类型。

库存储存捕获配置起作用以查看位于其预期储存位置中库存。如图5中所示，库存储存捕获配置可以包括指向保存库存物品的货架或储存解决方案的相机。通常，来自采用库存储存捕获配置的图像捕获设备的图像数据将具有指向所储存库存的大部分视场。库存储存捕获配置可用于在交互之前、期间和之后检测货架上的对象的变化。可以使用各种库存储存捕获配置。例如，头顶库存储存捕获配置可以具有沿对角线向下指向货架的图像捕获设备。在另一个示例中，直接库存储存捕获配置可以是基本上指向产品储存区域的图像捕获设备，比如跨过道安装的。在另一个变型中，库存储存捕获配置可以包括内部库存储存捕获配置，其中，图像捕获设备被定位为具有储存元件的内部视图。例如，图像捕获设备可以定位于货架的内部以便从货架的后面查看产品。

交互捕获配置可以通过检测和表征对象之间的交互来运行。具体地，如图6中所示，交互配置可以被配置用于检测和表征人与对象的货架之间的交互。交互配置可以检测人与货架之间的交互的性质。在基本实施方式中，交互捕获配置检测人是否破坏了产品周围的限定的平面(比如货架的前方平面)以与货架上的对象进行交互。交互捕获配置可以包括可视摄像机，其指向与货架的面基本上共面的方向，以便示出人如何与库存储存复合物进行交互。例如，在商店中，采用交互捕获配置的相机可以被指向到过道下方。一系列成像设备可以沿着过道周期性地定位，其中，每个图像捕获设备旨在检测与过道的子部分的交互事件。

对象标识捕获配置可以用于将对象唯一地标识为特定物品。可以针对各种场景定制这种对象标识捕获配置。可以使用以人为中心的变型来检查基于人的对象。如图7所示，在商店中，以人为中心的捕获配置可以涉及从上向下指向以便检测购物者的购物车中的物品的图像捕获设备。在另一个变型中，以人为中心的配置可以安装在头部高度(例如，大于三英尺并且小于九英尺)并且用于基于他们的面部特征来标识人。以结账为中心的变型可起作用以在结账过程期间标识对象。结账过程可以涉及更清楚地呈现物品，比如购物者或工作人员在检查区中物理地呈现产品。例如，可能要求用户将物品放在传送带上。结账变型可以包括一个或多个成像设备，用于检测对象和基于结账交互来更新EOG。另一种类型的配置可以涉及使用高清相机和致动底座，从而使得成像设备可以瞄准特定对象或位置以采集数据。

可移动捕获配置可用于从动态位置和/或朝向提供图像数据。可移动捕获配置可用于适应动态情况。例如，如图8所示，一个或多个成像系统100可以安装到机器人或人上，并随着成像设备移动通过环境而采集图像数据。可移动配置可用于采集更高分辨率或替代品或以其他方式被阻碍的有利点。可移动捕获配置可以另外用作采集在解决建模问题时使用的图像数据的校准工具。

在通常使用中，大多数捕获配置应为混合使用，从而提供关于所描述情况的信息。

来自图像捕获设备110的图像数据优选地流入或以其他方式传送到EOG系统200的处理组件。

EOG系统

EOG系统200起作用以生成、执行和/或以其他方式维护EOG模型表示。EOG系统200优选地是用于维护EOG的运算过程与用于存储模型并与模型进行交互数据系统的组合。可以使用各种数据数据库和建模实施方式来实施EOG系统200。EOG系统200优选地使用EOG处理引擎210来管理EOG数据系统。EOG优选地具有用于从成像系统100和/或外部图像数据源(例如，现有的监视系统)接收数据的成像系统界面。EOG系统200可以另外包括可用于从数据服务采集数据或更新数据服务的一个或多个补充数据界面。示例性补充数据输入可以包括购买模式数据、顾客购买历史、产品定价数据、库存数据(例如，发货单、库存图/货架图等)、购买交易数据和/或其他数据输入。另外，EOG系统200可以包括促进与EOG进行交互的检查或查询界面。检查界面可用于集成其他系统，比如结账处理系统或库存管理系统。检查界面可用于对EOG进行简单或复杂查询或分析，这可以使得能够响应于EOG中的对象状态而动作。

EOG系统200优选地可在计算系统内进行操作。在一个变型中，计算系统是本地部署(on-premise)计算解决方案，比如在连接到视觉系统的计算机上运行的应用。在另一个变型中，计算系统是远程计算解决方案，其中，部分或全部处理是在远程位置处进行的。例如，可以使用云或分布式计算系统。或者，本地部署系统可以进行计算工作的一部分，比如从视觉系统处采集媒体流，而剩余的计算工作是在远程位置处进行的。更优选地，EOG系统200与成像系统100的图像捕获设备110集成在一起，其中，维护EOG的过程跨成像设备分布，其可以起作用以减轻数据传送和/或存储限制或挑战。

EOG处理引擎210使用来自计算机视觉系统的输入以及其他数据输入，比如内向/外向(inbound/outbound)产品订单、逐物品POS结账报告、手动库存输入和/或其他对象输入。可以与环境的运算方面相关的补充数据输入可用于更改EOG中的分类和建模和/或检查或解释EOG。

各种输入由EOG处理引擎210处理并用于存储信息或更新存储在EOG数据系统中的EOG表示。EOG系统200可以按层级顺序来表征复合对象。对象可以具有父与子的关系。对象的父通常是包含其的对象。对象的子是其所包含的对象。例如，包含苹果的盒子将具有盒子作为父对象以及苹果作为子对象。EOG可以另外表示与对象关系相关联的历史数据。例如，多个购物者可以各自从盒子中移开物品。购物者拥有的物品当时可能是未知的。对与一个购物者一起的苹果的随后标识可以用于更新包含该苹果的盒子的表示，该表示然后可以用来更新与其他购物者拥有的苹果来自同一盒子的那些物品的了解。在本示例中，通过对象关系进行信息传播可以类似地用于更新对该盒子所源自的板条箱的表示以及EOG系统200内的其他方面。

在维护EOG的过程中，EOG系统200可以使用各种方式来得出关于环境中的物品(例如，库存)的状态的结论。在一个实施方式中，EOG系统200可以通过比如静态过程、交互过程和/或关联传播过程等过程来得出信息更新。

EOG处理引擎210优选地实施静态过程，其中，来自给定实例的数据部分地用于更新EOG在该实例中的对象的表示。静态过程可以涉及对象分割、分类、对象跟踪和/或图像数据的其他由算法地驱动的结论。静态过程可以是对数据输入的实时计算机视觉分析，其使用可用信息而不必考虑EOG的基于历史的对象关联。静态过程优选地使用来自计算机视觉系统或成像系统的当前图像数据。在静态过程的一个变型中，计算机视觉和其他方式可以用于标识对象。对象的分类可以包括SKU对象标识、唯一购物者标识、一般对象分类或未标识对象分类。

分类可以利用图像特征提取和分类、统计机器学习、神经网络、启发式过程和其他合适的方式的使用。在一个变型中，图像特征提取和分类可以用于对图像数据中呈现的多个对象进行分类，其可以使用像视觉词、特征分类星座图和词袋分类过程之类的过程。这些和其他分类技术可以包括使用尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、各种特征提取技术级联分类器、朴素贝叶斯、支持向量机和/或其他合适的技术。在另一个变型中，比如快速区-CNN(r-CNN)、更快的R-CNN、掩模R-CNN和/或其他神经网络变型和实施方式等神经网络或CNNS可以被执行为计算机视觉驱动对象分类过程。

跟踪对象可以类似地是对原始图像数据进行操作的过程。对象跟踪可以使用各种技术，比如光流、算法目标锁定和目标重新获取、数据驱动推断、启发式过程和/或其他合适的对象跟踪方式。如本文中所讨论的，EOG可以另外用于补充或促进对象的分类和跟踪。

静态过程可以另外用于采集或生成背景信息。与对象分类有关的背景信息可以用于构建对此对象的表示。背景信息可以包括该对象或捕获图像的成像设备的位置、一天中的时间、已播种的或现有的库存信息或规则、和/或其他类型的背景信息。例如，在大约预期的交货时间时在杂货店的仓储部分中检测到的被标识为苹果板条箱的盒子最初可以被假设具有中等地高可能性包含整盒子苹果(例如，40个苹果)，并表示为如此。

EOG处理引擎210可以另外包括交互过程，其起作用以基于对象交互得出关于环境中的物品状态的结论。交互过程可以涉及两个或更多个对象，这些对象通常与在对象之间的某些区中对象的接近度、接触和/或变化相关联。例如，当两个对象相接触或移动到特定接近度内时，可以更新对这些对象的表示。如图9所示，购物者通过商店的路径可以基于与商店中的特定对象的接近度来更改购物者对象的EOG。交互过程可以包括各种对象变换。对象变换通常示出第一组对象到第二组对象的转变。交互过程可以另外涉及一个或两个对象的分类、标识或概率表示的变化。如图10中所示，与交互事件相关的基本对象变换的示例可包括显露对象的内容、由另一个对象隐藏对象、将对象分割成多于一个对象、将一组对象合并在一起、对象出现以及对象消失。

EOG处理引擎210可以另外具有关联传播过程，其起作用以基于对观察历史的观察来得出关于环境中的物品状态的结论。传播过程通常取决于在更新EOG时比在交互或静态过程中更长的时间段上采集的输入。在传播过程中，对EOG的一部分的更新可以通过历史对象关联和关系进行传播，以在时间或空间上在一个或多个其他实例处更新EOG的第二部分。传播过程优选地与静态过程和交互过程结合使用。

作为传播过程的一般示例，盒子最初可以以低概率被(不正确地)表征为苹果盒，并且因此被假定包含苹果。看到第一个购物者正在移开物品但是从物品未被清楚地标识；因此，此第一个购物者最初被(不正确地)更新为移开了苹果并将其添加到购物车。随后看到第二个购物者从同一个盒子中移开某一对象，但是此对象被以更高可能性分类为葡萄柚。EOG中的盒子可以被更新为更可能包含葡萄柚。另外，可以通过EOG系统200的传播过程将EOG中的第一购物者更新为还拥有(例如，被建模为“包含”)葡萄柚。在初始静态过程中可以犯错误，但是这些错误优选地可以被系统容忍，因为这些可以在稍后被修正。以此方式，整个EOG的表示质量可以随着时间的推移而主动发展地更加准确。由于存在比第一次修正错误更多的修正错误的机会，因此整个EOG系统200具有非常高的确定性。

该系统可以另外包括参考对象数据库，其起作用以提供对象属性信息。在一些变型中，对象属性信息可以用于通过EOG系统200来对对象进行建模。在一些应用中，对象属性信息可以替代性地或另外用于应用所建模对象。

参考对象数据库优选地至少包括库存参考数据库。库存数据库优选地包括产品或SKU信息和属性，比如物品物理属性、物品买卖属性(例如价格、购买流行度)、相关物品和/或其他信息。产品的一组图像训练样本可以另外是参考对象数据库的一部分。

参考对象数据库可以另外包括人参考数据库，其起作用以对与人属性有关的信息进行存储和建模。这可以包括引用生物标识模型。人参考数据库可以另外包括个人购物模式、愿望清单、支付信息、帐户设置和/或任何合适的信息。个人购物模式可以包括过去购买的历史。它还可以包括个人信息，比如过敏、营养限制或目标、和/或可以通知EOG系统的其他个人信息。

其他对象参考数据库组件可以实现对其他信息的访问。例如，环境对象数据库可以存储与其他呈现对象相关的信息，比如货架、箱、购物车、购物筐、冰箱、叉车和/或环境内的其他通常可观察的对象。

系统集成选项

该系统优选地用于与部分地基于EOG进行操作的一个或多个附加系统结合使用。附加系统优选地起作用以通过EOG来检查对象状态、并且然后基于此对象状态来触发一些动作。这些动作可用于在监视环境监控和/或进行一些外部动作时更改系统状态。潜在补充系统组件可包括虚拟购物车管理系统310、结账处理系统320、库存管理系统330、校准工具340、通知系统350、元媒体存储系统360、手动任务管理系统370、管理系统380和/或其他集成系统组件。

虚拟购物车管理系统

在一些变型中，该系统可以包括虚拟购物车管理系统310，其起作用以促进管理在最终交易中可能涉及的所采集物品的商业模型。虚拟购物车管理系统在确定可以被分配给“虚拟购物车”或结账清单SKU物品的逐物品清单时优选地在EOG模型上操作。虚拟购物车是指针对交易(例如，购买交易、租赁交易、使用交易等)选择的一组物品。这里，物品的选择被解释为与分类购物者对象相关联，其可以是人类购物者、购物车、购物筐、袋子、盒子中的一个或多个，和/或更通常地是在结账区中的对象的集合。例如，虚拟购物车可以由购物者拥有的对象组成，但是可以替代性地是包含在购物车、购物筐和/或任何合适的实体或实体组合中的物品。优选地，通过检测被建模为由购物者对象“拥有”或“包含”的对象，部分地根据EOG系统200生成虚拟购物车。虚拟购物车管理系统310可以同时管理多个虚拟购物车。

虚拟购物车管理系统310可以包括购物车解析过程，其检查EOG的相关对象状态信息并将对象从EOG模型变换为预测的SKU对象清单。例如，虚拟购物车管理系统310可以包括用于进行以下操作的配置：标识当购物者在商店的结账区时购物者所拥有的和/或购物车内所包含的一组预测对象，并且然后将该组预测对象转换为结账清单。此转换可以考虑对象建模(例如，分类)的置信度以及包括或不包括一产品的运营成本(例如，对顾客满意度的影响、错过潜在销售的财务成本等)。另外，补充数据输入可用于从CV驱动模型转换为反映运营趋势的结账清单。在转换过程期间，可以应用启发式方法、深度学习和/或其他技术。在一个示例中，基于分类置信度水平将SKU对象添加到结账清单，并且可以基于SKU对象价格、流行度和/或其他运营数据输入来改变置信度水平阈值。在一些情况下，当对此对象进行EOG建模时的置信度未满足特定条件时，可以使解析过程偏移以避免针对产品对顾客过度收费或者不向顾客收费。这可以起作用以在计算检测过程之上对买卖运营目的进行分层。

可以使用EOG的复合对象建模方面，使得在一个区中的观察可以转换为对第二区中正呈现的隐藏对象进行建模。如上面所讨论并在本文中进一步描述的，EOG不取决于在维护此对象的呈现时对在特定位置处的对象的直接观察。以此方式，装满的购物车中的从当在结账区中时的视图来看被遮挡的所有物品都可以在结账过程期间与虚拟购物车相关联。

结账处理系统

在一些变型中，系统可以另外包括结账处理系统320，其起作用以将结账处理系统与EOG系统200的操作集成。结账处理系统320可以与虚拟购物车管理系统310组合使用或独立使用。结账处理系统320可以是物理系统，像促进结账过程的销售点(POS)结账台。结账处理系统320可以是在系统内用于进行以下各项的集成：直接或间接地访问来自结账处理系统的数据(例如，条形码读取器数据、交易数据等)和/或通过结账处理系统的更新状态(比如通过利用结账清单或产品预测数据输入来预先填充POS设备)来访问数据。替代性地，结账处理系统320可以是包括支付输入端、用户界面组件(例如，屏幕、输入设备等)和/或其他基本组件的结账处理系统320。在一个变型中，结账处理系统320可以包括采用POS捕获配置的图像捕获设备110。POS捕获配置可以是指向结账处理系统320的物品扫描区(比如传送带、条形码扫描区、物品秤和/或物理结账处理系统的任何合适区)的相机。在另一个变型中，结账处理系统320可以是可在比如智能电话、平板电脑、可穿戴计算机或任何合适的计算设备之类的计算设备上操作的应用。结账处理系统320的应用变型可以包括与计算设备的相机集成，并且可以包括支付输入设备，比如支付卡读取器或其他合适的支付输入设备。在另一个变型中，面向顾客的应用可以传送结账清单，该结账清单可以在完成结账过程时由顾客查看并可选地确认。

结账处理系统320优选地可以用作：EOG系统200的训练组件和/或EOG系统200的受控输出。

在训练操作模式下，结账处理系统320优选地起作用以提供产品图像的附加训练数据。例如，采用POS捕获配置的图像捕获设备110可以采集产品图像，而条形码扫描仪和/或其他POS输入端用于采集产品标识信息。可以通过正常产品结账处理来采集和维护训练数据的语料库。在加入新商店时，可以通过生成针对产品的一组带标签图像数据利用唯一的一组产品来使用结账处理系统320的训练操作模式。类似地，因为结账处理系统320的训练操作模式，可以自动登记新产品或包装的变化。

另外或替代性地，训练操作模式可以与EOG系统200和虚拟购物车管理系统310的主动使用结合使用。可以为购物者对象生成所建模的虚拟购物车。如果此购物者对象然后使用传统的结账过程，则可以将传统结账过程的结果与虚拟购物车进行比较。差异可用于更新和训练系统。除此之外或替代性地，在传统结账过程期间确认的更新后信息可以通过EOG模型传播，以便增强建模。

结账处理系统320的输入操作模式优选地起作用以使得EOG系统200能够增强和/或控制结账处理系统320。在一个变型中，由工作人员或顾客用于进行支付的结账处理系统320可以自动添加物品以加快结账过程。例如，顾客可以接近结账处理系统320，并且在不主动地扫描物品的情况下，当在结账处理系统320附近检测到购物者时，可以更新结账处理系统320，以包括如虚拟购物车管理系统310所指示的虚拟购物车中的产品。为结账自动加载的物品可以是物品的完整清单或部分清单。例如，可以自动添加具有高于阈值的预测置信度水平的产品，并且具有低于阈值的预测置信度水平的产品可能需要确认和/或取决于手动输入。在另一个变型中，输入操作模式可以使结账处理系统320偏移，从而可以增强物品的输入。例如，EOG可能能够检测到购物者可能选择了一定量的各种苹果；结账台上的显示器可以在顶层菜单上显示苹果选项，以便工作人员或顾客可以快速选择此产品，而不是导航选项菜单来选择产品。

库存管理系统

在一些变型中，系统可以包括库存管理系统330，其用作用于检查和观察库存状态的EOG界面。库存管理系统330优选地包括用于访问库存信息的用户可访问用户界面。库存管理系统可以包括用于准备与库存总量、库存订购信息、库存位置、库存货架期、库存购物者交互和/或任何合适信息相关的报告的配置。库存管理系统330可以另外包括库存订购系统，使得系统可以用于至少部分地使库存订购自动化。

库存管理系统330可以另外包括用于增强库存状态信息的界面，该界面可以用于在更新EOG模型时用于应用用户输入。例如，EOG模型可以检测到收到了板条箱并且以一定置信度水平预测板条箱包含一定数量的物品。管理员可以确认板条箱的内容、更改所包含物品的标识、更改所包含物品的计数，或者可以进行任何调整。

校准工具

校准工具340起作用以实现对象建模的校准和/或解析模型问题。校准工具340优选地与EOG系统200通信，以提供关于环境中的对象的更新后校准数据输入。校准工具340优选地提供在SKU对象标识中使用的输入、对象计数、确认对象不存在、和/或以其他方式以高置信度输入更新EOG模式的状态。校准工具340优选地是由工作人员或系统的管理员使用的移动设备。在典型的使用中，工作人员可以前往环境中的各个位置并采集输入。替代性地，可以将校准工具集成到面向消费者的应用中作为后台服务，使得通过正常使用，该应用可以用于校准EOG系统200。

在一个变型中，可以引导输入采集，使得可以解析具有低置信度建模的区域。例如，如果购物者搅乱物品已经导致了EOG中的低置信度建模，则可以通知并引导工作人员使用此区域中的校准工具340来确定此区中的物品的标识和数量。这可以使此区返回到高置信度建模。与模型传播相结合，一个区中建模的变化可以转换为传播更新以更改另一个区中对象的对象状态。当来自校准工具340的更新后信息由EOG系统传播时，校准工具可以另外用于间接地增强购物者的建模，使得购物者拥有的对象被以更高置信度建模。

用作移动配置的图像捕获设备可以包括在校准工具340中。替代性地，可以使用条形码扫描仪、RFID标签读取器或任何合适的产品标识输入设备。替代性地，用户界面输入端可以使得工作人员能够手动输入信息。

校准工具340可以是可在比如智能电话、平板电脑或可穿戴计算机设备之类的计算设备上操作的应用。校准工具340可以替代性地是定制设备。例如，校准工具340可以是具有显示器和用户输入端的计算设备，该用户输入端还包括条形码扫描器、以及可选地集成图像捕获设备110。定制校准工具340可以通过网络或者通过直接与系统的通信信道进行通信来与EOG系统200进行通信。

校准工具340可以另外包括定位元件，使得环境内的位置可以被确认。定位元件可以通过由成像系统100采集的图像数据来促进环境位置的检测。例如，可以由校准工具340显示视觉信标或标记。可以使用比如RF信标三角测量技术等替代性定位技术或其他定位系统。

通知系统

通知系统起作用以实现生成警报和反馈。通知系统350可以包括被配置用于在各种通信信道上发送通知的界面。这可以用于向工作人员发出警报。例如，可以向工作人员通知校准请求，使得工作人员可以使用校准工具340来解决某问题。在另一个示例中，可以通知工作人员来辅助与低置信度建模状态相关联的顾客。这种低置信度建模状态可能是正常顾客行为的结果，但是也可能是通过目标在于混淆系统的用户行为。通知系统350可以另外包括编程界面，使得可以响应于EOG中的各种条件来更新或集成各种其他系统和服务。

该系统可以另外包括规则引擎，该规则引擎检查EOG模型的特定条件并使用该数据来触发不同的动作或事件。这些动作可以是内部动作，但是也可以是利用外部系统进行的动作。例如，通知系统350的编程界面可用于触发外部服务处的某个动作或将更新后数据传送到外部服务。

元媒体存储系统

元媒体存储系统360起作用以以动态格式存储媒体，该动态格式将媒体数据和对环境的元数据观察混合。元媒体存储系统360优选地被配置为与环境对象图协同存储动态媒体内容表示。与将捕获媒体存储在媒体的原始或压缩版本中的传统监视系统相反，该系统和方法可以使用EOG建模来减轻对维护关于每个时刻的记录的媒体文件的依赖性。优选地，存储媒体用于对以低置信度所建模的对象进行图像观察。另外，可以另外动态调整媒体质量。例如，非常低置信度的观察可能会导致高质量的媒体存储，中等水平的置信度可能会导致中等质量的媒体存储，并且EOG建模中的高置信度可能会导致仅元数据存储。除了媒体质量之外，媒体表示可以动态地隔离到图像数据的子区，其中,只有与低置信度建模的视觉观察相关的媒体可以被存储。

元数据存储系统360可以另外包括元媒体播放器系统，其被配置为将元媒体数据合成为视觉观察的表示。元数据建模可用于在过程上模拟、生成媒体或增强现有的媒体数据。

手动任务管理系统

手动任务管理系统370起作用以利用在促进图像处理或分析时使用的手动操作器来增强系统的操作。手动任务管理系统370优选地选择工作人员任务，将工作人员任务委派给工作人员，并且然后在采取适当的动作时与EOG系统200和/或通知系统350接口连接。手动任务管理系统370优选地用于对象分类和/或EOG建模具有低置信度的场景中。工作人员可以用来通过检查图像数据并提供某些分析来对过程进行补充。在一个变型中，当对象不能被有置信度地分类时，可以触发手动任务请求。在手动任务请求中，可能会要求工作人员从可能的对象选项中进行选择。在另一个变型中，工作人员可以直接输入对象的分类(例如，SKU的标识符、对象的描述等)。在另一个变型中，手动任务请求可以采集与涉及对象的事件相关联的多个图像数据实例，并请求对观察链进行分析。这可以用于检测试图阻止准确建模的人。

手动任务管理系统可以与通知系统和规则引擎结合工作，使得满足一定条件的建模条件可以触发手动任务请求以使人提供分析和输入。

手动任务管理系统370可以冗余地委派工作人员任务和/或将工作人员任务委派给适当的工作人员。例如，可以将产品标识委派给初级工作人员，并且可以将验证可疑购物者行为的工作人员任务委派给管理者。

管理系统

该系统可以另外包括管理系统380，其起作用以向管理员提供用于对系统内的运营选项进行检查和/或更改的界面。管理系统380可用于设置运营选项并配置系统。

该系统可以另外或替代性地包括与库存管理、商业、工作人员管理、面向消费者的服务等相关的各种其他组件或者与其集成。

3.方法

如图11中所示，优选实施例的用于环境对象建模的方法可以包括：跨环境采集图像数据S100；根据图像数据维护EOG S200；以及检查环境对象图并执行关联的动作S300。EOG优选地是跨该环境在空间和时间上对已分类对象的数据表示，并且该EOG优选地至少包括具有概率对象关联的对象实例的子组。维护EOG S200优选地为由多个过程实例组成的迭代过程，该多个过程实例包括：根据图像数据对对象进行分类S210；跟踪环境中的对象位置S220；检测交互事件S230；和/或更新EOG S240。该方法优选地跨环境内的多个对象来应用，并且该方法优选地被迭代地进行以维护环境内的对象的统计上准确的表示。该方法可以与上述系统或任何合适的替代性系统结合实施。

该方法可以采用各种方式来应用附加方式。维护EOG的实施方式可以包括EOG关联过程，比如复合对象建模、多个对象状态的概率建模、以及纵向对象跟踪。该方法的附加过程可以包括范围化对象分类和应用操作偏移。

在维护EOG时进行复合对象建模可以使得能够将对象检测为具有包含其他对象的分类和概率。多个对象状态的概率建模可以使得该方法能够维护不同的对象状态。通过跨在EOG中的对象关联传播对象状态，可以促进纵向对象跟踪-在不同时间和地点的观察数据可以进一步改进EOG中的对象建模。范围化对象分类可以通过背景设置和调整在基于CV的对象检测中使用的一组候选对象来增强对象分类。操作偏移可以使得比如其他感测输入或数据源等其他数据输入能够更改EOG的执行。

随着更多信息被采集，该方法可以通过EOG传播确定性(例如，在时间上向前和在时间上向后)。EOG建模方式的使用起作用以使得该方法响应于有限的、间歇的、或暂时不清晰的输入流而稳健。该方法可以容忍并在不完美信息上运行，同时通过随后的观察来寻求改善其知识。精确度的负担可能在一些领域中会减少，而在许多其他区域则会延迟。例如，该方法可以维护对由购物者选择然后由购物者保持、添加到袋子或者当购物者正在商店中移动时添加到购物车的产品的在运算上可靠的预测。然后，这可以用于自动完成结账过程，其中，预测的产品被记入购物者账户和/或通过以预测的产品自动填充结账处理系统。作为另一个示例，即使对象在货架上或储存容器中被遮挡，也可以利用可用的准确性维护库存跟踪。该方法优选地通过比如上文所描述的系统之类的系统来实施，但是还可以替代性地使用任何合适类型的系统。

在一个实施方式中，该方法可以起作用以促进购物结账过程。在一个变型中，促进购物结账过程可以包括辅助现有的结账过程。例如，通过使用对购物者拥有的物品的概率了解来更快地扫描物品，可以使自助结账台更高效。在另一个变型中，该方法可以用于对购物者进行自动结账。例如，该方法可用于检测由购物者选择的对象，标识购物者的购物帐户，并且在离开商店时对购物帐户收取所选物品的费用。

该方法可以另外起作用以在结账时促进对未知对象的标识。当观察到已经扫描了先前未知的对象的条形码时，所得到的SKU可以肯定地与此对象相关联，并且具有类似外观和/或属性的未来对象可以被分配更高的承载同一条形码和SKU的可能性。在许多这样的扫描事件之后，可以将更高的可能性分配给具有同一SKU编号的、外观类似的随后的对象。以此方式，可以采用机器学习深度学习、统计建模和/或其他机器智能策略来持续改善弱点区域。在某些情况下，库存物品可以通过这样的过程自动登记到系统中，从而可以避免手动加入新产品。

该方法可以通过构建和发展对环境及其内容的逻辑表示来跟踪环境内的库存。通常，库存跟踪可涉及计数或估算库存物品。库存跟踪可以另外包括跟踪库存物品的位置。跟踪可以另外包括监控对象分组或对象到对象关联。例如，系统可能能够跟踪到一个对象在被放置在货架上之前由购物者携带。对象关系跟踪可以特别适用于具有关于如何被存储或管理的限制的对象。例如，可以检测到被从冰柜中移开一段特定持续时间的冰淇淋，并且可以通知工作人员将物品移回冰箱。

该方法可以另外起作用以补充安全监视或其他视觉监视应用。在一个变型中，该方法可以在人试图带着未付款物品一起离开商店时触发警报。在另一个变型中，该方法可以用于将监视数据转换为数据表示，这对于长期数据存储而言更加高效。该方法可以另外用于分类，以便触发与可能受益于媒体记录的交互相关联的监视媒体的长期存档。

该方法可以另外或替代性地用于其他应用中。在一个变型中，该方法可以用于库存定位。工作人员或购物者可能能够搜索物品的位置。在另一个变型中，该方法可以用于库存存货自动化。该方法可用于重新订购产品或监控易腐物品的货架期。替代性地，该方法可以是具有编程界面的通用平台，使得定制应用和系统/服务集成可以与该方法协同操作。

采集图像数据

框S100(其包括跨环境采集图像数据)起作用以采集包含感兴趣对象(例如，库存物品)的区的视频、图片或其他图像。优选地，从各种捕获点发生采集图像数据，其中，采集图像数据包括从分布在环境中的不同点处的多个图像捕获设备(例如，相机)采集图像数据。该组捕获点可以包括环境中被监控区的重叠和/或非重叠视图。该组捕获点可以另外在环境内建立高密度成像系统。替代性地，该方法可以利用单个成像设备。图像数据优选地基本上覆盖连续区。然而，该方法可以适应孔、间隙、未经检查区和/或非接触区。具体地，该方法可以是对于处理不适于进行基于图像监视的区域(比如浴室和更衣室)而言是稳健的。在这些情况下，在EOG执行期间进行的统计预测可以考虑无法观察的事件。

如上所述，该方法可以不取决于精确、准确的信息，并且因此图像数据的采集可以来自现有的视频监视系统。可以直接采集图像数据，并且可以将图像数据传送到适当的处理系统。图像数据可以采用单一格式，但是图像数据可以替代性地包括一组不同的图像数据格式。图像数据可包括高分辨率视频、低分辨率视频、来自不同时间点的照片、来自固定视点的图像数据、来自致动相机的图像数据、可见光谱图像数据、红外图像数据、3D深度感测图像数据、视差、激光雷达、雷达、声纳、被动照明、主动照明和/或任何合适类型的图像数据。

虽然，该方法可以与各种成像系统一起使用，并且采集图像数据可以另外包括从一组成像设备采集图像数据，其中，每个子组是在一组配置中的至少一个中的采集成像设备。成像设备配置可以包括：库存储存捕获配置、交互捕获配置、对象标识捕获配置、可移动配置、混合配置和/或任何合适的其他类型的配置。虽然，成像设备可以主要设置用于一种或多种配置，但是成像设备可以用于任何合适的目的。

从采用库存储存捕获配置的成像设备采集数据起作用以采集指向位于标称库存储存位置处的图像数据。例如，采用库存储存配置的专用相机可以指向储存货架。库存储存配置可能尤其适合于监控储存对象的变化。

从采用交互捕获配置的成像设备采集数据起作用以检测对象之间交互(比如购物者与货架或容器之间的交互)的性质。在一个变型中，可以沿着交互平面来引导成像设备。例如，相机可以沿着过道向下捕获视频，以便检测购物者对象何时已经与货架上的物品进行了物理交互。在一些情况下，可以组合使用多个成像设备。例如，沿着过道向下指向的成像设备可以检测购物者何时穿过限定的货架交互平面，而采用库存储存捕获配置的成像设备可以用于确定沿着过道的位置。交互捕获配置可以被尤其配置为检测一种或多种类型的交互事件的发生。

从采用对象标识捕获配置的成像设备采集数据起作用以选定位于特定位置中的对象标识作为目标。对象标识捕获配置可以包括被引导以便在特定检查区中标识产品的更高分辨率的相机。有限数量个对象标识捕获配置可以解析EOG中的不确定性。具体地，它们可用于解析购物者对象。在使用购物车的商店中，对象标识捕获配置可包括向下指向在下方通过的购物车的相机。购物车内的对象可以更容易地被标识为特定产品物品。这种标识配置可以定位于关键位置，比如高人流量区域、商店出口附近，过道的末端、或其他合适的位置。在一个变型中，可以致动对象标识成像设备以便跟踪或瞄准特定对象。对象标识捕获配置可以另外或替代性地用在结账或POS配置变型中。结账变型起作用以采集对象信息以在结账过程期间进行标识。采用结账配置的相机可以被尤其配置为当物品被放在传送带上或者摆放好供工作人员进行检查时捕获物品。

从采用可移动捕获配置的成像设备采集数据起作用以从各种位置(可能包括动态焦点)生成图像数据。可移动成像设备可以安装到机器人上或由工作人员移动。要注意的是，在这种情况下，可移动机器人可以是能够在环境内水平地或竖直地平移、或者仅能够从固定位置处上下移位、倾斜或缩放的机器人。具有能够移动穿过环境的可移动配置的成像设备经常利用成像设备的跟踪位置。在一个变型中，可移动成像设备可以包括主动定位系统，该主动定位系统使用成像设备与用于确定位置的远程元件(比如精确GPS系统、RF三角测量或其他合适的技术)之间的通信。在另一个变型中，该方法可以包括通过图像数据来跟踪可移动成像设备穿过环境。可见信标可以呈现在成像设备上，以促进标识和跟踪可移动成像设备。

采用可移动配置的成像设备可用于解析并可能减少不确定性。例如，如果商店的一个特定区域的库存EOG是未知的，或者具有低水平确定性，那么工作人员可以采用可移动的成像设备(例如，校准工具)来采集用于解析不确定性目的的附加图像数据。更一般地，工作人员可以配备有可移动图像设备，使得随着他们在环境中四处移动，可以采集到可改善准确性的图像数据。EOG可以优选地通过使用一个或多个可移动成像设备来利用目标图像捕获来增大库存表示的确定性。

应当注意的是，任何单独的相机或传感器一次可以是多于一种配置的一部分，并且每种配置可以用于多于一个目的。

采集图像数据可以另外包括校准成像系统。在一个变型中，校准可以包括检测图像数据中的信令点并将信令点在现实世界中的位置与其在EOG表示中的位置相关联，因为它是从一个或多个图像源构建的。信号点可以是：从比如灯泡、LED或智能电话等定位设备发出的光；或自然场景的一个或多个特征。

维护EOG

框S200(其包括根据图像数据维护EOG)起作用以生成、执行和更新针对环境中的对象的概率数据模型。如所讨论的，EOG是跨该环境在空间和时间上对已分类对象的数据表示。另外，EOG中的所建模对象实例可以具有对象分类、位置、时间戳、和/或比如SKU或产品关联属性的其他属性。EOG可以另外被表征为至少具有：具有概率对象关联的对象实例的子组，其中那些关联可以是在时间和空间上在不同对象实例之间。

管理EOG可以包括迭代地处理图像数据和应用各种EOG过程。EOG可以使用其自适应核算方式来利用各种基于图像的检测技术。各种计算机视觉和信号处理方式可用于根据图像数据维护元数据。然后可以在EOG处理引擎内处理图像数据以更新对物理世界的EOG模型表示。维护EOG可用于构建库存物品和环境中的其他对象的概率帐户。可以肯定地标识一些对象，同时可以以变化的确定性水平来考虑其他对象。

除了使用图像数据之外，维护EOG还可以利用其他对象和环境数据输入，比如内向/外向产品订单、逐物品POS结账报告、手动库存输入、产品参考数据库、环境货架图或图、个人购物模式、个人购物清单或愿望清单、人口统计模式和/或其他对象输入，如图12中所示。

管理EOG系统优选地包括迭代地进行以下各项：根据图像数据对对象进行分类S210；跟踪环境中的对象位置S220；检测交互事件S230；和/或更新EOG S240，该更新优选地包括跨对象实例的关联来传播对象实例的变化。

框S210、S220和S230可以串行或并行地组合使用。在一个变型中，框S200可以主要基于交互事件来执行，其中，采用了框S210、S230和S240。在另一个变型中，可以使用框分类和跟踪，其中，采用了框S210、S220和S240。

处理输入可以建立基础对象建模，该基础对象建模可以利用复合对象建模、概率多状态建模、以及如图13中所示的常规对象建模。然后，框S240可以在通过经由EOG传播更新后对象模型数据来改进EOG时利用基础对象建模。当某些交互事件更改了对象状态时，可以使用复合对象建模，其中可以对对象变换进行建模。在其他实例或实施方式中，框S210中的对象分类和S220中的跟踪对象可以用于建立各种观察对象路径，这些观察对象路径在框S240中可以通过经由该模型的概率推理和信息传播来关联在一起。

通过框S200，EOG可用于关于对环境中的多个对象的对象状态的预期进行报告。如此，S200可以涉及基于图像数据和/或补充输入对环境中预期的多个对象进行建模的多个并行过程。这些过程可以针对来自相机的每个图像数据流来迭代地执行，但是然后另外跨来自图像捕获设备的采集的图像数据来执行。EOG通常是实时和位置知晓的，这可以使得该方法能够驱动各种应用，比如管理自动化自助结账、辅助POS结账、提供库存分析、提供盗窃检测、实现产品定位、以及其他合适的应用。

在一些变型中，该方法可以包括执行框S200的多个实例，其中，该方法包括在如图3所示的示例性商场场景中管理多个EOG，其中，第一EOG被管理用于环境的第一子区，并且第二EOG被管理用于环境的第二子区。这些子区可以是非连续的或重叠的。在一个变型中，第一子区可以完全包含第二子区。可以建立用于不同子区的任何合适数量的EOG。管理多个EOG可以在多供应商环境中使用，比如商场或市场。这些不同的EOG可以使用来自共享成像系统的图像数据进行操作，但是EOG的配置和应用可以是单独定制的。替代性地，单个EOG可以对多个区和子区进行建模，其中，对此EOG的检查可以使用空间和时间边界以及针对不同子区模拟分隔开且完全不同的EOG。

维护EOG：对对象进行分类

框S210(其包括根据图像数据对对象进行分类)起作用以进行对象检测。使用计算机视觉或其他形式的程序启发法、人工智能、机器学习、统计建模和/或其他合适的方式来对对象进行检测和分类。对象分类可以包括作为对象分类的一部分的图像分割和对象标识。对单个图像或视频流的图像数据的对象进行分类的结果输出可以是对象的潜在标签的标签或概率分布、以及此对象的区/位置属性。在图像数据的单个图像中对对象进行分类可以在各个区中产生多个对象分类。例如，如图14中所示，所呈现的具有购物者的产品货架图像可以产生针对每个可见产品、货架和购物者的分类。还如图14所示，该方法的附加特征可以另外导致EOG对从视图来看被遮挡的物品预期数量进行建模。

在对象分类中可以采用各种技术，比如“特征袋”方式、卷积神经网络(CNN)、统计机器学习或其他合适的方式。比如快速区-CNN(r-CNN)、更快的R-CNN、掩模R-CNN和/或其他神经网络变型和实施方式的神经网络或CNNS可以被执行为计算机视觉驱动对象分类过程。

图像特征提取和分类是一种附加或替代性方式，其可以使用诸如视觉词、特征分类星座图和词袋分类过程之类的过程。这些和其他分类技术可以包括使用尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、各种特征提取技术级联分类器、朴素贝叶斯、支持向量机和/或其他合适的技术。

另外，可以在考虑特定类别的对象分类时实施算法方式的多种变型。层级分类过程可用于迭代地改进分类和/或界定分类挑战以增强分类置信度和/或速度。在一个变型中，对对象进行分类可以限于或隔离于基于图像数据的变化进行更新。在一个变型中，对图像对象进行分类可以限于满足变化条件的图像数据的子区。例如，在图像的右下象限中具有购物者的产品货架的图像可能仅具有针对此右下象限内的区执行的对象分类，这可以减轻该方法对图像数据中静态的产品重新进行分类。

在一些变型中，可以通过另一个数据输入通道主动地确认或通知对象分类。例如，校准工具可以用于记录具有被确认分类(例如，SKU标识符)、位置和时间的对象。

对对象进行分类可以包括：将对象标识为一组可能对象类型之一，其中，可能对象类型至少包括SKU对象类型、复合对象类型以及人对象类型。对象分类可以是具有各种特异性水平的描述符，范围从未知对象分类到一般描述符到特定物品名称。不同的分类可以与比如SKU对象的SKU属性、顾客对象的用户帐户和/或工作人员对象的工作人员简档等附加分类属性相关联。例如，一个物品可以被分类为盒子，但是也可以被分类为具有关联产品SKU的特定谷物产品。通常，对象分类过程将生成具有不同水平的置信度水平的一组对象分类可能性。

在复合对象建模方式中，EOG可以将对象建模为具有一定概率包含零个、一个或多个其他对象。可以使用分类来在复合对象建模期间生成对象组成预测。应用复合对象建模优选地包括对EOG中的至少两个对象之间的层级式关联进行实例化，其中，一个对象实例被设置为概率性地具有与至少一个对象的关联。如果这是第一分类，则复合对象建模可以是基于统计模型的发起过程，这些统计模型可以基于对象分类、对象位置、时间和/或其他因素或因素组合。复合对象建模可以促进对象计数估计和/或对象的关联变化(例如，通过父对象的移动来跟踪无法观察的子对象)。在一些变型中，可以针对新发生了已经被观察到通常包含特定对象的对象来生成对象组成预测。例如，被分类为用于运送肥皂块的盒子的对象被给予非常高的包含肥皂块的标准装运的可能性。替代性地，可以基于在其中检测到对象的背景来动态地创建对象的组成预测。在一个示例中，可以检测未知盒子并将其分类为未知盒子，但是因为它是在特定区中检测到的，所以可以利用此区中的盒子中通常发现的对象来设置对象组成。在另一个示例中，可以检测未知的货物盒子并且其以低概率被最初怀疑为包含的一组不同对象。然而，随着在盒子上采集到更多信息，可以通过框S220、S230和S240来改进和更新分类。

对象的分类可以另外包括分配对象属性，比如对象的大小、形状、颜色、位置和/或其他属性。对象大小可包括各种尺寸，比如长度、高度、宽度、尺寸、形状、宽高比和/或体积。形状可以是描述对象形态的属性。形状可以包括宽高比或其他度量。颜色属性可以是对物品表面的描述，并且可以包括平均颜色、颜色组、图案或纹理、反射性、各种表面变换和其他合适的表面质量。位置优选地是环境内的三维位置描述，但是替代性地可以是比如“过道3，箱1，货架2”等位置归类。位置可以关于环境的框架是相对的，或者在地球的纬度-经度-海拔框架中是绝对的。各种对象属性存储在EOG内，并可用于进行判定。例如，体积和形状可能会限制所包含对象的数量和类型。类似地，位置可能不会明确指示在检测到的对象内包含哪些对象，但是可以提供针对预期和跟踪的背景。

在一些场景中，可以将对象肯定地标识为特定物品。对象标识优选地导致利用特定SKU来对对象进行分类。可以通过包装的图像匹配、扫描计算机可读代码(例如，条形码或QR码)、标签OCR和/或任何合适的方式来进行对象的标识。记录和跟踪标识的确定性。例如，读取具有有效校验和的UPC条形码传达了非常高的标识确定性。相反，观察到一个对象是从已知主要包含14盎司零食-O盒子的货架区域中取出的传达了相当低的确定性。在这种情况下，随后的检查进入排队，并且将特别检查未来的图像，以便提高与此现在过去的事件相关联的确定性。

在其他场景中，对象可以是人、动物或其他不可分割的元素。可以通过比如面部识别、步态识别、服装识别、关联设备识别(检测用户的电话)或一般对象标识等各种技术来标识人和动物。可以另外使用人的标识来标识与人身份相关联的用户帐户。

当真实世界物品的图像数据被部分或完全遮挡时，EOG系统可以另外适用于得出关于这些真实世界物品的结论。在一种场景中，物理世界中的放置在不可视区域中的对象虽然如此仍然可以通过其在EOG内的逻辑表示来跟踪。在让·皮亚杰(Jean Piaget)所理解的意义上，EOG维护对象的持久性，并非由大多数现有的计算机视觉系统完成。此外，多个对象状态的建模可以使得在不同事件期间能够维护和跟踪多个可能的、未观察到的对象状态，使得可以对它们进行解析以便以更高的置信度与附加的观察数据来对其进行建模。

在另一种场景中，环境的各个区被视为EOG中的对象，因为环境区“包含”如所建模的复合对象等对象。环境入口、环境出口、不受监控的房间、环境的不受监控的区可以被视为对象。例如，在该浴室门处具有接入点的浴室可以是被配置的对象。与浴室门进行交互(例如，进入和离开)的对象可能会导致此浴室对象的内容发生变化。

如图13中所示，对对象进行分类并且更一般地管理EOG可以包括检索在对对象进行分类时使用的补充输入S212。对象的分类可以至少部分地基于补充输入。可以从一组购买模式、顾客购买历史、产品定价、库存数据(例如，发货单、库存图/货架图等)、环境数据模式、购买交易数据和/或其他来源中选择补充输入。然后，分类可以至少部分地基于这些补充输入。例如，当基于CV的分类置信度水平类似时，基于商店购物历史的产品流行度可用于使特定分类优先于其他分类。框S212可以直接用于分类，但是可以另外或替代性地用于解析来自EOG的结论，比如确定虚拟购物车清单。

如图12中所示，对对象进行分类可以包括在分类处理期间通过迭代地扩展分类范围来对对象进行分类S214。迭代地扩展分类范围可以包括：设置分类范围、在分类范围内生成分类、以及如果所生成的分类不满足分类条件(例如，如果结果具有低于阈值的置信度水平)则尝试利用更新后的分类范围来进行分类。在实施方式中，框S214可以涉及：通过第一组候选对象的初始分类模型来对对象进行分类；以及如果通过该初始分类模型对该对象的分类不满足分类条件，则在通过第二组候选对象的至少第二扩展分类模型来对该对象进行分类。

分类范围优选地表征分类过程的有限的一组候选对象。在一个示例中，这可以是在有限的一组对象上训练的CNN。可以使用不同的分类范围来训练和更新多个CNN模型，使得可以基于所期望的分类范围来选择性地采用该多个CNN模型。可以通过各种技术来确定或者通过学习来算法地确定分类范围。

在一个变型中，分类范围可以基于特定对象分类到某个区的预期空间接近度来扩展。这可能包括在特定区中可观察到的预期SKU对象。可以迭代地扩展此空间接近度，目的是最终确定具有令人满意的置信度水平的分类。在空间地扩展分类范围的一个示例中，分类范围的进展如下：货架的对象、相邻货架上的对象、过道上的对象、商店区中的对象、商店中的对象。

在另一个变型中，分类范围可以基于数据驱动模式扩展。例如，客户购物清单和/或愿望清单、顾客购物模式、各种人口统计购物模式和商店范围购物模式可用于定义分类范围。所利用的分类范围可以包括空间限定的分类范围、数据驱动的分类范围和/或其他合适的分类范围的不同组合。例如，初始分类范围可以包括所存储的顾客购物清单以及预期的上架产品，并且随后的回退分类范围可以包括在商店中出售的上百种最受欢迎的产品以及预期储存在此过道上的产品。

另外，维护EOG可以包括更新对象的成像表示。随着时间的推移，可以使用新的并且不停发展的包装、以及其他视觉变化来改善对象标识。偶尔，具有相同SKU的一组功能相同的物品可能具有不同的视觉外观。例如，一些物品具有不同的颜色，同时共享一个UPC代码。另外，包装可能会周期性地变化。例如，谷物品牌通常会变化其包装的视觉外观同时维护共同的SKU、UPC和价格。与管理系统、结账处理系统或产品参考数据库的集成可以促进对不停发展的对象表示进行分类。

与对对象进行分类相关联地，该方法可以包括在EOG中存储相应的对象实例。该对象实例是与所观察到或预测到的对象相关联的数据模型记录。该对象实例可以存储在数据库或任何合适的数据存储解决方案中。对象实例可以是表征对象分类、观察时间和观察位置的数据记录。对象实例的位置可以推广到分类所源自的图像捕获设备，但是可以更具体地包括图像数据内的坐标和/或环境内的三维坐标。

对象实例可以建立基础对象建模。复合对象建模和概率多状态建模可以另外是对象实例的被表征属性。对象分类可以在对复合对象或多状态属性进行直接建模时应用概率推理。框S220的对象跟踪和框S230的交互事件检测可以替代性地或另外有助于复合或多状态建模。

可以通过系统的数据建模另外添加或建立附加的对象属性和/或关联。例如，当被分类为特定SKU对象时，可以建立与SKU属性的关联。在另一个变型中，对象实例可以与媒体参考相关联，使得可以进行原始媒体的再处理。在另一个变型中，可以建立与其他对象观察的关联。例如，可以使用在时间上跟踪对象来建立被反映为关联的对象实例序列的对象路径。本文中描述的更高水平的EOG建模可以用于更新观察记录。替代性地，更高水平的EOG可以使用观察记录作为原始数据层，在该原始数据层上可以建立更高级别的建模。

维护EOG：跟踪对象

框S220(其包括跟踪环境中的对象)起作用以在建立对象路径时监控对象的位置。跟踪对象可以包括在来自单个图像捕获设备的图像数据内跟踪对象，但更优选地跨来自多个图像捕获设备的图像数据跟踪对象。跟踪对象可以另外用于跨图像捕获设备标识和关联对象。

跟踪对象可以包括应用基于CV的对象跟踪技术，像光流、算法目标锁定和目标重新获取、数据驱动推断、启发式过程和/或其他合适的对象跟踪方式。基于CV的对象跟踪和算法锁定优选地对图像数据进行运算以确定对象的转换。当在近时间和空间接近度时，数据驱动的推断可以将对象与匹配或类似的数据特征相关联。“近”时间和空间接近度可以被表征为在大约相同时间上在类似位置中被识别，比如在一到五英尺和一秒内识别的两个对象。时间和空间接近度条件可以取决于各种因素，并且可以针对不同的环境和/或物品进行调整。近时间和空间接近度中的对象可以是在来自图像数据的相邻实例(例如，前一视频帧或先前捕获的静止图像)或来自相邻实例的窗口的图像数据中观察到的对象。在一个变型中，相邻实例的窗口可以通过比如最后N个媒体实例(例如，最后10个视频或静止帧)等样本计数来进行表征。在另一个变型中，相邻实例的窗口可以通过比如最后一秒中的媒体实例等时间窗口来进行表征。

跟踪对象优选地伴随着在对象路径中建立对象实例关联。在一个变型中，对象实例可以是支持各种路径属性的数据模型建构。替代性地，对象路径可以是可与对象路径相关联的数据模型建构。因此，跟踪对象优选地包括建构对象路径，其中对象路径在时间和空间上建立对象的连续路径。对象路径可以包括静止路径或路径分段，以考虑对象像货架上的产品一样的静止的。在某种情况下，可以阻止对象的连续观察，并且对象路径将终止。对象路径的终点优选地包括出现点和消失点。

对象路径的终止可以调用对多个对象状态的复合对象建模和/或概率建模，以便对该对象与在对象路径的终止点处的对象相关联的可能性进行建模。跟踪对象可以包括：在检测到对象的对象路径的终止点之后，应用复合对象建模和/或应用多状态建模。在一些变型中，检测交互事件可以补充或替换解决对象路径的终止点的角色。

应用复合对象建模优选地包括对EOG中的至少两个对象之间的层级式关联进行实例化，其中，一个对象实例被设置为概率性地具有与至少一个对象的关联。一个对象优选地是被概率性地建模为拥有或包含子对象的父对象。例如，如果第一路径被第二对象路径隐藏，则应用复合对象建模可以将第一对象路径与第二对象路径相关联。以此方式，可以通过跟踪第二对象来间接地跟踪第一对象。如图15A的示例性场景所示，可以沿对象路径跟踪对象A，但是当此对象路径终止时，可以将其建模为由对象B包含。如果在t＝20标记处对象A出现在对象B附近，则此对象路径可以与在t＝1时的同一对象A相关联。

应用多状态建模优选地包括：对EOG中的对象实例的至少两个概率性可能状态进行实例化。应用多状态建模可以使得能够在终止点处考虑多个可能的对象路径。多状态建模可以与复合建模结合使用，在该复合建模中，概率状态中的一个或多个可以是与另一个对象的层级式关联。如图15B的示例性场景所示，当对象A的对象路径终止时，对象A可以被建模为概率性地包含在三个对象(B、C和D)之一中。作为示例，产品可以具有第一对象状态或第二对象状态：该第一对象状态被建模为该对象被进一步推入货架到其无法被观察的位置，该第二对象状态被建模为产品已经由购物者拿起并携带。可以对这两个对象状态进行建模，直到采集到附加信息以更好地告知这两个状态中哪一个是准确的。附加信息可以用于确认这些可能状态之一或者用于反事实地消除这些可能状态之一。

在许多场景中，对象路径不涉及对象的统一一致建模。在框S210中为对象实例生成的对象分类和关联置信度水平可以针对与对象路径相关联的对象实例而变化。框S220与框S240的结合的变型可以包括跨对象路径传播对象更新，这起作用以纵向地处理被跟踪对象的对象信息，该信息可以用于更新对象分类以补充或辅助EOG的对象分类能力。

在一些实例中，这可以包括具有更大特异性的加权分类。例如，利用其中65％的时间该对象被分类为一般盒子、35％的时间该对象被分类为特定早餐谷物产品的对象路径，对象分类跨该对象路径的传播将更新该对象为被视为沿此路径的早餐谷物产品。沿对象路径的这种分类传播可以对对象分类问题进行退火。如图16中所示，对象路径最初可以被建模为被分类为“盒子”的对象的路径，在稍后的点上，更新后对象分类可以更具体地以更高置信度将对象进行分类为ACME谷物。第二分类可以导致跨对象路径关联传播更新后对象状态信息，使得将更早的对象实例建模为ACME谷物物品。

该方法可潜在地解决当对象处于运动中时分类失败的潜在挑战。然而，可以在对象运动期间维护对象跟踪，这可以使得置信对象分类能够传播到对象移动的时段。在一个实例中，当早餐谷物产品搁置在货架上时，其被有置信度地如此分类。当购物者选择产品并将其添加到他们的购物袋时，图像数据可以捕获产品的被遮挡图像和/或模糊图像，这可能导致低置信度分类。然而，对该对象的对象跟踪可以使得能够将在货架上时的高置信度分类应用于该被跟踪对象。然后，当在袋子中对对象的查看被遮挡时，复合对象建模可以将该袋子模拟为包含该产品。

维护EOG：检测对象

框S230(其包括检测交互事件)起作用以标识和表征具有至少一个对象的变化的性质。交互事件可以是在图像数据中观察到的可检测变化。优选地，交互事件可以用于应用复合对象建模和多状态建模。交互事件可以另外包括触发框S240的更新EOG，该更新可以包括传播新的对象状态信息，使得来自交互事件的结论可以在EOG上纵向使用。

交互事件优选地提供具有低复杂度的检测方式，使得该方法不取决于易错且专用的检测算法。优选地，检测交互事件可以包括通过检测以下各项中的一个或多个来检测交互事件：比如对象接近事件等一组交互事件类型(例如，检测对象到对象接触或接近度改变)和/或复合对象变换(例如，检测对象出现、对象消失、对象分类变化等)。取决于所涉及的对象，可以另外使用这种交互事件的不同变型。可以另外使用针对专用和自定义交互事件类型的过程，比如人到对象接触、对象插入购物车/袋子、或其他事件类型。可以取决于不同的运算目的调整交互事件条件。在一个变型中，可以动态地调整灵敏度。例如，机器学习和/或手动调整可以应用于调整交互事件的配置属性。

交互事件可以是一个或多个对象的交互，其中在其环境中存在对对象的概率变换。交互事件可以与复合对象变换相关联。交互事件可以涉及在一组对象之间的任一方向或两个方向上的转移，并且交互事件可以涉及一个对象由另一个对象向内或向外的累增。另外，变换可能涉及已标识对象或未标识对象。作为又另一个变量，变换的方向和/或发生可以概率性地被表征。在一个示例中，对象的交换可以是在两个或更多个已分类对象之间，比如购物者对象和物品货架对象。在另一个示例中，一个复合对象可以产生另一个对象，比如，如果对象从容器中掉出来。在另一个示例中，可以检测到交互事件，但是此时变换的性质可能是未知的。可以采用对多个对象状态的建模来考虑交互事件的不同可能结果。

如在分类和跟踪中那样，应用复合对象建模优选地包括对EOG中的至少两个对象之间的层级式关联进行实例化，其中，一个对象实例被设置为概率性地具有与至少一个对象的关联。交互事件的各种因素可用于确定对象的交互如何导致对层级式关联的改变。另外，在更新EOG时，可以更新先前的对象实例以反映产生了该交互事件的复合对象建模。例如，如果交互事件检测到从父对象中生成的子对象，则可以在前一实例处更新此父对象实例为已经包含了该子对象。

如在分类和跟踪时那样，应用多状态建模优选地包括：对EOG中的对象实例的至少两个概率性可能状态进行实例化。应用多状态建模可以使得能够在EOG中考虑和维护该交互事件的多个可能结果。多状态建模可以与复合建模结合使用，在该复合建模中，概率状态中的一个或多个可以是与另一个对象的层级式关联。例如，当由购物者和产品触发接近度交互事件时，那么该产品实例可以以第一概率被建模为处于如已经被推回到货架中的对象状态，并且以第二概率被建模为处于如由购物者拥有的对象状态。可以对这两个对象状态进行建模，直到采集到附加信息以更好地告知这两个状态中哪一个是准确的。附加信息可以用于确认这些可能状态之一或者用于反事实地消除这些可能状态之一。

可以知道交互事件的结果，其中，在视觉上观察到交互的性质。例如，可以肯定地观察到产品进入购物车。可以利用购物车包含该产品的高度确定性来更新该EOG。在其他场景中，对交互事件的了解可能是概率性的，其中，交互的性质未被完全观察或分类。例如，购物者手伸入货架并与物品进行交互可以第一概率被视为将物品从货架转移到购物者、以第二概率被视为购物者将物品转移到货架、并且以第三概率被视为购物者移除不同的对象。有时，交互事件的检测与其了解并不一致。在这些情况下，随后对货架和购物者的检查可以提供关于哪些对象被转移以及在哪个方向上被转移的最佳信息。当可获得更高质量的信息时，可以更新EOG以更好地表示原始交互事件。

对象接近事件是由两个或更多个对象的接近度的增加或变化引起的。具体地，检测对象接近事件可以包括检测到第一分类的第一对象与第二分类的至少第二对象的接近度满足接近度阈值。例如，人对象来到在SKU对象的特定距离(例如，小于比如两英尺的臂宽度)内可以触发对象接近事件，因为可能存在该人与对象进行了交互的可能性。

对象接近事件中涉及的对象的数量、分类和/或状态可以是用于检测对象接近事件的条件中的因素。例如，取决于对象分类，可以使用不同的接近度阈值。更具体地，不同的产品对象可能对与购物者的接近事件具有不同的灵敏度，这可能受到产品流行度、购物者购买历史、产品价格或其他补充输入的影响。

另外，对象接近事件可以具有关联的接近度幅度，其中，可以通过该接近度幅度来增强对交互事件的建模。接近度幅度可以是距离估计或接近度分类。接近时间可以另外确定或是接近度幅度的因素。降低接近度的接近度分类的示例可以包括“接触”、“近接触”和“极为接近”。优选地，将较低的重要性或加权应用于具有较低接近度幅度的建模。例如，通常以比对象来到一般接近度内更高的重要性来对对象到对象的接触进行建模。

在替代性变型中，接近度条件可以用于离散交互或用于连续交互。具体地对于离散交互，人对象与储存对象的接近将触发交互事件。当购物者接触或来到货架附近时，会发生交互事件。例如，购物者被观察到将手伸入到货架可能会导致更可能预测到对对象进行选择的交互事件。然而，被观察到仅仅是在货架附近的购物者可能是任何对象交换的、具有低概率的交互事件。对于连续交互概率，在两个对象之间发生交互事件的可能性可以基于接近度和时间。如图9所示，购物者通过商店的路径可以更改与商店内所有对象交互的可能性，其中，沿着路径的对象具有更高的在交互事件中被涉及的概率，不沿路径的对象被分配较小的在交互事件中被涉及的概率(或零概率)。

如图17A的示例性场景所示，购物者可以接近货架。对象A的遮挡可以触发交互事件，该交互事件将对象A更新为可能在货架中或由购物者选择。如果购物者离开，那么此交互事件与较早前对象A的消失相结合增大了对象A由购物者选择的概率。在图17B的对比场景中，当购物者离开时，可以对对象A进行分类，并且可以减小或消除对象A由购物者选择的可能性。如图18中的示例性观察的序列所示，交互事件和建模不限于两个对象。

可以另外通过检测对象的变化来触发检测交互事件。例如，如果采用库存储存配置的图像捕获设备检测到货架上的对象布局的变化，则先前交互事件的概率被提升。如果购物者在附近，即使购物者未被肯定地观察到与货架接触过，此购物者也可能被分配从此货架上选择了对象的高可能性。更具体地，对象的变化可以涉及复合对象变换的某种形式，其中，检测对象变换可以包括检测对象出现事件、对象消失事件和/或对象分类突变事件。

对象出现事件和对象消失事件的变型可包括：检测新对象、对象的遮挡或消失、对象从第二对象中明显显露出、对象由第二对象明显隐藏、将对象明显分割为多个对象、以及将多个对象明显合并为复合对象。另外，更改后对象或被破坏的对象可以是对象出现事件的形式。受影响的对象是那些受到外部实体影响的对象。例如，顾客咬过的苹果将经历从苹果转变为受损苹果的对象交互事件。在一个变型中，更改后对象可以是一种对象分类的类型，并且可以在对象分类过程内解决。涉及将将对象变换为更改后对象的交互可以用于向工作人员发出警报、将该物品添加到购物者的结账清单而不管对象选择如何，或者可以用于任何合适的方式。

分类突变事件可以涉及对象分类在不同时间实例之间变化。可以结合对象跟踪来检测这种分类突变，以区分两个不同对象的出现/消失以及单个对象的对象分类的变化。

检测交互事件可以另外包括记录交互事件，使得可以响应于更新后对象实例信息来检查交互链。EOG数据系统优选地用历史记录或对象关系和交互来更新。在一个示例性场景中，第一交互事件被记录为购物者从包含产品A和B的货架中选择产品A，并且稍后第二交互事件被记录为购物者将产品A放回到第二货架上。如果在第二货架上作出了对产品B的肯定标识，则可以在框S230中通过交互事件日志更新EOG，使得第二交互事件是购物者在第二货架上放置产品B，并且第一交互事件被更新为购物者选择产品B。

作为示例性场景，在生成对象状态的表示时，结合检测交互事件跟踪对象位置(例如，运动路径)可以使用复合对象建模和概率多状态建模。在图19A中，可以通过多个交互事件来对对象A进行建模，该多个交互事件中的一些交互事件并未可见包括该对象。多状态建模可以用于维护对象A的可能对象状态的某一表示，并且当对象A的更新后分类最终发生时，更新后对象状态可以用于将这两种可能状态解析为一种可能状态，如图19B中所示。

维护EOG：更新EOG

框S240(其包括更新EOG)起作用以修改对象的数据表示和/或输入的处理，并且更好地反映环境中的物品的状态。更新EOG可以包括通过EOG传播至少一个对象的对象状态。这可以导致更新关联EOG表示，其中，在EOG数据系统中修改一个或多个数据库记录。更新EOG可以另外或替代性地包括更新EOG处理引擎210，其起作用以动态地修改如何处理数据并将其转换为EOG模型。

通常，更新EOG导致对关联对象的概率了解的更新链，其中，框S240可以包括通过EOG中的关联跨EOG更新后对象状态中的对象关联传播至少一个对象实例的变化S242。对象实例的变化优选地是更新后对象状态数据，其可以包括分类、位置、复合对象建模、多状态建模、对象创建或删除和/或其他更新后对象信息的变化。例如，在一个瞬间肯定地标识对象可以更改对先前交互事件的概率了解，这也可以更改对其他关联交互事件的概率了解。类似地，补充输入数据可以跨EOG传播。

EOG的关联可以包括从某种程度上通过对象跟踪、交互事件或对象分类和其他模式的数据驱动推断以某种方式链接的对象实例的关联。复合对象建模、多状态建模、对象路径优选地是可以表征这些关联的EOG建模建构。

传播对象实例的变化可以包括利用更新后对象状态信息来纵向更新关联对象，其起作用以在时间上向后和向前传播更新。传播更新后对象状态可以导致更新关联对象的分类、更新多状态建模和桥接对象路径。在一个变型中，关联是与对象路径的对象实例关联，使得可以利用关于该路径的对象的新信息来更新与此路径相关联的对象实例。在另一个变型中，关联可以是复合对象建模中的层级式关联。在另一个变型中，关联可以是基于空间和时间接近度关联。

在一个变型中，更新后对象状态是更新后对象分类，其可以导致在其他空间和时间实例处更新对象的分类。分类可以是利用不同置信度水平进行的分类。可以使用具有更高置信度的分类来更新对象建模以增强其他对象实例的置信度(例如，增加对象实例的分类和/或提高置信度)，如图33中所示。类似地，多个分类实例可以强化分类，从而使得置信度可以被增大到超过单个分类实例的置信度。替代性分类可以通过提供更具体的分类或者通过质疑先前的分类来增强对对象进行分类的方式。更新后对象状态的影响可以另外通过图像捕获设备优先级来加权。例如，采用POS捕获配置的或来自校准工具的图像捕获设备可以被授予更高的优先级。分类可以类似地导致降低另一个对象实例的分类置信度，如图34中所示，并且在一些情况下使对象分类发生变化。

在一个变型中，更新后对象状态可以包括更改复合对象关联，其可以更改可以导致父子对象关联变化的层级式关联。在某些情况下，这可以移除此实例的层级式关联。

更新多状态建模起作用以更改多状态建模以更好地反映预期。优选地，对象实例的更新后对象状态数据最终可以传播到多个潜在状态的关联分支，并且更新后对象状态数据可以用于将建模减少到单个状态和/或改进多个潜在状态的概率建模。改进对多个潜在状态的概率建模可以包括改变概率和/或改变一组潜在状态(减少、增加或以其他方式改变潜在对象状态)。例如，特定对象可以被建模为可能在货架上被遮挡或者可能在购物者的购物车中。如果稍后在购物车中观察到该产品并对其进行分类，则可以将推车的运动路径追溯到货架上的点，并且该对象在货架上被遮挡的潜在状态可以被消除。

桥接对象路径起作用以在不同对象路径之间建立关联。在跟踪对象时通常会存在间隙或孔。桥接对象路径优选地包括标识具有基本上类似的对象属性的对象路径。桥接对象路径最初可以在近时间和空间接近度内查询对象路径，然后扩展此搜索。桥接对象路径可以标识来自较早或较晚实例的对象路径。当对象由多个图像捕获设备跟踪时，桥接对象路径可以另外桥接具有重叠时间实例的对象路径。

更新后对象状态的传播可以导致级联模型更新。作为示例，具有高置信度的对象的分类可以更改对象沿其整个路径的分类。此变化可以更改此对象路径与被预测为同一对象的另一个对象路径的关联。然后，这可以在与新关联的对象路径相关联的点处更改复合对象和/或多状态建模。

响应于由在框S210中的对象分类、框S220中的交互事件检测和/或框S230中的对象跟踪变化通知的基础对象建模之一，可以发起更新EOG。交互事件通常将包括与对象的新的或更新后分类信息相关的事件，并且可以处理所建模对象路径以对不同对象路径进行桥接或退火。

在另一个变型中，响应于对象的变化而发起更新EOG系统，该变化可以包括对象分类(例如，对象类型、对象标识、对象属性等)和/或对象关系(例如，父/子对象关系)的变化。例如，表示大小的变化可能来自附加的视觉信息。大小的变化可能会改变子对象可以占用的可用体积。在另一个变型中，对象的变化是检测对象变换，其包括显露对象的内容、由另一个对象隐藏对象、将对象分割成多于一个对象、将一组对象合并在一起，对象出现、和对象消失。在这种变型中，传播更新后对象状态可以包括：更新先前对象实例为拥有此对象、更新当前对象实例为已隐藏了对象、将先前对象实例更新为一组已合并的对象、将当前对象实例更新为合并对象等。

在另一个变型中，更新EOG系统可以另外包括将补充输入结合为解析事件的形式。解析事件通常会添加环境内的对象周围的背景信息。此类解析事件可以与可以访问库存度量或其他对象信息的其他对象输入相关。例如，协调库存的订购和存货的外部库存管理系统可以提供关于环境中的附加库存物品的预期输入的背景。在一种情况下，工作人员可以在存储在后院或店面中之前扫描所接收的货物。在另一个示例中，销售点系统可以提供关于预期将离开商店的库存物品的数据。在另一个示例中，周期性库存事件可能发生在工作人员手动清点库存的情况下。此类解析事件可用于更新EOG中的对象。

在一个变型中，该方法可以另外包括使对对象的观察优先，其起作用以更改针对特定对象的图像数据采集和/或EOG处理。可以特别小心地监控满足特定条件的对象。优选地，当对象的标识和/或内容的确定性低于阈值时，更仔细地跟踪对象。在一个实例中，可以更新图像数据的采集以增大对象的分类的确定性。在一个实例中，采用可移动捕获配置的成像设备可以提供用于标识产品的数据。在另一个实例中，可以派遣工作人员来采集用于增大确定性的数据。

优选地，迭代地进行该方法，使得重复更新和改进EOG。在环境内发起使用EOG系统时，该方法可以包括在训练模式期间管理EOG系统。当在训练模式下管理EOG系统时，该方法可以与一个或多个外部库存输入系统(比如结账处理系统或物品订购系统)一起进行。EOG系统可以基于来自外部库存输入系统的训练输入来运行和校准其操作。当EOG系统的性能令人满意时，该方法可以转变为以基本上独立的模式使用EOG系统，通过使用外部库存输入仍然可以部分用于EOG系统。

在另一个变型中，维护EOG可以另外包括至少部分地重置EOG，其可以起作用以降低EOG建模复杂性。重置EOG可以包括丢弃EOG的低概率方面。例如，可以消除、减少或以以其他方式简化具有低概率多个状态的对象状态建模和/或复合对象建模。在维护EOG时，重置EOG可以连续地发生。替代性地，它可以周期性地发生。例如，EOG可能每天在营业时间之间重置。

在图20中所示的一个示例性场景中，运输板条箱可以是具有未知组成的检测对象。在所移除对象的交互事件并将此对象肯定分类为单个饼干盒之后，可以利用运输板条箱先前已经装满了一定数量的饼干盒的知识来更新EOG。在当前状态下，EOG中的板条箱对象将被更新为之前已装满了饼干盒，现在少了一个饼干盒。估计运输板条箱的装满状态可以使用运输板条箱和饼干盒的体积和尺寸，以便猜测适于运输板条箱内的饼干盒的数量。此时，由于肯定分类，人所拥有的饼干盒被以高置信度进行分类，并且运输板条箱可以被以中等置信度水平建模为包含一定数量的饼干盒。中等置信度水平优选地是中等的(例如，不是零也不是像10％-60％这样的高水平)，因为建模是用于得出结论的软推断的结果。如果在稍后的点处，将第二个对象移除并分类为不同的零食盒，则EOG将再次更新。这次，运输板条箱可以被确定为最初一半盒子体积填满有零食盒而另一半用于饼干盒，但是运输板条箱的内容的置信度水平可能会更低。相反，如果从运输板条箱中移开的第二个对象是与第一个相同的另一个饼干盒，并且体积计算匹配，那么运输板条箱包含了所估计的饼干盒数量(现在少了两个)的提醒的概率被提升。当运输板条箱最终被清空并且纸箱被丢弃时，再次检查数量。如果一切都按预期进行，则EOG系统将使用此知识在下次EOG系统遇到具有类似背景(例如，被分类为类似的运输板条箱和/或位于类似位置的板条箱)的对象时增大后续预测概率的权重。

在图21所示的另一个示例性场景中，货架可以包括三个对象，其中，只有前方一个对象可以被肯定地分类。在最好的情况下，货架对象将具有指示所包含对象的数量和类型的历史。如果不是，则可以概率性地假设被遮挡对象是货架的子对象并且与前方对象相同。然而，如果移开前方对象并且先前被遮挡的对象与原始预测分类不同，则这可能会导致重新评估关于其他被遮挡对象的假设。如图21中所示，这会影响库存核算。

检查EOG和执行

框S300(其包括检查环境对象图并执行相关联的动作)起作用以利用EOG和/或与EOG交互以影响变化。优选地检查EOG以执行某些动作。该动作可以取决于使用例而变化。检查可以包括查询、访问或以其他方式处理一个或多个对象实例的状态以及关联属性。

检查可以另外是由各种规则、条件或其他算法触发的自动检查。可以在检查期间标识与一个或多个对象有关的对象状态信息。在一些情况下，对象状态的处理可用于将EOG模型解析为更可行的格式。例如，在购物应用中检查EOG可以导致将与购物者对象拥有的对象集合相关的对象状态解析为产品清单及其价格。

在一些变型中，所执行的动作在某些应用中可以比如用于促进购物者的结账过程或者指导或管理库存以及设施的操作。在其他变型中，所执行的动作可以与关于维护和改进EOG的动作相关，比如触发校准任务、工作人员请求和/或媒体存储，其在环境中建模对象时可以具有增强计算能力的益处。

EOG促进的结账

在一个特定实施例中，该方法可以适用于至少部分自动化结账。结账实施例优选地包括通过将分类的SKU对象与购物者对象相关联来建立虚拟购物车清单(即，结账清单)。购物者对象可以是顾客/人对象、购物车对象、筐分类对象、袋子分类对象和/或购物者关联对象(例如，购物者对象、各种袋子对象、筐对象和/或购物车对象)的某种集合。

在商店中移动时，产品通常会在不同的时间和空间点被购物者添加到购物车中。接近结账区域时可能看不到这些产品。然而，当被跟踪的购物者接近时，通过标识被建模为包含在此购物者/购物车中的产品，所描述的方法可以利用复合对象建模来生成用于结账的虚拟购物车清单。作为一个特别地唯一特性，虚拟购物车的生成可以通过在空间上和时间上从结账过程中移除的图像数据来完成。如图35中所示，可以在与导致虚拟购物车清单建构的观察不同时间和空间处应用基于虚拟购物车清单的动作。替代性地，该方法可以支持微交易，其中，取决于与购物者对象相关联的对象的变化以及虚拟购物车清单的生成，每个物品被单独收费和/或退款。

在对虚拟购物车清单采取动作时，该方法可以包括检测结账区中的购物者关联对象，并且或者如图22中所示那样向购物者的帐户收费，或者如图23中所示那样利用虚拟购物车清单来增强结账处理系统。结账过程可以是产品购买事件，但是可以类似地考虑拥有用户帐户中的物品。例如，自动结账实施例可以类似地应用于库或物品租赁/借用应用中。

当用于辅助结账过程时，可以讲购物者的虚拟购物车中的预期SKU对象传送到结账处理系统(例如，结账台)。

在优选实施方式中，这可以包括在检查对象状态期间生成与购物者关联对象实例相关联的SKU/产品对象实例的结账清单，以及在执行动作时：将所述结账清单传送到接近所述购物者关联对象实例的结账处理系统。该方法可以另外包括：在结账处理系统处，为结账处理系统的待完成交易填充产品的逐物品清单和/或由结账处理系统偏移对产品输入端的选择。

优选地，基于SKU对象清单将要购买的产品的逐物品清单自动输入到结账处理系统中。在一个变型中，可以自动添加以高置信度阈值预测的对象，并且可以通过自动化附加检查或某些用户界面动作(与手动扫描入物品相反)快速确认在中等置信度阈值内的对象。在一些变型中，可以以各种方式(比如向工作人员发出警报以检查物理物品或要求工作人员手动扫描未添加的物品)处理具有低置信度的对象。该方法可用于利用结账处理系统来促进结账，该结账处理系统比如用于移动计算设备(例如，智能电话或可穿戴计算机)的以消费者为中心的应用的自助结账POS系统、和/或配备人员的POS系统。

该方法替代性地适用于全自动化自助结账过程，其中，使得购物者能够选择产品并离开商店，从而减轻购物者使用传统的结账过程或结账台。当适用于自动结账时，该方法类似地将SKU对象与购物者相关联，但是另外包括将购物者与帐户相关联并且在其离开商店时针对所拥有的SKU对象来对该账户进行收费。将购物者与账户相关联可以使用生物检测技术，比如通过面部识别来标识购物者。

在优选实施方式中，这可以包括在检查对象状态期间生成与购物者关联对象实例相关联的SKU/产品对象实例的结账清单，以及在执行动作时：访问与购物者关联对象实例相关联的帐户，并且当在结账区中检测到购物者关联对象实例时，将结账清单计入用户帐户。

将购物者与账户相关联可以替代性地包括检测该账户的设备，比如已连接设备(例如，智能电话或RFID手表)的存在。将购物者与帐户相关联替代性地包括在结账台或结账站使用信用卡、借记卡、礼品卡或支付卡。如果在购物者对象中没有检测到任何问题，则购物者可以在没有任何另外交互的情况下离开商店，并且可以通过电子或者在现场打印的方式将收据传送给他们。在又另一个变型中，将购物者与账户相关联可以涉及主动注册。例如，可以要求购物者“登入”、“登出”或进行使得帐户能够映射到他们在环境内的存在和活动的某个动作。可以使用凸点技术、NFC、QR和许多其他通道来实现这种关联。从购物者的角度来看，他们可以走进商店拿起一个或多个产品并走出去，并且他们可能会通过应用或消息媒介收到他们已经被收取一组物品的费用的通知。

自动结账实施例可以另外包括：如图24中所示，在结账处理系统之前提供当前虚拟购物车清单，其起作用以呈现当前被建模为顾客所拥有的产品的预览。可以通过与EOG系统通信的用户应用来提供当前虚拟购物车清单。如果存在错误，则购物者可以另外手动编辑虚拟购物车清单。另外，可以呈现用户界面，通过该用户界面可以接收用户输入，从而用于编辑虚拟购物车清单，然后通过S240更新EOG。

在一个变型中，在购物期间不生成虚拟购物车，而是通过采集结账区内的SKU对象在结账区内生成虚拟购物车。这种变型可以支持多个拿起物品的顾客进入结账区，并且物品的组合集合用于生成可以在单个购买交易中使用的虚拟购物车。类似地，这种方式可以灵活地处理使用袋子、购物车的组合的购物者和/或购物者亲自拿着物品的场景。从顾客的角度来看，带入结账区的产品将在结账过程期间自动添加到虚拟购物车中。

在一个变型中，如示例性图25中所示，在对虚拟购物车进行动作之前，该方法可以包括将与购物者对象相关联的对象解析为虚拟购物车清单，其起作用以将对象建模变换为符合购买条件的简化的一组产品。主要地，只有符合购买条件的对象才会被添加到虚拟购物车清单中。这可以包括选择与购物者对象相关联的SKU对象。它可以另外包括选择由在环境的购物区内的购物者对象获取的SKU对象。这可以起作用以考虑由顾客引入环境的对象。例如，如果顾客带来一罐在商店也有出售的苏打水，则这罐苏打水在进入环境期间便与顾客相关联(或者替代性的通过从钱包、袋子等产生的)并且所以不会被添加到虚拟购物车清单中。

解析与购物者对象相关联的对象可以另外包括将对象分类置信度水平、产品定价、产品利润和/或其他运算属性考虑在内。在许多买卖运营中，用户体验具有其自身的价值，并且如果出现错误或者如果在EOG对由购物者选择结账的产品具有稍低于满意的置信度水平的情况下顾客被阻止使用自动自助结账，则调整虚拟购物车但同时考虑客户满意度。

结账系统集成

如上所述，该方法可以利用与结账处理系统的集成来通过提供所生成的虚拟购物车清单来增强POS操作。如上所述的这种变型通常涉及将虚拟购物车清单传送到结账处理系统。然后，在结账处理系统处，所接收的虚拟购物车清单可用于预先填充结账处理系统中的物品清单。结账处理系统可以是工作人员驻留的POS结账台、顾客自助结账结账台、面向顾客的应用(可在顾客的计算设备上操作)、和/或用于促进结账过程的任何合适的设备。

可选地，虚拟购物车清单可以替代性地用于由结账处理系统偏移产品检测。结账处理系统可以使用图像捕获设备和对象检测，其中，预先填充或偏移的物品清单可以减少对象检测挑战。结账处理系统可以替代性地使用用户界面、条形码扫描仪和/或任何合适的输入端来添加用于结账的物品。这些输入端可以被偏移以更容易地检测所预测物品。例如，用户界面可以呈现可能的物品，并且工作人员可以快速选择它们以将其添加到购物车。

POS集成可以另外应用于更新EOG建模和/或训练。在一个变型中，可以通过以下方式来训练对象分类：在结账处理系统处采集图像数据，并且在更新EOG时应用由POS输入端(例如，条形码扫描仪)生成的产品标签作为补充输入。所采集的图像数据可用于生成EOG内的对象实例和关联，这些关联将结账处理系统处的对象与商店中的其他对象实例相关联。产品标签可以作为高置信度对象分类输入，其然后可以跨EOG传播到其他关联的对象实例。在另一个变型中，针对使用传统POS结账过程的购物者所生成的虚拟购物车可以用于训练EOG系统和/或修正与购物者相关的对象建模并通过EOG传播更新后对象状态信息。例如，可以将针对购物者生成的虚拟购物车清单与在结账处理系统处进行的交易中计费的产品的逐物品清单进行比较。可以训练EOG建模的准确性，并且可以使用错误或更新后数据来通过EOG反向传播。这可以对购物者透明地完成。

EOG促进的库存管理

在针对库存管理的实施例中，该方法可以另外包括：提供至少部分地通过EOG驱动的库存管理系统。库存管理系统可以包括与其他运营物流系统(比如货物/订单跟踪系统和结账处理系统)的集成。然而，通过与EOG集成，所提供的库存管理系统可以呈现度通过环境的对象跟踪的粒度洞察。

在一个变型中，提供库存管理系统可以包括报告库存状态，比如库存计数和/或库存位置。可以分析EOG模型以生成库存计数估计。在一些情况下，所报告的库存计数可以另外基于未知量来报告库存计数可变性范围。可以另外报告单独库存物品位置，并且可以将其用于生成库存位置图。此库存位置图可以是对环境内库存物品的实时表示。另外，可以类似地在库存报告中展现在EOG中所建模的对象关联。可以报告不同对象或容器的内容和/或可选的附加对象的容量。这些对象可以是容器或储存元件。可以使用此方法，使得环境可以了解库存容量能力。例如，提供库存管理系统可以包括分析EOG中的储存对象的所包含对象、以及报告预期储存容量。

在一个实施方式中，所提供的库存管理系统可以展现可用于定位对象或判定对象是否有存货的库存查询服务。工作人员和/或购物者可以查询针对特定物品的服务，这使用EOG系统来确定物品量的近似值以及物品的预期位置。可以显示示出了物品所在位置的图。替代性地，可以使用增强现实界面来指示物品的位置。

由于可以通过EOG以一定的粒度跟踪单独对象，因此可以跨所有库存物品监控各个度量。例如，提供库存管理系统可以包括跟踪环境内的对象的活动。对象的历史可以包括其被存储的不同位置、与其接触的不同对象、处理其的工作人员或机器，和/或与环境中的对象历史相关的其他活动。在一个特定应用中，可以将环境内对象的跟踪活动适用于报告库存物品的储存时间/货架时间。对于易腐货物，该方法可以包括将对象与过期数据相关联并跟踪库存的过期简档。当特定库存物品即将过期或特定库存物品过了过期数据并且需要被丢弃时，可以触发警报或通知。

在另一种变型中，提供库存管理系统可用于触发库存订单。在基本水平上，这可以包括在环境中的库存降至某个阈值以下时触发订单。在某些情况下，触发库存订单可以是基于内部环境活动自动化的。例如，购买历史与跟踪单独物品过期相结合可以提供对预计库存状态的增强了解。

在另一个变型中，库存管理系统可以适用于标识超出其正常位置范围并且可能丢失或错放的物品。作为示例性场景，该方法可以在肥皂通道中找到未被购买的饼干盒，并且当装满肥皂的大型运输盒子隐藏在更大的其他东西的运输盒后面时，阻止重新订购更多的肥皂。

所提供的库存管理系统可以另外用于其他替代性应用，比如引导工作人员、标识错放物品、访问特定对象的媒体流的时间线(当在处理环境中检测到物品污染时可以应用)。

EOG校准

该方法可以另外包括触发EOG校准请求，其起作用以生成和传送用于解决通过EOG系统注意到的问题的警报，如图26中所示。EOG校准事件可以优选地提示动作以解析具有低置信度对象建模的问题。在一个实施方式中，EOG的校准过程可以包括：检测EOG中的低置信度场景；传送指定该环境中至少一个区的EOG校准请求；接收来自该区的校准数据输入，以及利用该校准数据输入更新该环境对象图。

在一个示例中，生成校准请求并将其发送到工作人员或机器人设备。该请求优选地指定位置并且可能指定要校准的问题。然后，工作人员或机器人设备可以移动到指定位置并采集可用于增强建模置信度的信息。

在一个变型中，在EOG库存准确性的低置信度期间触发解析事件。当EOG中的一个或多个对象实例具有指示低置信度的数据表示时，可以检测到低置信度事件。在一个实例中，EOG可能在所存储库存的一个特定区域的状态中具有低置信度。

在这个实例中的解析事件可以涉及请求工作人员检查环境的适当区域，从而导致采集来自校准请求中标识的环境中的区的图像数据和/或库存状态数据。优选地，利用优先化置信度水平在EOG中更新和传播图像数据和/或库存状态数据。在一个变型中，工作人员可以手动输入库存状态信息，其起作用以校准EOG系统。在另一个变型中，工作人员或机器人可以通过可移动成像设备提供关于此区域的图像数据。在另一个变型中，在由购物者拥有的物品的低置信度期间触发解析事件。购物者检查可能适用于促进结账过程。在上述自动化结账实施例中，如果工作人员需要验证购物者所拥有的物品以避免不正确的账单，那么在购物者离开商店时，可能会触发解析事件。购物者检查可以替代性地或另外适用于阻止入店行窃和盗窃。

独立地或与EOG校准请求相结合，该方法可以包括在一个位置接收校准输入。校准输入可以是关于特定区中的对象状态的数据。校准输入可用于报告所确认的对象分类或标识，确认对象的计数，和/或确认对象的不存在。更新后对象状态信息优选地通过EOG传播。校准输入可以是从来自采用移动捕获配置的图像捕获设备、来自条形码或SKU输入设备的详细图像数据、用户输入的信息中采集的。校准工具可用于采集校准输入。

除了采用工作人员或可移动相机来提供环境内的更新后输入之外，校准请求可以另外用于获得对图像数据的人类分析。通过在管理EOG时检索对媒体内容的人类工作人员分析，可以选择性地使用人类工作人员来促进图像处理。检索人类分析可以包括标识用于人类分析的图像处理案例、发送分析请求和接收分析响应。然后可以以与算法结果类似的方式使用该分析。例如，人类促进的对象分类可以用于替换CV驱动分类，并且人类促进分类和交互事件描述可以用于代替那些实例的算法和数据驱动建模。可以生成冗余的人类分析请求并将其委派给不同的工作人员。另外，可以取决于不同因素将不同的图像处理案例委派给不同的工作人员。例如，可以将与验证潜在可疑行为相关的图像分析委派给管理者，同时可以将难以检测的对象的对象分类委派给初级工作人员。在一个变型中，当由购物者拥有的对象的置信度水平低于阈值并且检测到购物者接近结账区时或者当预期到潜在结账事件时，可以选择性地调用人类分析。工作人员可以优选地接收一批图像和/或视频。还可以呈现特定的查询或挑战，比如“顾客有多少谷物盒？”或“选择了什么牌子的汤”。然后，工作人员可以视觉上查看内容并提交人类促进的分析。

EOG对象规则和通知

该方法可以另外支持通知和定制动作。在一个变型中，该方法可以包括：配置具有至少一个条件以及动作的对象规则；检查EOG并检测对象规则的发生；以及触发对象规则的动作。这优选地起作用以使得EOG系统能够促进定制动作。对象规则的条件可以使用对象的属性来制定各种定制规则。条件的一些示例可以包括特定对象上的位置围栏、特定对象类型之间的接近度限制、对象朝向规则、以及对象内容规则(例如，内部允许和不允许的内容)。

在一个变型中，动作可以促进编程动作，其中，对象规则可以用于触发和控制内部或外部服务或系统。在一个变型中，动作可以是所配置的网络挂接、回调URI、脚本和/或一些预限定的动作。可以利用触发网络挂接、回调URI或脚本来传送至少部分与规则相关的对象状态信息，使得接收方服务或设备可以使用对象状态信息。

在另一个变型中，对象规则可以用于在特定时间报告数据或发送信息。这可以包括使用通知系统来向目的地发送通信。因此，该方法可以包括在满足对象条件时即发送通知。通知可以基于定制对象规则，但是可以另外在系统内预先配置。

EOG数据存储

该方法可以另外包括根据EOG存储大量媒体或元数据以实现元媒体存储。视频和未压缩数据存储可能是昂贵且资源密集的。EOG表征环境内的对象交互和对象关系，并且如此可以提供对此环境中的事件和对象状态的数据高效表示。EOG可用于补充媒体，并且在一些情况下能够实现较低分辨率的媒体存储或不存在媒体存储，因为所捕获的各个对象具有存储在EOG中的对象信息。媒体记录可以另外用于特定事件。在任何给定时间和环境内的给定位置，EOG将其对在环境内对象的内部表示中具有变化的置信度水平。可以基于与媒体相关联的本地置信度水平动态地调整成像设备的媒体存储的特性。

具体地，如图27所示，该方法可以包括：针对一组媒体内容片段，确定EOG的建模置信度，基于建模置信度选择内容表示；以及根据所选择的媒体表示存储内容表示。该内容表示优选地是从至少包括与媒体表示相关联的建模数据表示以及媒体表示的一组选项中选择的。优选地，在这两种情况下均对构成EOG的建模数据表示进行存储。可以通过设置媒体存储的不同特性来进一步调整内容表示。媒体存储的特性可以包括存储长度、分辨率、帧速率、媒体片段的裁剪和/或其他方面。存储长度确定了媒体表示存储多长时间。

当EOG在特定媒体片段中对位于被调查区内的对象具有更高置信度时，那么相应的媒体可以被保持更短的时间量并且保持在简化的媒体格式下。当EOG在特定媒体片段中对位于被调查区内的对象具有更低置信度时，那么媒体存储可以被保持更长的时间段和/或保持在增强的媒体格式下。例如，查看库存物品的未被访问的过道的视频相机可以将媒体存储为简单的元数据表示，并且查看购物者在其中具有交互事件(在该交互事件中，关于发生了什么事情存在高度不确定性)的过道的摄像机可能存储时间更长。这允许随后的检查。

除了EOG的置信度水平之外，媒体存储可以基于所涉及的对象，并且具体地是对象的价值。例如，捕获具有与贵重商品的可疑交互的购物者的媒体可以比与土豆交互的购物者的媒体存储更长的时间段。类似地，被建模为拥有具有高价值(货币或以其他方式)的对象的购物者可以自动地具有以更高保真度和寿命存储的媒体用于媒体内容片段，这些媒体内容片段在购物者穿过环境时捕获他们。

以类似的方式，可以根据人对象关联来动态地管理媒体存储。可以贯穿环境跟踪购物者。当购物者结账时，该方法可以协调EOG中关联购物者对象与POS逐物品收据之间的差异程度。如果购物者对象的所包含的SKU对象与收据一致，则媒体的存储可以被去优先化。如果购物者对象的所包含的SKU对象与收据冲突，则可以基于冲突的程度(例如，产品的数量、产品的价值)来对媒体的存储进行优先化。当跨所有购物者使用时，不与购物者相关联或者与无关紧要的购物者相关联的媒体可以被保存更短的时间量或以较低质量的格式存储。与有一些重要的购物者相关联的媒体可能被保存更长的时间和/或在更高质量的格式下。

4.用于结账的方法

用于环境对象建模的方法可以适用于如上面所讨论的各种场景。应用该方法促进为购物者生成结账清单并且可选地促进交易的执行是一个示例性应用。如图28中所示，当适用于优选实施例的结账清单生成时，该方法可以包括跨环境采集图像数据S410；根据图像数据维护EOG S420，其中，EOG是跨该环境在空间和时间上对已分类对象的数据表示，该EOG至少包括具有概率对象关联的对象的子组；其中，在至少一个实例中，维护EOG包括对在EOG中的购物者对象和另一个对象进行分类和关联S430；以及检查与购物者对象概率性地相关联的对象，并且从而生成结账清单S440。本文中描述的任何变型可以类似地与适用于结账清单生成的方法结合使用。具体地，该方法可以用于利用图像数据和基于EOG的建模来确定在另一个区域中的一个位置中(例如，在购物层上)进行的、可以对其执行动作的产品选择。在一些变型中，可以基于购物者存在于以下这样的一个区中来触发动作：该区缺少确定在该区的对象的存在的图像数据。

维护环境对象图将优选地包括在维护更新的EOG时迭代执行上述过程。在维护EOG的背景下，由于其涉及促进结账过程，维护环境对象图包括以下各实例中的至少一个实例：对购物者对象与另一个对象进行分类和关联。购物者对象可以是顾客/人对象、购物车对象、筐分类对象、袋子分类对象和/或购物者关联对象(例如，购物者对象、各种袋子对象、筐对象和/或购物车对象)的某种集合。另一个对象可以是SKU对象(例如，符合购买、租赁或参与交易条件的产品)。可以建立多个对象到购物者关联的实例，以便可以生成包括多个产品的结账清单。

优选地，在维护EOG时可能遇到存在优选地多种可能的EOG建模场景，从而影响结账清单的生成。场景可能涉及：各种数量的对象和购物者对象；添加和移除与购物者对象相关联的对象；对象分类和关联的置信度水平的变化；和/或其他合适的场景。

如图29中所示，维护EOG的一个示例性实例可包括：在图像数据中捕获的第一区中，对第一对象和至少购物者对象进行分类；在该第一区中，检测该第一对象与该购物者对象之间的交互事件，并更新环境对象图，由此该第一对象与该购物者对象概率性地相关联。这可以起作用以对选择产品以便拥有或包含此产品的购物者对象进行建模。优选地，当购物者将产品添加到购物车、购物车或其口袋时，执行这些过程。该第一个对象可以与该购物者对象以初始置信度水平概率性地相关联；并且其中，生成该结账清单包括将具有满足置信度阈值的置信度水平的对象添加到该结账清单。在检查EOG之后生成结账清单可以另外考虑产品定价、顾客购买历史和/或其他因素。例如，系统可以具有动态置信度阈值要求，这取决于该顾客与不受信任的顾客相比是否是可信任的常客。

可以应用维护EOG的另一个示例性实例，使得可以通过随后的观察来更改对象与购物者对象的关联。在这种场景中，上面讨论的第一对象作为被拥有对象以一定置信度水平与购物者对象概率性地相关联，并且如图30所示，EOG的维护还包括：在图像数据中捕获的第三区中，对第二对象和购物者对象进行分类；将作为被拥有对象的第二对象以第二置信度水平与购物者对象相关联；并且更新EOG，其中，第一置信度水平至少部分地响应于第二置信度水平而被更改。置信度水平的这种变化可以增大或减小对象的置信度。在一些情况下，置信度水平可以改变，使得第一对象的主要分类可以变化。例如，第一对象最初可以被分类为通用的谷物盒而不与特定谷物SKU物品相关联。然而，将第三对象分类为与购物者对象相关联的特定谷物SKU物品可以导致此信息的传播，使得第一对象被建模为该特定SKU物品。

在另一个示例性实例中，可以应用对EOG的维护，使得由于对EOG的其他输入可以移除对象关联或者对其解除关联。如图31中所示，在上面讨论的第一个实例之后的第二个实例期间，维护EOG可以包括：在该第一区，对该第一个对象进行分类；并且更新环境对象图包括在第一实例中移除第一对象与购物者对象的关联。

在另一个示例性实例中，可以在维护EOG时使用复合对象建模，使得利用与一个或多个对象的复合对象关联建模的对象可以用于将所包含的对象与购物者相关联。如图32中所示，在另一个实例期间，维护EOG可以包括：在图像数据中捕获的第三区中，对一对象和购物者对象进行分类，其中，该对象是具有概率性地被包含的对象的复合对象；在该第三区中，检测第一对象与购物者对象之间的交互事件；并且更新EOG，由此该对象以及该对象的概率性地被包含的对象与该购物者对象概率性地相关联。例如，购物者拿起一盒子物品可以将那些单独物品与他们相关联并且单独添加到结账清单中。

如上面所讨论的，可以存在可能会导致两个或更多个对象的关联的各种形式的交互事件。在一个变型中，交互事件可以包括检测到对象与购物者对象之间的接近度满足接近度阈值。接近度阈值可以基于不同的条件而变化，比如对象分类、位置、购物者历史或简档数据、和/或其他合适的因素。交互事件可以另外或替代性地包括图像数据内的算法地检测到的手势或事件。交互事件可以类似地是简单的对象分类或对象跟踪变化。例如，如果先前所跟踪的对象在没有重新获取的情况下从视图中消失，则可以建模交互事件，该交互事件可以导致该先前所跟踪的对象与附近的购物者相关联(而无需基于接近度触发交互事件)。

生成结账清单的方法可以应用于各种应用中，比如促进结账处理和/或增强结账过程设备的操作。在一个变型中，它可以简单地用于

在同样在图29中所示的变型中，该方法可以另外包括：在该图像数据中捕获的第二区中，检测该购物者对象并利用该结账清单发起结账过程。更优选地，结账过程和收费交易可以由该方法自动执行，该方法进一步包括：访问与购物者对象相关联的帐户；当发起结账过程时，在进入第二区后将结账清单计入用户账户。该帐户优选地包括比如信用卡信息等支付选项，但是替代性地包括信用卡或具有计费物品的运行记录。可以独立于对第二区中的购物者对象所拥有的产品的明确观察来发起结账过程。第二区可以是商店的特定区。在一个变型中，它可以是商店出口处或商店出口之前的区。

与上述方法一样，用于生成结账清单的方法可以用在具有多个图像捕获设备的系统中和/或具有单个图像捕获设备的系统中。在具有多个相机的自动结账变型中，可以在来自第一相机的图像数据中捕获第一区，并且可以在来自第二相机的图像数据中捕获第二区。替代性地，可以在来自一个相机的图像数据中捕获第一区和第二区，这可以使得能够利用单个相机执行该方法。例如，可以通过相机监控一小面墙的产品，并且顾客可以通过选择一个物品然后离开从该墙购买物品。

在另一个变型中，该方法可以用于更改结账处理系统的操作，比如工作人员驻留的POS结账台、自助结账POS结账台、或用于自助结账的面向顾客的智能电话应用。在用于更改结账处理系统的操作的变型中，发起结账过程可以包括将结账清单传送到第二区中的结账处理系统。这可以基于如通过EOG跟踪到的该购物者对象相对于第二区的位置而被触发。例如，当购物者接近自助结账台时，该购物者的结账清单可以被传送到该特定的自助结账台。

所传送的结账清单可以以多种方式使用。在一个变型中，该方法可以包括：在该结账处理系统处，利用来自该结账清单的物品来填充该结账处理系统。例如，上面示例中的自助结账台可以自动更新并在屏幕上呈现结账清单。然后购物者可以确认和/或提供支付以完成交易。该方法可以另外支持在结账处理系统处编辑结账清单。在一些变型中，结账清单的子组可以以不同的模式预先填充，比如高置信度模式和确认模式。在确认模式下预先填充的物品可以请求用户输入以确认或改进物品的标识。可以在没有明确确认的情况下最初添加以高置信度模式添加的物品。

在另一个变型中，所传送的结账清单可以用于针对结账清单中的物品来使结账处理系统的产品输入端偏移。这可以由结账处理系统以各种方式使用。在一个变型中，它可以更改用于产品选择的菜单选项的导航。

所生成的结账清单可以另外用于其他场景。在一个变型中，它可以用于将购物者的所选物品同步到购物者的应用实例。此变型的方法可以包括：访问与购物者对象相关联的帐户；并且在所述帐户的应用实例中，呈现所述结账清单。一旦结账清单被同步并传送到应用实例，它就可以用在各种应用中。在一个示例中，它可以使得顾客在对物品结账之前能够具有总账单的实时记录。在更具体的示例中，顾客可以简单地拿起物品并且看到在他们的电话或可穿戴计算机上的应用上反映的该物品的价格。同步结账清单可以另外用在与购物清单、优惠券、专用折扣和/或其他应用相关应用中。

实施例的系统和方法可以至少部分地体现为和/或实现为被配置成接收存储计算机可读指令的计算机可读介质的机器。这些指令可以由与应用、小应用、主机、服务器、网络、网站、通信服务、通信界面、用户计算机或移动设备的硬件/固件/软件元件、腕带、智能电话、眼镜、可穿戴设备、相机、成像设备或者其任何合适的组合集成的计算机可执行组件来执行。实施例的其他系统和方法可以至少部分地体现为和/或实现为被配置成接收存储计算机可读指令的计算机可读介质的机器。这些指令可以由通过集成有上述类型的装置和网络的计算机可执行组件集成的计算机可执行组件执行。计算机可读介质可以存储在任何合适的计算机可读介质上，如RAM、ROM、闪存、EEPROM、光学设备(CD或DVD)、硬盘驱动器、软盘驱动器或任何合适的设备。计算机可执行组件可以是处理器，但是任何合适的专用硬件设备可以(替代性地或另外)执行所述指令。

如本领域技术人员将从前面的详细描述以及从附图和权利要求书中认识到的，可以对本发明的实施例进行修改和变化而不偏离如在所附权利要求书中限定的本发明的范围。

Claims (9)

1.一种用于在环境内的计算机视觉驱动应用的系统，包括：

成像系统，所述成像系统被配置为采集环境内的图像数据；

处理引擎，所述处理引擎被配置为根据所述图像数据维护环境对象图，其中，所述环境对象图是跨所述环境在空间和时间上对已分类对象的数据表示，所述环境对象图至少包括具有概率对象关联的对象子组；并且

所述处理引擎进一步被配置为：

对所述图像数据中的对象进行分类，并且将相应的对象实例存储在所述环境对象图中，

跟踪对象位置并且在对象路径中建立对象实例关联，

检测交互事件，并且针对所检测到的交互事件的子组中的事件实例，生成所述交互事件中所涉及的至少两个对象实例的对象关联，以及

更新所述环境对象图，并且跨对象关联传播至少一个对象实例的变化。

2.如权利要求1所述的系统，其中，所述成像系统包括采用库存储存捕获配置的图像捕获设备、采用交互捕获配置的图像捕获设备、采用对象标识捕获配置的图像捕获设备以及采用可移动捕获配置的图像捕获设备。

3.如权利要求1所述的系统，其中，所述处理引擎被进一步配置为：利用复合对象建模在所述环境对象图中实例化第一组对象实例，并且利用概率多状态建模在所述环境对象图中实例化第二组对象实例。

4.如权利要求1所述的系统，进一步包括：虚拟购物车管理系统，所述虚拟购物车管理系统被配置为检查与所述环境对象图中的购物者对象实例相关联的对象实例，并且生成产品的结账清单。

5.如权利要求4所述的系统，其中，所述虚拟购物车管理系统进一步被配置为访问与所述购物者对象实例相关联的帐户，并且当在结账区中检测到所述购物者对象实例时，将所述结账清单计入所述帐户。

6.如权利要求4所述的系统，进一步包括：结账处理系统，其中，所述结账清单被传送到所述结账处理系统。

7.如权利要求1所述的系统，进一步包括：库存管理系统，所述库存管理系统包括对所述环境对象图的检查界面。

8.如权利要求1所述的系统，进一步包括：元媒体存储系统，所述元媒体存储系统被配置为与所述环境对象图协同存储动态媒体内容表示。

9.如权利要求1所述的系统，进一步包括：校准工具，所述校准工具被配置为向所述处理引擎提供校准数据输入。

Images