CN114830200A - 基于顾客在实体商店的购物会期的视频来填充虚拟购物车的系统和方法 - Google Patents

基于顾客在实体商店的购物会期的视频来填充虚拟购物车的系统和方法 Download PDF

Info

Publication number
CN114830200A
CN114830200A CN202080088562.XA CN202080088562A CN114830200A CN 114830200 A CN114830200 A CN 114830200A CN 202080088562 A CN202080088562 A CN 202080088562A CN 114830200 A CN114830200 A CN 114830200A
Authority
CN
China
Prior art keywords
virtual
shelf
physical
item
shopping cart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080088562.XA
Other languages
English (en)
Inventor
S·A·米尔扎
S·B·克里施纳莫西
T·N·恩古严
S·瓦卡查拉
M·R·玛吉
J·E·贝里
R·K·库尔瓦
R·莫函
M·S·苏瑞
J·C·霍吉
F·菲利普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
7 11 LLC
Original Assignee
7 11 LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/664,470 external-priority patent/US10922555B1/en
Priority claimed from US16/663,589 external-priority patent/US10861085B1/en
Priority claimed from US16/664,529 external-priority patent/US11798065B2/en
Priority claimed from US16/663,564 external-priority patent/US10607080B1/en
Priority claimed from US16/664,490 external-priority patent/US11100717B2/en
Application filed by 7 11 LLC filed Critical 7 11 LLC
Publication of CN114830200A publication Critical patent/CN114830200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0633Lists, e.g. purchase orders, compilation or processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F9/00Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/026Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00Alarm indicators, e.g. bells

Abstract

一种装置包括显示器、接口和处理器。接口接收来自位于实体商店中并指向第一实体货架的相机的视频。相机捕获在购物会期期间货架的视频。处理器显示模拟第一实体货架并且包括第一虚拟搁板和第二虚拟搁板的第一虚拟货架。虚拟搁板包括虚拟物品,虚拟物品包括位于实体货架上的实体物品的图形表示。处理器显示货架视频,货架视频描绘包括人与第一实体货架交互的事件。处理器还显示虚拟购物车。处理器接收与事件相关联的信息,从而识别第一虚拟物品。货架视频描绘人在与第一实体货架交互时选择了第一实体物品。然后处理器将第一虚拟物品存储在虚拟购物车中。

Description

基于顾客在实体商店的购物会期的视频来填充虚拟购物车的 系统和方法
技术领域
本公开一般而言涉及远程监视技术,并且更具体地,涉及用于基于顾客在实体商店的购物会期的视频来填充虚拟购物车的系统和方法。
背景技术
在实体商店的传统购物会期期间,顾客从位于商店内的搁板上选择物品,然后将那些物品展示给收银员。收银员为物品生成账单并从顾客接收付款。出于安全目的,通常存在位于商店内的一些相机。
发明内容
传统商店中的购物会期可以与顾客和店主的若干低效率相关联。例如,在商店内的繁忙时段,顾客会花费大量时间排队等候为他/她选择的物品向收银员付款。等待所花的时间甚至可能超过客户选择物品所花费的总时间量。这会导致顾客沮丧,并可能导致失去回头客业务。作为另一个示例,传统商店通常依赖一个或多个员工在商店内充当收银员。即使商店是空的,这些员工仍然存在,以防顾客碰巧进入商店进行购买。因此,在高峰营业时间之外,店内收银员的大部分时间可能被闲置。
本公开设想了一种解决上述技术问题中的一个或多个的虚拟商店工具。该工具生成被配置为模拟实体商店的虚拟商店。该工具还根据从位于实体商店的相机接收的相机馈送来生成视频的集合,以在实体商店中的购物会期期间跟踪顾客。在某些实施例中,该工具然后使用虚拟商店和实体商店中的购物会期的视频来生成虚拟购物车,存储被配置为模拟客户在实体商店中选择的物品的物品的集合。因而,该工具可以使用虚拟购物车向顾客收取他/她的购买的费用。在一些实施例中,该工具还可以与经过训练的算法结合使用,该算法基于从位于实体商店中的传感器接收到的输入来确定顾客在实体商店中的购物会期期间选择的物品。在此类实施例中,该工具使用虚拟商店和实体商店中的购物会期的视频来核实由算法做出的确定。下面描述该工具的某些实施例。
根据一个实施例,一种装置包括接口、显示器、存储器,以及通信耦合到存储器和显示器的硬件处理器。接口接收第一视频馈送。第一视频馈送包括与位于实体商店中的第一相机对应的第一相机馈送和与位于实体商店中的第二相机对应的第二相机馈送。第一相机指向实体商店中的第一位置。第二相机指向实体商店中的第二位置。硬件处理器将第一视频片段存储在存储器中。第一视频片段被指派给第一人并且捕获在开始时间戳和结束时间戳之间的时间间隔期间发生的第一人在实体商店中的购物会期的一部分。第一视频片段包括与从开始时间戳到结束时间戳的第一相机馈送的记录对应的第一相机馈送片段,以及与从开始时间戳到结束时间戳的第二相机馈送的记录对应的第二相机馈送片段。处理器还将第一滑块条指派给第一视频片段。
第一相机馈送片段与第二相机馈送片段的回放被同步,并且第一滑块条控制第一相机馈送片段和第二相机馈送片段的回放进度。处理器附加地在显示器的第一区域中显示第一相机馈送片段和第一滑块条的第一副本。处理器还在显示器的第二区域中显示第二相机馈送片段和第一滑块条的第二副本。处理器还从第一滑块条的第一副本和第一滑块条的第二副本中的至少一个接收指令以调整第一相机馈送片段和第二相机馈送片段的回放进度。响应于接收到指令,处理器调整第一相机馈送片段和第二相机馈送片段的回放进度。
根据另一个实施例,一种装置包括显示器、接口,以及通信耦合到显示器的硬件处理器。该接口从位于实体商店中的货架相机接收货架相机馈送。货架相机指向位于实体商店中的实体货架的集合中的第一实体货架。硬件处理器在显示器的第一区域中显示虚拟商店的虚拟布局。虚拟布局被配置为模拟实体商店的物理布局。虚拟布局包括指派给第一实体货架的第一虚拟货架和指派给第二实体货架的第二虚拟货架。在此,第一虚拟货架和第二虚拟货架在虚拟布局中的布置被配置为模拟第一实体货架和第二实体货架在物理布局中的布置。
处理器还接收与第一实体货架相关联的事件的指示。该事件包括位于实体商店中的人与第一实体货架交互。响应于接收到与第一实体货架相关联的事件的指示,处理器在显示器的第二区域中显示第一虚拟货架。第一虚拟货架包括第一虚拟搁板和第二虚拟搁板。第一虚拟搁板包括第一虚拟物品并且第二虚拟搁板包括第二虚拟物品。第一虚拟物品包括位于第一实体货架的第一实体搁板上的第一实体物品的图形表示,并且第二虚拟物品包括位于第一实体货架的第二实体搁板上的第二实体物品的图形表示。处理器附加地在显示器的第三区域中显示与从开始时间戳到结束时间戳的货架相机馈送的记录对应的货架视频片段。货架视频片段描绘与第一实体货架相关联的事件。
根据另一个实施例,一种装置包括显示器、接口,以及通信耦合到显示器的硬件处理器。接口从位于实体商店中的货架相机接收货架视频。货架相机指向位于实体商店中的实体货架的集合中的第一实体货架。货架相机在实体商店中人的购物会期期间捕获第一实体货架的视频。处理器在显示器的第一区域中显示模拟第一实体货架的第一虚拟货架。第一虚拟货架包括第一虚拟搁板和第二虚拟搁板。第一虚拟搁板包括第一虚拟物品并且第二虚拟搁板包括第二虚拟物品。第一虚拟物品包括位于第一实体货架的第一实体搁板上的第一实体物品的图形表示,并且第二虚拟物品包括位于第一实体货架的第二实体搁板上的第二实体物品的图形表示。
处理器还在显示器的第二区域显示货架视频。货架视频描绘包括人与第一实体货架交互的事件。处理器附加地在显示器的第三区域中显示虚拟购物车。处理器还接收与事件相关联的信息。该信息识别第一虚拟物品,并且货架视频描绘人在与第一个实体搁板交互时选择了第一实体物品。响应于接收到与事件相关联的信息,处理器将第一虚拟物品存储在虚拟购物车中。
根据另一个实施例,一种被配置为创建虚拟商店的虚拟布局以模拟实体商店的物理布局的装置包括存储器和通信耦合到存储器的硬件处理器。硬件处理器接收与位于实体商店中的第一实体货架相关联的第一物理位置和第一物理朝向。响应于接收到第一物理位置和第一物理朝向,处理器将第一虚拟货架放置在第一虚拟位置并且在虚拟布局上具有第一虚拟朝向。第一虚拟货架在虚拟布局上的第一虚拟位置表示第一实体货架在物理布局上的第一物理位置,并且第一虚拟货架在虚拟布局上的第一虚拟朝向表示第一实体货架在物理布局上的第一物理朝向。处理器还接收与位于第一实体货架的第一实体搁板上的第一实体物品相关联的第一虚拟物品。响应于接收到第一虚拟物品,处理器将第一虚拟物品放置在第一虚拟货架的第一虚拟搁板上。第一虚拟货架的第一虚拟搁板表示第一实体货架的第一实体搁板。
处理器附加地接收与位于第一实体货架的第二实体搁板上的第二实体物品相关联的第二虚拟物品。响应于接收到第二虚拟物品,处理器将第二虚拟物品放置在第一虚拟货架的第二虚拟搁板上。第一虚拟货架的第二虚拟搁板表示第一实体货架的第二实体搁板。处理器还将位于实体商店中的第一货架相机指派给第一虚拟货架。第一货架相机捕获包括第一实体货架的视频。处理器还将虚拟布局存储在存储器中。
根据另一个实施例,一种装置包括硬件处理器。处理器接收包括物品的第一集合的算法购物车。基于从位于实体商店内的传感器接收的输入的集合,物品的第一集合由算法确定为已由第一人在实体商店中的购物会期期间选择。处理器还接收包括与购物会期相关联的物品的第二集合的虚拟购物车。购物会期的视频由位于实体商店中的相机的集合捕获。该视频描绘人选择物品的第二集合。处理器还将算法购物车与虚拟购物车进行比较。响应于将算法购物车与虚拟购物车进行比较,处理器确定算法购物车与虚拟购物车之间存在差异。处理器还确定与差异相关联的输入的集合的子集。处理器还将元数据附加到子集。元数据解释该差异。处理器附加地使用该子集来训练算法。
某些实施例提供一个或多个技术优势。例如,实施例通过一次呈现商店的多个相机视图、彼此同步并且被配置为捕获顾客的购物会期来减少在查看商店中的顾客的监控视频时所花费的处理资源。作为另一个示例,实施例通过使用自动化和远程监视技术来提高购物会期的效率。作为又一个示例,实施例提供机器学习跟踪算法的独立核实,其被配置为跟踪实体商店中的顾客。本公开中描述的系统可以特别集成到物理位置(诸如商店)的远程监视系统的实际应用中,其中来自位于商店中的传感器的输入可以被用于监视和跟踪商店内发生的事件。
某些实施例可以不包括、包括一些或包括所有上述技术优点。对于本领域技术人员而言,从本文包括的附图、描述和权利要求中可以容易地明白一个或多个其它技术优势。
附图说明
为了更完整地理解本公开,现在结合附图参考以下描述,其中:
图1A和1B呈现了实体商店与虚拟店之间的比较;
图2A和2B呈现了实体商店的物理布局与虚拟商店的虚拟布局之间的比较;
图3A和3B呈现了实体商店中的实体货架与虚拟商店中的虚拟货架之间的比较;
图4图示了根据本公开的示例系统;
图5A图示了被配置为捕获商店的区域以供在图4中所示的系统中使用的相机在实体商店中的示例位置;
图5B图示了由图4中所示系统的布局相机捕获的实体商店的区域的示例;
图6图示了图4中所示系统的虚拟商店工具的视频处理器组件;
图7A至7C呈现了图示图4中所示系统的虚拟商店工具显示与图4中所示系统的布局相机和货架相机相关联的相机馈送片段的方式的示例;
图8呈现了图示图4中所示系统的虚拟存储工具生成和显示与图4中所示系统的布局相机和货架相机相关联的相机馈送片段的过程的流程图;
图9A至9D呈现了图示图4中所示系统的虚拟商店工具可以虚拟地模拟发生在实体商店中的购物会期的方式的示例;
图10呈现了图示图4中所示系统的虚拟商店工具可以虚拟地模拟发生在实体商店中的购物会期的方式的流程图;
图11A和11B图示了由图4中所示系统的虚拟商店工具生成的图形用户界面的示例实施例,其可以被用于生成被配置为模拟实体商店的物理布局的虚拟布局;
图12呈现了图示图4中所示系统的虚拟商店工具可以生成被配置为模拟实体商店的物理布局的虚拟布局的方式的流程图;
图13A和13B呈现了可以被用于向算法提供输入的传感器的示例,该算法被配置为确定顾客在实体商店中的购物会期期间选择的物品;
图13C和13D图示了使用耦合到实体商店中的实体搁板的传感器来定义实体搁板的区及其对应的虚拟搁板的示例;
图14图示了图4中所示系统的虚拟商店工具的解析组件;
图15图示了图4中所示系统的虚拟商店工具的机器学习组件;以及
图16呈现了图示图4中所示系统的虚拟商店工具可以向算法提供反馈的方式的流程图,该算法被配置为确定顾客在实体商店中的购物会期期间选择的物品。
具体实施方式
本公开的实施例及其优点可以通过参考附图的图1至16来理解,相似的标号用于各个附图的相似和对应部分。附加信息在标题为“Scalable Position Tracking SystemFor Tracking Position In Large Spaces”的美国专利申请No.___(律师案卷号090278.0176)和标题为“Topview Object Tracking Using a Sensor Array”的美国专利申请No.____(律师案卷号090278.0180)中公开,两者都通过引用并入本文,就好像其全部内容被复制一样。
I.虚拟模拟的简介
本公开一般而言针对生成被配置为模拟实体商店的虚拟商店,并且使用虚拟商店以及在实体商店内发生的购物会期的视频来虚拟地模拟实体购物会期。虽然本公开描述了实体商店的虚拟模拟,但本公开设想任何类型的物理空间(例如,仓库、存储中心、游乐园、机场、办公楼等)都可以使用本公开中描述的工具被虚拟地模拟。例如,实体商店可以是便利店或杂货店。本公开还设想实体商店可以不是实体建筑物,而是购物者可以在其中购物的实体空间或环境。例如,实体商店可以是机场的外卖食品室、办公楼的售货亭或公园的户外市场等。
如图1A中所示,实体商店100是实体店—即,位于实体建筑物中的商店。顾客105(可以携带移动设备125)进入实体商店100以购买物品。另一方面,虚拟商店110是实体商店的计算机化表示,显示在属于用户120的计算机或其它设备115上,如图1B中所示。本公开设想用户120可以使用虚拟商店110来模拟顾客105在实体商店100中的购物会期。虚拟商店110可以在设备115上本地生成或远程生成并通过网络传输到设备115。
虚拟商店110可以被配置为以几种不同的方式模拟实体商店100。例如,在某些实施例中,并且如图2A和2B中所示,虚拟商店110的虚拟布局205被配置为模拟实体商店100的物理布局200。特别地,虚拟展示货架230a、230b、230c和230d的形状、位置和朝向被配置为模拟实体展示货架210a、210b、210c和210d的形状、位置和朝向。例如,在图2A中所示的示例中,实体展示货架210a和210b沿着实体商店100的物理布局200的后壁235a定位。因而,虚拟展示货架230a和230b沿着虚拟商店110的虚拟布局205的后壁240a放置,以模拟实体展示货架210a和210b的位置和朝向。类似地,虚拟展示货架230d沿着虚拟布局205的侧壁240b放置,以模拟实体展示货架210d沿着侧壁235b的位置和朝向,并且虚拟展示货架230c放置在虚拟布局205的中心,以模拟实体展示货架210c的位置和朝向。
作为另一个示例,在一些实施例中,虚拟展示货架230a、230b、230c和230d的内容被配置为模拟实体展示货架210a、210b、210c和210d的内容。例如,在某些实施例中,虚拟展示货架230a、230b、230c和230d各自被指派物品的列表,其中物品的列表分别包括存储在实体货架210a、210b、210c和210d上的那些物品。在其它实施例中,每个虚拟展示货架被指派虚拟搁板的集合,其中虚拟展示货架上的虚拟搁板的数量和放置被配置为模拟对应的实体展示货架上的实体搁板的数量和放置。虚拟搁板的集合中的每个虚拟搁板然后保持虚拟物品的集合,其被配置为模拟存储在对应的实体搁板上的实体物品的集合。在此,虚拟物品可以被配置为在虚拟搁板上的外观和/或定位方面模拟实体物品。
作为具体示例,图3A和3B呈现了在一个实施例中实体展示货架210a与虚拟展示货架230a之间的比较。如图3A中所看到的,实体展示货架210a包括两个实体搁板—第一实体搁板305a和第二实体搁板305b。因而,为了模拟实体展示货架210a,虚拟展示货架230a也包括两个搁板—第一虚拟搁板310a和第二虚拟搁板310b。此外,虚拟搁板310a和310b中的每一个包括虚拟物品的集合,其被配置为模拟存储在实体搁板305a和305b的对应实体搁板上的实体物品。例如,虚拟搁板310a包括位于虚拟搁板310a的第一虚拟区域330a中的第一虚拟物品320a、位于虚拟搁板310a的第二虚拟区域330b中的第二虚拟物品320b和位于虚拟搁板310a的第三虚拟区域330c中的第三虚拟物品320c,它们被定位成模拟实体搁板305a的第一物理区325a中的第一实体物品315a、实体搁板305a的第二物理区325b中的第二实体物品315b和实体搁板305a的第三物理区325c中的第三实体物品315c。类似地,虚拟搁板310b包括分别位于虚拟搁板310b的第四虚拟区330d、第五虚拟区330e和第六虚拟区330f中的第四虚拟物品320d、第五虚拟物品320e和第六虚拟物品320f,以模拟第四实体物品315d、第五实体物品315e和第六实体物品315f在实体搁板305b的第四物理区325d、第五物理区325e和第六物理区325f中的定位。此外,虚拟物品320a至320f中的每一个被配置为模拟对应的实体物品315a、315b、315c、315d、315e或315f的外观。例如,每个虚拟物品可以与对应实体物品的二维图形表示对应。以这种方式,可以基于其真实世界的物理对应物的外观来容易地识别虚拟物品。
II.系统概述
图4图示了示例系统400,其包括虚拟商店工具405、设备115、显示器410、网络430a、网络430b、布局相机490和货架相机495。在某些实施例中,系统400附加地包括外部系统485和传感器498。一般而言,虚拟商店工具405被配置为生成模拟实体商店100的虚拟商店110。在某些实施例中,部分地基于从位于实体商店100中的布局相机490和/或货架相机接收到的跟踪购物会期的视频495,虚拟商店工具405使用虚拟商店110来生成由实体商店100中的人105进行的购物会期的收据。在一些实施例中,虚拟商店工具405使用虚拟商店110和从布局相机490和货架相机495接收的视频来验证由算法488在实体商店100的购物会期期间对人105选择的物品所做的确定。
设备115包括用于通过网络430a与系统400的组件通信的任何适当的设备。例如,设备115可以是电话、移动电话、计算机、膝上型计算机、无线或蜂窝电话、平板电脑、服务器、IoT设备和/或自动助理等。本公开设想设备115是用于通过网络430a发送和接收通信的任何适当设备。设备115还可以包括用户接口,诸如麦克风、小键盘或用户120可使用的其它适当终端装备。在一些实施例中,由设备115的处理器执行的应用可以执行本文描述的功能。
设备115可以包括或耦合到显示器410。显示器410是设备115用来显示从虚拟商店工具405接收的信息的屏幕。在某些实施例中,显示器410是膝上型计算机中使用的标准显示器。在某些其它实施例中,显示器410是连接到膝上型计算机或台式计算机的外部显示设备。在另外的实施例中,显示器410是典型的智能电话或平板电脑上的标准触摸屏液晶显示器。
如图4中所示,在某些实施例中,显示器410可以呈现相机馈送片段415a至415f、虚拟布局205、虚拟货架230、虚拟购物车420和/或货架相机馈送片段425。相机馈送片段415a至415f是由虚拟商店工具405从位于实体商店100中的布局相机490接收的相机馈送的视频记录,并且被指派给在实体商店100中进行购物会期的人105。下面在图5至8的讨论中更详细地描述虚拟商店工具405生成相机馈送片段415a至415f并在显示器410上显示相机馈送片段415a至415f的方法。
虚拟布局205被指派给特定实体商店100,虚拟商店工具405从该实体商店100接收与相机馈送片段415a至415f相关联的相机馈送,并且被配置为模拟那个实体商店的物理布局200。下面在图11和12的讨论中更详细地描述虚拟商店工具405生成虚拟布局205的方法。
虚拟货架230与包括在虚拟布局205中的虚拟货架之一对应并且被配置为模拟实体商店100的实体货架210。因而,虚拟货架230显示虚拟物品的集合320,每个虚拟物品320表示存储在对应实体货架210上的实体物品315。虚拟购物车420被用于保持虚拟物品320,每个虚拟物品表示人105在实体商店100中的购物会期期间选择的实体物品315。货架相机馈送片段425是由虚拟商店工具405从货架相机495接收的相机馈送的记录。货架相机495指向虚拟货架230被指派给的实体商店100的实体货架210。部分地基于货架相机馈送片段425,虚拟购物车420可以由存储在虚拟货架230上的虚拟物品320填充。下面在图9和10的讨论中更详细地描述虚拟商店工具405确定要在显示器410上显示的虚拟货架230然后使用虚拟货架230来填充虚拟购物车420的方法。
在一些实施例中,并且如下文进一步详细描述的,关于图11A和11B,显示器410显示图形用户界面,用户120可以通过该图形用户界面生成被配置为模拟实体商店100的物理布局200的虚拟布局205。
网络430a促进位于网络430b外部的系统400的各种组件之间的通信,将布局相机490、货架相机495和外部系统485连接到虚拟商店工具405。本公开设想网络430a是促进系统400的此类组件之间的通信的任何合适的网络。网络430a可以包括能够传输音频、视频、信号、数据、消息或前述的任何组合的任何互连系统。网络430a可以包括可操作以促进组件之间的通信的公共交换电话网络(PSTN)、公共或专用数据网络、局域网(LAN)、城域网(MAN)、广域网(WAN)、本地、区域或全球通信或计算机网络(诸如互联网、有线或无线网络)、企业内联网或任何其它合适的通信链路,包括其组合。
网络430b促进虚拟商店工具405和布局相机490、货架相机495和外部系统485的各种组件之间的通信。本公开设想网络430b是促进虚拟商店工具405的组件与布局相机490、货架相机495和外部系统485之间的通信的任何合适的网络。网络430b可以包括能够传输音频、视频、信号、数据、消息或前述的任何组合的任何互连系统。网络430b可以包括可操作以促进组件之间的通信的公共交换电话网络(PSTN)、公共或专用数据网络、局域网(LAN)、城域网(MAN)、广域网(WAN)、本地、区域或全球通信或计算机网络(诸如互联网、有线或无线网络)、企业内部网或任何其它合适的通信链路,包括其组合。本公开设想网络430b可以是与网络430a相同的网络或与网络430a分离的网络。
如图4中所看到的,虚拟存储工具405包括处理器435、存储器440和接口445。本公开设想处理器435、存储器440和接口445被配置为执行本文描述的虚拟存储工具405的任何功能。一般而言,虚拟商店工具405实现布局创建器460、视频处理器465、显示控制器470、解析组件475和机器学习模块480。虚拟商店工具405可以使用布局创建器460来生成被配置为模拟实体商店100的物理布局200的虚拟布局205。下面在图11和12的讨论中更详细地描述虚拟商店工具405的这个功能。虚拟商店工具405可以使用视频处理器465来生成相机馈送片段415和货架相机馈送片段425,它们基于分别从布局相机490和货架相机495接收的相机馈送被指派给在实体商店100中进行购物会期的人105。虚拟商店工具405的这个功能在下文中在图5至8的讨论中更详细地描述。基于从设备115接收的输入,虚拟商店工具405可以使用显示控制器470来调整显示在显示器410上的信息。虚拟商店工具405的这个功能在下面在图7至12的讨论中更详细地描述。虚拟商店工具405可以使用解析组件475将虚拟购物车420的内容与算法购物车进行比较,算法购物车由算法488确定为包含顾客105在实体商店100的购物会期期间选择的物品。解析组件475可以识别虚拟购物车420与算法购物车之间的任何差异,解析这种差异,并生成收据以发送给顾客105。在图14的讨论中,解析组件475将在下面更详细地描述。最后,虚拟商店工具405可以使用机器学习模块480来识别虚拟购物车420与算法购物车之间的差异并将元数据指派给与差异相关联的算法输入。然后可以使用这个元数据来重新训练算法。下面将在图15和16的讨论中更详细地描述机器学习模块480。
处理器435是任何电子电路系统,包括但不限于微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)和/或状态机,其可通信地耦合到存储器440并控制虚拟商店工具405的操作。处理器435可以是8位、16位、32位、64位或任何其它合适的体系架构。处理器435可以包括用于执行算术和逻辑运算的算术逻辑单元(ALU)、向ALU提供操作数并存储ALU运算的结果的处理器寄存器、以及从存储器获取指令并通过指引ALU的协调的操作来执行它们的控制单元、寄存器和其它组件。处理器435可以包括操作以控制和处理信息的其它硬件和软件。处理器435执行存储在存储器上的软件以执行本文描述的任何功能。处理器435通过处理从网络430a、网络430b、存储器440、(一个或多个)设备115、布局相机490、货架相机495和外部系统485接收的信息来控制虚拟商店工具405的操作和管理。处理器435可以是可编程逻辑设备、微控制器、微处理器、任何合适的处理设备或前述的任何合适的组合。处理器435不限于单个处理设备并且可以涵盖多个处理设备。
存储器440可以永久或者临时存储数据、操作软件或用于处理器435的其它信息。存储器440可以包括适合于存储信息的易失性或非易失性本地或远程设备中的任何一个或组合。例如,存储器440可以包括随机存取存储器(RAM)、只读存储器(ROM)、磁存储设备、光存储设备或任何其它合适的信息存储设备或这些设备的组合。软件表示在计算机可读存储介质中实施的任何合适的指令、逻辑或代码的集合。例如,软件可以在存储器440、盘、CD或闪存驱动器中实施。在特定实施例中,软件可以包括可由处理器435执行以执行本文描述的功能中的一个或多个的应用。
此外,在某些实施例中,存储器440可以存储虚拟布局205和视频的集合450。虚拟布局205a到205n中的每一个与不同的实体商店100对应并且被配置为模拟实体商店100的物理布局200。虚拟布局205可以根据商店标识号存储在存储器440中。以这种方式,可以使用商店标识号从存储器440中检索给定的虚拟布局205a。本公开设想视频的集合450包括例如,通过标识号455指派给给定人105的相机馈送片段415和货架相机馈送片段425。此类片段是由虚拟商店工具405分别从布局相机490和货架相机495接收的相机馈送的视频记录。例如,视频的集合450可以包括指派给人105的相机馈送片段415a至415f和货架相机馈送片段425。下面在图6的讨论中更详细地描述虚拟商店工具405生成视频集合450的方式。
接口445表示可操作以从网络430a和430b接收信息、通过网络430a和430b传输信息、执行信息的合适处理、与其它设备通信或前述的任何组合的任何合适设备。例如,接口445从布局相机490和货架相机495接收相机馈送。作为另一个示例,接口445从设备115接收输入。接口445表示任何端口或连接,无论是真实的还是虚拟的,包括任何合适的硬件和/或软件,包括协议转换和数据处理能力,以经由网络430a和430b通过LAN、WAN或允许虚拟存储工具405交换信息的其它通信系统与设备115、布局相机490、货架相机495和/或系统400的其它组件通信。
外部系统485表示可操作以从位于实体商店100中的传感器498接收输入并将算法488应用于这个输入以跟踪实体商店100中的顾客105和/或确定由这些顾客在实体商店100中的购物会期期间选择的实体物品315的任何系统。外部系统485的实施例在标题为“Topview Object Tracking Using a Sensor Array”的美国专利申请No.____(律师案卷号090278.0180)中进行了描述,其内容通过引用并入本文。本公开设想传感器498可以包括位于实体商店100中并且可操作以检测实体商店100中的顾客105的任何类型的合适传感器。例如,实体商店100可以包括相机、光检测和测距传感器、毫米波传感器、重量传感器和/或任何其它适当的传感器,可操作以跟踪实体商店100中的顾客105并检测与顾客105选择实体商店100的一个或多个物品315相关的信息。本公开还设想(一个或多个)算法488可以是用于跟踪实体商店100中的顾客105并确定由顾客105选择的物品315的任何合适的(一个或多个)算法。例如,在某些实施例中,(一个或多个)算法488可以是机器学习算法。
布局相机490和货架相机495位于实体商店100中。布局相机490a至490f中的每一个都指向实体商店100中的位置并且捕获该位置周围空间中的区域的视频和/或图像。货架相机495中的每一个都指向位于实体商店100中的实体展示货架210并且捕获实体展示货架210和实体展示货架210周围空间中的区域的视频和/或图像。本公开设想任何数量的布局相机490可以安装在实体商店100中并且通过网络430b连接到虚拟商店工具405。类似地,任何数量的货架相机495可以安装在实体商店100中并且通过网络430b连接到虚拟商店工具405。例如,在一些实施例中,实体商店100包含与实体搁板210相同数量的货架相机495。在其它实施例中,实体商店100包含比实体搁板210更多的货架相机495。在某些实施例中,货架相机495与布局相机490相同。在其它实施例中,货架相机495与布局相机490不同。布局相机490和货架相机495的操作在下文中在图5和6的讨论中更详细地描述。
在不脱离本发明的范围的情况下,可以对本文描述的系统进行修改、添加或省略。例如,系统400可以包括任何数量的用户120、设备115、显示器410、网络430a和430b、布局相机490、货架相机495和外部系统485。组件可以是集成的或分离的。而且,操作可以由更多、更少或其它组件来执行。此外,可以使用包括软件、硬件和/或其它逻辑的任何合适逻辑来执行操作。
III.基于顾客的视频跟踪
如上所述,虚拟商店工具405可以使用虚拟布局205来模拟顾客105在实体商店100中由相机馈送片段415和/或425捕获的购物会期。图5至8被用于描述虚拟商店工具405通过其生成和显示相机馈送片段415和/或425的方法。
a.用于基于顾客的视频跟踪的相机
图5A图示了实体商店100中布局相机490和货架相机495的示例位置。为实体商店100选择的布局相机490和货架相机495的数量可以取决于实体商店100的尺寸和/或布局。如图5A的示例中所看到的,实体商店100可以包括五个布局相机490a至490e。虽然图示为位于实体商店100的天花板上,但本公开设想布局相机490可以安装在实体商店100中的任何地方。此外,在图5A的示例中,实体商店100可以包括四个货架相机495a至495d。虽然图示为位于实体商店100的天花板和侧壁上,但本公开设想货架相机495可以安装在实体商店100中的任何地方。货架相机495可以与布局相机490分开或与布局相机490相同。
货架相机495中的每一个指向位于实体商店100中的货架210。例如,如图5A中所示,货架相机495a指向实体展示货架210a,货架相机495b指向实体展示货架210b,货架相机495c指向实体展示货架210c,并且货架相机495d指向实体展示货架210d。虽然图5A图示了实体商店100中的五个布局相机490的集合和四个货架相机495的集合,但是本公开设想在实体商店100中可以使用任何合适数量的布局相机490和货架相机495,这取决于实体商店100的尺寸和/或布局。图5A附加地图示了位于实体商店100中的旋转栅门510的集合。旋转栅门510可以被用于控制顾客105进出实体商店100,如下面在图6的讨论中更详细描述的。
如图5B中所示,布局相机490中的每一个都指向实体商店100中的特定位置并且捕获包围该位置的实体商店100的布局200的区域505。例如,第一布局相机490a指向第一位置并且捕获实体商店100的第一区域505a的视频和/或图像;第二布局相机490b指向第二位置并且捕获实体商店100的第二区域505b的视频和/或图像;第三布局相机490c指向第三位置并且捕获实体商店100的第三区域505c的视频和/或图像;第四布局相机490d指向第四位置并且捕获实体商店100的第四区域505d的视频和/或图像;并且第五布局相机490e指向第五位置并且捕获实体商店100的第五区域505e的视频和/或图像。在某些实施例中,布局相机490可以捕获实体商店100的重叠区域。例如,如图5B中所示,第三区域505c的全部被第一区域505a、第二区域505b、第四区域505d和第五区域505e的部分重叠。实体商店100的重叠区域可以是布局相机490彼此接近的结果。一般而言,通过捕获实体商店100的重叠区域,物理布局200的某些部分可以被多个布局相机490捕获。这可以是期望的,以在某些布局相机490故障或脱机的情况下提供物理布局200的足够相机覆盖。
虽然在图5B中图示为矩形,但本公开设想区域505可以具有任何形状或尺寸。例如,在某些实施例中,区域505是椭圆形的。在一些实施例中,区域505具有统一的尺寸和形状。例如,如图5B中所示,区域505a至505e都具有相同的形状和尺寸。在其它实施例中,区域505可以包括具有不同尺寸和形状的区域505。
b.相机馈送处理
由布局相机490和/或货架相机495捕获的实体商店100的视频和/或图像以相机馈送的形式被传输到虚拟商店工具405。虚拟商店工具405然后使用视频处理器465生成相机馈送片段415和货架相机馈送片段425,它们基于这些相机馈送被指派给在实体商店100中进行购物会期的人105。图6图示了虚拟商店工具405的视频处理器465的操作。
图6呈现了在包括第一布局相机490a、第二布局相机490b和货架相机495a的实施例中的虚拟商店工具405的视频处理器465的操作的示例。如图6中所示,视频处理器465接收来自第一布局相机490a的第一相机馈送605a、来自第二布局相机490b的第二相机馈送605b和来自货架相机495a的货架相机馈送620a。在某些实施例中,视频处理器465直接从布局相机490a、490b和货架相机495a接收第一相机馈送605a、第二相机馈送605b和货架相机馈送620a。在一些实施例中,视频处理器465从接口445接收第一相机馈送605a、第二相机馈送605b和货架相机馈送620a。
在处理相机馈送605a、605b和620a之前,视频处理器465首先确定与标识号455相关联的人105进入实体商店100。本公开设想视频处理器465可以确定人105以任何合适的方式进入实体商店100。例如,在某些实施例中,实体商店100包括旋转栅门510,其控制人105进入商店。旋转栅门510可以在人105使用附接到旋转栅门510的扫描仪515扫描位于属于人105的物理卡或移动设备125上的QR码后打开。因而,QR码的扫描可以生成发送到虚拟商店工具405的通知,指示人105进入实体商店100。作为另一个示例,在一些实施例中,算法488可以被用于基于从位于实体商店100中的传感器498接收到的信息来确定人105进入实体商店100。这种算法488的示例将在下文中在图13至16的讨论中更详细地描述。
本公开设想相机馈送605和620在时间戳方面被同步,使得与来自相机馈送605a、605b和620a中的每一个的给定时间戳相关联的视频与实体商店100内的相同实际时间对应。这种同步可以以任何合适的方式实现。例如,在某些实施例中,布局相机490和货架相机495被插入到相同的以太网交换机中。确定人105进入实体商店100然后可以包括接收与人105进入实体商店100的时间戳对应的开始时间戳610。
鉴于与第一相机馈送605a、第二相机馈送605b和货架相机馈送620a相关联的数据分组可以在不同时间通过网络430b到达虚拟商店工具405,本公开设想,代替虚拟商店工具405从开始时间戳610向前流式传输第一相机馈送605a、第二相机馈送605b和货架相机馈送620a,而是虚拟布局工具405的视频处理器465在存储器440中存储第一相机馈送605a、第二相机馈送605b和货架相机馈送620a的记录,持续预定义的时间量。然后可以重放此类记录,每个记录都根据时间戳与其它记录同步。因而,一旦视频处理器465确定与人105进入实体商店100的时间戳对应的开始时间戳610,视频处理器465接下来就准备从开始时间戳610开始并在结束时间戳615结束的每个相机馈送的片段。视频处理器465然后将这些片段存储在存储器440中。例如,视频处理器465准备与从开始时间戳610到结束时间戳615的第一相机馈送605a的记录对应的第一相机馈送片段415a、与从开始时间戳610到结束时间戳615的第二相机馈送605b的记录对应的第二相机馈送片段415b,以及与从开始时间戳610到结束时间戳615的货架相机馈送620a的记录对应的货架相机馈送片段425a。视频处理器465然后将片段415a、415b和425a中的每一个存储在存储器450中。
本公开设想开始时间戳610和结束时间戳615之间的时间间隔可以是任何预定的时间量。例如,在某些实施例中,时间间隔是五分钟。为了捕获持续超过这个预定时间量的购物会期的视频,一旦相机馈送605a、605b和620a达到结束时间戳615,视频处理器465就可以存储在结束时间戳615开始并在新的结束时间戳结束的相机馈送605a、605b和620a的附加记录,新的结束时间戳出现在结束时间戳615之后的预定时间量处。视频处理器465可以在存储器440中存储任何数量的附加相机馈送片段,每个片段与附加的预定时间间隔对应。在某些实施例中,视频处理器465继续记录这种附加的相机馈送片段,直到它接收到人105已经离开实体商店100的指示。
视频处理器465可以为任何数量的人105存储相机馈送片段415和425。因而,视频处理器465可以将指派给人105的相机馈送片段415和425的集合存储为视频的集合450,其中视频的集合450被指派与人105相关联的标识号455。作为示例,第一人105a可以在第一开始时间戳610a进入实体商店100并且第二人105b可以在第一开始时间戳610a之后的第二开始时间戳610b进入实体商店100,其中第二开始时间戳610b在在第一开始时间戳610a之后的预定义时间间隔内,使得为第一人105a记录的相机馈送片段将包含与为第二人105b记录的相机馈送片段重叠的视频。因而,视频处理器465可以将针对第一人105a记录的相机馈送片段连同指派给第一人105a的标识号455a一起存储在存储器440中,作为视频的集合450a。类似地,视频处理器465可以将针对第二人105b记录的相机馈送片段连同指派给第二人105b的标识号455b一起存储在存储器440中,作为视频的集合450b。然后,虚拟商店工具405可以使用指派给给定人105的标识号455从存储器440检索与该人相关联的相机馈送片段。
视频处理器465可以是存储在存储器440中并由处理器435执行的软件模块。视频处理器465的操作的示例如下:(1)分别从相机490和495接收相机馈送605和620;(2)确定人105进入实体商店100;(3)确定与人105进入实体商店100的时间对应的时间戳610;(4)分别记录来自相机馈送605和620的相机馈送片段415和425,其中相机馈送片段与从与人105进入实体商店100的时间对应的时间戳610开始并且持续预定量的时间到结束时间戳615的相机馈送605和620的记录相对应;以及(5)根据人105的标识号455将相机馈送片段415和425存储在存储器440中,作为视频的集合450。
c.显示相机馈送片段
一旦视频处理器465已经记录了来自相机馈送605和620的视频的集合450,虚拟商店工具405然后就可以使用显示控制器470在设备115的显示器410上显示视频的集合450。在某些实施例中,虚拟商店工具405可以以图形用户界面700的形式在设备115的显示器410上显示视频的集合450。图7A至7C呈现了图示虚拟商店工具405在显示器410上显示视频的集合450的方式的示例。
图7A图示了其中虚拟商店工具405指示显示器410显示四个相机馈送片段415a至415d的实施例。虚拟商店工具405在显示器410的第一区域750中显示第一相机馈送片段415a,在显示器410的第二区域755中显示第二相机馈送片段415b,在显示器410的第三区域760中显示第三相机馈送片段415c,并且在显示器410的第四区域765中显示第四相机馈送片段415d。虚拟商店工具405可以指示显示器410显示任何数量的相机馈送片段415。例如,在某些实施例中,虚拟显示工具405可以指示显示器410显示与存储在视频的集合450中相同数量的相机馈送片段415。在一些实施例中,虚拟显示工具405可以指示显示器410显示比存储在视频的集合450中更少的相机馈送片段415。这在实体商店100是包括大量布局相机490的大型商店的实施例中可以是期望的。在此类实施例中,在显示器410上显示所有相机馈送片段415可能使用户120难以在所显示的相机馈送片段415的任何一个中查看实体商店100的特定特征。因而,虚拟商店工具405可以在显示器410上显示相机馈送片段415的子集。虚拟商店工具405可以选择相机馈送片段415的子集以便以任何合适的方式显示在显示器410上。作为示例,在某些实施例中,虚拟商店工具405可以显示相机馈送片段415的子集,其包括在任何给定时间捕获实体商店100的最接近向其指派了视频的集合450的人105的位置的区域的那些相机馈送片段415。在此类实施例中,当视频的集合450描绘人105移动到实体商店100中的新位置时,虚拟商店工具405可以用相机馈送片段415的新子集替换当前显示在显示器410上的相机馈送片段415的子集,新子集包括捕获实体商店100的最接近人105的新位置的区域的相机馈送片段415。虚拟商店工具405可以确定以任何合适的方式捕获最接近位置或人105的实体商店100的区域的相机馈送片段415的子集。例如,在某些实施例中,虚拟商店工具405可以从机器学习算法488接收人105的位置指示,该机器学习算法488被配置为基于从位于实体商店100中的传感器498的集合接收到的输入来跟踪人105在实体商店100中的位置。
如图7A中所示,除了显示相机馈送片段415之外,虚拟商店工具405还将滑块条705指派给视频的集合450并且将滑块条705的副本与每个相机馈送片段415一起显示。例如,虚拟商店工具405显示滑块条705的第一副本705a连同第一相机馈送片段415a、滑块条705的第二副本705b连同第二相机馈送片段415b、滑块条705的第三副本705c连同第三相机馈送片段415c,以及滑块条705的第四副本705d连同第四相机馈送片段415d。滑块条705的每个副本可以包含被配置为控制相关联的相机馈送片段415的回放进度的滑块条710。例如,滑块条705上的滑块710的位置指示相关联的相机馈送片段415的当前回放进度。滑块710的位置可以被手动调整(例如,由用户120)到与新回放时间对应的新位置。这种调整可以导致相关联的相机馈送片段的回放调整到新的回放时间。
在某些实施例中,每个相机馈送片段415的回放与其它相机馈送片段415的回放同步,使得滑块条705的任何副本上的滑块710的调整导致所有显示的相机馈送片段415的回放进度的对应调整。例如,如果滑块710在滑块条705的第一副本705a上从第一回放时间调整到第二回放时间,那么滑块710在滑块条705的第二副本705b上、滑块710在滑块条705的第三副本705c上以及滑块710在滑块条705的第四副本705d上都将类似地从第一回放时间调整到第二回放时间。这对于使用相机馈送片段415来观察顾客105在实体商店100中的购物会期的用户120来说可能是期望的。用户120可以调整相机馈送片段415的回放进度,直到用户120确定相机馈送片段415已经到达用户120的兴趣点,而不是查看相机馈送片段415的整个不间断回放。
在某些实施例中,滑块条705可以包括一个或多个标记715。例如,如图7A中所示,滑块条705可以包括位于滑块条705上的第一标记位置处并且与第一标记回放时间对应的第一标记715a,以及位于滑块条705上的第二标记位置处并且与第二标记回放时间对应的第二标记715b。第一标记715a与在第一标记回放时间发生的第一事件相关联,并且第二标记715b与在第二标记回放时间发生的第二事件相关联。第一事件和第二事件可以包括在实体商店100内发生的任何类型的事件。例如,第一事件可以与人105a从位于实体商店100中的实体货架210a中的实体搁板305a选择实体物品315a相关联。类似地,第二事件可以与人105a从位于实体商店100中的第二实体货架210b中的第二实体搁板305b选择第二实体物品315b相关联。
可以以任何合适的方式来确定滑块条705上的第一标记715a和第二标记715b的位置。作为示例,在某些实施例中,与第一标记715a相关联的第一事件和与第二标记715b相关联的第二事件可以由算法488基于从位于实体商店100内的传感器498接收的输入的集合来确定。例如,算法488可以确定第一事件发生在与第一时间戳对应的第一时间,并且第二事件发生在与第二时间戳对应的第二时间。虚拟存储工具405然后可以使用第一和第二时间戳将第一标记715a和第二标记715b放置在滑块条705上与时间戳对应的位置处。下面在图13至16的讨论中更详细地描述用于确定第一和第二事件的定时的示例算法488。标记715的使用对于使用相机馈送片段415的用户120观察顾客105在实体商店100中的购物会期可能是期望的。代替查看相机馈送片段415的整个不间断回放,用户120可以调整相机馈送片段415的回放进度,直到滑块710到达与第一标记715a或第二标记715b相关联的事件之一,以例如观察顾客105从实体商店100中的实体货架210选择实体物品315。
如上所述,在图6的讨论中,相机馈送片段415中的每一个具有从开始时间戳610持续到结束时间戳615的预定时间间隔。因而,在顾客105在实体商店100内停留的时间超过预定时间间隔的某些实施例中,可能存在来自每个布局相机490的多个相机馈送片段。例如,虚拟存储工具405可以将用于第一时间间隔、第二时间间隔、第三时间间隔和第四时间间隔的相机馈送片段415存储在存储器440中。存储器440为任何数量的时间间隔存储任何数量的相机馈送片段415。在此类实施例中,当滑块710到达滑块条705的末端时,虚拟商店工具405可以将当前显示在显示器410上的那些相机馈送片段415替换为与紧随由当前显示的相机馈送片段415的集合捕获的时间间隔之后的时间间隔对应的下一个相机馈送片段415集合。这个用与紧随由当前显示的相机馈送片段415的集合捕获的时间间隔之后的时间间隔对应的相机馈送片段415的新集合替换当前显示的相机馈送片段415的过程可以继续,直到虚拟商店工具405确定顾客105已离开实体商店100。
虚拟商店工具405可以以任何合适的方式确定顾客105已经离开实体商店100。作为示例,在某些实施例中,虚拟商店工具405可以基于从用户120接收的输入确定顾客105已经离开实体商店100。例如,在其中视频的集合450以图形用户界面700的形式显示在显示器410上的实施例中,图形用户界面700可以包括交互按钮730(例如,退出顾客按钮),用户120通过该交互按钮730可以指示他/她在相机馈送片段415上观察到顾客105离开实体商店100,如图7B中所示。作为另一个示例,虚拟商店工具405可以基于从被配置为在实体商店100内跟踪顾客105的算法488接收的信息来确定顾客105已经离开实体商店100。诸如算法488在下文中在图13至16的讨论中被更详细地描述。作为另外的示例,虚拟商店工具405可以基于从实体商店100接收的信息确定顾客105已经离开实体商店100。例如,实体商店100可以包括靠近实体商店100的出口的旋转栅门510的集合。为了打开旋转栅门510并离开实体商店100,可以要求顾客105扫描他/她用于进入实体商店100的相同QR码。扫描QR码然后可以向虚拟商店工具405发送信号,指示顾客105已经离开实体商店100。
在某些实施例中,为了帮助用户120确定哪些相机馈送片段415可能包括感兴趣的信息,虚拟商店工具405被配置为在某些时间基于在那些特定时间在那些相机馈送片段415中描绘的事件来突出显示某些相机馈送片段415。例如,如图7B中所示,虚拟商店工具405可以被配置为确定给定的相机馈送片段415a描绘在第一时间的顾客105。因而,虚拟商店工具405可以响应于确定滑块条705上的滑块710到达第一时间而突出显示相机馈送片段415a。在此,突出显示相机馈送片段415a可以包括虚拟商店工具405可以将注意力吸引到相机馈送片段415a的任何方式。例如,如图7B中所示,突出显示相机馈送片段415a可以包括围绕相机馈送片段415a放置框架720。作为另一个示例,突出显示相机馈送片段415a可以包括相对于其它相机馈送片段415增加在显示器410上描绘的相机馈送片段415a的尺寸。
在某些实施例中,用户120可以使用显示器410上显示的图形用户界面700来监视顾客105a在实体商店100中的购物会期。为了帮助这种用户120监视包括若干其他顾客105的实体商店中的特定顾客105a,虚拟商店工具405可以附加地显示当顾客105a进入实体商店100时捕获的顾客105a的图像725。例如,在实体商店100包括旋转栅门510以控制人105进入商店的某些实施例中,实体商店100可以包括被配置为在顾客105a经过旋转栅门510时拍摄顾客105a的图像725的相机。
在滑块条705包括一个或多个标记715的某些实施例中,每个标记715可以包括描述与标记715相关联的事件的元数据740。一个这样的实施例的示例在图7C中示出。如上所述,在图7A的讨论中,每个标记715a和715b可以与包括顾客105a从位于实体商店100中的实体货架210的实体搁板305选择实体物品315的事件相关联。因而,每个标记可以包括元数据740,元数据740指示指派给顾客105a选择的实体物品315的标识号745、指派给顾客105a从中选择实体物品315的实体搁板305的标识号750,和/或指派给包括顾客105a从中选择实体物品315的实体搁板305的实体货架210的标识号755。在某些实施例中,物品标识号745可以与区标识号745对应,识别顾客105a从中选择实体物品315的实体搁板305的区。下面将在图13C和13D的讨论中更详细地描述搁板区的使用。
虚拟商店工具405可以以任何合适的方式使用元数据740。例如,在某些实施例中,当滑块条705上的滑块710到达第一标记715a时,虚拟商店工具405可以使用元数据740来确定顾客105从实体货架210选择了实体物品315。因而,虚拟商店工具405可以在显示器410上显示货架相机片段425a,其中货架相机片段425a描绘实体货架210的视频。货架相机片段425a可以与相机馈送片段415a至415d同步,使得滑块条705的任何副本上的滑块710的调整导致货架相机片段425a的回放进度的对应调整。可以期望响应于滑块710到达滑块条705上的标记715而自动显示货架相机片段425a,以向用户120提供实体货架210的视图,用户120能够通过该视图观察顾客105从实体货架210选择实体物品315。在某些实施例中,用户120可以能够使用第二图形用户界面从若干潜在的货架相机495中选择货架相机495以指派给实体货架210,从而为用户120提供显示由用户120确定的实体货架210的最佳视图的货架相机片段425a。虚拟商店工具405的这个方面将在下面的图11和12的讨论中更详细地描述。
图8呈现了图示虚拟商店工具405通过其生成相机馈送片段415和425并在显示器410上显示此类片段的过程的流程图。在步骤805中,虚拟商店工具405从位于实体商店100中的布局相机490的集合接收布局相机馈送605的集合并从货架相机495的集合接收货架相机馈送620的集合。在步骤810处,虚拟商店工具405确定人105是否进入实体商店100。本公开设想虚拟商店工具405可以以任何合适的方式确定人105进入实体商店100。例如,在某些实施例中,实体商店100包括旋转栅门510,其控制人105进入商店。旋转栅门510可以在人105扫描QR码后打开,该QR码位于属于人105的物理卡或移动设备125上。因而,QR码的扫描可以生成通知,发送到虚拟商店工具405,以指示人105进入了实体商店100。作为另一个示例,在一些实施例中,算法488可以被用于基于从位于实体商店100中的传感器498接收的信息来确定人105进入了实体商店100。
如果在步骤810中虚拟商店工具405确定人105进入了实体商店100,那么在步骤815中,虚拟商店工具405将相机馈送片段415和425的集合存储在存储器440中。相机馈送片段415中的每个相机馈送片段与从开始时间戳610到结束时间戳615的相机馈送605之一的记录对应。类似地,货架相机馈送片段425中的每个货架相机馈送片段与从开始时间戳610到结束时间戳615的货架相机馈送620之一的记录对应。起始时间戳610与人105进入实体商店100的时间对应。结束时间戳615与开始时间戳610之后的预定时间间隔对应。
在步骤820中,虚拟商店工具405将滑块条705的副本指派给每个相机馈送片段415和425。滑块条705的每个副本上的滑块710随着对应的相机馈送片段415和/或425的前进而向前移动。在某些实施例中,滑块条705的副本彼此同步,使得所有相机馈送片段415和425以相同的速度一起前进。此外,在此类实施例中,滑块条705的任何副本上的滑块710的调整导致所有相机馈送片段415和425的回放进度的对应调整。这对于使用相机馈送片段415来观察顾客105在实体商店100中的购物会期的用户120来说可以是期望的。用户120可以调整相机馈送片段415的回放进度,直到用户120确定相机馈送片段415已经到达用户120的兴趣点,而不是查看相机馈送片段415的整个不间断回放。
在步骤825中,虚拟商店工具405在显示器410上呈现一个或多个相机馈送片段415和/或425,以及滑块条705的对应副本。例如,虚拟商店工具405可以在显示器410的第一区域中显示第一相机馈送片段415a以及滑块条705的第一副本705a,在显示器410的第二区域中显示第二相机馈送片段415b以及滑块条705的第二副本705b,在显示器410的第三区域中显示第三相机馈送片段415c以及滑块条705的第三副本705c,在显示器410的第四区域中显示第四相机馈送片段415d以及滑块条705的第四副本705d。虚拟商店工具405附加地播放相机馈送片段415和/或425,使得滑块条705的每个副本上的滑块710前进。
在步骤830中,虚拟商店工具405接下来确定是否针对滑块条705的副本中的任何滑块710发生了从滑块条705上的第一位置到滑块条705上的第二位置的调整,其中第一位置与第一回放时间对应,第二位置与第二回放时间对应。如果在步骤830中虚拟商店工具405确定发生了调整,那么虚拟商店工具405接下来将相机馈送片段415和425中的每一个的回放进度从第一回放时间调整到第二回放时间。
在步骤840中,虚拟商店工具405确定人105是否已经离开实体商店100。虚拟商店工具405可以以任何合适的方式确定顾客105已经离开实体商店100。作为示例,在某些实施例中,虚拟商店工具405可以基于从用户120接收到的输入确定顾客105已经离开实体商店100。例如,在相机馈送片段415和/或425以图形用户界面700的形式显示在显示器410上的实施例中,图形用户界面700可以包括交互按钮730(例如,退出顾客按钮),通过该按钮,用户120可以指示他/她在一个或多个相机馈送片段415上观察到顾客105离开实体商店100。作为另一个示例,虚拟商店工具405可以基于从被配置为在实体商店100内跟踪顾客105的算法488接收到的信息来确定顾客105已经离开实体商店100。诸如算法488在下文中在图13至16的讨论中被更详细地描述。作为另一个示例,虚拟商店工具405可以基于从实体商店100接收到的信息确定顾客105已经离开实体商店100。例如,实体商店100可以包括靠近实体商店100的出口的旋转栅门510。为了打开旋转栅门510并离开实体商店100,可以要求顾客105扫描他/她用于进入实体商店100的相同QR码。扫描QR码然后可以向虚拟商店工具405发送信号,指示顾客105已经离开实体商店100。
如果在步骤840中虚拟商店工具405确定人105尚未离开实体商店100,那么在步骤845中,虚拟商店工具405确定相机馈送片段415和425是否已经到达结束时间戳615。如果在步骤845中虚拟存储工具405确定相机馈送片段415和425尚未到达结束时间戳615,那么虚拟存储工具返回到步骤830,以确定是否对滑块条705的副本中的任何滑块710发生了从滑块条705上的第一位置到滑块条705上的第二位置的调整。另一方面,如果在步骤845中虚拟存储工具405确定相机馈送片段415和425已经到达结束时间戳615,那么虚拟存储工具405返回到步骤825并在显示器410上显示相机馈送片段415和/或425的新集合,其中相机馈送片段的新集合与在紧随与相机馈送片段415和/或425的前一集合相关联的前一时间间隔之后的时间间隔内的相机馈送605和/或620的记录对应。
可以对图8中描绘的方法800进行修改、添加或省略。方法800可以包括更多、更少或其它步骤。例如,可以并行或以任何合适的次序执行步骤。虽然被讨论为虚拟商店工具405(或其组件)执行这些步骤,但是系统400的任何合适组件(诸如(一个或多个)设备115)可以执行方法的一个或多个步骤。
IV.购物会期的虚拟模拟
如上所述,相机馈送片段415和425可以与虚拟布局205结合使用,以便虚拟模拟发生在实体商店100中并由相机馈送片段415和/或425捕获的购物会期。例如,在某些实施例中,相机馈送片段415和425连同虚拟布局205可以以图形用户界面700的形式呈现给用户120。在此,相机馈送片段415和425可以被指派给顾客105并且捕获顾客105在实体商店100中的购物会期。用户120可以监视相机馈送片段415和425以查看顾客120从实体货架210选择实体物品315。因而,用户120可以用虚拟物品320填充虚拟购物车420,虚拟物品320表示顾客105选择的实体物品315,使得在顾客105的购物会期结束时,虚拟购物车420可以包括用于顾客105选择的每个实体物品315的虚拟物品320。
图9A至9D呈现了显示在显示器410上的图形用户界面700的另外的示例,其可以被用于虚拟地模拟发生在实体商店100中并由相机馈送片段415和425捕获的购物会期。如图9A中所示,虚拟商店工具405可以在显示器410的第一区域955中显示相机馈送片段415,如上文在图7A至7C的讨论中所描述的。虚拟商店工具405可以附加地在显示器410的第二区域960中显示虚拟布局205。虚拟布局205被配置为模拟实体商店100的物理布局200。如图9A中所示,虚拟布局205包括虚拟货架230的集合。本公开设想虚拟布局205可以包括任何数量的虚拟货架230,其中显示在虚拟布局205上的虚拟货架230的数量与实体商店100中的实体货架210的数量对应。虚拟布局205中的虚拟货架230的布局被配置为模拟实体商店100中对应实体货架210的布置。
a.接收事件的指示
如图9B中所示,虚拟商店工具405可以接收与位于实体商店100中的实体货架210a相关联的事件的指示。在某些实施例中,与实体货架210a相关联的事件可以包括顾客105与实体货架210a交互。例如,与实体货架210a相关联的事件可以包括顾客105a接近实体货架210a,和/或从实体货架210a选择实体物品315f。事件的指示可以包括由虚拟商店工具405接收到的任何合适的指示。例如,在某些实施例中,事件的指示可以包括响应于看到顾客105接近和/或与实体货架210a交互,用户120在虚拟布局205中选择虚拟搁板230a。作为另一个示例,事件的指示可以包括滑块条705上的滑块710到达标记715,其中标记715通过元数据740指示与事件相关联的实体货架210。作为另外的示例,在某些实施例中,事件的指示可以包括从算法488接收信息,该算法488被配置为基于从位于实体商店100中的传感器498接收到的输入来确定顾客105接近实体货架210a和/或从中选择了物品315。
在其中用户120可以使用显示器410上显示的图形用户界面700来监视顾客105在实体商店100中的购物会期的某些实施例中,虚拟商店工具405可以基于相机馈送片段415和/或425的当前回放进度在虚拟布局205上显示顾客105的预测的位置950。预测的位置950可以与如算法488确定的顾客105在物理布局200中的可能位置对应,该算法488被配置为基于在与相机馈送片段415和/或425的当前回放进度对应的物理时间从位于实体商店100中的传感器498接收到的输入来跟踪实体商店100中的顾客105。这可以帮助用户120监视包括若干其他顾客105的实体商店中的特定顾客105a。虽然在图9B中被示为虚拟布局205上的点950,但是顾客105的预测的位置可以以任何合适的方式呈现在虚拟布局205上。例如,预测的位置可以是一条线,包括顾客105的预测的路径。在此类实施例中,事件的指示可以包括响应于看到顾客105接近实体货架210a和/或与之交互和/或看到在虚拟布局205上顾客105的预测的位置950指示顾客105接近实体货架210a,用户120在虚拟布局205中选择虚拟搁板230a。
响应于接收到事件的指示,虚拟商店工具405可以在显示器410的第三区域905中显示与和事件相关联的实体货架210a对应的虚拟货架230a,其中虚拟货架230a被配置为模拟实体货架210a。在某些实施例中,显示器410的第三区域905可以位于虚拟布局205的右侧。在某些实施例中,响应于接收到与实体货架210a相关联的事件的指示,虚拟商店工具405可以在虚拟布局205中附加地突出显示虚拟货架230a。突出显示虚拟货架230a可以包括将虚拟货架230a与其它虚拟货架230b至230k区分开来的任何方法。例如,如图9B中所示,突出显示虚拟货架230a可以包括围绕虚拟货架230a放置框架。突出显示虚拟货架230a可以附加地包括将颜色应用于虚拟货架230a,和/或将虚拟货架230a与其余虚拟货架230b至230k区分开的任何其它合适方法。
如图9B中所示,显示在显示器410的第三区域905中的虚拟货架230a包括虚拟物品320a至320h的集合。虚拟物品320a至320h被配置为模拟存储在实体货架210a上的实体物品。在某些实施例中,虚拟物品320a至320h作为物品的列表显示在第三区域905中,其中列表中的物品的名称与存储在实体货架210a上的实体物品315a至315h的名称对应。在其它实施例中,显示在第三区域905中的虚拟货架230a的外观被配置为模拟实体货架210a的外观。例如,第一虚拟搁板310a被配置为模拟第一实体搁板305a,第二虚拟搁板310b被配置为模拟第二实体搁板305b,第三虚拟搁板310c被配置为模拟第三实体搁板305c。特别地,第一虚拟物品320a位于第一虚拟搁板310a的第一区330a中以模拟位于第一实体搁板305a的第一区325a中的第一实体物品315a的位置。类似地,第二虚拟物品320b位于第一虚拟搁板310a的第二区330b中,在第一虚拟物品320a的右侧,以模拟位于第一实体搁板305a的第二区325b中的第二实体物品315b的位置,并且第三虚拟物品320c位于第一虚拟搁板310a的第三区330c中,在第二虚拟物品320b的右侧,以模拟位于第一实体搁板305a的第三区325c中的第三实体物品315c的位置。虚拟物品320d至320f类似地位于第二虚拟搁板310b上以模拟位于第二实体搁板305b上的实体物品315d至315f的位置,并且虚拟物品320g和320h位于第三虚拟搁板310c上以模拟位于第三实体搁板305c上的实体物品315g和315h的位置。为了进一步模拟实体物品315,每个虚拟物品320可以包括对应实体物品315的图形表示。
除了在显示器410的区域905中显示虚拟货架230a之外,响应于接收到与实体货架210a相关联的事件的指示,虚拟商店工具405还可以在显示器410的第四区域970中显示货架相机片段425a,如图9C中所示。在某些实施例中,显示器410的第四区域970在第三区域905的右侧。货架相机片段425a描绘在事件发生的时间间隔期间的实体货架210a。例如,在事件包括顾客105接近实体货架210a的实施例中,货架相机片段425a描绘顾客105接近实体货架210a。作为另一个示例,在其中事件包括顾客105从实体货架210a选择物品315f的实施例中,货架相机片段425a描绘顾客105从实体货架210a选择物品315f。
货架相机片段425a可以与相机馈送片段415a至415f同步,使得滑块条705的任何副本上的滑块710的调整导致货架相机片段425a的回放进度的对应调整。响应于接收到事件的指示而显示货架相机片段425a可以是期望的,以向用户120提供实体货架210a的视图,通过该视图,用户120能够观察顾客105接近实体货架210a和/或与其交互。例如,货架相机片段425a可以帮助用户120查看顾客105是否从实体货架210a中选择了物品315。用户120然后可以使用这个信息来填充虚拟购物车420,如下面在图9D的讨论中进一步详细描述的。在某些实施例中,用户120可以能够选择货架相机495以指派给实体货架210以向用户120提供货架相机片段425a,该货架相机片段425a显示由用户120确定的实体货架210a的最佳视图。虚拟商店工具405的这个方面将在下面的图11和12的讨论中更详细地描述。
b.接收识别所选择的物品的信息
在事件包括人105从实体搁板210a选择物品的某些实施例中,事件的指示可以包括识别人105选择的物品的信息。例如,如果事件包括人105从实体货架210a选择实体物品315f,那么虚拟商店工具405接收到的事件指示可以包括识别实体物品315f和/或虚拟物品320f的信息。作为示例,在某些实施例中,实体货架210a的每个实体搁板305包括耦合到实体搁板305的区325的重量传感器1300的集合,如下面在图13B至13D的讨论中描述的。当人105从实体搁板305移走物品315时,耦合到物品315所在的实体搁板305的区325的重量传感器1300可以将信息发送到虚拟商店工具405(或者直接地,或者通过系统400的其它组件(诸如外部系统485)),指示物品315已经从实体货架210a的实体搁板305被选择。虚拟商店工具405可以使用这个信息来突出显示在显示器410的第三区域905中显示的虚拟货架230a上的对应虚拟物品320。例如,耦合到实体货架210a的第二实体搁板305b的第三区的重量传感器可以向虚拟商店工具405发送指示物品315f已经从实体货架210a的第二实体搁板305b的第三区被移走的信息。
作为另一个示例,在某些实施例中,事件的指示可以包括滑块条705上的滑块710到达标记715。如上所述,在图7C的讨论中,标记715可以包括元数据740。元数据740可以包括指示指派给顾客105选择的实体物品315的标识号745、指派给顾客105从中选择实体物品315的实体搁板305的标识号750、和/或指派给包括顾客105从中选择实体物品315的实体搁板305的实体货架210的标识号755的信息。例如,当滑块条705上的滑块710到达标记715a时,虚拟商店工具405可以读取指派给标记715a的元数据740,以识别人105从实体货架210a的第二实体搁板305b中选择了实体物品315f。可以以任何合适的方式将标记715添加到滑块条705。例如,在某些实施例中,虚拟显示工具405基于从算法488接收到的信息将标记715添加到滑块条705,该算法488被配置为基于从位于实体商店100中的传感器498接收到的输入来跟踪实体商店100中的顾客105并确定每个顾客105选择的实体物品315。
响应于接收到将实体物品315f识别为由人105从实体货架210a选择的实体物品的信息,虚拟商店工具405可以突出显示位于虚拟货架230a的第二虚拟搁板310b上的第六虚拟物品320f。突出显示第六虚拟物品320f可以包括将第六虚拟物品320f与其余虚拟物品320区分开来的任何方法。例如,突出显示第六虚拟物品320f可以包括在第六虚拟物品320f周围放置框架,如图9C中所示,与其它虚拟物品320相比放大第六虚拟物品320f,和/或区分第六虚拟物品320f与其余虚拟物品320的任何其它合适的方法。
c.填充虚拟购物车
在某些实施例中,由虚拟商店工具405在显示器410上显示的图形用户界面700可以附加地包括虚拟购物车420,如图9D中所示。通过存储与人105在他/她的购物会期期间选择的实体物品315对应的虚拟物品320,虚拟购物车420可以被用于进一步模拟顾客105在实体商店100中的购物会期。虚拟商店工具405可以在显示器410的第五区域965中显示虚拟购物车420。在某些实施例中,显示器410的第五区域965位于显示在显示器410的第三区域905中的虚拟货架230b与货架相机片段425a之间。
在某些这样的实施例中,接收将实体物品315f识别为由人105从实体货架210a选择的实体物品的信息可以包括接收与将与实体物品315f对应的虚拟物品320f从显示在区域905中的虚拟货架230a拖放到虚拟购物车420相关联的信息。例如,用户120可以在相机馈送片段415a至415f和/或货架相机馈送片段425a上观察到顾客105选择实体物品315f。因而,用户120可以从虚拟货架230a选择虚拟物品320f,其中虚拟物品320f与实体物品315f对应并且被配置为模拟实体物品315f。用户120然后可以将虚拟物品320f拖到虚拟购物车420并且将虚拟物品320f放到虚拟购物车420中。为了帮助用户120在相机馈送片段415a至415f和/或货架相机馈送片段425a上观察顾客105选择实体物品315,在某些实施例中,用户120可以通过选择相机馈送片段415a至415f和/或货架相机馈送片段425a而使任何显示的相机馈送片段415a至415f和/或货架相机馈送片段425a大于其它的馈送片段。例如,用户120可以点击给定的相机馈送片段415或425,以指示虚拟商店工具405增加在显示器410上呈现的片段的尺寸。
响应于接收到将实体物品315f识别为人105从实体货架210a选择的实体物品的信息—或者从元数据740、耦合到实体搁板305b的重量传感器1300、将虚拟物品320f拖放到虚拟购物车420中,和/或接收识别实体物品315f的信息的任何其它合适方法—虚拟商店工具405可以将与实体物品315f对应的虚拟物品320f存储在虚拟购物车420中。虚拟购物车420可以存储任何数量的虚拟物品320。例如,随着相机馈送片段415和425的回放进行,虚拟商店工具405可以接收将附加的不同的实体物品315识别为已由人105从实体货架210选择的另外的信息。实体货架210可以与实体货架210a相同或不同于实体货架210a。响应于接收到识别附加实体物品315的信息,虚拟商店工具405可以将与附加实体物品315对应的附加虚拟物品320存储在虚拟购物车420中。这个过程可以重复任何次数,诸如与相机馈送片段415和425指示人105从实体货架210选择实体物品315的次数对应的次数。
如图9D中所示,在某些实施例中,虚拟购物车420可以将每个虚拟物品320显示为对应实体物品315的图形表示和/或对应实体物品315的文本描述910。虚拟购物车420还可以指示包含在虚拟购物车420中的每个虚拟物品320f的数量915。例如,虚拟购物车420可以指示两个虚拟物品320f的数量915,以模拟顾客105从实体搁板210a选择两个实体物品315f的事实。每个虚拟物品320的数量915可以以任何合适的方式增加。例如,在某些实施例中,可以通过将与实体物品315f对应的虚拟物品320f从显示在区域905中的虚拟货架230a拖放到虚拟购物车420多次来增加虚拟物品320f的数量915。作为另一个示例,在一些实施例中,虚拟物品320f的数量915可以通过用户120通过添加按钮925与图形用户界面700交互来增加。类似地,虚拟物品320f的数量915可以通过用户120通过减去按钮925与图形用户界面700交互来减少。用户120还可以通过垃圾按钮930与图形用户界面700交互来从虚拟购物车420中移除虚拟物品320f。
在顾客105在实体商店100中的购物会期结束时(即,当虚拟商店工具405确定顾客105已经离开实体商店100时),虚拟购物车420可以被用于向顾客105收取由顾客105在他/她的购物会期期间选择的实体物品315的费用,并向顾客105发送收据。此外,虚拟购物车420可以被用于验证算法488基于从位于实体商店100中的传感器498接收的输入对顾客105在他/她的购物会期期间选择的实体物品315所作的确定。虚拟商店工具405的这些方面将在下面在图13至16的讨论中更详细地描述。
d.用于虚拟地模拟实体购物会期的方法
图10呈现了图示虚拟商店工具405使用虚拟布局205和从实体商店100接收的相机馈送片段415和/或425并捕获购物会期来模拟顾客105在实体商店100中的购物会期的方式的流程图。在步骤1005,虚拟商店工具405显示虚拟商店110的虚拟布局205。虚拟布局205被配置为模拟实体商店100的物理布局200。特别地,虚拟布局205上的虚拟货架230的布置被配置为模拟实体商店100中的实体货架210的物理布局200。
在步骤1010中,虚拟商店工具405确定该工具是否已经接收到与在实体商店100的购物会期期间人105与实体商店100的实体货架210的交互相关联的事件的指示。这个事件可以包括顾客105接近实体货架210和/或从实体货架210选择实体物品315。事件的指示可以包括指示顾客105与实体货架210交互的任何合适信息。例如,在某些实施例中,事件的指示可以包括响应于在相机馈送片段415的集合上看到顾客105接近实体货架210和/或从其选择实体物品315,用户120在虚拟布局205中选择虚拟搁板230,相机馈送片段是由从位于实体商店100中并捕获顾客105的购物会期的布局相机490接收的相机馈送605生成的。作为另一个示例,在某些实施例中,事件的指示可以包括滑块条705上指派给相机馈送片段415的滑块710到达标记715。标记715可以包括指示与事件相关联的实体货架210的元数据740。作为另外的示例,事件的指示可以包括从算法488接收信息,该算法488被配置为基于从位于实体商店100中的传感器498接收的输入来确定顾客105接近实体货架210和/或从其选择了物品315。
如果在步骤1010中虚拟商店工具405接收到与人105与实体货架210交互的事件的指示,那么在步骤1015中,虚拟商店工具405在显示器410的区域905中显示与实体货架210对应的虚拟货架230(即,被配置为模拟实体货架210)。此外,在步骤1015中,虚拟商店工具405显示从指派给实体货架210的货架相机495接收的货架相机馈送620生成的货架相机片段425。货架相机片段425描绘在事件发生的时间间隔期间的实体货架210。
在步骤1020中,虚拟商店工具405确定工具是否已经接收到识别第一虚拟物品320的信息。作为示例,在某些实施例中,实体货架210的每个实体搁板305包括重量传感器1300的集合,其耦合到实体搁板305的区,如下面在图13B至13D的讨论中描述的。当人105从实体搁板305移走物品315时,耦合到物品315所在的实体搁板305的区的重量传感器1300可以将信息发送到虚拟商店工具405(或者直接地,或者通过系统400的其它组件(诸如外部系统485)),指示物品315已经从实体货架210a的实体搁板305被选择。作为另一个示例,在某些实施例中,事件的指示可以包括滑块条705上的滑块710到达标记715a或715b。如上面在图7C的讨论中所描述的,标记715a和715b可以包括元数据740。元数据740可以包括指示指派给顾客105选择的实体物品315的标识号745、指派给顾客105从中选择实体物品315的实体搁板305的标识号750,和/或指派给包括顾客105从中选择实体物品315的实体搁板305的实体货架210的标识号755的信息。因而,当滑块条705上的滑块710到达标记715时,虚拟商店工具405可以通过读取指派给标记715的元数据740来接收识别实体物品315的信息,以识别人105从实体货架210的实体搁板305中选择了实体物品315。可以以任何合适的方式将标记715添加到滑块条705。例如,在某些实施例中,虚拟显示工具405基于从算法488接收的信息将标记715添加到滑块条705,该算法488被配置为基于从位于实体商店100中的传感器498接收到的输入来跟踪实体商店100中的顾客105并确定每个顾客105选择的实体物品315。作为另外的示例,接收识别实体物品315/虚拟物品320的信息可以包括接收与将被配置为模拟实体物品315的虚拟物品320从显示在显示器410的区域905中的虚拟货架230拖放到虚拟购物车420相关联的信息。
如果在步骤1025中虚拟商店工具405确定工具已经接收到识别第一虚拟物品320/实体物品315的信息,那么在步骤1030中,虚拟商店工具405将第一虚拟物品320存储在虚拟购物车420中。在步骤1035中,虚拟商店工具405确定顾客105的购物会期是否已经结束(即,顾客105是否已经离开实体商店100)。虚拟商店工具405可以以任何合适的方式确定顾客105已经离开实体商店100。作为示例,在某些实施例中,虚拟商店工具405可以基于从用户120接收到的输入来确定顾客105已经离开实体商店100。例如,在其中相机馈送片段415和/或425显示在显示器410上的图形用户界面700上的实施例中,图形用户界面700可以附加地包括交互按钮730(例如,退出顾客按钮),通过该按钮730,用户120可以指示他/她在相机馈送片段415和/或425中的一个或多个上观察到顾客105离开实体商店100。作为另一个示例,虚拟商店工具405可以基于从算法488接收到的信息来确定顾客105已经离开实体商店100,该算法488被配置为在实体商店100内跟踪顾客105。作为另一个示例,虚拟商店工具405可以基于从实体商店100接收到的信息确定顾客105已经离开实体商店100。例如,实体商店100可以包括位于实体商店100出口附近的旋转栅门510的集合。为了打开旋转栅门510并离开实体商店100,可以要求顾客105扫描他/她用于进入实体商店100的相同QR码。扫描QR码然后可以向虚拟商店工具405发送信号,指示顾客105已经离开实体商店100。在某些实施例中,响应于确定顾客105已经离开实体商店100,虚拟商店工具105向顾客105的设备125发送通知,指示顾客105应当预期在设定的时间段内接收他/她在实体商店105中的购物会期的收据。
如果在步骤1035中虚拟商店工具405确定顾客105在实体商店100中的购物会期尚未结束,那么虚拟商店工具405返回到步骤1010,以确定顾客105是否已经从实体货架210选择了任何附加物品315。具体而言,虚拟商店工具405确定工具是否已经接收到与顾客105与另一个实体货架210交互的事件相关联的指示。实体货架210可以是与虚拟商店工具405先前确定顾客105交互的实体货架相同或不同的实体货架。以这种方式,虚拟商店工具405可以用任何数量的虚拟物品320填充虚拟购物车420。
另一方面,如果在步骤1035中虚拟商店工具405确定购物会期已经结束,那么在步骤1040中,虚拟商店工具405基于在虚拟购物车420中存储的虚拟物品320,向顾客105收取顾客105在购物会期期间选择的物品315的费用,并生成收据。下面在图14的讨论中更详细地描述虚拟商店工具405生成收据的方式。为了向顾客105收费,本公开设想虚拟商店工具405可以根据指派给顾客105的标识号455将由于顾客105的支付信息存储在存储器440中。接下来,在步骤1045中,虚拟商店工具405将收据发送给顾客105。
可以对图10中描绘的方法1000进行修改、添加或省略。方法1000可以包括更多、更少或其它步骤。例如,可以并行或以任何合适的次序执行步骤。虽然讨论为虚拟商店工具405(或其组件)执行这些步骤,但是系统400的任何合适组件(诸如(一个或多个)设备115)可以执行该方法的一个或多个步骤。
V.虚拟布局创建
在某些实施例中,虚拟商店工具405的布局创建器460被配置为显示第二图形用户界面1100,通过该第二图形用户界面1100,用户120可以生成被配置为模拟实体商店100的物理布局200的虚拟布局205。图11A和11B图示了这种图形用户界面1100的示例实施例。
a.将虚拟货架放置在虚拟布局上以模拟实体货架的物理布局
响应于接收到与位于实体商店100中的实体货架210相关联的位置和朝向的集合,虚拟商店工具405的布局创建器460可以生成被配置为模拟实体商店的物理布局200的虚拟布局205。布局创建器460可以以任何合适的方式接收位置和朝向的集合。例如,通过用户120在图形界面1100上创建虚拟货架230,然后将虚拟货架230拖放到虚拟布局205上的给定位置和/或将虚拟货架230旋转到虚拟布局205上的给定朝向,虚拟商店工具405可以通过图形界面1100从用户120接收位置和朝向。作为另一个示例,布局创建器460可以从上传到虚拟商店工具405的文件接收位置和朝向。例如,用户120可以使用图形用户界面1100上的“将你的文件放在这里”按钮1150来上传包括位置和朝向的文件。该文件可以包括列表,列表包括位置和角度对。在某些实施例中,每个位置可以指定实体商店100中实体搁板210的质心位置。在一些实施例中,每个位置可以指定实体商店100中实体搁板210的给定拐角的位置。可以根据叠加在物理布局200上的任何坐标系来指定位置。例如,可以将每个位置指定为具有位于实体商店100中间的原点的笛卡尔坐标系的(x,y)坐标。在某些实施例中,每个朝向可以指定实体搁板210相对于给定方向的角度。例如,每个朝向可以指定实体搁板210相对于先前示例的笛卡尔坐标系的x轴的角度。在某些实施例中,对于每个实体搁板210,文件可以附加地包括实体搁板210的长度和宽度。
响应于接收到位置和朝向,布局创建器460将每个虚拟货架230放置在虚拟布局205上虚拟位置并且具有虚拟朝向。在此,虚拟布局205上给定虚拟货架230的虚拟位置和虚拟朝向表示物理布局200中对应实体货架210的物理位置和物理朝向。虽然图11A图示了包括十一个虚拟货架230的示例,但是本公开设想虚拟布局205可以包括任何数量的虚拟货架230。在某些实施例中,虚拟商店工具根据商店标识号1105将结果所得的虚拟布局205存储在存储器440中。此外,布局创建器460可以根据货架标识号755将虚拟布局205的每个虚拟货架230存储在存储器440中。
响应于接收到虚拟布局205上的任何虚拟搁板230的新位置和/或朝向,虚拟布局工具405还可以修改给定的虚拟布局205。在由虚拟布局205模拟的物理布局200已经改变的情况下,修改虚拟布局205可以是期望的。布局创建器460可以以任何合适的方式接收虚拟搁板230的新位置和/或新朝向。例如,布局创建器460可以从文件中读取新位置和/或朝向。该文件可以使用指派给虚拟货架230a的标识号755a为虚拟货架230a指定新位置和/或朝向。例如,对于每个虚拟货架230,该文件可以包括指派给虚拟货架230的标识号755、货架的新位置的笛卡尔坐标(x,y),以及相对于x轴测得的角度,指定货架的新朝向。作为另一个示例,布局创建器460可以基于从图形用户界面1100接收到的输入来接收虚拟货架230的新位置和/或朝向。例如,如图11A中所示,布局创建器460可以接收表示将虚拟货架230k从虚拟布局205上的第一位置拖动到虚拟布局205上的新位置1130的输入。响应于接收到这种输入,布局创建器460可以将虚拟货架230k放置在新的虚拟位置1130,如图11B中所示。作为另一个示例,虚拟商店工具205可以接收表示虚拟货架230从第一朝向旋转到新朝向的输入。响应于接收到这种输入,布局创建器460可以以这个新朝向将虚拟货架230放置在虚拟布局205上。
b.将虚拟物品放置在虚拟货架上以模拟位于实体货架上的实体物品
除了在虚拟布局205上放置虚拟货架230之外,布局创建器460可操作以用虚拟物品320填充虚拟货架230。例如,布局创建器460可以接收指定要放置在实体商店100中的每个实体货架210上的实体物品315的货架图。例如,对于每个实体货架210,货架图可以包括要放置在实体货架210上的实体物品315的列表。对于每个实体物品315,该列表可以指定实体物品315将被放置在其上的实体货架210的搁板305,以及实体物品315将被放置在其上的每个搁板305的区325。响应于接收到货架图,布局创建器460可以将对应的虚拟物品320放置在虚拟搁板230上。作为另一个示例,布局创建器460可以接收每个虚拟货架230的虚拟物品320的列表,其中列表中的每个虚拟物品320与实体物品315相关联。这种列表可以为模拟实体物品315的每个虚拟物品320指定商店标识号1105、货架标识号755、搁板标识号750和/或区标识号745。在此,商店标识号1105识别存储实体物品315的实体商店100,货架标识号755识别实体商店100中保持实体物品315的实体货架210,搁板标识号750识别其上放置有实体物品315的实体货架210的实体搁板305,并且区标识号745识别容纳实体物品315的实体搁板305的区。在某些实施例中,区标识号745可以与传感器498的传感器标识号对应,该传感器498耦合到容纳实体物品315的实体搁板305的区。布局创建器460然后可以根据商店标识号1105、货架标识号755、搁板标识号750和区标识号745将虚拟物品320存储在存储器440中,其中布局创建器460已将商店标识号1105指派给虚拟布局205,将货架标识号755指派给虚拟货架230,将搁板标识号750指派给虚拟搁板310,以及将区标识号745指派给被配置为模拟容纳实体物品315的实体搁板305的物理区的虚拟区310。下面在图13C和13D的讨论中更详细地描述将实体搁板305和虚拟搁板310划分为区。
作为另一个示例,布局创建器460可以从包括物品的可滚动列表的下拉菜单接收虚拟物品320以存储在给定虚拟货架230上。这种下拉菜单1135的示例在图11B中示出。如图11A和11B中所示,用户120可以从下拉菜单1135中为给定的虚拟搁板230选择实体物品名称1130。作为响应,布局创建器460可以将与具有实体物品名称1130的实体物品315相关联的虚拟物品320存储在虚拟搁板230中。
第二图形用户界面1100还可以被用于将货架相机495指派给虚拟布局205中的每个虚拟货架230。如图11A和11B中所示,布局创建器460可以通过第二图形用户界面1100向用户120呈现货架相机馈送片段425a至425f的集合。每个货架相机馈送片段425是根据从位于实体商店100中的货架相机495接收的货架相机馈送620生成的。在某些实施例中,用户120可以选择货架相机495以指派给虚拟货架230。用户120可以基于货架相机馈送片段425a至425f中的哪一个向用户120提供由用户120确定的(被虚拟货架230模拟的)实体货架210的最佳视图来选择给定货架相机495。用户120可以以任何合适的方式选择货架相机495。作为示例,在某些实施例中,用户120可以通过点击由货架相机495生成并显示在第二图形用户界面1100上的货架相机片段425来将给定货架相机495指派给虚拟货架230。例如,用户120可以点击货架相机片段425a以将生成货架相机片段425a的货架相机495a指派给虚拟货架230a。响应于用户120点击货架相机片段425a,布局创建器460可以将指派给货架相机495a的货架相机标识号1125a与虚拟货架230a相关联。
第二图形用户界面1100可以被用于生成任何数量的虚拟布局205,布局创建器460可以根据商店标识号1105将其存储在存储器440中。虚拟商店工具405稍后可以使用相关联的商店标识号1105检索给定的虚拟布局205,并且在显示器410上显示虚拟布局205。
布局创建器460可以是存储在存储器440中并由处理器435执行的软件模块。布局创建器460的操作的示例如下:(1)接收与位于实体商店100中的实体货架210相关联的位置和朝向的集合;(2)对于每个接收到的位置和朝向,将虚拟货架230放置在虚拟布局205上表示物理布局200中对应实体货架210的物理位置和物理朝向的虚拟位置和虚拟朝向处;(3)如果接收到与虚拟货架230的新位置相关联的输入,那么将虚拟货架230放置在虚拟布局205上的新位置处;(4)如果接收到与虚拟货架230的新朝向相关联的输入,那么以新朝向将虚拟货架230放置在虚拟布局205上;(5)对于每个虚拟货架230,接收虚拟物品的集合320,并将虚拟物品的集合320放置在虚拟货架230上;(6)对于每个虚拟货架230,将货架相机495指派给虚拟货架。
c.生成虚拟布局的方法
图12呈现了图示虚拟商店工具405可以生成虚拟布局205的方式的流程图,该虚拟布局205被配置为模拟实体商店100的物理布局200。在步骤1205中,虚拟商店工具405将虚拟货架230的集合放置在虚拟布局205上的虚拟位置处并具有虚拟朝向,其中选择虚拟货架230的虚拟位置和虚拟朝向以模拟实体商店100中的实体货架210的物理位置和物理朝向。虚拟商店工具405可以以任何合适的方式接收虚拟位置和虚拟朝向。例如,虚拟商店工具405可以通过图形用户界面1100从用户120接收位置和朝向。作为另一个示例,虚拟商店工具405可以从上传到虚拟商店工具405的文件接收位置和朝向。
在步骤1210中,虚拟商店工具405确定是否接收到表示将虚拟货架230拖到新虚拟位置的输入。如果在步骤1210中虚拟商店工具405确定接收到表示将虚拟货架230拖到新虚拟位置的输入,那么在步骤1215中,虚拟商店工具405将虚拟搁板230放置在新的虚拟位置处并前进到步骤1220。另一方面,如果在步骤1210中虚拟商店工具405没有确定接收到表示将虚拟货架230拖到新的虚拟位置的输入,那么虚拟商店工具405简单地前进到步骤1220。
在步骤1220中,虚拟商店工具405确定是否接收到表示虚拟货架230从初始朝向旋转到新朝向的输入。如果在步骤1220中虚拟商店工具405确定接收到表示虚拟货架230从初始朝向旋转到新朝向的输入,那么在步骤1225中虚拟商店工具405将虚拟货架230的朝向从初始朝向调整到新朝向,并前进到步骤1230。另一方面,如果在步骤1220中虚拟商店工具405确定没有接收到表示虚拟货架230从初始朝向旋转到新朝向的输入,那么虚拟商店工具405前进到步骤1230。
在步骤1230中,虚拟商店工具405为每个虚拟货架230接收指派给虚拟搁板230的虚拟物品的集合320。虚拟商店工具405可以以任何合适的方式接收虚拟物品的集合320。例如,虚拟商店工具405可以接收货架图,该货架图指定要放置在实体商店100中的每个实体货架210上的实体物品315。例如,对于每个实体货架210,货架图可以包括要放置在实体货架上的实体物品315的列表。对于每个实体物品315,列表可以指定实体物品315将被放置在其上的实体货架210的搁板305,以及实体物品315将被放置在其上的每个搁板305的区325。作为另一个示例,虚拟商店工具405可以从显示器410上显示的下拉菜单1135接收虚拟物品320。下拉菜单1135可以包括实体物品315的列表,用户120可以从中选择要放置在每个虚拟货架230上的一个或多个物品。下拉菜单1135可以包括任何数量的实体物品315的可滚动列表。响应于从下拉菜单1135接收到对实体物品315的选择,虚拟商店工具405可以识别对应的虚拟物品320。在虚拟商店工具405已经在步骤1235中接收到虚拟物品的集合320之后,虚拟商店工具405将虚拟物品的每个集合320放置在对应的虚拟货架230上。
在步骤1240中,虚拟商店工具405为每个虚拟货架230指派货架相机495。虚拟商店工具405可以以任何合适的方式将货架相机495指派给每个虚拟货架230。例如,在某些实施例中,用户120可以选择货架相机495以指派给虚拟货架230。用户120可以基于货架相机馈送片段425a到425f中的哪一个向用户120提供如用户120所确定的对应实体货架210的最佳视图,来为虚拟货架230选择给定的货架相机495。在步骤1245中,虚拟存储工具405将虚拟布局205存储在存储器440中。在某些实施例中,虚拟商店工具405可以根据商店标识号1105将虚拟布局205存储在存储器440中。
可以对图12中描绘的方法1200进行修改、添加或省略。方法1200可以包括更多、更少或其它步骤。例如,可以并行或以任何合适的次序执行步骤。虽然讨论为虚拟商店工具405(或其组件)执行这些步骤,但是系统400的任何合适组件(诸如(一个或多个)设备115)可以执行方法的一个或多个步骤。
VI.与被配置为跟踪实体商店中的顾客的外部算法结合使用
虚拟商店工具405可以与由外部系统485生成的算法488结合使用,并且被配置为跟踪顾客105并基于从位于实体商店100中的传感器498接收到的输入来确定在给定顾客105a在实体商店100中的购物会期期间由顾客105a选择的物品315。例如,虚拟商店工具405可以被用于验证算法488做出的确定和/或帮助提高算法488的准确性。图13至16被用于描述虚拟商店工具405的这个方面。
a.算法输入传感器
如上所述,外部算法488被配置为跟踪顾客105并基于从位于实体商店100中的传感器498接收到的输入来确定顾客105在实体商店100中的购物会期期间选择的物品。本公开设想实体商店100可以包括任何类型的合适传感器498。例如,实体商店100可以包括相机、光检测和测距传感器、毫米波传感器、重量传感器和/或任何其它合适的传感器,它们可操作以跟踪实体商店100中的顾客105并检测与顾客105从实体商店100选择一个或多个物品相关联的信息。
图13A至13D呈现了其中实体商店100包括相机1305和用于传感器498的重量传感器1300两者的实施例的示例。本公开设想外部系统485可以使用算法488处理从相机1305接收到的位置信息和从重量传感器1300接收到的重量信息,以确定哪些顾客105从位于实体商店100的实体展示货架210移走了哪些物品。以这种方式,外部系统485可以在实体商店100中的购物会期期间生成由算法488确定为已被顾客105选择的物品的算法购物车。
如图13A中所看到的,实体商店100的内部可以包括定位在商店100的天花板上的相机1305的阵列。在某些实施例中,这个相机1305的阵列可以包括布局相机490和/或货架相机495。在其它实施例中,相机1305的阵列与布局相机490和货架相机495分开。一般而言,相机1305的阵列产生实体商店100内部部分的视频。这些视频可以包括空间内顾客105的帧或图像。外部系统485处理来自相机1305的阵列的这些帧以检测帧内的顾客105。
如图13A中所示,相机1305的阵列可以包括以网格图案布置在实体商店100的天花板上的相机1305。虽然本公开示出了包括五十个相机1305的相机1305的阵列,但是相机1305的阵列可以包括任何合适数量的相机1305。一般而言,相机1305的阵列中的相机1305被布置为形成矩形阵列。在图13A的示例中,相机1305的阵列是相机1305的5×10阵列(例如,五行十列的相机1305)。相机1305的阵列可以布置为任何合适维度的阵列。
每个相机1305通信耦合到外部系统485并且将捕获的视频传送到外部系统485。相机1305以任何合适的方式通信耦合到外部系统485。例如,相机1305可以硬连线到外部系统485的组件。作为另一个示例,相机1305可以使用任何合适的无线协议(例如,WiFi)无线耦合到外部系统485。
相机1305可以是用于捕获实体商店100的内部空间的视频的任何合适设备。例如,相机1305可以是可以捕获空间的二维视频(例如,x-y平面)并且还检测视频中的人和/或物体的高度的三维相机。作为另一个示例,相机1305可以是捕获空间的二维视频的二维相机。相机1305的阵列可以包括不同类型的相机1305的混合。
图13B呈现了示例重量传感器1300,其可以耦合到实体商店100的实体货架210的搁板305以检测放置在搁板305上的物品315的重量。重量传感器1300然后可以将这个信息传送到外部系统485。外部系统485跟踪由重量传感器1300检测到的重量以确定物品315是否以及何时从实体货架210被移走。
如图13B中所看到的,重量传感器1300包括板1315a和1315b,称重传感器1310a、1310b、1310c和1310d,以及线1320a、1320b、1320c、1320d和1325。一般而言,重量传感器1300的组件被组装成使得重量传感器1300可以检测定位在重量传感器1300上方或附近的物品315的重量。
板1315形成将物品315的重量分布在表面上的表面。板1315可以由任何合适的材料制成,诸如例如金属和/或塑料。物品315可以定位在板1315上方或附近,并且这些物品315的重量可以分布在板1315上。
称重传感器1310定位在板1315a和1315b之间。称重传感器1310基于称重传感器1310所承受的重量产生电信号。例如,称重传感器1310可以是将输入的机械力(例如,重量、张力、压缩、压力或扭矩)转换成输出电信号(例如,电流或电压)的传感器。随着输入力的增加,输出电信号可以成比例地增加。称重传感器1310可以是任何合适类型的称重传感器(例如,液压、气动和应变仪)。虽然称重传感器1310被示为圆柱形,但它们可以是适于预期的特定实施方式的任何合适的尺寸和形状。
可以分析来自称重传感器1310的信号以确定定位在重量传感器1300上方或附近的物品315的总重量。称重传感器1310可以定位成使得定位在重量传感器1300上方或附近的物品315的重量均匀地分布到每个称重传感器1310。在图13B的示例中,称重传感器1310定位成与板1315a和1315b的拐角基本上等距。例如,称重传感器1310a定位在距板1315a和1315b的拐角距离d1处。称重传感器1310b定位在距板1315a和1315b的拐角距离d2处。称重传感器1310c定位在距板1315a和1315b的拐角距离d3处。称重传感器1310d定位在距1315a和1315b的拐角距离d4处。距离d1、d2、d3和d4可以基本上彼此相等。本公开设想距离相差5到10毫米并且仍然被认为彼此基本上相等。通过将称重传感器1310定位成与板1315a和1315b的拐角的距离基本相等,定位在重量传感器1300上方或附近的物品的重量均匀地分布在称重传感器1310上。因此,定位在重量传感器1300上方或附近的物品的总重量可以通过对各个称重传感器1310所承受的重量求和来确定。
称重传感器1310传送指示称重传感器1310所承受的重量的电信号。例如,称重传感器1310可以产生根据称重传感器1310所承受的重量或力而变化的电流。每个称重传感器1310耦合到携带电信号的电线1320。在图13B的示例中,称重传感器1310a耦合到电线1320a;称重传感器1310b耦合到电线1320b;称重传感器1310c耦合到电线1320c;并且称重传感器1310d耦合到电线1320d。电线1320分组在一起以形成从重量传感器1300延伸的电线1325。电线1325将由称重传感器1310产生的电信号携带到电路板,电路板将信号传送到外部系统485。
在某些实施例中,并且如图13C中所示,多个重量传感器1300可以耦合到实体货架210的给定实体搁板305。例如,在图13C中所示的示例中,实体搁板305包括四个重量传感器1300。实体搁板305中的重量传感器1300的位置可以定义实体搁板305的区的集合。例如,第一重量传感器1300a可以定义第一区325a,第二重量传感器1300b可以定义第二区325b,第三重量传感器1300c可以定义第三区325c,并且第四重量传感器1300d可以定义第四区325d。在某些实施例中,每个区325可以与不同的实体物品315相关联,使得每个重量传感器1300被配置为检测与从实体搁板305移走特定物品315相关联的重量变化。虚拟搁板310可以类似地被划分为区330a至330d的集合,每个虚拟区330与给定的虚拟物品320相关联,以模拟实体搁板305的区325a至325d。以这种方式,当从重量传感器1300a接收到指示移走存储在实体搁板305的第一物理区325a中的实体物品315a的信号时,该信号可以被用于基于第一物理区325a与第一虚拟区330a之间的对应关系来识别存储在第一虚拟区330a中的虚拟物品320a。
b.虚拟购物车与算法购物车之间的比较
在某些实施例中,虚拟商店工具405可以与算法488结合使用,该算法488被训练以跟踪实体商店100内的顾客105并基于从位于实体商店100中的传感器498接收到的输入498确定顾客105在实体商店100的购物会期期间选择的实体物品315。如上所述,在图13A至13D的讨论中,传感器498可以包括相机1305和重量传感器1300。
算法488可以被编程为以任何合适的方式确定顾客105在实体商店100中选择的物品315。例如,算法488可以处理由外部系统485从相机1305的阵列接收到的视频帧,以确定在帧中检测到的顾客105的坐标。算法488然后可以基于帧何时被接收到来为这些坐标加时间戳。基于坐标和时间戳,算法488可以确定顾客105在实体商店100中的位置。算法488还可以处理由外部系统485从重量传感器1300接收到的信号,以确定物品315何时从实体搁板305被移走。使用顾客105在实体商店100中的位置以及物品315何时从实体搁板305被移走的确定,算法488可以确定哪些顾客105拿走了哪些物品315。
作为结合算法488使用虚拟商店工具105的示例,虚拟商店工具405可以被用于解决由算法488确定为顾客105在实体商店100的购物会期期间已选择的实体物品315与由虚拟商店工具405确定为已由顾客105在购物会期期间选择的虚拟物品320之间的差异。当由算法488确定为已由顾客105选择的实体物品315与由虚拟商店工具405确定为已由顾客105选择的虚拟物品320之间存在差异时,也可以使用由虚拟商店工具405做出的确定来提高算法488的未来准确性。图14至16被用于描述虚拟商店工具405的这些方面。
图14图示了虚拟商店工具405的解析组件475。解析组件475被配置为将虚拟购物车420与算法购物车1420进行比较。本公开设想虚拟商店工具405可以从外部系统485接收算法购物车1420。算法购物车1420可以包括基于从位于实体商店100中的传感器498(包括相机1305和重量传感器1300)接收到的输入由算法488确定为已经由顾客105选择的实体物品315。例如,算法购物车可以包括第一实体物品315l、第二实体物品315m和第三实体物品315n。实体物品315l至315n中的每一个与给定的购买价格相关联。例如,第一实体物品315l与第一物理价格1440相关联,第二实体物品315m与第二物理价格1450相关联,并且第三实体物品315n与第三物理价格1460相关联。虽然在图14中示出为包括三个实体物品315,但是本公开设想算法购物车1420可以包括任何数量的实体物品315。虚拟购物车420包括第一虚拟物品320i、第二虚拟物品320j和第三虚拟物品320k,每个虚拟物品由虚拟商店工具405确定为在实体商店100中的购物会期期间由顾客105选择。虚拟物品320i至320k中的每一个与给定的购买价格相关联。例如,第一虚拟物品320i与第一虚拟价格1410相关联,第二虚拟物品320j与第二虚拟价格1420相关联,并且第三虚拟物品320k与第三虚拟价格1425相关联。虽然在图14中示出为包括三个虚拟物品320,但是本公开设想虚拟购物车420可以包括任何数量的虚拟物品320。此外,虚拟购物车420不需要包括与算法购物车1420相同数量的物品。
解析组件475被配置为执行虚拟购物车420的内容与算法购物车1420的内容之间的比较1430,以确定两个购物车之间是否存在任何差异1435。解析组件475可以确定或者:(1)两个购物车彼此一致;或者(2)两个购物车彼此不一致。在某些实施例中,响应于确定两个购物车彼此不一致,解析组件475可以确定(1)两个购物车彼此不一致,因为虚拟购物车420包括错误;或(2)两个购物车彼此不一致,因为算法购物车1420包括错误。
确定两个购物车彼此一致可以包括确定存在于虚拟购物车420中的第一虚拟物品320i被配置为模拟存在于算法购物车1420中的第一实体物品315l,存在于虚拟购物车420中的第二虚拟物品320j被配置为模拟存在于算法购物车1420中的第二实体物品315m,并且存在于虚拟购物车420中的第三虚拟物品320k被配置为模拟存在于算法购物车1420中的第三实体物品315n。另一方面,确定两个购物车彼此不一致可以包括:(1)确定虚拟购物车420包括比算法购物车1420包括的实体物品315更多的虚拟物品320;(2)确定虚拟购物车420包括比算法购物车1420包括的实体物品315更少的虚拟物品320;(3)确定虚拟购物车420中存在的虚拟物品320被配置为模拟算法购物车1420中不存在的实体物品315;或者(4)确定虚拟购物车420中存在的虚拟物品320都没有被配置为模拟算法购物车1420中存在的实体物品315。
本公开设想在解析组件475可以确定两个购物车彼此不一致的实施例中,因为两个购物车之一包括错误,所以解析组件475可以以任何合适的方式确定两个购物车之一包括错误。作为示例,在某些实施例中,每当虚拟购物车420与算法购物车1420之间存在差异时,解析组件475可以总是确定算法购物车1420包括错误。作为另一个示例,解析组件475可以基于虚拟购物车420与算法购物车1420之间存在的差异1435的类型确定购物车之一包括错误。例如,当两个购物车之间的差异1435是由于两个购物车之间特定物品的数量不同时,解析组件475可以被配置为确定虚拟购物车420包括错误。例如,虚拟购物车420可以包括被配置为模拟第一实体物品315l的第一虚拟物品320i的一个实例,而算法购物车1420可以包括第一实体物品315l的两个实例。在此类情况下,虚拟购物车420包括不正确数量的第一虚拟物品320i可能比算法购物车1420包括不正确数量的第一实体物品315l的可能性更大,因为可能难以从相机馈送片段415和/或425中分辨出顾客105从给定的实体搁板305选择了多于一个的实体物品315l。另一方面,从实体商店100中的重量传感器1300接收到的信息可以更准确地指示从实体搁板305选择了多于一个实体物品315l。对于不包括两个购物车之间的特定物品的不同数量的差异1435,解析组件475可以被配置为默认地确定算法购物车1420包括错误。
作为另一个示例,解析组件475可以被配置为基于从用户120接收到的输入来确定虚拟购物车420或算法购物车1420包括错误。例如,响应于确定虚拟购物车420与算法购物车1420之间存在差异1435,解析组件475可以向设备115发送消息,将差异1435通知用户120。用户120然后可以向虚拟商店工具405发送响应,指示虚拟购物车420包括错误,或者算法购物车1420包括错误。用户120可以以任何合适的方式确定虚拟购物车420和算法购物车1420之一包括错误。作为示例,用户120可以审查相机馈送片段415和/或425以或者确认虚拟购物车420的内容或者确定虚拟购物车420包括错误。例如,如果差异包括算法购物车1420中缺少实体物品315,其中对应的虚拟物品320存在于虚拟购物车420中,那么用户120可以审查相机馈送片段415和/或425以确认相机馈送片段捕获顾客105从实体货架210选择实体物品315。作为另一个示例,如果差异包括算法购物车1420中存在实体物品315,其中对应的虚拟物品320不存在于虚拟购物车420中,那么用户120可以审查相机馈送片段415和/或425以或者(1)确认用户120从未观察到顾客105从实体货架210选择实体物品315;或者(2)确认虽然用户120在相机馈送片段415和/或425中看到顾客105从实体货架210选择实体物品315,用户120随后看到顾客105放下实体物品315并且带着物品315离开实体商店100。
解析组件475还被配置为为顾客105生成收据1465。在某些实施例中,解析组件475基于虚拟购物车420的内容生成收据1465。例如,解析组件475可以在执行比较1430之前基于虚拟购物车420的内容生成收据1465。在其它实施例中,解析组件475可以基于比较1430生成收据1465。例如,如果解析组件475确定虚拟购物车420与算法购物车1420一致,那么解析组件475可以为顾客105生成收据1465a。收据1465a可以包括根据第一虚拟价格1410、第二虚拟价格1420和第三虚拟价格1425确定的第一虚拟物品320i、第二虚拟物品320j和第三虚拟物品320k的总成本1475。在此,由于虚拟购物车420与算法购物车1420一致,因此确定第一虚拟物品320i、第二虚拟物品320j和第三虚拟物品320k的总成本1475等同于确定第一实体物品315l、第二实体物品315m和第三实体物品315n的总成本。作为另一个示例,如果解析组件475确定虚拟购物车420包括错误,那么解析组件475可以为顾客105生成收据1465b。收据1465b可以包括如根据第一实体价格1440、第二实体价格1450和第三实体价格1460确定的第一实体物品315l、第二实体物品315m和第三实体物品315n的总成本1480。作为另外的示例,如果解析组件475确定算法购物车1420包括错误,那么解析组件475可以为顾客105生成收据1465c。收据1465c可以包括如根据第一虚拟价格1410、第二虚拟价格1420和第三虚拟价格1425确定的第一虚拟物品320i、第二虚拟物品320j和第三虚拟物品320k的总成本1475。一旦解析组件475已经为顾客105生成收据1465,解析组件475就可以基于收据1465向顾客105收费,和/或将收据1465发送到属于顾客105的设备125。
解析组件475可以是存储在存储器440中并由处理器435执行的软件模块。解析组件475的操作的示例如下:(1)接收虚拟购物车420和算法购物车1420;(2)确定虚拟购物车420中的虚拟物品320的数量是否与算法购物车1420中的实体物品315的数量相同;(3)如果虚拟购物车420中的虚拟物品320的数量与算法购物车1420中的实体物品315的数量不同,那么将这两个购物车标记为不一致;(4)如果虚拟购物车420中的虚拟物品320的数量与算法购物车1420中的实体物品315的数量相同,那么确定虚拟购物车420是否包括算法购物车1420不包括对应实体物品315的任何虚拟物品320;(5)如果虚拟购物车420包括算法购物车1420不包括对应实体物品315的任何虚拟物品320,那么将两个购物车标记为不一致;(6)如果虚拟购物车420不包括算法购物车1420不包括对应实体物品315的任何虚拟物品320,那么将两个购物车标记为一致;(7)如果两个购物车被标记为一致,那么生成收据1465a;(8)如果两个购物车被标记为不一致,那么确定虚拟购物车420是否包括错误;(9)如果虚拟购物车420包括错误,那么生成收据1465b;(10)如果虚拟购物车420不包括错误,那么生成收据1465c。
c.算法反馈
在某些实施例中,虚拟商店工具405可以与算法488结合使用,以提高由算法488做出的确定的准确性。具体而言,机器学习模块480可以基于虚拟购物车420的内容与算法购物车1420的内容的比较向算法488提供反馈。图15图示机器学习模块480的操作。
如图15中所示,在某些实施例中,机器学习模块480接收算法购物车1420和虚拟购物车420。机器学习模块480然后可以执行虚拟购物车420的内容和算法购物车1420的内容的比较1430,以确定两个购物车之间是否存在差异1435。在某些其它实施例中,机器学习模块480可以直接从解析组件475接收虚拟购物车420与算法购物车1420之间存在差异1435的指示。
差异1435可以包括虚拟购物车420与算法购物车1420之间的任何不一致。例如,差异1435可以包括算法购物车1420中缺少实体物品315a,其中对应的虚拟物品320a存在于虚拟购物车420中。当耦合到其上放置有实体物品315a的实体搁板305的重量传感器1300未能检测到从实体搁板305选择实体物品315a时,会发生这种差异。作为另一个示例,差异1435可以包括算法购物车1420中存在实体物品315b,其中虚拟购物车420中不存在对应的虚拟物品320b。这种差异可能源于算法488未能检测到最初从实体货架210选择实体物品315b的顾客105将物品315b放下并且没有带着物品315b离开实体商店100。作为另外的示例,差异1435可以包括第一顾客105a和第二顾客105b之间的标识交换,使得第一顾客105a选择的第一物品315a不存在于指派给第一顾客105a的算法购物车1420中,并且存在在指派给第二顾客105b的算法购物车1420中。这种标识交换可能发生在算法488的顾客跟踪组件中。
响应于确定算法购物车1420与虚拟购物车420之间存在差异,机器学习模块480可以确定由传感器498(包括相机1305和重量传感器1300)接收并且与差异相关联的输入的子集1500。作为示例,机器学习模块480可以确定在其期间发生差异1435的相机馈送片段415和/或425的时间戳范围。例如,机器学习模块480可以基于在相机馈送片段415和/或425的第一时间戳和第二时间戳之间捕获的顾客105的购物会期的一部分来确定虚拟物品320a被添加到虚拟购物车420,但对应的实物商品315a并未添加到算法购物车1420。因此,机器学习模块480可以确定在相同时间间隔(即,发生在第一时间戳和第二时间戳之间的时间间隔)期间从传感器498接收的输入的子集1500。子集1500可以包括从相机1305接收的输入的子集1505和/或从重量传感器1300接收的输入的子集1510。
响应于识别出与差异1435相关联的子集1500,机器学习模块480可以将元数据1540附加到子集1500。本公开设想元数据1540可以包括解释和/或解决差异1435的任何信息。例如,将元数据1540附加到子集1500可以包括将标签附加到从相机1305接收的一个或多个帧,指示该帧说明顾客105a选择物品315,而不是如最初由算法488确定的顾客105b选择物品。响应于将元数据1540附加到子集1500,外部系统485可以使用子集1500来重新训练算法488。在某些实施例中,重新训练算法488可以提高算法488的准确性。
机器学习模块480可以是存储在存储器440中并由处理器435执行的软件模块。机器学习模块480的操作的示例如下:(1)接收算法购物车1420;(2)接收虚拟购物车420;(3)将虚拟购物车420的内容与算法购物车1420的内容进行比较;(4)确定虚拟购物车420与算法购物车1420之间存在差异1435;(5)确定从传感器498(包括相机1305和重量传感器1300)接收的输入的子集1500;(6)将元数据1540附加到子集1500,以便外部系统485可以使用子集1500来重新训练算法488。
图16呈现了图示虚拟商店工具405可以使用虚拟购物车420向算法488提供反馈的方式的流程图。在步骤1605中,解析组件475接收算法购物车1420。算法购物车1420包括由算法488基于从位于实体商店100中的传感器498接收的输入确定在实体商店100的购物会期期间顾客105已选择的实体物品315的集合。在步骤1610中,解析组件475接收虚拟购物车420。虚拟购物车420包括虚拟物品的集合320。在某些实施例中,基于捕获顾客105在实体商店100中的购物会期的相机馈送片段415和/或425,用户120确定虚拟物品320已在实体商店100中的购物会期期间被顾客105选择。
在步骤1615中,解析组件475将算法购物车1420的内容与虚拟购物车420的内容进行比较。在步骤1620中,解析组件475确定算法购物车1420与虚拟购物车420之间是否存在差异1435。如果在步骤1620中解析组件475确定算法购物车1420与虚拟购物车420之间不存在差异1435,那么在步骤1640中,解析组件475基于虚拟购物车420的内容生成购物会期的收据1465,并将收据1465发送到顾客105的设备125。如果在步骤1620中解析组件475确定算法购物车1420与虚拟购物车420之间存在差异1435,那么在步骤1625中,机器学习模块480确定从传感器498接收的与差异相关联的输入的集合的子集1500。在步骤1630中,机器学习模块480将元数据1540附加到子集1500。元数据1540可以解释差异1435。在步骤1635中,外部系统485可以使用子集1500来重新训练算法488。此外,在步骤1640中,解析组件475基于虚拟购物车420的内容为购物会期生成收据1465,并将收据1465发送到顾客105的设备125。
可以对图16中描绘的方法1600进行修改、添加或省略。方法1600可以包括更多、更少或其它步骤。例如,可以并行或以任何合适的次序执行步骤。虽然讨论为虚拟商店工具405(或其组件)执行这些步骤,但是系统400的任何合适组件(诸如(一个或多个)设备115)可以执行方法的一个或多个步骤。
虽然本公开包括若干实施例,但是可以向本领域技术人员提出无数改变、变化、变更、变换和修改,并且本公开旨在涵盖落入所附权利要求的范围内的此类改变、变化、变更、变换和修改。
条款:
1.一种装置,包括:
硬件处理器,被配置为:
接收包括物品的第一集合的算法购物车,基于从位于实体商店中的传感器接收到的输入的集合,物品的第一集合由算法确定为已由第一人在实体商店中的购物会期期间选择;
接收包括与购物会期相关联的物品的第二集合的虚拟购物车,其中购物会期的视频由位于实体商店中的相机的集合捕获,该视频描绘人选择物品的第二集合;
将算法购物车与虚拟购物车进行比较;
响应于将算法购物车与虚拟购物车进行比较:
确定算法购物车与虚拟购物车之间存在差异;以及
确定与该差异相关联的输入的集合的子集;
将元数据附加到子集,该元数据解释差异;以及
使用该子集训练算法。
2.根据条款1所述的装置,其中处理器还被配置为:
接收包括物品的第三集合的第二算法购物车,基于从位于实体商店内的传感器接收到的输入的第二集合,物品的第三集合由算法确定为已由第二人在实体商店中的第二购物会期期间选择;
接收包括物品的第四集合的第二虚拟购物车,基于第二购物会期的视频,物品的第四集合被确定为已由人在实体商店中的第二购物会期期间选择;
将第二算法购物车与第二虚拟购物车进行比较;以及
响应于将第二算法购物车与第二虚拟购物车进行比较,确定第二算法购物车与第二虚拟购物车匹配。
3.根据条款1所述的装置,其中差异包括算法购物车中不存在第一物品,其中第一物品存在于虚拟购物车中。
4.根据条款3所述的装置,其中传感器未能检测到对第一物品的选择。
5.根据条款1所述的装置,其中差异包括算法购物车中存在第一物品,其中虚拟购物车中不存在第一物品。
6.根据条款1所述的装置,其中差异包括第一人与第二人之间的标识交换,使得由第一人选择的第一物品不存在于算法购物车中,而是存在于与第二人相关联的第二算法购物车中。
7.根据条款1所述的装置,其中传感器包括:
算法相机的阵列,不同于所述相机的集合;以及
重量传感器的集合,其中物品的第一集合中的每个物品都耦合到重量传感器的集合中的重量传感器。
8.一种方法,包括:
接收包括物品的第一集合的算法购物车,基于从位于实体商店中的传感器接收到的输入的集合,物品的第一集合由算法确定为已由第一人在实体商店中的购物会期期间选择;
接收包括与购物会期相关联的物品的第二集合的虚拟购物车,其中购物会期的视频由位于实体商店中的相机的集合捕获,该视频描绘人选择物品的第二集合;
将算法购物车与虚拟购物车进行比较;
响应于将算法购物车与虚拟购物车进行比较:
确定算法购物车与虚拟购物车之间存在差异;以及
确定与该差异相关联的输入的集合的子集;
将元数据附加到子集,该元数据解释差异;以及
使用该子集训练算法。
9.根据条款8所述的方法,还包括:
接收包括物品的第三集合的第二算法购物车,基于从位于实体商店内的传感器接收到的输入的第二集合,物品的第三集合由算法确定为已由第二人在实体商店中的第二购物会期期间选择;
接收包括物品的第四集合的第二虚拟购物车,基于第二购物会期的视频,物品的第四集合被确定为已由人在实体商店中的第二购物会期期间选择;
将第二算法购物车与第二虚拟购物车进行比较;以及
响应于将第二算法购物车与第二虚拟购物车进行比较,确定第二算法购物车与第二虚拟购物车匹配。
10.根据条款8所述的方法,其中差异包括算法购物车中不存在第一物品,其中第一物品存在于虚拟购物车中。
11.根据条款10所述的方法,其中传感器未能检测到对第一物品的选择。
12.根据条款8所述的方法,其中差异包括算法购物车中存在第一物品,其中虚拟购物车中不存在第一物品。
13.根据条款8所述的方法,其中差异包括第一人与第二人之间的标识交换,使得由第一人选择的第一物品不存在于算法购物车中,而是存在于与第二人相关联的第二算法购物车中。
14.根据条款8所述的方法,其中传感器包括:
算法相机的阵列,不同于所述相机的集合;以及
重量传感器的集合,其中物品的第一集合中的每个物品都耦合到重量传感器的集合中的重量传感器。
15.一种系统,包括:
传感器的集合,位于实体商店内,该传感器的集合包括:
算法相机的阵列;以及
重量传感器的集合;以及
处理器,被配置为:
接收包括物品的第一集合的算法购物车,基于从传感器的集合接收到的输入的集合,物品的第一集合由算法确定为已由第一人在实体商店中的购物会期期间选择;
接收包括与购物会期相关联的物品的第二集合的虚拟购物车,其中购物会期的视频由位于实体商店中的相机的集合捕获,该相机的集合与算法相机的阵列不同,该视频描绘人选择物品的第二集合;
将算法购物车与虚拟购物车进行比较;
响应于将算法购物车与虚拟购物车进行比较:
确定算法购物车与虚拟购物车之间存在差异;以及
确定与该差异相关联的输入的集合的子集;
将元数据附加到子集,该元数据解释差异;以及
使用该子集训练算法。
16.根据条款15所述的系统,其中处理器还被配置为:
接收包括物品的第三集合的第二算法购物车,基于从传感器的集合接收到的输入的第二集合,物品的第三集合由算法确定为已由第二人在实体商店中的第二购物会期期间选择;
接收包括物品的第四集合的第二虚拟购物车,基于第二购物会期的视频,物品的第四集合被确定为已由人在实体商店中的第二购物会期期间选择;
将第二算法购物车与第二虚拟购物车进行比较;以及
响应于将第二算法购物车与第二虚拟购物车进行比较,确定第二算法购物车与第二虚拟购物车匹配。
17.根据条款15所述的系统,其中差异包括算法购物车中不存在第一物品,其中第一物品存在于虚拟购物车中。
18.根据条款17所述的系统,其中传感器的集合未能检测到对第一物品的选择。
19.根据条款15所述的系统,其中差异包括算法购物车中存在第一物品,其中虚拟购物车中不存在第一物品。
20.根据条款15所述的系统,其中差异包括第一人与第二人之间的标识交换,使得由第一人选择的第一物品不存在于算法购物车中,而是存在于与第二人相关联的第二算法购物车中。
21.一种装置,被配置为创建虚拟商店的虚拟布局以模拟实体商店的物理布局,该装置包括:
存储器;以及
硬件处理器,通信耦合到存储器,该硬件处理器被配置为:
接收与位于实体商店中的第一实体货架相关联的第一物理位置和第一物理朝向;
响应于接收到第一物理位置和第一物理朝向,将第一虚拟货架在虚拟布局上放置在第一虚拟位置处并具有第一虚拟朝向,其中第一虚拟货架在虚拟布局上的第一虚拟位置表示第一实体货架在物理布局上的第一物理位置并且第一虚拟货架在虚拟布局上的第一虚拟朝向表示第一实体货架在物理布局上的第一物理朝向;
接收与位于第一实体货架的第一实体搁板上的第一实体物品相关联的第一虚拟物品;
响应于接收到第一虚拟物品,将第一虚拟物品放置在第一虚拟货架的第一虚拟搁板上,其中第一虚拟货架的第一虚拟搁板表示第一实体货架的第一实体搁板;
接收与位于第一实体货架的第二实体搁板上的第二实体物品相关联的第二虚拟物品;
响应于接收到第二虚拟物品,将第二虚拟物品放置在第一虚拟货架的第二虚拟搁板上,其中第一虚拟货架的第二虚拟搁板表示第一实体货架的第二实体搁板;
将位于实体商店中的第一货架相机指派给第一虚拟货架,第一货架相机被配置为捕获包括第一实体货架的视频;以及
将虚拟布局存储在存储器中。
22.根据条款21所述的装置,其中处理器还被配置为:
接收与位于实体商店中的第二实体货架相关联的第二物理位置和第二物理朝向;
响应于接收到第二物理位置和第二物理朝向,将第二虚拟货架在虚拟布局上放置在第二虚拟位置处并且具有第二虚拟朝向,其中第二虚拟货架在虚拟布局上的第二虚拟位置表示第二实体货架在物理布局上的第二物理位置并且第二虚拟货架在虚拟布局上的第二虚拟朝向表示第二实体货架在物理布局上的第二物理朝向;
接收与位于第二实体货架的第三实体搁板上的第三实体物品相关联的第三虚拟物品;
响应于接收到第三虚拟物品,将第三虚拟物品放置在第二虚拟货架的第三虚拟搁板上,其中第二虚拟货架的第三虚拟搁板表示第二实体货架的第三实体搁板;
接收与位于第二实体货架的第四实体搁板上的第四实体物品相关联的第四虚拟物品;
响应接收到第四虚拟物品,将第四虚拟物品放置在第二虚拟货架的第四虚拟搁板上,其中第二虚拟货架的第四虚拟搁板表示第二实体货架的第四实体搁板;以及
将位于实体商店中的第二货架相机指派给第二虚拟货架,第二货架相机被配置为捕获包括第一实体货架的视频。
23.根据条款21所述的装置,其中将商店标识号指派给实体商店,并且根据商店标识号将虚拟布局存储在存储器中。
24.根据条款23所述的装置,还包括显示器,其中处理器还被配置为:
接收商店标识号;
响应于接收到商店标识号,在显示器的第一区域中显示虚拟布局;以及
响应于接收到与第一实体货架相关联的事件的指示:
在显示器的第二区域中显示第一虚拟货架;以及
在显示器的第三区域中显示来自第一货架相机的视频。
25.根据条款21所述的装置,其中:
第一虚拟物品还与第一实体货架的第一实体搁板的第一物理区相关联;
第二虚拟物品还与第一实体货架的第二实体搁板的第二物理区相关联;
将第一虚拟物品放置在第一虚拟货架的第一虚拟搁板上还包括将第一虚拟物品放置在第一虚拟货架的第一虚拟搁板的第一虚拟区中,其中第一虚拟搁板的第一虚拟区表示第一实体搁板的第一物理区;以及
将第二虚拟物品放置在第一虚拟货架的第二虚拟搁板上还包括将第二虚拟物品放置在第一虚拟货架的第二虚拟搁板的第二虚拟区中,其中第二虚拟搁板的第二虚拟区表示第二实体搁板的第二物理区。
26.根据条款25所述的装置,其中:
与第一传感器标识号相关联的第一传感器被指派给第一实体搁板的第一物理区;
与第二传感器标识号相关联的第二传感器被指派给第二实体搁板的第二物理区;以及
处理器还被配置为:
将第一传感器标识号指派给第一虚拟搁板的第一虚拟区;以及
将第二传感器标识号指派给第二虚拟搁板的第二虚拟区。
27.根据条款21所述的装置,其中接收第一虚拟物品和第二虚拟物品包括接收包括货架图的文件。
28.根据条款21所述的装置,其中接收第一虚拟物品和第二虚拟物品包括:
显示可滚动的物品的列表,该可滚动的物品的列表包括第一虚拟物品和第二虚拟物品;
接收将第一虚拟物品从可滚动的列表添加到第一虚拟货架的第一虚拟搁板的第一指令;以及
接收将第二虚拟物品从可滚动的列表添加到第一虚拟货架的第二虚拟搁板的第二指令。
29.根据条款21所述的装置,其中处理器还被配置为:
接收第一输入;
确定第一输入表示将第一虚拟货架从第一虚拟位置拖动到新的虚拟位置;
响应于确定第一输入表示第一虚拟货架从第一虚拟位置到新的虚拟位置的拖动,将第一虚拟货架放置在新的虚拟位置处;
接收第二输入;
确定第二输入表示第一虚拟货架从第一虚拟朝向到新的虚拟朝向的旋转;以及
响应于确定第二输入表示第一虚拟货架从第一虚拟朝向到新的虚拟朝向的旋转,以新虚拟朝向放置第一虚拟货架。
30.根据条款29所述的装置,还包括显示器,其中处理器还被配置为:
在显示器上显示第一图形用户界面,第一图形用户界面包括虚拟布局,其中第一输入和第二输入是从第一图形用户界面接收的;
在显示器上显示第二图形用户界面,第二图形用户界面与第一图形用户界面分开显示,第二图形用户界面包括虚拟布局和从第一货架相机接收的视频;
从第二图形用户界面接收第三输入;
确定第三输入表示从虚拟布局中选择第一虚拟货架;以及
响应于确定第三输入表示从虚拟布局中选择第一虚拟货架,在显示器上的第二图形用户界面中显示第一虚拟货架。
31.一种创建虚拟商店的虚拟布局以模拟实体商店的物理布局的方法,该方法包括:
接收与位于实体商店中的第一实体货架相关联的第一物理位置和第一物理朝向;
响应于接收到第一物理位置和第一物理朝向,将第一虚拟货架在虚拟布局上放置在第一虚拟位置处并具有第一虚拟朝向,其中第一虚拟货架在虚拟布局上的第一虚拟位置表示第一实体货架在物理布局上的第一物理位置并且第一虚拟货架在虚拟布局上的第一虚拟朝向表示第一实体货架在物理布局上的第一物理朝向;
接收与位于第一实体货架的第一实体搁板上的第一实体物品相关联的第一虚拟物品;
响应于接收到第一虚拟物品,将第一虚拟物品放置在第一虚拟货架的第一虚拟搁板上,其中第一虚拟货架的第一虚拟搁板表示第一实体货架的第一实体搁板;
接收与位于第一实体货架的第二实体搁板上的第二实体物品相关联的第二虚拟物品;
响应于接收到第二虚拟物品,将第二虚拟物品放置在第一虚拟货架的第二虚拟搁板上,其中第一虚拟货架的第二虚拟搁板表示第一实体货架的第二实体搁板;
将位于实体商店中的第一货架相机指派给第一虚拟货架,第一货架相机被配置为捕获包括第一实体货架的视频;以及
将虚拟布局存储在存储器中。
32.根据条款31所述的方法,还包括:
接收与位于实体商店中的第二实体货架相关联的第二物理位置和第二物理朝向;
响应于接收到第二物理位置和第二物理朝向,将第二虚拟货架在虚拟布局上放置在第二虚拟位置处并且具有第二虚拟朝向,其中第二虚拟货架在虚拟布局上的第二虚拟位置表示第二实体货架在物理布局上的第二物理位置并且第二虚拟货架在虚拟布局上的第二虚拟朝向表示第二实体货架在物理布局上的第二物理朝向;
接收与位于第二实体货架的第三实体搁板上的第三实体物品相关联的第三虚拟物品;
响应于接收到第三虚拟物品,将第三虚拟物品放置在第二虚拟货架的第三虚拟搁板上,其中第二虚拟货架的第三虚拟搁板表示第二实体货架的第三实体搁板;
接收与位于第二实体货架的第四实体搁板上的第四实体物品相关联的第四虚拟物品;
响应接收到第四虚拟物品,将第四虚拟物品放置在第二虚拟货架的第四虚拟搁板上,其中第二虚拟货架的第四虚拟搁板表示第二实体货架的第四实体搁板;以及
将位于实体商店中的第二货架相机指派给第二虚拟货架,第二货架相机被配置为捕获包括第一实体货架的视频。
33.根据条款31所述的方法,其中将商店标识号指派给实体商店,并且根据商店标识号将虚拟布局存储在存储器中。
34.根据条款33所述的方法,还包括:
接收商店标识号;
响应于接收到商店标识号,在显示器的第一区域中显示虚拟布局;以及
响应于接收到与第一实体货架相关联的事件的指示:
在显示器的第二区域中显示第一虚拟货架;以及
在显示器的第三区域中显示来自第一货架相机的视频。
35.根据条款31所述的方法,其中:
第一虚拟物品还与第一实体货架的第一实体搁板的第一物理区相关联;
第二虚拟物品还与第一实体货架的第二实体搁板的第二物理区相关联;
将第一虚拟物品放置在第一虚拟货架的第一虚拟搁板上还包括将第一虚拟物品放置在第一虚拟货架的第一虚拟搁板的第一虚拟区中,其中第一虚拟搁板的第一虚拟区表示第一实体搁板的第一物理区;以及
将第二虚拟物品放置在第一虚拟货架的第二虚拟搁板上还包括将第二虚拟物品放置在第一虚拟货架的第二虚拟搁板的第二虚拟区中,其中第二虚拟搁板的第二虚拟区表示第二实体搁板的第二物理区。
36.根据条款35所述的方法,还包括:
将第一传感器标识号指派给第一虚拟搁板的第一虚拟区,其中与第一传感器标识号相关联的第一传感器被指派给第一实体搁板的第一物理区;以及
将第二传感器标识号指派给第二虚拟搁板的第二虚拟区,其中与第二传感器标识号相关联的第二传感器被指派给第二实体搁板的第二物理区。
37.根据条款31所述的方法,其中接收第一虚拟物品和第二虚拟物品包括接收包括货架图的文件。
38.根据条款31所述的方法,其中接收第一虚拟物品和第二虚拟物品包括:
显示可滚动的物品的列表,该可滚动的物品的列表包括第一虚拟物品和第二虚拟物品;
接收将第一虚拟物品从可滚动的列表添加到第一虚拟货架的第一虚拟搁板的第一指令;以及
接收将第二虚拟物品从可滚动的列表添加到第一虚拟货架的第二虚拟搁板的第二指令。
39.根据条款31所述的方法,还包括:
接收第一输入;
确定第一输入表示将第一虚拟货架从第一虚拟位置拖动到新的虚拟位置;
响应于确定第一输入表示第一虚拟货架从第一虚拟位置到新的虚拟位置的拖动,将第一虚拟货架放置在新的虚拟位置处;
接收第二输入;
确定第二输入表示第一虚拟货架从第一虚拟朝向到新的虚拟朝向的旋转;以及
响应于确定第二输入表示第一虚拟货架从第一虚拟朝向到新的虚拟朝向的旋转,以新虚拟朝向放置第一虚拟货架。
40.根据条款39所述的方法,还包括:
在显示器上显示第一图形用户界面,第一图形用户界面包括虚拟布局,其中第一输入和第二输入是从第一图形用户界面接收的;
在显示器上显示第二图形用户界面,第二图形用户界面与第一图形用户界面分开显示,第二图形用户界面包括虚拟布局;
从第二图形用户界面接收第三输入;
确定第三输入表示从虚拟布局中选择第一虚拟货架;以及
响应于确定第三输入表示从虚拟布局中选择第一虚拟货架,在显示器上的第二图形用户界面中显示第一虚拟货架和从第一货架相机接收的视频。
41.一种装置,包括:
接口,被配置为接收第一视频馈送,包括:
与位于实体商店中的第一相机对应的第一相机馈送,第一相机指向实体商店中的第一位置;以及
与位于实体商店中的第二相机对应的第二相机馈送,第二相机指向实体商店中的第二位置;
显示器;
存储器;以及
硬件处理器,通信耦合到存储器和显示器,硬件处理器被配置为:
将第一视频片段存储在存储器中,第一视频片段指派给第一人并且捕获在开始时间戳和结束时间戳之间的时间间隔期间发生的第一人在实体商店中的购物会期的一部分,第一视频片段包括:
与从开始时间戳到结束时间戳的第一相机馈送的记录对应的第一相机馈送片段;以及
与从开始时间戳到结束时间戳的第二相机馈送的记录对应的第二相机馈送片段;
将第一滑块条指派给第一视频片段,其中第一相机馈送片段和第二相机馈送片段的回放被同步,并且第一滑块条控制第一相机馈送片段和第二相机馈送片段的回放进度;
在显示器的第一区域中显示第一相机馈送片段和第一滑块条的第一副本;
在显示器的第二区域中显示第二相机馈送片段和第一滑块条的第二副本;
从第一滑块条的第一副本和第一滑块条的第二副本中的至少一个接收调整第一相机馈送片段和第二相机馈送片段的回放进度的指令;以及
响应于接收到指令,调整第一相机馈送片段和第二相机馈送片段的回放进度。
42.根据条款41所述的装置,其中处理器还被配置为:
将第二视频片段存储在存储器中,第二视频片段指派给第二人并且捕获在第二开始时间戳和第二结束时间戳之间的第二时间间隔期间发生的第二人在实体商店中的购物会期的一部分,第二开始时间戳晚于开始时间戳且早于结束时间戳,第二视频片段包括:
与从第二开始时间戳到第二结束时间戳的第一相机馈送的记录对应的第三相机馈送片段;以及
与从第二开始时间戳到第二结束时间戳的第二相机馈送的记录对应的第四相机馈送片段;
将第二滑块条指派给第二视频片段,第二滑块条独立于第一滑块条,其中第三相机馈送片段和第四相机馈送片段的回放被同步,并且第二滑块条控制第三相机馈送片段和第四相机馈送片段的回放进度;
在显示器的第三区域中显示第三相机馈送片段和第二滑块条的第一副本;
在显示器的第四区域中显示第四相机馈送片段和第二滑块条的第二副本;
从第二滑块条的第一副本和第二滑块条的第二副本中的至少一个接收调整第三相机馈送片段和第四相机馈送片段的回放进度的第二指令;
响应于接收到第二指令,调整第三相机馈送片段和第四相机馈送片段的回放进度。
43.根据条款41所述的装置,其中处理器还被配置为:
确定第一相机馈送片段描绘第一时间的第一人;
响应于确定第一相机馈送片段描绘第一时间的第一人:
确定共用滑块条已经到达第一时间;以及
响应于确定共用滑块条已经到达第一时间,突出显示第一相机馈送片段。
44.根据条款41所述的装置,其中共用滑块条包括共用滑块条上位于第一时间处的标记,该标记与在第一时间发生的事件相关联,该事件与第一人从位于实体商店中的货架中的搁板选择物品相关联。
45.根据条款44所述的装置,其中:
物品被指派物品标识号;
搁板被指派搁板标识号;
货架被指派货架标识号;以及
标记包括元数据,该元数据包括物品标识号、搁板标识号和货架标识号。
46.根据条款45所述的装置,其中:
第一视频馈送还包括与位于实体商店中的第三相机对应的第三相机馈送,第三相机指向货架;
第一视频片段还包括与从开始时间戳到结束时间戳的第三相机馈送的记录对应的第三相机馈送片段;以及
处理器还被配置为:
确定第一相机馈送片段和第二相机馈送片段的回放进度已到达标记;以及
响应于确定第一相机馈送片段和第二相机馈送片段的回放进度已到达标记:
基于标记的元数据,确定与第一人从位于实体商店中的货架中的搁板选择物品相关联的事件已经发生;以及
响应于确定事件已经发生,在显示器的第三区域中显示第三相机馈送片段。
47.根据条款41所述的装置,其中:
起始时间戳和结束时间戳之间的时间间隔包括预定长度;以及
处理器还被配置为:
将第二视频片段存储在存储器中,第二视频片段被指派给第一人并且捕获在结束时间戳和新结束时间戳之间的第二时间间隔期间第一人在实体商店中的购物会期的一部分,第二视频片段包括:
与从结束时间戳到新结束时间戳的第一相机馈送的记录对应的新的第一相机馈送片段;以及
与从结束时间戳到新结束时间戳的第二相机馈送的记录对应的新的第二相机馈送片段;
将第二滑块条指派给第二视频片段,其中新的第一相机馈送片段和新的第二相机馈送片段的回放被同步,并且第二滑块条控制新的第一相机馈送片段和新的第二相机馈送片段的回放进度;
确定第一相机馈送片段和第二相机馈送片段的回放进度已达到结束时间戳;以及
响应于确定第一相机馈送片段和第二相机馈送片段的回放进度已达到结束时间戳:
在显示器的第一区域中显示新的第一相机馈送片段和第二滑块条的第一副本;以及
在显示器的第二区域中显示新的第二相机馈送片段和第二滑块条的第二副本。
48.一种方法,包括:
接收第一视频馈送,包括:
与位于实体商店中的第一相机对应的第一相机馈送,第一相机指向实体商店中的第一位置;以及
与位于实体商店中的第二相机对应的第二相机馈送,第二相机指向实体商店中的第二位置;
存储第一视频片段,第一视频片段被指派给第一人并且捕获在开始时间戳和结束时间戳之间的时间间隔期间发生的第一人在实体商店中的购物会期的一部分,第一视频片段包括:
与从开始时间戳到结束时间戳的第一相机馈送的记录对应的第一相机馈送片段;以及
与从开始时间戳到结束时间戳的第二相机馈送的记录对应的第二相机馈送片段;
将第一滑块条指派给第一视频片段,其中第一相机馈送片段和第二相机馈送片段的回放被同步,并且第一滑块条控制第一相机馈送片段和第二相机馈送片段的回放进度;
在显示器的第一区域中显示第一相机馈送片段和第一滑块条的第一副本;
在显示器的第二区域中显示第二相机馈送片段和第一滑块条的第二副本;
从第一滑块条的第一副本和第一滑块条的第二副本中的至少一个接收调整第一相机馈送片段和第二相机馈送片段的回放进度的指令;以及
响应于接收到指令,调整第一相机馈送片段和第二相机馈送片段的回放进度。
49.根据条款48所述的方法,还包括:
存储第二视频片段,第二视频片段被指派给第二人并且捕获在第二开始时间戳和第二结束时间戳之间的第二时间间隔期间发生的第二人在实体商店中的购物会期的一部分,第二开始时间戳晚于开始时间戳且早于结束时间戳,第二视频片段包括:
与从第二开始时间戳到第二结束时间戳的第一相机馈送的记录对应的第三相机馈送片段;以及
与从第二开始时间戳到第二结束时间戳的第二相机馈送的记录对应的第四相机馈送片段;
将第二滑块条指派给第二视频片段,第二滑块条独立于第一滑块条,其中第三相机馈送片段和第四相机馈送片段的回放被同步,并且第二滑块条控制第三相机馈送片段和第四相机馈送片段的回放进度;
在显示器的第三区域中显示第三相机馈送片段和第二滑块条的第一副本;
在显示器的第四区域中显示第四相机馈送片段和第二滑块条的第二副本;
从第二滑块条的第一副本和第二滑块条的第二副本中的至少一个接收调整第三相机馈送片段和第四相机馈送片段的回放进度的第二指令;
响应于接收到第二指令,调整第三相机馈送片段和第四相机馈送片段的回放进度。
50.根据条款48所述的方法,还包括:
确定第一相机馈送片段描绘第一时间的第一人;
响应于确定第一相机馈送片段描绘第一时间的第一人:
确定共用滑块条已经到达第一时间;以及
响应于确定共用滑块条已经到达第一时间,突出显示第一相机馈送片段。
51.根据条款48所述的方法,其中共用滑块条包括共用滑块条上位于第一时间处的标记,该标记与在第一时间发生的事件相关联,该事件与第一人从位于实体商店中的货架中的搁板选择物品相关联。
52.根据条款51所述的方法,其中:
物品被指派物品标识号;
搁板被指派搁板标识号;
货架被指派货架标识号;以及
标记包括元数据,该元数据包括物品标识号、搁板标识号和货架标识号。
53.根据条款52所述的方法,还包括:
确定第一相机馈送片段和第二相机馈送片段的回放进度已到达标记;以及
响应于确定第一相机馈送片段和第二相机馈送片段的回放进度已到达标记:
基于标记的元数据,确定与第一人从位于实体商店的货架中的搁板选择物品相关联的事件已经发生;以及
响应于确定事件已经发生,在显示器的第三区域中显示第三相机馈送片段,其中:
第一视频馈送还包括与位于实体商店中的第三相机对应的第三相机馈送,第三相机指向货架;以及
第一视频片段还包括与从开始时间戳到结束时间戳的第三相机馈送的记录对应的第三相机馈送片段。
54.根据条款48所述的方法,还包括:
存储指派给第一人的第二视频片段并捕获在结束时间戳和新结束时间戳之间的第二时间间隔期间发生的第一人在实体商店中的购物会期的一部分,第二视频片段包括:
与从结束时间戳到新结束时间戳的第一相机馈送的记录对应的新的第一相机馈送片段;以及
与从结束时间戳到新结束时间戳的第二相机馈送的记录对应的新的第二相机馈送片段;
将第二滑块条指派给第二视频片段,其中新的第一相机馈送片段和新的第二相机馈送片段的回放被同步,并且第二滑块条控制新的第一相机馈送片段和新的第二相机馈送片段的回放进度;
确定第一相机馈送片段和第二相机馈送片段的回放进度已达到结束时间戳;以及
响应于确定第一相机馈送片段和第二相机馈送片段的回放进度已达到结束时间戳:
在显示器的第一区域中显示新的第一相机馈送片段和第二滑块条的第一副本;以及
在显示器的第二区域中显示新的第二相机馈送片段和第二滑块条的第二副本。
55.一种系统,包括:
接口,可操作以接收第一视频馈送,包括:
与位于实体商店中的第一相机对应的第一相机馈送,第一相机指向实体商店中的第一位置;以及
与位于实体商店中的第二相机对应的第二相机馈送,第二相机指向实体商店中的第二位置;
显示元件;
存储元件;以及
处理元件,通信耦合到存储元件和显示元件,处理元件可操作以:
将第一视频片段存储在存储元件中,第一视频片段被指派给第一人并且捕获在开始时间戳和结束时间戳之间的时间间隔期间发生的第一人在实体商店中的购物会期的一部分,第一视频片段包括:
与从开始时间戳到结束时间戳的第一相机馈送的记录对应的第一相机馈送片段;以及
与从开始时间戳到结束时间戳的第二相机馈送的记录对应的第二相机馈送片段;
将第一滑块条指派给第一视频片段,其中第一相机馈送片段和第二相机馈送片段的回放被同步,并且第一滑块条控制第一相机馈送片段和第二相机馈送片段的回放进度;
在显示元件的第一区域中显示第一相机馈送片段和第一滑块条的第一副本;
在显示元件的第二区域中显示第二相机馈送片段和第一滑块条的第二副本;
从第一滑块条的第一副本和第一滑块条的第二副本中的至少一个接收调整第一相机馈送片段和第二相机馈送片段的回放进度的指令;
响应于接收到指令,调整第一相机馈送片段和第二相机馈送片段回放进度;
将第二视频片段存储在存储元件中,第二视频片段被指派给第一人并且捕获第一人在实体商店中的购物会期的一部分,该部分发生在结束时间戳和新的结束时间戳之间的第二时间间隔期间,第二视频片段包括:
与从结束时间戳到新的结束时间戳的第一相机馈送的记录对应的新的第一相机馈送片段;以及
与从结束时间戳到新的结束时间戳的第二相机馈送的记录对应的新的第二相机馈送片段;
将第二滑块条指派给第二视频片段,其中新的第一相机馈送片段和新的第二相机馈送片段的回放被同步,并且第二滑块条控制新的第一相机馈送片段和新的第二相机馈送片段的回放进度;
确定第一相机馈送片段和第二相机馈送片段的回放进度已达到结束时间戳;以及
响应于确定第一相机馈送片段和第二相机馈送片段的回放进度已达到结束时间戳:
在显示元件的第一区域中显示新的第一相机馈送片段和第二滑块条的第一副本;以及
在显示元件的第二区域中显示新的第二相机馈送片段和第二滑块条的第二副本。
56.根据条款55所述的系统,其中处理元件还可操作以:
将第二视频片段存储在存储元件中,第二视频片段被指派给第二人并且捕获在第二开始时间戳和第二结束时间戳之间的第二时间间隔期间发生的第二人在实体商店中的购物会期的一部分,第二开始时间戳晚于开始时间戳且早于结束时间戳,第二视频片段包括:
与从第二开始时间戳到第二结束时间戳的第一相机馈送的记录对应的第三相机馈送片段;以及
与从第二开始时间戳到第二结束时间戳的第二相机馈送的记录对应的第四相机馈送片段;
将第二滑块条指派给第二视频片段,第二滑块条独立于第一滑块条,其中第三相机馈送片段和第四相机馈送片段的回放被同步,并且第二滑块条控制第三相机馈送片段和第四相机馈送片段的回放进度;
在显示元件的第三区域中显示第三相机馈送片段和第二滑块条的第一副本;
在显示元件的第四区域中显示第四相机馈送片段和第二滑块条的第二副本;
从第二滑块条的第一副本和第二滑块条的第二副本中的至少一个接收调整第三相机馈送片段和第四相机馈送片段的回放进度的第二指令;以及
响应于接收到第二指令,调整第三相机馈送片段和第四相机馈送片段的回放进度。
57.根据条款55所述的系统,其中处理元件还可操作以:
确定第一相机馈送片段描绘第一时间的第一人;
响应于确定第一相机馈送片段描绘第一时间的第一人:
确定共用滑块条已经到达第一时间;以及
响应于确定共用滑块条已经到达第一时间,突出显示第一相机馈送片段。
58.根据条款55所述的系统,其中共用滑块条包括共用滑块条上位于第一时间处的标记,该标记与在第一时间发生的事件相关联,该事件与第一人从位于实体商店中的货架中的搁板选择物品相关联。
59.根据条款58所述的系统,其中:
物品被指派物品标识号;
搁板被指派搁板标识号;
货架被指派货架标识号;以及
标记包括元数据,该元数据包括物品标识号、搁板标识号和货架标识号。
60.根据条款59所述的系统,其中:
第一视频馈送还包括与位于实体商店中的第三相机对应的第三相机馈送,第三相机指向货架;
第一视频片段还包括与从开始时间戳到结束时间戳的第三相机馈送的记录对应的第三相机馈送片段;以及
处理元件还可操作以:
确定第一相机馈送片段和第二相机馈送片段的回放进度已到达标记;以及
响应于确定第一相机馈送片段和第二相机馈送片段的回放进度已到达标记:
基于标记的元数据,确定与第一人从位于实体商店中的货架中的搁板选择物品相关联的事件已经发生;以及
响应于确定事件已经发生,在显示器的第三区域中显示第三相机馈送片段。
61.一种装置,包括:
显示器;
接口,被配置为从位于实体商店内的货架相机接收货架相机馈送,货架相机指向位于实体商店内的实体货架的集合中的第一实体货架;以及
硬件处理器,通信耦合到显示器,硬件处理器被配置为:
在显示器的第一区域中显示虚拟商店的虚拟布局,该虚拟布局被配置为模拟实体商店的物理布局,虚拟布局包括指派给第一实体货架的第一虚拟货架和指派给第二实体货架的第二虚拟货架,其中第一虚拟货架和第二虚拟货架在虚拟布局中的布置被配置为模拟第一实体货架和第二实体货架在物理布局中的布置;
接收与第一实体货架相关联的事件的指示,该事件包括位于实体商店中的人与第一实体货架交互;
响应于接收到与第一实体货架相关联的事件的指示:
在显示器的第二区域中显示第一虚拟货架,第一虚拟货架包括第一虚拟搁板和第二虚拟搁板,第一虚拟搁板包括第一虚拟物品,第二虚拟搁板包括第二虚拟物品,其中第一虚拟物品包括位于第一实体货架的第一实体搁板上的第一实体物品的图形表示,并且第二虚拟物品包括位于第一实体货架的第二实体搁板上的第二实体物品的图形表示;以及
在显示器的第三区域中显示与从开始时间戳到结束时间戳的货架相机馈送的记录对应的货架视频片段,其中货架视频片段描绘与第一实体货架相关联的事件。
62.根据条款61所述的装置,其中:
接口还被配置为从位于实体商店中的第二货架相机接收第二货架相机馈送,第二货架相机指向位于实体商店中的实体货架的集合中的第二实体货架;以及
处理器还被配置为:
接收与第二实体货架相关联的第二事件的指示,第二事件包括人与第二实体货架交互;
响应于接收到与第二实体货架相关联的第二事件的指示:
在显示器的第二区域中显示第二虚拟货架,第二虚拟货架包括第三虚拟搁板和第四虚拟搁板,第三虚拟搁板包括第三虚拟物品,第四虚拟搁板包括第四虚拟物品,其中第三虚拟物品包括位于第二实体货架的第三实体搁板上的第三实体物品的图形表示,并且第四虚拟物品包括位于第二实体货架的第四实体搁板上的第四实体物品的图形表示;以及
在显示器的第三区域中显示与从第二开始时间戳到第二结束时间戳的第二货架相机馈送的记录对应的第二货架视频片段,其中第二货架视频片段描绘与第二实体货架相关联的第二事件。
63.根据条款61所述的装置,其中:
与第一实体货架相关联的事件包括从第一实体货架的第一实体搁板的第一区选择第一实体物品,其中耦合到第一实体搁板的第一区的重量传感器被配置为检测从第一实体搁板选择第一实体物品;以及
事件的指示包括从重量传感器接收到的信息。
64.根据条款63所述的装置,其中,响应于显示第一虚拟货架,处理器还被配置为突出显示第一虚拟搁板上的第一虚拟物品。
65.根据条款61所述的装置,其中:
接口还被配置为接收与位于实体商店中的第一相机对应的视频馈送;以及
处理器还被配置为:
将第一视频片段存储在存储器中,第一视频片段被指派给第一人并且捕获第一人在实体商店中的购物会期的一部分,第一视频片段与从开始时间戳到结束时间戳的视频馈送的记录对应;
将滑块条指派给第一视频片段,其中:
滑块条控制第一视频片段的回放进度;
事件在第一时间发生;
滑块条包括滑块条上位于第一时间的标记,该标记与在第一时间发生的事件相关联,该标记包括元数据,该元数据包括指派给第一虚拟物品的物品标识号、指派给第一虚拟货架的货架标识号,以及指派给第一虚拟货架的区的区标识号;以及
事件的指示包括第一视频片段的回放进度到达标记;以及
响应于显示第一虚拟货架,基于元数据突出显示第一虚拟货架上的第一虚拟物品。
66.根据条款65所述的装置,其中:
滑块条包括滑块条上位于第二时间的第二标记,第二标记与在第二时间发生的第二事件相关联,第二事件与第二实体货架相关联,第二标记包括第二元数据,第二元数据包括指派给第三虚拟物品的第二物品标识号、指派给第二虚拟货架的第二货架标识号,以及指派给第二虚拟货架的第二区的第二区标识号;以及
处理器还被配置为:
确定第一视频片段的回放进度到达第二标记;以及
响应于确定第一视频片段的回放进度到达第二标记:
在显示器的第二区域中显示第二虚拟货架,第二虚拟货架包括第三虚拟搁板和第四虚拟搁板,第三虚拟搁板包括第三虚拟物品,第四虚拟搁板包括第四虚拟物品,其中第三虚拟物品包括位于第二实体货架的第三实体搁板上的第三实体物品的图形表示,并且第四虚拟物品包括位于第二实体货架的第四实体搁板上的第四实体物品的图形表示;以及
基于第二元数据,突出显示第二虚拟货架上的第三虚拟物品。
67.根据条款61所述的装置,其中与第一实体货架相关联的事件的指示包括由算法响应于基于从位于实体商店内的传感器接收的输入的集合的事件的检测而生成的信息。
68.一种方法包括:
从位于实体商店内的货架相机接收货架相机馈送,货架相机指向位于实体商店内的实体货架的集合中的第一实体货架;
在显示器的第一区域中显示虚拟商店的虚拟布局,该虚拟布局被配置为模拟实体商店的物理布局,虚拟布局包括指派给第一实体货架的第一虚拟货架和指派给第二实体货架的第二虚拟货架,其中第一虚拟货架和第二虚拟货架在虚拟布局中的布置被配置为模拟第一实体货架和第二实体货架在物理布局中的布置;
接收与第一实体货架相关联的事件的指示,该事件包括位于实体商店中的人与第一实体货架交互;
响应于接收到与第一实体货架相关联的事件的指示:
在显示器的第二区域中显示第一虚拟货架,第一虚拟货架包括第一虚拟搁板和第二虚拟搁板,第一虚拟搁板包括第一虚拟物品,第二虚拟搁板包括第二虚拟物品,其中第一虚拟物品包括位于第一实体货架的第一实体搁板上的第一实体物品的图形表示,并且第二虚拟物品包括位于第一实体货架的第二实体搁板上的第二实体物品的图形表示;以及
在显示器的第三区域中显示与从开始时间戳到结束时间戳的货架相机馈送的记录对应的货架视频片段,其中货架视频片段描绘与第一实体货架相关联的事件。
69.根据条款68所述的方法,还包括:
从位于实体商店中的第二货架相机接收第二货架相机馈送,第二货架相机指向位于实体商店中的实体货架的集合中的第二实体货架;
接收与第二实体货架相关联的第二事件的指示,第二事件包括人与第二实体货架交互;
响应于接收到与第二实体货架相关联的第二事件的指示:
在显示器的第二区域中显示第二虚拟货架,第二虚拟货架包括第三虚拟搁板和第四虚拟搁板,第三虚拟搁板包括第三虚拟物品,第四虚拟搁板包括第四虚拟物品,其中第三虚拟物品包括位于第二实体货架的第三实体搁板上的第三实体物品的图形表示,并且第四虚拟物品包括位于第二实体货架的第四实体搁板上的第四实体物品的图形表示;以及
在显示器的第三区域中显示与从第二开始时间戳到第二结束时间戳的第二货架相机馈送的记录对应的第二货架视频片段,其中第二货架视频片段描绘与第二实体货架相关联的第二事件。
70.根据条款68上所述的方法,其中:
与第一实体货架相关联的事件包括从第一实体货架的第一实体货架的第一区选择第一实体物品,其中耦合到第一实体搁板的第一区的重量传感器被配置为检测从第一实体搁板选择第一实体物品;以及
事件的指示包括从重量传感器接收到的信息。
71.根据条款70所述的方法,还包括响应于显示第一虚拟搁板,突出显示第一虚拟搁板上的第一虚拟物品。
72.根据条款68所述的方法,还包括:
接收与位于实体商店中的第一相机对应的视频馈送;
存储指派给第一人并且捕获第一人在实体商店中的购物会期的一部分的第一视频片段,第一视频片段与从开始时间戳到结束时间戳的视频馈送的记录对应;
将滑块条指派给第一视频片段,其中:
滑块条控制第一视频片段的回放进度;
事件在第一时间发生;
滑块条包括滑块条上位于第一时间的标记,该标记与在第一时间发生的事件相关联,该标记包括元数据,该元数据包括指派给第一虚拟物品的物品标识号、指派给第一虚拟货架的货架标识号,以及指派给第一虚拟货架的区的区标识号;以及
事件的指示包括第一视频片段的回放进度到达标记;以及
响应于显示第一虚拟货架,基于元数据突出显示第一虚拟货架上的第一虚拟物品。
73.根据条款72所述的方法,还包括:
确定第一视频片段的回放进度到达第二标记,其中滑块条包括滑块条上位于第二时间的第二标记,第二标记与在第二时间发生的第二事件相关联,第二事件与第二实体货架相关联,第二标记包括第二元数据,第二元数据包括指派给第三虚拟物品的第二物品标识号、指派给第二虚拟货架的第二货架标识号,以及指派给第二虚拟货架的第二区的第二区标识号;以及
响应于确定第一视频片段的回放进度到达第二标记:
在显示器的第二区域中显示第二虚拟货架,第二虚拟货架包括第三虚拟搁板和第四虚拟搁板,第三虚拟搁板包括第三虚拟物品,第四虚拟搁板包括第四虚拟物品,其中第三虚拟物品包括位于第二实体货架的第三实体搁板上的第三实体物品的图形表示,并且第四虚拟物品包括位于第二实体货架的第四实体搁板上的第四实体物品的图形表示;以及
基于第二元数据,突出显示第二虚拟货架上的第三虚拟物品。
74.根据条款68所述的方法,其中与第一实体货架相关联的事件的指示包括由算法响应于基于从位于实体商店内的传感器接收的输入的集合的事件的检测而生成的信息。
75.一种系统,包括:
显示元件;
接口,可操作以:
从位于实体商店中的货架相机接收货架相机馈送,货架相机指向位于实体商店中的实体货架的集合中的第一实体货架;以及
从位于实体商店中的第二货架相机接收第二货架相机馈送,第二货架相机指向位于实体商店中的实体货架的集合中的第二实体货架;以及
处理元件,通信耦合到显示元件,处理元件可操作以:
在显示元件的第一区域中显示虚拟商店的虚拟布局,该虚拟布局被配置为模拟实体商店的物理布局,虚拟布局包括指派给第一实体货架的第一虚拟货架和指派给第二实体货架的第二虚拟货架,其中第一虚拟货架和第二虚拟货架在虚拟布局中的布置被配置为模拟第一实体货架和第二实体货架在物理布局中的布置;
接收与第一实体货架相关联的事件的指示,该事件包括位于实体商店中的人与第一实体货架交互;
响应于接收到与第一实体货架相关联的事件的指示:
在显示元件的第二区域中显示第一虚拟货架,第一虚拟货架包括第一虚拟搁板和第二虚拟搁板,第一虚拟搁板包括第一虚拟物品,第二虚拟搁板包括第二虚拟物品,其中第一虚拟物品包括位于第一实体货架的第一实体搁板上的第一实体物品的图形表示,并且第二虚拟物品包括位于第一实体货架的第二实体搁板上的第二实体物品的图形表示;以及
在显示元件的第三区域中显示与从开始时间戳到结束时间戳的货架相机馈送的记录对应的货架视频片段,其中货架视频片段描绘与第一实体货架相关联的事件;
接收与第二实体货架相关联的第二事件的指示,第二事件包括人与第二实体货架交互;
响应于接收到与第二实体货架相关联的第二事件的指示:
在显示器的第二区域中显示第二虚拟货架,第二虚拟货架包括第三虚拟搁板和第四虚拟搁板,第三虚拟搁板包括第三虚拟物品,第四虚拟搁板包括第四虚拟物品,其中第三虚拟物品包括位于第二实体货架的第三实体搁板上的第三实体物品的图形表示,并且第四虚拟物品包括位于第二实体货架的第四实体搁板上的第四实体物品的图形表示;以及
在显示器的第三区域中显示与从第二开始时间戳到第二结束时间戳的第二货架相机馈送的记录对应的第二货架视频片段,其中第二货架视频片段描绘与第二实体货架相关联的第二事件。
76.根据条款75所述的系统,其中:
与第一实体货架相关联的事件包括从第一实体货架的第一实体搁板的第一区选择第一实体物品,其中耦合到第一实体搁板的第一区的重量传感器被配置为检测从第一实体搁板选择第一实体物品;以及
事件的指示包括从重量传感器接收到的信息。
77.根据条款76所述的系统,其中,响应于显示第一虚拟货架,处理元件还可操作以突出显示第一虚拟搁板上的第一虚拟物品。
78.根据条款75所述的系统,还包括存储元件,其中:
接口还可操作以接收与位于实体商店中的第一相机对应的视频馈送;以及
处理元件还可操作以:
将第一视频片段存储在存储元件中,第一视频片段指派给第一人并且捕获第一人在实体商店中的购物会期的一部分,第一视频片段与从开始时间戳到结束时间戳的视频馈送的记录对应;
将滑块条指派给第一视频片段,其中:
滑块条控制第一视频片段的回放进度;
事件在第一时间发生;
滑块条包括滑块条上位于第一时间的标记,该标记与在第一时间发生的事件相关联,该标记包括元数据,该元数据包括指派给第一虚拟物品的物品标识号、指派给第一虚拟货架的货架标识号,以及指派给第一虚拟货架的区的区标识号;以及
事件的指示包括第一视频片段的回放进度到达标记;以及
响应于显示第一虚拟货架,基于元数据突出显示第一虚拟货架上的第一虚拟物品。
79.根据条款78所述的系统,其中:
滑块条包括滑块条上位于第二时间的第二标记,第二标记与在第二时间发生的第二事件相关联,第二事件与第二实体货架相关联,第二标记包括第二元数据,第二元数据包括指派给第三虚拟物品的第二物品标识号、指派给第二虚拟货架的第二货架标识号,以及指派给第二虚拟货架的第二区的第二区标识号;以及
处理元件还可操作以:
确定第一视频片段的回放进度到达第二标记;以及
响应于确定第一视频片段的回放进度到达第二标记:
在显示元件的第二区域中显示第二虚拟货架,第二虚拟货架包括第三虚拟搁板和第四虚拟搁板,第三虚拟搁板包括第三虚拟物品,第四虚拟搁板包括第四虚拟物品,其中第三虚拟物品包括位于第二实体货架的第三实体搁板上的第三实体物品的图形表示,并且第四虚拟物品包括位于第二实体货架的第四实体搁板上的第四实体物品的图形表示;以及
基于第二元数据,突出显示第二虚拟货架上的第三虚拟物品。
80.根据条款75所述的系统,其中与第一实体货架相关联的事件的指示包括由算法响应于基于从位于实体商店内的传感器接收的输入的集合的事件的检测而生成的信息。

Claims (20)

1.一种装置,包括:
显示器;
接口,被配置为从位于实体商店中的货架相机接收货架视频,货架相机指向位于实体商店中的实体货架的集合中的第一实体货架,货架相机被配置为在人在实体商店中的购物会期期间捕获第一实体货架的视频;以及
通信耦合到显示器的硬件处理器,硬件处理器被配置为:
在显示器的第一区域中显示被配置为模拟第一实体货架的第一虚拟货架,其中第一虚拟货架包括第一虚拟搁板和第二虚拟搁板,第一虚拟搁板包括第一虚拟物品,第二虚拟搁板包括第二虚拟物品,其中第一虚拟物品包括位于第一实体货架的第一实体搁板上的第一实体物品的图形表示,并且第二虚拟物品包括位于第一实体货架的第二实体搁板上的第二实体物品的图形表示;
在显示器的第二区域中显示货架视频,其中货架视频描绘包括人与第一实体货架交互的事件;
在显示器的第三区域中显示虚拟购物车;
接收与事件相关联的信息,该信息识别第一虚拟物品,其中货架视频描绘人在与第一实体货架交互时选择了第一实体物品;以及
响应于接收到与事件相关联的信息,将第一虚拟物品存储在虚拟购物车中。
2.如权利要求1所述的装置,其中:
接口还被配置为从位于实体商店中的第二货架相机接收第二货架视频,第二货架相机指向位于实体商店中的实体货架的集合中的第二实体货架,第二货架相机被配置为在人在实体商店中的购物会期期间捕获第二实体货架的视频;以及
处理器还被配置为:
在显示器的第一区域中显示被配置为模拟第二实体货架的第二虚拟货架,其中第二虚拟货架包括第三虚拟搁板和第四虚拟搁板,第三虚拟搁板包括第三虚拟物品,第四虚拟搁板包括第四虚拟物品,其中第三虚拟物品包括位于第二实体货架的第三实体搁板上的第三实体物品的图形表示,并且第四虚拟物品包括位于第二实体货架的第四实体搁板上的第四实体物品的图形表示;
在显示器的第二区域中显示第二货架视频,其中第二货架视频描绘包括人与第二实体货架交互的第二事件;
接收与第二事件相关联的信息,该信息识别第三虚拟物品,其中第二货架视频描绘人在与第二实体货架交互时选择了第三实体物品;以及
响应于接收到与第二事件相关联的信息,将第三虚拟物品存储在虚拟购物车中。
3.如权利要求2所述的装置,其中处理器还被配置为:
确定购物会期已经结束;
响应于确定购物会期已经结束:
将虚拟购物车与算法购物车进行比较,算法购物车包括由算法确定为在购物会期期间已选择的物品,算法购物车基于从位于实体商店内的传感器接收的输入的集合来确定;
确定虚拟购物车与算法购物车匹配;以及
响应于确定虚拟购物车与算法购物车匹配:
生成包括指派给第一虚拟物品的第一价格和指派给第三虚拟物品的第二价格的收据;以及
将收据发送给该人。
4.如权利要求3所述的装置,其中传感器包括:
算法相机的阵列,不同于货架相机;以及
重量传感器的集合,其中由算法确定为在购物会期期间已选择的物品中的每个物品都耦合到重量传感器的集合中的重量传感器。
5.如权利要求4所述的装置,其中响应于确定算法购物车包括错误,处理器还被配置为:
确定与错误相关联的输入的集合的子集,其中该子集包括从算法相机的阵列接收的输入;
将元数据附加到该子集,该元数据解释差异;以及
使用该子集训练算法。
6.如权利要求2所述的装置,其中处理器还被配置为:
确定购物会期已经结束;
响应于确定购物会期已经结束:
将虚拟购物车与算法购物车进行比较,算法购物车包括由算法确定为在购物会期期间已由人选择的物品,算法购物车基于从位于实体商店内的传感器接收的输入来确定;
确定虚拟购物车与算法购物车不匹配;以及
响应于确定虚拟购物车与算法购物车不匹配:
确定算法购物车包括错误;以及
响应于确定算法购物车包括错误:
基于虚拟购物车生成收据,该收据包括指派给第一虚拟物品的第一价格和指派给第三虚拟物品的第二价格;以及
将收据发送给该人。
7.如权利要求1所述的装置,其中处理器还被配置为:
确定购物会期已经结束;
响应于确定购物会期已经结束:
将虚拟购物车与算法购物车进行比较,算法购物车包括由算法确定为在购物会期期间已选择的物品,算法购物车基于从位于实体商店内的传感器接收的输入来确定;
确定虚拟购物车与算法购物车不匹配;以及
响应于确定虚拟购物车与算法购物车不匹配:
确定虚拟购物车包括错误;以及
响应于确定虚拟购物车包括错误:
基于算法购物车生成收据,该收据包括由算法确定为在购物会期期间已由人选择的物品的价格;以及
将收据发送给该人。
8.如权利要求1所述的装置,其中与事件相关联的信息包括与将第一虚拟物品从第一虚拟货架拖放到第一虚拟购物车中相关联的信息。
9.一种方法,包括:
从位于实体商店中的货架相机接收货架视频,货架相机指向位于实体商店中的实体货架的集合中的第一实体货架,货架相机被配置为在人在实体商店中的购物会期期间捕获第一实体货架的视频;
在显示器的第一区域中显示被配置为模拟第一实体货架的第一虚拟货架,其中第一虚拟货架包括第一虚拟搁板和第二虚拟搁板,第一虚拟搁板包括第一虚拟物品,第二虚拟搁板包括第二虚拟物品,其中第一虚拟物品包括位于第一实体货架的第一实体搁板上的第一实体物品的图形表示,并且第二虚拟物品包括位于第一实体货架的第二实体搁板上的第二实体物品的图形表示;
在显示器的第二区域中显示货架视频,其中货架视频描绘包括人与第一实体货架交互的事件;
在显示器的第三区域中显示虚拟购物车;
接收与事件相关联的信息,该信息识别第一虚拟物品,其中货架视频描绘人在与第一实体货架交互时选择了第一实体物品;以及
响应于接收到与事件相关联的信息,将第一虚拟物品存储在虚拟购物车中。
10.如权利要求9所述的方法,还包括:
从位于实体商店中的第二货架相机接收第二货架视频,第二货架相机指向位于实体商店中的实体货架的集合中的第二实体货架,第二货架相机被配置为在人在实体商店中的购物会期期间捕获第二实体货架的视频;
在显示器的第一区域中显示被配置为模拟第二实体货架的第二虚拟货架,其中第二虚拟货架包括第三虚拟搁板和第四虚拟搁板,第三虚拟搁板包括第三虚拟物品,第四虚拟搁板包括第四虚拟物品,其中第三虚拟物品包括位于第二实体货架的第三实体搁板上的第三实体物品的图形表示,并且第四虚拟物品包括位于第二实体货架的第四实体搁板上的第四实体物品的图形表示;
在显示器的第二区域中显示第二货架视频,其中第二货架视频描绘包括人与第二实体货架交互的第二事件;
接收与第二事件相关联的信息,该信息识别第三虚拟物品,其中第二货架视频描绘人在与第二实体货架交互时选择了第三实体物品;以及
响应于接收到与第二事件相关联的信息,将第三虚拟物品存储在虚拟购物车中。
11.如权利要求10所述的方法,还包括:
确定购物会期已经结束;
响应于确定购物会期已经结束:
将虚拟购物车与算法购物车进行比较,算法购物车包括由算法确定为在购物会期期间已选择的物品,算法购物车基于从位于实体商店内的传感器接收的输入的集合来确定;
确定虚拟购物车与算法购物车匹配;以及
响应于确定虚拟购物车与算法购物车匹配:
生成包括指派给第一虚拟物品的第一价格和指派给第三虚拟物品的第二价格的收据;以及
将收据发送给该人。
12.如权利要求11所述的方法,其中传感器包括:
算法相机的阵列,不同于货架相机;以及
重量传感器的集合,其中由算法确定为在购物会期期间已选择的物品中的每个物品都耦合到重量传感器的集合中的重量传感器。
13.如权利要求12所述的方法,还包括,响应于确定算法购物车包括错误:
确定与错误相关联的输入的集合的子集,其中该子集包括从算法相机的阵列接收的输入;
将元数据附加到该子集,该元数据解释差异;以及
使用该子集训练算法。
14.如权利要求10所述的方法,还包括:
确定购物会期已经结束;
响应于确定购物会期已经结束:
将虚拟购物车与算法购物车进行比较,算法购物车包括由算法确定为在购物会期期间已由人选择的物品,算法购物车基于从位于实体商店内的传感器接收的输入来确定;
确定虚拟购物车与算法购物车不匹配;以及
响应于确定虚拟购物车与算法购物车不匹配:
确定算法购物车包括错误;以及
响应于确定算法购物车包括错误:
基于虚拟购物车生成收据,该收据包括指派给第一虚拟物品的第一价格和指派给第三虚拟物品的第二价格;以及
将收据发送给该人。
15.如权利要求9所述的方法,还包括:
确定购物会期已经结束;
响应于确定购物会期已经结束:
将虚拟购物车与算法购物车进行比较,算法购物车包括由算法确定为在购物会期期间已选择的物品,算法购物车基于从位于实体商店内的传感器接收的输入来确定;
确定虚拟购物车与算法购物车不匹配;以及
响应于确定虚拟购物车与算法购物车不匹配:
确定虚拟购物车包括错误;以及
响应于确定虚拟购物车包括错误:
基于算法购物车生成收据,该收据包括由算法确定为在购物会期期间已由人选择的物品的价格;以及
将收据发送给该人。
16.如权利要求9所述的方法,其中与事件相关联的信息包括与将第一虚拟物品从第一虚拟货架拖放到第一虚拟购物车中相关联的信息。
17.一种系统,包括:
显示元件;
接口,可操作以:
从位于实体商店中的货架相机接收货架视频,货架相机指向位于实体商店中的实体货架的集合中的第一实体货架,货架相机被配置为捕获在人在实体商店中的购物会期期间第一实体货架的视频;以及
从位于实体商店中的第二货架相机接收第二货架视频,第二货架相机指向位于实体商店中的实体货架的集合中的第二实体货架,第二货架相机被配置为捕获在人在实体商店中的购物会期期间第二实体货架的视频;以及
处理元件,通信耦合到显示元件,处理元件可操作以:
在显示器的第一区域中显示被配置为模拟第一实体货架的第一虚拟货架,其中第一虚拟货架包括第一虚拟搁板和第二虚拟搁板,第一虚拟搁板包括第一虚拟物品,第二虚拟搁板包括第二虚拟物品,其中第一虚拟物品包括位于第一实体货架的第一实体搁板上的第一实体物品的图形表示,并且第二虚拟物品包括位于第一实体货架的第二实体搁板上的第二实体物品的图形表示;
在显示器的第二区域中显示货架视频,其中货架视频描绘包括人与第一实体货架交互的事件;
在显示器的第三区域中显示虚拟购物车;
接收与事件相关联的信息,该信息识别第一虚拟物品,其中货架视频描绘人在与第一实体货架交互时选择了第一实体物品;
响应于接收到与事件相关联的信息,将第一虚拟物品存储在虚拟购物车中;
在显示器的第一区域中显示被配置为模拟第二实体货架的第二虚拟货架,其中第二虚拟货架包括第三虚拟搁板和第四虚拟搁板,第三虚拟搁板包括第三虚拟物品,第四虚拟搁板包括第四虚拟物品,其中第三虚拟物品包括位于第二实体货架的第三实体搁板上的第三实体物品的图形表示,并且第四虚拟物品包括位于第二实体货架的第四实体搁板上的第四实体物品的图形表示;
在显示器的第二区域中显示第二货架视频,其中第二货架视频描绘包括人与第二实体货架交互的第二事件;
接收与第二事件相关联的信息,该信息识别第三虚拟物品,其中第二货架视频描绘人在与第二实体货架交互时选择了第三实体物品;以及
响应于接收到与第二事件相关联的信息,将第三虚拟物品存储在虚拟购物车中;
确定购物会期已经结束;
响应于确定购物会期已经结束:
将虚拟购物车与算法购物车进行比较,算法购物车包括由算法确定为在购物会期期间已选择的物品,算法购物车基于从位于实体商店内的传感器接收的输入的集合来确定,其中传感器包括:
算法相机的阵列,不同于货架相机;
重量传感器的集合,其中由算法确定为在购物会期期间已选择的物品中的每个物品都耦合到重量传感器的集合中的重量传感器;以及
响应于将虚拟购物车与算法购物车进行比较:
为购物会期生成收据;以及
将收据发送给该人。
18.如权利要求17所述的系统,其中收据包括指派给第一虚拟物品的第一价格和指派给第三虚拟物品的第二价格。
19.如权利要求17所述的系统,其中响应于将虚拟购物车与算法购物车进行比较,处理元件还可操作以:
确定算法购物车包括错误;
确定与错误相关联的输入的集合的子集,其中该子集包括从算法相机的阵列接收的输入;
将元数据附加到该子集,该元数据解释差异;以及
使用该子集训练算法。
20.如权利要求17所述的系统,其中与事件相关联的信息包括与将第一虚拟物品从第一虚拟货架拖放到第一虚拟购物车中相关联的信息。
CN202080088562.XA 2019-10-25 2020-10-23 基于顾客在实体商店的购物会期的视频来填充虚拟购物车的系统和方法 Pending CN114830200A (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US16/664,470 US10922555B1 (en) 2019-10-25 2019-10-25 Customer-based video feed
US16/664,490 2019-10-25
US16/663,589 US10861085B1 (en) 2019-10-25 2019-10-25 Apparatus, system and method for populating a virtual shopping cart based on video of a customers shopping session at a physical store
US16/664,529 US11798065B2 (en) 2019-10-25 2019-10-25 Tool for generating a virtual store that emulates a physical store
US16/663,564 2019-10-25
US16/664,529 2019-10-25
US16/664,470 2019-10-25
US16/663,589 2019-10-25
US16/663,564 US10607080B1 (en) 2019-10-25 2019-10-25 Feedback and training for a machine learning algorithm configured to determine customer purchases during a shopping session at a physical store
US16/664,490 US11100717B2 (en) 2019-10-25 2019-10-25 System and method for presenting a virtual store shelf that emulates a physical store shelf
PCT/US2020/057048 WO2021081319A1 (en) 2019-10-25 2020-10-23 System and method for populating a virtual shopping cart based on video of a customer's shopping session at a physical store

Publications (1)

Publication Number Publication Date
CN114830200A true CN114830200A (zh) 2022-07-29

Family

ID=73449221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080088562.XA Pending CN114830200A (zh) 2019-10-25 2020-10-23 基于顾客在实体商店的购物会期的视频来填充虚拟购物车的系统和方法

Country Status (7)

Country Link
EP (1) EP4049250A1 (zh)
JP (1) JP7440627B2 (zh)
KR (1) KR102634141B1 (zh)
CN (1) CN114830200A (zh)
CA (1) CA3165136A1 (zh)
MX (1) MX2022004899A (zh)
WO (1) WO2021081319A1 (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050177463A1 (en) * 2004-02-10 2005-08-11 Crutchfield William G.Jr. Virtual showroom for interactive electronic shopping
CN1787003A (zh) * 2004-12-09 2006-06-14 国际商业机器公司 用于使购物者能够购买物品的虚拟购物环境和方法
US20070073717A1 (en) * 2005-09-14 2007-03-29 Jorey Ramer Mobile comparison shopping
US20110183732A1 (en) * 2008-03-25 2011-07-28 WSM Gaming, Inc. Generating casino floor maps
US20120215656A1 (en) * 2011-02-23 2012-08-23 Liang Light Chen Drag-and-drop internet shopping with an embedded shopping cart view
CN103093543A (zh) * 2011-10-28 2013-05-08 阿迪达斯股份公司 交互式零售系统
US20130332271A1 (en) * 2012-06-08 2013-12-12 Ronny Hay Computer-controlled, unattended, automated checkout store outlet system and related method
CN103956114A (zh) * 2008-07-03 2014-07-30 7-11公司 滚轴烤架的滚动信息显示
CN104700299A (zh) * 2013-12-10 2015-06-10 12股份有限公司 一种购物系统及使用购物系统的购物流程
CN105324714A (zh) * 2013-04-08 2016-02-10 罗尼·哈伊 计算机控制的、无人值守的自动结账零售店
CN108269371A (zh) * 2017-09-27 2018-07-10 缤果可为(北京)科技有限公司 商品自动结算方法、装置、自助收银台
US20180232796A1 (en) * 2017-02-10 2018-08-16 Grabango Co. Dynamic customer checkout experience within an automated shopping environment
US20180240180A1 (en) * 2017-02-20 2018-08-23 Grabango Co. Contextually aware customer item entry for autonomous shopping applications
CN109414119A (zh) * 2016-05-09 2019-03-01 格拉班谷公司 用于在环境内计算机视觉驱动应用的系统和方法
US20190114488A1 (en) * 2017-10-16 2019-04-18 Grabango Co. Multiple-factor verification for vision-based systems
US10368057B1 (en) * 2016-09-28 2019-07-30 Amazon Technologies, Inc. Synchronizing data streams
US10373322B1 (en) * 2018-07-16 2019-08-06 Accel Robotics Corporation Autonomous store system that analyzes camera images to track people and their interactions with items

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233348A (zh) 2014-04-25 2016-12-14 东佳弘 结账辅助装置、结账辅助方法及程序
JP5704279B1 (ja) 2014-10-14 2015-04-22 富士ゼロックス株式会社 関連付プログラム及び情報処理装置
CN111868773A (zh) 2018-03-20 2020-10-30 日本电气株式会社 商店管理设备及商店管理方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050177463A1 (en) * 2004-02-10 2005-08-11 Crutchfield William G.Jr. Virtual showroom for interactive electronic shopping
CN1787003A (zh) * 2004-12-09 2006-06-14 国际商业机器公司 用于使购物者能够购买物品的虚拟购物环境和方法
US20070073717A1 (en) * 2005-09-14 2007-03-29 Jorey Ramer Mobile comparison shopping
US20110183732A1 (en) * 2008-03-25 2011-07-28 WSM Gaming, Inc. Generating casino floor maps
CN103956114A (zh) * 2008-07-03 2014-07-30 7-11公司 滚轴烤架的滚动信息显示
US20120215656A1 (en) * 2011-02-23 2012-08-23 Liang Light Chen Drag-and-drop internet shopping with an embedded shopping cart view
CN103093543A (zh) * 2011-10-28 2013-05-08 阿迪达斯股份公司 交互式零售系统
US20130332271A1 (en) * 2012-06-08 2013-12-12 Ronny Hay Computer-controlled, unattended, automated checkout store outlet system and related method
CN105324714A (zh) * 2013-04-08 2016-02-10 罗尼·哈伊 计算机控制的、无人值守的自动结账零售店
CN104700299A (zh) * 2013-12-10 2015-06-10 12股份有限公司 一种购物系统及使用购物系统的购物流程
CN109414119A (zh) * 2016-05-09 2019-03-01 格拉班谷公司 用于在环境内计算机视觉驱动应用的系统和方法
US10368057B1 (en) * 2016-09-28 2019-07-30 Amazon Technologies, Inc. Synchronizing data streams
US20180232796A1 (en) * 2017-02-10 2018-08-16 Grabango Co. Dynamic customer checkout experience within an automated shopping environment
US20180240180A1 (en) * 2017-02-20 2018-08-23 Grabango Co. Contextually aware customer item entry for autonomous shopping applications
CN108269371A (zh) * 2017-09-27 2018-07-10 缤果可为(北京)科技有限公司 商品自动结算方法、装置、自助收银台
US20190114488A1 (en) * 2017-10-16 2019-04-18 Grabango Co. Multiple-factor verification for vision-based systems
US10373322B1 (en) * 2018-07-16 2019-08-06 Accel Robotics Corporation Autonomous store system that analyzes camera images to track people and their interactions with items

Also Published As

Publication number Publication date
CA3165136A1 (en) 2021-04-29
JP2022553542A (ja) 2022-12-23
MX2022004899A (es) 2022-05-16
JP7440627B2 (ja) 2024-02-28
WO2021081319A1 (en) 2021-04-29
KR102634141B1 (ko) 2024-02-07
EP4049250A1 (en) 2022-08-31
KR20220082919A (ko) 2022-06-17

Similar Documents

Publication Publication Date Title
US10810428B1 (en) Feedback and training for a machine learning algorithm configured to determine customer purchases during a shopping session at a physical store
US11657584B2 (en) System and method for presenting a virtual store shelf that emulates a physical store shelf
US10861085B1 (en) Apparatus, system and method for populating a virtual shopping cart based on video of a customers shopping session at a physical store
US11151388B2 (en) Customer-based video feed
US11798065B2 (en) Tool for generating a virtual store that emulates a physical store
US11023728B1 (en) Machine learning algorithm trained to identify algorithmically populated shopping carts as candidates for verification
US20190333039A1 (en) Produce and bulk good management within an automated shopping environment
US11521248B2 (en) Method and system for tracking objects in an automated-checkout store based on distributed computing
US20220309784A1 (en) System and method for populating a virtual shopping cart based on a verification of algorithmic determinations of items selected during a shopping session in a physical store
CN109214306A (zh) 货架扫货机器人及货架扫货系统
CN110895747B (zh) 商品信息识别、显示、信息关联、结算方法及系统
US20220180424A1 (en) System and method for populating a virtual shopping cart based on video of a customer's shopping session at a physical store
KR102634141B1 (ko) 물리적 상점에서의 고객의 쇼핑 세션의 비디오에 기반하여 가상 쇼핑 카트를 채우기 위한 시스템 및 방법
US11475656B2 (en) System and method for selectively verifying algorithmically populated shopping carts
US11386647B2 (en) System and method for processing a refund request arising from a shopping session in a cashierless store
WO2022115841A1 (en) System and method for selectively verifying algorithmically populated shopping carts
Yoshino et al. KI/OSK: Practice study of load sensitive board for farmers market
JP2012216117A (ja) 販売支援装置、販売支援装置システム、販売支援装置の制御方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination