CN103390075B - 在购物体验中比较虚拟和真实图像 - Google Patents

在购物体验中比较虚拟和真实图像 Download PDF

Info

Publication number
CN103390075B
CN103390075B CN201310227757.XA CN201310227757A CN103390075B CN 103390075 B CN103390075 B CN 103390075B CN 201310227757 A CN201310227757 A CN 201310227757A CN 103390075 B CN103390075 B CN 103390075B
Authority
CN
China
Prior art keywords
layout
models
real world
planned
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310227757.XA
Other languages
English (en)
Other versions
CN103390075A (zh
Inventor
J-j·格里莫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dassault Systemes of America Corp
Original Assignee
Dassault Systemes of America Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dassault Systemes of America Corp filed Critical Dassault Systemes of America Corp
Publication of CN103390075A publication Critical patent/CN103390075A/zh
Application granted granted Critical
Publication of CN103390075B publication Critical patent/CN103390075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

在一个实施例中，基于计算机的方法包括接收真实世界布局的图像数据。图像数据在三个维度(即垂直、水平和正交)上反映真实世界布局。三个维度中的每一个均具有包括开始和结束的图像范围。真实世界布局具有在三个维度上分布的产品的库存。基于计算机的方法还包括将环境的计划的布局的3D模型与所接收的图像数据进行比较。3D模型表示在三个维度上的所计划的布局。基于计算机的方法还包括确定比较的结果是否达到第一特定阈值，并且如果达到则输出相关指示、警告等。

Description

在购物体验中比较虚拟和真实图像
技术领域
本申请总体上涉及在购物体验中比较虚拟和真实图像。
背景技术
货架图(planogram)是商店产品的视觉表示，或更具体地是在架子上、在走廊中等的零售产品的布置图。在零售环境中，货架图用于以统一的方式跨多个商店来陈列产品。制造商、零售商或其它高级实体可设计和分发货架图给零售商。货架图可以帮助零售计划者出于各种原因推销某些产品，例如为了迎合高利润率产品，为了更迅速地销售具有高库存的产品，为了兑现制造商的要求或为了满足合同义务。
因此，零售部门使用货架图试图优化产品布置的视觉目标和/或产品布置的商业方面。期望货架图的使用朝这些目标改进或增强。
发明内容
本发明的实施例提供相对于现有技术水平的改进。
在一个实施例中，一种基于计算机的方法包括接收真实世界布局的图像数据。图像数据在三个维度(即垂直、水平和正交)上反映真实世界布局。三个维度中的每一个均具有包括开始和结束的图像范围。真实世界布局具有在三个维度上分布的产品的库存。基于计算机的方法还包括比较环境的所计划的布局的3D模型与所接收的图像数据。3D模型表示在三个维度上的所计划的布局。基于计算机的方法还包括确定比较的结果是否达到第一特定阈值，且如果达到则输出相关的指示、警告等。
在另一个实施例中，基于计算机的方法可以包括从图像数据提取至少一个产品显示分组。基于计算机的方法还包括在所计划的布局的3D模型中将所提取的至少一个产品显示分组与产品显示分组的至少一个表示相关联。基于计算机的方法还包括比较所提取的产品显示分组与产品显示分组的至少一个表示。基于计算机的方法还包括确定比较的结果是否满足第二特定阈值。本领域普通技术人员可以认识到，在一个实施例中，第一特定阈值和第二特定阈值可以是相同阈值。
基于计算机的方法还包括如果3D模型与所接收的图像数据的比较的结果达到第一特定阈值则产生警告。比较可以表示相似性或非相似性，且第一特定阈值可以表示特定的相似度。
在另一个实施例中，基于计算机的方法还包括产生所计划的布局的3D模型。将3D模型与所接收的图像数据进行比较可以包括计算图像差异。
在另一个实施例中，基于计算机的方法还包括将3D模型转换为2D表示。将3D模型与所接收的图像数据进行比较可以包括将3D模型的2D表示与所接收的图像数据进行比较。
在另一个实施例中，将计划的布局的3D模型与所接收的图像数据进行比较还包括将图像数据转换为渲染的3D模型，且将所计划的布局的3D模型与所渲染的3D模型进行比较。
在另一个实施例中，将计划的布局的3D模型与图像数据进行比较还包括分析图像数据以确定库存的第一数量，获取库存的第二数量，以及比较第一数量和第二数量。库存的第一数量可以在真实世界布局中表示，且库存的第二数量可以在所计划的布局的3D模型中表示。
在一个实施例中，接收图像数据还包括捕获在顾客显示位置和存储位置中的产品的图像数据。获取库存的第二数量还可以包括从交易会计系统获取第二数量。比较第一数量和第二数量可以包括计算第一数量与第二数量的差值。差值可以表示在计算的将在商店中的库存的数量与实际(通过实时成像可视地计数)在商店中的库存的数量的差值。
在另一个实施例中，接收真实世界布局的图像数据可以包括以多个相机捕获真实世界布局的图像数据。接收真实世界布局的图像数据包括以定位为能够产生真实世界布局的3D模型的多个相机捕获真实世界布局的图像数据。
在另一个实施例中，基于计算机的方法包括调整所接收的图像数据以匹配3D模型的属性。3D模型的属性包括照明特性、对比度、色调、阴影布置和阴影去除中的一个或多个。
在另一个实施例中，该方法可以包括产生指令以使真实世界布局符合环境的计划的布局。
在另一个实施例中，该方法可以包括接收真实世界布局的音频数据。音频数据可以反映来自真实世界布局的声音、语音或音乐中的至少一个。该方法还包括将环境的所计划的布局的声音模型与所接收的音频数据进行比较。声音模型表示所计划的布局。该方法还包括确定比较的结果是否达到第一特定阈值。
在一个实施例中，一种系统包括配置为接收真实世界布局的图像数据的接收模块。图像数据在三个维度上反映真实世界布局。三个维度中的每一个均具有包括开始和结束的图像范围。真实世界布局具有在三个维度上分布的库存。比较模块配置为将真实世界布局的计划的布局的3D模型与所接收的图像数据进行比较。3D模型表示在三个维度上的所计划的布局。阈值确定模块配置为：(i)确定比较的结果是否达到第一特定阈值，以及(ii)输出适当的指示。
在另一个实施例中，一种计算机包括配置为存储在三个维度上反映真实世界布局的图像数据。三个维度中的每一个均具有包括开始和结束的图像范围。真实世界布局具有在三个维度上分布的库存以及计划的布局的3D模型。3D模型表示在存储区中三个维度上的所计划的布局。计算机还包括耦接于存储区的处理器。处理器配置为接收真实世界布局的图像数据，将所计划的布局的3D模型与所接收的图像数据进行比较，以及确定比较的结果是否达到特定阈值。
附图说明
根据本发明的示例实施例的下列更具体的描述，前述内容将显而易见，如附图所示，各个附图中的相同的参考标记指的是相同的部分。附图不必是按比例缩放的，而强调的是举例说明本发明的实施例。
图1是处于零售环境中的示例实施例的示意图。
图2A以及2B是在图1的示例实施例中的零售位置与分析服务器之间通信的方框图。
图3是图1的示例实施例中的环境分析系统的流程图。
图4是环境分析系统的另一个示例实施例的流程图。
图5是环境分析系统的另一个示例实施例的流程图。
图6是在环境分析系统中比较图像数据和3D模型的处理的示例实施例的流程图。
图7是实现本发明的计算机系统的框图。
具体实施方式
以下是本发明的示例实施例的描述。
在此引用的所有专利、公开的申请以及参考文献的所给出的教导均通过引用其全部被结合于本申请中。
在零售环境中，对于产品的零售商或经销商而言期望将特定产品放置在商店内的特定位置是常见的。零售商可以与产品的经销商合作来计划如何将产品显示在商店中。货架图是帮助计划在商店中的哪里放置以及显示产品的工具。货架图是以特定方式在零售环境的特定区域中来安排产品的图表、地图(map)或一组说明。例如，在特定的一组架子上，最昂贵的产品可以被放置在最接近于顾客很可能看到的视平线，零售商和经销商不希望顾客购买的较低廉的产品可以被放置在顾客很少可能看到的较低或较高的架子上。货架图的运用的另一个示例是在移动式显示器的布置中，显示器固定显示特定产品并可以被定位于零售环境的高流量区域，以强调该特定产品。货架图可用于计划和安排(或者配置)便携式架子，或可构造的架子，例如塑料或纸板架子，并且可用于使用架子自身来进一步强调特定产品。
零售环境的管理者可能难以在他或者她的商店里追踪货架图的变化。货架图的设计者可以在周期性的基础上，例如每月、每周或甚至每日，改变零售环境中所期望的产品布局或受货架图影响的店中位置。因此，采用如下那样的系统是有用的：可以监视(现场(live)、实时)零售环境中所执行的货架图并且可以比较所执行的货架图与例如以三个维度(3D)模型方式计划的或建模的货架图。在零售环境内监视多个货架图，这对于系统也是有用的，从而可以监视整个零售环境并且与包括多个货架图的3D模型的零售环境的3D模型进行比较。以这种方式，通过对在实时的、零售环境中的不合格的零售环境的管理者进行警告，并且向管理者发出指令以符合零售环境的所计划的3D模型，零售环境作为一个整体可以符合零售环境的所计划的3D模型。指令可以是详细指令，例如关于如何校正所执行的货架图的一步一步的指令。系统可以产生包括货架图的校正的指令。雇员可以用校正指令修整货架图，这比从头开始重建整个货架图快。
图1是举例说明了零售环境102中的示例实施例100的图。零售环境102包括第一相机104a和第二相机104b。第一相机104a和第二相机104b两者都配置为获取零售环境102的现场图像数据，用于传输到环境分析系统200(例如如下所述的图2A－B中的208)。环境分析系统200基于来自第一相机104a和第二相机104b的所获取的图像数据来分析零售环境102。本领域普通技术人员可以认识到，在零售环境102中可以采用任意数量的相机来捕获整个零售环境102或其子集。本领域普通技术人员可以进一步认识到，第一相机104a和第二相机104b中的每一个也可以用作为安防相机，其中第一相机104a和第二相机104b周期性地为环境分析系统200记录图像。换句话说，第一相机104a和第二相机104b可以其次用于发送零售环境102的图像数据到环境分析系统200。为了安全目的，安防相机的系统仍然完全运行，因为通常环境分析系统200只需要图像数据的子集来分析可以被记录用于安防系统的剩余帧的整组。
零售环境102包括第一货架图空间106和第二货架图空间110。第一货架图空间106和第二货架图空间110均被配置为沿着三个维度(垂直、水平和正交)展示或显示多个产品。例如，第一货架图空间106包括第一组产品112a-e，第二组产品114a-i和第三组产品116a-g。如上所述，零售环境102的设计者可以期望第一货架图空间106具有产品112a-e,114a-i和116a-g的特定配置和布置。例如，第二组产品114a-i可以是具有高利润率的产品，因此为了更高的顾客可见性，将其放置在整个中间架子上或者沿着中间架子来放置。然而，环境分析系统200可能检测出第二组产品114a-i在不同的架子上，例如顶层架子或是底层架子。然后，环境分析系统200向零售环境102的管理者、货架图的设计者或产品的制造商发送警告，以提供第一货架图空间106的校正配置(即，产品112a-e，114a-i，以及116a-g的校正布置)。
第二货架图空间110包括位于顶层架子上的第四组产品118a-c，位于中间层架子上的第五组产品120a-g以及位于底层架子上的第六组产品122a-d。以上描述的关于第一货架图空间106的零售原理适用于第二货架图空间110。然而，除环境分析系统200提供如上描述的反馈的类型之外，环境分析系统200还可以提供关于第二货架图空间110的位置或方位的反馈。例如，假定第二货架图空间110是可移动的(可移动地定位)，零售环境102的设计者可能希望将第二货架图空间110定位于接近零售环境102的入口，接近零售环境102内的另一个产品或零售环境102中的任何其它位置。
货架图推销108可以推销货架图106，110中的产品或产品组。进一步，货架图推销108可以根据需要被移动、更换或重新设计。环境分析系统200可以进一步分析货架图推销108的执行。
本领域普通技术人员还可以认识到的是，零售环境102可以包括其它数据捕获设备(未示出)，例如麦克风之类的音频捕获设备。音频捕获设备(未示出)可以捕获语音、声音或音乐。为了与货架图的所计划的音频方面一致，环境分析系统200可以进一步分析货架图的音频方面的执行。在另一个实施例中，环境分析系统200可以用与图像分析相同的分析来进一步分析货架图的音频方面。通过同时分析图像数据以及例如音频数据之类的其它获得的数据两者，环境分析系统200可以提供协同的分析与指令。本领域普通技术人员可以进一步认识到，也可以获取和分析其它数据，例如嗅觉数据(例如气味或香味来推销特定的香水，古龙香水或其它产品)或电磁数据(例如传输给顾客的移动设备的无线信号)来确定与所计划的货架图的一致性。
图2A是示例实施例100的方框图，在零售位置202(零售环境102)和实施或者执行环境分析系统200的分析服务器208(环境分析系统200)之间的通信。零售位置202发送真实世界布局206的图像数据。真实世界布局206(沿着三个维度)的图像数据可以包括由零售位置202中的不同相机(例如图1中的104a，b)所拍摄的多个图像。图像数据206包括在零售环境102内沿着三个维度的被执行货架图和/或产品的布局的图像。分析服务器208接收图像数据206并比较图像数据206与零售环境102的所计划的布局的3D模型215。例如数据库或其它存储设备之类的存储区212被耦合到分析服务器208，或者可由分析服务器208访问，并储存各种零售环境102的所计划的布局的3D模型215。然后分析服务器208发送图像数据与3D模型215的比较的结果210。分析服务器208将该结果经由诸如因特网之类的网络204发送到零售位置202。该结果210可以包括图像数据206和3D模型215之间的差值的列表，或包括使在零售环境202内的产品的放置(布置)符合3D模型215的指令。分析服务器208可以被远程地耦合到存储区212或可以合并存储区212作为单一化系统。
在一个实施例中，可选择性地，零售位置202被配置为与诸如交易会计系统之类的库存跟踪系统(ITS)216通信。ITS216从零售位置202接收销售和交付(delivery)数据218。ITS216响应于来自零售位置202或进度(schedule)的请求而将库存数据220返回到零售位置202。如这里所描述的，环境分析系统200可以比较零售位置202的库存与从库存跟踪系统216返回的库存数据220。
在另一个实施例中，零售位置202可以在能够连接到网络204的任何设备上接收所发送的结果210。例如，零售位置202可以在移动设备、移动电话、智能电话、平板电脑、个人计算机、服务器或任何其它客户端设备上接收发送的结果210。
图2B是举例说明示例实施例100、分析服务器208和多个零售位置202a-c(零售环境102a-c)的方框图。每个零售位置202a-c被配置为通过分别发送真实世界布局206a-c的图像数据和接收图像数据和3D模型210a-c的比较的结果，来可操作地与分析服务器208通信。依照此方式，分析服务器208可以针对3D模型分析任意数目的零售位置102a-c。在另一个实施例中，分析服务器208可以为了每个相应的零售环境102a-c中的被执行的货架图中的相似性来分析多个零售位置102a-c。
此外，每个零售位置202a可以分别包括多个客户端设备214a-i，其被配置为与分析服务器208接口连接。多个客户端设备可以是移动设备、移动电话、智能电话、平板电脑、个人计算机、服务器或任何其它客户端设备。客户端设备214a-i被配置为接收图像数据分别与3D模型2l0a-c的比较的结果，以及向零售位置202a-c和各自的零售环境102a-c的雇员显示该结果(例如以指令或警告的形式)。在另一个实施例中，客户端设备214a-i可以发送真实世界布局206a-c的图像数据或其它数据到分析服务器208以用于被执行货架图的额外分析。
在另一个可选的实施例中，每个零售位置202a-c被配置为可操作地与各个ITS216a-c通信。每个ITS 216a-c均从各自的零售位置202a-c接收销售和交付数据218a-c，以及响应于来自零售位置202或进度的请求而将库存数据220a-c返回到各自的零售位置202a-c。如这里所描述的，环境分析系统200可以比较零售位置202a-c的库存和从库存跟踪系统216a-c返回的库存数据220a-c。
图3是举例说明环境分析系统200的示例实施例的流程图。环境分析系统200(在步骤302)首先接收来自零售位置202的图像数据。可选的，环境分析系统200在步骤304例如通过从图像数据去除阴影，将阴影放置到图像数据中，或调整图像数据的亮度，图像数据中的对象的对比度或图像数据的色调，来调整图像数据。然后，步骤306，环境分析系统200比较作为被选择性地改变的图像数据(在304)和计划的零售环境102的3D模型215(来自存储区212)。然后，环境分析系统200确定比较结果是否满足第一特定阈值(在308)。然后，通过输出指示或执行表示阈值被满足的操作(诸如输出警告等)，该方法结束(310)。
图4是举例说明环境分析系统200的另一个示例实施例处理400的流程图。首先，环境分析系统200接收来自零售环境402的图像数据(402)。然后该环境分析系统200分析该图像数据以确定多个货架图(404)。例如，图像数据中所表示的零售环境102可以具有多个被执行的货架图。多个被执行的货架图可以具有相对于彼此的以及相对于零售环境102的特定布置，而不仅仅作为独立的个体货架图，该零售环境102需要所有货架图一起的分析。然后，环境分析系统200比较特定的被执行的货架图与3D模型内的货架图(406)。在执行该比较时，不仅是特定的被执行的货架图本身与3D模型215比较，而且零售环境102内的被执行的货架图的位置也与3D模型215进行比较。例如，环境分析系统200(步骤406)可以将被执行的货架图与其相对于其它货架图、壁、门、窗口或零售环境102的其它特征的位置进行比较。
然后，环境分析系统200记录该比较(408)。接着，环境分析系统200确定是否已经比较所有的货架图(在404检测的多个中)(410)。如果环境分析系统200没有比较所有检测的被执行的货架图，环境分析系统200比较另一个特定的货架图与来自数据库212的相关3D模型215。如果环境分析系统200已经比较所有检测的被执行货架图，环境分析系统200然后确定环境分析系统被配置为产生的输出的类型(412)。如果环境分析系统200被配置为输出指令，环境分析系统200产生并输出指令(例如一步一步的指令)以使零售位置202符合3D模型(414)。
如果环境分析系统200被配置为产生库存请求，环境分析系统200基于在图像数据中检测到的库存的量来产生且输出请求以补充零售位置202的库存(416)。然后，环境分析系统的处理结束(420)。
如果环境分析系统200被配置为产生警告，环境分析系统200产生且输出警告给零售管理者或零售计划者两者中的一个，该警告指出相机图像数据与3D模型215的异同。然后，环境分析系统200的处理400结束(420)。
本领域普通技术人员可以进一步认识到，环境分析系统200可以同时比较全部图像数据和3D模型215，来代替相继地比较特定的货架图与3D模型215。依照此方式，环境分析系统200比较整个零售环境102与计划的零售环境(如由3D模型215表示的)，从而提供整个商店模型的分析，该商店模型可以提供商店动态的分析。
图5是举例说明环境分析系统200的另一个示例处理500的方框图。环境分析系统从接收图像数据开始(502)。然后，环境分析系统200分析该图像数据中的货架图以确定在被执行的货架图中的库存(步骤504)。例如，环境分析系统200分析被执行的货架图以确定剩余产品的数量。本领域普通技术人员可以认识到，环境分析系统200除了相继地分析每个货架图之外也可以同时分析整个商店。接着，环境分析系统200比较所确定的数量(504)与由诸如交易会计系统之类的库存跟踪系统216,216a-c指出的相同库存的数量(506)。然后，环境分析系统200以所确定的数量更新库存跟踪系统216,216a-c(步骤508)。然后，环境分析系统200根据所确定的数量选择性地产生请求来补充库存(510)。例如，如果库存的数量在特定阈值以下，环境分析系统200自动定购更多库存以使得零售位置保持所需产品有现货(库存)。接着，环境分析系统200也可选地产生说明丢失库存的报告(512)。例如，环境分析系统200可以确定在现场架子(以及也在库房或库存房间中)上的库存的数量和库存跟踪系统216,216a-c中指出的库存的数量之间的差值。然后，环境分析系统200输出这一所确定的差值作为丢失库存，例如被偷窃或者失踪库存。然后，环境分析系统200的处理结束(步骤514)。
图6是举例说明处理600的示例实施例的流程图，该处理在环境分析系统200中对图像数据与3D模型215进行比较。环境分析系统200从接收图像数据开始(602)。然后，处理600确定环境分析系统200采用哪个比较方法(604)。如果环境分析系统200采用2D到3D变换，那么处理600将所接收的图像数据(来自602)转换为3D模型(606)。环境分析系统200和/或处理600使用常见的或已知的2D到3D数据转换方法来执行这一转换。然后，环境分析系统200比较产生的3D模型与所计划的3D模型215(如存储于数据库212中的)，因为两者现在是相同的3D格式(608)。
如果环境分析系统200使用3D与2D的比较方法，处理600将所计划的布局的3D模型215转换为二维图像(610)。本领域普通技术人员可以认识到的是，2D图像还可以是多个2D图像，或所计划的3D模型215的渲染，尤其是来自零售环境102中的相机104A,B的相同有利点。然后，环境分析系统200可以将从3D模型215转换的或渲染的2D图像与所接收的图像数据进行比较(612)。然后，处理600将比较结果返回(614)到环境分析系统200的相关的下一步骤306/308、406/408、504。
还可以采用环境分析系统200来分析商店动态。例如，可以周期性地发送图像数据，即使在商店营业时间期间，以更好地理解在特定的一天、一星期或一个月期间，顾客对于货架图中的产品的交易和查询如何演变。可以提供分析来显示超过一天(几天)中的某时间(某几个小时)、一周中的几天、一年中的某些时间、或诸如一年假日季节的末尾之类的特殊购物季的库存盘点。这些分析对货架图的计划者是有帮助的，使得他或她使用由系统提供的分析来设计不同的货架图，或重复成功的设计。分析(例如已知的)可以描述哪些销售或货架图方法是有效的以及无效的。货架图的设计者重视有效和无效的知识两者。进一步，设计者对于货架图与货架图的一致性和非一致性，以及特殊区域的标识和/或非一致性的理由的认识可以有助于改进顾客的购物经验，以及店主的商业分析及结果。
图1-6的方法(处理)和分析是计算机实施的。这意味着该方法在至少一个计算机(例如服务器208)或任何相似的系统上执行。除非另外提及，否则该方法的所有步骤是由计算机执行的，即没有用户的介入。例如，显示(例如414、416、418、512)，确定(例如308、404、504)和比较(例如306、406和506)的步骤可以由计算机执行，而访问所产生的显示比较的步骤是用户介入的步骤的一个示例。当然，尽管该方法是计算机实施的，但其作为一个整体可以在用户介入时自身执行，例如为了触发该方法。
所计划的零售环境布局/货架图产品布置的3D模型215通过使用计算机辅助设计(CAD)系统来建立，该CAD系统包括适合于这个目的的图形用户界面(GUI)。CAD系统包括硬件，并且GUI与存储器和处理器耦合。存储器是适合于信息存储的任何硬件。这种系统是使大多数CAD建模对象的设计容易的工具。因此，这样的系统被包括专业设计者的用户广泛使用。
存储在存储区212中的信息(即三维参数形状)可以以数据库的形式被存储。通过“数据库”，这意味着数据(即信息)的任何收集是为了搜索与获取而被组织的。当信息被存储于存储区212时，数据库允许通过计算机进行快速的搜索与获取。数据库被构建为：结合各种数据处理操作，促进数据的储存、获取、修改以及删除。数据库可以包含文件或文件集，该文件或文件集可以被分解为记录，每个记录包含一个或多个字段。字段是数据存储的基本单位。用户主要可通过查询获取数据。使用关键字和分类命令，用户以及应用程序(处理或处理器)可以根据正在使用的数据库管理系统的规则，在许多记录中快速地搜索、重排、分组以及选择字段来获取或创建关于数据的特定集合的报告。
本发明所使用的方法和系统使用2D照片来创建3D模型、访问先前CAD建模的对象(3D模型215)、和/或为该对象创建CAD模型(3D模型215)。CAD建模对象是由存储在存储器中的数据定义的任意对象。甚至，表述“建模对象”和“3D模型”指数据本身。根据系统的类型，3D模型215可以由不同种类的数据来定义。CAD系统是适合至少用于基于所建模的货架图/所计划的布局的图形表示来设计3D模型215的任何系统，例如是(是Dassault系统S.A.,Velizy Villacoublay,法国,的注册商标)。因此，定义CAD建模对象的数据包括允许建模对象的表示(例如包括在空间中的相对位置之类的几何数据)的数据。CAD系统可以例如使用边或行、在某些情况下利用面或表面来提供CAD货架图/所计划的布局的表示。线、边或表面可以以多种方式表示，例如非均匀有理B样条(NURBS)。特别地，CAD文件可以包含产生几何图形所依据的规范，且几何图形反过来允许产生表示。3D模型215的规范可以被存储于单个CAD文件中或多个CAD文件中。表示CAD系统中的建模对象的文件的典型大小在每部分一兆字节的范围，且3D模型典型地可以是数千部分的集合。
系统也可以是计算机辅助工程(CAE)和/或计算机辅助制造(CAM)系统，并且CAD建模的货架图也可以是CAE建模对象和/或CAM建模对象。实际上，CAD、CAE以及CAM系统并不是彼此排他的，因为3D模型215可以由与这些系统的任何组合相对应的数据来定义。
通过关于主题CAD模型215的“3D”，这意味着由允许其3D表示的数据而建模的任何CAD对象。3D表示允许从所有角度观看所表示的对象。例如，当3D表示时，3D模型215可以被操纵且绕着它的任一轴转动，或绕着显示该表示的屏幕中的任何轴转动。这明显排除不是3D建模的2D图标。3D表示的显示促进了设计(即提高了统计意义上设计者完成他们的任务的速度)。这加速了工业中的制造过程，因为产品的设计是制造过程的一部分。
图7示出了诸如服务器208和/或零售位置202计算机系统之类的示例性计算机的架构的示例。单个服务器可服务多个零售位置。进一步，多个服务器(例如，服务器场)可服务一个零售位置或多个零售位置。某些零售位置可改变他们的特定货架图来说明本地市场情况，或特定零售位置的架构或布局。
每一个服务器208以及零售位置202计算机包括连接至内部通信总线1000的中央处理单元(CPU)1010，也连接至总线1000的随机存取存储器(RAM 1070)。计算机进一步提供有图形处理单元(GPU)1110，其与连接至总线1000的视频随机存取存储器1100相关联。视频随机存储器1100在本技术领域已知作为帧缓冲器。大容量存储装置控制器1020管理对诸如硬盘驱动器1030之类的大容量存储器设备的访问。适合于有形地体现计算机程序指令以及数据的大容量存储器设备包括所有形式的非易失存储器，例如包括诸如EPROM、EEPROM以及闪存设备之类的半导体存储器设备；诸如内部硬盘以及移动盘之类的磁盘；磁光盘；以及CDROM盘1040。任何前述可以通过特别设计的ASICs来补充，或者并入特别设计的ASICs(具体应用集成电路)。网络适配器1050管理对网络1060(图2A-B中的204)的访问。零售位置计算机也可以包括诸如光标控制装置、键盘等等之类的触觉设备1090。光标控制装置允许用户选择各种命令且输入控制信号。系统输出(警告、指示、校正指令等)通过计算机显示器1080、显示屏幕、扬声器等来渲染。
为使系统执行该方法，提供了计算机程序，其包括用于由计算机执行的指令，该指令包括用于这个目的的手段。例如，程序可以在例如数字电子电路中实现，或以计算机硬件、固件、软件或以它们的组合来实现。本发明的装置可以以计算机程序产品来实现，计算机程序产品有形地体现在由可编程处理器执行的机器可读的存储设备中；以及本发明的方法步骤可以由执行指令的程序的可编程处理器来执行，以通过对输入数据进行操作且产生输出来实施本发明的功能。指令可以优选地以一个或多个在可编程系统上是可执行的计算机程序来实现，该可编程系统包括至少一个可编程处理器，该可编程处理器耦接为从数据存储系统、至少一个输入设备以及至少一个输出设备接收数据与指令，以及将数据与指令传输到数据存储系统、至少一个输入设备以及至少一个输出设备。应用程序可以以高级程序或面向对象的程序设计语言实现，或者如果希望，以集合或机器语言的方式实现；以及在任何情况下，语言可以是编译的或解释的语言。
虽然已经参照本发明的示例实施例具体示出并且描述了本发明，但是本领域技术人员应该理解的是，在不脱离由所附的权利要求书覆盖的本发明的范围的情况下，可以对其做出形式上以及细节上的各种改变。

Claims (31)

1.一种基于计算机的方法，包括：
接收真实世界布局的图像数据，所述图像数据在三个维度上反映所述真实世界布局，所述三个维度中的每一个均具有包括开始和结束的图像范围，并且所述真实世界布局具有在所述三个维度上分布的库存；
接收所述真实世界布局的音频数据，所述音频数据反映来自所述真实世界布局的声音、语音或音乐中的至少一个；
将所述真实世界布局的所计划的布局的3D模型与所接收的图像数据进行比较，所述3D模型表示在所述三个维度上的所计划的布局；
将所述真实世界布局的所计划的布局的声音模型与所接收的音频数据进行比较，所述声音模型表示所计划的布局；以及
确定所述比较的结果是否达到第一特定阈值。
2.如权利要求1所述的方法，还包括：
从所述图像数据提取至少一个产品显示分组；
在所计划的布局的所述3D模型中将所提取的至少一个产品显示分组与所述产品显示分组的至少一个表示相关联；
将所述至少一个产品显示分组与所述产品显示分组的至少一个表示进行比较；以及
确定所述结果是否满足第二特定阈值。
3.如权利要求1所述的方法，还包括：
如果所述3D模型与所接收的图像数据的所述比较的结果达到所述第一特定阈值，则产生警告，其中所述比较表示相似性或非相似性，并且所述第一特定阈值表示特定的相似度。
4.如权利要求1所述的方法，还包括产生所计划的布局的所述3D模型。
5.如权利要求1所述的方法，其中，所述3D模型与所接收的图像数据的比较包括计算图像差异。
6.如权利要求1所述的方法，还包括：
将所述3D模型转换为2D表示；并且
其中所述3D模型与所接收的图像数据的比较包括将所述3D模型的所述2D表示与所接收的图像数据进行比较。
7.如权利要求1所述的方法，其中，所计划的布局的所述3D模型与所接收的图像数据的比较包括：
将所述图像数据转换为渲染的3D模型；以及
将所计划的布局的所述3D模型与所渲染的3D模型进行比较。
8.如权利要求1所述的方法，其中，计划的布局的3D模型与所述图像数据的比较包括：
分析所述图像数据以确定库存的第一数量，所述库存的所述第一数量是在所述真实世界布局中被表示的；
获取所述库存的第二数量，所述库存的所述第二数量是在所计划的布局的所述3D模型中被表示的；以及
将所述第一数量与所述第二数量进行比较。
9.如权利要求8所述的方法，其中，接收图像数据包括捕获顾客显示位置和存储位置中的产品的图像数据。
10.如权利要求8所述的方法，其中，获取所述库存的第二数量包括从交易会计系统获取所述第二数量。
11.如权利要求8所述的方法，其中，所述第一数量与所述第二数量的比较包括计算所述第一数量与所述第二数量的差值，其中，所述差值指示在计算的将在商店中的库存的数量与实际在所述商店中的库存的数量之间的差值。
12.如权利要求1所述的方法，其中，接收真实世界布局的所述图像数据包括以多个相机捕获所述真实世界布局的所述图像数据。
13.如权利要求12所述的方法，其中，接收所述真实世界布局的所述图像数据包括从所述多个相机接收所述图像数据，所述多个相机被放置成能够产生所述真实世界布局的所述3D模型。
14.如权利要求1所述的方法，还包括：
调整所接收的图像数据以匹配所述3D模型的属性，其中所述属性包括照明特性、对比度、色调、阴影布置和阴影去除中的一个或多个。
15.如权利要求1所述的方法，还包括：
产生指令以使所述真实世界布局符合所述真实世界布局的所计划的布局。
16.一种计算机系统，包括：
接收模块，被配置为接收真实世界布局的图像数据，所述图像数据在三个维度上反映所述真实世界布局，所述三个维度中的每一个均具有包括开始和结束的图像范围，并且所述真实世界布局具有在所述三个维度上分布的库存，所述接收模块还被配置为接收所述真实世界布局的音频数据，所述音频数据反映来自所述真实世界布局的声音、语音或音乐中的至少一个；以及
比较模块，被配置为将所述真实世界布局的所计划的布局的3D模型与所接收的图像数据进行比较，所述3D模型表示在所述三个维度上的所计划的布局，并且所述比较模块还被配置为将所述真实世界布局的所计划的布局的声音模型与所接收的音频数据进行比较，所述声音模型表示所计划的布局；以及
阈值确定模块，被配置为确定所述比较的结果是否达到第一特定阈值。
17.如权利要求16所述的计算机系统，还包括：
分组提取模块，被配置为从所述图像数据提取至少一个产品显示分组；以及
关联模块，被配置为在所计划的布局的所述3D模型中将所提取的至少一个产品显示分组与所述产品显示分组的至少一个表示相关联，其中，所述比较模块还被配置为将所述至少一个产品显示分组与所述产品显示分组的至少一个表示进行比较，并且所述阈值确定模块还被配置为确定所述结果是否满足第二特定阈值。
18.如权利要求16所述的计算机系统，还包括警告产生模块，其被配置为：如果所述3D模型与所接收的图像数据的所述比较达到所述第一特定阈值，则产生警告，其中，所述比较表示相似性或非相似性，并且所述第一特定阈值表示特定的相似度。
19.如权利要求16所述的计算机系统，还包括模型产生模块，其被配置为产生计划的布局的所述3D模型。
20.如权利要求16所述的计算机系统，其中，所述比较模块还被配置为：通过计算图像差异来比较所述3D模型与所接收的图像数据。
21.如权利要求16所述的计算机系统，还包括：
转换模块，被配置为将所述3D模型转换为2D表示；并且
其中，所述比较模块还被配置为将所述3D模型的所述2D表示与所接收的图像数据进行比较。
22.如权利要求16所述的计算机系统，其中，所述比较模块还包括转换模块，所述转换模块被配置为将所接收的图像数据转换为渲染的3D模型，其中，所述比较模块还被配置为将所计划的布局的所述3D模型与所渲染的3D模型进行比较。
23.如权利要求16所述的计算机系统，其中所述比较模块包括：
分析模块，被配置为分析所述图像数据以确定库存的第一数量；以及
库存接收模块，被配置为获取库存的第二数量，并且其中所述比较模块还被配置为比较所述第一数量与所述第二数量。
24.如权利要求23所述的计算机系统，其中，图像捕获模块还被配置为接收顾客显示位置和存储位置中的产品的图像数据。
25.如权利要求24所述的计算机系统，其中，所述库存接收模块还被配置为从交易会计系统获取所述产品的所述第二数量。
26.如权利要求23所述的计算机系统，其中，所述比较模块还被配置为计算所述第一数量和第二数量的差值，
其中，所述差值指示在计算的将在商店中的库存的数量与实际在所述商店中的库存的数量之间的差值。
27.如权利要求16所述的计算机系统，其中，所述接收模块还被配置为从多个相机接收真实世界布局的所述图像数据。
28.如权利要求27所述的计算机系统，其中，所述接收模块还被配置为从所述多个相机接收所述图像数据，所述多个相机被放置成能够产生所述真实世界布局的3D模型。
29.如权利要求16所述的计算机系统，还包括：
图像调整模块，被配置为调整所述图像数据以匹配所述3D模型的属性，其中所述属性包括照明特性、对比度、色调、阴影布置和阴影去除中的一个或多个。
30.如权利要求16所述的计算机系统，还包括：
指令产生模块，被配置为产生指令以使所述真实世界布局符合所述真实世界布局的所计划的布局。
31.一种计算机，包括：
存储区，被配置为存储在三个维度上反映真实世界布局的图像数据，所述三个维度中的每一个均具有包括开始和结束的图像范围，并且所述真实世界布局具有在所述三个维度上分布的库存和计划的布局的3D模型，所述3D模型表示在所述存储区中所述三个维度上的所计划的布局；以及
耦接于所述存储区的处理器，所述处理器被配置为：
接收所述真实世界布局的所述图像数据；
接收所述真实世界布局的音频数据，所述音频数据反映来自所述真实世界布局的声音、语音或音乐中的至少一个；
将所计划的布局的所述3D模型与所接收的图像数据进行比较；
将所述真实世界布局的所计划的布局的声音模型与所接收的音频数据进行比较，所述声音模型表示所计划的布局；以及
确定所述比较的结果是否达到特定阈值。
CN201310227757.XA 2012-05-11 2013-05-10 在购物体验中比较虚拟和真实图像 Active CN103390075B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/469,277 2012-05-11
US13/469,277 US8941645B2 (en) 2012-05-11 2012-05-11 Comparing virtual and real images in a shopping experience

Publications (2)

Publication Number Publication Date
CN103390075A CN103390075A (zh) 2013-11-13
CN103390075B true CN103390075B (zh) 2017-10-27

Family

ID=48577483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310227757.XA Active CN103390075B (zh) 2012-05-11 2013-05-10 在购物体验中比较虚拟和真实图像

Country Status (6)

Country Link
US (1) US8941645B2 (zh)
EP (1) EP2662831B1 (zh)
JP (1) JP6227278B2 (zh)
KR (1) KR20130126545A (zh)
CN (1) CN103390075B (zh)
CA (1) CA2815548A1 (zh)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824601B2 (en) 2012-06-12 2017-11-21 Dassault Systemes Symbiotic helper
US8923893B2 (en) * 2012-08-07 2014-12-30 Symbol Technologies, Inc. Real-time planogram generation and maintenance
US9380222B2 (en) * 2012-12-04 2016-06-28 Symbol Technologies, Llc Transmission of images for inventory monitoring
US10074121B2 (en) 2013-06-20 2018-09-11 Dassault Systemes Shopper helper
US9547838B2 (en) * 2013-11-06 2017-01-17 Oracle International Corporation Automated generation of a three-dimensional space representation and planogram verification
WO2015130447A1 (en) * 2014-02-28 2015-09-03 Wal-Mart Stores, Inc. Tool for planning crowd control measures
US10176452B2 (en) 2014-06-13 2019-01-08 Conduent Business Services Llc Store shelf imaging system and method
US10453046B2 (en) * 2014-06-13 2019-10-22 Conduent Business Services, Llc Store shelf imaging system
JP5894227B2 (ja) * 2014-06-25 2016-03-23 株式会社カブク 情報処理装置及びプログラム
GB2528963B (en) 2014-08-07 2018-07-25 Artform Int Ltd Product display shelf, system and method
US9710926B2 (en) 2015-01-30 2017-07-18 Hewlett-Packard Development Company, L.P. Image processing of a retail shelf area
WO2016142794A1 (en) * 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
US20160260148A1 (en) 2015-03-06 2016-09-08 Wal-Mart Stores, Inc. Systems, devices and methods for monitoring modular compliance in a shopping space
EP3848867A1 (en) 2015-03-18 2021-07-14 United Parcel Service Of America, Inc. Systems and methods for verifying the contents of a shipment
US10366364B2 (en) 2015-04-16 2019-07-30 United Parcel Service Of America, Inc. Enhanced multi-layer cargo screening system, computer program product, and method of using the same
EP3096271A1 (en) 2015-05-16 2016-11-23 Tata Consultancy Services Limited Method and system for planogram compliance check based on visual analysis
CA2938573A1 (en) * 2015-08-14 2017-02-14 Wal-Mart Stores, Inc. Systems, devices and methods for monitoring modular compliance in a shopping space
US10223737B2 (en) * 2015-12-28 2019-03-05 Samsung Electronics Co., Ltd. Automatic product mapping
NL2016099B1 (en) * 2016-01-14 2017-07-24 Opticon Sensors Europe B V Method and device for detecting an inventory in a storage space.
EP3405074A1 (en) 2016-01-18 2018-11-28 DCI Marketing, Inc. dba DCI - Artform Sensors, devices, adapters and mating structures for merchandisers and related methods
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US11429926B2 (en) * 2016-02-11 2022-08-30 Walmart Apollo, Llc Mobile camera-equipped device-based approach to assessing a display
US10627984B2 (en) 2016-02-29 2020-04-21 Walmart Apollo, Llc Systems, devices, and methods for dynamic virtual data analysis
US9928438B2 (en) 2016-03-10 2018-03-27 Conduent Business Services, Llc High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database
US10588427B2 (en) 2016-03-23 2020-03-17 Retail Space Solutions Llc Low product indicator for self facing merchandiser and related methods
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
US10408625B2 (en) * 2016-04-19 2019-09-10 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist systems with room scanners to detect and notify users of out-of-order room states
MX2019001731A (es) 2016-08-12 2019-07-04 Walmart Apollo Llc Sistemas y metodos para detectar etiquetas faltantes.
US10614538B2 (en) 2016-08-16 2020-04-07 Walmart Apollo, Llc Object detection using autonomous robot devices
US10552787B2 (en) 2016-09-04 2020-02-04 International Business Machines Corporation Store planogram to image registrations
US10289990B2 (en) 2016-10-17 2019-05-14 Conduent Business Services, Llc Store shelf imaging system and method
US10210603B2 (en) 2016-10-17 2019-02-19 Conduent Business Services Llc Store shelf imaging system and method
US10019803B2 (en) 2016-10-17 2018-07-10 Conduent Business Services, Llc Store shelf imaging system and method using a vertical LIDAR
US10002344B2 (en) 2016-10-17 2018-06-19 Conduent Business Services, Llc System and method for retail store promotional price tag detection
CA3040176C (en) 2016-10-18 2023-07-11 Retail Space Solutions Llc Illuminated merchandiser, retrofit kit and related methods
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
WO2018107301A1 (en) * 2016-12-14 2018-06-21 Stockscan Nonintrusive, sensor-driven processor for managing stored commodities
US10643177B2 (en) 2017-03-21 2020-05-05 Kellogg Company Determining product placement compliance
US10846657B2 (en) * 2017-04-07 2020-11-24 Simbe Robotics, Inc. Method for tracking stock level within a store
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US11978011B2 (en) 2017-05-01 2024-05-07 Symbol Technologies, Llc Method and apparatus for object status detection
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10505057B2 (en) 2017-05-01 2019-12-10 Symbol Technologies, Llc Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera
US10663590B2 (en) * 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10628997B2 (en) 2017-08-24 2020-04-21 Emilio Santos Method for generating three-dimensional models from constrained sketches and an instruction set
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US11531960B2 (en) 2017-09-29 2022-12-20 Nec Corporation Information processing apparatus, information processing system, control method, and program
US11176651B2 (en) * 2017-10-18 2021-11-16 Anthony C. Liberatori, Jr. Computer-controlled 3D analysis of collectible objects
EP3742336A1 (en) 2018-01-10 2020-11-25 Trax Technology Solutions Pte Ltd. Automatically monitoring retail products based on captured images
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US11100302B2 (en) * 2018-08-13 2021-08-24 Sunrise R&D Holdings, Llc System and method for verification of displayed shelf tags using hand-held device
US11475404B2 (en) 2018-09-05 2022-10-18 Trax Technology Solutions Pte Ltd. Aggregating product shortage information
WO2020051213A1 (en) * 2018-09-05 2020-03-12 Trax Technology Solutions Pte Ltd. Systems and methods for monitoring products and aggregating product information
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
IT201900009267A1 (it) * 2019-06-18 2020-12-18 Corob Spa Metodo di controllo di una macchina di dispensazione di prodotti fluidi
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US11521003B1 (en) * 2021-06-23 2022-12-06 Zebra Technologies Corporation Layout generation for location-tracking sensors
US20240095815A1 (en) * 2022-09-16 2024-03-21 Lowe's Companies, Inc. Mixed reality presentation based on a virtual location within a virtual model of a physical space

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1388467A (zh) * 2001-05-30 2003-01-01 英华达股份有限公司 可携式虚拟结合现场购物的系统及其方法
US8049621B1 (en) * 2009-05-28 2011-11-01 Walgreen Co. Method and apparatus for remote merchandise planogram auditing and reporting

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6426757B1 (en) 1996-03-04 2002-07-30 International Business Machines Corporation Method and apparatus for providing pseudo-3D rendering for virtual reality computer user interfaces
JP2000281204A (ja) * 1999-03-31 2000-10-10 Fuji Electric Co Ltd 在庫管理システム
JP2002366621A (ja) * 2001-06-05 2002-12-20 Komatsu Noriko 店舗経営指導情報提供方法およびそのサーバのプログラム
WO2003025805A1 (en) * 2001-09-18 2003-03-27 Pro-Corp Holdings International Limited Image recognition inventory management system
US7493336B2 (en) 2003-07-22 2009-02-17 International Business Machines Corporation System and method of updating planogram information using RFID tags and personal shopping device
US8355944B2 (en) 2003-09-04 2013-01-15 Webconcepts, Inc. Methods and systems for collaborative demand planning and replenishment
US7019742B2 (en) 2003-11-20 2006-03-28 Microsoft Corporation Dynamic 2D imposters of 3D graphic objects
US7680694B2 (en) 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
JP2005321639A (ja) * 2004-05-10 2005-11-17 Daiki Sound Kk 音楽コンテンツの配信方法、音楽コンテンツ配信システム及び音楽コンテンツ再生用プログラム
US7583272B2 (en) * 2004-11-29 2009-09-01 Purdue Research Foundation Methods for retrieving shapes and drawings
US7440903B2 (en) 2005-01-28 2008-10-21 Target Brands, Inc. System and method for evaluating and recommending planograms
JP4747622B2 (ja) * 2005-03-18 2011-08-17 オムロン株式会社 情報処理装置、情報処理方法、制御プログラム、制御プログラムを記録した記録媒体、および情報処理システム
US20090201288A1 (en) * 2005-04-04 2009-08-13 Amir Fischer Rendering 3D Computer Graphics Using 2D Computer Graphics Capabilities
US8301516B2 (en) 2006-04-04 2012-10-30 Gladson, Llc Apparatus and method for maintaining a consumer products database
US20100171826A1 (en) * 2006-04-12 2010-07-08 Store Eyes, Inc. Method for measuring retail display and compliance
JP2008117113A (ja) * 2006-11-02 2008-05-22 Fresh Remix Kk 画像生成装置および方法、画像生成プログラム
US20090138113A1 (en) * 2006-11-27 2009-05-28 Designin Corporation Systems, methods, and computer program products for home and landscape design
JP2008242938A (ja) * 2007-03-28 2008-10-09 Toppan Printing Co Ltd 三次元ｃｇ画像による陳列シミュレーションシステム
US7949568B2 (en) 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
US8009864B2 (en) 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
US9135491B2 (en) * 2007-08-31 2015-09-15 Accenture Global Services Limited Digital point-of-sale analyzer
US8630924B2 (en) * 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
JP2009187482A (ja) * 2008-02-08 2009-08-20 Nippon Sogo System Kk 棚割再現方法、棚割再現プログラム、棚割評価方法、棚割評価プログラム及び記録媒体
US20110115909A1 (en) * 2009-11-13 2011-05-19 Sternberg Stanley R Method for tracking an object through an environment across multiple cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1388467A (zh) * 2001-05-30 2003-01-01 英华达股份有限公司 可携式虚拟结合现场购物的系统及其方法
US8049621B1 (en) * 2009-05-28 2011-11-01 Walgreen Co. Method and apparatus for remote merchandise planogram auditing and reporting

Also Published As

Publication number Publication date
EP2662831B1 (en) 2022-08-31
CA2815548A1 (en) 2013-11-11
JP6227278B2 (ja) 2017-11-08
US20130300729A1 (en) 2013-11-14
EP2662831A3 (en) 2017-06-14
EP2662831A2 (en) 2013-11-13
US8941645B2 (en) 2015-01-27
JP2014002722A (ja) 2014-01-09
CN103390075A (zh) 2013-11-13
KR20130126545A (ko) 2013-11-20

Similar Documents

Publication Publication Date Title
CN103390075B (zh) 在购物体验中比较虚拟和真实图像
US11714518B2 (en) Method and system for virtual real estate tours and virtual shopping
US11823256B2 (en) Virtual reality platform for retail environment simulation
Hua et al. Scenenn: A scene meshes dataset with annotations
JP7228670B2 (ja) 深層学習を使用したリアルタイム在庫追跡
TWI628614B (zh) 立體虛擬實境的互動房屋瀏覽方法及其系統
CA3157919A1 (en) Identifying flood damage to an indoor environment using a virtual representation
CA2950801A1 (en) Planogram matching
US8854362B1 (en) Systems and methods for collecting data
CN104751520A (zh) 减少现实
WO2012061945A1 (en) System and method for object searching using spatial data
US20210295081A1 (en) Tracking and analytics system
US10957108B2 (en) Augmented reality image retrieval systems and methods
US11403817B1 (en) Point cloud filtering
JP2016197342A (ja) 拡張現実プログラム、拡張現実提供方法、拡張現実提供装置、及び情報配信方法
CN112950789A (zh) 一种虚拟增强现实展示物体的方法、装置和存储介质
US20230230326A1 (en) System and method for creating and furnishing digital models of indoor spaces
CN111047392B (zh) 一种构建数字化店铺的系统、方法及存储介质
CA2861269A1 (en) Systems and methods for rule-based content optimization
KR20110000789A (ko) 이미지 인식 기술을 이용하여 매장 진열 상품을 자동으로 정량화 하는 방법과 시스템
US20180330393A1 (en) Method for easy accessibility to home design items
US20230290072A1 (en) System and method of object detection and interactive 3d models
US20230274226A1 (en) Retail shelf image processing and inventory tracking system
JP2015512074A (ja) ルールベースのコンテンツ生成のためのシステム及び方法
US20230274410A1 (en) Retail shelf image processing and inventory tracking system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant