CN110546661B - 确定产品放置遵从性 - Google Patents

确定产品放置遵从性 Download PDF

Info

Publication number
CN110546661B
CN110546661B CN201880027026.1A CN201880027026A CN110546661B CN 110546661 B CN110546661 B CN 110546661B CN 201880027026 A CN201880027026 A CN 201880027026A CN 110546661 B CN110546661 B CN 110546661B
Authority
CN
China
Prior art keywords
product
display shelf
display
data processing
processing hardware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880027026.1A
Other languages
English (en)
Other versions
CN110546661A (zh
Inventor
G·S·摩西
D·B·尤瑟夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kellanova
Original Assignee
Kellogg Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kellogg Co filed Critical Kellogg Co
Publication of CN110546661A publication Critical patent/CN110546661A/zh
Application granted granted Critical
Publication of CN110546661B publication Critical patent/CN110546661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Stacking Of Articles And Auxiliary Devices (AREA)
  • Details Of Garments (AREA)
  • Display Racks (AREA)

Abstract

一种用于产品遵从性的方法(600)包括：接收限定产品(12)在陈列架(200)上的代表性放置(PR)的货架图(500)，以及从具有被布置为捕获陈列架的顶表面(212)的视场(Fv)的成像设备(300)接收至少一个图像(310)。该方法还包括基于该至少一个图像确定产品是否被部署在陈列架上。当产品被部署在陈列架上时，该方法包括确定产品的实际放置(PA)，并将产品的实际放置与产品的由货架图限定的代表性放置进行比较。该方法还包括基于产品的实际放置与产品的代表性放置的比较来确定货架图遵从性(620)，并且将货架图遵从性传送到网络(150)。

Description

确定产品放置遵从性
技术领域
本公开涉及零售产品存储管理和确定产品放置遵从性。
背景技术
零售商长期以来使用各种库存技术和零售策略来吸引消费者并销售存货。这些技术之一是货架图(planogram)。货架图是当今推销的不可或缺的一部分，因为货架图试图优化产品放置以及维护存货管理的意识。货架图广泛用于整个零售行业，从小型零售商到大容量商店。货架图通常是映射零售空间内产品的布置的图。零售商使用货架图作为了解产品销售的工具以及使消费者的视觉关注点资本化。货架图可以使零售商能够创建关注点、了解关注点并且从而利用关注点来增加销售量。货架图还可以为产品分销商提供分析工具以评估要经营哪些产品，以及为制造商提供分析工具以了解市场上对新产品或成熟产品的期望。虽然已经证明零售产品存储管理的已知系统和方法对于它们的预期目的是可接受的，但是相关领域中仍然存在对改进的持续的需要。
发明内容
本公开的一个方面提供了一种用于产品遵从性的方法。该方法包括在数据处理硬件处接收货架图，该货架图限定产品在陈列架上的代表性放置，以及在数据处理硬件处从成像设备接收至少一个图像，该成像设备具有被布置为捕获陈列架的顶表面的视场。该方法还包括由数据处理硬件基于该至少一个图像来确定产品是否被部署在陈列架上。当产品被部署在陈列架上时，该方法包括：由数据处理硬件确定产品在陈列架上的实际放置，并由数据处理硬件将产品的实际放置与产品的由货架图限定的代表性放置进行比较。该方法还包括由数据处理硬件基于产品的实际放置与产品的代表性放置的比较来确定货架图遵从性，并且从数据处理硬件向网络传送货架图遵从性。
本公开的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，当陈列架上没有产品时，该方法包括由数据处理硬件将产品的库存状态确定为无库存。当产品被部署在陈列架上时，该方法可以包括由数据处理硬件将产品的库存状态确定为有库存。该方法还可以包括从数据处理硬件向网络传送产品的库存状态。
当产品被部署在陈列架上时，该方法可以包括：由数据处理硬件确定陈列架上的产品的数量，以及从数据处理硬件向网络传送产品的数量。该方法还可以包括从数据处理硬件向网络传送产品的实际放置。陈列架的顶表面可以限定特征的图案，该至少一个图像描绘了陈列架的顶表面的至少一部分。确定产品是否被部署在陈列架上可以包括确定陈列架的在该至少一个图像中捕获的顶表面上的暴露的特征的数量。确定产品在陈列架上的实际放置可以包括识别陈列架的在该至少一个图像中捕获的顶表面上的暴露的特征的对应位置。
在一些示例中，该方法包括：由数据处理硬件检测该至少一个图像中的暴露的特征的边缘，并且由数据处理硬件基于暴露的特征的检测到的边缘来对暴露的特征进行近似。该方法还可以包括：由数据处理硬件将近似的暴露的特征与特征的图案进行比较；以及由数据处理硬件确定近似的暴露的特征是否对应于特征的图案的实际特征。对于每个近似的暴露的特征，当近似的暴露的特征对应于特征的图案的相应实际特征时，该方法可以包括：由数据处理硬件来递增暴露的特征的数量的计数，以及由数据处理硬件识别实际特征在特征的图案内的对应位置。至少一个特征可以限定多边形形状。该方法还可以包括：由数据处理硬件在该至少一个图像上执行图像校正例程，该图像校正例程至少校正该至少一个图像的桶形失真。
本公开的另一方面提供了一种系统，该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。存储器硬件存储指令，这些指令当在数据处理硬件上执行时使数据处理硬件执行操作。这些操作包括：接收货架图，该货架图限定产品在陈列架上的代表性放置；从成像设备接收至少一个图像，该成像设备具有被布置为捕获陈列架的顶表面的视场；以及基于该至少一个图像来确定产品是否被部署在陈列架上。当产品被部署在陈列架上时，操作包括确定产品在陈列架上的实际放置，并且将产品的实际放置与产品的由货架图限定的代表性放置进行比较。操作还包括基于产品的实际放置与产品的代表性放置的比较来确定货架图遵从性，并且将货架图遵从性从数据处理硬件传送到网络。
该方面可以包括以下可选特征中的一个或多个。在一些实施方式中，操作包括当陈列架上没有产品时，将产品的库存状态确定为无库存，当产品被部署在陈列架上时，将产品的库存状态确定为有库存，以及将产品的库存状态从数据处理硬件传送到网络。当产品被部署在陈列架上时，操作包括确定陈列架上的产品的数量以及将产品的数量传送到网络。
在一些示例中，操作包括将产品的实际放置从数据处理硬件传送到网络。陈列架的顶表面可以限定特征的图案，该至少一个图像描绘了陈列架的顶表面的至少一部分。确定产品是否被部署在陈列架上可以包括确定陈列架的在该至少一个图像中捕获的顶表面上的暴露的特征的数量。确定产品在陈列架上的实际放置还可以包括识别陈列架的在该至少一个图像中捕获的顶表面上的暴露的特征的对应位置。
在一些实施方式中，操作包括检测该至少一个图像中的暴露的特征的边缘，并且基于暴露的特征的检测到的边缘来对暴露的特征进行近似。操作还可以包括将近似的暴露的特征与特征的图案进行比较，以及确定近似的暴露的特征是否对应于特征的图案的实际特征。对于每个近似的暴露的特征，当近似的暴露的特征可以对应于特征的图案的相应实际特征时，操作包括递增暴露的特征的数量的计数以及识别实际特征在特征的图案内的对应位置。至少一个特征可以限定多边形形状。在一些示例中，操作包括在该至少一个图像上执行图像校正例程，该图像校正例程至少校正该至少一个图像的桶形失真。
在附图和以下描述中阐述了本公开的一种或多种实施方式的细节。根据说明书和附图以及根据权利要求书，其它方面、特征和优点将是显然的。
附图说明
图1是示例陈列架环境的示意图。
图2是示例陈列架的透视图。
图3A是来自图2的陈列架的成像设备的具有桶形失真的示例图像的透视图。
图3B是图3A的图像在图像校正例程之后的透视图。
图4A-4D是具有产品的示例陈列架的俯视图。
图5是示例零售货架图的透视图。
图6A和图6B是用于产品检测和/或货架图遵从性的方法的操作的布置的示例流程图。
图7是可以用于实现本文描述的系统和方法的示例计算设备的示意图。
在各个附图中，相同的附图标记指示相同的元件。
具体实施方式
为了对存货进行库存和管理，零售商通常使用陈列架环境。陈列架环境可以容纳任意数量的货架，其中产品通常根据货架图布置。但是，随着时间的推移，零售空间内的顾客或其它人可能相对于产品的根据货架图的代表性放置而移动或改变产品的位置。因为货架图是创建为尝试资本化和塑造消费者的店内决策的重要工具，因此货架图中表示的产品布置应该反映零售商的实际产品放置。本公开提供了用于感测陈列架上的产品放置并基于产品放置提供遵从性反馈的系统和方法。
图1图示了用户10在示例陈列架环境100中与陈列架200交互。陈列架环境100包括成像设备300，该成像设备300具有视场Fv，300以捕获陈列架200。用户10可以选择陈列架200的产品12。用户10可以是消费者，诸如杂货店购物者，该消费者将产品12从陈列架200移除以进行购买、持有、检查或以其它方式处置产品12。附加地或替代地，用户10可以是通过将产品12放置在陈列架200上来对产品12进行库存的零售员工或分销代表。陈列架200的产品12可以根据货架图500(例如，图5)来布置。通常，货架图500是识别要在陈列架200上陈列的产品12的代表性放置R的图。
在一些实施方式中，陈列架环境100包括部署在陈列架200上的显示屏110。显示屏110可以描绘媒体内容112，诸如与产品12相关的广告、与产品12的制造商相关的广告或与销售产品12的零售商店相关的广告。媒体内容112可以与产品12的库存状态S相关。例如，如果陈列架200上的一种类型的产品12具有比陈列架200上的另一产品更大的库存量，则媒体内容112为具有更多库存的这种类型的产品12做广告。附加地或替代地，媒体内容112为具有更少库存的这种类型的产品12做广告，以试图维持用户10的兴趣。在一些示例中，显示屏110被布置在陈列架200上，使得显示屏110在用户10的视场Fv内描绘媒体内容112。作为示例，显示屏110在用户10的视平线LE。附加地或替代地，陈列架环境100包括多于一个显示屏110，使得该多于一个显示屏110中的一个显示屏110可以由用户10用作产品监视屏幕。例如，成像设备300将来自成像设备300的实时馈送或至少一个图像310(例如，最近的图像310)提供给产品监视屏幕。
在一些示例中，陈列架环境100包括多于一个陈列架200，200a-e，其具有针对该多于一个陈列架200，200a-e中的每个陈列架200，200a-e的成像设备300，300a-e。该多于一个陈列架200，200a-e可以形成陈列展架(rack)，以容纳更多的产品12和/或优化产品12的实际放置PA。例如，陈列展架的产品12包括多于一种类型的产品12。在多于一种类型的产品12的情况下，零售商可能有兴趣让用户10最容易获得最畅销的类型的产品12。在多于一个陈列架200，200a-e的情况下，零售商可以将最畅销的类型的产品12布置在陈列架200，200a或陈列架200，200b上，使得最畅销的类型的产品具有在用户10的视场Fv内的实际放置PA(例如200，200b)或在用户10的视平线LE处的实际放置PA(例如200，200a)。
进一步参考图1，陈列架环境100包括电源120和连接到网络150的计算设备130。电源120向陈列架环境100内的电子器件(例如，显示屏110、成像设备300、计算设备130等)供电。电源120可以是单个单元或多个单元，这取决于零售商或陈列架环境100(例如，陈列架200或多于一个陈列架200，200a-e)的配置。计算设备130包括数据处理硬件132和存储器硬件134。计算设备130可以经由交换机或路由器140连接到网络150。计算设备130可以将成像数据发送到网络150，以存储在远程计算机170可访问的服务器160上。远程计算机170可以是个人计算机170，170a、膝上型计算机170，170b或移动设备170，170c。例如，作为零售商分销商的用户10可以使用远程计算机170来确保零售商的陈列架环境100具有与货架图500的持续的遵从性。附加地或替代地，网络150允许一个用户10(例如，零售商分销商)向另一个用户10(例如，零售商)警告货架图遵从性或陈列架环境100内的产品12的其它问题。在一些实施方式中，计算设备130产生货架图遵从性报告，并且然后可以将货架图遵从性报告传送到网络150和/或服务器160。
参考图2，陈列架200至少包括陈列架基座210以支撑产品12。陈列架基座210包括顶表面212，该顶表面212具有特征的图案214。特征的图案214由至少一个特征215限定。在一些示例中，该至少一个特征215限定多边形形状。例如，对于图2，该至少一个特征215是三角形。附加地或替代地，该至少一个特征215和顶表面212具有颜色的对比(例如，分别为黑色和白色)。在一些示例中，陈列架200还包括至少一侧200s，以将产品12容纳在陈列架200内。作为示例，图2图示了具有后侧200s1和前侧200s2的陈列架200。陈列架200还可以包括货架隔板220，以将产品12引导至实际放置PA。在一些实施方式中，诸如图2，货架隔板220还用作侧向侧220，200s3-4以约束产品12。
在一些实施方式中，零售商将货架系统改造为用作陈列架环境100。例如，零售商经常使用带有钉板(pegboard)陈列架和钉板侧的架单元，诸如超市货架(gondola)。钉板陈列架的钉板陈列架基座包括钉板形状，诸如圆形或多边形，以锚定附件。为了改造这些搁架系统，计算设备130可被编程为接收钉板形状并将钉板形状解释为特征的图案214。
进一步参考图2，成像设备300被布置为捕获陈列架200的顶表面212的至少一部分，使得成像设备300捕获特征的图案214的至少一部分。在一些示例中，诸如图2，成像设备300被部署在陈列架200上方。例如，成像设备300可以安装在陈列架200上方的另一个陈列架200，200a的底侧、陈列架200的后侧200s1或陈列架200的任何支撑结构上。
图3A和图3B是由成像设备300捕获的至少一个图像310的示例。成像设备300可以是相机(例如，视频相机或静止相机)或传感器或者相机和传感器两者的组合。成像设备300被配置为从成像设备300的视场Fv中捕获至少一个图像310。在一些示例中，为了在视场Fv中捕获陈列架200，成像设备300使用广角镜头。因此，由成像设备300用广角镜头捕获的至少一个图像310可能具有桶形失真Vb。图3A提供了具有桶形失真Vb的至少一个图像310的示例。在一些示例中，计算设备130或远程计算机170通过图像校正例程来校正桶形失真Vb。图像校正例程可以将桶形失真校正滤波器应用于该至少一个图像310以校正桶形失真Vb。利用图像校正例程，陈列架环境100的元件(诸如陈列架200、产品12、产品12的实际放置、至少一个特征215和/或特征的图案214)与经受桶形失真Vb时相比由数据处理例程更易识别。图3B提供了来自图像校正例程的具有经校正的图像Vc的至少一个图像310的示例，其图示了陈列架环境100的元件如何可以由数据处理例程更易识别。例如，与具有桶形失真Vb的至少一个图像310(诸如图3A)内的产品12相比，图3B的经校正的图像Vc的产品12相对于实际放置PA更不可能被误解。附加地或替代地，成像设备300可以向用户10提供产品12的实时馈送或实况馈送。例如，显示屏110或远程计算机170从成像设备300或经由与成像设备300通信的计算设备130接收实况馈送。为了安全起见，实况馈送可能需要受保护的访问，诸如密码或加密密钥。
图4A-4D提供了在时间段t内由图像设备300捕获的陈列架200的示例图像310，310a-d。在一些示例中，成像设备300被指示为以离散的时间间隔捕获至少一个图像310，使得成像设备300具有图像捕获周期。当成像设备300捕获该至少一个图像310时，成像设备300可以传送该至少一个图像310，以供存储到计算设备130、服务器160或远程计算机170。在存储期间，该至少一个图像310可以被标记有图像信息，诸如货架单元信息(例如，货架序列号、货架号、货架位置等)、日期信息(例如，年、月、日)和/或时间戳。图4A-4D包括陈列架200的至少一部分，其中产品12形成与由货架隔板220分隔开的每种类型的产品对应的产品行12，12a-g。在一些示例中，陈列架200的该至少一部分包括顶表面212，该顶表面212具有特征的图案214的至少一个特征215。
图4A提供了具有满库存Sfull的陈列架200的图像310，310a。图4A图示了当用户10利用产品12将陈列架200完全库存之后不久的时间段t的第一间隔时间t0。陈列架环境100的方法600包括基于至少一个图像310(诸如图像310，310a)确定陈列架200的库存状态S。在一些实施方式中，详述陈列架200的库存状态S，使得库存状态S由陈列架200具有或没有库存的百分比来限定。在其它示例中，库存状态S仅指示陈列架200的产品12是有库存Sin还是无库存Sout。图4A是陈列架200的示例，该陈列架200具有有库存Sin或满库存Sfull的库存状态，因为图像310，310a缺少至少一个特征215。
图4B提供了陈列架200在时间段t的第二时间间隔t1的图像310，310b。关于图像310，310b，方法600包括向接收方(例如，客户端设备)传送与产品行12，12d，f，g相关联的类型的产品12无库存Sout。方法600还可以传送量化库存信息，诸如来自每个产品行12，12a-g的可用的或被消耗的产品12的数量Q。例如，第一产品行12，12a具有一个可用的产品12以及三个被消耗的产品12。而第四产品行12，12d没有可用的产品(例如，无库存Sout)并且有四个被消耗的产品。
图4C提供了陈列架200在时间段t的第三时间间隔t2的图像310，310c。图像310，310c与图像310，310b几乎相同，除了第四产品行12，12d包括错放的产品12，12o。方法600包括识别错放的产品12，12o，并且在一些示例中，提供关于产品12的实际放置PA的货架图遵从性620的警报或反馈。
图4D提供了陈列架200在第四时间间隔t3的图像310，310d。图像310，310d描绘了除了第五产品行12，12e之外的所有产品行12，12a-g无库存Sout，该第五产品行12，12e具有单个可用的产品12以及三个被消耗的产品12。当陈列架200的产品12无库存Sout时，方法600被配置为将库存状态S传送到网络150。
图5是与至少一个陈列架200对应的至少一个代表性陈列架200R的示例货架图500。在一些示例中，诸如，当陈列架200包括多于一个陈列架200，200a-e时，货架图500包括多于一个代表性陈列架200R，200aR-eR。在每个代表性陈列架200R上，货架图500图示了在与产品12在陈列架200上的实际放置PA对应的代表性放置PR中的至少一个代表性产品12R。例如，在代表性陈列架的前面的每个代表性产品12R对应于陈列架200的具有数量Q的产品行。在一些示例中，货架图500是代表性陈列架200R的前视图的二维图示，使得货架图500可以将所代表的产品12R的数量Q指示为货架图500内的注释。附加地或替代地，货架图500是代表性陈列架200R的透视图，诸如图5中所示的示例。利用透视图，通过代表性产品12R的深度可以能看到代表的产品12R的数量Q。
图6A和图6B提供了用于产品检测和/或货架图遵从性的方法600的操作的示例布置。如关于图4A-4D所述，方法600可以包括至少提供与产品相关的量化库存信息或关于产品12的实际放置PA的遵从性。在操作602处，方法600包括接收限定产品12在陈列架200上的代表性放置PR的货架图500和来自成像设备300的至少一个图像310。方法600还包括，在操作604处，基于该至少一个图像310来确定产品12是否被部署在陈列架200上。当产品12被部署在陈列架200上时，方法600进行到操作610。否则，当产品12未被部署在陈列架200上时，方法600进行到操作606。
在操作606处，方法600包括确定陈列架200中没有产品12。因为在该至少一个图像310内陈列架200中没有产品12，所以方法600包括确定产品12的库存状态S为无库存Sout。方法600可以包括，在操作608处，将产品12的无库存Sout库存状态S传送到网络150。
方法600可以包括执行操作610到618，这可以在产品12被部署在陈列架200上时发生。如果产品12被部署在陈列架200上，则方法600在操作610处包括确定产品12在陈列架200上的实际放置PA。如果产品12被部署在陈列架200上，则方法600还可以包括将产品12的库存状态S确定为有库存Sin，并且可选地将产品12的库存状态S传送到网络150。附加地或替代地，如果方法600确定产品12的实际放置PA，则方法600可以包括将产品12的实际放置PA传送到网络150。
在操作612处，方法600包括将产品12的实际放置PA与产品12的由货架图500限定的代表性放置PR进行比较。如果方法600确定实际放置PA与代表性放置PR相同，则方法600可以进行到操作616。否则，如果方法600确定实际放置PA与代表性放置PR不同，则方法600可以进行到操作614。
在操作614和616两者处，方法600可以将货架图遵从性620传送到网络150。在操作614处，因为实际放置PA与代表性放置PR不同，方法600将不遵从的货架图遵从性620传送到网络150。在操作616处，因为实际放置PA与代表性放置PR相同，方法600将遵从的货架图遵从性620传送到网络150。
在操作618处，方法600可以包括确定陈列架200上的产品12的数量Q。如果方法600确定数量Q，则方法600可以将数量Q传送到网络150。操作618可以在方法600确定陈列架200容纳产品12之后的任何时间点发生。
图6B提供了用于确定部署在陈列架200上的产品12的实际放置PA的方法600的示例布置。在操作610a处，方法600包括确定陈列架200的在至少一个图像310中捕获的顶表面212上的暴露的特征215E的数量Q。在操作610b处，方法600包括识别陈列架200的在该至少一个图像310中捕获的顶表面212上的暴露的特征215E的对应位置。在操作610c处，方法600包括检测该至少一个图像310中的暴露的特征215E的边缘E。在操作610d处，方法600可以包括基于暴露的特征215E的检测到的边缘E来确定暴露的特征215E的近似。在操作610e处，方法600可以包括将暴露的特征215E的近似与特征的图案214进行比较。当暴露的特征215E的近似对应于特征的图案214的实际特征215A时，方法600可以进行到操作610g。
对于暴露的特征215E的与特征的图案214的实际特征215A对应的每个近似，方法600可以包括递增对暴露的特征215E的数量Q的计数。附加地或替代地，对于暴露的特征215E的与特征的图案214的实际特征215A对应的每个近似，方法600可以包括识别特征的图案214的实际特征215A的对应位置。
在一些示例中，方法600包括执行货架空间检测算法，以确定产品12是否被部署在陈列架200上和/或产品12在陈列架200上的实际放置PA。利用货架空间检测算法，方法600可以包括接收输入，诸如特征的图案214的特征215、特征215的对应边缘长度EL、特征近似因子AF以及针对每个输入的对应公差。如果方法600在没有针对每个输入的公差的情况下执行，则方法600可以包括接收针对每个输入的默认公差。在一些示例中，方法600接收该至少一个图像310，并将该至少一个图像310转换成灰度图像，以简化用于方法600的边缘检测。在一些实施方式中，方法600包括使用简单的链近似来检测暴露的特征215E的边缘E。利用特征近似因子AF的输入，方法600可以包括将边缘E从检测确定转换成闭合的特征，以与特征215进行比较。
附加地或替代地，方法600包括消除包括与所输入的特征215相比要么更大数量的边缘E要么更少数量的边缘E的任何闭合的特征。例如，在图2-4中，特征215是具有三条边缘的三角形，并且方法600可以包括从边缘E检测确定中消除具有多于三条边缘或少于三条边缘的闭合的特征。此外，如果方法600包括接收输入，诸如特征215的对应边缘长度EL，则方法600还可以包括计算与每个闭合的特征215对应的面积。利用每个闭合的特征215的面积，方法600还可以包括消除由与特征215的面积不相关的面积限定的闭合的特征215。在限制通过方法600的检测确定的异常的闭合的特征215之后，方法600可以包括一个或多个操作，该一个或多个操作将剩余的闭合的特征视为特征215的可能有效检测或特征的图案214的暴露的特征215E。
在一些实施方式中，方法600包括输出与方法600相关的详细信息，使得这些详细信息对于陈列架环境100(例如，计算设备130、服务器160或远程计算机170)是可访问的。这些详细信息可以包括：方法600的输出，诸如产品12的实际放置PA、货架图遵从性620、暴露的特征215E的数量、产品12的库存状态S或实际特征215的位置；或者方法600的输入，诸如特征的图案214的特征215、特征215的对应边缘长度EL、特征近似因子AF或针对每个输入的对应公差。方法600可以包括以任何数据序列化格式(例如，Java脚本对象符号(JSON)、可扩展标记语言(XML)等)输出这些详细信息。
附加地或替代地，方法600包括生成产品12在陈列架环境100内的最佳货架图500o。例如，用户10提供包括关于陈列架环境100的货架单元信息的输入。利用所提供的货架信息，诸如货架编号和货架位置，方法600可以包括利用货架图优先级对每个陈列架200进行排名。方法600然后可以包括基于产品12在由成像设备300在时间段t内捕获的图像310(例如310，310a-d)内的实际放置PA来确定产品消耗的速率。根据产品消耗的对应速率，方法600可以包括为陈列架环境100内的每种类型的产品12分配重要性顺序。例如，方法600可以包括向在时间段t内具有高消耗速率的第一产品12分配比在时间段t内具有低消耗速率的第二产品更高的重要性顺序(例如，相对于阈值消耗速率)。利用重要性顺序和每个陈列架200的货架图优先级，方法600可以包括为每种类型的产品12确定最优货架图500o。
软件应用(即，软件资源)可以是指使得计算设备执行任务的计算机软件。在一些示例中，软件应用可以被称为“应用”、“app”或“程序”。示例应用包括但不限于系统诊断应用、系统管理应用、系统维护应用、文字处理应用、电子表格应用、消息传递应用、媒体流传输应用、社交网络应用和游戏应用。
图7是可以用于实现本文档中描述的系统和方法的示例计算设备700的示意图。计算设备700旨在表示各种形式的数字计算机，诸如膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它适当的计算机。这里所示的部件、它们的连接和关系以及它们的功能仅意在是示例性的，并且不意味着限制本文档中描述和/或要求保护的发明的实施方式。
计算设备700包括处理器710、存储器720、存储设备730、连接到存储器720和高速扩展端口750的高速接口/控制器740以及连接到低速总线770和存储设备730的低速接口/控制器760。部件710、720、730、740、750和760中的每一个都使用各种总线互连，并且可以安装在共同的主板上或以其它适当方式安装。处理器710可以处理用于在计算设备700内执行的指令，包括存储在存储器720中或存储设备730上的用于在外部输入/输出设备(诸如耦合到高速接口740的显示器580)上显示图形用户界面(GUI)的图形信息的指令。在其它实施方式中，可以在适当的情况下使用多个处理器和/或多条总线，连同多个存储器和存储器类型。而且，可以连接多个计算设备700，其中每个计算设备提供必要操作的部分(例如，作为服务器阵列(bank)、刀片服务器组或多处理器系统)。
存储器720在计算设备700内非暂态地存储信息。存储器720可以是计算机可读介质、(一个或多个)易失性存储器单元或(一个或多个)非易失性存储器单元。非暂态存储器720可以是用于在临时或永久的基础上存储程序(例如，指令的序列)或数据(例如，程序状态信息)以供计算设备700使用的物理设备。非易失性存储器的示例包括但不限于闪存和只读存储器(ROM)/可编程只读存储器(PROM)/可擦除可编程只读存储器(EPROM)/电子可擦除可编程只读存储器(EEPROM)(例如，通常用于固件，诸如引导(boot)程序)。易失性存储器的示例包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、相变存储器(PCM)以及盘或磁带。
存储设备730能够为计算设备700提供大容量存储。在一些实施方式中，存储设备730是计算机可读介质。在各种不同的实施方式中，存储设备730可以是软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其它类似的固态存储器设备，或设备的阵列，包括存储区域网络或其它配置中的设备。在另外的实施方式中，计算机程序产品有形地在信息载体中实施。计算机程序产品包含在被执行时进行一种或多种方法(例如上述方法)的指令。信息载体是计算机可读介质或机器可读介质，诸如存储器720、存储设备730或处理器710上的存储器。
高速控制器740管理计算设备700的带宽密集型操作，而低速控制器760管理较低带宽密集型操作。职责的这种分配仅是示例性的。在一些实施方式中，高速控制器740耦合到存储器720，(例如，通过图形处理器或加速器)耦合到显示器780，以及耦合到可以接受各种扩展卡(未示出)的高速扩展端口750。在一些实施方式中，低速控制器760耦合到存储设备730和低速扩展端口790。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口790可以(例如通过网络适配器)耦合到一个或多个输入/输出设备，诸如键盘、指示设备、扫描仪或联网设备，诸如交换机或路由器。
计算设备700可以以多种不同的形式实现，如图所示。例如，它可以被实现为标准服务器700a或这样的服务器700a的一组中的多倍，被实现为膝上型计算机700b，或被实现为机架服务器系统700c的一部分。
本文描述的系统和技术的各种实施方式可以以数字电子和/或光学电路系统、集成电路系统、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合来实现。这些各种实施方式可以包括在一个或多个计算机程序中的实施方式，该一个或多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该至少一个可编程处理器可以是专用的或通用的，被耦合为从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及向存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程式和/或面向对象的编程语言和/或以汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、非暂态计算机可读介质、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。该过程和逻辑流程也可以通过专用逻辑电路系统来执行，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。作为示例，适合于执行计算机程序的处理器包括通用微处理器和专用微处理器二者，以及任何种类的数字计算机的任何一个或多个处理器。一般而言，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。一般而言，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合为从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传输数据或两者皆有。但是，计算机无需具有此类设备。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，作为示例，包括半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移除盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路系统补充或并入专用逻辑电路系统。
为了提供与用户的交互，本公开的一个或多个方面可以在计算机上实现，该计算机具有用于向用户显示信息的显示设备，例如，CRT(阴极射线管)、LCD(液晶显示器)监视器或触摸屏，以及可选地用户通过其可以向计算机提供输入的键盘和指示设备，例如，鼠标或轨迹球。其它种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。此外，计算机可以通过向由用户使用的设备发送文档以及从由用户使用的设备接收文档来与用户进行交互；例如，通过响应于从web浏览器接收到的请求而向用户的客户端设备上的web浏览器发送网页。
已经描述了许多实施方式。但是，将理解的是，在不脱离本公开的精神和范围的情况下，可以做出各种修改。因此，其它实施方式在所附权利要求的范围内。

Claims (14)

1.一种方法(600)，包括：
在数据处理硬件(132)处接收货架图(500)，所述货架图(500)限定产品(12)在陈列架环境内的陈列架(200)上的代表性放置(PR)，陈列架环境包括陈列架和部署在陈列架上的显示屏，并且在用户的视场内，显示屏被配置为描绘媒体内容；
在数据处理硬件(132)处，从成像设备(300)接收至少一个图像(310)，所述成像设备(300)位于陈列架上方并具有被布置为捕获陈列架(200)的顶表面(212)的视场(Fv)，其中陈列架的顶表面限定特征的图案，包括至少一个多边形形状的特征，其中所述至少一个图像捕获陈列架的顶表面的具有暴露的特征的至少一部分；
通过以下操作由数据处理硬件(132)基于所述至少一个图像(310)来确定产品(12)是否被部署在陈列架(200)上：
检测暴露的特征的一个或多个边缘；
将检测到的一个或多个边缘转换成闭合的特征；以及
将闭合的特征与所述至少一个多边形形状的特征比较以确定产品是否部署在陈列架上；
当产品(12)被部署在陈列架(200)上时：
由数据处理硬件(132)确定产品(12)在陈列架(200)上的实际放置(PA)；
由数据处理硬件(132)将产品(12)的实际放置(PA)与产品(12)的由货架图(500)限定的代表性放置(PR)进行比较；
由数据处理硬件(132)基于产品(12)的实际放置(PA)与产品(12)的代表性放置(PR)的比较来确定货架图遵从性(620)；以及
从数据处理硬件(132)向网络(150)传送货架图遵从性(620)；以及
当陈列架上没有产品时，
由数据处理硬件将产品的库存状态确定为无库存；以及
从数据处理硬件向网络传送产品的库存状态。
2.如权利要求1所述的方法(600)，还包括：
当产品(12)被部署在陈列架(200)上时，由数据处理硬件(132)将产品(12)的库存状态(S)确定为有库存；以及
从数据处理硬件(132)向网络(150)传输产品(12)的库存状态(S)。
3.如权利要求1或2所述的方法(600)，还包括，当产品(12)被部署在陈列架(200)上时：
由数据处理硬件(132)确定陈列架(200)上的产品(12)的数量(Q)；以及
从数据处理硬件(132)向网络(150)传送产品(12)的数量(Q)。
4.如权利要求1或2所述的方法(600)，还包括，从数据处理硬件(132)向网络(150)传送产品(12)的实际放置(PA)。
5.如权利要求1所述的方法(600)，其中将闭合的特征与所述至少一个多边形形状的特征比较包括：对于每个闭合的特征，比较相应的闭合的特征的边缘的数量与所述至少一个多边形形状的特征的边缘的数量，以及
其中确定产品是否被部署在陈列架上还包括：当相应的闭合的特征的边缘的数量与所述至少一个多边形形状的特征的边缘的数量不同时确定所述产品部署在陈列架上。
6.如权利要求1所述的方法(600)，其中确定产品(12)在陈列架(200)上的实际放置(PA)包括识别陈列架(200)的在所述至少一个图像(310)中捕获的顶表面(212)上的暴露的特征(215)的对应位置。
7.如权利要求1所述的方法(600)，还包括由数据处理硬件(132)在所述至少一个图像(310)上执行图像校正例程，所述图像校正例程至少校正所述至少一个图像(310)的桶形失真(Vb)。
8.一种系统，包括：
数据处理硬件(132)；以及
与数据处理硬件(132)通信的存储器硬件(134)，所述存储器硬件(134)存储指令，所述指令当在数据处理硬件(132)上执行时使数据处理硬件(132)执行以下操作，包括：
接收货架图(500)，所述货架图(500)限定产品(12)在陈列架环境内的陈列架(200)上的代表性放置(PR)，陈列架环境包括陈列架和部署在陈列架上的显示屏，并且在用户的视场内，显示屏被配置为描绘媒体内容；
从成像设备(300)接收至少一个图像(310)，所述成像设备(300)位于陈列架上方并具有被布置为捕获陈列架(200)的顶表面(212)的视场(Fv)，其中陈列架的顶表面限定特征的图案，包括至少一个多边形形状的特征，其中所述至少一个图像捕获陈列架的顶表面的具有暴露的特征的至少一部分；
所述数据处理硬件通过以下操作基于所述至少一个图像(310)来确定产品(12)是否被部署在陈列架(200)上：
检测暴露的特征的一个或多个边缘；
将检测到的一个或多个边缘转换成闭合的特征；以及
将闭合的特征与所述至少一个多边形形状的特征比较以确定产品是否部署在陈列架上；以及
当产品(12)被部署在陈列架(200)上时：
确定产品(12)在陈列架(200)上的实际放置(PA)；
将产品(12)的实际放置(PA)与产品(12)的由货架图(500)限定的代表性放置(PR)进行比较；
基于产品(12)的实际放置(PA)与产品(12)的代表性放置(PR)的比较来确定货架图遵从性(620)；以及
从数据处理硬件(132)向网络(150)传送货架图遵从性(620)。
9.如权利要求8所述的系统，其中所述操作还包括：
当陈列架(200)上没有产品(12)时，将产品(12)的库存状态(S)确定为无库存；
当产品(12)被部署在陈列架(200)上时，将产品(12)的库存状态(S)确定为有库存，以及
将产品(12)的库存状态(S)从数据处理硬件(132)传送到网络(150)。
10.如权利要求8或9所述的系统，还包括，当产品(12)被部署在陈列架(200)上时：
确定陈列架(200)上的产品(12)的数量(Q)；以及
将产品(12)的数量(Q)传送到网络(150)。
11.如权利要求8或9所述的系统，其中所述操作还包括，将产品(12)的实际放置(PA)从数据处理硬件(132)传送到网络(150)。
12.如权利要求8所述的系统，其中将闭合的特征与所述至少一个多边形形状的特征比较包括：对于每个闭合的特征，比较相应的闭合的特征的边缘的数量与所述至少一个多边形形状的特征的边缘的数量，以及
其中确定产品是否被部署在陈列架上包括：当相应的闭合的特征的边缘的数量与所述至少一个多边形形状的特征的边缘的数量不同时确定所述产品部署在陈列架上。
13.如权利要求8所述的系统，其中确定产品(12)在陈列架(200)上的实际放置(PA)包括识别陈列架(200)的在所述至少一个图像(310)中捕获的顶表面(212)上的暴露的特征(215)的对应位置。
14.如权利要求8或9所述的系统，其中所述操作还包括在所述至少一个图像(310)上执行图像校正例程，所述图像校正例程至少校正所述至少一个图像(310)的桶形失真。
CN201880027026.1A 2017-03-21 2018-03-15 确定产品放置遵从性 Active CN110546661B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/464,777 US10643177B2 (en) 2017-03-21 2017-03-21 Determining product placement compliance
US15/464,777 2017-03-21
PCT/US2018/022671 WO2018175203A1 (en) 2017-03-21 2018-03-15 Determining product placement compliance

Publications (2)

Publication Number Publication Date
CN110546661A CN110546661A (zh) 2019-12-06
CN110546661B true CN110546661B (zh) 2023-07-18

Family

ID=61906852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027026.1A Active CN110546661B (zh) 2017-03-21 2018-03-15 确定产品放置遵从性

Country Status (10)

Country Link
US (2) US10643177B2 (zh)
EP (1) EP3602436B1 (zh)
JP (1) JP7142026B2 (zh)
CN (1) CN110546661B (zh)
AU (1) AU2018239923B2 (zh)
BR (1) BR112019019573A2 (zh)
CA (1) CA3057073C (zh)
ES (1) ES2954444T3 (zh)
MX (1) MX2019011179A (zh)
WO (1) WO2018175203A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10831431B2 (en) 2017-04-18 2020-11-10 Anthony, Inc. Shelving display
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
WO2018204342A1 (en) * 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
DE102018129886A1 (de) * 2018-11-27 2020-05-28 Chep Technology Pty Ltd. Warenbevorratungssystem
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
WO2021039314A1 (ja) * 2019-08-28 2021-03-04 日本電気株式会社 店舗管理システム、店舗管理方法、コンピュータプログラム及び記録媒体
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN111260299B (zh) * 2020-02-18 2023-07-18 中国联合网络通信集团有限公司 货品盘点及管理方法、装置、电子设备及存储介质
US11423354B2 (en) * 2020-03-05 2022-08-23 Zebra Technologies Corporation Smart shelf systems and methods of operating the same
CN111428621A (zh) * 2020-03-20 2020-07-17 京东方科技集团股份有限公司 货架交互方法、装置和货架
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11714926B1 (en) 2020-05-29 2023-08-01 The Hershey Company Product display design and manufacturing using a product display design model
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
CN113034531A (zh) * 2021-04-02 2021-06-25 广州绿怡信息科技有限公司 设备摆放检测方法及装置
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809601A (zh) * 2007-08-31 2010-08-18 埃森哲环球服务有限公司 基于图像处理的货架图提取
CN104136210A (zh) * 2011-10-14 2014-11-05 家乐氏公司 用于形成复合结构的方法
JP2016077840A (ja) * 2014-10-17 2016-05-16 長谷川　裕司 商品説明動画自動再生システム
CN106104610A (zh) * 2014-03-12 2016-11-09 日本电气株式会社 陈列状况分析设备、陈列状况分析方法和程序记录介质

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3908047B2 (ja) 2002-02-04 2007-04-25 富士通株式会社 陳列状態監視方法及び陳列状態監視プログラム
US7450760B2 (en) * 2005-05-18 2008-11-11 Scanr, Inc. System and method for capturing and processing business data
CA2584683A1 (en) * 2006-04-20 2007-10-20 Optosecurity Inc. Apparatus, method and system for screening receptacles and persons
US7693757B2 (en) * 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US8630924B2 (en) * 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
US7949568B2 (en) * 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
US8091782B2 (en) * 2007-11-08 2012-01-10 International Business Machines Corporation Using cameras to monitor actual inventory
JP5397751B2 (ja) * 2009-03-19 2014-01-22 株式会社ニコン カメラおよび画像補正方法
US8577136B1 (en) * 2010-12-28 2013-11-05 Target Brands, Inc. Grid pixelation enhancement for in-stock analytics
US9785898B2 (en) * 2011-06-20 2017-10-10 Hi-Tech Solutions Ltd. System and method for identifying retail products and determining retail product arrangements
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US9672226B2 (en) * 2011-10-27 2017-06-06 Agency For Science, Technology And Research Method to identify an object and a system for doing the same
JP6153087B2 (ja) 2011-12-16 2017-06-28 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
US20130235206A1 (en) 2012-03-12 2013-09-12 Numerex Corp. System and Method of On-Shelf Inventory Management
US8941645B2 (en) 2012-05-11 2015-01-27 Dassault Systemes Comparing virtual and real images in a shopping experience
US20140006117A1 (en) * 2012-06-29 2014-01-02 International Business Machines Corporation Personalized reorder point based advertisement
US9031872B1 (en) * 2013-03-12 2015-05-12 Target Brands, Inc. Digital sign with incorrectly stocked item identification
US9259891B2 (en) * 2013-06-14 2016-02-16 Electronic Imaging Services, Inc. Pad of labels and labels for use on store shelves in a retail environment
US9886678B2 (en) * 2013-09-25 2018-02-06 Sap Se Graphic representations of planograms
US20150206188A1 (en) 2014-01-17 2015-07-23 Panasonic Intellectual Property Corporation Of America Item presentation method, and information display method
WO2016019352A2 (en) 2014-07-31 2016-02-04 Internet Connectivity Group, Inc. Dynamic merchandising communication system
KR102260805B1 (ko) * 2014-08-06 2021-06-07 삼성전자주식회사 이미지 검색 장치 및 그 방법
JP6484956B2 (ja) 2014-08-18 2019-03-20 富士通株式会社 陳列状況管理方法、陳列状況管理プログラムおよび情報処理装置
US9483704B2 (en) * 2014-12-10 2016-11-01 Ricoh Co., Ltd. Realogram scene analysis of images: superpixel scene analysis
US9710926B2 (en) * 2015-01-30 2017-07-18 Hewlett-Packard Development Company, L.P. Image processing of a retail shelf area
JP2016194833A (ja) * 2015-03-31 2016-11-17 富士通株式会社 商品陳列位置の判定処理方法、商品陳列位置の判定処理プログラム、及び商品陳列位置の判定処理装置
KR101569411B1 (ko) * 2015-04-01 2015-11-27 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법
WO2016179065A1 (en) * 2015-05-04 2016-11-10 Sunrise R&D Holdings, Llc Systems and methods for controlling shelf display units and for graphically presenting information on shelf display units
US10885493B2 (en) * 2015-05-16 2021-01-05 Tata Consultancy Services Limited Method and system for planogram compliance check based on visual analysis
EP3311348A4 (en) 2015-06-17 2019-02-20 Panasonic Intellectual Property Management Co., Ltd. INVENTORY MANAGEMENT DEVICE, METHOD AND SYSTEM
US9858481B2 (en) * 2015-11-23 2018-01-02 Lexmark International, Inc. Identifying consumer products in images
JP6624911B2 (ja) * 2015-12-03 2019-12-25 キヤノン株式会社 計測装置、計測方法および物品の製造方法
US10592854B2 (en) 2015-12-18 2020-03-17 Ricoh Co., Ltd. Planogram matching
US10445821B2 (en) * 2015-12-18 2019-10-15 Ricoh Co., Ltd. Planogram and realogram alignment
CN105701635A (zh) * 2016-03-15 2016-06-22 江阴中科今朝科技有限公司 基于移动互联网技术的物流货物实时跟踪管理系统
US10152213B2 (en) * 2016-09-01 2018-12-11 Adobe Systems Incorporated Techniques for selecting objects in images
US10552787B2 (en) * 2016-09-04 2020-02-04 International Business Machines Corporation Store planogram to image registrations
CN110461191A (zh) * 2016-10-21 2019-11-15 胜嘉有限公司 分离式重力作用下商品推进座及装配组合
JP6896401B2 (ja) * 2016-11-25 2021-06-30 東芝テック株式会社 物品認識装置
WO2018098394A1 (en) * 2016-11-25 2018-05-31 Glowforge Inc. Fabrication with image tracing
US20180165711A1 (en) * 2016-12-13 2018-06-14 Frito-Lay North America, Inc. Smart Product Display Systems and Related Methods Providing Consumer Behavior Analytics
US11151372B2 (en) * 2019-10-09 2021-10-19 Elsevier, Inc. Systems, methods and computer program products for automatically extracting information from a flowchart image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809601A (zh) * 2007-08-31 2010-08-18 埃森哲环球服务有限公司 基于图像处理的货架图提取
CN104136210A (zh) * 2011-10-14 2014-11-05 家乐氏公司 用于形成复合结构的方法
CN106104610A (zh) * 2014-03-12 2016-11-09 日本电气株式会社 陈列状况分析设备、陈列状况分析方法和程序记录介质
JP2016077840A (ja) * 2014-10-17 2016-05-16 長谷川　裕司 商品説明動画自動再生システム

Also Published As

Publication number Publication date
US20200219046A1 (en) 2020-07-09
US10643177B2 (en) 2020-05-05
MX2019011179A (es) 2020-02-07
JP2020518044A (ja) 2020-06-18
WO2018175203A1 (en) 2018-09-27
CA3057073A1 (en) 2018-09-27
AU2018239923B2 (en) 2021-02-04
AU2018239923A1 (en) 2019-10-10
CA3057073C (en) 2022-06-14
US20180276596A1 (en) 2018-09-27
BR112019019573A2 (pt) 2020-04-14
CN110546661A (zh) 2019-12-06
EP3602436B1 (en) 2023-06-21
EP3602436A1 (en) 2020-02-05
US11587029B2 (en) 2023-02-21
JP7142026B2 (ja) 2022-09-26
ES2954444T3 (es) 2023-11-22

Similar Documents

Publication Publication Date Title
CN110546661B (zh) 确定产品放置遵从性
US9984451B2 (en) Linear grouping of recognized items in an image
US9754237B2 (en) Index image quality metric
US9015072B2 (en) Method and apparatus for automated inventory management using depth sensing
EP3038028A1 (en) Sequencing products recognized in a shelf image
US20140003655A1 (en) Method, apparatus and system for providing image data to represent inventory
US20170178061A1 (en) Planogram Generation
US10438165B2 (en) Planogram generation
JP6484956B2 (ja) 陳列状況管理方法、陳列状況管理プログラムおよび情報処理装置
JP2022183305A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6835158B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11715278B2 (en) Real time tracking of shelf activity supporting dynamic shelf size, configuration and item containment
US20210012686A1 (en) Information Delivery Method and Information Delivery System Capable of Generating a Template for Displaying Information of Products
WO2017163673A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230072497A1 (en) System for managing placing retail products on store shelves
WO2024057387A1 (ja) 棚割りデータ生成装置、棚割りデータ生成システム、棚割りデータ生成方法および記憶媒体
WO2016002695A1 (ja) 情報処理装置
JP6877806B1 (ja) 情報処理装置、プログラム及び情報処理方法
WO2016002694A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023064624A (ja) 情報処理装置、画像表示方法、及び画像表示プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant