CN110490516A - 一种无人便利店货架物品检测方法及装置 - Google Patents

一种无人便利店货架物品检测方法及装置 Download PDF

Info

Publication number
CN110490516A
CN110490516A CN201910709179.0A CN201910709179A CN110490516A CN 110490516 A CN110490516 A CN 110490516A CN 201910709179 A CN201910709179 A CN 201910709179A CN 110490516 A CN110490516 A CN 110490516A
Authority
CN
China
Prior art keywords
shelf
change
statistics
article
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910709179.0A
Other languages
English (en)
Inventor
梁志聪
宋子杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weaving Point Intelligent Technology Co Ltd
Original Assignee
Guangzhou Weaving Point Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weaving Point Intelligent Technology Co Ltd filed Critical Guangzhou Weaving Point Intelligent Technology Co Ltd
Priority to CN201910709179.0A priority Critical patent/CN110490516A/zh
Publication of CN110490516A publication Critical patent/CN110490516A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/62—Over or under weighing apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了一种无人便利店货架物品检测方法、装置、电子设备及存储介质。所述方法包括：当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像；将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，所述识别比对结果包括物品数量的变化情况及种类的变化情况；基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。本申请实施例提供的技术方案，能够根据货架物品的变化情况进行用户购物清单统计及对应货架物品清单统计，使得选购物品的清点及货架物品的清点更为准确，避免错误扣费，进而优化用户购物体验。

Description

一种无人便利店货架物品检测方法及装置
技术领域
本申请实施例涉及计算机识别检测技术领域，尤其涉及一种无人便利店货架物品检测方法及装置。
背景技术
目前，随着科技的发展，智能零售、无人零售也在逐渐在生活中被广泛的应用。无人便利店便是该领域下的一个新兴的应用产品。无人便利店通常指用户在购物过程中全程无需服务人员的参与即可完成物品的购买。用户进入无人便利店后，进行物品的自主选购，物品选择完毕后放入结算装置清点，系统后台会根据清点结果自动完成物品的结算。
但是，现有的无人便利店在运营过程中，采用固定的结算装置清点物品。用户选购完之后还需要将物品送入结算装置进行清点，其流程较为繁琐，并没有真正实现“拿了就走”的购物体验，用户的购物体验较差。而单一通过图像识别清点选购物品，又很容易因为遮挡、误判而导致清点误差的情况。
发明内容
本申请实施例提供一种无人便利店货架物品检测方法、装置、电子设备及存储介质，能够实现选购物品较为准确的自动清点，优化用户购物体验。
在第一方面，本申请实施例提供了一种无人便利店货架物品检测方法，包括：
当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像；
将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，所述识别比对结果包括物品数量的变化情况及种类的变化情况；
基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。
进一步的，所述将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，包括：
识别所述实时图像，得到对应货架上物品的实时数量信息；
识别所述原始图像，得到对应货架上物品的原始数量信息；
比对所述实时数量信息与所述原始数量信息，输出对应物品数量变化情况。
进一步的，在所述基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计中，根据所述对应物品数量变化情况，若物品数量增加，则对应更新对应货架物品清单，若物品数量减少，则对应更新用户购物清单，若物品数量不变，则认定所述货架重量变化为非订单操作，不进行清单统计。
进一步的，所述将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，包括：
识别所述实时图像，得到第一识别结果，所述第一识别结果包括所述实时图像中物品的种类及数量信息；
识别所述原始图像，得到第二识别结果，所述第二识别结果包括所述原始图像中物品的种类及数量信息；
比对所述第一识别结果和所述第二识别结果，输出对应物品的数量变化情况及种类变化情况。
进一步的，所述基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计，包括：
若物品种类不变，数量增加，则对应更新对应货架物品清单；
若物品种类不变，数量不变，则认定所述货架重量变化为非订单操作，不进行清单统计；
若物品种类不变或减少，数量减少，则对应更新用户购物清单；
若物品种类增多或调换，则认定所述货架重量变化为错放操作，不进行清单统计。
进一步的，在所述基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计之后，还包括：
根据所述非订单操作和所述错放操作，提示运营人员或用户存在使用异常。
进一步的，在所述基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计之后，还包括：
将所述实时图像替换预存的所述原始图像，作为下一次识别比对的原始图像。
在第二方面，本申请实施例提供了一种无人便利店货架物品检测装置，包括：
检测模块，用于当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像；
比对模块，用于将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，所述识别比对结果包括物品数量的变化情况及种类的变化情况；
统计模块，用于基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。
在第三方面，本申请实施例提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的无人便利店货架物品检测方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的无人便利店货架物品检测方法。
本申请实施例通过实时检测无人便利店货架的重量变化来触发对货架物品变化情况的图像识别验证，通过获取货架处的实时图像，与预存储的原始图像进行比对，以确定货架物品的变化情况，并根据货架物品的变化情况进行用户购物清单统计及对应货架物品清单统计，使得选购物品的清点及货架物品的清点更为准确，避免错误扣费，进而优化用户购物体验。
附图说明
图1是本申请实施例一提供的一种无人便利店货架物品检测方法的流程图；
图2是本申请实施例二提供的另一种无人便利店货架物品检测方法的流程图；
图3是本申请实施例三提供的另一种无人便利店货架物品检测方法的流程图；
图4是本申请实施例四提供的另一种无人便利店货架物品检测方法的流程图；
图5是本申请实施例五提供的另一种无人便利店货架物品检测方法的流程图；
图6是本申请实施例六提供的一种无人便利店货架物品检测装置的结构框图；
图7是本申请实施例七提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请实施例提供的无人便利店货架物品检测方法，旨在通过货架重量变化检测并通过图像识别进行验证，来确定货架物品的变化情况，以使得用户购物清单统计及对应货架物品清单统计更加准确。相对于现有的采用固定结算装置进行选购物品结算的方式，其结算流程过于繁琐，用户在选购完之后还需要将物品放置入结算装置中，清点结束才能够完成购买流程。虽然其能够通过预先进行身份绑定来实现自动扣费，但该方式实际上也仅仅是方便了用户自动付费，但在选购物品的清点上仍多有不便。而本申请实施例提供的无人便利店货架物品检测方法，采用货架重量检测来获知用户拿走的物品，并通过摄像装置识别货架图像，来进一步验证货架重量变化情况是否是由于对于物品的增减引起，以此来作为依据进行用户购物清单的统计以及货架物品清单的统计，使得货架物品清单、购物清单的统计更为准确。真正意义地实现用户“拿了就走”的购物体验，无需使用固定结算装置，通过重量检测配合图像识别的方式，即可准确的获知用户拿走的物品。
实施一：
图1给出了本申请实施例一提供的一种无人便利店货架物品检测方法的流程图，本实施例中提供的无人便利店货架物品检测方法可以由无人便利店货架物品检测设备执行，该无人便利店货架物品检测设备可以通过软件和/或硬件的方式实现，该无人便利店货架物品检测设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，无人便利店货架物品检测设备具备电子白板功能，该无人便利店货架物品检测设备可以是电脑。
下述以无人便利店货架物品检测设备为执行无人便利店货架物品检测方法的主体为例，进行描述。参照图1，该无人便利店货架物品检测方法具体包括：
S110、当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像。
示例性的，在无人便利店中，设置若干个货架，货架上放置物品，供用户选购。在货架上对应每一种物品设置对应的重量检测装置，重量检测装置具体可以是设置在每类物品的底部，用于承接物品的称重传感器。称重传感器实时检测对应物品的重量信息。当无人便利店货架物品检测设备检测到称重传感器重量信息发生变化时，表示此时货架出现重量变化。对应这一重量变化，可能是用户取出对应货架处的商品引起的，也可以是运营人员放置物品引起的，还可以是货架在使用过程中一些非运营、非订单操作引起的。因此，仅仅通过物品底部的重量检测装置来进行用户购物清单的统计或货架物品清单的统计是不够准确的，需要对此次货架重量变化进行验证，确定该货架重量变化是否是用户取出对应货架处的商品引起的或是运营人员放置物品引起的。
为此，在无人便利店货架物品检测设备检测到货架重量变化时，即触发货架重量变化的验证流程。货架重量变化验证的实质是通过识别比对货架实时图像和原始图像，来确定货架重量变化的实际原因。此时通过开启设置于无人便利店中用于拍摄对应物品的摄像装置，驱动摄像装置获取对应货架处的实时图像，通过实时图像来采集图像上的物品信息。
S120、将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，所述识别比对结果包括物品数量的变化情况及种类的变化情况。
示例性的，在获取对应货架处的实时图像后，将对应货架处的实时图像与原始图像进行识别比对。无人便利店货架物品检测设备会预存一张货架重量变化之前对应货架处的原始图像，以用于比对重量变化前后，实时图像与原始图像之间的变化情况。在进行图像识别时，可采用基于卷积神经网络的目标检测算法对两张图像进行物品数量、种类的识别，根据识别到的两张图像中的物品数量及种类信息进行比对，即可得到关于对应货架处物品数量的变化情况及重量变化情况。
具体的，无人便利店货架物品检测设备对应各类物品预先建立相应的目标检测模型。建立目标检测模型时，基于卷积神经网络通过获取大量对应物品的图像作为样本数据集进行训练得到目标检测模型，后续通过目标检测模型对上述实时图像和原始图像进行物品数量及种类的识别。目标检测模型具体可以是YOLOv3目标检测模型，现有的目标检测算法有很多，此处不做固定限定。
S130、基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。
对应的，在确定对应货架处物品数量的变化情况及重量变化情况后，则基于对应货架处物品的这些变化情况来进行用户购物清单的统计以及货架物品清单的统计。例如，根据一类物品数量的变化情况，若物品数量增多，则认为当前存在运营人员进行补货操作，对应这一补货操作，更新对应货架物品清单上这一物品的数量信息，根据补货量对应增加货架物品清单上的物品数量；而如若是物品数量减少，则认为当前存在用户取出物品的操作。对应这一取出操作，更新用户购物清单上的选购物品信息，根据取出物品的数量及种类，在用户购物清单上增加对应种类及数量的物品信息；而如果是物品数量不变，则认为当前货架重量变化为非运营、非订单操作，可能是由外物导致的货架重量的变化，因此不对用户购物清单和货架物品清单进行更新统计。而根据对应货架处物品的种类增多的情况，则认为存在物品错放操作，此时对应货架处重量可能增加，但不以此进行用户购物清单和货架物品清单的更新统计。最终，通过不同的比对识别结果进行用户购物清单的统计以及货架物品清单的统计，利用重量检测配合图像识别确认的方式，使得用户选购物品的清点以及货架物品数量的统计都更为准确，避免单一检测结果存在误判的情况，使得清点统计结果的容错率更低。
上述，通过实时检测无人便利店货架的重量变化来触发对货架物品变化情况的图像识别验证，通过获取货架处的实时图像，与预存储的原始图像进行比对，以确定货架物品的变化情况，并根据货架物品的变化情况进行用户购物清单统计及对应货架物品清单统计，使得选购物品的清点及货架物品的清点更为准确，避免错误扣费，进而优化用户购物体验。
实施例二：
在上述实施例的基础上，图2为本申请实施例二提供的另一种无人便利店货架物品检测方法的流程图。参考图2，本实施例提供的无人便利店货架物品检测方法具体包括：
S210、当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像。
S220、识别所述实时图像，得到对应货架上物品的实时数量信息。
S230、识别所述原始图像，得到对应货架上物品的原始数量信息。
S240、比对所述实时数量信息与所述原始数量信息，输出对应物品数量变化情况。
S250、基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。
示例性的，在获取到摄像装置拍摄的对应货架处物品的实时图像后，采用目标检测算法分别对实时图像及原始图像进行图像识别。识别过程中，只识别对应一类物品的数量信息，以得到对应实时图像的物品实时数量信息以及对应原始图像的原始数量信息。在进行两张图像信息比对时，根据图像识别结果得到的两张图像对应的物品数量信息，基于物品数量信息获知当前对应货架处物品数量的变化情况。具体的，在无人便利店运营中，用户从货架上取出一个物品。此时重量检测装置检测到货架重量变化，触发摄像装置获取对应货架处的实时图像，与原始图像进行识别比对，确定对应货架处的物品减少一件，则在用户购物清单上增加一件对应物品的选购信息。如果是运营人员进行货架补货操作，在对应货架处放入若干件物品。同样的，此时重量检测装置检测到货架重量变化，触发摄像装置获取对应货架处的实时图像，与原始图像进行识别比对，确定对应货架处的物品增加若干件，则在对应货架物品清单上增加相应数量的物品信息。而如果是外物导致的货架重量信息变化，由于通过实时图像和原始图像的比对没有发现物品数量的变化，则认为其是非订单或非运营操作，无需进行相应清单的更新统计。
由上述方案可知，本申请实施例通过检测货架重量变化后进行对应货架处物品实时图像的获取，并通过图像识别物品的数量信息，根据物品数量信息变化来进行对应清单的更新统计。本实施例只针对对应货架上一类物品的数量识别比对，能够快速得到识别比对结果，便于快速确认货架重量变化引起物品变化的情况。
实施例三：
S310、当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像。
S320、识别所述实时图像，得到第一识别结果，所述第一识别结果包括所述实时图像中物品的种类及数量信息。
S330、识别所述原始图像，得到第二识别结果，所述第二识别结果包括所述原始图像中物品的种类及数量信息。
S340、比对所述第一识别结果和所述第二识别结果，输出对应物品的数量变化情况及种类变化情况。
S350、基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。
示例性的，在获取到摄像装置拍摄的对应货架处物品的实时图像后，采用目标检测算法分别对实时图像及原始图像进行图像识别。识别过程中，分别识别实时图像和原始图像包含的物品种类信息及物品数量信息。在进行两张图像信息比对时，根据两张图像的种类信息比对确定当前物品种类的变化情况，根据两张图像的物品数量信息比对确定当前物品数量的变化情况。基于上述比对得到的物品种类、数量上的变化情况来验证引起货架重量变化的原因。具体的，在比对过程中，若物品种类不变，数量增加，则对应更新对应货架物品清单；若物品种类不变，数量不变，则认定所述货架重量变化为非订单操作，不进行清单统计；若物品种类不变或减少，数量减少，则对应更新用户购物清单；若物品种类增多或调换，则认定所述货架重量变化为错放操作，不进行清单统计。采用种类变化配合数量变化分析，以得到更准确的分析结果。
由上述方案可知，本申请实施例通过检测货架重量变化后进行对应货架处物品实时图像的获取，并通过图像识别物品的种类信息及数量信息，结合种类信息及数量信息的变化，来进行对应清单的更新统计。本实施例能够识别判断出物品种类增多引起的货架重量变化的情况，由于此时存在不属于对应货架处的物品，属于错放操作，因此不进行货架清单的更新，避免货架清单的误统计影响货架物品数量的统计及运营。
实施例四：
S410、当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像。
S420、将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，所述识别比对结果包括物品数量的变化情况及种类的变化情况。
S430、基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。
S440、根据所述非订单操作和所述错放操作，提示运营人员或用户存在使用异常。
示例性的，在基于比对识别结果进行相应的清单统计期间。对应用户错放操作以及外物引起的非订单操作，为了避免影响无人便利店的运营。对应识别出的用户的错放操作，提示用户当前存在的使用异常情况，以使用户将错放的物品放回正确位置。对应外物引起的货架重量变化，可能是有物体掉入到对应货架处，影响重量检测装置的测量，也可能是重量检测装置出行测量故障导致的货架重量变化。因此，需要提示运营人员解决这一使用异常，避免无人便利店的运营损失。
实施例五：
S510、当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像。
S520、将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，所述识别比对结果包括物品数量的变化情况及种类的变化情况。
S530、基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。
S540、将所述实时图像替换预存的所述原始图像，作为下一次识别比对的原始图像。
示例性的，在基于比对识别结果进行相应的清单统计之后，需要将此次比对识别中使用的实时图像预存为对应货架处的原始图像，以用于下一次货架重量变化时，与对应货架处实时图像进行比对，确定实时的物品变化情况。每一次比对识别之后，都将该次获取的实时图像作为下一次重量变化验证时，用于识别比对的原始图像。以确保对应货架处物品的原始情况能够得到实时更新，进而提高用户选购物品清点、运营人员补货物品清点的识别精度。
实施例六：
在上述实施例的基础上，图6为本申请实施例六提供的一种无人便利店货架物品检测装置的结构示意图。参考图6，本实施例提供的无人便利店货架物品检测装置具体包括：检测模块61、比对模块62及统计模块63。
其中，检测模块61用于当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像；
比对模块62用于将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，所述识别比对结果包括物品数量的变化情况及种类的变化情况；
统计模块63用于基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。
上述，通过实时检测无人便利店货架的重量变化来触发对货架物品变化情况的图像识别验证，通过获取货架处的实时图像，与预存储的原始图像进行比对，以确定货架物品的变化情况，并根据货架物品的变化情况进行用户购物清单统计及对应货架物品清单统计，使得选购物品的清点及货架物品的清点更为准确，避免错误扣费，进而优化用户购物体验。
具体的，还包括提示模块，用于根据所述非订单操作和所述错放操作，提示运营人员或用户存在使用异常。
替换模块，用于将所述实时图像替换预存的所述原始图像，作为下一次识别比对的原始图像。
本申请实施例三提供的无人便利店货架物品检测装置可以用于执行上述实施例一提供的无人便利店货架物品检测方法，具备相应的功能和有益效果。
实施例七：
本申请实施例七提供了一种电子设备，参照图7，该电子设备包括：处理器71、存储器72、通信模块73、输入装置74及输出装置75。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器71、存储器72、通信模块73、输入装置74及输出装置75可以通过总线或者其他方式连接。
存储器72作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的无人便利店货架物品检测方法对应的程序指令/模块(例如，无人便利店货架物品检测装置中的检测模块、比对模块及统计模块)。存储器72可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块73用于进行数据传输。
处理器71通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的无人便利店货架物品检测方法。
输入装置74可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置74可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的无人便利店货架物品检测方法，具备相应的功能和有益效果。
实施例八：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种无人便利店货架物品检测方法，该无人便利店货架物品检测方法包括：当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像；将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，所述识别比对结果包括物品数量的变化情况及种类的变化情况；基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的无人便利店货架物品检测方法，还可以执行本申请任意实施例所提供的无人便利店货架物品检测方法中的相关操作。
上述实施例中提供的无人便利店货架物品检测装置、存储介质及电子设备可执行本申请任意实施例所提供的无人便利店货架物品检测方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的无人便利店货架物品检测方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种无人便利店货架物品检测方法，其特征在于，包括：
当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像；
将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，所述识别比对结果包括物品数量的变化情况及种类的变化情况；
基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。
2.根据权利要求1所述的无人便利店货架物品检测方法，其特征在于，所述将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，包括：
识别所述实时图像，得到对应货架上物品的实时数量信息；
识别所述原始图像，得到对应货架上物品的原始数量信息；
比对所述实时数量信息与所述原始数量信息，输出对应物品数量变化情况。
3.根据权利要求2所述的无人便利店货架物品检测方法，其特征在于，在所述基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计中，根据所述对应物品数量变化情况，若物品数量增加，则对应更新对应货架物品清单，若物品数量减少，则对应更新用户购物清单，若物品数量不变，则认定所述货架重量变化为非订单操作，不进行清单统计。
4.根据权利要求1所述的无人便利店货架物品检测方法，其特征在于，所述将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，包括：
识别所述实时图像，得到第一识别结果，所述第一识别结果包括所述实时图像中物品的种类及数量信息；
识别所述原始图像，得到第二识别结果，所述第二识别结果包括所述原始图像中物品的种类及数量信息；
比对所述第一识别结果和所述第二识别结果，输出对应物品的数量变化情况及种类变化情况。
5.根据权利要求4所述的无人便利店货架物品检测方法，其特征在于，所述基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计，包括：
若物品种类不变，数量增加，则对应更新对应货架物品清单；
若物品种类不变，数量不变，则认定所述货架重量变化为非订单操作，不进行清单统计；
若物品种类不变或减少，数量减少，则对应更新用户购物清单；
若物品种类增多或调换，则认定所述货架重量变化为错放操作，不进行清单统计。
6.根据权利要求5所述的无人便利店货架物品检测方法，其特征在于，在所述基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计之后，还包括：
根据所述非订单操作和所述错放操作，提示运营人员或用户存在使用异常。
7.根据权利要求1所述的无人便利店货架物品检测方法，其特征在于，在所述基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计之后，还包括：
将所述实时图像替换预存的所述原始图像，作为下一次识别比对的原始图像。
8.一种无人便利店货架物品检测装置，其特征在于，包括：
检测模块，用于当检测到货架重量变化时，触发开启摄像装置获取对应货架处的实时图像；
比对模块，用于将获取到的所述实时图像与预存的对应货架处的原始图像进行识别比对，输出识别比对结果，所述识别比对结果包括物品数量的变化情况及种类的变化情况；
统计模块，用于基于所述识别比对结果进行用户购物清单统计及对应货架物品清单统计。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的无人便利店货架物品检测方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的无人便利店货架物品检测方法。
CN201910709179.0A 2019-08-01 2019-08-01 一种无人便利店货架物品检测方法及装置 Withdrawn CN110490516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910709179.0A CN110490516A (zh) 2019-08-01 2019-08-01 一种无人便利店货架物品检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910709179.0A CN110490516A (zh) 2019-08-01 2019-08-01 一种无人便利店货架物品检测方法及装置

Publications (1)

Publication Number Publication Date
CN110490516A true CN110490516A (zh) 2019-11-22

Family

ID=68549027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910709179.0A Withdrawn CN110490516A (zh) 2019-08-01 2019-08-01 一种无人便利店货架物品检测方法及装置

Country Status (1)

Country Link
CN (1) CN110490516A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242546A (zh) * 2020-01-10 2020-06-05 秒针信息技术有限公司 基于人脸识别的拣货任务核算方法及装置
CN111783528A (zh) * 2020-05-22 2020-10-16 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和系统
CN111815867A (zh) * 2020-07-08 2020-10-23 合肥美的智能科技有限公司 储物柜的结算处理方法、装置及存储介质
CN111860462A (zh) * 2020-08-07 2020-10-30 多点(深圳)数字科技有限公司 货架陈列反馈方法和装置
CN112613358A (zh) * 2020-12-08 2021-04-06 浙江三维万易联科技有限公司 物品的识别方法、装置、存储介质以及电子装置
CN112665698A (zh) * 2020-12-15 2021-04-16 重庆电子工程职业学院 一种智能电子秤
CN117077083A (zh) * 2023-10-10 2023-11-17 上海英内物联网科技股份有限公司 装箱物品自动识别统计方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242546A (zh) * 2020-01-10 2020-06-05 秒针信息技术有限公司 基于人脸识别的拣货任务核算方法及装置
CN111783528A (zh) * 2020-05-22 2020-10-16 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和系统
CN111815867A (zh) * 2020-07-08 2020-10-23 合肥美的智能科技有限公司 储物柜的结算处理方法、装置及存储介质
CN111860462A (zh) * 2020-08-07 2020-10-30 多点(深圳)数字科技有限公司 货架陈列反馈方法和装置
CN111860462B (zh) * 2020-08-07 2024-02-20 多点(深圳)数字科技有限公司 货架陈列反馈方法和装置
CN112613358A (zh) * 2020-12-08 2021-04-06 浙江三维万易联科技有限公司 物品的识别方法、装置、存储介质以及电子装置
CN112665698A (zh) * 2020-12-15 2021-04-16 重庆电子工程职业学院 一种智能电子秤
CN117077083A (zh) * 2023-10-10 2023-11-17 上海英内物联网科技股份有限公司 装箱物品自动识别统计方法
CN117077083B (zh) * 2023-10-10 2024-01-05 上海英内物联网科技股份有限公司 装箱物品自动识别统计方法

Similar Documents

Publication Publication Date Title
CN110490516A (zh) 一种无人便利店货架物品检测方法及装置
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
CN108875664B (zh) 选购商品的识别方法、装置以及售货机
CN207624039U (zh) 一种售货系统
CN108549851A (zh) 智能货柜内货品识别方法及装置、智能货柜
US11416718B2 (en) Item identification method, device and system based on vision and gravity sensing
CN107862515A (zh) 一种售货方法及系统
CN108460908A (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
CN101211437A (zh) 一种电子支付故障检测方法、装置和电子支付系统
CN111079478B (zh) 一种无人售货架监控方法、装置、电子设备及系统
CN110348519A (zh) 金融产品欺诈团伙的识别方法和装置
CN109649915A (zh) 一种智能货柜货物识别方法和装置
CN110008673A (zh) 一种基于人脸识别的身份鉴权方法和装置
CN109243112A (zh) 一种开放式环境购物控制方法和装置
CN111339929B (zh) 一种无人超市的零售系统
US20220222545A1 (en) Generation method, non-transitory computer-readable storage medium, and information processing device
CN111126990A (zh) 物品自动识别方法、结算方法、装置、终端及存储介质
CN109903452A (zh) 废品回收处理方法、装置、设备和存储介质
CN110490698A (zh) 一种无人便利店货架物品错放检测方法及装置
CN109671227A (zh) 智能货柜消费行为识别方法、装置、存储介质和电子设备
CN111783528B (zh) 监控货架上的物品的方法、计算机和系统
CN108171897A (zh) 自助取件方法、自助取件柜、电子设备和计算机存储介质
US20220222580A1 (en) Deterioration detection method, non-transitory computer-readable storage medium, and information processing device
CN110473065A (zh) 无人便利店用户虚拟购物清单显示方法及装置
CN113034150B (zh) 一种用于无人零售终端机的退款方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191122