CN111126322A - 应用于无人售货装置的物品识别方法、装置及设备 - Google Patents

应用于无人售货装置的物品识别方法、装置及设备 Download PDF

Info

Publication number
CN111126322A
CN111126322A CN201911383333.6A CN201911383333A CN111126322A CN 111126322 A CN111126322 A CN 111126322A CN 201911383333 A CN201911383333 A CN 201911383333A CN 111126322 A CN111126322 A CN 111126322A
Authority
CN
China
Prior art keywords
change value
article
prediction results
unmanned vending
gravity change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911383333.6A
Other languages
English (en)
Inventor
程杨武
龙寿伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Missfresh Ecommerce Co Ltd
Original Assignee
Beijing Missfresh Ecommerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Missfresh Ecommerce Co Ltd filed Critical Beijing Missfresh Ecommerce Co Ltd
Priority to CN201911383333.6A priority Critical patent/CN111126322A/zh
Publication of CN111126322A publication Critical patent/CN111126322A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Abstract

本申请提供了一种应用于无人售货装置的物品识别方法、装置及设备。所述方法包括：获取视觉识别结果、视觉识别结果的物品重力变化值，及无人售货装置的总体实际重力变化值；响应于视觉识别结果的物品重力变化值与总体实际重力变化值不匹配，生成无人售货装置中减少的物品的n种预测结果；计算n种预测结果各自对应的置信度；从n种预测结果中选取置信度满足第一条件的m种预测结果；获取m种预测结果各自对应的物品重力变化值；将m种预测结果中物品重力变化值满足第二条件的目标预测结果，确定为无人售货装置中减少的物品。本申请实施例提供的技术方案中，实现了将重力与视觉识别结果相结合，从而提高对无人售货装置中减少的物品的识别准确率。

Description

应用于无人售货装置的物品识别方法、装置及设备
技术领域
本申请实施例涉及视觉识别和计算机技术领域，特别涉及一种应用于无人售货装置的物品识别方法、装置及设备。
背景技术
无人售货的发展过程中，通过无人售货装置实现无人售货这一销售模式的应用范围也越来越广。
在相关技术中，通过计算机视觉识别技术，识别无人售货装置中减少的物品和物品数量，从而生成用户购买的物品的订单。在上述技术中，仅依靠计算机视觉识别技术确定无人售货装置中减少的物品和物品数量，结果不够准确。
发明内容
本申请实施例提供了一种应用于无人售货装置的物品识别方法、装置及设备。所述技术方案如下：
一方面，本申请实施例提供了一种应用于无人售货装置的物品识别方法，所述方法包括：
获取视觉识别结果，所述视觉识别结果用于表征通过视觉识别技术识别出的所述无人售货装置中减少的物品；
获取所述视觉识别结果对应的物品重力变化值，以及所述无人售货装置对应的总体实际重力变化值；
响应于所述视觉识别结果对应的物品重力变化值与所述总体实际重力变化值不匹配，根据所述视觉识别结果和所述总体实际重力变化值，生成所述无人售货装置中减少的物品的n种预测结果，所述n为正整数；
计算所述n种预测结果各自对应的置信度；
从所述n种预测结果中选取所述置信度满足第一条件的m种预测结果，所述m为小于等于所述n的正整数；
获取所述m种预测结果各自对应的物品重力变化值；
将所述m种预测结果中物品重力变化值满足第二条件的目标预测结果，确定为所述无人售货装置中减少的物品。
另一方面，本申请实施例提供了一种应用于无人售货装置的物品识别装置，所述装置包括：
结果获取模块，用于获取视觉识别结果，所述视觉识别结果用于表征通过视觉识别技术识别出的所述无人售货装置中减少的物品；
变化值获取模块，用于获取所述视觉识别结果对应的物品重力变化值，以及所述无人售货装置对应的总体实际重力变化值；
结果生成模块，用于响应于所述视觉识别结果对应的物品重力变化值与所述总体实际重力变化值不匹配，根据所述视觉识别结果和所述总体实际重力变化值，生成所述无人售货装置中减少的物品的n种预测结果，所述n为正整数；
置信度计算模块，用于计算所述n种预测结果各自对应的置信度；
结果选取模块，用于从所述n种预测结果中选取所述置信度满足第一条件的m种预测结果，所述m为小于等于所述n的正整数；
所述变化值获取模块，还用于获取所述m种预测结果各自对应的物品重力变化值；
物品确定模块，用于将所述m种预测结果中物品重力变化值满足第二条件的目标预测结果，确定为所述无人售货装置中减少的物品。
再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上述的应用于无人售货装置的物品识别方法。
又一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述的应用于无人售货装置的物品识别方法。
本申请实施例提供的技术方案可以包括如下有益效果：
通过在视觉识别结果对应的物品重力变化值与总体实际重力变化值不匹配时，根据视觉识别结果和总体实际重力变化值，生成n种预测结果，并根据n种预测结果各自对应的置信度和视觉识别结果对应的物品重力变化值，从n种预测结果中确定为无人售货装置中减少的物品，实现了将重力与视觉识别结果相结合，从而提高对无人售货装置中减少的物品的识别准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的无人售货系统的示意图；
图2是本申请一个实施例提供的应用于无人售货装置的物品识别方法的流程图；
图3是本申请另一个实施例提供的应用于无人售货装置的物品识别方法的流程图；
图4是本申请另一个实施例提供的应用于无人售货装置的物品识别方法的流程图；
图5是本申请一个实施例提供的应用于无人售货装置的物品识别装置的框图；
图6是本申请另一个实施例提供的应用于无人售货装置的物品识别装置的框图；
图7是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法的例子。
下面，通过几个实施例对本申请技术方案进行介绍说明。
请参考图1，其示出了本申请一个实施例提供的无人售货系统的示意图。如图1所示，该系统100可以包括：无人售货装置10和计算机设备20。
无人售货装置10是指无需售货员即可自动销售物品的装置。例如，无人售货装置可以对应有支付图形码，用户在无人售货装置中选中物品后，扫描支付图形码进行支付即可完成物品的购买；又例如，无人售货装置可以识别现金，用户在无人售货装置中选中物品后，将现金投入无人售货装置中即可完成物品的购买。可选地，无人售货装置包括无人货柜、无人货架、无人超市和无人商店等，本申请实施例对此不作限定。用户购买无人售货装置中的物品时，会从无人售货装置中取出物品，无人售货装置中的摆放的物品会相应变少。因而，识别出无人售货装置10中减少的物品，就可以确认用户从无人售货装置10中购买的物品，从而可以生成对应的购买订单。
在示例性实施例中，无人售货装置10可以包括外壳101、摄像头102以及重力托盘103。摄像头102用于采集无人售货装置10中物品的图像。重力托盘103中包括重力传感器，用于确定无人售货装置10对应的总体实际重力变化值。示例性地，无人售货装置10为5层的无人货柜，第一层和第三层货柜的左右两侧的柜体101上各安装有一个摄像头102，每一层货柜下方都安装有一个重力托盘103。在另一个示例中，摄像头102安装在每一层物品的上方最近的重力托盘103的底部或者无人货柜的顶部。
计算机设备20是指具备对数据进行处理功能的设备，如具有计算能力的服务器，或者是诸如PC(Personal Computer，个人计算机)、手机、平板电脑、多媒体播放设备、可穿戴设备等终端，还可以是其他计算机设备。可选地，当计算机设备为服务器时，该计算机设备可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。
计算机设备20可以集成于无人售货装置10中，也可以独立于无人售货装置10存在。无人售货装置10与计算机设备20之间可以通过网络进行通信，该网络可以是有线网络，也可以是无线网络。摄像头102可以将采集到的物品的图像发送给计算机设备20，计算机设备20对物品的图像进行识别，得到视觉识别结果。重力托盘103测量出无人售货装置10对应的总体实际重力变化值后，可以将无人售货装置10对应的总体实际重力变化值发送给计算机设备20；或者，重力托盘103测量出无人售货装置10不同时间点的总体实际重力后，将无人售货装置10不同时间点的总体实际重力发送给计算机设备20，计算机设备20通过对无人售货装置10不同时间点的总体实际重力进行数据处理后，可以得到无人售货装置10对应的总体实际重力变化值。
请参考图2，其示出了本申请一个实施例提供的应用于无人售货装置的物品识别方法的流程图。在本实施例中，主要以该方法应用于上文介绍的计算机设备中来举例说明。该方法可以包括如下几个步骤：
步骤210，获取视觉识别结果。
视觉识别结果用于表征通过视觉识别技术识别出的无人售货装置中减少的物品。视觉识别技术是指通过摄像头采集识别图像后，将采集到的识别图像发送给识别模型，由识别模型对识别图像进行识别的技术。在本申请实施例中，视觉识别技术用于识别无人售货装置中减少的物品。
示例性地，对于安装有门的无人售货装置，触发摄像头采集识别图像的触发操作可以是开门和关门。当用户开门时，触发摄像头采集一次识别图像；当用户关门时，触发摄像头再次采集识别图像。计算机设备接收到摄像头采集的识别图像以及对应的触发操作信息后，通过视觉识别技术将两次采集的识别图像进行比对，从而可以识别出无人售货装置中减少的物品，进而得到视觉识别结果。
用户可以对无人售货装置中的物品进行多次取放。示例性地，在用户的一次购买过程中，视觉识别技术识别出无人售货装置中先减少了一瓶可乐和一瓶雪碧，又增加了一瓶雪碧并减少了一瓶果汁，则该次购买过程中，视觉识别结果为一瓶可乐和一瓶果汁。
步骤220，获取视觉识别结果对应的物品重力变化值，以及无人售货装置对应的总体实际重力变化值。
视觉识别结果对应的物品重力变化值是指视觉识别出的无人售货装置中减少的物品标注的重力值的总和。在示例性实施例中，物品标注的重力值是指预先测量得到的同一类别的物品的平均重力值，其中，同一类别的物品是指同一品牌的同一款的同一规格的产品。在一个示例中，对于同一类别的牛奶，预先选取10瓶牛奶作为样本，通过测量得到10瓶牛奶的重力值分别为：302、297g、299、300、304、301、296、300、301、300，计算得到10瓶牛奶的重力值的平均值为300，该类别的各瓶牛奶标注的重力值即为300。
无人售货装置对应的总体实际重力变化值是指无人售货装置中的原有物品的重力值，与无人售货装置中的物品减少后的剩余物品的重力值的差值。可选地，无人售货装置对应的总体实际重力变化值可以根据无人售货装置中的重力托盘对应的测量值得到。
在一些可能的实施例中，步骤220还可以包括如下子步骤：
1、响应于视觉识别结果中包含无人售货装置中增加的物品，去除增加的物品，获取视觉识别结果中包含的无人售货装置中减少的各个物品的重力值；
2、将无人售货装置中减少的各个物品的重力值求和，得到视觉识别结果对应的物品重力变化值。
由于视觉识别技术有一定误差，通过视觉识别技术会识别出无人售货装置中有增加的物品。例如，无人售货装置中原有的物品中某类别的牛奶为8瓶，但是通过视觉识别技术仅识别出其中的7瓶牛奶。在用户从无人售货装置中取出想要购买的物品(用户想要购买的物品中不包括该类别的牛奶)后，再次对无人售货装置中剩下的物品进行识别时，识别出该类别的牛奶为8瓶，则视觉识别结果包括增加了1瓶该类别的牛奶。因而，需要将视觉识别结果中增加的1瓶该类别的牛奶去除，仅对视觉识别结果中包含的无人售货装置中减少的各个物品的重力值进行求和计算，得到视觉识别结果对应的物品重力变化值。
步骤230，响应于视觉识别结果对应的物品重力变化值与总体实际重力变化值不匹配，根据视觉识别结果和总体实际重力变化值，生成无人售货装置中减少的物品的n种预测结果，n为正整数。
视觉识别结果对应的物品重力变化值与总体实际重力变化值不匹配，是指视觉识别结果对应的物品重力变化值与总体实际重力变化值的差值的绝对值大于预先设定的重力误差。预先设定的重力误差是指预先设定的，允许视觉识别结果对应的物品重力变化值与总体实际重力变化值之间的差值的绝对值的最大值。例如，重力误差为10，视觉识别结果对应的物品重力变化值与总体实际重力变化值的差值为12，则视觉识别结果对应的物品重力变化值与总体实际重力变化值不匹配；又例如，重力误差为10，视觉识别结果对应的物品重力变化值与总体实际重力变化值的差值为-12，则视觉识别结果对应的物品重力变化值与总体实际重力变化值不匹配。
在示例性实施例中，重力误差根据总体实际重力变化值和/或重力托盘的测量精确度进行设定。例如，总体实际重力变化值越大，设定的重力误差可以越大；又例如，重力托盘的测量精确度越高，设定的重力误差可以越小。在一个示例中，确定总体实际重力变化值的k个重力变化值范围，k为大于1的整数；当总体实际重力变化值位于第一重力变化值范围内，重力误差为第一重力误差；当总体实际重力变化值位于第二重力变化值范围内，重力误差为第二重力误差；当总体实际重力变化值位于第三重力变化值范围内，重力误差为第三重力误差……以此类推，确定各个重力变化值范围对应的重力误差。
示例性地，确定总体实际重力变化值的3个重力变化值范围，其中，第一重力变化值范围为：0≤总体实际重力变化值＜300，第一重力误差为5；第二重力变化值范围为：300≤总体实际重力变化值＜1000，第二重力误差为12；第三重力变化值范围为：总体实际重力变化值≥1000，第三重力误差为15。在一个示例中，视觉识别结果对应的物品重力变化值为250，总体实际重力变化值为256，总体实际重力变化值位于第一重力变化值范围内，对应的重力误差为5，则视觉识别结果对应的物品重力变化值与总体实际重力变化值不匹配。在另一个示例中，视觉识别结果对应的物品重力变化值为1008，总体实际重力变化值为994，总体实际重力变化值位于第二重力变化值范围内，对应的重力误差为12，则视觉识别结果对应的物品重力变化值与总体实际重力变化值不匹配。
需要说明的是，重力误差的具体数值由相关技术人员根据实际情况自行设定，本申请实施例对此不作限定。
根据视觉识别结果中的物品的类别和总体实际重力变化值，可以生成无人售货装置中减少的物品的n种预测结果。其中，生成的n种预测结果对应的物品重力变化值与总体实际重力变化值匹配；也即，生成的n种预测结果对应的物品重力变化值与总体实际重力变化值的差值的绝对值小于或等于预先设定的重力误差。示例性地，视觉识别结果中的物品包括牛奶和可乐，牛奶的标注的重力值为300，可乐标注的重力值为500，总体实际重力变化值为1100，则生成一种预测结果为2瓶牛奶和1瓶可乐。
步骤240，计算n种预测结果各自对应的置信度。
置信度也被称为置信水平或可靠度，表示总体参数值落在样本统计值某一区间内的概率。在本申请实施例中，n种预测结果各自对应的置信度是指无人售货装置中减少的物品为某一预测结果的概率。置信度越大，表明无人售货装置中减少的物品为某一预测结果的可能性越大。
在本申请实施例中，根据预测结果中的每一物品各自对应的置信度，计算该预测结果对应的置信度。每一物品各自对应的置信度是根据物品的类别、物品的摆放位置、物品的摆放姿态、视觉识别技术的识别能力中的至少一项得到的。
在示例性实施例中，对于n种预测结果中的第i种预测结果，获取第i种预测结果中包含的各个物品的置信度，其中，每个物品的置信度由视觉识别技术得到，i为小于等于n的正整数；将第i种预测结果中包含的各个物品的置信度的平均值，确定为第i种预测结果对应的置信度。
步骤250，从n种预测结果中选取置信度满足第一条件的m种预测结果，m为小于等于n的正整数。
n种预测结果对应有n个置信度，从n个置信度中选取满足第一条件的m个置信度，m个置信度对应的m种预测结果即为满足第一条件的预测结果。
在示例性实施例中，步骤250包括如下子步骤：
1、确定n种预测结果各自对应的置信度中的最大值；
2、计算最大值与n种预测结果各自对应的置信度之间的置信度差值；
3、选取置信度差值小于预设置信度误差的预测结果，得到m种预测结果。
在该示例性实施例中，第一条件为置信度差值小于预设置信度误差。示例性地，预设置信度误差为0.05，n等于5，即确定有5种预测结果。5种预测结果各自对应的置信度分别为：0.95、0.90、0.85、0.80、0.75，5种预测结果各自对应的置信度中的最大值为0.95，最大值与5种预测结果各自对应的置信度之间的置信度差值分别为：0、0.05、0.10、0.15、0.20，则m种预测结果是5种预测结果中置信度为0.95和0.90的2种预测结果。
其中，预设置信度误差也可以是0.2，也可以是0.04，也可以是0.08，还可以是0.10，预设置信度误差的具体数值可以由相关技术人员根据实际情况自行设定，本申请实施例对此不作限定。
在一些可能的实施例中，m等于1，表示n种预测结果中仅有一种预测结果满足第一条件，则将该预测结果确定为为无人售货装置中减少的物品。
步骤260，获取m种预测结果各自对应的物品重力变化值。
m种预测结果各自对应的物品重力变化值，是指m种预测结果中，各种预测结果中的物品标注的重力值的总和。关于标注的重力值的介绍可参考上述步骤220的内容，此处不再赘述。
步骤270，将m种预测结果中物品重力变化值满足第二条件的目标预测结果，确定为无人售货装置中减少的物品。
m种预测结果对应有m个物品重力变化值，将m个物品重力变化值中满足第二条件的重力变化值对应的预测结果确定为目标预测结果，目标预测结果即为无人售货装置中减少的物品。
在示例性实施例中，步骤270包括如下子步骤：
1、计算m种预测结果各自对应的物品重力变化值与总体实际重力变化值之间的差值；
2、将m种预测结果中差值最小的目标预测结果，确定为无人售货装置中减少的物品。
在该示例性实施例中，第二条件为m种预测结果中物品重力变化值与总体实际重力变化值之间的差值最小。计算得到m种预测结果各自对应的物品重力变化值与总体实际重力变化值之间的差值的绝对值；将m种预测结果中差值的绝对值最小的预测结果确定为目标预测结果，目标预测结果即为无人售货装置中减少的物品
综上所述，本申请实施例提供的技术方案中，通过在视觉识别结果对应的物品重力变化值与总体实际重力变化值不匹配时，根据视觉识别结果和总体实际重力变化值，生成n种预测结果，并根据n种预测结果各自对应的置信度和视觉识别结果对应的物品重力变化值，从n种预测结果中确定为无人售货装置中减少的物品，实现了将重力与视觉识别结果相结合，从而提高对无人售货装置中减少的物品的识别准确率。
另外，本申请实施例提供的技术方案中，每一物品各自对应的置信度是根据物品的类别、物品的摆放位置、物品的摆放姿态、视觉识别技术的识别能力中的至少一项得到的，使同一类别的物品的置信度也可以不相同，从而提高无人售货装置中各个物品的置信度的准确性，进一步提高对无人售货装置中减少的物品的识别准确率。
在一种可能的实施方式中，如图3所示，上述步骤220之后，还可以包括如下步骤221：
步骤221，响应于总体实际重力变化值增加，发出异常信息，异常信息用于指示无人售货装置发生异常。
当总体实际重力变化值增加，表示无人售货装置中增加了物品，可以发出异常信息。
在一个示例中，当总体实际重力变化值增加，计算机设备向后台发送异常信息，异常信息中可以包括产生异常的时间、无人售货装置的地理位置、无人售货装置中现有的物品信息、增加的总体实际重力变化值等等。后台接收到异常信息之后可以先指示无人售货装置停止售货，然后进行自动故障排除，或者由相关工作人员进行故障排除。
在另一个示例中，当总体实际重力变化值增加，无人售货装置还可以通过发光、响铃或者在无人售货装置的显示面板上显示异常信息等方式发出异常信息。
在上述实现方式中，通过在总体实际重力变化值增加时发出异常信息，使后台或相关工作人员第一时间获取异常信息，提高了处理无人售货装置的异常情形的速度。
在一种可能的实施方式中，如图3所示，上述步骤220之后，还可以包括如下步骤222：
步骤222，响应于视觉识别结果对应的物品重力变化值与总体实际重力变化值匹配，将视觉识别结果确定为无人售货装置中减少的物品。
视觉识别结果对应的物品重力变化值与总体实际重力变化值匹配，是指视觉识别结果对应的物品重力变化值与总体实际重力变化值的差值的绝对值小于或等于预先设定的重力误差。例如，重力误差为10，视觉识别结果对应的物品重力变化值与总体实际重力变化值的差值为0，则视觉识别结果对应的物品重力变化值与总体实际重力变化值匹配；又例如，重力误差为10，视觉识别结果对应的物品重力变化值与总体实际重力变化值的差值为5，则视觉识别结果对应的物品重力变化值与总体实际重力变化值匹配；又例如，重力误差为10，视觉识别结果对应的物品重力变化值与总体实际重力变化值的差值为-5，则视觉识别结果对应的物品重力变化值与总体实际重力变化值匹配。
在上述实现方式中，可以通过视觉识别结果直接确定无人售货装置中减少的物品，方便快捷。
请参考图4，其示出了本申请另一个实施例提供的应用于无人售货装置的物品识别方法的流程图。在本实施例中，主要以该方法应用于上文介绍的计算机设备中来举例说明。该方法可以包括如下几个步骤：
步骤401，获取视觉识别结果V、视觉识别结果V对应的物品重力变化值WV，以及无人售货装置对应的总体实际重力变化值W。
步骤402，确定重力误差E和预设置信度误差CE。
步骤403，判断视觉识别结果V对应的物品重力变化值WV是否增加，若是，则执行步骤404；若否，则执行步骤405。
步骤404，输出识别失败信息，并发出异常信息。
步骤405，判断视觉识别结果V对应的物品重力变化值WV与总体实际重力变化值W之间的差值的绝对值|Wv-W|是否小于重力误差E，若是，则执行步骤406；若否，则执行步骤407。
步骤406，确定无人售货装置中减少的物品为视觉识别结果V。
步骤407，去除视觉识别结果中V中增加的物品，得到新的视觉识别结果Va，获取新的视觉识别结果Va对应的物品重力变化值Wa。
步骤408，判断新的视觉识别结果Va对应的物品重力变化值Wa与总体实际重力变化值W之间的差值的绝对值|Wa-W|是否小于重力误差E，若是，则执行步骤409；若否，则执行步骤410。
步骤409，确定无人售货装置中减少的物品为新的视觉识别结果Va。
步骤410，根据新的视觉识别结果Va生成n种预测结果V1、V2、V3……Vn，并计算n种预测结果对应的物品重力变化值W1、W2、W3……Wn以及n种预测结果各自对应的置信度C1、C2、C3……Cn。
步骤411，判断n是否等于0，若是，则执行步骤412；若否，则执行步骤413。
步骤412，输出识别失败信息。
步骤413，确定n种预测结果中置信度最大的预测结果V10及其对应的置信度C10，从n种预测结果中选取置信度满足C10-C1i<CE的m种预测结果V11、V12、V13……V1m。
步骤414，判断m是否为1，若是，则执行步骤415；若否，则执行步骤416。
步骤415，确定无人售货装置中减少的物品为预测结果V10。
步骤416，计算m种预测结果各自对应的物品重力变化值与总体实际重力变化值W之间的差值的绝对值；选取m种预测结果中差值的绝对值最小的目标预测结果V20。
步骤417，确定目标预测结果V20为无人售货装置中减少的物品。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图5，其示出了本申请一个实施例提供的应用于无人售货装置的物品识别装置的框图。该装置500具有实现上述应用于无人售货装置的物品识别的方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置500可以是上文介绍的计算机设备，也可以设置在计算机设备上。该装置500可以包括：结果获取模块510、变化值确定模块520、结果生成模块530、置信度计算模块540、结果选取模块550和物品确定模块560。
所述结果获取模块510，用于获取视觉识别结果，所述视觉识别结果用于表征通过视觉识别技术识别出的所述无人售货装置中减少的物品。
所述变化值获取模块520，用于获取所述视觉识别结果对应的物品重力变化值，以及所述无人售货装置对应的总体实际重力变化值。
所述结果生成模块530，用于响应于所述视觉识别结果对应的物品重力变化值与所述总体实际重力变化值不匹配，根据所述视觉识别结果和所述总体实际重力变化值，生成所述无人售货装置中减少的物品的n种预测结果，所述n为正整数。
所述置信度计算模块540，用于计算所述n种预测结果各自对应的置信度。
所述结果选取模块550，用于从所述n种预测结果中选取所述置信度满足第一条件的m种预测结果，所述m为小于等于所述n的正整数。
所述变化值获取模块520，还用于获取所述m种预测结果各自对应的物品重力变化值。
所述物品确定模块560，用于将所述m种预测结果中物品重力变化值满足第二条件的目标预测结果，确定为所述无人售货装置中减少的物品。
综上所述，本申请实施例提供的技术方案中，通过在视觉识别结果对应的物品重力变化值与总体实际重力变化值不匹配时，根据视觉识别结果和总体实际重力变化值，生成n种预测结果，并根据n种预测结果各自对应的置信度和视觉识别结果对应的物品重力变化值，从n种预测结果中确定为无人售货装置中减少的物品，实现了将重力与视觉识别结果相结合，从而提高对无人售货装置中减少的物品的识别准确率。
在示例性实施例中，所述物品确定模块560，用于：计算所述m种预测结果各自对应的物品重力变化值与所述总体实际重力变化值之间的差值；
将所述m种预测结果中差值最小的目标预测结果，确定为所述无人售货装置中减少的物品。
在示例性实施例中，所述结果选取模块550，用于：确定所述n种预测结果各自对应的置信度中的最大值；
计算所述最大值与所述n种预测结果各自对应的置信度之间的置信度差值；
选取置信度差值小于预设置信度误差的预测结果，得到所述m种预测结果。
在示例性实施例中，所述置信度计算模块540，用于：对于所述n种预测结果中的第i种预测结果，获取所述第i种预测结果中包含的各个物品的置信度，其中，每个物品的置信度由所述视觉识别技术得到，所述i为小于等于所述n的正整数；
将所述第i种预测结果中包含的各个物品的置信度的平均值，确定为所述第i种预测结果对应的置信度。
在示例性实施例中，所述变化值获取模块520，用于：响应于所述视觉识别结果中包含所述无人售货装置中增加的物品，去除所述增加的物品，获取所述视觉识别结果中包含的所述无人售货装置中减少的各个物品的重力值；
将所述无人售货装置中减少的各个物品的重力值求和，得到所述视觉识别结果对应的物品重力变化值。
在示例性实施例中，如图6所示，所述装置500还包括信息发出模块570，用于：响应于所述总体实际重力变化值增加，发出异常信息，所述异常信息用于指示所述无人售货装置发生异常。
在示例性实施例中，所述物品确定模块560，还用于：响应于所述视觉识别结果对应的物品重力变化值与所述总体实际重力变化值匹配，将所述视觉识别结果确定为所述无人售货装置中减少的物品。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图7，其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备用于实施上述实施例中提供的应用于无人售货装置的物品识别方法。具体来讲：
所述计算机设备700包括CPU(Central Processing Unit，中央处理单元)701、包括RAM(Random Access Memory，随机存取存储器)702和ROM(Read-Only Memory，只读存储器)703的系统存储器704，以及连接系统存储器704和中央处理单元701的系统总线705。所述计算机设备700还包括帮助计算机内的各个器件之间传输信息的基本I/O(Input/Output，输入/输出)系统706，和用于存储操作系统713、应用程序714和其他程序模块712的大容量存储设备707。
所述基本输入/输出系统706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中所述显示器708和输入设备709都通过连接到系统总线705的输入输出控制器710连接到中央处理单元701。所述基本输入/输出系统706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备707通过连接到系统总线705的大容量存储控制器(未示出)连接到中央处理单元701。所述大容量存储设备707及其相关联的计算机可读介质为计算机设备700提供非易失性存储。也就是说，所述大容量存储设备707可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory，可擦除可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备707可以统称为存储器。
根据本申请的各种实施例，所述计算机设备700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备700可以通过连接在所述系统总线705上的网络接口单元711连接到网络712，或者说，也可以使用网络接口单元711来连接到其他类型的网络或远程计算机系统(未示出)。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序在被处理器执行时以实现上述应用于无人售货装置的物品识别方法。
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被处理器执行时，其用于实现上述应用于无人售货装置的物品识别方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种应用于无人售货装置的物品识别方法，其特征在于，所述方法包括：
获取视觉识别结果，所述视觉识别结果用于表征通过视觉识别技术识别出的所述无人售货装置中减少的物品；
获取所述视觉识别结果对应的物品重力变化值，以及所述无人售货装置对应的总体实际重力变化值；
响应于所述视觉识别结果对应的物品重力变化值与所述总体实际重力变化值不匹配，根据所述视觉识别结果和所述总体实际重力变化值，生成所述无人售货装置中减少的物品的n种预测结果，所述n为正整数；
计算所述n种预测结果各自对应的置信度；
从所述n种预测结果中选取所述置信度满足第一条件的m种预测结果，所述m为小于等于所述n的正整数；
获取所述m种预测结果各自对应的物品重力变化值；
将所述m种预测结果中物品重力变化值满足第二条件的目标预测结果，确定为所述无人售货装置中减少的物品。
2.根据权利要求1所述的方法，其特征在于，所述将所述m种预测结果中物品重力变化值满足第二条件的目标预测结果，确定为所述无人售货装置中减少的物品，包括：
计算所述m种预测结果各自对应的物品重力变化值与所述总体实际重力变化值之间的差值；
将所述m种预测结果中差值最小的目标预测结果，确定为所述无人售货装置中减少的物品。
3.根据权利要求1所述的方法，其特征在于，所述从所述n种预测结果中选取所述置信度满足第一条件的m种预测结果，包括：
确定所述n种预测结果各自对应的置信度中的最大值；
计算所述最大值与所述n种预测结果各自对应的置信度之间的置信度差值；
选取置信度差值小于预设置信度误差的预测结果，得到所述m种预测结果。
4.根据权利要求1所述的方法，其特征在于，所述计算所述n种预测结果各自对应的置信度，包括：
对于所述n种预测结果中的第i种预测结果，获取所述第i种预测结果中包含的各个物品的置信度，其中，每个物品的置信度由所述视觉识别技术得到，所述i为小于等于所述n的正整数；
将所述第i种预测结果中包含的各个物品的置信度的平均值，确定为所述第i种预测结果对应的置信度。
5.根据权利要求1所述的方法，其特征在于，所述获取所述视觉识别结果对应的物品重力变化值，包括：
响应于所述视觉识别结果中包含所述无人售货装置中增加的物品，去除所述增加的物品，获取所述视觉识别结果中包含的所述无人售货装置中减少的各个物品的重力值；
将所述无人售货装置中减少的各个物品的重力值求和，得到所述视觉识别结果对应的物品重力变化值。
6.根据权利要求1所述的方法，其特征在于，所述获取所述无人售货装置对应的总体实际重力变化值之后，还包括：
响应于所述总体实际重力变化值增加，发出异常信息，所述异常信息用于指示所述无人售货装置发生异常。
7.根据权利要求1所述的方法，其特征在于，所述获取所述视觉识别结果对应的物品重力变化值，以及所述无人售货装置对应的总体实际重力变化值之后，还包括：
响应于所述视觉识别结果对应的物品重力变化值与所述总体实际重力变化值匹配，将所述视觉识别结果确定为所述无人售货装置中减少的物品。
8.一种应用于无人售货装置的物品识别装置，其特征在于，所述装置包括：
结果获取模块，用于获取视觉识别结果，所述视觉识别结果用于表征通过视觉识别技术识别出的所述无人售货装置中减少的物品；
变化值获取模块，用于获取所述视觉识别结果对应的物品重力变化值，以及所述无人售货装置对应的总体实际重力变化值；
结果生成模块，用于响应于所述视觉识别结果对应的物品重力变化值与所述总体实际重力变化值不匹配，根据所述视觉识别结果和所述总体实际重力变化值，生成所述无人售货装置中减少的物品的n种预测结果，所述n为正整数；
置信度计算模块，用于计算所述n种预测结果各自对应的置信度；
结果选取模块，用于从所述n种预测结果中选取所述置信度满足第一条件的m种预测结果，所述m为小于等于所述n的正整数；
所述变化值获取模块，还用于获取所述m种预测结果各自对应的物品重力变化值；
物品确定模块，用于将所述m种预测结果中物品重力变化值满足第二条件的目标预测结果，确定为所述无人售货装置中减少的物品。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上述权利要求1至7任一项所述的应用于无人售货装置的物品识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述权利要求1至7任一项所述的应用于无人售货装置的物品识别方法。
CN201911383333.6A 2019-12-27 2019-12-27 应用于无人售货装置的物品识别方法、装置及设备 Pending CN111126322A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911383333.6A CN111126322A (zh) 2019-12-27 2019-12-27 应用于无人售货装置的物品识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911383333.6A CN111126322A (zh) 2019-12-27 2019-12-27 应用于无人售货装置的物品识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN111126322A true CN111126322A (zh) 2020-05-08

Family

ID=70505492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911383333.6A Pending CN111126322A (zh) 2019-12-27 2019-12-27 应用于无人售货装置的物品识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111126322A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284293A (zh) * 2021-05-22 2021-08-20 武汉马克到家科技有限公司 一种基于双重力传感器带货道层架的智能售货方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818631A (zh) * 2017-10-30 2018-03-20 中米（北京）农业科技股份有限公司 一种基于自动售货机的预警设备和预警方法
CN108335408A (zh) * 2018-03-02 2018-07-27 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、系统及存储介质
CN109389747A (zh) * 2018-12-29 2019-02-26 北京沃东天骏信息技术有限公司 售货装置和售货方法
CN109886169A (zh) * 2019-02-01 2019-06-14 腾讯科技（深圳）有限公司 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN110276892A (zh) * 2019-06-26 2019-09-24 深圳市腾讯计算机系统有限公司 无人售货方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818631A (zh) * 2017-10-30 2018-03-20 中米（北京）农业科技股份有限公司 一种基于自动售货机的预警设备和预警方法
CN108335408A (zh) * 2018-03-02 2018-07-27 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、系统及存储介质
CN109389747A (zh) * 2018-12-29 2019-02-26 北京沃东天骏信息技术有限公司 售货装置和售货方法
CN109886169A (zh) * 2019-02-01 2019-06-14 腾讯科技（深圳）有限公司 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN110276892A (zh) * 2019-06-26 2019-09-24 深圳市腾讯计算机系统有限公司 无人售货方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284293A (zh) * 2021-05-22 2021-08-20 武汉马克到家科技有限公司 一种基于双重力传感器带货道层架的智能售货方法及系统

Similar Documents

Publication Publication Date Title
US10861086B2 (en) Computer vision system and method for automatic checkout
US11887051B1 (en) Identifying user-item interactions in an automated facility
CN108922026B (zh) 一种自动售货机的补货管理方法、装置和用户终端
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
EP3522096A1 (en) Augmented reality-based offline interaction method and device
CN108549851A (zh) 智能货柜内货品识别方法及装置、智能货柜
CN109117824B (zh) 商品的管理方法、装置、电子设备及储存介质
CN109886169B (zh) 应用于无人货柜的物品识别方法、装置、设备及存储介质
US11288539B1 (en) Tiered processing for item identification
US20200387865A1 (en) Environment tracking
US10713614B1 (en) Weight and vision based item tracking
CN111079478A (zh) 一种无人售货架监控方法、装置、电子设备及系统
US11238401B1 (en) Identifying user-item interactions in an automated facility
US10628792B2 (en) Systems and methods for monitoring and restocking merchandise
JPWO2019123714A1 (ja) 情報処理装置、商品推薦方法、およびプログラム
JP2024040297A (ja) 物品推定装置、物品推定方法、及びプログラム
CN111126322A (zh) 应用于无人售货装置的物品识别方法、装置及设备
CN111507792A (zh) 一种自助购物方法、计算机可读存储介质及系统
US11392889B1 (en) Analysis of events for state detection
KR20200101102A (ko) 드라이브 스루 기반의 정육 판매 시스템
US11748339B2 (en) Anonymization of query information while retaining query structure and sizing information
CN112950329A (zh) 商品动态信息生成方法、装置、设备及计算机可读介质
JP7449096B2 (ja) 注文管理装置
US11494729B1 (en) Identifying user-item interactions in an automated facility

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200508