CN114913154A - 物品拿取数量的确定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种物品拿取数量的确定方法、装置、电子设备及存储介质，该方法包括：获取用户从存储柜内拿取的物品的第一数量，第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到，其中，第一图像为第一时刻存储柜内的图像，第二图像为第二时刻存储柜内的图像；基于第一检测结果，确定第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在第二图像中对应的第二图像区域；基于每个第一图像区域以及每个第二图像区域，确定用户拿取的物品的第二数量；基于第一数量以及第二数量，确定用户拿取的物品的最终数量。本公开实施例，能够提升确定用户拿取的物品数量的准确性，有利于提升用户的使用体验。

Description

物品拿取数量的确定方法、装置、电子设备及存储介质

技术领域

本公开涉及智能零售技术领域，具体而言，涉及一种物品拿取数量的确定方法、物品拿取数量的确定装置、电子设备以及计算机可读存储介质。

背景技术

随着互联网经济的发展，自助消费因其操作便利而逐渐成为被大众接受的消费趋势，因此，一些智能存储柜(如智能冰箱或者智能货架)应运而生。目前，一些智能存储柜通过将用户拿取物品行为之前的图像与用户拿取物品行为之后的图像进行比对，以确定用户拿取的物品的数量。

然而，由于上述两张图像的检测结果会受到多种因素的影响，导致检测结果出现错误(例如，由于光线的影响或者检测模型的精度低等因素导致检测结果出现错误)，进而导致最终得到的用户拿取物品的数量存在误差，进而影响用户的使用体验。

发明内容

本公开实施例至少提供一种物品拿取数量的确定方法、物品拿取数量的确定装置、电子设备以及计算机可读存储介质，以提升确定用户拿取的物品的最终数量的准确度，进而有利于提升用户的使用体验。

本公开实施例提供了一种物品拿取数量的确定方法，包括：

获取用户从存储柜内拿取的物品的第一数量，所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到，其中，所述第一图像为第一时刻所述存储柜内的图像，所述第二图像为第二时刻所述存储柜内的图像；

基于所述第一检测结果，确定所述第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域；

基于所述每个第一图像区域以及每个第二图像区域，确定所述用户拿取的物品的第二数量；

基于所述第一数量以及所述第二数量，确定所述用户拿取的物品的最终数量。

本公开实施例中，基于第一检测结果，确定第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在第二图像中对应的第二图像区域，确定用户拿取的物品的第二数量，可以检测出第一检测结果与第二检测结果之间是否存在误差，并基于用户从存储柜内拿取的物品的第一数量以及第二数量，确定用户拿取的物品的最终数量，如此，可以提升确定用户拿取的物品的最终数量的准确性，进而有利于提升用户的使用体验。

一种可选的实施方式中，所述获取用户从存储柜内拿取的物品的第一数量，包括：

获取所述第一图像以及所述第二图像；

分别对所述第一图像以及所述第二图像进行目标检测，得到所述第一图像对应的第一检测结果以及所述第二图像对应的第二检测结果；

基于所述第一检测结果以及所述第二检测结果，确定所述用户从存储柜内拿取的物品的第一数量。

本公开实施例中，基于第一图像对应的第一检测结果以及第二图像对应的第二检测结果，确定用户从存储柜内拿取的物品的第一数量，如此，可以提高确定第一数量的准确度。

一种可选的实施方式中，所述第一检测结果包括所述第一图像中的每个物品的检测框，所述第二检测结果包括所述第二图像中的每个物品的检测框；所述基于所述第一检测结果以及所述第二检测结果，确定所述用户从存储柜内拿取的物品的第一数量，包括：

分别确定所述第一图像中的检测框的数量以及所述第二图像中的检测框的数量；

基于所述第一图像中的检测框的数量以及所述第二图像中的检测框的数量之间的差值，确定所述第一数量。

本公开实施例中，基于第一图像中的检测框的数量以及第二图像中的检测框的数量之间的差值，确定第一数量，也即，每个检测框可以代表一个物品，如此，可以提高确定第一数量的效率以及准确度。

一种可选的实施方式中，所述第一检测结果包括所述第一图像中的每个物品的检测框，所述基于所述第一检测结果，确定所述第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域，包括：

根据所述每个物品的检测框的位置信息以及尺寸信息，确定所述第一图像中的每个物品对应的第一图像区域；

将所述第一图像与所述第二图像对齐；

根据所述第一图像中的每个物品对应的第一图像区域，确定所述每个第一图像区域在所述第二图像中对应的第二图像区域。

本公开实施例中，根据每个物品的检测框的位置信息以及尺寸信息，确定第一图像中的每个物品对应的第一图像区域，如此，可以提升确定第一图像区域的准确性。然后，将第一图像与第二图像对齐，确定每个第一图像区域在第二图像中对应的第二图像区域，也即，第一图像区域与第二图像区域一一对应，并且具有相同的尺寸信息，如此，可以提升确定第二图像区域的准确性。

一种可选的实施方式中，所述基于所述每个第一图像区域以及所述每个第二图像区域，确定所述用户拿取的物品的第二数量，包括：

针对每个所述第一图像区域，确定所述第一图像区域与对应的第二图像区域之间的相似度；

确定每个相似度是否符合预设要求，并确定不符合所述预设要求的相似度的数量；

将所述不符合所述预设要求的相似度的数量确定为所述第二数量。

本公开实施例中，通过确定第一图像区域与对应的第二图像区域之间的相似度是否符合预设要求，来确定第二数量，也即，若相似度不符合预设要求，则认为该区域的物品被拿取，进一步的，通过确定不符合预设要求的相似度的数量，可以提升确定第二数量的效率以及准确性。

一种可选的实施方式中，所述确定所述第一图像区域与对应的第二图像区域之间的相似度，包括：

确定所述第一图像区域与对应的第二图像区域之间的余弦距离；

基于所述余弦距离，确定所述第一图像区域与对应的第二图像区域之间的相似度。

本公开实施例中，基于第一图像区域与对应的第二图像区域之间的余弦距离，确定相似度第一图像区域与对应的第二图像区域之间的，如此，可以提高确定相似度的准确度。

一种可选的实施方式中，所述基于所述每个第一图像区域以及每个第二图像区域，确定所述用户拿取的物品的第二数量之后，所述方法还包括：

基于所述第二检测结果，确定所述第二图像中的每个物品对应的第三图像区域以及每个第三图像区域在所述第一图像中对应的第四图像区域；

基于所述每个第三图像区域以及每个第四图像区域，确定修正数量；

基于所述修正数量对所述第二数量进行修正，得到修正后的第二数量；

所述基于所述第一数量以及所述第二数量，确定所述用户拿取的物品的最终数量，包括：

基于所述第一数量以及所述修正后的第二数量，确定所述用户拿取的物品的最终数量。

本公开实施例中，基于所述第二检测结果，确定修正数量，并基于修正数量对第二数量进行修正，如此，可以提升第二数量的准确性。

一种可选的实施方式中，所述基于所述第一数量以及所述第二数量，确定所述用户拿取的物品的最终数量，包括：

确定所述第一数量以及所述第二数量中的较小数量；

将所述较小数量确定为所述用户拿取的物品的最终数量。

本公开实施例中，将第一数量以及第二数量中的较小数量确定为用户拿取的物品的最终数量，如此，可以减小检测结果的错误而导致用户拿取物品的最终数量的情况发生，有利于提升用户的使用体验。

一种可选的实施方式中，所述确定所述用户拿取的物品的最终数量之后，所述方法还包括：

基于所述最终数量对应的检测框，识别所述用户拿取的物品的种类信息；

基于所述用户拿取的物品的最终数量以及所述用户拿取的物品的种类信息，生成物品拿取明细信息。

本公开实施例中，基于用户拿取物品的最终数量以及用户拿取的物品的种类信息，生成物品拿取明细信息，也即，生成用户拿取物品的详细清单信息，有利于提升用户的使用体验。

本公开实施例还提供一种物品拿取数量的确定装置，所述装置包括：

第一数量获取模块，用于获取用户从存储柜内拿取的物品的第一数量，所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到，其中，所述第一图像为第一时刻所述存储柜内的图像，所述第二图像为第二时刻所述存储柜内的图像；

图像区域确定模块，用于基于所述第一检测结果，确定所述第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域；

第二数量确定模块，用于基于所述每个第一图像区域以及每个第二图像区域，确定所述用户拿取的物品的第二数量；

物品数量确定模块，基于所述第一数量以及所述第二数量，确定所述用户拿取的物品的最终数量。

一种可选的实施方式中，所述第一数量获取模块具体用于：

获取所述第一图像以及所述第二图像；

分别对所述第一图像以及所述第二图像进行目标检测，得到所述第一图像对应的第一检测结果以及所述第二图像对应的第二检测结果；

基于所述第一检测结果以及所述第二检测结果，确定所述用户从存储柜内拿取的物品的第一数量。

一种可选的实施方式中，所述第一检测结果包括所述第一图像中的每个物品的检测框，所述第二检测结果包括所述第二图像中的每个物品的检测框；所述第一数量获取模块具体用于：

分别确定所述第一图像中的检测框的数量以及所述第二图像中的检测框的数量；

基于所述第一图像中的检测框的数量以及所述第二图像中的检测框的数量之间的差值，确定所述第一数量。

一种可选的实施方式中，所述第一检测结果包括所述第一图像中的每个物品的检测框；所述图像区域确定模块具体用于：

根据所述每个物品的检测框的位置信息以及尺寸信息，确定所述第一图像中的每个物品对应的第一图像区域；

将所述第一图像与所述第二图像对齐；

根据所述第一图像中的每个物品对应的第一图像区域，确定所述每个第一图像区域在所述第二图像中对应的第二图像区域。

一种可选的实施方式中，所述第二数量确定模块具体用于：

针对每个所述第一图像区域，确定所述第一图像区域与对应的第二图像区域之间的相似度；

确定每个相似度是否符合预设要求，并确定不符合所述预设要求的相似度的数量；

将所述不符合所述预设要求的相似度的数量确定为所述第二数量。

一种可选的实施方式中，所述第二数量确定模块具体用于：

确定所述第一图像区域与对应的第二图像区域之间的余弦距离；

基于所述余弦距离，确定所述第一图像区域与对应的第二图像区域之间的相似度。

一种可选的实施方式中，所述装置还包括第二数量修正模块，所述第二数量修正模块用于：

基于所述第二检测结果，确定所述第二图像中的每个物品对应的第三图像区域以及每个第三图像区域在所述第一图像中对应的第四图像区域；

基于所述每个第三图像区域以及每个第四图像区域，确定修正数量；

基于所述修正数量对所述第二数量进行修正，得到修正后的第二数量；

所述物品数量确定模块还用于：

基于所述第一数量以及所述修正后的第二数量，确定所述用户拿取的物品的最终数量。

一种可选的实施方式中，所述物品数量确定模块具体用于：

确定所述第一数量以及所述第二数量中的较小数量；

将所述较小数量确定为所述用户拿取的物品的最终数量。

一种可选的实施方式中，所述装置还包括明细信息生成模块，所述明细信息生成模块用于：

基于所述最终数量对应的检测框，识别所述用户拿取的物品的种类信息；

基于所述用户拿取的物品的最终数量以及所述用户拿取的物品的种类信息，生成物品拿取明细信息。

本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述物品拿取数量的确定方法。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述物品拿取数量的确定方法。

关于上述物品拿取数量的确定装置、电子设备、及计算机可读存储介质的效果描述参见上述物品拿取数量的确定方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本公开实施例所提供的一种存储柜的架构示意图；

图2为本公开实施例所提供的一种物品拿取数量的确定方法的流程图；

图3为本公开实施例所提供的一种第一图像的示意图；

图4为本公开实施例所提供的一种第二图像的示意图；

图5为本公开实施例所提供的一种第一图像区域以及第二图像区域的示意图；

图6为本公开实施例所提供的一种获取第一数量方法的流程图；

图7为本公开实施例所提供的一种确定第一图像区域以及第二图像区域方法的流程图；

图8为本公开实施例所提供的一种第二数量的修正方法的流程图

图9为本公开实施例所提供的另一种物品拿取数量的确定方法的流程图；

图10为本公开实施例提供的一种物品拿取数量的确定装置的结构示意图；

图11为本公开实施例提供的另一种物品拿取数量的确定装置的结构示意图；

图12为本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

随着互联网经济的发展，自助消费因其操作便利而逐渐成为被大众接受的消费趋势，因此，一些自助售卖机(如智能冰箱或者智能货架)应运而生。

请参见图1，图1为本公开实施例所提供的一种存储柜的架构示意图。如图1中所示，存储柜100中包括摄像装置10以及多个层叠且间隔设置置物板20。置物板20用于承载多种物品30(例如，饮料(例如冰红茶)、速食产品(例如面包或者泡面)以及日用品(例如餐巾纸)等)，其中，摄像装置10能够对存储柜100内的环境进行拍摄，也即，存储柜100通过将用户拿取物品行为之前的图像与用户拿取物品行为之后的图像进行比对，以确定用户拿取物品的数量。

需要说明的是，所述存储柜可以是智能冰箱(例如，家用冰箱或者冷藏柜)、货架、货柜，还可以是保温柜等，在此不做限定。

此外，本公开实施例中的摄像装置10所采集的图像中包含所述存储柜100内的所有物品。在其他实施方式中，还可以通过在存储柜100中设置多个摄像装置，且每个摄像装置均能够采集到完整的存储柜的内环境的图像，然后，可以从多个摄像装置所采集的多张图像中确定出图像质量好的图像(例如，清晰度高的图像)作为用户拿取物品行为之前以及所述用户拿取物品行为之后的两张图像。示例性地，可以在存储柜中设置两个摄像装置，如此，可以节约存储柜的成本。

然而，由于上述两张图像的检测结果会受到多种因素的影响，导致检测结果出现错误(例如，由于光线的影响或者检测模型的精度低等因素导致检测结果出现错误)，进而导致最终得到的用户拿取物品的数量存在误差，进而影响用户的使用体验。

基于上述研究，本公开实施例提供了一种物品拿取数量的确定方法，包括：获取用户从存储柜内拿取的物品的第一数量，所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到，其中，所述第一图像为第一时刻存储柜内的图像，所述第二图像为第二时刻存储柜内的图像；基于所述第一检测结果，确定所述第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域；基于所述每个第一图像区域以及每个第二图像区域，确定所述用户拿取的物品的第二数量；基于所述第一数量以及所述第二数量，确定所述用户拿取的物品的最终数量。

本公开实施例中，基于第一检测结果，确定第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在第二图像中对应的第二图像区域，确定用户拿取的物品的第二数量，可以检测出第一检测结果与第二检测结果之间是否存在误差，并基于用户从存储柜内拿取的物品的第一数量以及第二数量，确定用户拿取的物品的最终数量，如此，可以提升确定用户拿取的物品的最终数量的准确性，进而有利于提升用户的使用体验。

下面结合附图对本公开实施例中的物品拿取数量的确定方法进行详细介绍。

请参阅图2，图2为本公开实施例所提供的一种物品拿取数量的确定方法的流程图，如图2所示，本公开实施例提供的物品拿取数量的确定方法，包括以下S101～S104：

S101，获取用户从存储柜内拿取的物品的第一数量，所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到，其中，所述第一图像为第一时刻存储柜内的图像，所述第二图像为第二时刻存储柜内的图像。

其中，所述第一图像的第一检测结果包括所述第一图像中的每个物品的检测结果，所述第二图像的第二检测结果包括所述第二图像中的每个物品的检测结果，其中，所述检测结果包括检测框。

示例性地，请参见图3和图4，图3为本公开实施例所提供的一种第一图像的示意图，图4为本公开实施例所提供的一种第二图像的示意图。如图3中所示，第一图像A为在第一时刻存储柜内的图像，例如，可以是用户拿取物品行为之前的图像或者是用户开启存储柜柜门之前的图像，该图像中包括多个物品(例如矿泉水A1，矿泉水A2等)，每个物品对应一个检测结果，例如，矿泉水A1对应的检测结果中包括检测框01。如图4中所示，第二图像B为在第二时刻存储柜内的图像，例如，可以是用户拿取物品行为之后的图像或者是用户关闭存储柜柜门之后的图像，其中，第二图像B中可以包括1个物品、多个物品(例如矿泉水A1，矿泉水A2等)，还可以没有物品(也即，物品被全部拿取)，在此不做限定。本公开实施例中，以用户从存储柜内拿取的物品的第一数量为1为例进行详细说明。

需要说明的是，图3与图4中所展示出的物品种类以及个数仅是示意性的，图4中所示的第二图像中的物品的个数与图3中所示出第一图像中的物品的个数可以相同，也可以不同，并且第二图像中的物品的个数不大于第一图像中的物品的个数。此外，由于用户在拿取物品的过程中，可能会移动物品，因此，第一图像A中的物品的位置摆放与第二图像B中的物品的位置摆放也会不同，示例性的，如图4中所示的第一图像A中的物品A4与物品A5的位置，用户在拿取物品的过程中，对物品A4和物品A5进行了调换，则第二图像B中的物品B4则对应第一图像A中的物品A5，物品B5则对应第一图像A中的物品A4。

S102，基于所述第一检测结果，确定所述第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域。

示例性地，请同时参见图3，图4以及图5，图5为本公开实施例所提供的一种第一图像区域以及第二图像区域的示意图。由图3可知，所述第一检测结果包括第一图像A中的每个物品的检测结果，因此，可以确定第一图像A中的每个物品对应的第一图像区域，例如，物品A1对应第一图像区域a1、物品A2对应第一图像区域a2以及物品A5对应第一图像区域a5，在此不一一举例。在一些实施方式中，第一图像A中的每个物品均会对应不同的第一图像区域。

根据上述内容，根据图5中所示的第一图像A中的每个第一图像区域，均可以在图5中所示的第二图像B中确定对应的第二图像区域，例如，第一图像区域a1对应第二图像区域b1，第一图像区域a2对应第二图像区域b2，第一图像区域a4对应第二图像区域b4，以及第一图像区域a5对应第二图像区域b5，在此不一一举例说明。

S103，基于所述每个第一图像区域以及每个第二图像区域，确定所述用户拿取的物品的第二数量。

示例性地，请再次参见图5，在确定用户拿取的物品的第二数量时，针对每个第一图像区域，可以首先确定所述第一图像区域与对应的第二图像区域之间的相似度，具体的，针对第一图像A中的第一图像区域(以a1、a2、a3、a4、a5以及a6为例)，其分别对应的第二图像区域分别为b1、b2、b3、b4、b5以及b6，然后可以分别确定对应的两个区域之间的相似度，由于物品A4和物品A5被移动，物品A6被用户拿取，因此，a4与b4、a5与b5以及a6与b6之间的相似度均不满足预设要求，此时，认为a4区域、a5区域以及a6区域的物品被拿取。如此，可以确定所述第二数量为3。

也即，根据上述内容可知，针对每个所述第一图像区域，确定所述第一图像区域与对应的第二图像区域之间的相似度；确定每个相似度是否符合预设要求，并确定所述第一图像中不符合所述预设要求的相似度的数量；并将不符合所述预设要求的相似度的数量确定为所述第二数量。也即，不符合预设要求的相似度的第一图像中的物品是被用户拿取的，如此，即可确定所述第二数量。

示例性地，在确定所述第一图像区域与对应的第二图像区域之间的相似度时，针对第一图像区域a1，若第一图像区域a1与对应的第二图像区域b1之间的相似度小于预设阈值(例如，90％)，则可以认为第一图像区域a1中的物品A1被用户拿取，若第一图像区域a1与对应的第二图像区域b1之间的相似度不小于该预设阈值，则可以认为第一图像区域a1中的物品A1未被用户拿取。

其中，在确定所述第一图像区域与对应的第二图像区域之间的相似度时，可以通过确定余弦距离来确定相似度，余弦距离越小，说明相似度越大。也即，可以首先确定所述第一图像区域与对应的第二图像区域之间的余弦距离，然后基于所述余弦距离，确定所述第一图像区域与对应的第二图像区域之间的相似度。如此，可以提升确定相似度的准确度。

需要说明的是，在其他实施方式中，还可以通过其他方式确定相似度，例如，欧氏距离或者曼哈顿距离等，在此不做限定。

S104，基于所述第一数量以及所述第二数量，确定所述用户拿取的物品的最终数量。

具体的，在确定用户拿取的物品的最终数量时，为了减少确定的最终数量比用户实际拿取的物品的数量多的情况发生，可以将所述第一数量与所述第二数量进行比较，确定其中的较小数量，并将所述较小数量确定为用户拿取的物品的最终数量，也即，确定所述第一数量以及所述第二数量中的较小数量；将所述较小数量确定为所述用户拿取的物品的最终数量。

示例性地，根据上述内容可知，若步骤S101得到的第一数量为1，步骤S103第二数量为3，则可以确定用户拿取的物品的最终数量为1。如此，可以对物品被多识别的情况的修正，进而减少用户拿取的物品的最终数量比实际拿取的物品的最终数量多的情况发生。

再比如，若获取到的用户拿取物品的第一数量为1，经过上述步骤，确定第一图像中的每个第一图像区域与每个第一图像区域在第二图像中对应的第二图像区域之间的相似度均符合预设要求，则认为没有物品被拿取，如此，可以确定所述第二数量即为0，此时，可以确定用户拿取的物品的最终数量为0。

本公开实施例中，基于第一检测结果，确定第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在第二图像中对应的第二图像区域，确定用户拿取的物品的第二数量，可以检测出第一检测结果与第二检测结果之间是否存在误差，并基于用户从存储柜内拿取的物品的第一数量以及第二数量，确定用户拿取的物品的最终数量，如此，可以提升确定用户拿取的物品的最终数量的准确性，进而有利于提升用户的使用体验。

由于所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到，因此，在一些实施方式中，针对步骤S101，在获取用户从存储柜内拿取的物品的第一数量时，可以包括以下S1011～S1013：

S1011，获取所述第一图像以及所述第二图像。

S1012，分别对所述第一图像以及所述第二图像进行目标检测，得到所述第一图像对应的第一检测结果以及所述第二图像对应的第二检测结果；

示例性地，在一幅图像中，区别于周围环境的闭合区域往往被称为目标。给出目标在图像中的位置的过程称为检测。例如，可以利用已经训练好的目标检测模型(或者目标检测网络)，检测图像中的目标物品。

其中，第一检测结果包括所述第一图像中的每个物品的检测框，第二检测结果包括所述第二图像中的每个物品的检测框，所述检测框具有尺寸信息，也即，检测框的大小(例如，检测框的长度和宽度)以及检测框的位置信息(例如，检测框的中心点的位置坐标以及检测框的四个顶点的坐标)。

示例性地，请再次参见图3，如图3中所示，第一图像A中的物品(例如A1、A2、A3)标注了检测框(例如，01、02以及03)。需要说明的是，本公开实施方式中所标注出的检测框的个数仅是示意性的，在一些实施方式中，第一图像A中的每个物品均会标注不同的检测框。同理，第二图像B中的每个物品也会标注不同的检测框。

S1013，基于所述第一检测结果以及所述第二检测结果，确定所述用户从存储柜内拿取的物品的第一数量。

根据上述内容可知，第一检测结果包括第一图像中的每个物品的检测框，第二检测结果包括第二图像中的每个物品的检测框。

因此，在确定第一数量时，可以通过确定第一图像中的检测框的数量以及第二图像中的检测框的数量进行确定，也即，每个检测框对应一个物品，两张图像中的检测框的数量的差值，即为所述第一数量。示例性的，若第一图像中的检测框的数量为5个，第二图像中的检测框的数量为4个，则所述第一数量即为1个。也即，分别确定所述第一图像中的检测框的数量以及所述第二图像中的检测框的数量，基于所述第一图像中的检测框的数量以及所述第二图像中的检测框的数量之间的差值，确定所述第一数量。

如此，通过第一检测结果中的检测框的数量以及第二检测结果中的检测框的数量，确定所述第一数量，有利于提升确定第一数量的准确性。

由于检测框具有尺寸信息以及位置信息，因此，在一些实施方式中，针对上述步骤S102，在基于所述第一检测结果，确定所述第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域时，如图7所示，可以包括以下S1021～S1023：

S1021，根据所述每个物品的检测框的位置信息以及尺寸信息，确定所述第一图像中的每个物品对应的第一图像区域。

S1022，将所述第一图像与所述第二图像对齐。

S1023，根据所述第一图像中的每个物品对应的第一图像区域，确定所述每个第一图像区域在所述第二图像中对应的第二图像区域。

示例性地，请再次参见图5，如图5中所示，针对第一图像A中的物品A1，物品A1的检测框01具有中心点位置信息以及四个顶点的位置信息，如此，可以确定检测框01的尺寸信息，因此，可以在第一图像中确定与物品A1对应的第一图像区域a1。

需要说明的是，为了便于理解，图5中示出的第一图像区域a1的尺寸比检测框01的尺寸大一些，以区分检测框01和第一图像区域a1，在其他实施方式中，第一图像区域a1的尺寸与检测框01的尺寸可以是相同的。

然后，由于检测框01具有位置信息和尺寸信息，则第一图像区域a1也具有相同的位置信息和尺寸信息，将第一图像与所述第二图像对齐，也即，这样，针对第一图像A中的物品A1对应的第一图像区域a1，即可根据第一图像区域a1的位置信息和尺寸信息，在第二图像B中确定与第一图像区域a1对应的第二图像区域b1。以此类推，针对第一图像A中的每个物品，均能够确定每个物品(例如，A2，A3)对应的第一图像区域(例如，a2，a3)，进而，可以确定第二图像B中的第二图像区域(例如，b2，b3)。如此，通过上述实施方式有利于提升确定第一图像区域和第二图像区域的准确性。

可以理解，本公开实施例中，若用户对物品的摆放位置进行移动，会导致第二数量中存在多检的情况，也即，由于物品被移动，则对应位置的图像区域之间的相似度则相差较大，进而会对确定出的用户拿取的物品的第二数量产生影响。因此，在一些实施方式中，请参见图8，为本公开实施例所提供的一种第二数量的修正方法的流程图，如图8中所示，包括以下S801～S803：

S801，基于所述第二检测结果，确定所述第二图像中的每个物品对应的第三图像区域以及每个第三图像区域在所述第一图像中对应的第四图像区域。

S802，基于所述每个第三图像区域以及每个第四图像区域，确定修正数量。

S803，基于所述修正数量对所述第二数量进行修正，得到修正后的第二数量。

可以理解，基于第二图像中的第二检测结果所对应的第三图像区域，对第一图像进行裁剪，得到与每个第三图像区域对应的第四图像区域，然后，对每个第三图像区域与对应的第四图像区域进行相似度比对，若存在相似度较小的两个区域，则认为用户移动了商品但并未取走该区域对应的物品，从而可以得到修正数量，并利用修正数量对第二数量进行修正。如此，可以提升第二数量的准确性。

然后，可以基于所述第一数量以及所述修正后的第二数量，确定所述用户拿取的物品的最终数量。

需要说明的是，本实施方式中的基于第三图像区域裁剪第一图像中的对应的第四图像区域的具体步骤请参见步骤S102以及步骤S1021～S1023的内容，在此不再赘述。

请参见图9，为本公开实施例所提供的另一种物品拿取数量的确定方法的流程图，与图2中所示的物品拿取数量的确定方法不同的是，所述方法还包括S105～S106：

S105，基于所述最终数量对应的检测框，识别所述用户拿取的物品的种类信息。

S106，基于所述用户拿取的物品的最终数量以及所述用户拿取的物品的种类信息，生成物品拿取明细信息。

其中，所述物品的种类信息可以包括物品的名称以及规格(例如，矿泉水150ml)。

在一些实施方式中，可以通过预先训练好的神经网络来识别用户拿取的物品的种类信息，例如，卷积神经网络等，在此不做限定。

可以理解，由于用户拿取的物品的最终数量是基于第一数量以及第二数量确定的，因此，在将第一数量与第二数量中的较小数量确定为用户拿取的物品的最终数量后，可以通过预先训练好的神经网络对较小数量所对应的物品进行种类识别，得到用户拿取的物品的种类信息。

也即，第一数量对应的检测框与第二数量对应的检测框可能存在不同，因此，若较小数量为第一数量，则需要对第一数量下的检测框内的物品进行种类识别，得到用户拿取物品的种类信息；若较小数量为第二数量，则需要对第二数量下的检测框内的物品进行种类识别，得到用户拿取物品的种类信息。

然后，可以基于物品的种类信息以及最终数量，生成物品拿取明细信息，示例性地，物品拿取明细信息可以是：“用户张三，拿取物品明细：矿泉水，数量：2”，在其他实施方式中，物品拿取明细信息还可以是其他内容，在此不做限定。

其中，所述物品拿取明细信息还可以以文字、音频或者图片的方式进行展示，具体的，可以通过存储柜上的显示区域展示物品拿取明细信息，还可以通过语音播报物品拿取明细信息。在其他实施方式中，还可以将物品拿取明细信息发送至用户，以便于用户能够进行实时查看，进而提高用户的使用体验。

在其他实施方式中，若存储柜为一些自助售卖装置，例如，自助售卖冰箱、自助售卖货架或者自助零食柜等，则生成的物品拿取明细信息还可以是订单信息，其中，订单信息可以包括物品的价格等，在此不做限定。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与物品拿取数量的确定方法对应的物品拿取数量的确定装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述物品拿取数量的确定方法相似，因此装置的实施可以参阅方法的实施，重复之处不再赘述。

请参阅图10，图10为本公开实施例提供的一种物品拿取数量的确定装置的结构示意图，所述物品拿取数量的确定装置1000包括：第一数量获取模块1010、图像区域确定模块1020、第二数量确定模块1030以及物品数量确定模块1040；其中，

第一数量获取模块1010，用于获取用户从存储柜内拿取的物品的第一数量，所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到，其中，所述第一图像为第一时刻所述存储柜内的图像，所述第二图像为第二时刻所述存储柜内的图像；

图像区域确定模块1020，用于基于所述第一检测结果，确定所述第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域；

第二数量确定模块1030，用于基于所述每个第一图像区域以及每个第二图像区域，确定所述用户拿取的物品的第二数量；

物品数量确定模块1040，用于基于所述第一数量以及所述第二数量，确定所述用户拿取的物品的最终数量。

一种可选的实施方式中，所述第一数量获取模块1010具体用于：

获取所述第一图像以及所述第二图像；

分别对所述第一图像以及所述第二图像进行目标检测，得到所述第一图像对应的第一检测结果以及所述第二图像对应的第二检测结果；

基于所述第一检测结果以及所述第二检测结果，确定所述用户从存储柜内拿取的物品的第一数量。

一种可选的实施方式中，所述第一检测结果包括所述第一图像中的每个物品的检测框，所述第二检测结果包括所述第二图像中的每个物品的检测框；所述第一数量获取模块1010具体用于：

分别确定所述第一图像中的检测框的数量以及所述第二图像中的检测框的数量；

基于所述第一图像中的检测框的数量以及所述第二图像中的检测框的数量之间的差值，确定所述第一数量。

一种可选的实施方式中，所述第一检测结果包括所述第一图像中的每个物品的检测框；所述图像区域确定模块1020具体用于：

根据所述每个物品的检测框的位置信息以及尺寸信息，确定所述第一图像中的每个物品对应的第一图像区域；

将所述第一图像与所述第二图像对齐；

根据所述第一图像中的每个物品对应的第一图像区域，确定所述每个第一图像区域在所述第二图像中对应的第二图像区域。

一种可选的实施方式中，所述第二数量确定模块1030具体用于：

针对每个所述第一图像区域，确定所述第一图像区域与对应的第二图像区域之间的相似度；

确定每个相似度是否符合预设要求，并确定不符合所述预设要求的相似度的数量；

将所述不符合所述预设要求的相似度的数量确定为所述第二数量。

一种可选的实施方式中，所述第二数量确定模块1030具体用于：

确定所述第一图像区域与对应的第二图像区域之间的余弦距离；

基于所述余弦距离，确定所述第一图像区域与对应的第二图像区域之间的相似度。

一种可选的实施方式中，所述物品数量确定模块1040具体用于：

确定所述第一数量以及所述第二数量中的较小数量；

将所述较小数量确定为所述用户拿取的物品的最终数量。

请参见图11，为本公开实施例提供的另一种物品拿取数量的确定装置的结构示意图，所述物品拿取数量的确定装置1000还包括第二数量修正模块1050以及所述第二数量修正模块用于：

基于所述第二检测结果，确定所述第二图像中的每个物品对应的第三图像区域以及每个第三图像区域在所述第一图像中对应的第四图像区域；

基于所述每个第三图像区域以及每个第四图像区域，确定修正数量；

基于所述修正数量对所述第二数量进行修正，得到修正后的第二数量；

所述物品数量确定模块1040还用于：

基于所述第一数量以及所述修正后的第二数量，确定所述用户拿取的物品的最终数量。

一种可选的实施方式中，所述装置还包括明细信息生成模块1060，所述明细信息生成模块1060用于：

基于所述最终数量对应的检测框，识别所述用户拿取的物品的种类信息；

基于所述用户拿取的物品的最终数量以及所述用户拿取的物品的种类信息，生成物品拿取明细信息。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参见图12所示，为本公开实施例提供的电子设备4000的结构示意图，包括处理器4001、存储器4002、和总线4003。其中，存储器4002用于存储执行指令，包括内存40021和外部存储器40022；这里的内存40021也称内存储器，用于暂时存放处理器4001中的运算数据，以及与硬盘等外部存储器40022交换的数据，处理器4001通过内存40021与外部存储器40022进行数据交换。

本申请实施例中，存储器4002具体用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。也即，当电子设备4000运行时，处理器4001与存储器4002之间通过总线4003通信，使得处理器4001执行存储器4002中存储的应用程序代码，进而执行前述任一实施例中的方法。

处理器4001可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，存储器4002可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备800的具体限定。在本申请另一些实施例中，电子设备800可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的物品拿取数量的确定方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的物品拿取数量的确定方法的步骤，具体可参阅上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和终端的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、终端和方法，可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种物品拿取数量的确定方法，其特征在于，所述方法包括：

获取用户从存储柜内拿取的物品的第一数量，所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到，其中，所述第一图像为第一时刻所述存储柜内的图像，所述第二图像为第二时刻所述存储柜内的图像；

基于所述第一检测结果，确定所述第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域；

基于所述每个第一图像区域以及每个第二图像区域，确定所述用户拿取的物品的第二数量；

基于所述第一数量以及所述第二数量，确定所述用户拿取的物品的最终数量。

2.根据权利要求1所述的方法，其特征在于，所述获取用户从存储柜内拿取的物品的第一数量，包括：

获取所述第一图像以及所述第二图像；

分别对所述第一图像以及所述第二图像进行目标检测，得到所述第一图像对应的第一检测结果以及所述第二图像对应的第二检测结果；

基于所述第一检测结果以及所述第二检测结果，确定所述用户从存储柜内拿取的物品的第一数量。

3.根据权利要求2所述的方法，其特征在于，所述第一检测结果包括所述第一图像中的每个物品的检测框，所述第二检测结果包括所述第二图像中的每个物品的检测框；所述基于所述第一检测结果以及所述第二检测结果，确定所述用户从存储柜内拿取的物品的第一数量，包括：

分别确定所述第一图像中的检测框的数量以及所述第二图像中的检测框的数量；

基于所述第一图像中的检测框的数量以及所述第二图像中的检测框的数量之间的差值，确定所述第一数量。

4.根据权利要求1所述的方法，其特征在于，所述第一检测结果包括所述第一图像中的每个物品的检测框；所述基于所述第一检测结果，确定所述第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域，包括：

根据所述每个物品的检测框的位置信息以及尺寸信息，确定所述第一图像中的每个物品对应的第一图像区域；

将所述第一图像与所述第二图像对齐；

根据所述第一图像中的每个物品对应的第一图像区域，确定所述每个第一图像区域在所述第二图像中对应的第二图像区域。

5.根据权利要求1所述的方法，其特征在于，所述基于所述每个第一图像区域以及所述每个第二图像区域，确定所述用户拿取的物品的第二数量，包括：

针对每个所述第一图像区域，确定所述第一图像区域与对应的第二图像区域之间的相似度；

确定每个相似度是否符合预设要求，并确定不符合所述预设要求的相似度的数量；

将所述不符合所述预设要求的相似度的数量确定为所述第二数量。

6.根据权利要求5所述的方法，其特征在于，所述确定所述第一图像区域与对应的第二图像区域之间的相似度，包括：

确定所述第一图像区域与对应的第二图像区域之间的余弦距离；

基于所述余弦距离，确定所述第一图像区域与对应的第二图像区域之间的相似度。

7.根据权利要求1所述的方法，其特征在于，所述基于所述每个第一图像区域以及每个第二图像区域，确定所述用户拿取的物品的第二数量之后，所述方法还包括：

基于所述第二检测结果，确定所述第二图像中的每个物品对应的第三图像区域以及每个第三图像区域在所述第一图像中对应的第四图像区域；

基于所述每个第三图像区域以及每个第四图像区域，确定修正数量；

基于所述修正数量对所述第二数量进行修正，得到修正后的第二数量；

所述基于所述第一数量以及所述第二数量，确定所述用户拿取的物品的最终数量，包括：

基于所述第一数量以及所述修正后的第二数量，确定所述用户拿取的物品的最终数量。

8.根据权利要求1-7任一所述的方法，其特征在于，所述基于所述第一数量以及所述第二数量，确定所述用户拿取的物品的最终数量，包括：

确定所述第一数量以及所述第二数量中的较小数量；

将所述较小数量确定为所述用户拿取的物品的最终数量。

9.根据权利要求1-8任一所述的方法，其特征在于，所述确定所述用户拿取的物品的最终数量之后，所述方法还包括：

基于所述最终数量对应的检测框，识别所述用户拿取的物品的种类信息；

基于所述用户拿取的物品的最终数量以及所述用户拿取的物品的种类信息，生成物品拿取明细信息。

10.一种物品拿取数量的确定装置，其特征在于，包括：

第一数量获取模块，用于获取用户从存储柜内拿取的物品的第一数量，所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到，其中，所述第一图像为第一时刻所述存储柜内的图像，所述第二图像为第二时刻所述存储柜内的图像；

图像区域确定模块，用于基于所述第一检测结果，确定所述第一图像中的每个物品对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域；

第二数量确定模块，用于基于所述每个第一图像区域以及每个第二图像区域，确定所述用户拿取的物品的第二数量；

物品数量确定模块，基于所述第一数量以及所述第二数量，确定所述用户拿取的物品的最终数量。

11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任意一项所述的物品拿取数量的确定方法。

12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任意一项所述的物品拿取数量的确定方法。

Images