CN114898134A - 物品拿取数量的确定方法、装置、电子设备及存储介质 - Google Patents
物品拿取数量的确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114898134A CN114898134A CN202210531209.5A CN202210531209A CN114898134A CN 114898134 A CN114898134 A CN 114898134A CN 202210531209 A CN202210531209 A CN 202210531209A CN 114898134 A CN114898134 A CN 114898134A
- Authority
- CN
- China
- Prior art keywords
- image
- determining
- cluster
- detection
- detection frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 271
- 238000012937 correction Methods 0.000 claims abstract description 71
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 15
- 230000009471 action Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 229910052500 inorganic mineral Inorganic materials 0.000 description 6
- 239000011707 mineral Substances 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 244000269722 Thea sinensis Species 0.000 description 1
- 235000006468 Thea sinensis Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 235000020279 black tea Nutrition 0.000 description 1
- 235000008429 bread Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013410 fast food Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 235000008446 instant noodles Nutrition 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种物品拿取数量的确定方法、装置、电子设备及存储介质,该方法包括:获取用户从存储柜内拿取的物品的第一数量,所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到,其中,所述第一图像为第一时刻所述存储柜内的图像,所述第二图像为第二时刻所述存储柜内的图像;基于所述第一检测结果以及所述第二检测结果进行聚类,得到聚类结果;基于所述聚类结果,确定修正数量;基于所述修正数量对所述第一数量进行修正,得到所述存储柜中被拿取物品的最终数量。本公开实施例,通过对用户拿取的物品数量进行修正,能够提升确定用户拿取的物品数量的准确性,有利于提升用户的使用体验。
Description
技术领域
本公开涉及物品检测技术领域,具体而言,涉及一种物品拿取数量的确定方法、物品拿取数量的确定装置、电子设备以及计算机可读存储介质。
背景技术
随着互联网经济的发展,自助消费因其操作便利而逐渐成为被大众接受的消费趋势,因此,一些智能存储柜(如智能冰箱或者智能货架)应运而生。目前,一些智能存储柜通过将用户拿取物品行为之前的图像与用户拿取物品行为之后的图像进行比对,以确定用户拿取的物品的数量。
然而,在存储柜的实际使用场景中,由于上述两张图像的检测结果会受到多种因素(如模型精度、拍摄环境因素)的影响,导致检测结果出现错误,进而导致最终得到的用户拿取物品的数量存在误差,影响用户的使用体验。
发明内容
本公开实施例至少提供一种物品拿取数量的确定方法、物品拿取数量的确定装置、电子设备以及计算机可读存储介质,可以提升确定用户拿取的物品数量的准确性,进而有利于提升用户的使用体验。
本公开实施例提供了一种物品拿取数量的确定方法,包括:
获取用户从存储柜内拿取的物品的第一数量,所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到,其中,所述第一图像为第一时刻所述存储柜内的图像,所述第二图像为第二时刻所述存储柜内的图像;
基于所述第一检测结果以及所述第二检测结果进行聚类,得到聚类结果;
基于所述聚类结果,确定修正数量;
基于所述修正数量对所述第一数量进行修正,得到所述存储柜中被拿取物品的最终数量。
本公开实施例中,在获取到第一数量之后,还基于第一检测结果和第二检测结果进行聚类得到的聚类结果,确定修正数量,并根据修正数量对第一数量进行修正,如此,可以提升确定用户拿取的物品的最终数量的准确性,进而有利于提升用户的使用体验。
一种可选的实施方式中,所述第一检测结果包括所述第一图像中的每个物品对应的第一检测框,所述第二检测结果包括所述第二图像中的每个物品对应的第二检测框;
所述基于所述第一检测结果以及所述第二检测结果进行聚类,得到聚类结果,包括:
分别确定每个第一检测框的位置信息以及每个第二检测框的位置信息;
基于所述每个第一检测框的位置信息以及所述每个第二检测框的位置信息进行聚类,得到所述聚类结果。
本公开实施例中,基于每个第一检测框的位置信息以及每个第二检测框的位置信息进行聚类,如此,可以提高聚类结果的准确度。
一种可选的实施方式中,所述聚类结果包括至少一个聚类簇,所述基于所述聚类结果,确定修正数量,包括:
在每个聚类簇均符合第一预设条件的情况下,确定所述修正数量为零;
所述第一预设条件是指一个聚类簇仅包括一个第一检测框和一个第二检测框,所述第一检测框属于所述第一图像,所述第二检测框属于所述第二图像,且所述第一检测框与所述第二检测框之间的相似度符合预设要求以及所述第一检测框与所述第二检测框所对应的物品种类相同。
本公开实施例中,若每个聚类簇都符合第一预设条件,则认为该聚类簇中的两个检测框对应同一物品,也即,若每个聚类簇都符合第一预设条件,则表明通过第一检测结果和第二检测结果得到的第一数量没有错误,如此,则无需对第一数量进行修正,也即修正数量为零。
一种可选的实施方式中,所述聚类结果包括至少一个聚类簇,所述基于所述聚类结果,确定修正数量,包括:
在所述至少一个聚类簇中存在至少一个第一聚类簇符合第二预设条件的情况下,基于所述至少一个第一聚类簇,确定所述修正数量;
所述第二预设条件是指所述第一聚类簇仅包括一个所述第一检测框或者所述第一聚类簇仅包括一个所述第二检测框。
本公开实施例中,在存在至少一个第一聚类簇符合第二预设条件的情况下,基于至少一个第一聚类簇,确定修正数量,如此,有利于提升确定修正数量的准确性。
一种可选的实施方式中,在每个第一聚类簇仅包括一个所述第一检测框的情况下,所述基于所述至少一个第一聚类簇,确定所述修正数量,包括:
确定每个第一聚类簇中的第一检测框在所述第一图像中对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域;
基于每个第一图像区域以及每个第二图像区域,确定所述修正数量。
本公开实施例中,基于每个第一图像区域以及每个第二图像区域来确定修正数量,也即,通过对比每个第一图像区域以及对应的第二图像区域中的内容,能够提升确定修正数量的准确性。
一种可选的实施方式中,所述基于每个第一图像区域以及每个第二图像区域,确定所述修正数量,包括:
确定所述每个第一图像区域与对应的第二图像区域之间的相似度;
确定每个相似度是否符合第一预设要求,并确定符合所述第一预设要求的相似度的数量;
将符合所述第一预设要求的相似度的数量确定为所述修正数量。
本公开实施例中,通过确定第一图像区域与对应的第二图像区域之间的相似度是否符合预设要求,来确定修正数量,也即,若相似度符合第一预设要求,则认为该区域的物品未被拿取,进一步的,通过确定符合第一预设要求的相似度的数量,可以提升确定修正数量的准确性。
一种可选的实施方式中,在存在至少一个第一聚类簇符合所述第二预设条件,且所述多个第一聚类簇包括一部分第二聚类簇以及一部分第三聚类簇的情况下,其中,所述第二聚类簇仅包括一个所述第二检测框,且所述第三聚类簇仅包括一个第一检测框;
所述基于所述至少一个第一聚类簇,确定所述修正数量,包括:
分别确定所述第二图像中与每个第二聚类簇中的第二检测框对应的目标第一图像区域以及每个目标第一图像区域在所述第一图像中对应的目标第二图像区域;
针对每个目标第一图像区域,确定所述目标第一图像区域与对应的目标第二图像区域之间的目标相似度;
在每个目标相似度符合第二预设要求的情况下,确定所述第二图像中的未被拿取物品的第二数量;
分别确定所述第一图像中与每个第三聚类簇中的第一检测框对应的目标第三图像区域以及每个目标第三图像区域在所述第二图像中对应的目标第四图像区域;
基于每个目标第三图像区域以及每个目标第四图像区域,确定所述第一图像中的未被拿取物品的第三数量;
基于所述第二数量以及所述第三数量,确定所述修正数量。
本公开实施例中,在所述至少一个第一聚类簇既包括第二聚类簇和第三聚类簇的情况下,通过分别确定第二图像中的未被拿取物品的第二数量和第一图像中的未被拿取物品的第三数量,进而确定修正数量,如此,可以提高修正数量的准确性。
一种可选的实施方式中,所述得到所述存储柜中被拿取物品的最终数量之后,所述方法还包括:
基于所述存储柜中被拿取物品的最终数量以及所述被拿取物品的种类信息,生成物品拿取明细信息。
本公开实施例中,由于通过上述方法得到的存储柜中被拿取物品的最终数量是被修正过的,因此,基于最终数量以及被拿取的物品的种类信息,有利于提高生成的物品拿取明细信息的准确性,进而可以提升用户的使用体验。
本公开实施例还提供一种物品拿取数量的确定装置,所述装置包括:
获取模块,用于获取用户从存储柜内拿取的物品的第一数量,所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到,其中,所述第一图像为第一时刻所述存储柜内的图像,所述第二图像为第二时刻所述存储柜内的图像;
聚类模块,用于基于所述第一检测结果以及所述第二检测结果进行聚类,得到聚类结果;
确定模块,用于基于所述聚类结果,确定修正数量;
修正模块,用于基于所述修正数量对所述第一数量进行修正,得到所述存储柜中被拿取物品的最终数量。
一种可选的实施方式中,所述第一检测结果包括所述第一图像中的每个物品对应的第一检测框,所述第二检测结果包括所述第二图像中的每个物品对应的第二检测框;所述聚类模块具体用于:
分别确定每个第一检测框的位置信息以及每个第二检测框的位置信息;
基于所述每个第一检测框的位置信息以及所述每个第二检测框的位置信息进行聚类,得到所述聚类结果。
一种可选的实施方式中,所述聚类结果包括至少一个聚类簇;所述确定模块具体用于:
在每个聚类簇均符合第一预设条件的情况下,确定所述修正数量为零;
所述第一预设条件是指一个聚类簇仅包括一个第一检测框和一个第二检测框,所述第一检测框属于所述第一图像,所述第二检测框属于所述第二图像,且所述第一检测框与所述第二检测框之间的相似度符合预设要求以及所述第一检测框与所述第二检测框所对应的物品种类相同。
一种可选的实施方式中,所述聚类结果包括至少一个聚类簇;所述确定模块具体用于:
在所述至少一个聚类簇中存在至少一个第一聚类簇符合第二预设条件的情况下,基于所述至少一个第一聚类簇,确定所述修正数量;
所述第二预设条件是指所述第一聚类簇仅包括一个所述第一检测框或者所述第一聚类簇仅包括一个所述第二检测框。
一种可选的实施方式中,在每个第一聚类簇仅包括一个所述第一检测框的情况下,所述确定模块具体用于:
确定每个第一聚类簇中的第一检测框在所述第一图像中对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域;
基于每个第一图像区域以及每个第二图像区域,确定所述修正数量。
一种可选的实施方式中,所述确定模块具体用于:
确定所述每个第一图像区域与对应的第二图像区域之间的相似度;
确定每个相似度是否符合第一预设要求,并确定符合所述第一预设要求的相似度的数量;
将符合所述第一预设要求的相似度的数量确定为所述修正数量。
一种可选的实施方式中,在存在至少一个第一聚类簇符合所述第二预设条件,且所述多个第一聚类簇包括一部分第二聚类簇以及一部分第三聚类簇的情况下,其中,所述第二聚类簇仅包括一个所述第二检测框,且所述第三聚类簇仅包括一个第一检测框;所述确定模块具体用于:
分别确定所述第二图像中与每个第二聚类簇中的第二检测框对应的目标第一图像区域以及每个目标第一图像区域在所述第一图像中对应的目标第二图像区域;
针对每个目标第一图像区域,确定所述目标第一图像区域与对应的目标第二图像区域之间的目标相似度;
在每个目标相似度符合第二预设要求的情况下,确定所述第二图像中的未被拿取物品的第二数量;
分别确定所述第一图像中与每个第三聚类簇中的第一检测框对应的目标第三图像区域以及每个目标第三图像区域在所述第二图像中对应的目标第四图像区域;
基于每个目标第三图像区域以及每个目标第四图像区域,确定所述第一图像中的未被拿取物品的第三数量;
基于所述第二数量以及所述第三数量,确定所述修正数量。
一种可选的实施方式中,所述装置还包括生成模块,所述生成模块用于:
基于所述存储柜中被拿取物品的最终数量以及所述被拿取物品的种类信息,生成物品拿取明细信息。
本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述物品拿取数量的确定方法。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述物品拿取数量的确定方法。
关于上述物品拿取数量的确定装置、电子设备、及计算机可读存储介质的效果描述参见上述物品拿取数量的确定方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本公开实施例所提供的一种存储柜的架构示意图;
图2为本公开实施例所提供的一种物品拿取数量的确定方法的流程图;
图3为本公开实施例所提供的一种第一图像的示意图;
图4为本公开实施例所提供的一种第二图像的示意图;
图5为本公开实施例所提供的一种基于聚类结果确定修正数量方法的流程图;
图6为本公开实施例所提供的一种每个聚类簇符合第一预设条件的示意图;
图7为本公开实施例所提供的另一种基于聚类结果确定修正数量方法的流程图;
图8为本公开实施例所提供的一种基于至少一个第一聚类簇确定修正数量方法的流程图;
图9为本公开实施例所提供的一种基于至少一个第一聚类簇确定修正数量方法的示意图;
图10为本公开实施例所提供的一种基于每个第一图像区域以及每个第二图像区域确定修正数量方法的流程图;
图11为本公开实施例中所提供的一种基于每个第一图像区域以及每个第二图像区域确定修正数量的示意图;
图12为本公开实施例所提供的另一种基于至少一个第一聚类簇确定修正数量方法的流程图;
图13为本公开实施例所提供的另一种物品拿取数量的确定方法的流程图;
图14为本公开实施例所提供的一种物品拿取数量的确定装置的结构示意图;
图15为本公开实施例所提供的另一种物品拿取数量的确定装置的结构示意图;
图16为本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
随着互联网经济的发展,自助消费因其操作便利而逐渐成为被大众接受的消费趋势,因此,一些自助售卖机(如智能冰箱或者智能货架)应运而生。
请参见图1,图1为本公开实施例所提供的一种存储柜的架构示意图。如图1中所示,存储柜100中包括摄像装置10以及多个层叠且间隔设置置物板20。置物板20用于承载多种物品30(例如,饮料(例如冰红茶)、速食产品(例如面包或者泡面)以及日用品(例如餐巾纸)等),其中,摄像装置10能够对存储柜100内的环境进行拍摄,也即,存储柜100通过将用户拿取物品行为之前的图像与用户拿取物品行为之后的图像进行比对,以确定用户拿取物品的数量。
需要说明的是,所述存储柜可以是智能冰箱(例如,家用冰箱或者冷藏柜)、货架、货柜,还可以是保温柜等,在此不做限定。
本公开实施例中的摄像装置10所采集的图像中包含所述存储柜100内的所有物品。在其他实施方式中,还可以通过在存储柜100中设置多个摄像装置(例如,可以为两个),且每个摄像装置均能够采集到完整的存储柜的内环境的图像,然后,可以从多个摄像装置所采集的多张图像中确定出图像质量好的图像(例如,清晰度高的图像)作为用户拿取物品行为之前以及所述用户拿取物品行为之后的两张图像,再对图像进行目标检测,得到检测结果,进而可以根据用户拿取物品行为之后的两张图像的检测结果,得到用户拿取物品的数量。
然而,在存储柜的实际使用场景中,由于上述两张图像的检测结果会受到多种因素的影响,导致检测结果出现错误,例如,由于检测模型的精度低或者拍摄环境差等因素,导致用户拿取物品行为之前的图像的检测结果中存在物品被多检的情况,或者,用户拿取物品行为之后的图像的检测结果中存在物品被漏检的情况,进而导致最终得到的用户拿取物品的数量存在误差,影响用户的使用体验。
基于上述研究,本公开实施例提供了一种物品拿取数量的确定方法,包括:获取用户从存储柜内拿取的物品的第一数量,所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到,其中,所述第一图像为第一时刻所述存储柜内的图像,所述第二图像为所述第二时刻所述存储柜内的图像;基于所述第一检测结果以及所述第二检测结果进行聚类,得到聚类结果;基于所述聚类结果,确定修正数量;基于所述修正数量对所述第一数量进行修正,得到所述存储柜中被拿取物品的最终数量。
本公开实施例中,基于第一检测结果和第二检测结果进行聚类得到的聚类结果,确定修正数量,并根据修正数量对第一数量进行修正,如此,能够解决第一图像中的物品被多检或者第二图像中的物品被漏检的问题,进而可以提升确定用户拿取的物品的最终数量的准确性,有利于提升用户的使用体验。
下面结合附图对本公开实施例中的物品拿取数量的确定方法进行详细介绍。
请参阅图2,图2为本公开实施例所提供的一种物品拿取数量的确定方法的流程图,如图2所示,本公开实施例提供的物品拿取数量的确定方法,包括以下S101~S104:
S101,获取用户从存储柜内拿取的物品的第一数量,所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到,其中,所述第一图像为第一时刻所述存储柜内的图像,所述第二图像为第二时刻所述存储柜内的图像。
其中,所述第一图像的第一检测结果包括所述第一图像中的每个物品的检测结果,所述第二图像的第二检测结果包括所述第二图像中的每个物品的检测结果。
示例性地,请参见图3和图4,图3为本公开实施例所提供的一种第一图像的示意图,图4为本公开实施例所提供的一种第二图像的示意图。如图3中所示,第一图像A中的物品为第一时刻所述存储柜内的图像,例如,所述第一时刻可以是用户拿取物品行为之前的时刻,还可以是用户打开存储柜的柜门之前的时刻。该图像中包括多个物品(例如物品A1和物品A2等),每个物品对应一个检测结果。如图4中所示,第二图像B中的物品为第二时刻所述存储柜内的图像,例如,所述第二时刻可以是用户拿取物品行为之后的时刻,还可以是用户关闭存储柜的柜门之后的时刻。其中,第二图像B中可以包括1个物品或者多个物品(例如物品B1和物品B2等,),还可以没有物品(也即,物品被全部拿取),在此不做限定。其中,图4中的物品B1与图3中的物品A1为同一物品,为了区分该同一物品是在不同图像中的,因此对其分别进行命名,类似的,图4中的物品B3与图1中的物品A3也是同一物品。
需要说明的是,图3与图4中所展示出的物品种类以及个数仅是示意性的,图4中所示的第二图像中的物品的个数与图3中所示出第一图像中的物品的个数可以相同,也可以不同,并且第二图像中的物品的个数不大于第一图像中的物品的个数。
此外,由于用户在拿取物品的过程中,可能会移动物品,因此,第一图像A中的物品的位置摆放与第二图像B中的物品的位置摆放可能相同,也可能不同。示例性的,如图3中所示的第一图像A中的物品A4与物品A5的位置,用户在拿取物品的过程中,对物品A4和物品A5进行了调换,则第二图像B中的物品B4则对应第一图像A中的物品A5,物品B5则对应第一图像A中的物品A4。
由于所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到,因此,在一些实施方式中,针对步骤S101,在获取用户从存储柜内拿取的物品的第一数量时,可以包括以下步骤:
(1)获取所述第一图像以及所述第二图像。
(2)分别对所述第一图像以及所述第二图像进行目标检测,得到所述第一图像对应的第一检测结果以及所述第二图像对应的第二检测结果。
示例性地,在一幅图像中,区别于周围环境的闭合区域往往被称为目标。给出目标在图像中的位置的过程称为检测。例如,可以利用已经训练好的目标检测模型(或者目标检测网络),检测图像中的目标物品。
其中,第一检测结果包括所述第一图像中的每个物品的检测框以及种类信息,第二检测结果包括所述第二图像中的每个物品的检测框以及种类信息,所述检测框具有尺寸信息,也即,检测框的大小(例如,检测框的长度和宽度)以及检测框的位置信息(例如,检测框的中心点的位置坐标以及检测框的四个顶点的坐标)。
其中,所述物品的种类信息可以包括物品的名称以及规格(例如,矿泉水150ml)。
在一些实施方式中,可以通过预先训练好的神经网络来识别物品的种类信息,例如,卷积神经网络等,在此不做限定。
示例性地,请再次参见图3,如图3中所示,第一图像A中的物品(例如A1、A2、A3)标注了检测框(例如,01、02以及03)以及种类信息(例如矿泉水300Ml,啤酒150Ml以及咖啡200mL)。需要说明的是,本公开实施方式中所标注出的检测框的个数仅是示意性的。
需要说明的是,为了便于理解,图3以及图4中示出的第一图像区域a1的尺寸比检测框A1的尺寸大一些,以区分检测框A1和第一图像区域a1,在其他实施方式中,第一图像区域a1的尺寸与检测框A1的尺寸可以是相同的。
(3)基于所述第一检测结果以及所述第二检测结果,确定所述用户从存储柜内拿取的物品的第一数量。
根据上述内容可知,第一检测结果包括所述第一图像中的每个物品的检测框以及种类信息,第二检测结果包括所述第二图像中的每个物品的检测框以及种类信息。
因此,在确定第一数量时,可以通过确定第一图像中的检测框的数量和对应的种类信息以及第二图像中的检测框的数量和对应的种类信息进行确定,也即,每个检测框对应一个种类的物品,两张图像中的检测框的数量的差值,即为所述第一数量。
示例性的,若第一图像中的检测框的数量为9个、并且物品种类信息为矿泉水100mL,第二图像中的检测框的数量为5个、并且物品种类信息为矿泉水100mL,则所述第一数量即为4个。
S102,基于所述第一检测结果以及所述第二检测结果进行聚类,得到聚类结果。
其中,聚类是指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。本公开实施例中,基于密度的聚类算法(例如,DBSCAN聚类算法)实现聚类。在其他实施方式中,还可以是其它聚类算法,例如K-means算法等,在此不做限定。
本公开实施例中,在基于DBSCAN聚类算法进行聚类的过程中,可以通过设置聚类半径为20个像素,最小点个数为1个,也即,以其中一个检测框的中心点为待聚类的点,则在半径为20个像素的范围内,可以存在一个点,还可以存在多个点。在其他实施方式中,聚类半径以及最小点个数还可以是其它值,在此不做限定。
根据上述内容可知,由于所述第一检测结果包括所述第一图像中的每个物品对应的第一检测框,所述第二检测结果包括所述第二图像中的每个物品对应的第二检测框,并且第一检测框和第二检测框均具有位置信息,因此,在基于所述第一检测结果以及所述第二检测结果进行聚类,得到聚类结果时,可以确定所述第一检测结果中的每个第一检测框的位置信息以及确定所述第二检测结果中的每个第二检测框的位置信息,并基于每个第一检测框的位置信息以及每个第二检测框的位置信息进行聚类,也即,可以将第一图像中的第一检测框和第二图像中的第二检测框整合在一起进行聚类,得到所述聚类结果。
在一些实施方式中,所述位置信息可以是检测框的中心点位置信息,如此,可以使得聚类结果更加准确。
S103,基于所述聚类结果,确定修正数量;
由于所述聚类结果基于每个第一检测框的位置信息以及每个第二检测框的位置信息得到,因此,所述聚类结果中包括多个聚类簇,其中,聚类簇是指是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。也即,得到的聚类结果中包括多个聚类簇,每个聚类簇中的检测框个数可能是一个,还可能是多个。
在一些实施方式中,所述聚类结果包括至少一个聚类簇;在基于所述聚类结果,确定修正数量时,请参见图5,可以包括以下S103A~S103B:
S103A,判断每个聚类簇是否符合第一预设条件,所述第一预设条件是指一个聚类簇仅包括一个第一检测框和一个第二检测框,所述第一检测框属于所述第一图像,所述第二检测框属于所述第二图像,且所述第一检测框与所述第二检测框之间的相似度符合预设要求以及所述第一检测框与所述第二检测框所对应的物品种类相同。
S103B,在所述每个聚类簇均符合所述第一预设条件的情况下,确定所述修正数量为零。
示例性地,请参见图6,为本公开实施例所提供的一种每个聚类簇符合第一预设条件的示意图,如图6中所示,聚类结果中的至少一个聚类簇(例如聚类簇1、聚类簇2以及聚类簇3),针对一个聚类簇,例如,聚类簇1中仅包括检测框11和检测框12,其中,检测框11属于第一图像A,检测框12属于第二图像B,通过计算,确定检测框11与检测框12之间的相似度符合预设要求,并且检测框11与检测框12所对应的物品种类相同(均为矿泉水100mL),因此,则可以认为检测框11和检测框12是对应同一物品的,并且由于检测框11和检测框12分别属于第一图像和第二图像,因此,可以确定该物品未被拿取。也即,若每个聚类簇都符合所述第一预设条件,则认为第一图像和第二图像中的检测框都配对成功,也即没有物品被拿取,因此可以得到所述修正数量为零。
本实施方式中,检测框11与检测框12之间的相似度可以是余弦相似度,相似度符合预设要求可以是指检测框11与检测框12之间的余弦相似度的值大于或者等于一个预设阈值,其中,该阈值可以是0.8、0.9或者0.92等,在此不做限定。在其他实施方式中,所述相似度还可以通过其它方式确定,并且,针对不同方式,其对应的预设阈值也可以不同。
需要说明的是,图6中所示出的每个检测框的位置与实际位置无关,仅是为了便于理解。
在其它实施方式中,所述聚类结果包括至少一个聚类簇;在基于所述聚类结果,确定修正数量时,请参见图7,还可以包括以下S1031~S1032:
S1031,判断所述至少一个聚类簇中是否存在符合第二预设条件的第一聚类簇,所述第二预设条件是指所述聚类簇仅包括一个所述第一检测框或者所述第一聚类簇仅包括一个所述第二检测框。
S1032,在存在至少一个第一聚类簇符合所述第二预设条件的情况下,基于所述至少一个第一聚类簇,确定所述修正数量。
可以理解,还包括存在检测框配对不成功的情况,也即,存在至少一个第一聚类簇中仅有一个检测框的情况。在此种情况下,在根据聚类结果确定修正数量时,可以基于符合第二预设条件的至少一个第一聚类簇,确定所述修正数量,如此,有利于提升确定修正数量的准确性。
在所述聚类簇中的一部分聚类簇符合第一预设条件,一部分聚类簇符合第二预设条件的情况下,根据上述实施例中的描述可知,符合第一预设条件的聚类簇对于修正数量不产生影响,因此,可以基于符合第二预设条件的至少一个第一聚类簇确定修正数量。
在一些实施方式中,还可能存在每个聚类簇都不符合第一预设条件,也即,第一图像与第二图像中的检测框均匹配不成功,针对此种情况,可以基于步骤S1031~S1032所述的步骤,确定修正数量,也即基于所述每个第一聚类簇,确定所述修正数量。其中,具体的确定步骤可以参见步骤S1031~S1032所述的内容,在此不再赘述。S104,基于所述修正数量对所述第一数量进行修正,得到所述存储柜中被拿取物品的最终数量。
可以理解,所述修正数量能够对原始物品拿取数量进行修正,也即,用第一数量减去修正数量,即为所述存储柜中被拿取物品的最终数量。
本公开实施例中,基于第一检测结果和第二检测结果进行聚类得到的聚类结果,确定修正数量,并根据修正数量对第一数量进行修正,如此,能够解决第一图像中的物品被多检或者第二图像中的物品被漏检的问题,进而可以提升确定用户拿取的物品的最终数量的准确性,有利于提升用户的使用体验。
根据步骤S1032中描述内容可知,针对符合第二预设条件的聚类簇,包括以下两种情况,第一种情况为:所述聚类簇包括一个所述第一检测框;第二种情况为:所述聚类簇包括一个所述第二检测框。
在一些实施方式中,在每个第一聚类簇仅包括一个所述第一检测框的情况下,针对步骤S1032,在基于所述至少一个第一聚类簇,确定所述修正数量时,请参见图8,可以包括以下S10321~S10322:
S10321,确定每个第一聚类簇中的第一检测框在所述第一图像中对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域。
S10322,基于每个第一图像区域以及每个第二图像区域,确定所述修正数量。
示例性地,请参见图9,为本公开实施例所提供的一种基于至少一个第一聚类簇确定修正数量的示意图,如图9中所示,在每个第一聚类簇包括一个所述第一检测框的情况下,例如,在聚类簇1~聚类簇5中分别包括检测框A1~A5,且检测框A1~A5均为第一检测框,可以根据每个检测框的位置信息和尺寸信息,在所述第一图像中分别确定与第一检测框A1~A5所对应的第一图像区域a1~a5,然后,将所述第一图像与所述第二图像对齐,由于每个第一图像区域具有与对应的检测框相同的位置信息和尺寸信息,则可以在第二图像中确定与每个第一图像区域对应的第二图像区域b1~b5。
其中,所述检测框的尺寸信息可以根据检测框的四个顶点的位置信息进行确定。
在一些实施方式中,针对步骤S10322,在基于每个第一图像区域以及每个第二图像区域,确定所述修正数量时,请参见图10,可以包括以下S701~S703:
S701,确定所述每个第一图像区域与对应的第二图像区域之间的相似度。
S702,确定每个相似度是否符合第一预设要求,并确定符合所述第一预设要求的相似度的数量。
S703,将符合所述第一预设要求的相似度的数量确定为所述修正数量。
其中,所述第一预设要求可以根据实际情况进行设置,例如,第一预设要求可以是不小于0.9,还可以是不小于0.95,在此不做限定。
示例性地,请参见图11,为本公开实施例所提供的一种基于每个第一图像区域以及每个第二图像区域确定修正数量的示意图。如图11中所示,在确定所述第一图像区域与对应的第二图像区域之间的相似度时,针对第一图像区域a1,若第一图像区域a1与对应的第二图像区域b1之间的相似度符合第一预设要求(例如,大于90%),则可以认为第一图像区域a1中的物品A1未被用户拿取,若第一图像区域a1与对应的第二图像区域b1之间的相似度不符合第一预设要求,则可以认为第一图像区域a1中的物品A1被用户拿取,并将符合第一预设要求的相似度的数量确定为修正数量,可以提升确定修正数量的准确性。
其中,在确定所述第一图像区域与对应的第二图像区域之间的相似度时,可以通过确定余弦距离来确定相似度,余弦距离越小,说明相似度越大。也即,可以首先确定所述第一图像区域与对应的第二图像区域之间的余弦距离,然后基于所述余弦距离,确定所述第一图像区域与对应的第二图像区域之间的相似度。如此,可以提升确定相似度的准确度。
需要说明的是,在其他实施方式中,还可以通过其他方式确定相似度,例如,欧氏距离或者曼哈顿距离等,在此不做限定。
在另一些实施方式中,在存在至少一个第一聚类簇符合所述第二预设条件,且所述多个第一聚类簇包括一部分第二聚类簇以及一部分第三聚类簇的情况下,其中,所述第二聚类簇仅包括一个所述第二检测框,且所述第三聚类簇仅包括一个第一检测框;针对步骤S1032,在基于所述至少一个第一聚类簇,确定所述修正数量时,请参见图12,可以包括以下S801~S806:
S801,分别确定所述第二图像中与每个第二聚类簇中的第二检测框对应的目标第一图像区域以及每个目标第一图像区域在所述第一图像中对应的目标第二图像区域。
S802,针对每个目标第一图像区域,确定所述目标第一图像区域与对应的目标第二图像区域之间的目标相似度。
S803,在每个目标相似度符合第二预设要求的情况下,确定所述第二图像中的未被拿取物品的第二数量。
S804,分别确定所述第一图像中与每个第三聚类簇中的第一检测框对应的目标第三图像区域以及每个目标第三图像区域在所述第二图像中对应的目标第四图像区域。
S805,基于每个目标第三图像区域以及每个目标第四图像区域,确定所述第一图像中的未被拿取物品的第三数量。
S806,基于所述第二数量以及所述第三数量,确定所述修正数量。
示例性地,请再次参阅图10,若第二图像B中包括第二检测框B1~B3,第二检测框B1~B3分别对应目标第一图像区域b1~b3,目标第一图像区域b1~b3分别对应所述第一图像A中的目标第二图像区域a1~a3,然后,针对目标第一图像区域b1~b3,可以分别确定b1与a1、b2与a2以及b3与a3之间的目标相似度,并确定每个目标相似度是否符合第二预设要求,由于第二聚类簇中的每个第二检测框都会在第一图像中找到对应的检测框,也即,每个目标相似度的值都会符合第二预设要求,若存在任意一个目标相似度不符合第二预设要求的情况,则直接结束修正流程,也即,不再继续对原始物品拿取数量进行修正,若每个目标相似度都符合第二预设要求,则确定所述第二图像中的未被拿取物品的第二数量为3。
然后,分别确定所述第一图像A中与每个第三聚类簇中的第一检测框A1~A5分别对应的目标第三图像区域a1~a5,进而根据目标第三图像区域a1~a5的位置信息和尺寸信息,在所述第二图像B中对应的目标第四图像区域b1~b5。然后,根据每个目标第三图像区域与对应的目标第四图像区域之间的相似度(例如,a1与b1的相似度,a2与b2之间的相似度等,在此不一一列举),判断每个相似度是否符合第三预设要求,并将符合第三预设要求的相似度的数量确定为所述第一图像A中的未被拿取物品的第三数量,例如,若a1~a5分别对应的相似度均符合第三预设要求,则第三数量为4。
最后,根据第二数量和第三数量,确定修正数量,具体的,可以首先判断第二数量与第三数量之间的大小,也即,基于上述对图10的描述得出,第二数量为3,第三数量为4,由于第二数量小于第三数量,则用第三数量减去第二数量,得到目标数量,也即,目标数量为1,并将目标数量确定为修正数量。
在其他实施方式中,若通过判断确定第二数量大于第三数量,则将修正数量确定为0。如此,可以提高修正数量的准确性。
请参见图13,为本公开实施例所提供的另一种物品拿取数量的确定方法的流程图,与图2中所示的物品拿取数量的确定方法不同的是,所述方法还包括S105:
S105,基于所述存储柜中被拿取物品的最终数量以及所述被拿取物品的种类信息,生成物品拿取明细信息。
由于在对第一图像和第二图像进行目标检测后,得到的第一检测结果和第二检测结果中包含了物品的种类信息,因此,在确定被拿取物品的最终数量后,即可确定被拿取物品的种类信息,如此,即可基于被拿取物品的最终数量以及每个被拿取物品的种类信息,生成物品拿取明细信息,示例性地,物品拿取明细信息可以是:“用户张三,拿取物品明细:矿泉水,数量:2”,在其他实施方式中,物品拿取明细信息还可以是其他内容,在此不做限定。
其中,所述物品拿取明细信息还可以以文字、音频或者图片的方式进行展示,具体的,可以通过存储柜上的显示区域展示物品拿取明细信息,还可以通过语音播报物品拿取明细信息。在其他实施方式中,还可以将物品拿取明细信息发送至用户,以便于用户能够进行实时查看,进而提高用户的使用体验。
在其他实施方式中,若存储柜为一些自助售卖装置,例如,自助售卖冰箱、自助售卖货架或者自助零食柜等,则生成的物品拿取明细信息还可以是订单信息,其中,订单信息可以包括物品的价格等,在此不做限定。
本公开实施例中,由于通过上述方法得到的存储柜中被拿取物品的最终数量是被修正过的,因此,基于最终数量以及被拿取的物品的种类信息,有利于提高生成的物品拿取明细信息的准确性,进而可以提升用户的使用体验。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与物品拿取数量的确定方法对应的物品拿取数量的确定装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述物品拿取数量的确定方法相似,因此装置的实施可以参阅方法的实施,重复之处不再赘述。
请参阅图14,图14为本公开实施例提供的一种物品拿取数量的确定装置的结构示意图,所述物品拿取数量的确定装置1000包括:获取模块1010、聚类模块1020、确定模块1030以及修正模块1040;其中,
获取模块1010,用于获取用户从存储柜内拿取的物品的第一数量,所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到,其中,所述第一图像为第一时刻所述存储柜内的图像,所述第二图像为第二时刻所述存储柜内的图像;
聚类模块1020,用于基于所述第一检测结果以及所述第二检测结果进行聚类,得到聚类结果;
确定模块1030,用于基于所述聚类结果,确定修正数量;
修正模块1040,用于基于所述修正数量对所述第一数量进行修正,得到所述存储柜中被拿取物品的最终数量。
一种可选的实施方式中,所述第一检测结果包括所述第一图像中的每个物品对应的第一检测框,所述第二检测结果包括所述第二图像中的每个物品对应的第二检测框;所述聚类模块1020具体用于:
分别确定每个第一检测框的位置信息以及每个第二检测框的位置信息;
基于所述每个第一检测框的位置信息以及所述每个第二检测框的位置信息进行聚类,得到所述聚类结果。
一种可选的实施方式中,所述聚类结果包括至少一个聚类簇;所述确定模块1030具体用于:
在每个聚类簇均符合第一预设条件的情况下,确定所述修正数量为零;
所述第一预设条件是指一个聚类簇仅包括一个第一检测框和一个第二检测框,所述第一检测框属于所述第一图像,所述第二检测框属于所述第二图像,且所述第一检测框与所述第二检测框之间的相似度符合预设要求以及所述第一检测框与所述第二检测框所对应的物品种类相同。
一种可选的实施方式中,所述聚类结果包括至少一个聚类簇;所述确定模块1030具体用于:
在所述至少一个聚类簇中存在至少一个第一聚类簇符合第二预设条件的情况下,基于所述至少一个第一聚类簇,确定所述修正数量;
所述第二预设条件是指所述聚类簇仅包括一个所述第一检测框或者所述第一聚类簇仅包括一个所述第二检测框。
一种可选的实施方式中,在每个第一聚类簇仅包括一个所述第一检测框的情况下,所述确定模块1030具体用于:
确定每个第一聚类簇中的第一检测框在所述第一图像中对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域;
基于每个第一图像区域以及每个第二图像区域,确定所述修正数量。
一种可选的实施方式中,所述确定模块1030具体用于:
确定所述每个第一图像区域与对应的第二图像区域之间的相似度;
确定每个相似度是否符合第一预设要求,并确定所述第一图像中符合所述预设要求的相似度的数量;
将符合所述第一预设要求的相似度的数量确定为所述修正数量。
一种可选的实施方式中,在存在至少一个第一聚类簇符合所述第二预设条件,且所述多个第一聚类簇包括一部分第二聚类簇以及一部分第三聚类簇的情况下,其中,所述第二聚类簇仅包括一个所述第二检测框,且所述第三聚类簇仅包括一个第一检测框;所述确定模块1030具体用于:
分别确定所述第二图像中与每个第二聚类簇中的第二检测框对应的目标第一图像区域以及每个目标第一图像区域在所述第一图像中对应的目标第二图像区域;
针对每个目标第一图像区域,确定所述目标第一图像区域与对应的目标第二图像区域之间的目标相似度;
在每个目标相似度符合第二预设要求的情况下,确定所述第二图像中的未被拿取物品的第二数量;
分别确定所述第一图像中与每个第三聚类簇中的第一检测框对应的目标第三图像区域以及每个目标第三图像区域在所述第二图像中对应的目标第四图像区域;
基于每个目标第三图像区域以及每个目标第四图像区域,确定所述第一图像中的未被拿取物品的第三数量;
基于所述第二数量以及所述第三数量,确定所述修正数量。
请参见图15,为本公开实施例所提供的另一种物品拿取数量的确定装置的结构示意图,所述装置1000还包括生成模块1050,所述生成模块1050用于:
基于所述存储柜中被拿取物品的最终数量以及所述被拿取物品的种类信息,生成物品拿取明细信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
基于同一技术构思,本公开实施例还提供了一种电子设备。参见图16所示,为本公开实施例提供的电子设备4000的结构示意图,包括处理器4001、存储器4002、和总线4003。其中,存储器4002用于存储执行指令,包括内存40021和外部存储器40022;这里的内存40021也称内存储器,用于暂时存放处理器4001中的运算数据,以及与硬盘等外部存储器40022交换的数据,处理器4001通过内存40021与外部存储器40022进行数据交换。
本申请实施例中,存储器4002具体用于存储执行本申请方案的应用程序代码,并由处理器4001来控制执行。也即,当电子设备4000运行时,处理器4001与存储器4002之间通过总线4003通信,使得处理器4001执行存储器4002中存储的应用程序代码,进而执行前述任一实施例中的方法。
处理器4001可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,存储器4002可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备800的具体限定。在本申请另一些实施例中,电子设备800可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的物品拿取数量的确定方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的物品拿取数量的确定方法的步骤,具体可参阅上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和终端的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、终端和方法,可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种物品拿取数量的确定方法,其特征在于,所述方法包括:
获取用户从存储柜内拿取的物品的第一数量,所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到,其中,所述第一图像为第一时刻所述存储柜内的图像,所述第二图像为第二时刻所述存储柜内的图像;
基于所述第一检测结果以及所述第二检测结果进行聚类,得到聚类结果;
基于所述聚类结果,确定修正数量;
基于所述修正数量对所述第一数量进行修正,得到所述存储柜中被拿取物品的最终数量。
2.根据权利要求1所述的方法,其特征在于,所述第一检测结果包括所述第一图像中的每个物品对应的第一检测框,所述第二检测结果包括所述第二图像中的每个物品对应的第二检测框;
所述基于所述第一检测结果以及所述第二检测结果进行聚类,得到聚类结果,包括:
分别确定每个第一检测框的位置信息以及每个第二检测框的位置信息;
基于所述每个第一检测框的位置信息以及所述每个第二检测框的位置信息进行聚类,得到所述聚类结果。
3.根据权利要求2所述的方法,其特征在于,所述聚类结果包括至少一个聚类簇;所述基于所述聚类结果,确定修正数量,包括:
在每个聚类簇均符合第一预设条件的情况下,确定所述修正数量为零;
所述第一预设条件是指一个聚类簇仅包括一个第一检测框和一个第二检测框,所述第一检测框属于所述第一图像,所述第二检测框属于所述第二图像,且所述第一检测框与所述第二检测框之间的相似度符合预设要求以及所述第一检测框与所述第二检测框所对应的物品种类相同。
4.根据权利要求2所述的方法,其特征在于,所述聚类结果包括至少一个聚类簇;所述基于所述聚类结果,确定修正数量,包括:
在所述至少一个聚类簇中存在至少一个第一聚类簇符合第二预设条件的情况下,基于所述至少一个第一聚类簇,确定所述修正数量;
所述第二预设条件是指所述聚类簇仅包括一个所述第一检测框或者所述第一聚类簇仅包括一个所述第二检测框。
5.根据权利要求4所述的方法,其特征在于,在每个第一聚类簇仅包括一个所述第一检测框的情况下,所述基于所述至少一个第一聚类簇,确定所述修正数量,包括:
确定每个第一聚类簇中的第一检测框在所述第一图像中对应的第一图像区域以及每个第一图像区域在所述第二图像中对应的第二图像区域;
基于每个第一图像区域以及每个第二图像区域,确定所述修正数量。
6.根据权利要求5所述的方法,其特征在于,所述基于每个第一图像区域以及每个第二图像区域,确定所述修正数量,包括:
确定所述每个第一图像区域与对应的第二图像区域之间的相似度;
确定每个相似度是否符合第一预设要求,并确定符合所述第一预设要求的相似度的数量;
将符合所述第一预设要求的相似度的数量确定为所述修正数量。
7.根据权利要求4所述的方法,其特征在于,在存在至少一个第一聚类簇符合所述第二预设条件,且所述多个第一聚类簇包括一部分第二聚类簇以及一部分第三聚类簇的情况下,其中,所述第二聚类簇仅包括一个所述第二检测框,且所述第三聚类簇仅包括一个第一检测框;
所述基于所述至少一个第一聚类簇,确定所述修正数量,包括:
分别确定所述第二图像中与每个第二聚类簇中的第二检测框对应的目标第一图像区域以及每个目标第一图像区域在所述第一图像中对应的目标第二图像区域;
针对每个目标第一图像区域,确定所述目标第一图像区域与对应的目标第二图像区域之间的目标相似度;
在每个目标相似度符合第二预设要求的情况下,确定所述第二图像中的未被拿取物品的第二数量;
分别确定所述第一图像中与每个第三聚类簇中的第一检测框对应的目标第三图像区域以及每个目标第三图像区域在所述第二图像中对应的目标第四图像区域;
基于每个目标第三图像区域以及每个目标第四图像区域,确定所述第一图像中的未被拿取物品的第三数量;
基于所述第二数量以及所述第三数量,确定所述修正数量。
8.根据权利要求1-7任一所述的方法,其特征在于,所述得到所述存储柜中被拿取物品的最终数量之后,所述方法还包括:
基于所述存储柜中被拿取物品的最终数量以及所述被拿取物品的种类信息,生成物品拿取明细信息。
9.一种物品拿取数量的确定装置,其特征在于,包括:
获取模块,用于获取用户从存储柜内拿取的物品的第一数量,所述第一数量由第一图像的第一检测结果以及第二图像的第二检测结果得到,其中,所述第一图像为第一时刻所述存储柜内的图像,所述第二图像为第二时刻所述存储柜内的图像;
聚类模块,用于基于所述第一检测结果以及所述第二检测结果进行聚类,得到聚类结果;
确定模块,用于基于所述聚类结果,确定修正数量;
修正模块,用于基于所述修正数量对所述第一数量进行修正,得到所述存储柜中被拿取物品的最终数量。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至8任意一项所述的物品拿取数量的确定方法。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至8任意一项所述的物品拿取数量的确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210531209.5A CN114898134A (zh) | 2022-05-16 | 2022-05-16 | 物品拿取数量的确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210531209.5A CN114898134A (zh) | 2022-05-16 | 2022-05-16 | 物品拿取数量的确定方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114898134A true CN114898134A (zh) | 2022-08-12 |
Family
ID=82724789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210531209.5A Withdrawn CN114898134A (zh) | 2022-05-16 | 2022-05-16 | 物品拿取数量的确定方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114898134A (zh) |
-
2022
- 2022-05-16 CN CN202210531209.5A patent/CN114898134A/zh not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103403739B (zh) | 用于比较图像的方法和系统 | |
CN104182449B (zh) | 基于用户兴趣建模的个性化视频推荐系统和方法 | |
US20190205704A1 (en) | Method for Training Model and Information Recommendation System | |
CN111061890B (zh) | 一种标注信息验证的方法、类别确定的方法及装置 | |
US20200193146A1 (en) | Method and device for recognizing identity of human target | |
CN114708441A (zh) | 目标检测及状态确定方法、装置、设备及存储介质 | |
CN109447023B (zh) | 确定图像相似度的方法、视频场景切换识别方法及装置 | |
CN110795584A (zh) | 一种用户标识生成方法、装置及终端设备 | |
CN111382635B (zh) | 一种商品类别识别方法、装置及电子设备 | |
CN110134783A (zh) | 个性化推荐的方法、装置、设备和介质 | |
CN115393639B (zh) | 商品智能打标方法、系统、终端设备及可读存储介质 | |
CN114913154A (zh) | 物品拿取数量的确定方法、装置、电子设备及存储介质 | |
CN110288034A (zh) | 图像匹配方法、装置、电子设备及可读存储介质 | |
CN114898134A (zh) | 物品拿取数量的确定方法、装置、电子设备及存储介质 | |
JP2017059144A (ja) | 情報端末装置、プログラム及びデータ構造 | |
Matikainen et al. | Classifier ensemble recommendation | |
CN109658172A (zh) | 一种商圈推荐方法、计算设备、装置及存储介质 | |
CN114648720A (zh) | 神经网络训练方法、图像检测方法、装置、设备及介质 | |
CN113688708A (zh) | 一种基于概率特征的人脸识别方法、系统及存储介质 | |
CN109063761B (zh) | 扩散器脱落检测方法、装置及电子设备 | |
US10467322B1 (en) | System and method for highly scalable data clustering | |
US20200126026A1 (en) | Generating customized alerts with computer vision and machine learning | |
CN111008210A (zh) | 商品识别方法、装置、编解码器及存储装置 | |
CN109102233A (zh) | 库存错误分析方法及相关产品 | |
CN108171868B (zh) | 一种港币分类方法以及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220812 |
|
WW01 | Invention patent application withdrawn after publication |