CN114926763A - 一种识别结果检测方法、装置、设备及存储介质 - Google Patents
一种识别结果检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114926763A CN114926763A CN202210531076.1A CN202210531076A CN114926763A CN 114926763 A CN114926763 A CN 114926763A CN 202210531076 A CN202210531076 A CN 202210531076A CN 114926763 A CN114926763 A CN 114926763A
- Authority
- CN
- China
- Prior art keywords
- article
- target
- image
- item
- classification label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 104
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 37
- 230000002159 abnormal effect Effects 0.000 claims description 35
- 238000000926 separation method Methods 0.000 claims description 32
- 238000012216 screening Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012805 post-processing Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012856 packing Methods 0.000 description 4
- 101150060512 SPATA6 gene Proteins 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000015203 fruit juice Nutrition 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
本公开提供了一种识别结果检测方法、装置、设备及存储介质,对于从采集图像中检测出的至少三个标注物品,通过标注物品的标注位置,可以从至少三个标注物品中筛选出存在单独摆放情况的目标物品和针对目标物品的参照物品,进而借助目标物品被识别出的分类标签、参照物品被识别出的分类标签和物品图像特征、以及二者之间的相似度,以此检测目标物品的分类标签是否识别错误。这样,通过对采集图像进行物品识别后增加后处理流程的方式,对得到的识别结果进行复核检测,可以有效检测出识别结果中存在的错误结果,提高识别结果的准确度,检测快捷有效,检测的准确率高,增加复检有助于减少由于采集图像的识别误差导致的订单错误,提高订单准确率。
Description
技术领域
本公开涉及计算机领域,具体而言,涉及一种识别结果检测方法、装置、设备及存储介质。
背景技术
随着时代的进步和科技的发展,人们的生活方式等发生了很大的改变,借助网络支付、扫码支付、刷脸支付等快捷付款方式,网络购物、自助购物等购物方式,已经成为人们的主要购物方式,尤其是使用无人售货机、无人售货柜等途径的自助购物,由于其购物便捷、不受地域限制、不受环境限制等优点,可以被大量的使用在商场、学校、医院和办公场所等地点,方便快捷的满足人们的购买需求。
通常地,对于自助购物来讲,除了支付方式之外,如何有效和准确地确定用户所选择的物品是实现结算的关键,目前的自助购物中,常用的方式之一是在用户选取物品前后,分别采集物品摆放的图像进行检测、识别和比对等,从而确定用户真实选取的物品,以此进行自助购物的结算等,然而在对采集的图像中的物品进行检测和识别时,检测和识别的结果中常常存在错误结果,物品识别结果不准确,导致用户购买行为的结算不准确,易影响用户的体验。
发明内容
本公开实施例至少提供一种识别结果检测方法、装置、设备及存储介质。
本公开实施例提供了一种识别结果检测方法,所述方法包括:
获取从采集图像中检测出的至少三个标注物品,以及从所述采集图像中识别出的每个标注物品的物品图像特征、分类标签和在所述采集图像中被标注出的标注位置;
基于所述标注位置,从所述至少三个标注物品中筛选出存在单独摆放情况的目标物品;
基于所述物品图像特征和所述标注位置,从所述至少三个标注物品中除所述目标物品之外的其他标注物品中确定出参照物品,所述参照物品与所述目标物品在所述采集图像中的间隔距离小于或等于异常检测距离,所述参照物品与所述目标物品之间的第一图像相似度大于第二图像相似度,所述第二图像相似度为与所述目标物品之间的间隔距离在所述异常检测距离内的、除所述参照物品之外的物品与所述目标物品之间的图像相似度;
基于所述目标物品的分类标签、所述参照物品的分类标签、所述目标物品的物品图像特征以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误。
这样,对于从采集图像中检测出的至少三个标注物品,通过标注物品的标注位置,可以从至少三个标注物品中筛选出存在单独摆放情况的目标物品和针对目标物品的参照物品,进而借助目标物品被识别出的分类标签、参照物品被识别出的分类标签和物品图像特征、以及二者之间的相似度,检测得到目标物品的分类标签是否识别错误,通过对采集图像进行物品识别后增加后处理流程的方式,对得到的识别结果进行复核检测,可以有效检测出识别结果中存在的错误结果,提高识别结果的准确度,检测快捷有效,检测的准确率高,增加复检有助于减少由于采集图像的识别误差导致的订单错误,提高订单准确率。
一种可选的实施方式中,所述基于所述标注位置,从所述至少三个标注物品中筛选出存在单独摆放情况的目标物品,包括:
按照各个标注物品的标注位置,对所述至少三个标注物品按照在采集环境中的预设摆放阵列进行排列;
从排列完毕的所述至少三个标注物品中,确定出在所述预设摆放阵列中单独存在的物品;
将确定出的物品作为待检测的目标物品。
这样,可以通过采集环境中的预设摆放阵列以及每个标注物品的排列情况,确定出在预设摆放阵列中单独存在的物品,有效检测出存在潜在识别错误可能的目标物品,便于后续对目标物品进行进一步检测。
一种可选的实施方式中,所述基于所述物品图像特征和所述标注位置,从所述至少三个标注物品中除所述目标物品之外的其他标注物品中确定出参照物品,包括:
针对所述至少三个标注物品中除所述目标物品之外的其他标注物品,基于所述其他标注物品对应的标注位置和所述目标物品对应的标注位置,确定所述其他标注物品与所述目标物品在所述采集图像中的间隔距离;
基于各个所述其他标注物品对应的间隔距离,确定针对所述目标物品的异常检测距离;
根据所述异常检测距离,在各个所述其他标注物品中确定候选物品,所述候选物品与所述目标物品的间隔距离小于或等于所述异常检测距离;
基于所述候选物品对应的物品图像特征和所述目标物品对应的物品图像特征,确定所述候选物品与所述目标物品之间的第二图像相似度;
将确定出的至少一个候选物品中与所述目标物品之间的第二图像相似度最大的候选物品作为所述目标物品的参照物品,并将确定出的该候选物品对应的第二图像相似度作为所述参照物品的第一图像相似度。
这样,通过其他标注物品与目标物品之间的间隔距离,可以确定针对目标物品的异常检测距离,从而基于异常检测距离和间隔距离确定出针对目标物品的候选物品,再结合图像相似度确定出针对目标物品的参照物品,通过距离和相似度的两次计算,有助于确定出与目标物品进行比对的参照物品,以便后续通过参照物品对目标物品是否标注错误进行检测。
一种可选的实施方式中,通过以下步骤确定所述异常检测距离:
基于各个所述其他标注物品对应的所述间隔距离从小到大的排列顺序和获取的预设参照数量,从各个所述其他标注物品中确定出在所述排列顺序中与所述预设参照数量对应的排列次序处的第一标注物品;
将所述第一标注物品与所述目标物品之间的间隔距离作为异常检测距离。
一种可选的实施方式中,所述基于所述目标分类标签、所述参照物品的参照分类标签、所述目标物品的物品图像特征、以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误,包括:
获取预先存储的、在所述目标分类标签下的真实物品的真实物品图像特征;
基于所述目标物品的物品图像特征和所述真实物品图像特征,确定所述目标物品和所述真实物品之间的第三图像相似度;
基于所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度,确定所述目标物品的分类标签是否识别错误。
这样,通过目标物品与真实物品之间的图像相似度、目标物品的分类标签以及参照物品的分类标签,可以确定目标物品的分类标签是否识别错误,可以有效检测出识别结果中存在的错误结果,提高识别结果的准确度,检测快捷有效,有助于减少由于采集图像的识别误差导致的订单错误。
一种可选的实施方式中,所述基于所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度,确定所述目标物品的分类标签是否识别错误,包括:
检测所述目标物品的分类标签与所述参照物品的分类标签是否一致,以及检测所述第一图像相似度是否大于所述第三图像相似度;
在所述目标物品的分类标签与所述参照物品的分类标签不一致、并且所述第一图像相似度大于所述第三图像相似度的情况下,确定所述目标物品的分类标签识别错误。
这样,通过将目标物品的分类标签与参照物品的分类标签进行比较,并将目标物品和参照物品之间的图像相似度、与目标物品和真实物品之间的图像相似度进行比较,可以有效检测出识别结果中存在的错误结果,提高识别结果的准确度。
一种可选的实施方式中,在所述基于所述目标物品的分类标签、所述参照物品的分类标签、所述目标物品的物品图像特征以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误之后,所述方法还包括:
在确定出所述目标物品的分类标签识别错误的情况下,基于所述目标物品的物品图像特征,以及预先存储的各个存储分类标签下的真实物品的真实物品图像特征,确定所述目标物品的修正分类标签;
使用所述修正分类标签更新从所述采集图像中识别出的所述目标物品的分类标签。
这样,可以对识别错误的物品进行修正,有效减少由于采集图像的识别误差导致的订单错误,提高订单准确率。
一种可选的实施方式中,所述基于所述目标物品的物品图像特征,以及预先存储的各个存储分类标签下的真实物品的真实物品图像特征,确定所述目标物品的修正分类标签,包括:
获取预先存储的各个存储分类标签,以及在各个存储分类标签下的真实物品的真实物品图像特征;
基于所述目标物品的物品图像特征和获取的各个真实物品图像特征,计算所述目标物品与各个真实物品之间的第四图像相似度;
将各个真实物品对应的第四图像相似度中相似度最大的第四图像相似度对应的存储分类标签确定为所述目标物品的修正分类标签。
这样,可以通过计算目标物品与各个真实物品之间的图像相似度,确定与目标物品相似度最高的真实物品,从而将相似度最高的真实物品对应的存储分类标签确定为所述目标物品的修正分类标签,以对目标物品的当前分类标签进行修正,从而减少由于采集图像的识别误差导致的订单错误,提高订单准确率。
本公开实施例还提供一种识别结果检测装置,所述装置包括:
数据获取模块,用于获取从采集图像中检测出的至少三个标注物品,以及从所述采集图像中识别出的每个标注物品的物品图像特征、分类标签和在所述采集图像中被标注出的标注位置;
物品筛选模块,用于基于所述标注位置,从所述至少三个标注物品中筛选出存在单独摆放情况的目标物品;
物品确定模块,用于基于所述物品图像特征和所述标注位置,从所述至少三个标注物品中除所述目标物品之外的其他标注物品中确定出参照物品,所述参照物品与所述目标物品在所述采集图像中的间隔距离小于或等于异常检测距离,所述参照物品与所述目标物品之间的第一图像相似度大于第二图像相似度,所述第二图像相似度为与所述目标物品之间的间隔距离在所述异常检测距离内的、除所述参照物品之外的物品与所述目标物品之间的图像相似度;
物品判断模块,用于基于所述目标物品的分类标签、所述参照物品的分类标签、所述目标物品的物品图像特征以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误。
一种可选的实施方式中,所述物品筛选模块具体用于:
按照各个标注物品的标注位置,对所述至少三个标注物品按照在采集环境中的预设摆放阵列进行排列;
从排列完毕的所述至少三个标注物品中,确定出在所述预设摆放阵列中单独存在的物品;
将确定出的物品作为待检测的目标物品。
一种可选的实施方式中,所述物品确定模块具体用于:
针对所述至少三个标注物品中除所述目标物品之外的其他标注物品,基于所述其他标注物品对应的标注位置和所述目标物品对应的标注位置,确定所述其他标注物品与所述目标物品在所述采集图像中的间隔距离;
基于各个所述其他标注物品对应的间隔距离,确定针对所述目标物品的异常检测距离;
根据所述异常检测距离,在各个所述其他标注物品中确定候选物品,所述侯选物品与所述目标物品的间隔距离小于或等于所述异常检测距离;
基于所述候选物品对应的物品图像特征和所述目标物品对应的物品图像特征,确定所述候选物品与所述目标物品之间的第二图像相似度;
将确定出的至少一个候选物品中与所述目标物品之间的第二图像相似度最大的候选物品作为所述目标物品的参照物品,并将确定出的该候选物品对应的第二图像相似度作为所述参照物品的第一图像相似度。
一种可选的实施方式中,所述物品确定模块用于通过以下步骤确定所述异常检测距离:
基于各个所述其他标注物品对应的所述间隔距离从小到大的排列顺序和获取的预设参照数量,从各个所述其他标注物品中确定出在所述排列顺序中与所述预设参照数量对应的排列次序处的第一标注物品;
将所述第一标注物品与所述目标物品之间的间隔距离作为异常检测距离。
一种可选的实施方式中,所述物品判断模块具体用于:
获取预先存储的、在所述目标分类标签下的真实物品的真实物品图像特征;
基于所述目标物品的物品图像特征和所述真实物品图像特征,确定所述目标物品和所述真实物品之间的第三图像相似度;
基于所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度,确定所述目标物品的分类标签是否识别错误。
一种可选的实施方式中,所述物品判断模块在用于基于所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度,确定所述目标物品的分类标签是否识别错误时,具体用于:
检测所述目标物品的分类标签与所述参照物品的分类标签是否一致,以及检测所述第一图像相似度是否大于所述第三图像相似度;
在所述目标物品的分类标签与所述参照物品的分类标签不一致、并且所述第一图像相似度大于所述第三图像相似度的情况下,确定所述目标物品的分类标签识别错误。
一种可选的实施方式中,所述识别结果检测装置还包括物品修正模块,所述物品修正模块用于:
在确定出所述目标物品的分类标签识别错误的情况下,基于所述目标物品的物品图像特征,以及预先存储的各个存储分类标签下的真实物品的真实物品图像特征,确定所述目标物品的修正分类标签;
使用所述修正分类标签更新从所述采集图像中识别出的所述目标物品的分类标签。
一种可选的实施方式中,所述物品修正模块在用于基于所述目标物品的物品图像特征,以及预先存储的各个存储分类标签下的真实物品的真实物品图像特征,确定所述目标物品的修正分类标签时,具体用于:
获取预先存储的各个存储分类标签,以及在各个存储分类标签下的真实物品的真实物品图像特征;
基于所述目标物品的物品图像特征和获取的各个真实物品图像特征,计算所述目标物品与各个真实物品之间的第四图像相似度;
将各个真实物品对应的第四图像相似度中相似度最大的第四图像相似度对应的存储分类标签确定为所述目标物品的修正分类标签。
本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述识别结果检测方法的步骤。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述识别结果检测方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种场景示意图;
图2示出了本公开实施例所提供的一种识别结果检测方法的流程图;
图3a示出了本公开实施例所提供的物品摆放示意图之一;
图3b示出了本公开实施例所提供的物品摆放示意图之二;
图3c示出了本公开实施例所提供的物品摆放示意图之三;
图4示出了本公开实施例所提供的确定参照物品的过程示意图之一;
图5示出了本公开实施例所提供的确定参照物品的过程示意图之二;
图6示出了本公开实施例所提供的确定参照物品的过程示意图之三;
图7示出了本公开实施例所提供的另一种识别结果检测方法的流程图;
图8示出了本公开实施例所提供的一种识别结果检测装置的示意图之一;
图9示出了本公开实施例所提供的一种识别结果检测装置的示意图之二;
图10示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现,对于自助购物来讲,如何有效和准确地确定用户所选择的物品是实现结算的关键,目前的自助购物中,常用的方式大多是在用户选取物品前后,分别采集用户购买前的物品摆放图像和购买后的物品摆放图像,对用户购买前的图像和购买后的图像分别进行物品的检测和识别,再对用户购买前的图像和购买后的图像进行比较,从而确定用户真实选取的物品,以此进行自助购物的结算等,辅助实现自助购物,然而在对采集的图像中的物品进行检测和识别时,检测和识别的结果中常常存在错误结果,易出现多识别物品或少识别物品等误差,物品识别结果不准确,导致用户购买行为的结算不准确,易对用户交易造成影响,进而影响用户的购物体验。
基于上述研究,本公开提供了一种识别结果检测方法,对于从采集图像中检测出的至少三个标注物品,通过标注物品的标注位置,可以从至少三个标注物品中筛选出存在单独摆放情况的目标物品和针对目标物品的参照物品,进而借助目标物品被识别出的分类标签、参照物品被识别出的分类标签和物品图像特征、以及二者之间的相似度,以此检测目标物品的分类标签是否识别错误。这样,通过对采集图像进行物品识别后增加后处理流程的方式,对得到的识别结果进行复核检测,可以有效检测出识别结果中存在的错误结果,提高识别结果的准确度,检测快捷有效,检测的准确率高,进一步的,可以对存在识别错误的物品进行修正,有助于减少由于采集图像的识别误差导致的订单错误,提高订单准确率。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种识别结果检测方法进行详细介绍,本公开实施例所提供的识别结果检测方法的执行主体可以是识别结果检测装置,例如识别结果检测方法可以由终端设备或服务器或其它处理设备执行,其中,终端设备可以为移动设备、终端、计算设备等。在一些可能的实现方式中,该识别结果检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图1,图1为本公开实施例的一种场景示意图。如图1中所示,以使用例如冰箱、冰柜、货架、货柜等作为自助货柜实现自助购物为例,可以通过在自助货柜内部增加摄像头等拍摄设备,以在有用户选购物品时,拍摄用户购买前的图像和购买后的图像,并对两张图像中的物品进行识别以得到识别结果,通过对比购买前图像和购买后图像的识别结果,可以确定用户所购买的物品,进而可以针对用户所购买的物品进行收款,从而辅助实现自助购物。这样,无论是针对现有的自助货柜,还是针对需要制作的自助货柜等,仅需安装价格相对低廉的摄像头等拍摄设备即可,大大降低了成本,而且拍摄货柜内摆放的物品,对于自助货柜的摆放环境、位置等没有要求,可以大大降低工作人员的工作量,减少人力物力的消耗。
其中,在自助货柜内部增加的拍摄设备,可以是一个(如图1中所示)、两个、甚至多个,对此并不做限定,拍摄设备可以安装在货柜的顶棚朝向内部的一面(如图1中所示)、也可以安装在货柜的侧壁朝向内部的一面等位置,对此并不做限定,仅需可以完整拍摄出货柜内摆放的物品即可。
请参阅图2,图2为本公开实施例提供的一种识别结果检测方法的流程图。如图2中所示,本公开实施例提供的识别结果检测方法包括:
S201:获取从采集图像中检测出的至少三个标注物品,以及从所述采集图像中识别出的每个标注物品的物品图像特征、分类标签和在所述采集图像中被标注出的标注位置。
通过上述内容可知,自助货柜内部设置有拍摄设备,可以在用户选取物品前后,分别采集用户购买前的物品摆放图像和购买后的物品摆放图像,然后对用户购买前的图像和购买后的图像分别进行物品的检测和识别,得到检测出的至少三个标注物品,同时可以获取到从所述采集图像中识别出的每个标注物品的物品图像特征、分类标签和在所述采集图像中被标注出的标注位置。
其中,所述采集图像,可以是通过上述自助货柜内部的拍摄设备,拍摄出的货柜内的物品摆放图像,也可以是通过所述自助货柜上的拍摄设备,拍摄出包括用户拿取物品过程的视频,再从视频中提取出用户拿取物品前和拿取物品后的关键帧,作为采集图像,在此并不做任何限定。
其中,可以通过神经网络、特征提取模型、人工智能算法等方式,从所述采集图像中识别出每个标注物品的物品图像特征。
这里,所述待处理图像的图像特征向量,可以通过不同的数字、符号等表示所述待处理图像在颜色、纹理、形状等各方面的特征。
其中,所述标注物品的分类标签可以是所述标注物品的名称、品牌等,例如矿泉水、果汁、汽水等。
其中,所述标注物品在所述采集图像中被标注出的标注位置,可以是以标注框的形式对所述标注物品进行标注,具体的,可以通过标注框的左上角和右下角的坐标来体现所述标注物品的标注位置,还可以通过标注框的左下角和右上角的坐标来体现所述标注物品的标注位置,也可以通过所述标注框的中心点、长度、宽度来体现所述标注物品的标注位置,还可以通过标注框的四个角的坐标来体现所述标注物品的标注位置。
S202:基于所述标注位置,从所述至少三个标注物品中筛选出存在单独摆放情况的目标物品。
该步骤中,在确定每个标注物品在所述采集图像中被标注出的标注位置,可以基于所述标注位置,确定在所述采集图像中至少三个标注物品的排列情况,从而可以确定至少三个标注物品中存在单独摆放情况的目标物品。
可以理解,所述目标物品由于单独摆放,所以存在识别错误的可能性较大,所以将筛选出的存在单独摆放情况的物品作为存在潜在识别错误可能的目标物品。
这里,所述目标物品存在单独摆放可能的情况可以是与目标物品相近的物品都被用户选购拿走,也可以是与目标物品同组放置的物品都被用户选购拿走,还可以是由于人员摆放和/或机器摆放导致的目标物品与其他物品距离较远等,在此并不做任何限定。
示例性的,请参阅图3a、图3b和图3c,图3a、图3b和图3c为本公开实施例提供的物品摆放示意图。这里,每个图像中包括不同类型的物品,在本示例中以同一形状的图形表示同一类型的物品为例进行说明。在图3a中,与物品1临近的位置未放置物品,因此将物品1作为目标物品;在图3b中,与物品2相同类型的、同组放置的物品都被选购,因此将物品2作为目标物品;在图3c中,物品3与其他物品距离较远,因此将物品3作为目标物品。
本示例中,是以采集图像中存在一个目标物品进行说明的,但并不局限于此,在其他实施例中,在实际应用中货柜中可能摆放大量物品,因此采集图像中可以存在两个甚至三个目标物品,只要目标物品满足单独摆放情况即可。
相应地,在一些可能的实施方式中,所述基于所述标注位置,从所述至少三个标注物品中筛选出存在单独摆放情况的目标物品,包括:
按照各个标注物品的标注位置,对所述至少三个标注物品按照在采集环境中的预设摆放阵列进行排列;
从排列完毕的所述至少三个标注物品中,确定出在所述预设摆放阵列中单独存在的物品;
将确定出的物品作为待检测的目标物品。
该步骤中,在确定各个标注物品在所述采集图像中被标注出的标注位置的情况下,可以获取在采集环境中的预设摆放阵列,使得至少三个标注物品按照所述预设摆放阵列进行排列,在至少三个标注物品排列完毕后,就可以确定出在所述预设摆放阵列中单独存在的物品,从而将确定出的物品作为待检测的目标物品。
这样,可以通过采集环境中的预设摆放阵列以及每个标注物品的排列情况,确定出在预设摆放阵列中单独存在的物品,有效检测出存在潜在识别错误可能的目标物品,便于后续对目标物品进行进一步检测。
其中,可以通过所述标注物品的标注位置,计算得到每两个标注物品之间的间隔距离,若某一标注物品与其他标注物品之间的间隔距离大于预设间隔距离,可以将该标注物品视为单独存在的物品。
其中,所述预设摆放阵列可以是成列成排摆放,也可以是封闭图像,例如圆形、椭圆形、三角形、“8”字形等,在此并不做任何限定。
进一步的,所述预设摆放阵列可以与采集环境有关,例如针对售卖圆柱形物品的采集环境,所述预设摆放阵列可以是成列成排摆放的,针对售卖球形物品的采集环境,所述预设摆放阵列可以是成圈摆放的。
示例性的,请参阅图4,图4为本公开实施例提供的确定参照物品的过程示意图之一。如图4中所示,所述采集图像中包括17个标注物品,若预设摆放阵列为成列成排摆放,在排列完毕后,检测到物品9所在的列只有物品9一个物品,此时确定物品9存在单独摆放情况,从而可以确定物品9为筛选出的目标物品。
这样,可以通过采集环境中的预设摆放阵列以及每个标注物品的排列情况,确定出在预设摆放阵列中单独存在的物品,有效检测出存在潜在识别错误可能的目标物品,便于后续对目标物品进行进一步检测。
S203:基于所述物品图像特征和所述标注位置,从所述至少三个标注物品中除所述目标物品之外的其他标注物品中确定出参照物品,所述参照物品与所述目标物品在所述采集图像中的间隔距离小于或等于异常检测距离,所述参照物品与所述目标物品之间的第一图像相似度大于第二图像相似度,所述第二图像相似度为与所述目标物品之间的间隔距离在所述异常检测距离内的、除所述参照物品之外的物品与所述目标物品之间的图像相似度。
该步骤中,在确定目标物品的情况下,可以确定至少三个标注物品中除所述目标物品之外的其他标注物品,从而可以基于标注物品的标注位置,计算各个其他标注物品与所述目标物品之间的间隔距离,在实际应用场景中,一般情况下,同类的物品会优先聚集摆放,因此距离较近的两个物品极大可能是同类的物品,因此,在确定各个其他标注物品与所述目标物品之间的间隔距离的情况下,可以从中确定出符合预设数量的、且对应间隔距离最小的其他标注物品,即与所述目标物品在所述采集图像中的间隔距离小于或等于异常检测距离的物品,进而可以基于标注物品的物品图像特征,分别计算这些其他标注物品和目标物品之间的图像相似度,从中确定图像相似度最大的其他标注物品作为参照物品。
这里,将最大的图像相似度作为第一图像相似度,第一图像相似度即为参照物品与目标物品之间的图像相似度。
其中,所述异常检测距离,可以针对所应用的场景、售货柜、物品环境和场所等因素,综合后预先设定的筛选距离,也可以是在实际检测过程中,根据所剩物品的数量、位置等动态设定的筛选距离。
将符合预设数量的、且对应间隔距离最小的、除所述参照物品之外的其他标注物品与所述目标物品之间的图像相似度作为第二图像相似度,由于第一图像相似度为最大的图像相似度,因此所述第一相似度大于所述第二相似度。
可以理解,针对符合预设数量的、且对应间隔距离最小的其他标注物品,将其中对应的最大间隔距离作为异常检测距离,因此所述参照物品与所述目标物品在所述采集图像中的间隔距离小于或者等于所述异常检测距离。
可选地,确定其他标注物品与目标物品之间的第二图像相似度的方式,可以通过对其他标注物品与目标物品进行余弦相似度计算的方式,得到对应于其他标注物品与目标物品的相似度矩阵,可以理解,所述相似度矩阵即表示其他标注物品与目标物品之间的第二图像相似度;还可以通过差异哈希算法,计算得到对应于其他标注物品与目标物品的哈希序列,可以理解,所述哈希序列即表示其他标注物品与目标物品之间的第二图像相似度;也可以通过尺度不变特征变换匹配算法(Scale Invariant Feature Transform,SIFT),计算得到对应于其他标注物品与目标物品的差异特征,可以理解,所述差异特征即表示其他标注物品与目标物品之间的第二图像相似度。
相应地,在一些可能的实施方式中,所述基于所述物品图像特征和所述标注位置,从所述至少三个标注物品中除所述目标物品之外的其他标注物品中确定出参照物品,包括:
针对所述至少三个标注物品中除所述目标物品之外的其他标注物品,基于所述其他标注物品对应的标注位置和所述目标物品对应的标注位置,确定所述其他标注物品与所述目标物品在所述采集图像中的间隔距离;
基于各个所述其他标注物品对应的间隔距离,确定针对所述目标物品的异常检测距离;
根据所述异常检测距离,在各个所述其他标注物品中确定候选物品,所述候选物品与所述目标物品的间隔距离小于或等于所述异常检测距离;
基于所述候选物品对应的物品图像特征和所述目标物品对应的物品图像特征,确定所述候选物品与所述目标物品之间的第二图像相似度;
将确定出的至少一个候选物品中与所述目标物品之间的第二图像相似度最大的候选物品作为所述目标物品的参照物品,并将确定出的该候选物品对应的第二图像相似度作为所述参照物品的第一图像相似度。
该步骤中,在确定目标物品的情况下,可以确定至少三个标注物品中除所述目标物品之外的其他标注物品,从而可以基于其他标注物品对应的标注位置和所述目标物品对应的标注位置,分别计算各个其他标注物品与所述目标物品之间的间隔距离,在确定各个其他标注物品与所述目标物品之间的间隔距离的情况下,通过间隔距离之间的比较可以从中确定异常检测距离。
可选地,确定所述其他标注物品与所述目标物品在所述采集图像中的间隔距离,可以是采用计算直线距离的方式,也可以是采用计算曲面距离的方式,还可以是采用计算欧几里得距离的方式,在此并不做任何限定。
这里,针对所述其他物品,从中确定符合预设数量的、且对应间隔距离最小的其他标注物品,针对这些其他标注物品对应的间隔距离,其中最大的间隔距离即为异常检测距离。
然后可以将每个间隔距离和所述异常检测距离进行比较,从而将小于或等于所述异常检测距离的间隔距离对应的所述其他标注物品作为候选物品。
可以理解,所述候选物品是符合预设数量的、在所述采集图像中与所述目标物品最近的物品。
接着可以分别计算每个候选物品和目标物品之间的第二图像相似度,从中确定第二图像相似度最大的候选物品作为参照物品,相应地,确定出的该候选物品对应的第二图像相似度即为所述参照物品的第一图像相似度。
这样,通过其他标注物品与目标物品之间的间隔距离,可以确定针对目标物品的异常检测距离,从而基于异常检测距离和间隔距离确定出针对目标物品的候选物品,再结合图像相似度确定出针对目标物品的参照物品,通过距离和相似度的两次计算,有助于确定出与目标物品进行比对的参照物品,以便后续通过参照物品对目标物品是否标注错误进行检测。
相应地,一些可能的实施方式中,通过以下步骤确定所述异常检测距离:
基于各个所述其他标注物品对应的所述间隔距离从小到大的排列顺序和获取的预设参照数量,从各个所述其他标注物品中确定出在所述排列顺序中与所述预设参照数量对应的排列次序处的第一标注物品;
将所述第一标注物品与所述目标物品之间的间隔距离作为异常检测距离。
该步骤中,在确定所述其他标注物品与所述目标物品之间的间隔距离的情况下,先将各个所述其他标注物品对应的所述间隔距离按照从小到大的排列顺序进行排序,然后可以获取预设参照数量,这里,所述预设参照数量即为所述候选物品的数量,接着按照间隔距离的排列顺序,确定出在所述排列顺序中与所述预设参照数量对应的排列次序处的第一标注物品,可以理解,第一标注物品对应的间隔距离即为排列顺序中与所述预设参照数量对应的排列次序处对应的间隔距离,从而将所述第一标注物品与所述目标物品之间的间隔距离作为异常检测距离。
其中,所述预设参照数量可以根据实际的筛选需要而定,在此不做具体数量限定,不多于采集图像中的其他标注物品的数量即可。
可选地,还可以将各个所述其他标注物品对应的所述间隔距离按照从大到小的排列顺序进行排序,然后可以根据预设参照数量,按照间隔距离的排列顺序倒序筛选,倒序筛选出在从大到小的排列顺序中与所述预设参照数量对应的排列次序处的第一标注物品,然后将所述第一标注物品与所述目标物品之间的间隔距离作为异常检测距离。
示例性的,请参阅图5和图6,图5为本公开实施例提供的确定参照物品的过程示意图之二,图6为本公开实施例提供的确定参照物品的过程示意图之三。如图5中所示,承接上述示例,在确定物品9为目标物品的情况下,物品1-8和物品10-17为除目标物品之外的其他标注物品,然后分别计算物品1-8、物品10-17和物品9之间的间隔距离,及计算得到间隔距离1-16,接着将间隔距离1-16按照从小到大的排列顺序进行排序,若预设参照数量为3,可以确定出在排列顺序中排列顺序处于第三位的物品12,并将物品12与物品9之间的间隔距离作为异常检测距离,从而将与物品9之间的间隔距离小于或者等于异常检测距离的物品8、物品12和物品13作为候选物品。如图6中所示,在确定候选物品为物品8、物品12和物品13的情况下,可以分别计算物品8、物品12、物品13和物品9之间的图像相似度,将图像相似度最大的物品8作为物品9的参照物品。
S204:基于所述目标物品的分类标签、所述参照物品的分类标签、所述目标物品的物品图像特征以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误。
该步骤中,在确定目标物品以及参照物品的情况下,可以结合所述目标物品的分类标签、所述参照物品的分类标签、所述目标物品的物品图像特征以及所述第一图像相似度,通过各项内容之间的差异,确定所述目标物品的分类标签是否识别错误。
进而,一些可能的实施方式中,所述基于所述目标分类标签、所述参照物品的参照分类标签、所述目标物品的物品图像特征、以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误,包括:
获取预先存储的、在所述目标分类标签下的真实物品的真实物品图像特征;
基于所述目标物品的物品图像特征和所述真实物品图像特征,确定所述目标物品和所述真实物品之间的第三图像相似度;
基于所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度,确定所述目标物品的分类标签是否识别错误。
该步骤中,基于所述目标分类标签,可以获取预先存储的、在所述目标分类标签下的真实物品的真实物品图像特征,然后基于所述目标物品的物品图像特征和所述真实物品图像特征,计算得到所述目标物品和所述真实物品之间的第三图像相似度,从而基于所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度,确定所述目标物品的分类标签是否识别错误。
可选地,确定所述目标物品和所述真实物品之间的第三图像相似度的方式,可以通过对所述目标物品和所述真实物品进行余弦相似度计算的方式,得到对应于所述目标物品和所述真实物品的相似度矩阵,可以理解,所述相似度矩阵即表示所述目标物品和所述真实物品之间的第三图像相似度。
这样,通过目标物品与真实物品之间的图像相似度、目标物品的分类标签以及参照物品的分类标签,可以确定目标物品的分类标签是否识别错误,可以有效检测出识别结果中存在的错误结果,提高识别结果的准确度,检测快捷有效,有助于减少由于采集图像的识别误差导致的订单错误。
相应地,一些可能的实施方式中,所述基于所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度,确定所述目标物品的分类标签是否识别错误,包括:
检测所述目标物品的分类标签与所述参照物品的分类标签是否一致,以及检测所述第一图像相似度是否大于所述第三图像相似度;
在所述目标物品的分类标签与所述参照物品的分类标签不一致、并且所述第一图像相似度大于所述第三图像相似度的情况下,确定所述目标物品的分类标签识别错误。
该步骤中,在确定所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度的情况下,可以将所述目标物品的分类标签和所述参照物品的分类标签进行比较,并且将所述第一图像相似度和所述第三图像相似度进行比较,若所述目标物品的分类标签与所述参照物品的分类标签不一致、并且所述第一图像相似度大于所述第三图像相似度,可以确定所述目标物品的分类标签识别错误。
可以理解,所述目标物品的分类标签与所述参照物品的分类标签不一致,分类标签不一致表示所述目标物品和所述参照物品不属于同一分类标签下的物品,而所述参照物品与所述目标物品之间的第一图像相似度大于所述目标物品和所述真实物品之间的第三图像相似度,表示与同一分类标签下的真实物品相比,所述目标物品与所述参照物品更为相似,因此所述目标物品的分类标签识别错误。
这样,通过将目标物品的分类标签与参照物品的分类标签进行比较,并将目标物品和参照物品之间的图像相似度、与目标物品和真实物品之间的图像相似度进行比较,可以有效检测出识别结果中存在的错误结果,提高识别结果的准确度。
示例性的,承接上述示例,在确定物品9为目标物品、物品8为参照物品的情况下,可以获取物品9对应的分类标签A和物品8对应的分类标签B,然后可以获取预先存储的、在分类标签A下的物品18的真实物品图像特征,从而计算得到物品9和物品18之间的图像相似度,若物品9对应的分类标签A与物品8对应的分类标签B不一致,并且物品9和物品8之间的图像相似度大于物品9和物品18之间的图像相似度,确定物品9当前对应的分类标签A识别错误。
本公开实施例提供的识别结果检测方法,对于从采集图像中检测出的至少三个标注物品,通过标注物品的标注位置,可以从至少三个标注物品中筛选出存在单独摆放情况的目标物品和针对目标物品的参照物品,进而借助目标物品被识别出的分类标签、参照物品被识别出的分类标签和物品图像特征、以及二者之间的相似度,以此检测目标物品的分类标签是否识别错误。
这样,通过对采集图像进行物品识别后增加后处理流程的方式,对得到的识别结果进行复核检测,可以有效检测出识别结果中存在的错误结果,提高识别结果的准确度,检测快捷有效,检测的准确率高。
请参阅图7,图7为本公开实施例提供的另一种识别结果检测方法的流程图。如图7中所示,本公开实施例提供的识别结果检测方法包括:
S701:获取从采集图像中检测出的至少三个标注物品,以及从所述采集图像中识别出的每个标注物品的物品图像特征、分类标签和在所述采集图像中被标注出的标注位置。
S702:基于所述标注位置,从所述至少三个标注物品中筛选出存在单独摆放情况的目标物品。
S703:基于所述物品图像特征和所述标注位置,从所述至少三个标注物品中除所述目标物品之外的其他标注物品中确定出参照物品,所述参照物品与所述目标物品在所述采集图像中的间隔距离小于或等于异常检测距离,所述参照物品与所述目标物品之间的第一图像相似度大于第二图像相似度,所述第二图像相似度为与所述目标物品之间的间隔距离在所述异常检测距离内的、除所述参照物品之外的物品与所述目标物品之间的图像相似度。
S704:基于所述目标物品的分类标签、所述参照物品的分类标签、所述目标物品的物品图像特征以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误。
其中,步骤S701至步骤S704的描述可以参照步骤S201至步骤S204的描述,并且可以达到相同的技术效果和解决相同的技术问题,在此不做赘述。
S705:在确定出所述目标物品的分类标签识别错误的情况下,基于所述目标物品的物品图像特征,以及预先存储的各个存储分类标签下的真实物品的真实物品图像特征,确定所述目标物品的修正分类标签。
该步骤中,在确定出所述目标物品的分类标签识别错误的情况下,为了改善识别错误,可以对所述目标物品的目标分类标签进行修正,为此可以获取预先存储的各个存储分类标签下的真实物品的真实物品图像特征,通过各个真实物品的真实物品图像特征判断与所述目标物品最为相似的真实物品,基于该真实物品对应的存储分类标签,可以确定所述目标物品的修正分类标签。
具体的,在一些可能的实施方式中,所述基于所述目标物品的物品图像特征,以及预先存储的各个存储分类标签下的真实物品的真实物品图像特征,确定所述目标物品的修正分类标签,包括:
获取预先存储的各个存储分类标签,以及在各个存储分类标签下的真实物品的真实物品图像特征;
基于所述目标物品的物品图像特征和获取的各个真实物品图像特征,计算所述目标物品与各个真实物品之间的第四图像相似度;
将各个真实物品对应的第四图像相似度中相似度最大的第四图像相似度对应的存储分类标签确定为所述目标物品的修正分类标签。
该步骤中,可以先获取预先存储的各个存储分类标签,以及在各个存储分类标签下的真实物品的真实物品图像特征,然后基于所述目标物品的物品图像特征和获取的各个真实物品图像特征,可以计算得到目标物品与各个真实物品之间的第四图像相似度,接着将各个真实物品对应的第四图像相似度进行比较,从中确定出相似度最大的第四图像相似度,然后确定相似度最大的第四图像相似度对应的真实物品,进而确定该真实物品对应的存储分类标签,从而将该存储分类标签确定为所述目标物品的修正分类标签。
可以理解,相似度最大的第四图像相似度对应的真实物品与所述目标物品最为相似,因此将该真实物品对应的存储分类标签作为所述目标物品对应的修正分类标签。
可选地,确定所述目标物品和所述真实物品之间的第四图像相似度的方式,可以通过对所述目标物品和所述真实物品进行余弦相似度计算的方式,得到对应于所述目标物品和所述真实物品的相似度矩阵,可以理解,所述相似度矩阵即表示所述目标物品和所述真实物品之间的第四图像相似度。
这样,可以通过计算目标物品与各个真实物品之间的图像相似度,确定与目标物品相似度最高的真实物品,从而将相似度最高的真实物品对应的存储分类标签确定为所述目标物品的修正分类标签,以对目标物品的当前分类标签进行修正,从而减少由于采集图像的识别误差导致的订单错误,提高订单准确率。
示例性的,承接上述示例,在确定物品9为目标物品、并且物品9对应的分类标签A识别错误的情况下,可以获取预先存储的各个存储分类标签,以及在各个存储分类标签下的真实物品的真实物品图像特征,然后计算物品9与各个真实物品之间的图像相似度,若物品9与物品20对应的相似度最大,将物品20对应的分类标签C确定为物品9的修正分类标签。
S706:使用所述修正分类标签更新从所述采集图像中识别出的所述目标物品的分类标签。
该步骤中,在确定所述修正分类标签的情况下,可以按照所述修正分类标签对所述目标物品进行更新,使得所述目标物品的目标分类标签更新为所述修正分类标签。
示例性的,承接上述示例,在确定物品20对应的标签C确定为物品9的修正分类标签,可以将物品9对应的分类标签由分类标签A调整为分类标签C。
本公开实施例提供的识别结果检测方法,对于从采集图像中检测出的至少三个标注物品,通过标注物品的标注位置,可以从至少三个标注物品中筛选出存在单独摆放情况的目标物品和针对目标物品的参照物品,进而借助目标物品被识别出的分类标签、参照物品被识别出的分类标签和物品图像特征、以及二者之间的相似度,以此检测目标物品的分类标签是否识别错误。
这样,通过对采集图像进行物品识别后增加后处理流程的方式,对得到的识别结果进行复核检测,可以有效检测出识别结果中存在的错误结果,提高识别结果的准确度,检测快捷有效,检测的准确率高,进一步的,可以对存在识别错误的物品进行修正,有助于减少由于采集图像的识别误差导致的订单错误,提高订单准确率。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与识别结果检测方法对应的识别结果检测装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述识别结果检测方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
请参阅图8和图9,图8为本公开实施例提供的一种识别结果检测装置的示意图之一,图9为本公开实施例提供的一种识别结果检测装置的示意图之二。如图8中所示,本公开实施例提供的识别结果检测装置800包括:
数据获取模块810,用于获取从采集图像中检测出的至少三个标注物品,以及从所述采集图像中识别出的每个标注物品的物品图像特征、分类标签和在所述采集图像中被标注出的标注位置;
物品筛选模块820,用于基于所述标注位置,从所述至少三个标注物品中筛选出存在单独摆放情况的目标物品;
物品确定模块830,用于基于所述物品图像特征和所述标注位置,从所述至少三个标注物品中除所述目标物品之外的其他标注物品中确定出参照物品,所述参照物品与所述目标物品在所述采集图像中的间隔距离小于或等于异常检测距离,所述参照物品与所述目标物品之间的第一图像相似度大于第二图像相似度,所述第二图像相似度为与所述目标物品之间的间隔距离在所述异常检测距离内的、除所述参照物品之外的物品与所述目标物品之间的图像相似度;
物品判断模块840,用于基于所述目标物品的分类标签、所述参照物品的分类标签、所述目标物品的物品图像特征以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误。
一种可选的实施方式中,所述物品筛选模块820具体用于:
按照各个标注物品的标注位置,对所述至少三个标注物品按照在采集环境中的预设摆放阵列进行排列;
从排列完毕的所述至少三个标注物品中,确定出在所述预设摆放阵列中单独存在的物品;
将确定出的物品作为待检测的目标物品。
一种可选的实施方式中,所述物品确定模块830具体用于:
针对所述至少三个标注物品中除所述目标物品之外的其他标注物品,基于所述其他标注物品对应的标注位置和所述目标物品对应的标注位置,确定所述其他标注物品与所述目标物品在所述采集图像中的间隔距离;
基于各个所述其他标注物品对应的间隔距离,确定针对所述目标物品的异常检测距离;
根据所述异常检测距离,在各个所述其他标注物品中确定候选物品,所述侯选物品与所述目标物品的间隔距离小于或等于所述异常检测距离;
基于所述候选物品对应的物品图像特征和所述目标物品对应的物品图像特征,确定所述候选物品与所述目标物品之间的第二图像相似度;
将确定出的至少一个候选物品中与所述目标物品之间的第二图像相似度最大的候选物品作为所述目标物品的参照物品,并将确定出的该候选物品对应的第二图像相似度作为所述参照物品的第一图像相似度。
一种可选的实施方式中,所述物品确定模块830用于通过以下步骤确定所述异常检测距离:
基于各个所述其他标注物品对应的所述间隔距离从小到大的排列顺序和获取的预设参照数量,从各个所述其他标注物品中确定出在所述排列顺序中与所述预设参照数量对应的排列次序处的第一标注物品;
将所述第一标注物品与所述目标物品之间的间隔距离作为异常检测距离。
一种可选的实施方式中,所述物品判断模块840具体用于:
获取预先存储的、在所述目标分类标签下的真实物品的真实物品图像特征;
基于所述目标物品的物品图像特征和所述真实物品图像特征,确定所述目标物品和所述真实物品之间的第三图像相似度;
基于所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度,确定所述目标物品的分类标签是否识别错误。
一种可选的实施方式中,所述物品判断模块840在用于基于所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度,确定所述目标物品的分类标签是否识别错误时,具体用于:
检测所述目标物品的分类标签与所述参照物品的分类标签是否一致,以及检测所述第一图像相似度是否大于所述第三图像相似度;
在所述目标物品的分类标签与所述参照物品的分类标签不一致、并且所述第一图像相似度大于所述第三图像相似度的情况下,确定所述目标物品的分类标签识别错误。
一种可选的实施方式中,如图9中所示,所述识别结果检测装置800还包括物品修正模块850,所述物品修正模块850用于:
在确定出所述目标物品的分类标签识别错误的情况下,基于所述目标物品的物品图像特征,以及预先存储的各个存储分类标签下的真实物品的真实物品图像特征,确定所述目标物品的修正分类标签;
使用所述修正分类标签更新从所述采集图像中识别出的所述目标物品的分类标签。
一种可选的实施方式中,所述物品修正模块850在用于基于所述目标物品的物品图像特征,以及预先存储的各个存储分类标签下的真实物品的真实物品图像特征,确定所述目标物品的修正分类标签时,具体用于:
获取预先存储的各个存储分类标签,以及在各个存储分类标签下的真实物品的真实物品图像特征;
基于所述目标物品的物品图像特征和获取的各个真实物品图像特征,计算所述目标物品与各个真实物品之间的第四图像相似度;
将各个真实物品对应的第四图像相似度中相似度最大的第四图像相似度对应的存储分类标签确定为所述目标物品的修正分类标签。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例提供的识别结果检测装置,对于从采集图像中检测出的至少三个标注物品,通过标注物品的标注位置,可以从至少三个标注物品中筛选出存在单独摆放情况的目标物品和针对目标物品的参照物品,进而借助目标物品被识别出的分类标签、参照物品被识别出的分类标签和物品图像特征、以及二者之间的相似度,以此检测目标物品的分类标签是否识别错误。
这样,通过对采集图像进行物品识别后增加后处理流程的方式,对得到的识别结果进行复核检测,可以有效检测出识别结果中存在的错误结果,提高识别结果的准确度,检测快捷有效,检测的准确率高,进一步的,可以对存在识别错误的物品进行修正,有助于减少由于采集图像的识别误差导致的订单错误,提高订单准确率。
对应于图2和图7中的识别结果检测方法,本公开实施例还提供了一种电子设备1000,如图10所示,为本公开实施例提供的电子设备1000结构示意图,包括:
处理器1010、存储器1020、和总线1030;存储器1020用于存储执行指令,包括内存1021和外部存储器1022;这里的内存1021也称内存储器,用于暂时存放处理器1010中的运算数据,以及与硬盘等外部存储器1022交换的数据,处理器1010通过内存1021与外部存储器1022进行数据交换,当所述电子设备1000运行时,所述处理器1010与所述存储器1020之间通过总线1030通信,使得所述处理器1010可以执行上述的识别结果检测方法的步骤。
可以理解的是,本申请实施例示意的结构并不构成对电子设备1000的具体限定。在本申请另一些实施例中,电子设备1000可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的识别结果检测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品包括有计算机指令,所述计算机指令被处理器执行时可以执行上述方法实施例中所述的识别结果检测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种识别结果检测方法,其特征在于,所述方法包括:
获取从采集图像中检测出的至少三个标注物品,以及从所述采集图像中识别出的每个标注物品的物品图像特征、分类标签和在所述采集图像中被标注出的标注位置;
基于所述标注位置,从所述至少三个标注物品中筛选出存在单独摆放情况的目标物品;
基于所述物品图像特征和所述标注位置,从所述至少三个标注物品中除所述目标物品之外的其他标注物品中确定出参照物品,所述参照物品与所述目标物品在所述采集图像中的间隔距离小于或等于异常检测距离,所述参照物品与所述目标物品之间的第一图像相似度大于第二图像相似度,所述第二图像相似度为与所述目标物品之间的间隔距离在所述异常检测距离内的、除所述参照物品之外的物品与所述目标物品之间的图像相似度;
基于所述目标物品的分类标签、所述参照物品的分类标签、所述目标物品的物品图像特征以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误。
2.根据权利要求1所述的方法,其特征在于,所述基于所述标注位置,从所述至少三个标注物品中筛选出存在单独摆放情况的目标物品,包括:
按照各个标注物品的标注位置,对所述至少三个标注物品按照在采集环境中的预设摆放阵列进行排列;
从排列完毕的所述至少三个标注物品中,确定出在所述预设摆放阵列中单独存在的物品;
将确定出的物品作为待检测的目标物品。
3.根据权利要求1所述的方法,其特征在于,所述基于所述物品图像特征和所述标注位置,从所述至少三个标注物品中除所述目标物品之外的其他标注物品中确定出参照物品,包括:
针对所述至少三个标注物品中除所述目标物品之外的其他标注物品,基于所述其他标注物品对应的标注位置和所述目标物品对应的标注位置,确定所述其他标注物品与所述目标物品在所述采集图像中的间隔距离;
基于各个所述其他标注物品对应的间隔距离,确定针对所述目标物品的异常检测距离;
根据所述异常检测距离,在各个所述其他标注物品中确定候选物品,所述侯选物品与所述目标物品的间隔距离小于或等于所述异常检测距离;
基于所述候选物品对应的物品图像特征和所述目标物品对应的物品图像特征,确定所述候选物品与所述目标物品之间的第二图像相似度;
将确定出的至少一个候选物品中与所述目标物品之间的第二图像相似度最大的候选物品作为所述目标物品的参照物品,并将确定出的该候选物品对应的第二图像相似度作为所述参照物品的第一图像相似度。
4.根据权利要求3所述的方法,其特征在于,通过以下步骤确定所述异常检测距离:
基于各个所述其他标注物品对应的所述间隔距离从小到大的排列顺序和获取的预设参照数量,从各个所述其他标注物品中确定出在所述排列顺序中与所述预设参照数量对应的排列次序处的第一标注物品;
将所述第一标注物品与所述目标物品之间的间隔距离作为异常检测距离。
5.根据权利要求1所述的方法,其特征在于,所述基于所述目标分类标签、所述参照物品的参照分类标签、所述目标物品的物品图像特征、以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误,包括:
获取预先存储的、在所述目标分类标签下的真实物品的真实物品图像特征;
基于所述目标物品的物品图像特征和所述真实物品图像特征,确定所述目标物品和所述真实物品之间的第三图像相似度;
基于所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度,确定所述目标物品的分类标签是否识别错误。
6.根据权利要求5所述的方法,其特征在于,所述基于所述目标物品的分类标签、所述参照物品的分类标签、所述第一图像相似度和所述第三图像相似度,确定所述目标物品的分类标签是否识别错误,包括:
检测所述目标物品的分类标签与所述参照物品的分类标签是否一致,以及检测所述第一图像相似度是否大于所述第三图像相似度;
在所述目标物品的分类标签与所述参照物品的分类标签不一致、并且所述第一图像相似度大于所述第三图像相似度的情况下,确定所述目标物品的分类标签识别错误。
7.根据权利要求1所述的方法,其特征在于,在所述基于所述目标物品的分类标签、所述参照物品的分类标签、所述目标物品的物品图像特征以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误之后,所述方法还包括:
在确定出所述目标物品的分类标签识别错误的情况下,基于所述目标物品的物品图像特征,以及预先存储的各个存储分类标签下的真实物品的真实物品图像特征,确定所述目标物品的修正分类标签;
使用所述修正分类标签更新从所述采集图像中识别出的所述目标物品的分类标签。
8.根据权利要求7所述的方法,其特征在于,所述基于所述目标物品的物品图像特征,以及预先存储的各个存储分类标签下的真实物品的真实物品图像特征,确定所述目标物品的修正分类标签,包括:
获取预先存储的各个存储分类标签,以及在各个存储分类标签下的真实物品的真实物品图像特征;
基于所述目标物品的物品图像特征和获取的各个真实物品图像特征,计算所述目标物品与各个真实物品之间的第四图像相似度;
将各个真实物品对应的第四图像相似度中相似度最大的第四图像相似度对应的存储分类标签确定为所述目标物品的修正分类标签。
9.一种识别结果检测装置,其特征在于,所述装置包括:
数据获取模块,用于获取从采集图像中检测出的至少三个标注物品,以及从所述采集图像中识别出的每个标注物品的物品图像特征、分类标签和在所述采集图像中被标注出的标注位置;
物品筛选模块,用于基于所述标注位置,从所述至少三个标注物品中筛选出存在单独摆放情况的目标物品;
物品确定模块,用于基于所述物品图像特征和所述标注位置,从所述至少三个标注物品中除所述目标物品之外的其他标注物品中确定出参照物品,所述参照物品与所述目标物品在所述采集图像中的间隔距离小于或等于异常检测距离,所述参照物品与所述目标物品之间的第一图像相似度大于第二图像相似度,所述第二图像相似度为与所述目标物品之间的间隔距离在所述异常检测距离内的、除所述参照物品之外的物品与所述目标物品之间的图像相似度;
物品判断模块,用于基于所述目标物品的分类标签、所述参照物品的分类标签、所述目标物品的物品图像特征以及所述第一图像相似度,确定所述目标物品的分类标签是否识别错误。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至8中任一项所述的识别结果检测方法的步骤。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至8中任一项所述的识别结果检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210531076.1A CN114926763A (zh) | 2022-05-16 | 2022-05-16 | 一种识别结果检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210531076.1A CN114926763A (zh) | 2022-05-16 | 2022-05-16 | 一种识别结果检测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114926763A true CN114926763A (zh) | 2022-08-19 |
Family
ID=82807847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210531076.1A Withdrawn CN114926763A (zh) | 2022-05-16 | 2022-05-16 | 一种识别结果检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114926763A (zh) |
-
2022
- 2022-05-16 CN CN202210531076.1A patent/CN114926763A/zh not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11638490B2 (en) | Method and device for identifying product purchased by user and intelligent shelf system | |
CN111061890B (zh) | 一种标注信息验证的方法、类别确定的方法及装置 | |
CN108389316B (zh) | 自动售货方法、装置和计算机可读存储介质 | |
CN107403128B (zh) | 一种物品识别方法及装置 | |
CN109726759B (zh) | 无人售货方法、装置、系统、电子设备及计算机可读介质 | |
US11669843B2 (en) | Automated planogram anomaly detection | |
JP2017016539A (ja) | 商品棚認識装置、商品棚認識方法、プログラム及び画像処理装置 | |
CN108537166B (zh) | 确定货架浏览量以及分析浏览量的方法和装置 | |
CN111340126A (zh) | 物品识别方法、装置、计算机设备和存储介质 | |
Tonioni et al. | Product recognition in store shelves as a sub-graph isomorphism problem | |
US10706658B2 (en) | Vending machine recognition apparatus, vending machine recognition method, and recording medium | |
CN112330383A (zh) | 用于基于可视元素的物品推荐的设备及方法 | |
CN111310706B (zh) | 一种商品价签识别方法及装置、电子设备、存储介质 | |
CN110197561A (zh) | 一种商品识别方法、装置及系统 | |
US11354549B2 (en) | Method and system for region proposal based object recognition for estimating planogram compliance | |
US9811537B2 (en) | Product identification via image analysis | |
JP2019046484A (ja) | 画像認識システム | |
JP2019045909A (ja) | 画像認識システム | |
CN113935774A (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
US20210117987A1 (en) | Fraud estimation system, fraud estimation method and program | |
CN110490237A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN113706227A (zh) | 一种货架商品推荐方法及装置 | |
Chen et al. | Self-supervised multi-category counting networks for automatic check-out | |
US20210166028A1 (en) | Automated product recognition, analysis and management | |
CN114926763A (zh) | 一种识别结果检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220819 |
|
WW01 | Invention patent application withdrawn after publication |