CN117422937A - 一种智能购物车状态识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种智能购物车状态识别方法、装置、设备及存储介质，涉及智能购物技术领域，用于解决能耗高和智能购物车状态识别精度较低的问题。该方法包括：在对目标新增商品扫码之后，开启图像采集设备，获取一张背景图像和两张商品图像；其中，背景图像为在红外传感器发送触发信息之前所采集的图像，商品图像为在红外传感器发送触发信息之后所采集的图像；根据两张商品图像各自对应的相似度平均值，从两张商品图像中确定出一张目标商品图像；根据一张背景图像和一张目标商品图像，确定智能购物车的状态。因此，在降低能耗的同时，还可以大大提高智能购物车状态的识别精度，以达到防作弊的目的。

Description

一种智能购物车状态识别方法、装置、设备及存储介质

技术领域

本申请涉及智能购物技术领域，提供一种智能购物车状态识别方法、装置、设备及存储介质。

背景技术

近年来，随着人工智能、大数据和物联网等技术的发展，无人零售迅猛发展，然而，经过多年探索发现成本不成比例，其中，跨摄像头跟踪、万种商品识别以及防作弊等都待发展，使得无人零售陷入发展瓶颈。在此基础上，智慧购物车的出现让人们看到了希望，然而，在现有技术中，智慧购物车常采用背景建模方法来实现智能购物，然而，这种方法导致数据处理能力要求高、芯片性能要求高以及电池能耗高，进而，使得难以在现实场景中进行布设。此外，背景建模方法对场景也有限制，类似于购物车抖动等背景变化过大的情况，则容易导致目标定位不准，从而影响智能购物车状态的识别精度。

因此，如何在降低能耗的同时，提高智能购物车状态的识别精度是目前亟待解决的问题。

发明内容

本申请提供一种智能购物车状态识别方法、装置、设备及存储介质，用于解决能耗高和智能购物车状态识别精度较低的问题。

一方面，提供一种智能购物车状态识别方法，所述方法包括：

在对目标新增商品扫码之后，开启图像采集设备，获取一张背景图像和两张商品图像；其中，所述背景图像为在红外传感器发送触发信息之前所采集的图像，所述商品图像为在红外传感器发送触发信息之后所采集的图像；

根据所述两张商品图像各自对应的相似度平均值，从所述两张商品图像中确定出一张目标商品图像；

根据所述一张背景图像和所述一张目标商品图像，确定所述智能购物车的状态；其中，所述状态包括新增商品状态、无变化状态以及取出商品状态。

可选的，在获取一张背景图像和两张商品图像之后，所述方法还包括：

采用训练好的目标检测模型对所述背景图像进行目标检测，确定所述背景图像对应的多个商品检测框；

采用训练好的特征提取模型对所述多个商品检测框中的商品进行特征提取，获得多个第一商品特征向量；

针对任一个第一商品特征向量，计算所述任一个第一商品特征向量分别与已扫码的多个商品特征向量之间的相似度，获得所述任一个第一商品特征向量对应的多个第一相似度值；

针对任一个第一相似度值，确定所述任一个第一相似度值是否大于预设相似度阈值；

若确定所述任一个第一相似度值大于预设相似度阈值，则确定所述背景图像中存在所述任一个第一相似度值对应的商品。

可选的，所述根据所述两张商品图像各自对应的相似度平均值，从所述两张商品图像中确定出一张目标商品图像的步骤，包括：

针对任一张商品图像，依次采用所述训练好的目标检测模型和所述训练好的特征提取模型对所述任一张商品图像进行处理，获得多个第二商品特征向量；

计算所述多个第二商品特征向量分别与已扫码的多个商品特征向量之间的相似度，获得所述任一张商品图像对应的多个第二相似度值；

对所述多个第二相似度值求平均，获得所述任一张商品图像对应的相似度平均值；

将所述两张商品图像中相似度平均值最高的商品图像，确定为所述目标商品图像。

可选的，在根据所述两张商品图像各自对应的相似度平均值，从所述两张商品图像中确定出一张目标商品图像之后，所述方法还包括：

针对所述目标商品图像对应的任一个第二相似度值，确定所述任一个第二相似度值是否大于预设相似度阈值；

若确定所述任一个第二相似度值大于预设相似度阈值，则确定所述目标商品图像中存在所述任一个第二相似度值对应的商品。

可选的，所述根据所述一张背景图像和所述一张目标商品图像，确定所述智能购物车的状态的步骤，包括：

针对任一商品位置，若确定所述背景图像和所述目标商品图像中均存在同一商品，则确定所述智能购物车的状态为无变化状态；

针对任一商品位置，若确定所述背景图像中不存在商品，但所述目标商品图像中存在商品，则确定所述智能购物车的状态为新增商品状态；

针对任一商品位置，若确定所述背景图像中存在商品，但所述目标商品图像中不存在商品，则确定所述智能购物车的状态为取出商品状态。

可选的，所述训练好的目标检测模型是基于YOLOX-m网络模型获得的。

可选的，所述训练好的特征提取模型是基于YOLO5-s网络模型获得的。

一方面，提供一种智能购物车状态识别装置，所述装置包括：

图像获取单元，用于在对目标新增商品扫码之后，开启图像采集设备，获取一张背景图像和两张商品图像；其中，所述背景图像为在红外传感器发送触发信息之前所采集的图像，所述商品图像为在红外传感器发送触发信息之后所采集的图像；

目标商品图像确定单元，用于根据所述两张商品图像各自对应的相似度平均值，从所述两张商品图像中确定出一张目标商品图像；

状态确定单元，用于根据所述一张背景图像和所述一张目标商品图像，确定所述智能购物车的状态；其中，所述状态包括新增商品状态、无变化状态以及取出商品状态。

一方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种方法。

一方面，提供一种计算机存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法。

与现有技术相比，本申请的有益效果为：

在本申请实施例中，在对智能购物车状态进行识别时，首先，在对目标新增商品扫码之后，可以开启图像采集设备，来获取一张背景图像和两张商品图像；然后，可以根据两张商品图像各自对应的相似度平均值，来从两张商品图像中确定出一张目标商品图像；最后，可以根据一张背景图像和一张目标商品图像，来确定智能购物车的状态；其中，状态包括新增商品状态、无变化状态以及取出商品状态。因此，在本申请实施例中，由于只在对目标新增商品扫码之后，才会开启图像采集设备来采集图像，所以，相比于现有技术中需要“实时开启摄像头”来进行算法处理，可以大大降低电池能耗。此外，由于在进行智能购物车状态判定时，只根据一张背景图像和两张目标商品图像，便可以完成算法流程判断，所以，在降低能耗的同时，还可以大大提高智能购物车状态的识别精度，以达到防作弊的目的。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的智能购物车状态识别方法的一种流程示意图；

图3为本申请实施例提供的确定背景图像中具体商品的一种流程示意图；

图4为本申请实施例提供的确定商品图像相似度平均值的一种流程示意图；

图5为本申请实施例提供的确定目标商品图像中具体商品的一种流程示意图；

图6为本申请实施例提供的智能购物车状态识别装置的一种示意图。

图中标记：10-智能购物车状态识别设备，101-处理器，102-存储器，103-I/O接口，104-数据库，60-智能购物车状态识别装置，601-图像获取单元，602-目标商品图像确定单元，603-状态确定单元，604-商品确定单元。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

近年来，随着人工智能、大数据和物联网等技术的发展，无人零售迅猛发展，然而，经过多年探索发现成本不成比例，其中，跨摄像头跟踪、万种商品识别以及防作弊等都待发展，使得无人零售陷入发展瓶颈。在此基础上，智慧购物车的出现让人们看到了希望，然而，在现有技术中，智慧购物车常采用背景建模方法来实现智能购物，然而，这种方法导致数据处理能力要求高、芯片性能要求高以及电池能耗高，进而，使得难以在现实场景中进行布设。此外，背景建模方法对场景也有限制，类似于购物车抖动等背景变化过大的情况，则容易导致目标定位不准，从而影响智能购物车状态的识别精度。

基于此，本申请实施例提供一种智能购物车状态识别方法，在该方法中，首先，在对目标新增商品扫码之后，可以开启图像采集设备，来获取一张背景图像和两张商品图像；然后，可以根据两张商品图像各自对应的相似度平均值，来从两张商品图像中确定出一张目标商品图像；最后，可以根据一张背景图像和一张目标商品图像，来确定智能购物车的状态；其中，状态包括新增商品状态、无变化状态以及取出商品状态。因此，在本申请实施例中，由于只在对目标新增商品扫码之后，才会开启图像采集设备来采集图像，所以，相比于现有技术中需要“实时开启摄像头”来进行算法处理，可以大大降低电池能耗。此外，由于在进行智能购物车状态判定时，只根据一张背景图像和两张目标商品图像，便可以完成算法流程判断，所以，在降低能耗的同时，还可以大大提高智能购物车状态的识别精度，以达到防作弊的目的。

在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

如图1所示，为本申请实施例提供的一种应用场景示意图。该应用场景中可以包括智能购物车状态识别设备10。

其中，智能购物车状态识别设备10可以用于对智能购物车的状态进行识别，例如，可以为个人计算机（Personal Computer，PC）、服务器与手提电脑等。智能购物车状态识别设备10可包括一个或者多个处理器101、存储器102、I/O接口103以及数据库104。具体的，处理器101可以为中央处理单元（central processing unit，CPU），或者为数字处理单元等等。存储器102可以是易失性存储器（volatile memory），例如随机存取存储器（random-access memory，RAM）；存储器102也可以是非易失性存储器（non-volatile memory），例如只读存储器，快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid-state drive，SSD）；或者存储器102是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器102可以是上述存储器的组合。存储器102中可以存储本申请实施例提供的智能购物车状态识别方法的部分程序指令，这些程序指令被处理器101执行时能够用以实现本申请实施例提供的智能购物车状态识别方法的步骤，以解决能耗高和智能购物车状态识别精度较低的问题。数据库104可以用于存储本申请实施例提供的方案中涉及到的背景图像、商品图像、训练好的目标检测模型、训练好的特征提取模型以及预设相似度阈值等数据。

在本申请实施例中，智能购物车状态识别设备10可以通过I/O接口103获取一张背景图像和两张商品图像，然后，智能购物车状态识别设备10的处理器101会按照存储器102中本申请实施例提供的智能购物车状态识别方法的程序指令来在降低能耗的同时，提高智能购物车状态识别精度。此外，还可以将背景图像、商品图像、训练好的目标检测模型、训练好的特征提取模型以及预设相似度阈值等数据存储于数据库104中。

当然，本申请实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其他可能的应用场景，本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。下面，将结合附图对本申请实施例的方法进行介绍。

如图2所示，为本申请实施例提供的智能购物车状态识别方法的一种流程示意图，该方法可以通过图1中的智能购物车状态识别设备10来执行，具体的，该方法的流程介绍如下。

步骤201：在对目标新增商品扫码之后，开启图像采集设备，获取一张背景图像和两张商品图像。

在本申请实施例中，背景图像为在红外传感器发送触发信息之前所采集的图像，商品图像为在红外传感器发送触发信息之后所采集的图像。

具体的，当用户拿着目标新增商品对准扫码枪之后，便可以调用扫码枪来获取该目标新增商品上的唯一二维码或条形码。进一步的，为了降低电池能耗，扫码枪可以立刻通过串口（或内部I/O接口），来通知图像采集设备（例如，摄像头）的主芯片采集一张背景图像，即，在扫码后，才会开启图像采集设备，来获取一张背景图像（拍摄完毕之后，又关闭图像采集设备），以达到降低电池能耗的目的。其中，图像采集设备可以固定在购物车上，以完整拍摄到智能购物车里面的情况；扫码是在智能购物车外面完成的。此外，由于是在“毫秒级”内触发图像采集设备进行背景图像采集，所以，背景图像中是不存在目标新增商品的。

接下来，当目标新增商品放入智能购物车之后，智能购物车上安装的红外传感器（例如，毫米雷达传感器）便会检测到有人在智能购物车中进行操作，进而，该红外传感器会向图像采集设备发送触发信息，基于该触发信息，图像采集设备则会对智能购物车进行图像采集，以获取第一张商品图像。其中，在扫码后，可以要求10秒内放入商品。

然后，为了避免在图像采集设备触发瞬间因遮挡问题（手臂遮挡、商品角度拍摄不好或者商品处于底部被遮挡）而对智能购物车状态识别精度产生较大影响，在本申请实施例中，在预设时间段（例如，2秒）后，还可以再对智能购物车进行图像采集，以获取第二张商品图像，以辅助第一张商品图像进行智能购物车状态识别。

步骤202：根据两张商品图像各自对应的相似度平均值，从两张商品图像中确定出一张目标商品图像。

由于商品图像中可能会存在遮挡的问题，因此，在本申请实施例中，为了提高智能购物车状态识别精度，可以通过判定两张商品图像中，哪一张商品图像的遮挡情况越轻，来从两张商品图像中确定出目标商品图像。

具体的，由于遮挡情况越轻，则商品图像中的商品与已扫码的多个商品之间的商品特征相似度就越高，因此，综合考虑到智能购物车中可能会存在多个商品，在本申请实施例中，在计算出商品图像中的多个商品的商品特征相似度之后，便可以直接根据商品图像各自对应的相似度平均值，来从在两张商品图像中确定出目标商品图像。

步骤203：根据一张背景图像和一张目标商品图像，确定智能购物车的状态。

在本申请实施例中，状态包括新增商品状态、无变化状态以及取出商品状态。

具体的，由于智能购物车中可能会存在多个商品，所以，在确定智能购物车的状态时，针对智能购物车中的任一商品位置，若确定背景图像和目标商品图像中均存在同一商品，则可以确定智能购物车的状态为无变化状态。即，智能购物车内既没有新增商品，也没有取出商品；针对任一商品位置，若确定背景图像中不存在商品，但目标商品图像中存在商品，则可以确定智能购物车的状态为新增商品状态；针对任一商品位置，若确定背景图像中存在商品，但目标商品图像中不存在商品，则确定智能购物车的状态为取出商品状态。因此，在降低能耗的同时，还可以大大提高智能购物车状态的识别精度，以达到防作弊的目的。

在一种可能的事实方式中，在获取一张背景图像和两张商品图像之后，为了确定出背景图像中具体存在的商品，在本申请实施例中，如图3所示，为本申请实施例提供的确定背景图像中具体商品的一种流程示意图，该方法可以通过图1中的智能购物车状态识别设备10来执行，具体的，该方法的流程介绍如下。

步骤301：采用训练好的目标检测模型对背景图像进行目标检测，确定背景图像对应的多个商品检测框。

在本申请实施例中，训练好的目标检测模型可以是基于YOLOX-m网络模型获得的，且为了不漏掉目标，可以将置信度阈值设置为0.35。此外，商品检测框可以为目标外接矩形。

表1

如表1所示，为本申请实施例提供的数据集的一种细节表，其中，上述表1中的“W”为万，“k”为千。具体的，可以将objects365数据集、RPC数据集和自主收集的数据集中的数据混合在一起，把所有检测框修改为前景，融合为1个类别，以对YOLOX-m网络模型进行训练，从而，获得训练好的目标检测模型。

步骤302：采用训练好的特征提取模型对多个商品检测框中的商品进行特征提取，获得多个第一商品特征向量。

在本申请实施例中，背景图像中的一个商品对应一个商品检测框，一个商品检测框对应一个第一商品特征向量，因此，由于背景图像中可能会存在多个商品，所以，采用训练好的特征提取模型对多个商品检测框中的商品进行特征提取，可以对应获得多个第一商品特征向量。

具体的，训练好的特征提取模型可以是基于YOLO5-s网络模型获得的。具体的，可以采用YOLO5-s的分类网络做作为特征提取网络；可以采用跨层均衡函数（Cross-LayerEqualization，CLE）来替换特征提取网络中的激活函数relu，以无损失量化加速精度；可以将输出层改512维，损失函数（Loss Function）可以选用交叉熵损失（Cross Entropy Loss）和三元组损失（Triplet Loss），以达到增大类间差异、减少类内差异的目的。

进一步的，在对YOLO5-s网络模型进行训练时，可以以分类损失和基于角度的三元组损失来指导网络进行优化。具体的，基于原始的Triplet Loss（困难三元组损失），可以将优化目标从“L2欧几里得空间”更换为“余弦空间”，并加入了锚点（anchor）与正/负样本（positive/negtive）之间的硬性距离约束，以让训练与测试的目标更加接近，从而，达到提升模型泛化能力的目的。

由于实际拍摄时，目标主体可能出现一定的旋转而不一定能保持正立状态，因此，可以通过加入适当的“随机旋转”来进行数据增强，以提升特征提取模型在真实场景中的检索能力。此外，检索时采用cos余弦相似。

步骤303：针对任一个第一商品特征向量，计算任一个第一商品特征向量分别与已扫码的多个商品特征向量之间的相似度，获得任一个第一商品特征向量对应的多个第一相似度值。

步骤304：针对任一个第一相似度值，确定任一个第一相似度值是否大于预设相似度阈值。

在本申请实施例中，可以将预设相似度阈值设置为0.5。

步骤305：若确定任一个第一相似度值大于预设相似度阈值，则确定背景图像中存在任一个第一相似度值对应的商品。

在本申请实施例中，若确定出第一相似度值大于预设相似度阈值，则可以确定背景图像中存在第一相似度值对应的商品，即，便可以认为已扫码商品和已加入商品相匹配。进而，为了便于后续进行商品图处理，可以对这些商品特征、box框等信息进行存储。

当然，若确定第一商品特征向量对应的多个第一相似度值均不大于预设相似度阈值，则可以认为已加入商品有误（智能购物车多了未扫码的商品），进而，可以向用户发送提示信息，以提示用户拿出误加入的商品，或重新放入已扫码商品。

在一种可能的实施方式中，为了确定出商品图像的相似度平均值，在本申请实施例中，如图4所示，为本申请实施例提供的确定商品图像相似度平均值的一种流程示意图，该方法可以通过图1中的智能购物车状态识别设备10来执行，具体的，该方法的流程介绍如下。

步骤401：针对任一张商品图像，依次采用训练好的目标检测模型和训练好的特征提取模型对任一张商品图像进行处理，获得多个第二商品特征向量。

在本申请实施例中，商品图像中的一个商品对应一个商品检测框，一个商品检测框对应一个第一商品特征向量，因此，由于商品图像中可能会存在多个商品，所以，依次采用训练好的目标检测模型和训练好的特征提取模型对任一张商品图像进行处理，可以对应获得多个第二商品特征向量。

具体的，与前述类似，训练好的目标检测模型同样是基于YOLOX-m网络模型获得的，训练好的特征提取模型同样是基于YOLO5-s网络模型获得的。

具体的，针对任一张商品图像，首先可以采用训练好的目标检测模型，来对该商品图像进行目标检测，以确定该商品图像对应的多个商品检测框；然后，可以采用训练好的特征提取模型，来对这多个商品检测框中的商品进行特征提取，以获得该商品图像对应的多个第二商品特征向量。

步骤402：计算多个第二商品特征向量分别与已扫码的多个商品特征向量之间的相似度，获得任一张商品图像对应的多个第二相似度值。

在本申请实施例中，针对任一个第二商品特征向量，可以计算任一个第二商品特征向量分别与已扫码的多个商品特征向量之间的相似度，以获得该任一个第二商品特征向量对应的多个第二相似度值。

步骤403：对多个第二相似度值求平均，获得任一张商品图像对应的相似度平均值。

在本申请实施例中，可以对任一张商品图像对应的多个第二相似度值求平均，来获得该任一张商品图像对应的相似度平均值。其中，一张商品图像可以对应多个第二商品特征向量，一个商品特征向量可以对应多个第二相似度值。

步骤404：将两张商品图像中相似度平均值最高的商品图像，确定为目标商品图像。

在一种可能的实施方式中，在确定出目标商品图像之后，为了确定出目标商品图像中具体存在的商品，在本申请实施例中，如图5所示，为本申请实施例提供的确定目标商品图像中具体商品的一种流程示意图，该方法可以通过图1中的智能购物车状态识别设备10来执行，具体的，该方法的流程介绍如下。

步骤501：针对目标商品图像对应的任一个第二相似度值，确定任一个第二相似度值是否大于预设相似度阈值。

步骤502：若确定任一个第二相似度值大于预设相似度阈值，则确定目标商品图像中存在任一个第二相似度值对应的商品。

在本申请实施例中，若确定任一个第二商品特征向量对应的多个第二相似度值均不大于预设相似度阈值，则可以认为已加入商品有误（智能购物车多了未扫码的商品），进而，可以向用户发送提示信息，以提示用户拿出误加入的商品，或重新放入已扫码商品。

综上所述，在本申请实施例中，由于只在对目标新增商品扫码之后，才会开启图像采集设备来采集图像，所以，相比于现有技术中需要“实时开启摄像头”来进行算法处理，可以大大降低电池能耗。此外，由于在进行智能购物车状态判定时，只根据一张背景图像和两张目标商品图像，便可以完成算法流程判断，所以，在降低能耗的同时，还可以大大提高智能购物车状态的识别精度，以达到防作弊的目的。

基于同一发明构思，本申请实施例提供一种智能购物车状态识别装置60，如图6所示，该智能购物车状态识别装置60包括：

图像获取单元601，用于在对目标新增商品扫码之后，开启图像采集设备，获取一张背景图像和两张商品图像；其中，背景图像为在红外传感器发送触发信息之前所采集的图像，商品图像为在红外传感器发送触发信息之后所采集的图像；

目标商品图像确定单元602，用于根据两张商品图像各自对应的相似度平均值，从两张商品图像中确定出一张目标商品图像；

状态确定单元603，用于根据一张背景图像和一张目标商品图像，确定智能购物车的状态；其中，状态包括新增商品状态、无变化状态以及取出商品状态。

可选的，该智能购物车状态识别装置60还包括商品确定单元604，商品确定单元604，用于：

采用训练好的目标检测模型对背景图像进行目标检测，确定背景图像对应的多个商品检测框；

采用训练好的特征提取模型对多个商品检测框中的商品进行特征提取，获得多个第一商品特征向量；

针对任一个第一商品特征向量，计算任一个第一商品特征向量分别与已扫码的多个商品特征向量之间的相似度，获得任一个第一商品特征向量对应的多个第一相似度值；

针对任一个第一相似度值，确定任一个第一相似度值是否大于预设相似度阈值；

若确定任一个第一相似度值大于预设相似度阈值，则确定背景图像中存在任一个第一相似度值对应的商品。

可选的，目标商品图像确定单元602，还用于：

针对任一张商品图像，依次采用训练好的目标检测模型和训练好的特征提取模型对任一张商品图像进行处理，获得多个第二商品特征向量；

计算多个第二商品特征向量分别与已扫码的多个商品特征向量之间的相似度，获得任一张商品图像对应的多个第二相似度值；

对多个第二相似度值求平均，获得任一张商品图像对应的相似度平均值；

将两张商品图像中相似度平均值最高的商品图像，确定为目标商品图像。

可选的，商品确定单元604，还用于：

针对目标商品图像对应的任一个第二相似度值，确定任一个第二相似度值是否大于预设相似度阈值；

若确定任一个第二相似度值大于预设相似度阈值，则确定目标商品图像中存在任一个第二相似度值对应的商品。

可选的，状态确定单元603，用于：

针对任一商品位置，若确定背景图像和目标商品图像中均存在同一商品，则确定智能购物车的状态为无变化状态；

针对任一商品位置，若确定背景图像中不存在商品，但目标商品图像中存在商品，则确定智能购物车的状态为新增商品状态；

针对任一商品位置，若确定背景图像中存在商品，但目标商品图像中不存在商品，则确定智能购物车的状态为取出商品状态。

该智能购物车状态识别装置60可以用于执行图2~图5所示的实施例中的方法，因此，对于该智能购物车状态识别装置60的各功能单元所能够实现的功能等可参考图2~图5所示的实施例的描述，不多赘述。

在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行如图2~图5所示的实施例中的方法。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、 RAM、磁碟或者光盘等各种可以存储程序代码的介质。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种智能购物车状态识别方法，其特征在于，所述方法包括：

在对目标新增商品扫码之后，开启图像采集设备，获取一张背景图像和两张商品图像；其中，所述背景图像为在红外传感器发送触发信息之前所采集的图像，所述商品图像为在红外传感器发送触发信息之后所采集的图像；

根据所述两张商品图像各自对应的相似度平均值，从所述两张商品图像中确定出一张目标商品图像；

根据所述一张背景图像和所述一张目标商品图像，确定所述智能购物车的状态；其中，所述状态包括新增商品状态、无变化状态以及取出商品状态。

2.如权利要求1所述的方法，其特征在于，在获取一张背景图像和两张商品图像之后，所述方法还包括：

采用训练好的目标检测模型对所述背景图像进行目标检测，确定所述背景图像对应的多个商品检测框；

采用训练好的特征提取模型对所述多个商品检测框中的商品进行特征提取，获得多个第一商品特征向量；

针对任一个第一商品特征向量，计算所述任一个第一商品特征向量分别与已扫码的多个商品特征向量之间的相似度，获得所述任一个第一商品特征向量对应的多个第一相似度值；

针对任一个第一相似度值，确定所述任一个第一相似度值是否大于预设相似度阈值；

若确定所述任一个第一相似度值大于预设相似度阈值，则确定所述背景图像中存在所述任一个第一相似度值对应的商品。

3.如权利要求2所述的方法，其特征在于，所述根据所述两张商品图像各自对应的相似度平均值，从所述两张商品图像中确定出一张目标商品图像的步骤，包括：

针对任一张商品图像，依次采用所述训练好的目标检测模型和所述训练好的特征提取模型对所述任一张商品图像进行处理，获得多个第二商品特征向量；

计算所述多个第二商品特征向量分别与已扫码的多个商品特征向量之间的相似度，获得所述任一张商品图像对应的多个第二相似度值；

对所述多个第二相似度值求平均，获得所述任一张商品图像对应的相似度平均值；

将所述两张商品图像中相似度平均值最高的商品图像，确定为所述目标商品图像。

4.如权利要求3所述的方法，其特征在于，在根据所述两张商品图像各自对应的相似度平均值，从所述两张商品图像中确定出一张目标商品图像之后，所述方法还包括：

针对所述目标商品图像对应的任一个第二相似度值，确定所述任一个第二相似度值是否大于预设相似度阈值；

若确定所述任一个第二相似度值大于预设相似度阈值，则确定所述目标商品图像中存在所述任一个第二相似度值对应的商品。

5.如权利要求1所述的方法，其特征在于，所述根据所述一张背景图像和所述一张目标商品图像，确定所述智能购物车的状态的步骤，包括：

针对任一商品位置，若确定所述背景图像和所述目标商品图像中均存在同一商品，则确定所述智能购物车的状态为无变化状态；

针对任一商品位置，若确定所述背景图像中不存在商品，但所述目标商品图像中存在商品，则确定所述智能购物车的状态为新增商品状态；

针对任一商品位置，若确定所述背景图像中存在商品，但所述目标商品图像中不存在商品，则确定所述智能购物车的状态为取出商品状态。

6.如权利要求2-3中任一所述的方法，其特征在于，所述训练好的目标检测模型是基于YOLOX-m网络模型获得的。

7.如权利要求2-3中任一所述的方法，其特征在于，所述训练好的特征提取模型是基于YOLO5-s网络模型获得的。

8.一种智能购物车状态识别装置，其特征在于，所述装置包括：

图像获取单元，用于在对目标新增商品扫码之后，开启图像采集设备，获取一张背景图像和两张商品图像；其中，所述背景图像为在红外传感器发送触发信息之前所采集的图像，所述商品图像为在红外传感器发送触发信息之后所采集的图像；

目标商品图像确定单元，用于根据所述两张商品图像各自对应的相似度平均值，从所述两张商品图像中确定出一张目标商品图像；

状态确定单元，用于根据所述一张背景图像和所述一张目标商品图像，确定所述智能购物车的状态；其中，所述状态包括新增商品状态、无变化状态以及取出商品状态。

9.一种电子设备，其特征在于，所述设备包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-7中任一所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-7中任一所述的方法。