CN114898249B - 用于购物车内商品数量确认的方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种用于购物车内商品数量确认的方法、系统及存储介质，该方法包括：步骤S1：在购物过程中，实时获取购物车内图像，并对图像进行预处理，得到处理后图像；步骤S2：对处理后图像进行基于深度学习模型的目标检测与跟踪，得到第一轨迹，对处理后图像进行基于数字图像处理的目标检测与跟踪，得到第二轨迹；步骤S3：有商品扫码操作的商品进出购物车时，根据第一轨迹，进行购物行为判断，未进行商品扫码操作的商品进出购物车时，根据第二轨迹，进行购物行为判断，得到判断结果；步骤S4：当购物车内商品数量与扫码商品数量不一致时，在购物车端对顾客进行提醒，和/或，将不一致信息反馈至超市端。

Description

用于购物车内商品数量确认的方法、系统及存储介质

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种用于购物车内商品数量确认的方法、系统及存储介质。

背景技术

现阶段超市购物是网购不能取代的生活方式，随着市场的需求以及技术的发展，具有自助结算功能的智能购物车已经出现在大型超市中，顾客可以在购物过程中对需要购买的商品自助扫码，并在购物结束后快速结算，大大减少了传统购物排队结算的时间。

相关技术中，主要通过判断购物车中商品数量与顾客购物清单中的商品数量是否一致，来防止智能购物车的漏扫。一种是通过硬件设备实现，例如是重力感应秤，商品重量预先存入数据库，在购买的过程中，将扫描商品的重量从数据库中取出与重力感应秤重量变化作对比。一种是通过软件实现，例如是图像差分识别法，通过差分与背景建模计算出前景与背景图像，然后进行匹配识别；或者是肤色建模法，通过差分获得运行目标，然后使用肤色模型判别运动目标是否手持商品；通过神经网络模型识别商品，通过摄像头获取放入或取出购物车商品图像，然后经过图像预处理、特征提取和神经网络模型识别购买商品数量。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：依靠硬件设备的解决方案需要各设备之间进行通信，后期维护复杂且前期投入成本较高；传统图像处理的解决方案对于环境和背景的依赖性较强，当环境以及其他因素干扰时，识别性能大大降低，泛化性较差；基于神经网络模型识别商品的方法需要建立大量的商品数据集，当有新商品不能及时更新模型，造成误识别，在商品重叠时将会产生漏检现象。

发明内容

本公开实施例提供了一种用于购物车内商品数量确认的方法、系统及存储介质，以解决现有技术中依靠硬件设备的解决方案需要各设备之间进行通信，后期维护复杂且前期投入成本较高；传统图像处理的解决方案对于环境和背景的依赖性较强，当环境以及其他因素干扰时，识别性能大大降低，泛化性较差；基于神经网络模型识别商品的方法需要建立大量的商品数据集，当有新商品不能及时更新模型，造成误识别，在商品重叠时将会产生漏检现象的技术问题。

第一方面，提供了一种用于购物车内商品数量确认的方法，该方法包括：步骤S1：在购物过程中，实时获取购物车内图像，并对所述购物车内图像进行预处理，得到处理后图像；步骤S2：对所述处理后图像进行基于深度学习模型的目标检测与跟踪，得到第一轨迹，对所述处理后图像进行基于数字图像处理的目标检测与跟踪，得到第二轨迹，所述第一轨迹和所述第二轨迹的获取同时进行；步骤S3：有商品扫码操作的商品进出购物车时，根据所述第一轨迹，进行购物行为判断，未进行商品扫码操作的商品进出购物车时，根据所述第二轨迹，进行购物行为判断，得到判断结果；步骤S4：所述判断结果中，当购物车内商品数量与扫码商品数量不一致时，在购物车端对顾客进行提醒，和/或，将不一致信息反馈至超市端。

结合第一方面，在第一方面的第一种可能的实现方式中，所述步骤S2中，对所述处理后图像进行基于深度学习模型的目标检测与跟踪，得到第一轨迹，包括：步骤S21：检测所述处理后图像中是否有手，存在手时，转入步骤S22，否则，转入步骤S23；步骤S22：计算手部检测框和现有检测轨迹是否匹配，匹配时，将当前帧图像添加至匹配轨迹中，得到第一轨迹；步骤S23：轨迹置为预留状态，经过预设时间间隔后，轨迹置为结束状态。

结合第一方面或者第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述步骤S2中，对所述处理后图像进行基于数字图像处理的目标检测与跟踪，得到第二轨迹，包括：步骤S24：检测所述处理后图像中是否存在运动物体，存在运动物体时，转入步骤S25，否则，转入步骤S26；步骤S25：将当前帧图像添加至匹配轨迹中，得到第二轨迹；步骤S26：将当前帧图像添加至预留轨迹中。

结合第一方面，在第二方面的第三种可能的实现方式中，所述步骤S3还包括：分别判断所述第一轨迹和所述第二轨迹是否结束，对于结束的轨迹判断其是否有效，对于未结束的轨迹，记录轨迹信息并转入步骤S1，对于有效的第一轨迹或有效的第二轨迹进行购物行为判断；其中，所述第一轨迹或所述第二轨迹的预留帧数大于第一预设阈值时，轨迹结束，否则，轨迹未结束。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述轨迹长度大于第二预设阈值时，轨迹有效，否则，轨迹无效。

结合第一方面的第三种可能的实现方式，在第一方面的第五种可能的实现方式中，所述步骤S3中，有商品扫码操作的商品进出购物车时，根据有效的第一轨迹，进行购物行为判断，包括：步骤S31：根据所述有效的第一轨迹的帧数，将所述有效的第一轨迹划分为第一部分、第二部分和第三部分；步骤S32：获取所述第一部分中，手部持有商品与未持有商品的第一比例，所述第一比例大于第三预设阈值，商品进入购物车，否则，商品未进入购物车；步骤S33：获取所述第三部分中，手部持有商品与未持有商品的第二比例，所述第二比例大于第四预设阈值，商品从购物车拿出，否则，商品仍在购物车内。

结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述步骤S3中，未进行商品扫码操作的商品进出购物车时，根据有效的第二轨迹，进行购物行为判断，包括：步骤S34：根据所述有效的第二轨迹的动作方向，对商品进出购物车进行判断。

结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述步骤S3中，所述得到判断结果，包括：商品进入购物车，且商品仍在购物车内，得到判断结果为拿进商品；商品未进入购物车，且商品从购物车拿出，得到判断结果为拿出商品；商品进入购物车，且商品从购物车拿出，得到判断结果为更换商品；商品未进入购物车，且商品仍在购物车内，得到判断结果为空手进出；所述光流方向为远离购物车，得到判断结果为商品掉出，所述光流方向为指向购物车，得到判断结果为拿进商品。

第二方面，提供了一种用于购物车内商品数量确认的系统，该系统包括：购物车，用于放置商品；图像获取终端，设置于所述购物车任一侧面上方，所述图像获取装置用于实时获取购物车容置范围内图像；扫码终端，用于对商品进行扫码操作；结算终端，结合获取到的所述购物车容置范围内图像和商品扫码信息，根据前述的用于购物车内商品数量确认的方法，进行购物车内商品数量确认。

第三方面，提供了一种存储介质，所述存储介质存储有计算机指令，所述指令被处理器执行时实现前述的用于购物车内商品数量确认的方法。

本公开实施例提供的用于购物车内商品数量确认的方法、系统及存储介质，可以实现以下技术效果：

在购物过程中，根据不同的购物状态，使用不同的轨迹检测与跟踪方法对购物行为进行判断，进而进行购物车内商品数量与扫码商品数量是否一致判断，可以准确提醒顾客购物车内商品数量与购物清单中商品数量是否一致，友好提醒顾客，有效改善顾客的购物体验，也可以避免超市不必要的损失；可以适应各种复杂应用场景，可以在光照变化频繁的应用场景下对购物车内商品数量进行确认，泛化性好；对设备要求低，相比于依靠硬件设备的解决方案，可以减少设备的前期投入，也有利于后期维护。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的用于购物车内商品数量确认的方法的流程示意图；

图2是本公开实施例提供的用于购物车内商品数量确认的方法的流程示意图；

图3是本公开实施例提供的用于购物车内商品数量确认的系统的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本公开实施例中“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

为了便于理解，下面对本公开实施例所涉概念进行介绍，光流是空间运动物体在观察平面上的像素运动的瞬时速度；光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的相应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

基于深度学习模型的目标检测算法包括：one-stage方法，例如是YOLO系列和SSD系列算法，主要思想是均匀地在图片或者特征图不同位置进行密集采样，采样时可以采用不同尺度和长宽比，然后用卷积神经网络提取的特征直接预测对象的类别和位置信息；two-stage方法，例如是R-CNN系列算法，主要思路是先通过启发式方法或者卷积神经网络产生一系列稀疏的区域方法，然后对这些候选框进行分类与回归，最后将结果综合起来。

DIS光流算法(Dense Inverse Search-based method，简称DIS)，在光流质量很计算时间中取得平衡的算法。

对于可以自助结算的购物车，若因为顾客有意或无意的漏扫商品，将未支付的商品带走，会给超市带来损失，若顾客对已扫码的商品不想要了，却忘记扫码退货，将会给顾客带来损失，并且还会降低顾客的购物体验满意度。

图1是本公开实施例提供的用于购物车内商品数量确认的方法的流程示意图。如图1所示，本公开实施例提供了一种用于购物车内商品数量确认的方法，该方法包括：步骤S1：在购物过程中，实时获取购物车内图像，并对购物车内图像进行预处理，得到处理后图像；步骤S2：对处理后图像进行基于深度学习模型的目标检测与跟踪，得到第一轨迹，对处理后图像进行基于数字图像处理的目标检测与跟踪，得到第二轨迹，第一轨迹和所述第二轨迹的获取同时进行；步骤S3：有商品扫码操作的商品进出购物车时，根据所述第一轨迹，进行购物行为判断，未进行商品扫码操作的商品进出购物车时，根据所述第二轨迹，进行购物行为判断，得到判断结果；步骤S4：所述判断结果中，当购物车内商品数量与扫码商品数量不一致时，在购物车端对顾客进行提醒，和/或，将不一致信息反馈至超市端。

本公开实施例提供的用于购物车内商品数量确认的方法，可以实现以下技术效果：在购物过程中，根据不同的购物状态，使用不同的轨迹检测与跟踪方法对购物行为进行判断，进而进行购物车内商品数量与扫码商品数量是否一致判断，可以准确提醒顾客购物车内商品数量与购物清单中商品数量是否一致，友好提醒顾客，有效改善顾客的购物体验，也可以避免超市不必要的损失；可以适应各种复杂应用场景，可以在光照变化频繁的应用场景下对购物车内商品数量进行确认，泛化性好；对设备要求低，相比于依靠硬件设备的解决方案，可以减少设备的前期投入，也有利于后期维护。

将异常信息反馈至超市终端设备，可以在顾客离店时，对有异常购物信息的购物车进行人为干预检查。对于超市可以有效规避损失。

在一些实施例中，图像预处理包括：灰度变换、几何变换、掩膜处理和图像增强。使用的深度学习模型包括：SSD系列、YOLO系列和R-CNN系列。

基于数字图像处理的目标检测与追踪，可以采用背景差分或者是光流等手段。

在一些实施例中，对处理后图像进行基于深度学习模型的目标检测与跟踪，得到第一轨迹，包括：步骤S21：检测处理后图像中是否有手，存在手时，转入步骤S22，否则，转入步骤S23；步骤S22：计算手部检测框和现有检测轨迹是否匹配，匹配时，将当前帧图像添加至匹配轨迹中，得到第一轨迹；步骤S23：轨迹置为预留状态，经过预设时间间隔后，轨迹置为结束状态。其中，步骤S22中，计算手部检测框和现有检测轨迹是否匹配之前还包括：判断手中是否持有商品；当手部检测框和现有检测轨迹不匹配时，创建新的检测轨迹。其中，对于当前帧图像，通过目标检测获取得到的手部位置和当前轨迹中手的位置进行匹配运算，匹配时为当前轨迹，将当前帧图像添加至匹配轨迹中，不匹配时，可能为其他新轨迹。未匹配到新的帧而被置为预留状态的轨迹为预留轨迹，用预留轨迹来表述轨迹的预留状态。预测轨迹为没有检测到手部移动，通过计算预测手部移动方向及移动距离得到的轨迹。

在一些实施例中，步骤S2中，对处理后图像进行基于数字图像处理的目标检测与跟踪，得到第二轨迹，包括：步骤S24：检测处理后图像中是否存在运动物体，存在运动物体时，转入步骤S25，否则，转入步骤S26；步骤S25：将当前帧图像添加至匹配轨迹中，得到第二轨迹；步骤S26：轨迹置为预留状态。其中，步骤S25中，对于不匹配的光流，创建新的检测轨迹。光流法，包括：DIS光流算法，和光流方向与轮廓面积过滤。可以采用光流法或者背景差分检测处理后图像中是否存在运动物体。

在一些实施例中，步骤S3还包括：分别判断第一轨迹和第二轨迹是否结束，对于结束的轨迹判断其是否有效，对于未结束的轨迹，记录轨迹信息并转入步骤S1，对于有效的第一轨迹或有效的第二轨迹进行购物行为判断；其中，第一轨迹或第二轨迹的预留帧数大于第一预设阈值时，轨迹结束，否则，轨迹未结束。其中，无法检测到手部时，通过计算预测手部移动方向，补正计算得到轨迹，当该轨迹帧数大于预留帧数时，则认为轨迹已经结束。

在一些实施例中，对于结束的轨迹判断其是否有效，包括：获取结束轨迹的轨迹长度，轨迹长度大于第二预设阈值时，轨迹有效，否则，轨迹无效。

在一些实施例中，步骤S3中，有商品扫码操作的商品进出购物车时，根据有效的第一轨迹，进行购物行为判断，包括：步骤S31：根据有效的第一轨迹的帧数，将有效的第一轨迹划分为第一部分、第二部分和第三部分；步骤S32：获取第一部分中，手部持有商品与未持有商品的第一比例，第一比例大于第三预设阈值，商品进入购物车，否则，商品未进入购物车；步骤S33：获取第三部分中，手部持有商品与未持有商品的第二比例，第二比例大于第四预设阈值，商品从购物车拿出，否则，商品仍在购物车内。这样，根据商品的轨迹对购物行为过程进行识别，可以对进行了扫码操作的商品进出购物车的行为进行准确识别，对有效轨迹进行划分，可以很好地解决在摄像头监控范围内动作停滞造成动作误识别的情况。

在一些实施例中，步骤S3中，未进行商品扫码操作的商品进出购物车时，根据有效的第二轨迹，进行购物行为判断，包括：步骤S34：根据有效的第二轨迹的动作方向，对商品进出购物车进行判断。这样，根据商品的光流轨迹，在未进行扫码操作的情况下，对进出购物车的商品进行确认。

在一些实施例中，步骤S3中，得到判断结果，包括：商品进入购物车，且商品仍在购物车内，得到判断结果为拿进商品；商品未进入购物车，且商品从购物车拿出，得到判断结果为拿出商品；商品进入购物车，且商品从购物车拿出，得到判断结果为更换商品；商品未进入购物车，且商品仍在购物车内，得到判断结果为空手进出；所述光流方向为远离购物车，得到判断结果为商品掉出，所述光流方向为指向购物车，得到判断结果为拿进商品。这样，可以对购物车内商品数量进行准确统计，进而进行购物车内商品数量与扫码商品数量的一致性判断。

本实施例中，第一预设阈值、第二预设阈值、第三预设阈值和第四预设阈值，本领域技术人员可以根据实际需求进行设定。

图2是本公开实施例提供的用于购物车内商品数量确认的方法的流程示意图。如图2所示，在购物过程中，实时读取购物车内景象视频帧，进行图像预处理，并对处理后的图像进行目标检测与跟踪，获取商品轨迹，其中目标检测与追踪包括：同时进行的基于深度学习模型的目标检测和基于背景差分的目标检测；对于基于深度学习模型的目标检测，首先对图像进行目标检测，判断其中是否有手，当图像中存在手时，将检测框和每个轨迹的最后一帧进行匹配，当匹配时，进行轨迹跟踪，将当前帧添加到匹配轨迹中，当不匹配时，则创建新的检测轨迹，当图像中不存在手时，将当前轨迹置为预留状态；对于基于背景差分的目标检测，首先判断图像中是否有运动物体，当图像中有运动物体时，进行轨迹跟踪，将当前帧添加到匹配轨迹中，当不匹配时，则创建新的检测轨迹，当图像中不存在运动物体时，将轨迹置为预留状态；当前轨迹的预留帧数大于第一预设阈值，当前轨迹结束，当前轨迹的预留帧数小于等于第一预设阈值，当前轨迹未结束，记录轨迹信息，继续读取购物车内景象视频帧，进行前述步骤；当前轨迹结束后，判断当前轨迹是否有效，当前轨迹的轨迹长度小于等于第二预设阈值时，轨迹无效，清空，当前轨迹的轨迹长度大于第二预设阈值时，轨迹有效，进行购物状态和行为判断，得到判断结果，判断结果中购物车内商品数量与扫码商品数量不一致时，在购物车端对顾客进行提醒，同时在超市店员的手持终端进行提醒。

图3是本公开实施例提供的用于购物车内商品数量确认的系统的示意图。如图3所示，本公开实施例还提供了一种用于购物车内商品数量确认的系统，包括：购物车，用于放置商品；图像获取终端，设置于购物车任一侧面上方，图像获取装置用于获取购物车容置范围内图像；扫码终端，用于对商品进行扫码操作；结算终端，结合获取到的购物车容置范围内图像和商品扫码信息，根据前述的用于购物车内商品数量确认的方法，进行购物车内商品数量确认。可以适应各种超市环境，具有很强的泛化性；降低了系统成本，后期维护简单，能够准确的提醒顾客购买商品清单与购物车中商品数量是否一致。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的用于购物车内商品数量确认的方法。

本公开是参照根据本公开实施例的方法、系统和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的步骤的功能。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于购物车内商品数量确认的方法，其特征在于，包括：

步骤S1：在购物过程中，实时获取购物车内图像，并对所述购物车内图像进行预处理，得到处理后图像；

步骤S2：对所述处理后图像进行基于深度学习模型的目标检测与跟踪，得到手的运动轨迹，即第一轨迹，对所述处理后图像进行基于数字图像处理的目标检测与跟踪，得到运动物体的运动轨迹，即第二轨迹，所述第一轨迹和所述第二轨迹的获取同时进行；

步骤S3：有商品扫码操作的商品进出购物车时，根据所述第一轨迹，进行购物行为判断，未进行商品扫码操作的商品进出购物车时，根据所述第二轨迹，进行购物行为判断，得到判断结果；

分别判断所述第一轨迹和所述第二轨迹是否结束，对于结束的轨迹判断其是否有效，对于未结束的轨迹，记录轨迹信息并转入步骤S1，对于有效的第一轨迹或有效的第二轨迹进行购物行为判断；

其中，所述第一轨迹或所述第二轨迹的预留帧数大于第一预设阈值时，轨迹结束，否则，轨迹未结束；

所述轨迹长度大于第二预设阈值时，轨迹有效，否则，轨迹无效；

有商品扫码操作的商品进出购物车时，根据有效的第一轨迹，进行购物行为判断，包括：

步骤S31：根据所述有效的第一轨迹的帧数，将所述有效的第一轨迹划分为第一部分、第二部分和第三部分；

步骤S32：获取所述第一部分中，手部持有商品与未持有商品的第一比例，所述第一比例大于第三预设阈值，商品进入购物车，否则，商品未进入购物车；

步骤S33：获取所述第三部分中，手部持有商品与未持有商品的第二比例，所述第二比例大于第四预设阈值，商品从购物车拿出，否则，商品仍在购物车内；

未进行商品扫码操作的商品进出购物车时，根据有效的第二轨迹，进行购物行为判断，包括：

步骤S34：根据所述有效的第二轨迹的动作方向，对商品进出购物车进行判断；

步骤S4：所述判断结果中，当购物车内商品数量与扫码商品数量不一致时，在购物车端对顾客进行提醒，和/或，将不一致信息反馈至超市端。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2中，对所述处理后图像进行基于深度学习模型的目标检测与跟踪，得到第一轨迹，包括：

步骤S21：检测所述处理后图像中是否有手，存在手时，转入步骤S22，否则，转入步骤S23；

步骤S22：计算手部检测框和现有检测轨迹是否匹配，匹配时，将当前帧图像添加至匹配轨迹中，得到第一轨迹；

步骤S23：轨迹置为预留状态，经过预设时间间隔后，轨迹置为结束状态。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤S2中，对所述处理后图像进行基于数字图像处理的目标检测与跟踪，得到第二轨迹，包括：

步骤S24：检测所述处理后图像中是否存在运动物体，存在运动物体时，转入步骤S25，否则，转入步骤S26；

步骤S25：将当前帧图像添加至匹配轨迹中，得到第二轨迹；

步骤S26：轨迹置为预留状态。

4.根据权利要求3所述的方法，其特征在于，所述步骤S3中，所述得到判断结果，包括：

商品进入购物车，且商品仍在购物车内，得到判断结果为拿进商品；

商品未进入购物车，且商品从购物车拿出，得到判断结果为拿出商品；

商品进入购物车，且商品从购物车拿出，得到判断结果为更换商品；

商品未进入购物车，且商品仍在购物车内，得到判断结果为空手进出；

光流方向为远离购物车，得到判断结果为商品掉出，所述光流方向为指向购物车，得到判断结果为拿进商品。

5.一种用于购物车内商品数量确认的系统，其特征在于，包括：

购物车，用于放置商品；

图像获取终端，设置于所述购物车任一侧面上方，所述图像获取装置用于实时获取购物车容置范围内图像；

扫码终端，用于对商品进行扫码操作；

结算终端，结合获取到的所述购物车容置范围内图像和商品扫码信息，根据权利要求1至4中任一项所述的用于购物车内商品数量确认的方法，进行购物车内商品数量确认。

6.一种存储介质，其特征在于，所述存储介质存储有计算机指令，所述指令被处理器执行时实现权利要求1至4中任一项所述的用于购物车内商品数量确认的方法。

Images