CN115661591A

CN115661591A - 一种智能柜动态识别方法及装置

Info

Publication number: CN115661591A
Application number: CN202211155139.4A
Authority: CN
Inventors: 周艳华; 张盛
Original assignee: Guangzhou Gaimengda Industrial Products Co ltd
Current assignee: Guangzhou Gaimengda Industrial Products Co ltd
Priority date: 2022-09-22
Filing date: 2022-09-22
Publication date: 2023-01-31

Abstract

本申请涉及无人售货柜技术领域，公开了一种智能柜动态识别方法及装置，其方法包括在本地逐帧获取商品图像；获取当前帧与上一帧的商品图像中商品的距离矩阵；获取当前帧与上一帧的商品图像中商品的交并比矩阵；获取当前帧与上一帧的商品图像中商品的外观矩阵；将距离矩阵、交并比矩阵和外观矩阵进行加权融合，得到代价矩阵；基于代价矩阵，采用KM算法得到商品图像中上一帧商品与当前帧商品的对应关系；根据预设的判定轴，判断商品图像中上一帧商品与当前帧商品是否位于判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存。本申请具有更快得到动态视觉柜的商品计数结果，提高商品计数结果准确率的效果。

Description

一种智能柜动态识别方法及装置

技术领域

本申请涉及无人售货柜技术领域，尤其是涉及一种智能柜动态识别方法及装置。

背景技术

目前，常见的无人售货柜有RFID智能柜、静态图像柜、重力柜以及动态视觉柜。其中，RFID智能柜依赖于粘贴RFID无线标签，其人力成本及标签成本很高；静态图像柜需要在每个货架安装摄像头，硬件成本高，且对货品摆放有一定的要求，空间利用率低；重力柜需要在每个货架安装重力感应装置，设备成本高，且无法判断重量相近的商品。动态视觉柜通过柜体上方的两个摄像头，开门后开始录视频，关门后停止录视频，将视频上传到云端，智能识别顾客拿取和放回商品的动作，判断顾客实际取出的商品并进行扣费，识别技术成本低，极大地降低了运营成本。

一般地，动态视觉柜的动态视觉方案分为以下几种：

1)基于每段视频中所有帧的检测结果，设定一个概率阈值，过滤掉置信度不高的视频帧结果，在剩余结果中统计出概率最高的检测结果，并把该结果作为最后的商品的识别结果；

2)对用户的手部进行生物识别，判断手部相对于无人售货柜门的运动方向，根据所述运动方向、所述临时商品列表信息以及所述更新后的临时购物车信息判定购物状态，得到最终购物结果；

3)基于该物品检测信息集合中的物品检测信息，生成候选轨迹集，进而得到融合轨迹集，生成物品拿取信息组集。

针对上述现有技术，发明人发现现有的动态视觉柜的动态视觉方案需要录制视频上传云端，再识别完所有图片帧商品信息才能对商品的剩余库存进行计数，无法快速得到计数结果，且商品计数结果不准确。

发明内容

为了更快得到动态视觉柜的商品计数结果，提高商品计数结果的准确率，本申请提供了一种智能柜动态识别方法及装置。

第一方面，本申请提供一种智能柜动态识别方法。

本申请是通过以下技术方案得以实现的：

一种智能柜动态识别方法，包括以下步骤，

在本地逐帧获取商品图像；

获取当前帧与上一帧的所述商品图像中商品的距离矩阵；

获取当前帧与上一帧的所述商品图像中商品的交并比矩阵；

获取当前帧与上一帧的所述商品图像中商品的外观矩阵；

将所述距离矩阵、所述交并比矩阵和所述外观矩阵进行加权融合，得到代价矩阵；

基于所述代价矩阵，采用KM算法得到商品图像中上一帧商品与当前帧商品的对应关系；

根据预设的判定轴，判断商品图像中上一帧商品与当前帧商品是否位于所述判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存。

本申请在一较佳示例中可以进一步配置为：所述根据预设的判定轴，判断商品图像中上一帧商品与当前帧商品是否位于所述判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存的步骤包括，

当商品图像中上一帧商品与当前帧商品位于所述判定轴的不同侧时，判断上一帧商品与当前帧商品的位置变化情况；

若上一帧商品与当前帧商品的位置由内向外，则商品的剩余库存加1。

本申请在一较佳示例中可以进一步配置为：还包括以下步骤，

若上一帧商品与当前帧商品的位置由外向内，则商品的剩余库存减1。

若上一帧商品与当前帧商品的位置无变化，则商品的剩余库存保持不变。

本申请在一较佳示例中可以进一步配置为：所述在本地逐帧获取商品图像时，还包括以下步骤，

通过JNI接口调用预设的图像识别算法。

本申请在一较佳示例中可以进一步配置为：所述在本地逐帧获取商品图像后，还包括以下步骤，

采用卡尔曼滤波算法对所述商品图像进行校正。

本申请在一较佳示例中可以进一步配置为：所述代价矩阵的计算公式为，

G＝a*D+b*I+c*A

式中，G表示代价矩阵，D表示距离矩阵，I表示交并比矩阵，A表示外观矩阵，a为距离矩阵权重系数，b为交并比矩阵权重系数，c为外观矩阵的权重系数，且c＝1-a-b。

本申请在一较佳示例中可以进一步配置为：所述更新商品的剩余库存的步骤前，还包括，

为智能柜的商品预绑定用于起唯一识别作用的电子标签；

获取商品图像中待更新商品的电子标签；

若商品图像中待更新商品的电子标签与待更新商品的信息符合，则更新该商品的剩余库存。

按智能柜的预设区域放置商品，每个区域内仅有一种商品，且每个区域下方安装有重力传感器；

实时获取所述智能柜中待更新商品的当前重量，并结合待更新商品的拟变化库存进行实时判断；

若所述智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和满足预设条件，则更新该商品的剩余库存。

若所述智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和不满足预设条件，控制所述智能柜报警，并上传当前的用户身份信息。

本申请在一较佳示例中可以进一步配置为：若所述智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和不满足预设条件时，还包括以下步骤，

根据预扣费金额生成预扣费账单并发送至用户端；

当用户端完成付费操作，或，所述智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和满足预设条件时，控制所述智能柜停止报警。

第二方面，本申请提供一种智能柜动态识别装置。

本申请是通过以下技术方案得以实现的：

一种智能柜动态识别装置，包括，

图像模块，用于在本地逐帧获取商品图像；

距离矩阵模块，用于获取当前帧与上一帧的所述商品图像中商品的距离矩阵；

交并比矩阵模块，用于获取当前帧与上一帧的所述商品图像中商品的交并比矩阵；

外观矩阵模块，用于获取当前帧与上一帧的所述商品图像中商品的外观矩阵；

融合模块，用于将所述距离矩阵、所述交并比矩阵和所述外观矩阵进行加权融合，得到代价矩阵；

关系模块，用于基于所述代价矩阵，采用KM算法得到商品图像中上一帧商品与当前帧商品的对应关系；

计数模块，用于根据预设的判定轴，判断商品图像中上一帧商品与当前帧商品是否位于所述判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存。

本申请在一较佳示例中可以进一步配置为：所述计数模块包括，

位置单元，用于当商品图像中上一帧商品与当前帧商品位于所述判定轴的不同侧时，判断上一帧商品与当前帧商品的位置变化情况；

增加单元，用于当上一帧商品与当前帧商品的位置由内向外时，使商品的剩余库存加1；

减少单元，用于当上一帧商品与当前帧商品的位置由外向内时，使商品的剩余库存减1；

恒定单元，用于当上一帧商品与当前帧商品的位置无变化时，使商品的剩余库存保持不变。

第三方面，本申请提供一种计算机设备。

本申请是通过以下技术方案得以实现的：

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种智能柜动态识别方法的步骤。

第四方面，本申请提供一种计算机可读存储介质。

本申请是通过以下技术方案得以实现的：

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种智能柜动态识别方法的步骤。

综上所述，与现有技术相比，本申请提供的技术方案带来的有益效果至少包括：

通过在本地逐帧获取商品图像，无需将录制视频上传至云端且识别完所有图片帧商品信息才能进行计数，提升了智能柜商品整体的识别速度；根据商品图像，获取当前帧与上一帧的商品图像中商品的距离矩阵、交并比矩阵和外观矩阵，并将距离矩阵、交并比矩阵和外观矩阵进行加权融合，得到代价矩阵，以将代价矩阵的元素的值作为上一帧商品到当前帧商品的带权值二分图，融合前后帧的检测结果，获得更多的目标物体的识别细节信息，提高了识别结果的准确率；基于代价矩阵，采用KM算法得到商品图像中上一帧商品与当前帧商品的对应关系，实现前后帧的关联，以更好地进行同一目标物体的匹配；根据预设的判定轴，判断商品图像中上一帧商品与当前帧商品是否位于判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存，实现智能柜商品的实时计数，能够更快得到动态视觉柜的商品计数结果，提高了商品计数结果的准确率。

附图说明

图1为本申请一个示例性实施例提供的一种智能柜动态识别方法的流程示意图。

图2为本申请又一个示例性实施例提供的一种智能柜动态识别装置的结构框图。

具体实施方式

本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

现有的动态视觉柜的动态视觉方案具有以下缺点：

1)没有融合前后帧检测结果，无法进行准确商品数量计数；

2)需要额外检测手部信息，耗时增加，且应用场景受限；

3)需要录制视频上传云端，直至识别完所有图片帧商品信息才能进行计数，无法实时得到计数结果。

本申请通过在本地逐帧识别商品信息，使用卡尔曼滤波校正识别的商品信息结果，再将卡尔曼滤波的校正结果与识别结果的距离、外观和交并比(IOU)作为权重，采用KM算法进行匹配，得到前后帧商品的关联信息，判断前后帧商品的位置与预设的判定轴的位置及前后帧商品的移动方向，实时完成商品数量的计数。

下面结合说明书附图对本申请实施例作进一步详细描述。

参照图1，本申请实施例提供一种智能柜动态识别方法，所述方法的主要步骤描述如下。

S1:在本地逐帧获取商品图像；

S2:获取当前帧与上一帧的所述商品图像中商品的距离矩阵；

S3:获取当前帧与上一帧的所述商品图像中商品的交并比矩阵；

S4:获取当前帧与上一帧的所述商品图像中商品的外观矩阵；

S5:将所述距离矩阵、所述交并比矩阵和所述外观矩阵进行加权融合，得到代价矩阵；

S6:基于所述代价矩阵，采用KM算法得到商品图像中上一帧商品与当前帧商品的对应关系；

S7:根据预设的判定轴，判断商品图像中上一帧商品与当前帧商品是否位于所述判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存。

具体地，通过智能柜柜体上方安装的摄像头，在用户打开柜门后，控制摄像头启动拍摄，开始录视频，直至用户关闭柜门后停止录视频，此时，在本地逐帧获取商品图像，例如，获取第t帧商品图像，其中，t帧代表当前帧。

接着，根据获取的商品图像，计算第t帧与第t-1帧的商品图像中商品的距离矩阵，以获取当前帧与上一帧的商品图像中商品的距离矩阵。距离矩阵为包含当前帧商品图像中目标商品与上一帧商品图像中目标商品之间距离的二维数组。本实施例中，距离可以采用欧几里得距离、城市街区距离或棋盘距离中的任意一种进行度量，得到当前帧与上一帧的商品图像中商品的距离矩阵。

根据获取的商品图像，计算第t帧与第t-1帧的商品图像中商品的IOU矩阵，以获取当前帧与上一帧的商品图像中商品的交并比矩阵，其中，交并比矩阵为包含当前帧商品图像中目标商品的交并比与上一帧商品图像中目标商品的交并比的比值的二维数组。交并比计算时可以采用GIOU、DIOU、CIOU的任意一种。本实施例中，交并比采用商品图像中目标商品对应的检测框与标注框的交集及其并集的比值进行度量，得到当前帧与上一帧的商品图像中商品的交并比矩阵，以用于检验目标识别的准确程度。

根据获取的商品图像，获得第t帧与第t-1帧的商品图像中商品的外观矩阵，即当前帧与上一帧的商品图像中商品的外观矩阵。外观特征表征目标商品的类别。具体地，根据获取的商品图像，首先，采用目标检测模型PP-PicoDet进行识别，以将目标商品和商品图像的背景区分开来，有效减少干扰特征；接着，借助CPU级轻量化骨干网络PP-LCNet，并结合度量学习arcmargin算法以及18万类数据集打磨的预训练权重，对目标检测模型识别得到的目标商品进行识别，以排除高相似度商品的干扰；最后，引入向量检索，通过计算目标商品和检索库中预存商品图像的相似度，输出商品的类别信息，通过更新检索库，使得识别模型一次训练即可长期使用，能够更好地适应新零售行业中新品按小时级别快速更新的应用场景，也降低了运营成本。

本实施例中，若商品为同类型，则数值设置为1；若商品为不同类型，则数值设置为0，得到当前帧与上一帧的商品图像中商品的外观矩阵。

其次，将得到的距离矩阵、交并比矩阵和外观矩阵进行加权融合，得到代价矩阵，将代价矩阵的元素的值作为t-1帧商品图像到t帧商品图像的二分图的权重。

具体地，G表示代价矩阵，D表示距离矩阵，I表示交并比矩阵，A表示外观矩阵，则代价矩阵的计算公式为G＝a*D+b*I+c*A，式中，a为距离矩阵权重系数，b为交并比矩阵权重系数，c为外观矩阵的权重系数，且c＝1-a-b。将代价矩阵的元素的值作为t-1帧商品图像到t帧商品图像的二分图的权重。本实施例中，代价矩阵G＝0.5D+0.3I+0.2A。

接着，基于代价矩阵，采用KM算法，对上一帧商品图像与当前帧商品图像的目标商品所在检测框集合进行两两匹配，得到上一帧商品与当前帧商品的对应关系，确定出商品图像中商品的前后帧的对应情况，实现前后帧的关联。因引入代价矩阵作为递归过程的约束条件，使得上一帧商品与当前帧商品的匹配成功率大大提高，能够更好地适应新零售行业中新品按小时级别快速更新的应用场景。

最后，在智能柜柜门的位置预设判定轴，即在柜体正对柜门的开口位置处标注虚拟的判定轴，判定轴位于柜体正对柜门的开口位置所处的平面上，以衡量用户的取放动作，判断上一帧商品与当前帧商品是否位于判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，智能识别用户拿取和放回商品的动作，更新商品的剩余库存，并进行扣费。其中，商品的剩余库存指当前时刻位于智能柜内的目标商品的实际数量，如智能柜当前时刻的原味可口可乐的数量。

进一步地，所述根据预设的判定轴，判断上一帧商品与当前帧商品是否位于所述判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存的步骤包括，

当上一帧商品与当前帧商品位于所述判定轴的不同侧时，判断上一帧商品与当前帧商品的位置变化情况；

若上一帧商品与当前帧商品的位置由内向外，则商品的剩余库存加1；

若上一帧商品与当前帧商品的位置由外向内，则商品的剩余库存减1；

具体地，若商品图像中上一帧商品与当前帧商品的位置变化情况由用户端移动至柜体内部，则上一帧商品与当前帧商品的位置由内向外，商品的剩余库存加1；若商品图像中上一帧商品与当前帧商品的位置变化情况由柜体内部移动至用户端，则上一帧商品与当前帧商品的位置由外向内，商品的剩余库存减1；若商品图像中上一帧商品与当前帧商品的位置无变化则商品的剩余库存保持不变。

进一步地，所述在本地逐帧获取商品图像时，还包括以下步骤，

通过JNI接口调用预设的图像识别算法。预设的图像识别算法可以为FineGym算法、PennAction算法、Pouring算法、CARL算法等。本实施例中，采用对比动作表征学习算法(contrastive action representation learning，CARL)在本地逐帧获取商品图像，通过自我监督的方式对长视频中具有时空上下文相关的信息进行逐帧表征学习。无需人工标记，识别速度更快。

进一步地，所述在本地逐帧获取商品图像后，还包括以下步骤，

先采用卡尔曼滤波算法对商品图像进行校正，以对识别的检测框进行校正，减少商品图像的检测框的抖动和跳帧的情况，对商品图像进行预处理，有利于后续得到更准确商品数量计数结果。

在一实施例中，更新商品的剩余库存的步骤前，还包括，

为智能柜的商品预绑定用于起唯一识别作用的电子标签；

获取商品图像中待更新商品的电子标签；

具体地，智能柜的商品的包装袋上安装有电子标签，以起到唯一标识商品的目的。智能柜内对应商品电子标签的位置分别安装有获取电子标签的通信器和检测是否有遮挡的红外传感器，当红外传感器感应到有遮挡物时，通信器读取商品的电子标签内容并上传至云端后台。在更新商品的剩余库存的步骤前，在感应到遮挡物时控制对应的通信器获取商品图像中待更新商品的电子标签，以读取待更新商品的电子标签，进一步获取更新商品的详细信息，如商品名称信息。若电子标签中的商品名称信息与商品图像识别得到的待更新商品的名称相同，即商品图像中待更新商品的电子标签与待更新商品的信息符合，进一步确认待更新商品的识别结果是准确的，此时更新该商品的剩余库存，以提高智能柜动态识别结果的准确性。

若电子标签中的商品名称信息与商品图像识别得到的待更新商品的名称不同，即商品图像中待更新商品的电子标签与待更新商品的信息不符合，此时停止更新商品的剩余库存，并将商品图像中待更新商品的电子标签与待更新商品的信息不符合的结论上传云端后台，由管理人员进一步分析判断智能柜内目标商品的剩余库存后再更新。

在一实施例中，更新商品的剩余库存的步骤前，还包括，

具体地，借助人工对智能柜的商品按预设区域进行放置，并在商品放置结束后获取预设区域的重量，作为该区域的商品的原始重量。实时获取智能柜中待更新商品的当前重量，基于商品的原始重量和待更新商品的当前重量计算待更新商品的差额重量，并结合待更新商品的拟变化库存，基于预设的待更新商品的单件重量，计算待更新商品的实际重量变化，对差额重量和实际重量变化进行实时判断。若智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和等于该商品的原始重量，即智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和满足预设条件，更新该商品的剩余库存。

进一步地，若所述智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和不满足预设条件，控制所述智能柜报警，并上传当前的用户身份信息。

具体地，智能柜内安装有声光报警器，该声光报警器与云端平台远程通讯。若智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和不等于该商品的原始重量，则云端平台向该智能柜的声光报警器输入控制信号，控制声光报警器报警，同时上传当前用户的手机号、微信号、银行卡等身份信息，以提醒用户和云端后台计费发生异常，进一步提升智能柜动态识别结果的准确率，并进行异常信息备份，利于后续分析判断。

进一步地，若所述智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和不满足预设条件时，还包括以下步骤，

根据预扣费金额生成预扣费账单并发送至用户端；

具体地，在控制声光报警器报警的同时，根据预扣费金额生成预扣费账单并发送至用户端，例如，预先设置预扣费金额为200元，当智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和不等于该商品的原始重量时，将200元的预扣费账单并发送至用户的手机，提醒用户计费异常需重新操作，直至用户端完成200元的付费操作，或重新操作后智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和等于该商品的原始重量，停止向声光报警器输入控制信号，控制智能柜停止报警。

综上所述，一种智能柜动态识别方法通过在本地逐帧获取商品图像，无需将录制视频上传至云端且识别完所有图片帧商品信息才能进行计数，提升了智能柜商品整体的识别速度；根据商品图像，获取当前帧与上一帧的商品图像中商品的距离矩阵、交并比矩阵和外观矩阵，并将距离矩阵、交并比矩阵和外观矩阵进行加权融合，得到代价矩阵，以将代价矩阵的元素的值作为上一帧商品到当前帧商品的带权值二分图，融合前后帧的检测结果，获得更多的目标物体的识别细节信息，提高了识别结果的准确率；基于代价矩阵，采用KM算法得到商品图像中上一帧商品与当前帧商品的对应关系，实现前后帧的关联，以更好地进行同一目标物体的匹配；根据预设的判定轴，判断商品图像中上一帧商品与当前帧商品是否位于判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存，实现了智能柜商品的实时计数，能够更快得到动态视觉柜的商品计数结果，提高了商品计数结果的准确率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

参照图2，本申请实施例还提供一种智能柜动态识别装置，该一种智能柜动态识别装置与上述实施例中一种智能柜动态识别方法一一对应。该一种智能柜动态识别装置包括，

图像模块，用于在本地逐帧获取商品图像；

其中，计数模块包括，

关于一种智能柜动态识别装置的具体限定可以参见上文中对于一种智能柜动态识别方法的限定，在此不再赘述。上述一种智能柜动态识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任意一种智能柜动态识别方法。

在一个实施例中，提供了一种计算机可读存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

S1:在本地逐帧获取商品图像；

S2:获取当前帧与上一帧的所述商品图像中商品的距离矩阵；

S4:获取当前帧与上一帧的所述商品图像中商品的外观矩阵；

S7:根据预设的判定轴，判断上一帧商品与当前帧商品是否位于所述判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

Claims

1.一种智能柜动态识别方法，其特征在于，包括以下步骤，

在本地逐帧获取商品图像；

获取当前帧与上一帧的所述商品图像中商品的距离矩阵；

获取当前帧与上一帧的所述商品图像中商品的交并比矩阵；

获取当前帧与上一帧的所述商品图像中商品的外观矩阵；

2.根据权利要求1所述的智能柜动态识别方法，其特征在于，所述根据预设的判定轴，判断商品图像中上一帧商品与当前帧商品是否位于所述判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存的步骤包括，

3.根据权利要求2所述的智能柜动态识别方法，其特征在于，还包括以下步骤，

4.根据权利要求2所述的智能柜动态识别方法，其特征在于，还包括以下步骤，

5.根据权利要求1所述的智能柜动态识别方法，其特征在于，所述在本地逐帧获取商品图像时，还包括以下步骤，

通过JNI接口调用预设的图像识别算法。

6.根据权利要求1-5任意一项所述的智能柜动态识别方法，其特征在于，所述在本地逐帧获取商品图像后，还包括以下步骤，

采用卡尔曼滤波算法对所述商品图像进行校正。

7.根据权利要求6所述的智能柜动态识别方法，其特征在于，所述代价矩阵的计算公式为，

G＝a*D+b*I+c*A

8.根据权利要求1所述的智能柜动态识别方法，其特征在于，所述更新商品的剩余库存的步骤前，还包括，

为智能柜的商品预绑定用于起唯一识别作用的电子标签；

获取商品图像中待更新商品的电子标签；

9.根据权利要求1所述的智能柜动态识别方法，其特征在于，所述更新商品的剩余库存的步骤前，还包括，

10.根据权利要求9所述的智能柜动态识别方法，其特征在于，还包括以下步骤，

11.根据权利要求10所述的智能柜动态识别方法，其特征在于，若所述智能柜中待更新商品的当前重量与待更新商品的拟变化库存的重量之和不满足预设条件时，还包括以下步骤，

根据预扣费金额生成预扣费账单并发送至用户端；

12.一种智能柜动态识别装置，其特征在于，包括，

图像模块，用于在本地逐帧获取商品图像；

13.根据权利要求12所述的智能柜动态识别装置，其特征在于，所述计数模块包括，

14.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至11任意一项所述方法的步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至11任意一项所述方法的步骤。