CN109243049A - 一种售货柜的商品存取识别系统及方法 - Google Patents

Abstract

本发明公开了一种售货柜的商品存取识别系统及方法，包括：称重传感器，光电检测器及高清摄像头，数据处理模块分别于称重传感器、光电检测器及图像处理模块连接；对存取商品动作进行检测，判断是否存在存取商品的准备，通过高清摄像头对商品的种类及数量进行图像识别；通过称重传感器测量商品的总重量，根据商品总重量的变化，判断是否有商品存取及对应重量商品的种类及数量；本发明的技术目的在于提供一种售货柜的商品存取识别系统及方法，该售货柜的商品存取识别系统及方法能够提高商品识别的准确性。

Description

一种售货柜的商品存取识别系统及方法

技术领域

本发明涉及无人售货柜技术领域，特别涉及一种售货柜的商品存取识别系统及方法。

背景技术

目前很多无人售货机，都采用了图像识别技术，用以判断用户拿取了什么样的商品，进而进行价格结算。此技术在一般情况下都能很好的识别判断出商品，但在一些特殊的情况下，识别就有误差，如商品遮盖面积较大时、商品存取时间过快、图像信号受到干扰等等，在这些情况下只通过图像识别判断商品类别就不是很准确，进而影响无人售货机的正常交易，因此，需要提高商品的识别准确性。

发明内容

针对现有技术存在的不足，本发明的技术目的在于提供一种售货柜的商品存取识别系统及方法，该售货柜的商品存取识别系统及方法能够提高商品识别的准确性。

本发明通过以下技术方案实现：

本发明的售货柜的商品存取识别系统，包括：

称重传感器，用于对商品进行重量检测，称重传感器数量为2～6个；

光电检测器，用于对存取商品的动作检测；

高清摄像头，用于拍摄配货员或用户存取的商品，并连接有图像处理模块；

数据处理模块，分别于称重传感器、光电检测器及图像处理模块连接。

本发明的售货柜的商品存取识别系统，称重传感器与数据处理模块之间还设有集线器及变送器。

本发明的售货柜的商品存取识别方法，包括以下步骤：

对存取商品动作进行检测，判断是否存在存取商品的准备；

通过高清摄像头对商品的种类及数量进行图像识别；

通过称重传感器测量商品的总重量，根据商品总重量的变化，判断是否有商品存取及对应重量商品的种类及数量；

将存取商品的动作检测、高清摄像头的识别到的商品种类及数量及称重传感器称重后确定的商品的种类及数量进行对比，是否一致。

进一步地，称重传感器测得商品总重量的减少量，与高清摄像头识别的商品的数量及种类，根据对应种类商品的重量，确定商品的种类及数量。

进一步地，高清摄像头对商品的种类及数量进行图像识别方法为：

a）采集若干商品的训练图像数据，对训练图像进行处理，形成高斯尺度空间，从最底层向最顶层依次标记为：A1、A2、A3…An；

b）提取A1、A2、A3…An中部分或全部的边界信息，并保存至数据库内；

c）通过摄像头获得待识别的商品图像，并对图像进行去噪处理及去干扰图形处理；

d）通过边界检测算法获得待识别图像的边界信息；

e）对待识别图像的边界信息与数据库内的数据进行对比，从而得出待测商品的种类及数量。

进一步地，在步骤e中，待识别图像的边界信息与数据库内的数据进行对比是通过广义霍夫变换模型对比。

进一步地，广义霍夫变换模型对比方法：

a）在区域内部选择一参考点（Xr，Xy），计算各边界点的梯度方向α；

b）参考点及各边界点的相对位置用它们的连线方向角φ及连线长度r表示，将它们按梯度方向α的大小依次排列成一个数据表P，该表表示了该区域的形状；

c）求取投票矩阵；对待识别图像所有边界点x计算梯度方向α，根据梯度方向，在数据表P中找到所有相同α的集合，并根据公式：

计算出预测参考点的位置（）,并在相应的相应的累积矩阵中加1，获得A（）=A（）+1；

d）若A值超过设定的阈值，则判断待测图形中存在数据表P中的形状。

本发明的有益效果是:

先通过光电检测器判断是否存在商品存取动作，并通过图像识别商品的种类及数量，再通过商品区域的重量变化，对商品的种类及数量进行核实，通过以图像识别技术为主，配以称重及存取商品动作检测为辅，从而能够实现商品存取的精确识别，识别的可靠性更高。

附图说明

图1是售货柜商品存取识别方法图；

图2是数据表P；

图3是广义的霍夫变换图。

具体实施方式

下面结合附图对本发明作详细描述。

如图1所示的售货柜的商品存取识别系统，称重传感器，用于对商品进行重量检测，称重传感器数量为多个，优选为2～6个，最好为3～4个；

光电检测器，用于对存取商品的动作检测；

高清摄像头，用于拍摄配货员或用户存取的商品，并连接有图像处理模块；

数据处理模块，分别于称重传感器、光电检测器及图像处理模块连接，通过配以图像处理模块能够使得图像处理速度更快，更加准确。

其中，称重传感器与数据处理模块之间还设有集线器及变送器，称重传感器测得的信号精工集线器、变送器滤波放大后再传输给数据处理模块。

一种售货柜的商品存取识别方法，包括以下步骤：

对存取商品动作进行检测，判断是否存在存取商品的准备，通过光电检测器对存取商品动作进行检测，主要检测手进入与手离开；

若开始取货，则通过高清摄像头对商品的种类及数量进行图像识别；

通过称重传感器测量商品的总重量，根据商品总重量的变化，判断是否有商品存取及对应重量商品的种类及数量；

将存取商品的动作检测、高清摄像头的识别到的商品种类及数量及称重传感器称重后确定的商品的种类及数量进行对比，并且，若商品总重量减轻，则顾客取走商品，若没有减轻，则顾客没有取走所识别的商品。

其中，称重传感器测得商品总重量的减少量，与高清摄像头识别的商品的数量及种类，根据对应种类商品的重量，确定商品的种类及数量。

高清摄像头对商品的种类及数量进行图像识别方法为多种，本实施例仅列举了一种实施方法为：

a）采集若干商品的训练图像数据，对训练图像进行处理，形成高斯尺度空间，从最底层向最顶层依次标记为：A1、A2、A3…An；

b）提取A1、A2、A3…An中部分或全部的边界信息，并保存至数据库内；

c）通过摄像头获得待识别的商品图像，并对图像进行去噪处理及去干扰图形处理；

d）通过边界检测算法获得待识别图像的边界信息；

e）对待识别图像的边界信息与数据库内的数据进行对比，从而得出待测商品的种类及数量。

在上述步骤e中，待识别图像的边界信息与数据库内的数据进行对比是通过广义霍夫变换模型对比。

其中，广义霍夫变换模型对比方法为：建立边界点信息与参考点位置间的关系表；对给定的边界点信息，通过查表计算出参考点位置，根据投票机制，确定投票最多的位置，具体为：

a）在区域内部选择一参考点（Xr，Xy），计算各边界点的梯度方向α；

b）参考点及各边界点的相对位置用它们的连线方向角φ及连线长度r表示，将它们按梯度方向α的大小依次排列成一个数据表P，如图2及图3所述，该表表示了该区域的形状；图3中X为图形中的一个边界点，边界取向为α，需要在P表中找到索引项为a，将点（Xr，Xy）与X的距离和他们连线的斜率记录到表P中；

c）求取投票矩阵；对待识别图像所有边界点x计算梯度方向α，根据梯度方向，在数据表P中找到所有相同α的集合，并根据公式：

计算出预测参考点的位置（）,并在相应的相应的累积矩阵中加1，获得A（）=A（）+1；

d）若A值超过设定的阈值，则判断待测图形中存在数据表P中的形状。

以上应用了具体示例对本申请进行阐述，只是用于帮助理解本申请，并不用以限制本申请。对于本申请所属技术领域的技术人员，依据本申请的思想，还可以做出若干简单推演、变形或替换。

从而能够对商品进行准确图像识别。

因此，先通过光电检测器判断是否存在商品存取动作，并通过图像识别商品的种类及数量，再通过商品区域的重量变化，对商品的种类及数量进行核实，通过以图像识别技术为主，配以称重及存取商品动作检测为辅，从而能够实现商品存取的精确识别，识别的可靠性更高。

Claims (8)

1.一种售货柜的商品存取识别系统，其特征在于，包括：

称重传感器，用于对商品进行重量检测，称重传感器数量为2～6个；

光电检测器，用于对存取商品的动作检测；

高清摄像头，用于拍摄配货员或用户存取的商品，并连接有图像处理模块；

数据处理模块，分别于称重传感器、光电检测器及图像处理模块连接。

2.如权利要求1所述的售货柜的商品存取识别系统，其特征在于，称重传感器与数据处理模块之间还设有集线器及变送器。

3.一种售货柜的商品存取识别方法，其特征在于，包括以下步骤：

对存取商品动作进行检测，判断是否存在存取商品的准备；

通过高清摄像头对商品的种类及数量进行图像识别；

通过称重传感器测量商品的总重量，根据商品总重量的变化，判断是否有商品存取及对应重量商品的种类及数量；

将存取商品的动作检测、高清摄像头的识别到的商品种类及数量及称重传感器称重后确定的商品的种类及数量进行对比，是否一致。

4.如权利要求3所述的售货柜的商品存取识别方法，其特征在于，称重传感器测得商品总重量的减少量，与高清摄像头识别的商品的数量及种类，根据对应种类商品的重量，确定商品的种类及数量。

5.如权利要求3所述的售货柜的商品存取识别方法，其特征在于，通过光电检测器对存取商品动作进行检测。

6.如权利要求3所述的售货柜的商品存取识别方法，其特征在于，高清摄像头对商品的种类及数量进行图像识别方法为：

a）采集若干商品的训练图像数据，对训练图像进行处理，形成高斯尺度空间，从最底层向最顶层依次标记为：A1、A2、A3…An；

b）提取A1、A2、A3…An中部分或全部的边界信息，并保存至数据库内；

c）通过摄像头获得待识别的商品图像，并对图像进行去噪处理及去干扰图形处理；

d）通过边界检测算法获得待识别图像的边界信息；

e）对待识别图像的边界信息与数据库内的数据进行对比，从而得出待测商品的种类及数量。

7.如权利要求6所述的售货柜的商品存取识别方法，其特征在于，在步骤e中，待识别图像的边界信息与数据库内的数据进行对比是通过广义霍夫变换模型对比。

8.如权利要求7所述的售货柜的商品存取识别方法，其特征在于，广义霍夫变换模型对比方法：

a）在区域内部选择一参考点（Xr，Xy），计算各边界点的梯度方向α；

b）参考点及各边界点的相对位置用它们的连线方向角φ及连线长度r表示，将它们按梯度方向α的大小依次排列成一个数据表P；

c）求取投票矩阵；对待识别图像所有边界点x计算梯度方向α，根据梯度方向，在数据表P中找到所有相同α的集合，并根据公式：

计算出预测参考点的位置（）,并在相应的相应的累积矩阵中加1，获得A（）=A（）+1；

d）若A值超过设定的阈值，则判断待测图形中存在数据表P中的形状。