CN110096946A - 一种基于压感和视觉融合的无人售货系统 - Google Patents

Abstract

本发明的一种基于压感和视觉融合的无人销售系统，通过采用压力传感器可以实时监控柜体内每个承载盒内的重力数据，并根据所有压力传感器获取的重力数据变化，一方面可以判断识别客户选择的商品质量和数量，另一方面，还可以通过每个承载盒内压力变化，以判断顾客的购物行为；同时，本发明还利用摄像头采集客户选择商品的图片信息，通过基于视觉的商品识别模块，可以判断客户的选择商品。与现有技术相比较，本发明的三个识别过程完美融合，极大提升商品识别准确度；以压力识别为主，识别速度快，效率高；以视觉识别为辅，提升准确度和安全系数；以购物行为识别为补充手段，进一步加强识别准确度和安全系数；不用打标签，制造流程简单，成本低廉。

Description

一种基于压感和视觉融合的无人售货系统

技术领域

本发明涉及自动售货技术领域，更具体地，涉及一种基于压感和视觉融合的无人售货系统。

背景技术

目前的无人售货柜有以下几种：

第一种是基于RFID的无人售货柜，这种无人售货柜的基本原理是在商品上添加RFID射频标签，在售货机内配置射频读取装置，通过客户拿取商品时识别RFID标签来区分购买的商品。

第二种是基于视觉识别技术的无人售货柜，这种技术是通过24小时不间断的摄像来采集图片，然后从图片中分析出客户所购买的商品。

第三种是基于重力感应来识别商品的无人售货柜，这种技术是通过压力感应器感应货架上货物的重量变化，以此判断客户所购买商品的技术。

基于RFID的无人零售柜需要在每个商品上添加RFID射频标签。首先RFID标签的成本是比较高的，这样就增加了硬件成本，而且添加标签这个步骤作为一道不可或缺的程序，也会增加工业成本和人工成本。而且RFID标签容易损坏，一旦损坏就无法正常识别商品，这样不仅会造成经济损失，更会影响客户的购物体验。而且对于部分商品，例如盒装食品，客户完全可以打开盒子拿走里面的食品，把贴了RFID标签的盒子留在里面，针对这种恶意行为，基于RFID的无人售货柜显得无能为力。

基于视觉识别的无人售货柜的主要缺陷在于视觉识别的速度比较慢、准确率比较低，同时此技术对商品的大小、摆放、高度以及光照等环境条件均有较严格的限制，支持商品的品类也受限。

基于重力传感器的无人售货柜主要缺点在于等量商品无法识别，尽管不同商品出现等量的情况很小，但是也无法排除，而且对重力精度也有很高的要求。

针对上述的技术问题，急需发明一种无人售货系统以解决上述的技术问题。

发明内容

本发明提供一种产品结构简单、识别速度快且精准的基于压感和视觉融合的无人售货系统及其售货方法，以解决上无人售货柜中产品包装复杂且成本高、以及无人售货柜产品识别速度和精度低的技术问题。

根据本发明的一个方面，提供一种基于压感和视觉融合的无人售货系统，包括：

柜体，用于容纳待销售商品，其该柜体内设有展示柜，所述展示柜上设有多个承载盒，待销售商品装设在所述承载盒内；

摄像头，用于采集销售商品的图像数据，安装在所述柜体的顶部；

压力传感器，用于采集每个承载盒内的压力变化，装设在所述承载盒底部；

控制器，用于进行产品识别判断，分别于所述摄像头和压力传感器相连，且所述控制器包括基于压感的商品识别模块、基于压感的行为分析模块和基于视觉的商品识别模块，

所述基于压感的商品识别模块，用于根据展示柜内总的压力数据变化以判断客户选择商品；

所述基于压感的行为分析模块，用于根据每个承载盒内压力数据的变化，以判断客户的购物行为；

所述基于视觉的商品识别模块，用于根据摄像头采集的数据以分析客户选择商品。

在上述方案基础上优选，所述基于压感的商品识别模块，内置商品重量存储数据库和商品信息数据库，所述商品重量存储数据库内用于存储各类商品的单位重量数据，所述商品信息数据库用于存储各类商品的单价信息和标号信息，且所述商品重量存储数据库的单位重量数据与所述商品信息数据库的信息一一对应。

本发明还提供了一种基于压感和视觉融合的无人销售系统的售货方法，包括以下步骤：

步骤S1，根据展示柜内压力数据变化，通过基于压感的商品识别模块，以识别判断取出商品的种类；

步骤S2，根据每个承载盒内压力数据的变化，通过基于压感的行为分析模块，以判断客户的购物行为；

步骤S3，根据摄像头采集的图片数据，通过基于视觉的商品识别模块对比，以识别出商品的种类；

步骤S4，将步骤S1识别的商品种类与步骤S3的种类比较，当两者结果相同，则判断识别出商品的最终种类和数量。

在上述方案基础上优选，所述步骤S3基于视觉的商品识别模块采用的是基于RGB特征的商品识别算法。

在上述方案基础上优选，所述客户的购物行为包括拿货模式、放货模式、移货模式和破坏模式。

在上述方案基础上优选，所述步骤S1中基于压感的商品识别模块采用的是基于压力传感器的商品识别算法。

在上述方案基础上优选，所述步骤S2中基于压感的行为分析模块采用的是基于压力传感器的客户购物行为分析算法。

本发明的一种基于压感和视觉融合的无人销售系统，通过采用压力传感器可以实时监控柜体内每个承载盒内的重力数据，并根据所有压力传感器获取的重力数据变化，一方面可以判断识别客户选择的商品质量和数量，另一方面，还可以通过每个承载盒内压力变化，以判断顾客的购物行为；与此同时，本发明还利用摄像头采集客户选择商品的图片信息，通过基于视觉的商品识别模块，可以判断客户的选择商品。

与现有技术相比较，本发明具备以下技术效果：

1.三个识别过程：基于压力的商品识别—基于视觉的商品识别—基于压力的购物行为识别，三个识别过程完美融合，极大提升商品识别准确度；

2.以压力识别为主，识别速度快，效率高；

3.以视觉识别为辅，提升准确度和安全系数；

4.以购物行为识别为补充手段，进一步加强识别准确度和安全系数；

5.不用打标签，制造流程简单，成本低廉；

6.商品可以随意摆放，不受光照、形状的影响；

7.商品信息实时显示在手机端，用户可以实时掌握自己的购物信息。

附图说明

图1为本发明的柜体的结构示意图；

图2为本发明的拿货模式的波形图；

图3为本发明的放货模式的波形图；

图4为本发明的传感器A的拿货模式的波形图；

图5为本发明的传感器B的放货模式的波形图；

图6为本发明的破坏模式的波形图；

图7为本发明的基于压感和视觉融合的无人销售系统的售货方法流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

请参阅图1所示，本发明一种基于压感和视觉融合的无人售货系统，包括：

柜体，用于容纳待销售商品，其该柜体内设有展示柜，所述展示柜上设有多个承载盒，待销售商品装设在承载盒内，每个承载盒分别对应编号，且每个承载盒中设有相同或不同的待销售商品；

摄像头，用于采集销售商品的图像数据，安装在柜体的顶部，当客户从柜体内取出商品后，摄像头可以采集客户取出商品的图案信息；

压力传感器，装设在承载盒底部,用于采集每个承载盒内的压力变化，并将压力传感器采集数据传递至控制器；

控制器，用于进行产品识别判断，分别于摄像头和压力传感器相连，且控制器包括基于压感的商品识别模块、基于压感的行为分析模块和基于视觉的商品识别模块，

基于压感的商品识别模块，用于根据展示柜内总的压力数据变化以判断客户选择商品；

基于压感的行为分析模块，用于根据每个承载盒内压力数据的变化，以判断客户的购物行为；

基于视觉的商品识别模块，用于根据摄像头采集的数据以分析客户选择商品。

其中，本发明的基于压感的商品识别模块，内置商品重量存储数据库和商品信息数据库，商品重量存储数据库内用于存储各类商品的单位重量数据，商品信息数据库用于存储各类商品的单价信息和标号信息，且商品重量存储数据库的单位重量数据与商品信息数据库的信息一一对应。

请继续参阅图7所示本发明还提供了一种基于压感和视觉融合的无人销售系统的售货方法，包括以下步骤：

步骤S1，根据展示柜内压力数据变化，通过基于压感的商品识别模块，以识别判断取出商品的种类；

步骤S2，根据每个承载盒内压力数据的变化，通过基于压感的行为分析模块，以判断客户的购物行为；

步骤S3，根据摄像头采集的图片数据，通过基于视觉的商品识别模块对比，以识别出商品的种类；

步骤S4，将步骤S1识别的商品种类与步骤S3的种类比较，当两者结果相同，则判断识别出商品的最终种类和数量。

其中，步骤S3基于视觉的商品识别模块采用的是基于RGB特征的商品识别算法。

值得说明的是，本发明的基于RGB特征的商品识别算法，是通过首先在构建RGB标准数据库，该RGB标准数据库内设有柜体内每种待售商品的RGB特征数据，当客户从柜体内取出商品时，摄像头采集到相关的图像数据，通过基于RGB特征的商品识别算法对比，可以从RGB标准数据库内识别出客户选择的商品。

其中，本发明的RGB标准数据库的构建，是采用以下步骤：

步骤S10，构建图片数据库，图片数据库内设有与商品种类对应的存储空间；

步骤S20，采集每一个种类商品的图片，对获取的图片进行图像处理，以获取商品的RGB直方图；

步骤S30，提取商品的RGB直方图的特征值，利用哈希算法，对获取的商品特征值进行转换，并存储至对应的商品种类存储空间；

步骤S40，基于步骤S30得到的图片数据库，构建训练模型，输入商品种类和商品特征值，以获取计算结果，将计算结果与实际结果匹配，对训练模型的参数修正，以获取得到匹配模型。

其中，通过扩大获取图片拍摄数量可丰富商品特征信息，有利于准确匹配，但是图片数量过多会造成特征信息庞大，增加空间资源消耗，降低匹配速度，因此，权衡空间和时间及匹配准确度的，本发明在步骤S20中，每种商品选择上下左右四个方位进行拍摄，如图2所示，且每种商品的每个方位拍摄3张不同角度的图片，从而获得每个商品的12张不同角度的图片，以得到每个商品足够的特征信息，在保证占用空间不多的情况下，满足高准确度的要求。

进一步，为了确保获取的特征信息的准确性，本发明还在步骤S20中，将获取的图片进行噪声分析和降噪处理，以获取商品的RGB直方图。

而，目前噪声大致可以分为四类，分别是加性噪声、乘性噪声、量化噪声、椒盐噪声。加性噪声：此类噪声与输入图像信号无关,信道噪声及光导摄像管的摄像机扫描图像时产生的噪声就属这类噪声；乘性噪声：此类噪声与图像信号有关,飞点扫描器扫描图像时的噪声,电视图像中的相干噪声,胶片中的颗粒噪声就属于此类噪声；量化噪声：此类噪声与输入图像信号无关,是量化过程存在量化误差,再反映到接收端而产生；椒盐噪声：椒盐噪声，椒盐噪声又称脉冲噪声，它随机改变一些像素值，是由图像传感器，传输信道，解码处理等产生的黑白相间的亮暗点噪声。椒盐噪声往往由图像切割引起。

首先，通过噪声分析算法分析图像中存在哪些噪声，然后针对各种噪声，进行降噪处理。目前的降噪处理方法有四类，第一种，均值滤波器：均值滤波的基本思想是用几个像素灰度的平均值来代替每个像素的灰度。这种方法可以通过把突变点的灰度值分散在其相邻点中来达到平滑效果，操作起来简单。第二种，中值滤波器：中值滤波是一种非线性滤波，它能在滤除噪声的同时很好的保持图像边缘。中值滤波的原理：把以当前像素为中心的小窗口内的所有像素的灰度按从小到大排序，取排序结果的中间值作为该像素的灰度值。第三种，维纳滤波：维纳滤波是一种自适应滤波，它能根据图像的局部方差调整滤波器的输出。第四种，图像小波域滤波：小波分析用于图像去噪处理，主要是针对图像信号与噪声信号经小波变换后在不同分辨率呈现不同的规律，在不同的分辨率下，设定阈值门限，调整小波系数，达到图像去噪目的。

其中，本发明的步骤S30中商品的RGB直方图的特征值提取具体步骤为：

步骤S31，基于步骤S2获取的商品的RGB直方图，根据商品的RGB直方图中分离出R，G，B三个颜色通道，对三个颜色通道分别建立直方图；

步骤S32，分别对每个颜色对应的直方图信息进行离散化处理，提取每个颜色对应的直方图的特征信息；

步骤S33，对所述每个颜色对应直方图的特征信息放大，以获取RGB直方图的特征值。

而在步骤S32中离散化处理方法是，以相同的梯度，对每个颜色对应的直方图的灰度值进行提取。为了进一步详细了解步骤S3，以下将进一步详细说明本发明的技术方案。

本发明的RGB直方图是以(0,255)灰度值作为横轴，以每种灰度出现的频率作为数轴的一个直方图，如图2所示。由于直方图是作为一个连续的图像，因此，必须进行离散化操作以提取一些离散值来代表整个直方图的信息。本发明将以0.2作为梯度，即从横坐标0开始，每间隔0.2的梯度取一个值，所取得的值则是这个梯度内的平均值。由于平均值可以比较准确地代表这个范围内的灰度值特征，经计算，共取得255/0.2＝1275个值。

而步骤S33中特征信息放大是，对步骤S32中获得的每个颜色对应的直方图的灰度值求取平均值，将每个颜色对应的直方图的灰度值与对应颜色的灰度值的平均值比较，当获取的比较值大于1，则对该灰度值进行正向运算，将该离散值乘以一个大于1的值；当获取的比较值小于1，则对该灰度值进行逆向运算，将该离散值乘以一个小于1的值，以获取每个颜色对应的直方图的特征值。

值得说明的时，本发明的训练模型为贝叶斯决策树模型。

而步骤S1中基于压感的商品识别模块采用的是基于压力传感器的商品识别算法；步骤S2中基于压感的行为分析模块采用的是基于压力传感器的客户购物行为分析算法。

其中，基于压力传感器的商品识别算法，是通过构建重量标准数据库，在重量标准数据库内存储每个待销售商品的每一件标准重量数据，并构建与柜体内承载盒每个压力传感器对应的存储空间，当客户从柜体内拾取商品时，选择不同的承载盒内的商品时，会引起对应承载盒中压力传感器采集的数据变化，通过基于压力传感器的客户购物行为分析算法，可以准确判断出客户的购物行为；与此同时，当客户将商品从柜体中取出后，柜体内总的压力会发生变化，这就可以通过基于压力传感器的商品识别算法，通过查询重量标准数据库内对应的商品标准重量，可以从重量标准数据库内识别出客户选择的商品。

其中，本发明的基于压力传感器的用户购物行为分析，是采用以下步骤：

步骤S1，获取压力变化数据，通过数据处理，以获取波形图；

步骤S2，通过验证建立波形图与用户行为模式的对应关系；

步骤S3，基于用户行为模式与波形图的对应关系，构建神经网络

预测模型；

步骤S4，基于步骤3中的神经网络预测模型建立相应的预测控制

系统，并进行仿真控制，验证步骤3中的神经网络预测模型的合理性。

而本发明客户的购物行为包括拿货模式、放货模式、移货模式和破坏模式。

其中，拿货模式对应的波形图呈压力平稳转变为波谷形状，最后波形图再次呈现为压力平稳状态，具体的波形图请参阅图2所示。也就是说拿货模式的波形图的主要特征可以描述为三个阶段：平稳—波谷—平稳；出现这三个阶段的原因就是用户拿货之后，商品的总质量突然下降，压力值也会突然下降，因此出现波谷，之后则趋于平稳。

而放货模式对应的波形图呈压力平稳转变为波峰形状，最后波形图再次呈现为压力平稳状态，出现这三个阶段的原因就是用户放货之后，商品的总质量突然上升，压力值也会突然增大，因此出现波峰，之后则趋于平稳，具体的波形图请参阅图3所示。

移货模式是通过对比同一时间内两个不同压力传感器的波形图呈反向状态。进一步的，破坏模式的波形图呈波峰与波谷交替状态。具体说，移货的过程是一个相对比较复杂的过程，它涉及用户拿下物品然后又把物品放到另外一个地方去，因此，判断是否是移货操作，要分析售货柜内多个传感器的数据，看是否满足同一时间内，一个传感器A出现拿货波形图，如图4所示，而另一个传感器B出现放货波形图，请参阅图5所示。

破坏模式为指的是用户对售货柜造成破坏，主要行为是用手捶打储物格，或者是用商品捶打储物格进行蓄意损坏。这种蓄意破坏行为体现在波形图上是一种短时间内的多个波峰波谷不断交替出现，并且波峰波谷的幅度相当大大，频率非常高。究其原因，是因为破坏者会将自身的力量施加在感应器上，使得感应器的压力值远远偏离正常的压力值的大小，具体的波形图请参阅图6所示。

本发明的一种基于压感和视觉融合的无人销售系统，通过采用压力传感器可以实时监控柜体内每个承载盒内的重力数据，并根据所有压力传感器获取的重力数据变化，一方面可以判断识别客户选择的商品质量和数量，另一方面，还可以通过每个承载盒内压力变化，以判断顾客的购物行为；与此同时，本发明还利用摄像头采集客户选择商品的图片信息，通过基于视觉的商品识别模块，可以判断客户的选择商品。

与现有技术相比较，本发明具备以下技术效果：

1.三个识别过程：基于压力的商品识别—基于视觉的商品识别—基于压力的购物行为识别，三个识别过程完美融合，极大提升商品识别准确度；

2.以压力识别为主，识别速度快，效率高；

3.以视觉识别为辅，提升准确度和安全系数；

4.以购物行为识别为补充手段，进一步加强识别准确度和安全系数；

5.不用打标签，制造流程简单，成本低廉；

6.商品可以随意摆放，不受光照、形状的影响；

7.商品信息实时显示在手机端，用户可以实时掌握自己的购物信息。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于压感和视觉融合的无人售货系统，其特征在于，包括：

柜体，用于容纳待销售商品，其该柜体内设有展示柜，所述展示柜上设有多个承载盒，待销售商品装设在所述承载盒内；

摄像头，用于采集销售商品的图像数据，安装在所述柜体的顶部；

压力传感器，用于采集每个承载盒内的压力变化，装设在所述承载盒底部；

控制器，用于进行产品识别判断，分别于所述摄像头和压力传感器相连，且所述控制器包括基于压感的商品识别模块、基于压感的行为分析模块和基于视觉的商品识别模块，

所述基于压感的商品识别模块，用于根据展示柜内总的压力数据变化以判断客户选择商品；

所述基于压感的行为分析模块，用于根据每个承载盒内压力数据的变化，以判断客户的购物行为；

所述基于视觉的商品识别模块，用于根据摄像头采集的数据以分析客户选择商品。

2.如权利要求1所述的一种基于压感和视觉融合的无人售货系统，其特征在于，所述基于压感的商品识别模块，内置商品重量存储数据库和商品信息数据库，所述商品重量存储数据库内用于存储各类商品的单位重量数据，所述商品信息数据库用于存储各类商品的单价信息和标号信息，且所述商品重量存储数据库的单位重量数据与所述商品信息数据库的信息一一对应。

3.一种基于压感和视觉融合的无人销售系统的售货方法，其特征在于，包括以下步骤：

步骤S1，根据展示柜内压力数据变化，通过基于压感的商品识别模块，以识别判断取出商品的种类；

步骤S2，根据每个承载盒内压力数据的变化，通过基于压感的行为分析模块，以判断客户的购物行为；

步骤S3，根据摄像头采集的图片数据，通过基于视觉的商品识别模块对比，以识别出商品的种类；

步骤S4，将步骤S1识别的商品种类与步骤S3的种类比较，当两者结果相同，则判断识别出商品的最终种类。

4.如权利要求3所述的一种基于压感和视觉融合的无人销售系统的售货方法，其特征在于，所述步骤S3基于视觉的商品识别模块采用的是基于RGB特征的商品识别算法。

5.如权利要求3所述的一种基于压感和视觉融合的无人销售系统的售货方法，其特征在于，所述客户的购物行为包括拿货模式、放货模式、移货模式和破坏模式。

6.如权利要求3所述的一种基于压感和视觉融合的无人销售系统的售货方法，其特征在于，所述步骤S1中基于压感的商品识别模块采用的是基于压力传感器的商品识别算法。

7.如权利要求3所述的一种基于压感和视觉融合的无人销售系统的售货方法，其特征在于，所述步骤S2中基于压感的行为分析模块采用的是基于压力传感器的客户购物行为分析算法。