CN110617670A - 一种基于图像识别的无人售冰箱及其识别方法 - Google Patents

Abstract

本发明涉及无人售冰箱领域，公开了一种基于图像识别的无人售冰箱及其识别方法，其中，基于图像识别的无人售冰箱包括用于对用户进行图像采集的图像采集模块；与图像采集模块连接，用于对采集到的图像进行处理识别的图像识别模块；与图像识别模块和图像采集模块连接，用于处理请求信息的后端云台服务器；与图像识别模块连接，用于图像识别模块深度学习新模型的学习模型。本发明的基于图像识别的无人售冰箱及其识别方法，通过直接识别用户的动作，不需要对冰箱的内部结构和商品摆放强制做要求，大大提高了冰箱的容量，也降低了维护成本，同时不需要对比识别，减少了图像识别模块的学习次数，提高了识别精度和识别效率。

Description

一种基于图像识别的无人售冰箱及其识别方法

技术领域

本发明涉及无人售冰箱领域，特别是涉及一种基于图像识别的无人售冰箱及其识别方法。

背景技术

目前的图像识别无人售冰箱，通过采集消费者拿取商品前后的图像数据，并使用图像识别技术识别计算前后商品类别及数量之差，获得消费者购买的商品类别与数量，并将消费金额推送给电子支付系统完成支付。采用这种商品识别方案的图像识别智能冰箱，我们称之为静态图像识别冰箱，静态图像识别冰箱这种通过识别并计算前后图像中商品类别与数量之差的方法，要求冰箱每层具有一定层高来放置图像识别摄像头，冰箱硬件改装不灵活，层高与货道数受限；要求商品按一定规则摆放，不允许商品堆叠，大大限制了冰箱可用容量，限制了可售商品的类别，增加了运营人员的补货及维护成本。

例如中国专利CN201810835939.8，公开了一种基于图像识别的无人售货柜，通过采集货柜内售卖前和售卖后的图像，并通过图像对比和重量差，识别出售卖的商品种类和数量，但是真个货柜商品的摆放需要存在一定的规律，不能打乱，且不能堆叠，维护不便。

发明内容

本发明的目的是提供一种基于图像识别的无人售冰箱及其识别方法，可以令冰箱内商品灵活摆放，增大冰箱容量和类别，降低维护成本。

为了解决上述技术问题，本发明提供一种基于图像识别的无人售冰箱，包括:用于对用户进行图像采集的图像采集模块；与图像采集模块连接，用于对采集到的图像进行处理识别的图像识别模块；与图像识别模块和图像采集模块连接，用于处理请求信息的后端云台服务器；与图像识别模块连接，用于图像识别模块深度学习新模型的学习模块。

作为优选方案，所述图像采集模块与图像识别模块通过有线网络或者无线网络连接。

作为优选方案，所述无线网络连接为4G网络、WIFI或者5G网络。

作为优选方案，所述图像采集模块为摄像头。

作为优选方案，所述图像识别模块通过无线网络连接学习模块。

作为优选方案，所述后端云台服务器通过无线网络分别与图像采集模块和图像识别模块连接。

作为优选方案，所述图像采集模块设置有多个。

为了解决上述技术问题，本发明还提供一种基于图像识别的无人售冰箱的识别方法，包括以下步骤：

S1、后端云台服务器判断用户是否发送开门请求，若有则打开冰箱；

S2、图像采集模块开始采集用户动作视频；

S3、判断用户是否关闭冰箱，若未关闭冰箱则继续进行步骤S2，若关闭冰箱则图像采集模块将视频上传至图像识别模块；

S4、图像识别模块识别商品种类、数量和轨迹；

S5、若商品离开冰箱则将商品数据上传到后端云台服务器，若商品没有离开冰箱则停止工作；

S6、后端云台服务器接收商品数据后，则生成订单，向用户发送扣款请求。

作为优选方案，所述步骤S4包括以下步骤：

S41、图像识别模块将视频拆分成多张图片，并识别每张图片中的物品框；

S42、图像识别模块识别每张图片的物品框内是否存在商品，若存在商品则将该图片中的物品框截取出来，并进行步骤S43，若不存在商品则删除该图片；

S43、图像识别模块识别物品框内商品的数量和种类；

S44、图像识别模块将全部物品框连接成视频，通过判断物品框的运动轨迹来判断商品的轨迹。

本发明具有以下有益效果：

本发明的无人售冰箱不需要通过对比冰箱内情况来识别商品，因此本发明的无人售冰箱：

1)不受冰箱层高限制，可在普通售货冰箱上改装，无需特别定制，灵活性强；

2)商品可以堆叠摆放，摆放规则不限，大大增加了冰箱的可售商品类别数，增加冰箱的存货容量，方便运营人员补货；

3)图像识别模块无需每出售一次商品别学习一次，减小图像识别模块的负担，也提高了图像识别的效率；

4)整个识别过程不需要对比识别，减少了识别的误差，直接了当得出识别结果，节约了识别的时间，提高了识别效率。

附图说明

图1是基于图像识别的无人售冰箱的结构框图；

图2是基于图像识别的无人售冰箱的工作流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明优选实施例中基于图像识别的无人售冰箱，包括:用于对用户进行图像采集的图像采集模块；与图像采集模块连接，用于对采集到的图像进行处理识别的图像识别模块；与图像识别模块和图像采集模块连接，用于处理请求信息的后端云台服务器；与图像识别模块连接，用于图像识别模块深度学习新模型的学习模块。

在本实施例中，所述图像采集模块与图像识别模块通过有线网络或者无线网络连接。

在本实施例中，所述无线网络连接为4G网络、WIFI或者5G网络。

具体的，通过无线网络连接，可以远距离传输，减小占地，也可以减小冰箱的体积，提高冰箱的移动灵活性。

在本实施例中，所述图像采集模块为摄像头。

具体的，摄像头设置在冰箱与外部交界处，实时地捕捉消费者动作行为，直至消费者完成整个购物流程。

在本实施例中，所述图像识别模块通过无线网络连接学习模块。

在本实施例中，所述后端云台服务器通过无线网络分别与图像采集模块和图像识别模块连接。

在本实施例中，所述图像采集模块设置有多个。

需要说明的，若无人售冰箱体积较大，则在冰箱的各个位置安装图像采集模块，且每个图像采集模块采集的区域没有重叠，通过各个角度识别图像，可以避免漏识别，生成支付账单时只需将多个识别结果累加便可。

参见图2，为了解决相同的技术问题，本实施例还提供一种基于图像识别的无人售冰箱的识别方法，包括以下步骤：

S1、后端云台服务器判断用户是否发送开门请求，若有则打开冰箱；

S2、图像采集模块开始采集用户动作视频；

S3、判断用户是否关闭冰箱，若未关闭冰箱则继续进行步骤S2，若关闭冰箱则图像采集模块将视频上传至图像识别模块；

S4、图像识别模块识别商品种类、数量和轨迹；

S5、若商品离开冰箱则将商品数据上传到后端云台服务器，若商品没有离开冰箱则停止工作；

S6、后端云台服务器接收商品数据后，则生成订单，向用户发送扣款请求。

现有的无人售冰箱内的商品采用固定的规则摆放，且商品不能重叠，有些还需要对冰箱的每层都设置图像采集，而本发明则无需进行商品规则摆放，且可以随意重叠，大大提高了冰箱的摆放灵活性和容量，同时补货时，维护人员可以快速摆放，提高了维护效率，降低了维护成本；而且特别面对一些生鲜食品类商品，若规则摆放，在补货过程中，若时间过长，容易导致产品质量受损。

在本实施例中，需要说明的，本实施例的无人售冰箱设置有一个二维码，用户通过扫描二维码发送开门请求。

在本实施例中，步骤S4还包括以下步骤：

S41、图像识别模块将视频拆分成多张图片，并识别每张图片中的物品框；

S42、图像识别模块识别每张图片的物品框内是否存在商品，若存在商品则将该图片中的物品框截取出来，并进行步骤S43，若不存在商品则删除该图片；

S43、图像识别模块识别物品框内商品的数量和种类；

S44、图像识别模块将全部物品框连接成视频，通过判断物品框的运动轨迹来判断商品的轨迹。

具体的，直接采集用户的行为动作视频，通过处理视频，识别出商品的种类、数量和运动轨迹，而不需要进行对比识别，直接可以得出识别结果，大大提高了识别精准度和识别效率。

需要说明的是，S4步骤主要采用的是卷积神经网络技术，其中先进行卷积层：首先，会将视频分解成低像素的、重叠着的拼接图块；然后，把每一个图块运行于一个神经网络，保持权衡不变，这一操作会使拼接图块变成一个图组。由于将原始图像分解成了小的图像，所以，用于图像处理的神经网络也是比较好操作的。接下来，将会把这些输出值排列在图组中，用数字表示照片中各个区域的内容，数轴分别代表高度、宽度和颜色。那么，就得到了每一个图块的四维数值表达。

随后进行汇聚层，将四维图组的空间维度与采样函数结合起来，输出一个仅包含了图像中相对重要的部分的联合数组。这一联合数组不仅能使计算负担最小化，还能有效避免过度拟合的问题。最后，会把从“汇聚层”中得出的采样数组作为常规的、全方位连接的神经网络来使用。通过卷积和汇聚，大幅度地缩减了输入的数量，因此，这时候得到的数组大小是一个正常普通网络完全能够处理的，不仅如此，这一数组还能保留原始数据中最重要的部分。这最后一步的输出结果将最终显示出视频商品的数量、类别轨迹的判断。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (9)

1.一种基于图像识别的无人售冰箱，其特征在于，包括：

用于对用户进行图像采集的图像采集模块；

与图像采集模块连接，用于对采集到的图像进行处理识别的图像识别模块；

与图像识别模块和图像采集模块连接，用于处理请求信息的后端云台服务器；

与图像识别模块连接，用于图像识别模块深度学习新模型的学习模块。

2.如权利要求1所述的基于图像识别的无人售冰箱，其特征在于:所述图像采集模块与图像识别模块通过有线网络或者无线网络连接。

3.如权利要求2所述的基于图像识别的无人售冰箱，其特征在于:所述无线网络连接为4G网络、WIFI或者5G网络。

4.如权利要求1所述的基于图像识别的无人售冰箱，其特征在于:所述图像采集模块为摄像头。

5.如权利要求1所述的基于图像识别的无人售冰箱，其特征在于:所述图像识别模块通过无线网络连接学习模块。

6.如权利要求1所述的基于图像识别的无人售冰箱，其特征在于:所述后端云台服务器通过无线网络分别与图像采集模块和图像识别模块连接。

7.如权利要求1所述的基于图像识别的无人售冰箱，其特征在于:所述图像采集模块设置有多个。

8.一种基于图像识别的无人售冰箱的识别方法，其特征在于，包括以下步骤：

S1、后端云台服务器判断用户是否发送开门请求，若有则打开冰箱；

S2、冰箱打开，图像采集模块开始采集用户动作视频；

S3、判断用户是否关闭冰箱，若未关闭冰箱则继续进行步骤S2，若关闭冰箱则图像采集模块将视频上传至图像识别模块；

S4、图像识别模块识别商品种类、数量和轨迹；

S5、若商品离开冰箱则将商品数据上传到后端云台服务器，若商品没有离开冰箱则停止工作；

S6、后端云台服务器接收商品数据后，则生成订单，向用户发送扣款请求。

9.如权利要求8所述的基于图像识别的无人售冰箱的识别方法，其特征在于：所述步骤S4包括以下步骤：

S41、图像识别模块将视频拆分成多张图片，并识别每张图片中的物品框；

S42、图像识别模块识别每张图片的物品框内是否存在商品，若存在商品则将该图片中的物品框截取出来，并进行步骤S43，若不存在商品则删除该图片；

S43、图像识别模块识别物品框内商品的数量和种类；

S44、图像识别模块将全部物品框连接成视频，通过判断物品框的运动轨迹来判断商品的轨迹。