CN111540106A

CN111540106A - 一种无人超市系统

Info

Publication number: CN111540106A
Application number: CN202010290506.6A
Authority: CN
Inventors: 舒双宝; 赖金; 张育中; 王子艺; 郎贤礼; 陈志强
Original assignee: Hefei University of Technology
Current assignee: Hefei University of Technology
Priority date: 2020-04-14
Filing date: 2020-04-14
Publication date: 2020-08-14

Abstract

本发明公开了一种无人超市系统，包括服务器，所述的服务器包括云端服务器和与云端服务器网络连接的超市服务器；门禁系统，用于采集进入和离开无人超市的顾客的特征信息；并发送给超市服务器，接收超市服务器发送的结果数据；货架，用于存放商品、登记商品的ID、显示价格和显示质量，将商品的质量变化信息发送给超市服务器；货篮车，用于盛放、识别放入称重货篮车内的商品ID，测量货篮车里的总质量和显示货篮车里的商品的清单，将货篮车内的商品信息发送给超市服务器；监视系统，与超市服务器连接，用于定位用户的坐标位置，本发明克服了现有技术的不足，该无人超市系统智能化程度高，使用方便。

Description

一种无人超市系统

技术领域

本发明涉及无人超市技术领域，具体属于一种无人超市。

背景技术

无人超市，即无营业员超市。顾客购物时自己进行付款结账。这种购物模式，一方面减少了人力成本，另一方面实现超市的现代化。在无人超市中，出现如下的问题：

(1)商品未结算被携带离开超市；

(2)商品在超市如食品被拆开包装试吃，包装商品被打开包装进行查看；

(3)无人超市中货架和货篮车等固有财产被破坏；

(4)无人超市中商品卖完而无法及时补货；

(5)部分封闭式货架式商品无法查看和进行退货；

(6)违规行为，如破坏商品和破坏固有财产无法确定违规人员，导致违规行为无法制止。

发明内容

本发明的目的是提供一种无人超市，以解决现有无人超市中的如上问题。

为解决上述问题，本发明所采取的技术方案如下：

一种无人超市系统，包括：

服务器，所述的服务器包括云端服务器和与云端服务器网络连接的超市服务器，超市服务器用于处理接收的数据，并将结果数据进行发送；

门禁系统，用于采集进入和离开无人超市的顾客的特征信息，并发送给超市服务器，接收超市服务器发送的结果数据；

货架，用于存放商品、登记商品的ID、显示价格和显示质量，将商品的质量变化信息发送给超市服务器；

称重货篮车，用于盛放、识别放入称重货篮车内的商品ID，测量货篮里的总质量和显示货篮里的商品的清单，将货篮车内的商品信息发送给超市服务器；

监视系统，与超市服务器连接，用于定位用户的坐标位置。

其中，所述的云端服务器内存储有用户的图像信息、用户ID、购买的商品清单、违规行为。

其中，所述的超市服务器包括局域网、处理主机和与处理主机数据连接的存储硬盘，处理主机通过网络与云端服务器网络连接。

其中，所述的门禁系统包括进入门禁和出口门禁，所述的进入门禁和出口门禁只能单向通过；进入门禁包括人脸识别模块、二维码模块、显示器、语音播报单元和电子锁；所述的出口门禁包括识别模块、支付单元、清单打印单元和电子锁，识别模块为人脸识别模块、条纹码检测装置，支付单元包括带有显示面板的人脸识别支付系统和二维码支付系统；清单打印单元为打印机。

其中，所述的货架包括货架台、交互式装置、物联网装置、压力传感器和语音播报装置，物联网装置分别与交互式装置、压力传感器和语音播报装置连接，且物联网装置上设有显示面板，所述的交互式装置用于输入放入货架上的商品的商品ID、质量和数量，所述的物联网装置将货架与超市服务器进行网络连接。

其中，所述的交互式装置采用外置接入设备，包括CCD条纹码扫描仪和触控面板。

其中，所述的货篮车包括显示装置、识别装置、压力传感器、物联网模块和语音播报模块，所述的物联网模块与显示装置、识别装置、压力传感器和语音播报模块连接，所述的物联网模块将货篮车与服务器网络连接。

其中，所述的监视系统采用多个摄像头。

本发明与现有技术相比较，本发明的实施效果如下：该系统可对进入无人超市的人员进行甄别，只有注册用户才能进入该无人超市系统；该系统智能化程度高，可对进入超市内的用户自动分配货篮车，可辨别用户购买的商品和计算数量，通过匹配机制判断是否商品转移正常，是否交易成功，匹配失败后可将用户的违规行为进行记录；另外，该无人超市系统的货架可自动称量货架台上的商品，并将货架台上的商品重量上传至超市服务器，便于理货员掌握货架上商品的数量，进行及时补货，而该无人超市系统内具有监控系统，可对超市内发生的情况进行有效的监控，并对用户在超市内的位置进行定位的能力，使该无人超市系统的内部安全性得到提高，提高了用户购买商品的便捷性；出口门禁包括支付单元，使用户取完商品付账后才能离开该无人超市系统。

附图说明

图1是本发明的无人超市系统的结构示意图；

图2是进入本发明的无人超市的流程图；

图3是本发明的超市服务器货物匹配的流程图；

图4是本发明的超市服务器匹配线程和应答信号匹配的流程图；

图5是本发明的货架商品移动的流程图；

图6是本发明的货篮车商品移动的流程图；

图7是本发明的无人超市付款的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，无人超市系统包括服务器和分别与服务器连接的门禁系统、监视系统、货架、货篮车，其中货篮车和货架的数量若干，都有各自的ID。

服务器包括云端服务器和与云端服务器网络连接的超市服务器，超市服务器用于处理接收的数据，并将结果数据进行发送。云端服务器内存储有用户的图像信息、用户ID、购买的商品清单、违规行为；超市服务器包括局域网、处理主机和与处理主机数据连接的存储硬盘，处理主机通过网络与云端服务器网络连接，局域网将处理主机、进入门禁、出口门禁、监视系统、货架和货篮车通过有线或者无线的方式连接在一起。存储硬盘存储三个月的监视系统的视频内容和交易信息。

门禁系统用于采集进入和离开无人超市的顾客的特征信息；并发送给超市服务器，接收超市服务器发送的结果数据，门禁系统包括进入门禁和出口门禁；进入门禁、出口门禁功能之一为限制出入，只能单向通过，进入门禁包括人脸识别模块、二维码模块、显示器、语音播报单元和电子锁。

如图2所示，该无人超市使用时包括以下步骤：进门，顾客打开处于关闭状态的入口外侧门，用户需要进入超市，首先对着进入门禁的人脸识别模块，人脸识别模块检测到人脸，将人脸信息发送给处理主机，处理主机将人脸识别模块检测到人脸图像与云端服务器内存储的用户数据进行比对，用户为注册用户，处理主机将注册用户绑定货篮车ID，处理主机向注册用户绑定的货篮车发送匹配成功信息，同时将进入门禁打开信息和货篮车ID发至进入门禁，进入门禁显示货篮车ID，控制进入门禁的电子锁打开。

当用户匹配失败，则说明云端服务器未有此人注册，进入门禁语音播报该用户未注册，不是进入无人超市的资格用户，进入门禁显示界面显示注册方法和途径。当发生暴力破坏设备或者强行越过门禁，进入门禁的人脸识别模块拍下破患者的图像，并进行报警处理。该方法能限制无关人员进入无人超市，当无人超市较小的时候，能防止拥堵事件。

用户进入无人超市内后，监视系统使用多摄像头进行图片匹配技术，合成无人超市全局图，采用神经网络目标跟踪算法，对用户的坐标进行确定，货架为固定位置坐标点，用户为动态变化坐标，对用户进行动态跟踪。

货架包括货架台、交互式装置、物联网装置、压力传感器和语音播报装置，物联网装置分别与交互式装置、压力传感器和语音播报装置连接，且物联网装置上设有显示面板。货架台用于存放商品，货架具有登记商品的ID、显示价格和显示质量的功能，并可将商品的质量变化信息发送给服务器。每行货架台下都有一个压力感应传感器，并有主控核心MCU对其数值读取。物联网装置的物联网芯片自带主控核心，该核心基本满足处理速度所以可以兼并使用，降低成本。货架台有外置交互式装置，交互式装置采用外置接入设备，包括CCD条纹码扫描仪和触控面板，交互式装置用于输入放入货架上的商品的商品ID、质量和数量，物联网装置将货架与服务器进行网络连接，该装置在重置或者填放商品时候使用，一方面增加货架的安全性，防止购买用户修改货架数据，另一方面也保证了减少多台货架的成本。在实际应用中，一个长货架可能放一种或者两种以上的商品。管理员只用逐一将商品放到货架台上，输入每种商品单个的质量和数量，当总质量与称重台重量相等即判别商品上架成功。

货架台的压力感应传感器为应力式传感器，具体成品电子秤，一般商品的单位质量是以克为计算单位的，精度值设为0.1克，即在满足一般商品的计量需求的基础上，又能识别因破坏商品导致商品质量变化。放回货架的商品质量值发生偏差过大，一方面可能是商品发生破坏，另一方面可能是商品摆放的位置不对造成的误差。对于误判的解决方案，采用多个应变式传感器传感器分区分布，彼此不会干扰和测重重叠，保证测量的准确性。货架台对测量商品存在偏差，货架的语音播报装置进行语音提醒，较大偏差判断放错了货架台，进行提示错误信息和措施；较小的偏差判断放置不对，提示错误信息和措施。如果用户在限定时间内未进行操作，则登记为违规行为，上传至云端服务器，记录在客户ID上。在实际中，部分商品存在单个质量有偏差，则管理员在货架系统上，加入质量不等的标志，允许商品上货架的质量偏差较大点，误差范围可设。放回货架的商品在误差允许内则判断为商品未出现问题。

货篮车包括显示装置、识别装置、压力传感器、物联网模块和语音播报模块，物联网模块与显示装置、识别装置、压力传感器和语音播报模块连接，物联网模块将货篮车与超市服务器网络连接。识别装置为条形码识别器。商品扫描识别后成功后再放入货篮车，压力传感器也为电子秤，获得单个商品的质量，具体功能如货架中压力传感器。货篮车用于盛放、识别放入称重货篮车内的商品ID，测量货篮车里的总质量和显示货篮车里的商品的清单，将货篮车内的商品信息发送给超市服务器。

货篮车中也可以不使用压力传感器，但需要设置用户取出商品进行扫描条型码。货篮车的压力传感器精度可以相对于货架的更低，但量程需要更大，放入商品为用户匹配成功商品，判断商品破坏问题货架已经处理，即使用户自己破坏商品再购买将其带出超市，也是正常行为。量程需大，能放置较多商品。

商品匹配，如图3-5所示，主要确定商品，地点，用户三个信息。三个信息匹配成功，即交易成功。统一机制是，压力传感器中得到质量减少，无论是货架，货篮车都发出匹配请求，无论是放入货架、货篮车都发出应答信息。

商品从货架取下后，货架向超市服务器发出匹配请求，超市服务器收到请求，调取监视系统，申请目标限定范围的用户ID被确定为取货用户，当有多个用户时在限定范围内，则范围内的用户都为取货用户。多个取货用户，有一个以上的取下货用户，匹配成功则销毁该线程。多个取货用户，取下商品相同，匹配无法完全成功。由于这些用户的，商品ID和质量、货架号相同，坐标相近。匹配机制是队列型，应答信号小于匹配线程数量。匹配失败而无法确定违规用户，则服务器将视频信息上传至服务器，由神经网络或者人工进行判断。

超市服务器得到货架发出的匹配请求，匹配请求中的数据包括商品ID和质量、用户坐标、用户ID或者货架ID。超市服务器就等待货架和货篮车的应答信号，应答信号中同样包括匹配请求中数据内容。超市服务器根据商品名称和商品质量比较，匹配结果返回货架和货篮车。

超市服务器中匹配请求使用多线程并发机制。超市服务器得到匹配请求 A，创建匹配线程A，等待应答信号回答同种商品匹配相同。在限定时间内，服务器遍历所以线程都未匹配或者等待时间已经结束。则认为匹配失败，根据匹配失败的结果，进行语音播报警报和对报违规用户记录。

货架中的商品从货架上取下，又放回，该过程为正常行为。货架中商品被放入，其货架得到质量增加的信息。货架向超市服务器发送应答信号，匹配成功，销毁此线程，返回匹配成功标志，货架的数量不变。

如图6所示，商品从货篮车取出，放回货架的主要原理和步骤相同：货篮车向超市服务器发出匹配请求，等待超市服务器应答匹配成功的信息。超市服务器在接受到消息后，则向监视系统得到用户坐标范围内的用户ID。在规定的时间内超市服务器不能货篮车得到匹配成功信息，则说明商品成功放回，货篮车的清单中减少此项目数量。

商品从货篮车取出，又放回自己的货篮车或者其他用户的货篮车的原理和步骤和货篮车商品放回货架相同，但放入货篮车都需要扫描条形码。

匹配失败主要为商品被破坏，商品被偷窃，商品未放回原货架台上。匹配请求中商品名称和应答信息中商品名称一致，匹配请求中商品质量和应答商品质量不一致为商品被破坏；匹配请求中未在规定时间内得到应答信息为商品被偷窃；匹配请求中商品名称、质量和应答信息中商品名称、质量不一致为商品未放回原货架台上。

出口门禁包括识别模块、支付单元、清单打印单元和电子锁。识别模块、支付单元、清单打印单元和电子锁与服务器进行网络连接，识别模块为人脸识别模块、条纹码检测装置。出口门禁只能单向通过，控制门禁的打开与关闭；支付单元包括带有显示面板的人脸识别支付系统和二维码支付系统，购买的商品总价钱为整数的概率较低，使用钱币会导致很多零钱，并未使用；清单打印单元为为打印机，为用户支付钱款成功后，打印商品清单明细。

如图7所示，用户在出口门禁中确定付款选项，出口门禁人脸识别模块拍摄用户照片，确定用户ID，出口门禁从超市服务器获得该用户ID下货篮车中绑定的商品，在支付单元的屏幕中显示。用户确定无误后，可选择支付按键。支付成功，门禁打开，用户携带商品离开超市。

在无人超市中，有违规行为的用户，已经进行语音播报提醒，但未进行正确操作，屏幕显示用户不合法的行为，在云端服务器中登记到用户的ID下。商品价值较小时，用户可以离开超市，违规次数超过三次，则禁止入内。与违规行为对应的商品的价值较大时管理员报警处理并禁止离开。存在违规嫌疑用户，视频信息由超市服务器上传至云端服务器进行人工智能判断，或者人工判断，用户离开之前，云端未能给出判断结果，则用户能正常离开不会显示违规行为。

违规行为用户对违规行为存在疑问，可在手机端进行申请违规行为复核，云端服务器将用户购买行为视频信息分别传入用户手机和人工审查部门。由管理人员对违规行为判断是否属实。属实将商品登记在下次购物清单中，下次购物时一同进行支付。系统对用户进行误判，管理人员对违规记录进行清除。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种无人超市系统，其特征在于，包括：

监视系统，与超市服务器连接，用于定位用户的坐标位置。

2.根据权利要求1所述的一种无人超市系统，其特征在于，所述的云端服务器内存储有用户的图像信息、用户ID、购买的商品清单、违规行为。

3.根据权利要求1所述的一种无人超市系统，其特征在于，所述的超市服务器包括局域网、处理主机和与处理主机数据连接的存储硬盘，处理主机通过网络与云端服务器网络连接。

4.根据权利要求1所述的一种无人超市系统，其特征在于，所述的门禁系统包括进入门禁和出口门禁，所述的进入门禁和出口门禁只能单向通过；进入门禁包括人脸识别模块、二维码模块、显示器、语音播报单元和电子锁；所述的出口门禁包括识别模块、支付单元、清单打印单元和电子锁，识别模块为人脸识别模块、条纹码检测装置，支付单元包括带有显示面板的人脸识别支付系统和二维码支付系统；清单打印单元为打印机。

5.根据权利要求1所述的一种无人超市系统，其特征在于，所述的货架包括货架台、交互式装置、物联网装置、压力传感器和语音播报装置，物联网装置分别与交互式装置、压力传感器和语音播报装置连接，且物联网装置上设有显示面板，所述的交互式装置用于输入放入货架上的商品的商品ID、质量和数量，所述的物联网装置将货架与超市服务器进行网络连接。

6.根据权利要求4所述的一种无人超市系统，其特征在于，所述的交互式装置采用外置接入设备，包括CCD条纹码扫描仪和触控面板。

7.根据权利要求1所述的一种无人超市系统，其特征在于，所述的货篮车包括显示装置、识别装置、压力传感器、物联网模块和语音播报模块，所述的物联网模块与显示装置、识别装置、压力传感器和语音播报模块连接，所述的物联网模块将货篮车与服务器网络连接。

8.根据权利要求1所述的一种无人超市系统，其特征在于，所述的监视系统采用多个摄像头。