CN113205636A - 一种无人零售系统及无人零售方法 - Google Patents

Abstract

本发明公开一种无人零售系统及无人零售方法，其系统包括闸机以及具有若干层货架的主体，主体上安装有灯具模组、传感器模组、图像采集部件、继电器以及处理器，每一层货架上均设有所述传感器模组，所述传感器模组包括光幕传感器、荷载传感器和红外传感器；图像采集部件用于在人员进入闸机后捕捉人员体态信息并上传相关信息给处理器，处理器用于为进入闸机后的人员编号并对其轨迹和姿态进行跟踪，红外传感器用于捕获与其接近的人员的位置信息，光幕传感器用于当人员抓取货架上的物品时触发图像采集部件拍照并发送给处理器，荷载传感器用于采集承载板放置的货物的重量变化。本发明增强了用户体验,开创并构建了新的超市购物流程。

Description

一种无人零售系统及无人零售方法

技术领域

本发明涉及应用于智慧城市新零售领域，尤其涉及一种无人零售系统及无人售货方法。

背景技术

随着互联网购物高速发展和智能手机的全面普及,智慧城市成为了追求的目标,无人零售作为智慧城市的重要组成部分正飞速发展。随着智能技术的发展,人们的生活方式正被改变着,同时出现了许多新兴行业,如智能新零售,AI产品开发等。

目前无人零售的主要方式有三种：第一种是利用RFID标签录入识别结算；第二种柜台自助条码识别结算；第三种利用图像技术识别结算。其中，第一种RFID标签录入识别结算方案，每个商品上都贴有RFID标签，商场里会在门口设立读取器，当你通过门口时读取器会接收到RFID无线射频信号，每个信号对应一个ID，每个ID对应一个商品。它的信号读取范围在几厘米到3米左右，所以它也能实现无人收银。这种方式看起来挺好的，但是有一个很大的问题，就是成本。RFID标签的信号发射范围跟标签的制作成本有关，或者说跟它的尺寸有关，读取范围越大，尺寸就越大，制作成本就越高，如果想实现一米左右的信号发射范围，标签的尺寸大概在5cm，批量购买的话单价在1块钱左右。我们知道超市里的商品评价单价大概在10块钱，标签的成本就占据了10％，前面已经说了目前零售是薄利多销的行业，利润率非常低，这么小的东西成本就这么高，对于超市来说肯定是难以承受的。另外，标签尺寸大了后对商品外观会有所遮挡，而且标签贴在外面的话如果被撕掉就无法识别，所以一定要贴在商品里面。还有的问题的是，标签不能贴在液体商品或金属商品上，信号会被屏蔽，比如这个标签本来能发射1m的信号，结果只能发射10cm，就等于没信号了。除了液体或金属商品，有些像蛋糕这样的商品为了防油会在包装纸里加入锡箔纸，而锡箔纸也会让信号非常强的衰减。即使没有这些东西，如果你想偷东西，你只要在身上放上锡箔纸，信号就没办法被识别到了。

第二种柜台自助条码条码识别结算方案，会有存在顾客不熟悉使用流程而使结账效率慢的可能发生，这种自助是收银员原本只需要30s就可以完成的工作，现在需要顾客“小心翼翼、磨磨蹭蹭、反复纠结”地花30min。还会可能出现商品无法扫码、商品没有称重量等问题。

第三种是用图像技术识别结算，目前，针对无人零售，主要是在货架上设置监控设备来实现，现有的货架主要是层叠式货架结构，其主要包括：框架、层板以及监控设备，其中，层板间隔设在框架的不同高度处，监控设备开放式地安装在框架结构的外部梁上。然而，上述货架在使用过程中，由于监控设备安装在框架结构的外部梁上，这样监控设备的设置只能监测到某个角度的情况，无法实现360度无死角的监控，因此系统无法监控货架上的真实情况，人无法与货架交互，无法针对新零售场景使用。

发明内容

在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的目的是针对现有技术存在的不足之处，以人工智能物联网、saas及大数据技术，改变传统人们的购物方式，将传统商店升级为智能化、数字化、无需人工收银的智慧零售。线上数字化场景门店运营与管理让实体决策更智能、更高效。实际场景用户即刻拿取商品即刻离开即刻扣费，消除了人工收银环节，解决门店人手短缺问题，延长门店持续运营时长。本发明以新零售技术为背景,结合物联网与人工智能及工业设计理论,探索无人零售解决方案。这对当下消费模式的转变,增强用户体验,开创新型业态,构建新的超市购物流程具有重要意义和作用。

根据本申请的一个方面，提供一种无人零售系统，其包括闸机以及具有若干层货架的主体，主体上安装有监控组件，所述监控组件包括灯具模组、传感器模组、图像采集部件、继电器以及处理器，所述灯具模组、传感器模组、图像采集部件和继电器均与处理器电性连接，其中，每一层货架上均设有所述传感器模组，所述传感器模组包括光幕传感器、荷载传感器和红外传感器；

所述图像采集部件用于在人员进入闸机后捕捉人员体态信息并上传相关信息给处理器，所述处理器用于为进入闸机后的人员编号并对其轨迹和姿态进行跟踪，所述传感器模组的红外传感器用于捕获与其接近的人员的位置信息，所述传感器模组的光幕传感器用于当人员抓取货架上的物品时触发图像采集部件拍照并发送给处理器，所述传感器模组的荷载传感器用于采集承载板放置的货物的重量变化。本发明通过增设多种传感器，且每一层都设置有传感器模组，可实现无人零售、监控商品，这对当下消费模式的转变，增强用户体验，开创新型业态，构建新的超市购物流程具有重要意义和作用。

进一步的，所述灯具模组可由灯条实现，所述图像采集部件可由安装在主体上以及主体周围的若干个摄像头实现。

根据本申请的另一方面，提供一种无人零售方法，包括如下过程：

步骤1：人员进入闸机后，捕捉该人员的体态数据信息(包括但不限于发型)、为该人员编号并将数据发送至处理器；

步骤2：处理器实时跟踪人员移动轨迹以及姿态变化；

步骤3：处理器通过荷载传感器的重量变化与数据库记录信息比对、人员拿取前后商品货架上的图片对比、位姿分析跟踪与捕捉，结合深度学习参数调节的权重比例，判断该人员是否拿取了商品以及拿取的商品信息；

步骤4：处理器根据步骤3的判断结果记录人员的临时购物车信息，该临时购物车信息包括商品信息及消费信息；

步骤5：人员离开后触发闸机上的光幕感应，自动开门，并触发扣款处理。

进一步的，所述步骤2中处理器实时跟踪人员移动轨迹以及姿态变化包括：

人员走至货柜前触发红外传感器，红外传感器将其相关信息发送至处理器实时更新人员位置信息；人员伸手拿取货品时触发光幕传感器，货柜内部的图像采集部件执行拍照动作并上传至处理器，同时将荷载传感器的采集信息也上传至处理器；处理器根据接收的信息实时跟踪分析人员的体态位姿信息。

为了实现多人的无人售货管理，步骤2中，所述处理器通过多维度姿态检测判断是哪个编号的人员进行拿取和放回操作，多维度姿态检测是通过识别各人员的位置、身体和手分别在哪儿并结合深度学习网络模型来得到的检测结果。

进一步的，步骤3中判断该人员是否拿取了商品的处理逻辑如下：处理器接收图像采集部件的图像，通过颜色识别判断是否有除了与手接近的颜色外还有没有其他颜色，如果有则认为拿取了商品，如果没有则进一步结合荷载传感器是否检测到了重量变化，如果有，则认为拿取了商品，如果没有，则认为没有拿取没有商品。另外，拿取和放回的处理逻辑如下：如果手在伸入货架上时没有物品，在离开时有物品，则认为拿取了商品，则否就是放回。结合对货架上的商品区域进行识别，比如这一块本来有商品，然后识别到这里没有商品，那么就说明是被购买了，相反就是被放回。

本发明通过上述方案，在软件上即刻拿取商品即刻离开即刻扣费，消除了人工收银环节，全程物联网与智能系统自动对相关业务做操作。相比于现有技术，既解决门店人手短缺问题，又延长门店持续运营时长，还增强了用户体验,开创新型业态,构建新的超市购物流程具有重要意义和作用。在硬件上，通过多种传感器有机结合：荷载传感器通过识别货架的重量增加与否与数库的商品信息及货架系统的商品摆放匹配，识别商品是被拿走或放回；光幕与红外传感器通过识别人员附近的光线是否被遮挡，其得到的结果更加精确，避免出现扣款失误。

本发明以新零售技术为背景,结合物联网与人工智能及工业设计理论,探索无人零售解决方案。这对当下消费模式的转变,增强用户体验,开创新型业态,构建新的超市购物流程具有重要意义和作用。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附

图中：

图1为本发明的无人零售方法的场景示意图；

图2-1为本发明的无人零售方法的总流程图；

图2-2为本发明的无人零售方法的商户平台子功能模块的流程图；

图2-3为图2-2中商户平台子功能模块的商品管理的流程图；

图2-4为图2-2中商户平台子功能模块的货柜管理的流程图；

图2-5为图2-2中商户平台子功能模块的仓库管理的流程图；

图2-6为图2-2中商户平台子功能模块的调度管理的流程图；

图2-7为图2-2中商户平台子功能模块的订单管理的流程图；

图2-8为图2-2中商户平台子功能模块的监控管理的流程图；

图2-9为图2-1中嘉联运维管理的流程图；

图2-10为图2-1中店长操作页面的功能示意图；

图2-11为图2-1中嘉联操作页面的功能示意图；

图3-1为本发明的无人零售方法的平台功能示意图；

图3-2为图3-1中加盟注册的流程图；

图3-3为图3-1中登录查看的流程图；

图3-4为图3-1中超市大数据中心的流程图；

图4为本发明的无人零售系统的货架的立体示意图；

图5为本发明的无人零售系统的货架主体硬件分解示意图；

图6为本发明的无人零售系统的货架背后结构示意图；

图7为本发明的无人零售系统的传感器模组的安装示意图；

图8为本发明的无人零售系统的传感器模组的分解示意图。

具体实施方式

下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

本发明以新零售技术为背景,结合物联网与人工智能及工业设计理论,探索无人零售解决方案。这对当下消费模式的转变,增强用户体验,开创新型业态,构建新的超市购物流程具有重要意义和作用。

实施例1

本发明实施例提供一种无人零售方法，该无人零售方法依托于无人零售商店，参见图1，该无人零售商店具有闸机入口101、闸机出口102和智能货架103，智能货架103上安装有边缘采集摄像头104、红外传感器105、光幕传感器106、以及荷载传感器107。

参见图2-1至图2-11、以及图3-1至图3-4，该无人零售方法包括如下过程：

步骤1：人员通过专用APP扫码进入闸机，此时硬件层边缘采集设备(边缘采集摄像头)捕捉人员体态、发型等数据信息并上传相关信息给到算法服务层并保存对应人员编号；

步骤2：算法层实时跟踪人员移动以及姿态变化；

步骤3：人员走至货柜前触发红外传感器，硬件层上传相关信息至算法层实时更新人员位置信息；

步骤4：人员伸手拿取货品触发光幕传感器，货柜内部的边缘采集摄像头拍照并上传至算法层，荷载传感器的相关信息也上传至算法层；

步骤5：同时顶部边缘采集摄像头实时跟踪分析人员的体态位姿等信息；

步骤6：此时算法层通过荷载传感器的重量变化与数据库记录信息比对、人员拿取前后商品货架上的图片对比、位姿分析跟踪与捕捉，再结合深度学习参数调节的权重比例判断该人员是否拿取了商品、什么商品；

步骤7：算法层通知后台软件业务层记录人员的临时购物车包括商品信息及消费信息；

步骤8：若途中人员放回商品则经过步骤5、6、7相同的处理逻辑做不同的判断执行即可；

步骤9：人员离开后触发闸机上的光幕感应，自动开门；

步骤10：此时硬件层通知算法进行人员搜索，匹配丢失在大厅的人员编号；

步骤11：算法层通知后台软件业务层离开店内的人员编号，软件层进行订单、货架货品数量更新、库存管理、订单相关及扣款处理。

对于商品拿取判断首先是视觉识别，手伸入货架时，通过颜色识别除了你手的肤色周围还有没有其他颜色判断你手上有没有商品。如果你的手在伸入货架上时没有物品，在离开时有物品，那么就认为你拿起商品，相反就是放回。结合对货架上的商品区域进行识别，比如这一块本来有商品，然后识别到这里没有商品，那么就说明是被购买了，相反就是被放回。

其次是硬件传感器，一个货架可放置3-4层(也根据实际需要来放置其他数量)，每层均有相同硬件，红外传感器判断是否有用户站在货架前，光幕传感器通过识别人员附近的光线是否被遮挡来判断是否有用户进行拿取/放回操作，荷载传感器通过识别货架的重量增加与否与数据库的商品信息及货架系统的商品摆放匹配，辅助识别哪个商品被拿走或放回并监控统计各类型商品声誉库存；边缘采集摄像头用于辅助验证识别当前层的商品。此外，商品上还设有电子标签，用于显示每类商品的价格，并可实时配置修改。同时，其还可选的设置声音传感器，用于提示用户进行正确的放回操作等语音提示。

对于人员编号判断首先顾客进入室内就会被捕捉并分配编号实时跟踪，通过多维度姿态检测判断是哪个顾客的手伸过去，比如这个货架上有个商品被拿走，而这个货架前有三个人，通过识别他们的位置、身体在、手在哪儿结合深度学习网络模型求出哪个人最有可能拿走该商品。

本发明以人工智能与物联网+saas大数据技术，改变传统人们的购物方式，将传统商店升级为智能化、数字化、无需人工收银的智慧零售，使得线上数字化场景门店运营与管理让实体决策更智能、更高效。本发明的实际场景用户即刻拿取商品即刻离开即刻扣费，消除了人工收银环节，解决门店人手短缺问题，延长门店持续运营时长。

实施例2

参加脑图4-图8，本发明实施例提供一种无人零售系统，其包括闸机以及具有若干层货架的主体，主体上安装有监控组件。该主体包括左侧板组件10、右侧板组件20、封板组件30以及监控组件。左侧板组件10、右侧板组件20以及封板组件30安装为具有若干层货架的主体，监控组件安装在主体上或者主体周围。

其中，左侧板组件10和右侧板组件20由多组水平设置的前横梁11和后横梁12配合安装为主架构，每组前横梁11和后横梁12上放置有用于放置货物的承载板13(承载板上面可选的设置托盘14)，封板组件30由后横梁12固定安装在主架构的背后。本实施例中，左侧板组件10和右侧板组件20的底部均设有两个脚轮15。前横梁11和后横梁12设有三组，也即前横梁11设有三个，后横梁12设有3个，每组前横梁11和后横梁12水平设置，

本实施例中，封板组件30包括多块后封板31、一维护箱32以及一顶板33，维护箱32的侧板结构与后封板结构相同(见图5)，维护箱32的箱盖还可以打开，以方便维护(图6)。

本实施例中，监控组件包括灯具模组40、传感器模组41、图像采集部件、继电器以及处理器，灯具模组40、传感器模组41、图像采集部件和继电器均与处理器电性连接，其中，每一层货架上均设有传感器模组41，传感器模组41(见图7和图8)由一固定件固定在一层板411上，层板411的底部设有走线槽，灯具模组40和图像采集部件由一封板412固定在一起，封板412设置于层板411的底部，层板411的上部安装有承载板13，层板411的下部还设置有接线板413，灯具模组40、传感器模组41、图像采集部件、继电器以及处理器之间的电源线和数据线经由走线槽连接至接线板413。本实施例中，传感器模组41包括若干个光幕传感器42、若干个荷载传感器和若干个红外传感器；荷载传感器用于采集承载板13放置的货物的重量变化，光幕传感器用于小物体掉落检测、取件检测及位置检测等，红外传感器用于人体检测。其中，灯具模组40可由灯条实现，图像采集部件可由摄像头实现。处理器采用树莓派(RaspberryPi)微电脑以及英伟达jetson Xavier nx核心板(边缘计算Xavier)实现。此外，监控组件还可根据实际需要来增设补光灯条、定制化多孔排插、LEDDC适配器12V、HUB分线器等等部件。监控组件中的软件流程算法均为现有技术，此处非本申请的新型点，因此不再赘述。

封板组件30的中间部分设有垂直走向的配线槽34，具体的，每根后横梁12的中间部分开设有凹槽，每个后封板31位于其对应的后横梁的位置处开设有通孔(本实施例中为方形孔，见图2)，左侧板组件10、右侧板组件20和封板组件安装后，通过后横梁的凹槽以及后封板的通孔实现配线槽34。本实施例中，灯具模组40设有4个，每一层分别设置一个，灯具模组40的电源线和数据线经由后横梁的凹槽及后封板31的通孔形成的配线槽34走线。且灯具模组40位于后横梁的凹槽位置处(灯具模组40的安装位置处)设有灯条转接头，该灯条转接头的开关可控(可手动断线)。

此外，光幕传感器42设有两个，分别安装在顶板33(主体的顶部)上和主体的底部，且顶板以及主体的底部上均设有可断线的转接插头。

本申请的硬件系统通过在每层承载板上设置传感器模组41，且为传感器模组41设置多个转接插头，方便开关插拔；该装置将所有的硬件与结构拆分成模组，方便运输、组装与拆卸，同时特别的对模块化的结构设计了配线槽、走线槽，方便走线和集成。此外，结合对应的无人零售方法对商品进行智能监控，增强用户体验，开创新型业态，构建新的超市购物流程具有重要意义和作用。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (8)

1.一种无人零售系统，其特征在于：包括闸机以及具有若干层货架的主体，主体上安装有监控组件，所述监控组件包括灯具模组、传感器模组、图像采集部件、继电器以及处理器，所述灯具模组、传感器模组、图像采集部件和继电器均与处理器电性连接，其中，每一层货架上均设有所述传感器模组，所述传感器模组包括光幕传感器、荷载传感器和红外传感器；

所述图像采集部件用于在人员进入闸机后捕捉人员体态信息并上传相关信息给处理器，所述处理器用于为进入闸机后的人员编号并对其轨迹和姿态进行跟踪，所述传感器模组的红外传感器用于捕获与其接近的人员的位置信息，所述传感器模组的光幕传感器用于当人员抓取货架上的物品时触发图像采集部件拍照并发送给处理器，所述传感器模组的荷载传感器用于采集承载板放置的货物的重量变化。

2.根据权利要求1所述的无人零售系统，其特征在于：所述图像采集部件由安装在主体上以及主体周围的若干个摄像头实现。

3.根据权利要求1所述的无人零售系统，其特征在于：所述每一层货架上均设有所述传感器模组，所述传感器模组由一固定件固定在一层板上，所述灯具模组和图像采集部件由一封板固定在一起，封板设置于所述层板的底部，所述层板的上部安装有承载板，所述层板的下部还设置有接线板。

4.根据权利要求3所述的无人零售系统，其特征在于：所述层板的底部设有走线槽，所述灯具模组、传感器模组、图像采集部件、继电器以及处理器之间的电源线和数据线经由走线槽连接至接线板。

5.一种无人零售方法，其特征在于：包括如下过程：

步骤1：人员进入闸机后，捕捉该人员的体态数据信息、为该人员编号，并将体态数据和编号发送至处理器；

步骤2：处理器实时跟踪人员移动轨迹以及姿态变化；

步骤3：处理器通过荷载传感器的重量变化与数据库记录信息比对、人员拿取前后商品货架上的图片对比、位姿分析跟踪与捕捉，结合深度学习参数调节的权重比例，判断该人员是否拿取了商品以及拿取的商品信息；

步骤4：处理器根据步骤3的判断结果记录人员的临时购物车信息，该临时购物车信息包括商品信息及消费信息；

步骤5：人员离开后触发闸机上的光幕感应，自动开门，并触发扣款处理。

6.根据权利要求5所述的无人零售方法，其特征在于：所述步骤2中处理器实时跟踪人员移动轨迹以及姿态变化包括：

人员走至货柜前触发红外传感器，红外传感器将其相关信息发送至处理器实时更新人员位置信息；人员伸手拿取货品时触发光幕传感器，货柜内部的图像采集部件执行拍照动作并上传至处理器，同时将荷载传感器的采集信息也上传至处理器；处理器根据接收的信息实时跟踪分析人员的体态位姿信息。

7.根据权利要求5所述的无人零售方法，其特征在于：所述步骤2中，所述处理器通过多维度姿态检测判断是哪个编号的人员进行拿取和放回操作，多维度姿态检测是通过识别各人员的位置、身体和手分别在哪儿并结合深度学习网络模型来得到的检测结果。

8.根据权利要求5所述的无人零售方法，其特征在于：步骤3中判断该人员是否拿取了商品的处理逻辑如下：处理器接收图像采集部件的图像，通过颜色识别判断是否有除了与手接近的颜色外还有没有其他颜色，如果有则认为拿取了商品，如果没有则进一步结合荷载传感器是否检测到了重量变化，如果有，则认为拿取了商品，如果没有，则认为没有拿取没有商品。

Images