CN112381982B - 一种基于深度学习构建的无人超市系统 - Google Patents

Abstract

本发明公开了一种基于深度学习构建的无人超市系统，包括：中控模块、用户服务端、闸机模块、人员检测模块以及商品检测模块；其中，人员检测模块设置在超市内，用于对闸机模块区域和超市内的顾客进行图像采集，并配合中控模块生成顾客的跟踪轨迹；商品检测模块设置在超市的货架中，用于配合中控模块确定购买当前商品的顾客及购买数量；闸机模块包括入口闸机和出口闸机，用户服务端用于在顾客通过入口闸机进入超市后生成顾客的唯一标识，并配合中控模块生成对应顾客的结算清单，出口闸机用于配合中控模块，在顾客完成支付前，禁止顾客走出超市。本发明智能化程度高，可实现无感知购物。

Description

一种基于深度学习构建的无人超市系统

技术领域

本发明涉及无人超市技术领域，特别涉及一种基于深度学习构建的无人超市系统。

背景技术

现有的无人超市系统的解决方案主要有两种，一是为每件商品贴上射频识别RFID标签，通过射频读取设备进行商品识别并结算，另一种是用户购物后自助扫描条形码进行结算。

方案一所述的无人超市系统在商品识别方面使用附加在商品上的RFID标签，通过射频读取设备进行商品识别，这种方案需要在每件商品都附加RFID标签，人工成本和商品维护成本高，不适合大面积使用。

方案二所述的无人超市系统需要用户自助扫描商品条形码结算，易出现漏算、多算等现象，要有专人监督，需要人员成本，与普通线下超市无本质区别。

因此，上述现有的两种无人超市方案无法满足无人超市想要达到的‘即拿即走’的无感知购物，且人员成本高。

发明内容

本发明提供了一种基于深度学习构建的无人超市系统，以解决现有的无人超市方案需要用户自助结算或将商品贴上RFID标签，维护成本高，无法实现无感知购物，购物体验不佳的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一种基于深度学习构建的无人超市系统，包括：包括中控模块、用户服务端、闸机模块、人员检测模块和商品检测模块；其中，所述用户服务端、闸机模块、人员检测模块和商品检测模块分别与所述中控模块通信连接；

所述人员检测模块设置在超市内，用于对所述闸机模块所在区域和超市内的顾客进行图像采集，并配合所述中控模块生成顾客的跟踪轨迹；所述商品检测模块设置在超市的货架中，用于检测对应商品的质量变化，并配合所述中控模块确定购买当前商品的顾客及购买数量；所述闸机模块包括设置在超市进出口的入口闸机和出口闸机，所述用户服务端用于在顾客通过所述入口闸机进入超市后生成顾客的唯一标识，并配合所述中控模块生成对应顾客的结算清单，所述出口闸机用于配合所述中控模块，在顾客完成支付前，禁止顾客走出超市。

其中，所述入口闸机处设置有进店二维码，出口闸机处设置有出店二维码；

当顾客扫描所述进店二维码并选择进店选项后，所述入口闸机开放允许当前顾客进入超市，此时，所述用户服务端生成当前顾客的唯一标识；当顾客扫描所述出店二维码后，所述用户服务端生成当前顾客的结算清单并显示给顾客。

其中，所述人员检测模块包括设置在超市屋顶的摄像头；所述中控模块包括跟踪单元；

当有顾客位于所述入口闸机区域时，所述摄像头基于深度学习的检测算法实时检测所述入口闸机区域顾客的头部位置并将检测的顾客的头部位置发送至所述中控模块，通过所述中控模块的跟踪单元生成与顾客数量对应的跟踪轨迹；

当顾客进入超市后，所述跟踪单元将当前进店顾客的唯一标识与已生成的跟踪轨迹使用匹配算法进行匹配，使得进入店内的顾客的跟踪轨迹带有对应的顾客信息，并基于摄像头采集的图像，继续对进入店内的顾客的轨迹进行跟踪。

其中，通过摄像头基于深度学习的检测算法检测顾客的头部位置，包括：

通过摄像头采集一天中不同时间段的店内视频，将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中的人体头部区域进行标注，生成数据集；

构建深度学习模型，使用构建的数据集对构建的深度学习模型进行训练，得到推断模型，利用得到的推断模型实现对人体头部区域的实时检测。

其中，所述跟踪单元具体用于：

将不同摄像头视野内的坐标转化为相对于店内预设参照点的坐标，构建一个统一的坐标系；根据摄像头检测到的顾客头部区域的位置数据，利用卡尔曼滤波和计算IOU的方式进行跟踪，实现对顾客轨迹的不间断跟踪。

其中，跟踪单元将当前进店顾客的唯一标识与已生成的跟踪轨迹使用匹配算法进行匹配，使得进入店内的顾客的跟踪轨迹带有对应的顾客信息，包括：

当生成顾客的唯一标识后，所述跟踪单元在所述入口闸机的进门位置初始化一条带有当前顾客所对应的唯一标识的轨迹线U_Line；

在当前顾客通过所述入口闸机后，将U_Line与所有不带顾客唯一标识的跟踪轨迹进行匹配，计算待匹配的两条轨迹线最后几个点的距离和，取最小值，则最小值对应的两条轨迹线属于同一个人，连接这两条线，完成轨迹的匹配。

其中，所述商品检测模块包括质量传感器和托盘；

其中，所述质量传感器内置有单片机，所述质量传感器设置在货架的储物格上，所述托盘设置在所述质量传感器上，用于放置同一种商品；

当所述质量传感器检测到对应托盘上的商品总质量发生变化时，所述单片机根据对应商品的单位商品质量和所述质量传感器检测到的商品总质量变动的数值计算出商品变化的数量信息，并将对应商品的种类信息、变化的数量信息、商品发生变动的时间和质量传感器所在货架的位置坐标发送给所述中控模块。

其中，所述商品检测模块还包括储物容器，所述储物容器采用亚克力板制作，所述储物容器置于所述托盘上，商品放置在所述储物容器中。

其中，中控模块在接收到所述商品检测模块发送的数据后，利用匹配算法将发生变动的商品与顾客匹配，以确定购买了当前商品的顾客及其购买数量。

其中，所述中控模块在接收到所述商品检测模块发送的数据后，利用匹配算法将发生变动的商品与顾客匹配，包括：

所述中控模块在接收到所述商品检测模块发送的数据后，根据商品发生变动的时间，在所有跟踪轨迹中查找商品发生变动的时间点附近的坐标，并计算所查找到的坐标与货架坐标的欧式距离，取欧式距离最小值所对应的跟踪轨迹，确定欧式距离最小值对应的跟踪轨迹所对应的顾客购买了相应的商品。

本发明提供的技术方案带来的有益效果至少包括：

本发明通过人员检测模块配合中控模块实现了顾客的轨迹跟踪；通过商品检测模块配合中控模块可以确定购买当前商品的顾客及购买数量；通过闸机模块配合中控模块控制顾客出入超市，并通过用户服务端配合中控模块生成对应顾客的结算清单，顾客在确认无误后，即可结算出门；整个购物流程中顾客只需扫描进店和扫码支付，无需对所购商品进行任何处理，实现了无感知购物。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于深度学习构建的无人超市系统组成示意图；

图2是本发明实施例提供的基于深度学习构建的无人超市系统的使用场景示意图；

图3是本发明实施例提供的基于深度学习构建的无人超市系统的货架的结构示意图；

图4是本发明实施例提供的基于深度学习构建的无人超市系统中的摄像头坐标校正示意图；

图5是本发明实施例提供的基于深度学习构建的无人超市系统中的摄像头坐标融合示意图。

附图标记说明：

1、货架；2、摄像头；3、入口闸机；4、托盘；5、显示屏；6、出口闸机；7、质量传感器。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本实施例提供了一种基于深度学习构建的无人超市系统，如图1所示，该无人超市系统包括：中控模块、用户服务端、闸机模块、人员检测模块和商品检测模块；其中，中控模块包括跟踪单元和信息整合单元；所述用户服务端、闸机模块、人员检测模块和商品检测模块分别与所述中控模块通信连接；

中控模块通过信息整合单元整合所有模块信息；所述人员检测模块设置在超市内，用于对所述闸机模块所在区域和超市内的顾客进行图像采集，并配合所述中控模块，通过跟踪单元生成顾客的跟踪轨迹；所述商品检测模块设置在超市的货架中，用于检测对应商品的质量变化，并配合所述中控模块确定购买当前商品的顾客及购买数量；所述用户服务端用于在顾客通过所述闸机模块进入超市后生成顾客的唯一标识，并配合所述中控模块生成对应顾客的结算清单，所述闸机模块用于配合所述中控模块，在顾客完成支付前，禁止顾客走出超市。

具体地，如图2所示，本实施例的无人超市系统包括设置在店内的多个货架1，不同货架1有其对应的店内坐标，且同一货架1储格中放置相同商品；所述人员检测模块包括设置在超市屋顶的多个摄像头2；所述闸机模块包括设置在超市进出口的入口闸机3和出口闸机6，所述入口闸机处设置有进店二维码，出口闸机处设置有显示屏5，以显示出店二维码；如图3所示，所述商品检测模块包括质量传感器7、托盘4和储物容器，质量传感器7设置在货架1的储物格上，托盘4置于所述质量传感器7上，所述储物容器采用亚克力板材料制作而成，所述储物容器置于所述托盘上，所述储物容器中放置同一种商品。

其中，所述入口闸机3和所述出口闸机6使用定制外观的闸机，使用串口通讯，控制闸机开关；串口处连接一个串口转网络的设备，这样可以通过网络发送指令来控制并读取闸机状态。所述质量传感器7选用精度为0.1克的传感器，并内置有单片机，存储了该传感器的唯一标识，通过该标识就可以识别出哪个质量传感器7的信息发生变化，从而找出哪件商品发生变动；质量传感器7的串口连接一个串口转网络的设备，通过该设备将信息发送出去。系统在开启前需要分别测量各个货架上单位商品的重量，配置好货架上的每一个传感器的相关信息，包括传感器的实际位置坐标、商品的名称以及该商品的单位质量。

当某个质量传感器7的数值发生变动时，系统记录该传感器的变化的数值和发生变动的时间，然后根据哪个传感器数值发生变动即可判断购买了什么商品；根据变动的数值以及商品的单位质量即可计算出购买的商品数量；根据发生变动的时间信息查找该时间点附近所有顾客的位置坐标并计算距离，取最小距离对应的顾客。综合以上信息就可以判断哪个顾客购买了多少件商品。

当顾客位于入口闸机3区域，尚未扫码进店时，位于店内顶部的摄像头2就可以使用基于深度学习的检测算法实时检测该区域人员的头部位置，并将检测的顾客的头部位置发送至所述中控模块，通过所述中控模块的跟踪单元生成跟踪轨迹，当有多人时生成多条轨迹，并对不同顾客的轨迹赋予一个随机的标号，简称ID。此时，这些轨迹并没有与某个顾客的真实信息关联。

顾客在进入无人超市时，需使用微信扫描进店二维码进行身份信息的授权和绑定，当顾客使用微信扫描进店二维码时，开启小程序，选择进店选项后，入口闸机3开门允许顾客进店，此时，用户服务端生成当前顾客的UserID(包含顾客的实际信息的唯一标识)，当顾客进入超市后，所述跟踪单元将当前进店顾客的UserID与已存在的跟踪轨迹使用匹配算法进行匹配，使得进入店内的顾客的跟踪轨迹带有对应的顾客信息，顾客进店后，位于店内顶部的摄像头2继续对顾客的头部区域进行检测，并将检测结果发送至中控模块；中控模块继续基于接收到的检测数据对顾客进行轨迹跟踪，包括单摄像头和跨摄像头跟踪。

当顾客拿走某件商品时，位于货架1下的质量传感器7数值发生变化，所述单片机根据变化的数值W以及该商品的单位质量w，通过n＝W/w，即可计算出拿走的商品数量n，并将对应商品的种类信息、变化的数量信息、商品发生变动的时间和质量传感器所在货架的位置坐标发送给所述中控模块。中控模块在接收到所述商品检测模块发送的数据后，利用匹配算法将发生变动的商品与顾客匹配，以确定购买了当前商品的顾客及其购买数量。

当顾客需要结算出门时，扫描位于出口闸机6旁的显示屏5上的出店二维码，此时顾客可以看到自己所购商品清单，支付前禁止出店，顾客确认无误后即可结算出门，若出现误判商品则可以手动将其消除。整个购物流程中顾客只需扫描进店和扫码支付，无需对所购商品进行任何处理，实现了无感知购物。

进一步地，通过摄像头基于深度学习检测算法检测顾客的头部位置，包括：

通过位于店内顶部的摄像头2采集一天中不同时间段的店内视频，将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中的人体头部区域进行标注，生成数据集；构建深度学习模型，使用构建的数据集对构建的深度学习模型进行训练，得到推断模型，实现对人体头部区域的实时检测。

其中，所述跟踪单元具体用于：

将不同摄像头视野内的坐标转化为相对于店内预设参照点的坐标，构建一个统一的坐标系，即在整个店内构建了相对于某一个点的坐标系，简称店内坐标，位于店内顶部摄像头通过检测算法获取了行人的位置坐标，根据坐标转换规则将摄像头视野里所有像素的坐标转换为店内坐标，不同摄像头的店内位置坐标不同其视野内像素的店内坐标就不同，利用这种方法将不同摄像头视野内的坐标统一成店内坐标，有了统一的坐标后，不论是单摄像头还是跨摄像头跟踪，都是在统一的店内坐标下进行；根据检测到的顾客头部区域的位置数据，利用卡尔曼滤波和计算IOU的方式进行跟踪，实现对顾客轨迹的不间断跟踪。

具体地，本实施例的摄像头3的数量为三个，当顾客的轨迹跨越不同摄像头时，使用跨摄像头跟踪匹配算法进行处理，具体为：

如图5所示，将每个摄像头视野内的坐标转换为相对于店内某一固定点的坐标，即图5中标识的XY坐标系。首先通过实地测量确定每个摄像头在整体坐标系中的中心坐标(x_i,y_i)(i取0，1，2，)。在得到每个摄像头的检测数据(x_d,y_d)后，加上或减去摄像头的中心坐标(x_i,y_i)换算到整体坐标系中，从而得到跟踪系统所需要的整体坐标。在坐标转化过程中存在两个摄像头均覆盖到的区域，对于这些区域里的人员不进行处理。将摄像头的坐标转换到统一坐标后，就可以使用单摄像头的目标跟踪方法进行跟踪，从而实现了跨摄像头跟踪。

在单摄像头内的目标检测中，所得到的坐标为目标的头部坐标数据，为了获取到顾客的真实位置，需要将该坐标校正到实际的坐标位置中，如图4所示。针对这一问题，本实施例使用数学方法对坐标进行校正：在图4中H为摄像头安装高度、S为摄像头的实际覆盖范围、h为人员高度(人员高度取身高的众数，同时根据最终效果不同，确定为1.6m)，x即为需要校正的长度。化简得到：

在程序中根据该数学方法，对实时的检测数据加以计算，就可以得到校正到实际位置的正确坐标数据。

其中，跟踪单元将当前进店顾客的唯一标识与已生成的跟踪轨迹使用匹配算法进行匹配，使得进入店内的顾客的跟踪轨迹带有对应的顾客信息，包括：

当顾客扫码进店时，系统生成顾客的唯一标识UserID，所述跟踪单元在所述入口闸机3的进门位置初始化一条带有标号为UserID的轨迹线U_Line；

在当前顾客通过所述入口闸机3后，将U_Line与所有不带UserID标识的跟踪轨迹(即位于闸机外的所有人形成的轨迹)进行匹配，计算待匹配的两条轨迹线最后几个点的距离和，取最小值，则最小值对应的两条轨迹线属于同一个人，连接这两条线，完成轨迹的匹配。这样对于任何一个进店的顾客，其轨迹都有UserID，而在店内闸机外的顾客，其轨迹就没有UserID属性。

其中，所述中控模块在接收到所述商品检测模块发送的数据后，利用匹配算法将发生变动的商品与顾客匹配，包括：

所述中控模块在接收到所述商品检测模块发送的数据后，根据商品发生变动的时间，在所有跟踪轨迹中查找商品发生变动的时间点附近的坐标，并计算所查找到的坐标与货架坐标的欧式距离，取欧式距离最小值所对应的跟踪轨迹，确定欧式距离最小值对应的跟踪轨迹所对应的顾客购买了相应的商品。

综上，本实施例通过人员检测模块配合中控模块实现了顾客轨迹跟踪；通过商品检测模块配合中控模块确定购买当前商品的顾客及购买数量；通过闸机模块配合中控模块控制顾客出入超市，并通过用户服务端配合中控模块生成对应顾客的结算清单，顾客在确认无误后，即可结算出门；整个购物流程中顾客只需扫描进店和扫码支付，无需对所购商品进行任何处理，实现了无感知购物。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

还需要说明的是，以上所述仅是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (7)

1.一种基于深度学习构建的无人超市系统，其特征在于，包括：中控模块、用户服务端、闸机模块、人员检测模块和商品检测模块；其中，所述用户服务端、闸机模块、人员检测模块和商品检测模块分别与所述中控模块通信连接；

所述人员检测模块设置在超市内，用于对所述闸机模块所在区域和超市内的顾客进行图像采集，并配合所述中控模块生成顾客的跟踪轨迹；所述商品检测模块设置在超市的货架中，用于检测对应商品的质量变化，并配合所述中控模块确定购买当前商品的顾客及购买数量；所述闸机模块包括设置在超市进出口的入口闸机和出口闸机，所述用户服务端用于在顾客通过所述入口闸机进入超市后生成顾客的唯一标识，并配合所述中控模块生成对应顾客的结算清单，所述出口闸机用于配合所述中控模块，在顾客完成支付前，禁止顾客走出超市；

所述人员检测模块包括设置在超市屋顶的摄像头；所述中控模块包括跟踪单元；当有顾客位于所述入口闸机区域时，所述摄像头基于深度学习的检测算法实时检测所述入口闸机区域顾客的头部位置并将检测的顾客的头部位置发送至所述中控模块，通过所述中控模块的跟踪单元生成与顾客数量对应的跟踪轨迹；当顾客进入超市后，所述跟踪单元将当前进店顾客的唯一标识与已生成的跟踪轨迹使用匹配算法进行匹配，使得进入店内的顾客的跟踪轨迹带有对应的顾客信息，并基于摄像头采集的图像，继续对进入店内的顾客的轨迹进行跟踪；

所述跟踪单元具体用于：将不同摄像头视野内的坐标转化为相对于店内预设参照点的坐标，构建一个统一的坐标系；根据摄像头检测到的顾客头部区域的位置数据，利用卡尔曼滤波和计算IOU的方式进行跟踪，实现对顾客轨迹的不间断跟踪；其中，在利用卡尔曼滤波和计算IOU的方式进行跟踪之前，还包括：对摄像头检测到的顾客头部区域的位置数据按照下式进行校正：

式中，H为摄像头安装高度，S为摄像头的实际覆盖范围，h为人员高度；x为需要校正的长度；

所述跟踪单元将当前进店顾客的唯一标识与已生成的跟踪轨迹使用匹配算法进行匹配，使得进入店内的顾客的跟踪轨迹带有对应的顾客信息，包括：

当生成顾客的唯一标识后，所述跟踪单元在所述入口闸机的进门位置初始化一条带有当前顾客所对应的唯一标识的轨迹线U_Line；

在当前顾客通过所述入口闸机后，将U_Line与所有不带顾客唯一标识的跟踪轨迹进行匹配，计算待匹配的两条轨迹线最后几个点的距离和，取最小值，则最小值对应的两条轨迹线属于同一个人，连接这两条线，完成轨迹的匹配。

2.如权利要求1所述的基于深度学习构建的无人超市系统，其特征在于，所述入口闸机处设置有进店二维码，所述出口闸机处设置有出店二维码；

当顾客扫描所述进店二维码并选择进店选项后，所述入口闸机开放允许当前顾客进入超市，此时，所述用户服务端生成当前顾客的唯一标识；当顾客扫描所述出店二维码后，所述用户服务端生成当前顾客的结算清单并显示给顾客。

3.如权利要求1所述的基于深度学习构建的无人超市系统，其特征在于，通过摄像头基于深度学习的检测算法检测顾客的头部位置，包括：

通过摄像头采集一天中不同时间段的店内视频，将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中的人体头部区域进行标注，生成数据集；

构建深度学习模型，使用构建的数据集对构建的深度学习模型进行训练，得到推断模型，利用得到的推断模型实现对人体头部区域的实时检测。

4.如权利要求1所述的基于深度学习构建的无人超市系统，其特征在于，所述商品检测模块包括质量传感器和托盘；

其中，所述质量传感器内置有单片机，所述质量传感器设置在货架的储物格上，所述托盘设置在所述质量传感器上，用于放置同一种商品；

当所述质量传感器检测到对应托盘上的商品总质量发生变化时，所述单片机根据对应商品的单位商品质量和所述质量传感器检测到的商品总质量变动的数值计算出商品变化的数量信息，并将对应商品的种类信息、变化的数量信息、商品发生变动的时间和质量传感器所在货架的位置坐标发送给所述中控模块。

5.如权利要求4所述的基于深度学习构建的无人超市系统，其特征在于，所述商品检测模块还包括储物容器，所述储物容器采用亚克力板制作，所述储物容器置于所述托盘上，商品放置在所述储物容器中。

6.如权利要求5所述的基于深度学习构建的无人超市系统，其特征在于，所述中控模块在接收到所述商品检测模块发送的数据后，利用匹配算法将发生变动的商品与顾客匹配，以确定购买了当前商品的顾客及其购买数量。

7.如权利要求6所述的基于深度学习构建的无人超市系统，其特征在于，所述中控模块在接收到所述商品检测模块发送的数据后，利用匹配算法将发生变动的商品与顾客匹配，包括：

所述中控模块在接收到所述商品检测模块发送的数据后，根据商品发生变动的时间，在所有跟踪轨迹中查找商品发生变动的时间点附近的坐标，并计算所查找到的坐标与货架坐标的欧式距离，取欧式距离最小值所对应的跟踪轨迹，确定欧式距离最小值对应的跟踪轨迹所对应的顾客购买了相应的商品。

Images