CN113807915A - 一种基于深度学习构建的无人超市人货匹配方法及其系统 - Google Patents

Abstract

本发明涉及一种无人超市，尤其是一种基于深度学习构建的无人超市人货匹配方法，包括以下步骤：接收到某个称重传感器的数值变化后，确定该称重传感器的传感器坐标、变化的数值、数值变化的时间、对应的商品名称和该商品的单位质量；根据变化的数值和商品的单位质量计算购买的商品数量；根据数值变化的时间查找该时间点附近所有顾客的人体骨骼关键点中手部关键点的手部坐标，并计算传感器坐标与手部坐标之间的距离，取最小距离对应的手部坐标的顾客；完成确定购买了当前商品的顾客及购买数量。该方法实现了无人超市的人货精确匹配。

Description

一种基于深度学习构建的无人超市人货匹配方法及其系统

技术领域

本发明涉及一种无人超市，尤其是一种基于深度学习构建的无人超市人货匹配方法及其系统。

背景技术

现有的无人超市的人货匹配系统的解决方案主要有三种，第一种是为每件商品贴上射频识别RFID标签，用户通过射频读取设备进行商品识别的过程中，人货匹配系统将用户与其所购商品进行匹配并结算，第二种是用户购物后自助扫描条形码进行结算，第三种是使用深度学习算法只进行人员检测，然后与发生数量变化的商品进行简单匹配，出门时进行结算。

方案一所述无人超市人货匹配系统在商品识别方面使用附加在商品上的RFID标签，通过射频读取设备进行商品识别，这种方案需要在每件商品都附加RFID标签，人工成本和商品维护成本高，不适合大面积使用。

方案二所述的无人超市人货匹配系统需要用户自助扫描商品条形码结算，易出现漏算、多算等现象，要有专人监督，需要人员成本，与普通线下超市无本质区别。

方案三所述的无人超市人货匹配系统是使用深度学习算法只进行人员检测，将得到的人员检测结果与数量发生变动的商品进行人货匹配，这种人货匹配方案是无法解决多个用户肢体发生交叉时的人货匹配问题的，注定是无法完全满足无人超市整体系统的精确度要求的，且此种人货匹配方案在用户进行商品结算时会增加用户的时间和人力成本。

因此，上述现有的三种无人超市方案无法满足无人超市想要达到的“即拿即走”的无感知购物的，且人员成本高。

发明内容

为解决上述问题，本发明提供一种基于深度学习构建的无人超市人货匹配方法，以解决现有的无人超市系统的人货匹配方案需要用户自助结算、将商品贴上RFID标签或无法解决用户肢体交叉的人货匹配的简单深度学习算法，维护成本高，无法实现无感知购物，购物体验不佳的技术问题；具体技术方案为：

一种基于深度学习构建的无人超市人货匹配方法，包括以下步骤：接收到某个称重传感器的数值变化后，确定该称重传感器的传感器坐标、变化的数值、数值变化的时间、对应的商品名称和该商品的单位质量；根据变化的数值和商品的单位质量计算购买的商品数量；根据数值变化的时间查找该时间点附近所有顾客的人体骨骼关键点中手部关键点的手部坐标，并计算传感器坐标与手部坐标之间的距离，取最小距离对应的手部坐标的顾客；完成确定购买了当前商品的顾客及购买数量。

优选的，预先测量各个货架上商品的单位质量，配置好货架上的每一个传感器的检测信息，所述检测信息包括：传感器坐标、商品的名称和该商品的单位质量。

优选的，查找手部坐标时，先检测人体头部的位置，然后根据人体头部的位置检测人体骨骼关键点。

优选的，人体头部位置的检测通过顶部的摄像头检测，并且通过头部检测模型进行实时检测。

优选的，所述头部检测模型的建立包括以下步骤：采集不同季节、不同日期、一天中不同时间段的店内视频；将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中的人体头部区域进行标注，生成数据集；构建头部检测的深度学习模型，使用构建的数据集对构建的头部检测深度学习模型进行训练，得到头部检测模型，所述头部检测模型对人体头部区域进行实时检测。

优选的，所述人体骨骼关键点的检测通过不少于两个的摄像头检测，并且通过关键点模型进行实时检测。

优选的，所述关键点模型的建立包括以下步骤：

采集不同季节、不同日期、一天中不同时间段的店内视频；

将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中人体骨骼关键点进行标注，生成数据集；

构建关键点检测的深度学习模型，使用构建的数据集对构建的关键点检测的深度学习模型进行训练，得到关键点模型，利用得到的关键点模型实现对人体骨骼关键点的实时检测。

一种基于深度学习构建的无人超市人货匹配系统，包括：中控模块、均与所述中控模块通信连接的头部检测模块、人体骨骼关键点检测模块和商品检测模块；

所述头部检测模块用于检测人体的头部区域，并实时发送给中控模块；

所述人体骨骼关键点检测模块用于检测人体骨骼的关键点，并实时发送给中控模块；

所述商品检测模块用于检测商品的变化情况，将商品的传感器坐标、变化的数值、数值变化的时间、对应的商品名称和该商品的单位质量发送给所述中控模块，所述中控模块用于根据所述商品检测模块、头部检测模块和人体骨骼关键点检测模块的信息将变动的商品与顾客匹配。

优选的，所述头部检测模块包括不少于一个的头部摄像头；所述人体骨骼关键点检测模块包括不少于两个的人体摄像头。

优选的，所述商品检测模块包括：称重传感器，所述称重传感器设有若干个，且均安装在货架上；及托盘，所述托盘安装在所述称重传感器上。

与现有技术相比本发明具有以下有益效果：

本发明提供的一种基于深度学习构建的无人超市人货匹配方法通过头部检测模块配合中控模块实现了顾客的头部位置检测；通过人体骨骼关键点检测模块配合中控模块实现了顾客的人体骨骼关键点检测，此模块真正实现了无人超市的人货精确匹配，极大减少因为顾客肢体交叉而出现人货匹配错误的情况；通过商品检测模块配合中控模块可以确定当前商品的顾客及购买数量；整个购物流程中的人货匹配阶段，顾客无需顾忌自己周围是否有其他顾客同时购买商品可能产生人货匹配出错的状况，也无需担心自己与其他顾客挤在一起同时购买商品产生肢体交叉而可能出现的人货匹配出错的问题，实现了无人超市的人货精确匹配。

附图说明

图1是一种基于深度学习构建的无人超市人货匹配系统的结构框图；

图2是货架的结构示意图；

图3是摄像头布置的示意图。

具体实施方式

现结合附图对本发明作进一步说明。

实施例一

如图1至图3所示，一种基于深度学习构建的无人超市人货匹配方法，包括以下步骤：

接收到某个称重传感器的数值变化后，确定该称重传感器的传感器坐标、变化的数值、数值变化的时间、对应的商品名称和该商品的单位质量；

根据变化的数值和商品的单位质量计算购买的商品数量；

根据数值变化的时间查找该时间点附近所有顾客的人体骨骼关键点中手部关键点的手部坐标，并计算传感器坐标与手部坐标之间的距离，取最小距离对应的手部坐标的顾客；

完成确定购买了当前商品的顾客及购买数量。

其中，计算商品数量和计算传感器坐标与手部坐标之间的距离是同步进行的，没有先后顺序。

预先测量各个货架上商品的单位质量，配置好货架上的每一个传感器的检测信息，检测信息包括：传感器坐标、商品的名称和该商品的单位质量。

查找手部坐标时，先检测人体头部的位置，然后根据人体头部的位置检测人体骨骼关键点。

人体头部位置的检测通过顶部的摄像头检测，并且通过头部检测模型进行实时检测。

头部检测模型的建立包括以下步骤：

采集不同季节、不同日期、一天中不同时间段的店内视频；

将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中的人体头部区域进行标注，生成数据集；

构建头部检测的深度学习模型，使用构建的数据集对构建的头部检测深度学习模型进行训练，得到头部检测模型，头部检测模型对人体头部区域进行实时检测。

人体骨骼关键点的检测通过不少于两个的摄像头检测，并且通过关键点模型进行实时检测。

关键点模型的建立包括以下步骤：

采集不同季节、不同日期、一天中不同时间段的店内视频；

将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中人体骨骼关键点进行标注，生成数据集；

构建关键点检测的深度学习模型，使用构建的数据集对构建的关键点检测的深度学习模型进行训练，得到关键点模型，利用得到的关键点模型实现对人体骨骼关键点的实时检测。

头部检测模块设置在超市内，用于对超市内的顾客进行图像采集，并配合人体骨骼关键点检测模块进行人体的对应关键点检测，为后续中控模块的人货匹配做准备；商品检测模块设置在无人超市的货架中，用于检测对应商品的质量变化，并配合中控模块确定购买当前商品的顾客及购买数量；人体骨骼关键点检测模块设置在头部检测模块处理之后，用于对被检测到的人员进行骨骼点检测，并配合中控模块进行商品与顾客之间的人货匹配。

当有顾客位于无人超市内部时，摄像头基于深度学习的检测算法实时检测无人超市内部区域顾客的头部位置，并将检测到的顾客的头部位置发送至人体骨骼点检测模块，将被检测到的人员对应骨骼点检测出来，发送到中控模块，通过中控模块进行顾客与所购商品的匹配；当顾客在无人超市内进行商品选购时，将当前选购商品的顾客与货架上发生质量变化的商品进行进一步的人货匹配。头部检测装置还用于人脸识别，实现顾客与商品的锁定。

因为当顾客在无人超市进行购物时，可能会发生不同顾客肢体交叉取货的情况，故当头部检测模块检测到无人超市内部的顾客头部位置之后，将被检测到人员在摄像头中对应的坐标位置发送到人体骨骼点检测模块，进行人体骨骼点的实时检测，以获取比单纯的人员目标检测更精确的图像信息，发送到中控模块进行人货匹配。这样即使不同顾客存在交叉取货的问题，中控模块依然能够进行精确的人货匹配。

实施例二

如图1至图3所示，一种基于深度学习构建的无人超市人货匹配系统，包括：中控模块、均与中控模块通信连接的头部检测模块、人体骨骼关键点检测模块和商品检测模块；头部检测模块用于检测人体的头部区域，并实时发送给中控模块；人体骨骼关键点检测模块用于检测人体骨骼的关键点，并实时发送给中控模块；商品检测模块用于检测商品的变化情况，将商品的传感器坐标、变化的数值、数值变化的时间、对应的商品名称和该商品的单位质量发送给中控模块，中控模块用于根据商品检测模块、头部检测模块和人体骨骼关键点检测模块的信息将变动的商品与顾客匹配。

头部检测模块包括不少于一个的头部摄像头；人体骨骼关键点检测模块包括不少于两个的人体摄像头。

商品检测模块包括：称重传感器及托盘，称重传感器设有若干个，且均安装在货架上；托盘安装在称重传感器上。

头部检测模块设置在超市内，用于对超市内的顾客进行图像采集，并进行人员检测，随后配合人体骨骼关键点检测模块进行人体的对应关键点检测，为后续中控模块的人货匹配做准备；商品检测模块设置在无人超市的货架中，用于检测对应商品的质量变化，并配合中控模块确定购买当前商品的顾客及购买数量；人体骨骼关键点检测模块设置在头部检测模块处理之后，用于对被检测到的人员进行骨骼点检测，并配合中控模块进行商品与顾客之间的人货匹配。

当有顾客位于无人超市内部时，摄像头基于深度学习的检测算法实时检测无人超市内部区域顾客的头部位置，并将检测到的顾客的头部位置发送至人体骨骼点检测模块，将被检测到的人员对应骨骼点检测出来，发送到中控模块，通过中控模块的进行顾客与所购商品的匹配；当顾客在无人超市内进行商品选购时，将当前选购商品的顾客与货架上发生质量变化的商品进行进一步的人货匹配。

因为当顾客在无人超市进行购物时，可能会发生不同顾客肢体交叉取货的情况，故当头部检测模块检测到无人超市内部的顾客头部位置之后，将被检测到人员在摄像头中对应的坐标位置发送到人体骨骼点检测模块，进行人体骨骼点的实时检测，以获取比单纯的人员目标检测更精确的图像信息，发送到中控模块进行人货匹配。这样即使不同顾客存在交叉取货的问题，中控模块依然能够进行精确的人货匹配。

具体地，如图2所示，本实施例的一种基于深度学习构建的无人超市人货匹配系统包括设置在店内的多个货架1，不同的货架1有其对应的店内坐标，且同一货架储格中放置相同的商品；头部检测模块包括设置在超市屋顶的头部摄像头5，头部摄像头5与无人超市的出入口相对设置。人体骨骼关键点检测模块包括第一摄像头61、第二摄像头62、第三摄像头63和第四摄像头64，多个摄像头能够获取顾客的全身图像；如图3所示，商品检测模块包括称重传感器2、托盘3和储物容器4，称重传感器2设置在货架1的储物格上，托盘3置于称重传感器2上，储物容器4采用亚克力板材料制作而成，储物容器4置于托盘3上，储物容器4中放置同一种商品。

称重传感器2选用精度为0.1克的传感器，并内置有单片机，存储了该传感器的唯一标识，通过该标识就可以识别出哪个称重传感器2的信息发生变化，从而找到哪件商品发生变动；称重传感器2的串口连接一个串口转网络的设备，通过该设备将信息发送出去。系统在开启前需要分别测量各个货架上商品的单位质量，配置好货架上的每一个传感器的相关信息，包括传感器坐标、商品的名称以及该商品的单位质量。

当某个称重传感器2的数值发生变动时，系统记录该传感器的变化的数值和发生变动的时间，然后根据数值发生变动的称重传感器2判断购买了什么商品；根据变动的数值以及商品的单位质量即可计算出购买的商品数量；根据发生变动的时间信息查找该时间点附近所有顾客的人体骨骼关键点中手部关键点的位置坐标并计算距离，取最小距离对应的手部关键点对应的顾客。综合以上信息就可以精确判断哪个顾客购买了多少件商品。

当顾客拿走某件商品时，位于货架1下的称重传感器2数值发生变化，单片机根据变化的数值W以及该商品的单位质量w，通过n＝W/w，即可计算出拿走的商品数量n，并将对应商品的种类信息、变化的数量信息、商品发生变动的时间和称重传感器2所在货架1的位置坐标发送给中控模块。中控模块在接收到商品检测模块发送的数据后，利用匹配算法将发生变动的商品与顾客的手部关键点进行匹配匹配，以确定购买了当前商品的顾客及其购买数量。

通过摄像头基于深度学习检测算法检测顾客的头部位置，包括：通过位于店内顶部的头部摄像头采集不同季节、不同日期、一天中不同时间段的店内视频，将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中的人体头部区域进行标注，生成数据集；构建头部检测的深度学习模型，使用构建的数据集对构建的头部检测的深度学习模型进行训练，得到推断模型，实现对人体头部区域的实时检测。

其中，基于深度学习的人体骨骼关键点检测算法检测顾客的骨骼关键点位置，包括：通过第一摄像头61、第二摄像头62、第三摄像头63和第四摄像头64采集不同季节、不同日期、一天中不同时间段的店内视频，将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中人体骨骼关键点进行标注，生成数据集；构建关键点检测的深度学习模型，使用构建的数据集对构建的关键点检测的深度学习模型进行训练，得到推断模型，利用得到的推断模型实现对人体骨骼关键点的实时检测。

当顾客进入无人超市并位于商品货架前时，头部摄像头5基于深度学习的检测算法实时检测超市内顾客的头部位置，并将检测到的顾客的头部位置发送至人体骨骼关键点检测模块，人体骨骼关键点检测模块通过获取第一摄像头61、第二摄像头62、第三摄像头63和第四摄像头64获取顾客的全身图像，根据头部检测模块发送的顾客头部位置进一步检测顾客的人体骨骼关键点，并将检测到的对应的所有的骨骼关键点位置坐标发送至中控模块，中控模块将人体骨骼关键点检测模块检测到的顾客人体骨骼关键点中的手部关键点与发生变化的商品货架中的商品进行匹配，以获取精确的人货匹配结果。

其中，中控模块在接收到商品检测模块发送的数据后，利用匹配算法将发生变动的商品与顾客匹配，包括：中控模块在接收到商品检测模块发送的数据后，根据商品发生变动的时间，在所有检测到的人体骨骼关键点中的手部关键点中查找商品发生变动的时间点附近的坐标，并计算所查找到的坐标与货架坐标的欧式距离，取欧式距离最小值所对应的手部关键点所属的顾客购买了相应的商品。

本实施例通过头部检测模块配合中控模块实现了顾客在超市内的人员检测；通过人体骨骼关键点检测模块实现了顾客的人体骨骼关键点检测；通过商品检测模块配合中控模块确定购买当前商品的顾客及购买数量；解决了整个购物流程中顾客与所购商品匹配正确率不高的现状，解决了购物过程中多个顾客在拿取商品时发生肢体交叉后人货匹配出错的情况，真正实现了无人超市的购物人货精确匹配。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明权利要求的保护范围之内。

Claims (10)

1.一种基于深度学习构建的无人超市人货匹配方法，其特征在于，包括以下步骤：

接收到某个称重传感器的数值变化后，确定该称重传感器的传感器坐标、变化的数值、数值变化的时间、对应的商品名称和该商品的单位质量；

根据变化的数值和商品的单位质量计算购买的商品数量；

根据数值变化的时间查找该时间点附近所有顾客的人体骨骼关键点中手部关键点的手部坐标，并计算传感器坐标与手部坐标之间的距离，取最小距离对应的手部坐标的顾客；

完成确定购买了当前商品的顾客及购买数量。

2.根据权利要求1所述的一种基于深度学习构建的无人超市人货匹配方法，其特征在于，预先测量各个货架上商品的单位质量，配置好货架上的每一个传感器的检测信息，所述检测信息包括：传感器坐标、商品的名称和该商品的单位质量。

3.根据权利要求1所述的一种基于深度学习构建的无人超市人货匹配方法，其特征在于，查找手部坐标时，先检测人体头部的位置，然后根据人体头部的位置检测人体骨骼关键点。

4.根据权利要求3所述的一种基于深度学习构建的无人超市人货匹配方法，其特征在于，人体头部位置的检测通过顶部的摄像头检测，并且通过头部检测模型进行实时检测。

5.根据权利要求4所述的一种基于深度学习构建的无人超市人货匹配方法，其特征在于，所述头部检测模型的建立包括以下步骤：

采集不同季节、不同日期、一天中不同时间段的店内视频；

将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中的人体头部区域进行标注，生成数据集；

构建头部检测的深度学习模型，使用构建的数据集对构建的头部检测深度学习模型进行训练，得到头部检测模型，所述头部检测模型对人体头部区域进行实时检测。

6.根据权利要求3所述的一种基于深度学习构建的无人超市人货匹配方法，其特征在于，所述人体骨骼关键点的检测通过不少于两个的摄像头检测，并且通过关键点模型进行实时检测。

7.根据权利要求6所述的一种基于深度学习构建的无人超市人货匹配方法，其特征在于，所述关键点模型的建立包括以下步骤：

采集不同季节、不同日期、一天中不同时间段的店内视频；

将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中人体骨骼关键点进行标注，生成数据集；

构建关键点检测的深度学习模型，使用构建的数据集对构建的关键点检测的深度学习模型进行训练，得到关键点模型，利用得到的关键点模型实现对人体骨骼关键点的实时检测。

8.一种基于深度学习构建的无人超市人货匹配系统，其特征在于，包括：中控模块、均与所述中控模块通信连接的头部检测模块、人体骨骼关键点检测模块和商品检测模块；

所述头部检测模块用于检测人体的头部区域，并实时发送给中控模块；

所述人体骨骼关键点检测模块用于检测人体骨骼的关键点，并实时发送给中控模块；

所述商品检测模块用于检测商品的变化情况，将商品的传感器坐标、变化的数值、数值变化的时间、对应的商品名称和该商品的单位质量发送给所述中控模块，所述中控模块用于根据所述商品检测模块、头部检测模块和人体骨骼关键点检测模块的信息将变动的商品与顾客匹配。

9.根据权利要求8所述的一种基于深度学习构建的无人超市人货匹配系统，其特征在于，所述头部检测模块包括不少于一个的头部摄像头；所述人体骨骼关键点检测模块包括不少于两个的人体摄像头。

10.根据权利要求8所述的一种基于深度学习构建的无人超市人货匹配系统，其特征在于，所述商品检测模块包括：

称重传感器，所述称重传感器设有若干个，且均安装在货架上；及

托盘，所述托盘安装在所述称重传感器上。

Images