CN113516469B - 基于深度学习与眼神跟踪的无人超市售货系统及售货方法 - Google Patents

基于深度学习与眼神跟踪的无人超市售货系统及售货方法 Download PDF

Info

Publication number
CN113516469B
CN113516469B CN202110465638.2A CN202110465638A CN113516469B CN 113516469 B CN113516469 B CN 113516469B CN 202110465638 A CN202110465638 A CN 202110465638A CN 113516469 B CN113516469 B CN 113516469B
Authority
CN
China
Prior art keywords
camera
commodity
user
shelf
upper computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110465638.2A
Other languages
English (en)
Other versions
CN113516469A (zh
Inventor
杨延西
孙俏
刘磊
匡益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110465638.2A priority Critical patent/CN113516469B/zh
Publication of CN113516469A publication Critical patent/CN113516469A/zh
Application granted granted Critical
Publication of CN113516469B publication Critical patent/CN113516469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/202—Interconnection or interaction of plural electronic cash registers [ECR] or to host computer, e.g. network details, transfer of information from host to ECR or from ECR to ECR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history

Abstract

本发明公开了一种基于深度学习与眼神跟踪的无人超市售货系统，包括:设置在无人超市入口的双目摄像头与虹膜摄像头，超市内部设有货架，货架的顶点设有摄像头A；货架上从上至下设有至少两排置物板，置物板的底部设有重力传感器；货架的每行置物架上分别均设有摄像头B和摄像头C；货架的一端设有人机交互模块；双目摄像头、虹膜摄像头、摄像头A、摄像头B、摄像头C及重力传感器均连接后台上位机。本发明还公开了一种基于深度学习与眼神跟踪的无人超市售货系统的售货方法，本发明解决了目前存在的排队买单造成的结账效率低下，使用电子标签造成的商品成本增加，以及消费者因无法使用手机而限制购物的问题。

Description

基于深度学习与眼神跟踪的无人超市售货系统及售货方法
技术领域
本发明属于无人超市智能货架技术领域，涉及一种基于深度学习与眼神跟踪的无人超市售货系统，本发明还涉及上述售货系统的售货方法。
背景技术
天猫无人超市的出现，改变了传统超市采用收银台收银的付款方式，虽然降低了人力劳动成本，但并没有改变顾客排队结账的本质。
无人超市中销售的商品需要电子标签，而许多厂家在生产商品时，只提供了条形印刷码，并未提供射频识别标签。商品在进入销售环节之前，需要商家黏贴RFID标签。这就造成了商家需要花费大量人力成本和时间成本给每件商品黏贴电子标签，且电子标签本身也需要购买，无形中会增加商品销售价格。
现有的无人超市都需要手机扫码进入，而人们在忘记带手机或者手机没电关机时，就无法进入购物，这样不仅会降低销售成单率，也使购物有一定的限制。虹膜特征具有唯一性，同时也决定了身份识别的唯一性，且虹膜特征基本不会随着人年龄的增长而发生变化。因此，采用虹膜识别技术代替手机扫码进入超市更便捷。
发明内容
本发明的目的是提供一种基于深度学习与眼神跟踪的无人超市售货系统，解决了目前存在的排队买单造成的结账效率低下，使用电子标签造成的商品成本增加，以及消费者因无法使用手机而限制购物的问题。
本发明的目的是还提供一种基于深度学习与眼神跟踪的无人超市售货方法。
本发明所采用的第一种技术方案是，基于深度学习与眼神跟踪的无人超市售货系统，包括:
设置在无人超市入口的双目摄像头与虹膜摄像头，无人超市内部设有货架，货架的顶点设有摄像头A；
货架上从上至下设有至少两排置物板，置物板的底部设有重力传感器；
货架的每行置物架上分别均设有摄像头B和摄像头C；
货架的一端设有人机交互模块；
双目摄像头、虹膜摄像头、摄像头A、摄像头B、摄像头C及重力传感器均连接后台上位机。
本发明第一种技术方案的特点还在于：
人机交互模块包括电子广告屏、语音模块及补货提醒模块。
本发明采用的第二种技术方案是，基于深度学习与眼神跟踪的无人超市售货系统的售货方法，具体包括如下步骤：
步骤1，用户进入无人超市前，在APP上注册个人账号，通过虹膜摄像头进行虹膜识别后进入无人超市；
步骤2，根据步骤1所得的识别结果判断该用户是否有未支付订单，决定该用户是否可以开始挑选商品；若有未支付订单，则需支付后方可继续购物；若无，则可直接进入无人超市并开始挑选商品；
步骤3，当用户进入挑选商品环节时，由于用户站在货架前，利用设置在货架上的摄像头C对用户进行眼神跟踪，并将跟踪结果发送给后台上位机，后台上位机对用户的在一个商品前的眼神停滞时长进行分析；
步骤4，用户取走放置在置物板上的商品，设置在该商品置物架底部的重量传感器将感知的重量变化信号发送给人机交互模块，使人机交互模块向后台上位机发送补货提醒；
步骤5，摄像头A采集顾客所挑选的待支付商品图像并跟踪待支付商品去向；摄像头B，检测并跟踪未付款用户去向，摄像头A和摄像头B将采集的信息发送给后台上位机，在后台上位机中，利用Apriori算法对摄像头A和摄像头C采集的信息进行处理，得到步骤4所选商品所需支付的费用，并将该费用发送至APP中；
进行处理，得到用户所需支付的费用并发送至APP。
步骤6，用户离开无人超市，APP提醒用户支付费用，待用户支付完成或系统自动扣费，购物结束。
本发明采用的第二种技术方案的特点还在于：
步骤3的具体过程为：
步骤3.1，用户走向目标商品，设置在货架上的摄像头C跟踪顾客眼神，摄像头C将采集的信息发送给后台上位机，通过后台上位机对摄像头C检测到信息进行分析，计算用户在目标商品前停留的总注意力时长；
步骤3.2，后台上位机对步骤3.1计算的注意力时长及步骤3.1中所述目标商品的历史购买记录进行分析归纳，选出历史购买记录最多及用户注意力停留最长的商品；
步骤3.3，将步骤3.2所选商品信息发送到人机交互模块中，在人机交互模块的电子广告屏上展示该商品的信息。
摄像头A和摄像头B中均采用SVM+HOG跟踪算法。
步骤5中采用关联算法Apriori算法，将摄像头A采集到的待支付商品图像和摄像头B采集的未付款用户图像进行关联匹配，后台上位机将待支付商品的付款金额发送给摄像头B采集到的未付款用户的APP中。
本发明的有益效果如下：
1.改变了现有购物方式中的排队结算方式，为用户节约了时间成本，提高了购物效率。特别地，当无人超市设置在机场、车站、地铁站等场所时，更是为消费者节约了宝贵的购物时间。实现了现在买过后付，一拿就走的轻松购物方式。
2.使用智能货架下方的重力传感器和基于深度学习框架双重检测，提高了结算的准确率。利用置于货架上摄像头与置于置物架下方的重力传感器共同作用，解决了现有无人超市需给每件商品都植入电子标签的问题，降低了商品销售的成本。
3.本发明中所述的带有虹膜功能的摄像头，置于无人超市入口，解决了消费者因无法使用手机而限制购物的情况，为紧急情况下的购物提供了可能，更加人性化。
4.本发明所述的设置在货架上的虹膜摄像头C，可对顾客进行眼神跟踪，通过分析用户的注意力时长等信息向商家提供更加高效的货架摆放方案和选品方案。
5.本发明提供的智能货架系统可通过互联网向后台(电脑端/上位机/服务器)发送补货信息，及时高效，可避免因缺货造成的经济损失。
附图说明
图1为本发明基于深度学习与眼神跟踪的无人超市系统的结构示意图；
图中，1.无人超市，2.双目摄像头，3.虹膜摄像头，4.摄像头A，5.摄像头B，6.摄像头C，7.置物板，8.商品，9.人机交互模块，10.重力传感器，11.后台上位机。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于深度学习与眼神跟踪的无人超市售货系统，如图1所示，包括:
设置在无人超市1入口的双目摄像头2与虹膜摄像头3，无人超市1内部设有货架，货架的顶点设有摄像头A4；
货架上从上至下设有至少两排置物板7，置物板7的底部设有重力传感器10；
货架的每行置物架7上分别均设有摄像头B5和摄像头C6；
货架的一端设有人机交互模块9；
双目摄像头2、虹膜摄像头3、摄像头A4、摄像头B5、摄像头C6及重力传感器10均通过互联网连接后台上位机11。
本发明基于深度学习与眼神跟踪的无人超市售货系统中各部件的功能如下：
虹膜摄像头3，对用户身份进行识别；虹膜摄像头3包括为防止非法分子盗取他人图片、录像等信息进行消费所设置的活体检测功能；
双目摄像头2用于采集顾客人脸图像，分析顾客年龄、性别，便于后台对进入无人超市的人群进行归纳总结，便于后期合理的布置商品，提高下单率。
摄像头A4，用于采集顾客所挑选的待支付商品图像并跟踪待支付商品去向；摄像头A4采用的跟踪算法为SVM(梯度方向直方图)+HOG(支持向量机)；
摄像头B5，用于检测并跟踪未付款用户去向；摄像头B5采用的跟踪算法为SVM(梯度方向直方图)+HOG(支持向量机)；
摄像头C6也为虹膜摄像头，用于视线跟踪并计算顾客视线停留时长；
人机交互模块9，包含电子广告屏、语音模块、补货提醒模块，其中电子广告屏用于根据顾客视线停留时长、历史购买记录信息推送相关产品；
重力传感器10，用于检测货物被取走或放回时的重量探测，便于后台进行及时补货；
本发明所用到的各类摄像头数量均根据实际情况，等距分布。假设设置在货架顶端的摄像头A4的视野范围为a，设置在货架上的摄像头B5的视野范围为b，设置在货架上的摄像头C6的视野范围为c，智能货架的总长为L，则：
x＝[L/a]+1；
y＝[L/b]+1；
z＝[L/c]+1；
其中，x表示设置在货架顶端的摄像头A4的数量，y表示设置在货架上的摄像头B5的数量，z表示设置在货架上的摄像头C6的数量。
由于在一个货架上用来检测并跟踪未付款用户去向的摄像头B5有y个，因此难免存在重叠区域，即当两个摄像头B5在同一时间内捕获到相同信息时可利用摄像头B5对未付款用户进行轨迹跟踪，利用DeepSort算法或SVM+HOG算法判断轨迹是否一致，当轨迹一致时后台进行处理，避免重复扣费。
基于深度学习与眼神跟踪的无人超市售货系统的售货方法，具体包括如下步骤：
步骤1，用户进入无人超市前，在APP上注册个人账号，通过虹膜摄像头进行虹膜识别后进入无人超市；
新用户使用前应实名注册相关信息。
用户进入无人超市进行虹膜识别时，应当进行活体检测，以防止不法分子利用视频图像等方式骗取他人身份信息。活体检测可以通过引导用户做出指定动作实现，如转动眼球等。
步骤2，根据步骤1所得的识别结果判断该用户是否有未支付订单，决定该用户是否可以开始挑选商品；若有未支付订单，则需支付后方可继续购物；若无，则可直接进入无人超市并开始挑选商品；
步骤3，当用户进入挑选商品环节时，由于用户站在货架前，利用设置在货架上的摄像头C对用户进行眼神跟踪，并将跟踪结果发送给后台上位机，后台上位机对用户的在一个商品前的眼神停滞时长进行分析；为商家提供优化货架布局及选品依据。
步骤3的具体过程为：
步骤3.1，用户走向目标商品，设置在货架上的摄像头C跟踪顾客眼神，摄像头C将采集的信息发送给后台上位机，通过后台上位机对摄像头C检测到信息进行分析，计算用户在目标商品前停留的总注意力时长；
步骤3.2，后台上位机对步骤3.1计算的注意力时长及步骤3.1中所述目标商品的历史购买记录进行分析归纳，选出历史购买记录最多及用户注意力停留最长的商品；
步骤3.3，将步骤3.2所选商品信息发送到人机交互模块中，在人机交互模块的电子广告屏上展示该商品的信息。
步骤4，用户取走放置在置物板上的商品，设置在该商品置物架底部的重量传感器将感知的重量变化信号发送给人机交互模块，使人机交互模块向后台上位机发送补货提醒；
若用户拿起A商品却并没购买，又将其放回智能货架上。若用户将A商品放回原位，则A商品购买失效；若用户未将A商品放回原位，则语音模块提醒1次。需要说明的是，若非法分子盗取、掉包或毁坏商品，则认为该商品已被购买，系统通过后台自动扣除等额费用。
根据设置在货架置物板7下方的重力传感器10的改变值，初步检测待支付商品数量m、品类(单价为n)、价格(mn元)，即实现在后台上位机中录入单个商品的重量及价格；，同时放置在同一层置物架7上的商品必须是价格及重量均相同的商品；这样根据重量传感器10感知的重量变化，即可获知商品8的品类，根据该品类查找与之匹配的价格，并初步结算订单金额；
当商品离开货架时，设置在货架顶端的摄像头A4利用yolov5网络模型二次检测待支付商品信息；
利用yolov5网络模型对商品进行二次检测具体包括以下步骤：
S1:采集无人超市所售卖的商品原始图像；
S2:对商品原始图像进行预处理，通过数据增强等方式扩充商品图像数据集并进行人工标定；
其中数据增强包括以下一种或多种操作：
a.平移；
b.旋转或翻转，其中翻转包括水平翻转或者上下翻转；
c.裁剪；
d.改变光照或色彩抖动；
e.添加噪声；
f.仿射变换。
S3:搭建yolov5深度学习检测网络；
S4:运用yolov5网络训练商品图像数据集，得到权重文件，并将所得到的结果划分为训练集、测试集、验证集。
优选地，所述对数据集进行训练集、测试集、验证集比例为6：2：2。
S5:当用户挑选出待支付商品时，设置在货架顶端的摄像头A利用的设置在货架顶端的摄像头A4拍摄待支付商品图像，将采集到的图片输入yolov5网络中，检测未支付商品类别等信息。
步骤5，摄像头A4采集顾客所挑选的待支付商品图像并跟踪待支付商品去向；摄像头B5，检测并跟踪未付款用户去向，摄像头A4和摄像头B5将采集的信息发送给后台上位机，在后台上位机中，利用Apriori算法对摄像头A4和摄像头B5采集的信息进行处理，得到步骤4所选商品所需支付的费用，并将该费用发送至APP中；后台上位机11中事先已将每个商品的价格及图片信息录入，因此，摄像头A4采集到商品信息后，后台上位机11即可匹配查找到相应的商品价格。
步骤6，用户离开无人超市，APP提醒用户支付费用，待用户支付完成或系统自动扣费，购物结束。第三方支付平台优选支付宝、微信、用户所注册使用的银行卡账号等。

Claims (1)

1.基于深度学习与眼神跟踪的无人超市售货系统的售货方法，其特征在于：基于深度学习与眼神跟踪的无人超市售货系统，包括:
设置在无人超市入口的双目摄像头与虹膜摄像头，无人超市内部设有货架，货架的顶点设有摄像头A；
货架上从上至下设有至少两排置物板，置物板的底部设有重力传感器；
货架的每行置物架上分别均设有摄像头B和摄像头C；
货架的一端设有人机交互模块；
双目摄像头、虹膜摄像头、摄像头A、摄像头B、摄像头C及重力传感器均连接后台上位机；
所述人机交互模块包括电子广告屏、语音模块及补货提醒模块；
具体包括如下步骤：
步骤1，用户进入无人超市前，在APP上注册个人账号，通过虹膜摄像头进行虹膜识别后进入无人超市；
步骤2，根据步骤1所得的识别结果判断该用户是否有未支付订单，决定该用户是否可以开始挑选商品；若有未支付订单，则需支付后方可继续购物；若无，则可直接进入无人超市并开始挑选商品；
步骤3，当用户进入挑选商品环节时，由于用户站在货架前，利用设置在货架上的摄像头C对用户进行眼神跟踪，并将跟踪结果发送给后台上位机，后台上位机对用户的在一个商品前的眼神停滞时长进行分析；
所述步骤3的具体过程为：
步骤3.1，用户走向目标商品，设置在货架上的摄像头C跟踪顾客眼神，摄像头C将采集的信息发送给后台上位机，通过后台上位机对摄像头C检测到信息进行分析，计算用户在目标商品前停留的总注意力时长；
步骤3.2，后台上位机对步骤3.1计算的注意力时长及步骤3.1中所述目标商品的历史购买记录进行分析归纳，选出历史购买记录最多及用户注意力停留最长的商品；
步骤3.3，将步骤3.2所选商品信息发送到人机交互模块中，在人机交互模块的电子广告屏上展示该商品的信息；
步骤4，用户取走放置在置物板上的商品，设置在该商品置物架底部的重量传感器将感知的重量变化信号发送给人机交互模块，使人机交互模块向后台上位机发送补货提醒；
步骤5，摄像头A采集顾客所挑选的待支付商品图像并跟踪待支付商品去向；摄像头B，检测并跟踪未付款用户去向，摄像头A和摄像头B将采集的信息发送给后台上位机，在后台上位机中，利用关联算法对摄像头A和摄像头C采集的信息进行处理，得到步骤4所选商品所需支付的费用，并将该费用发送至APP中进行处理，得到用户所需支付的费用并发送至APP；
所述摄像头A和摄像头B中均采用SVM+HOG跟踪算法；
所述步骤5中采用关联算法Apriori算法，将摄像头A采集到的待支付商品图像和摄像头B采集的未付款用户图像进行关联匹配，后台上位机将待支付商品的付款金额发送给摄像头B采集到的未付款用户的APP中；
若用户拿起A商品却并没购买，又将A商品放回智能货架上；若用户将A商品放回原位，则A商品购买失效；若用户未将A商品放回原位，则语音模块提醒1次；
根据设置在货架置物板下方的重力传感器的改变值，初步检测待支付商品数量m、品类、价格，即实现在后台上位机中录入单个商品的重量及价格；同时放置在同一层置物架上的商品必须是价格及重量均相同的商品；这样根据重量传感器感知的重量变化，即可获知商品的品类，根据该品类查找与之匹配的价格，并初步结算订单金额；
假设设置在货架顶端的摄像头A的视野范围为a，设置在货架上的摄像头B的视野范围为b，设置在货架上的摄像头C的视野范围为c，智能货架的总长为L，则：
x＝[L/a]+1；
y＝[L/b]+1；
z＝[L/c]+1；
其中，x表示设置在货架顶端的摄像头A的数量，y表示设置在货架上的摄像头B的数量，z表示设置在货架上的摄像头C的数量；
由于在一个货架上用来检测并跟踪未付款用户去向的摄像头B有y个，即当两个摄像头B5在同一时间内捕获到相同信息时可利用摄像头B对未付款用户进行轨迹跟踪，利用DeepSort算法或SVM+HOG算法判断轨迹是否一致，当轨迹一致时后台进行处理，避免重复扣费；
步骤6，用户离开无人超市，APP提醒用户支付费用，待用户支付完成或系统自动扣费，购物结束。
CN202110465638.2A 2021-04-28 2021-04-28 基于深度学习与眼神跟踪的无人超市售货系统及售货方法 Active CN113516469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110465638.2A CN113516469B (zh) 2021-04-28 2021-04-28 基于深度学习与眼神跟踪的无人超市售货系统及售货方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110465638.2A CN113516469B (zh) 2021-04-28 2021-04-28 基于深度学习与眼神跟踪的无人超市售货系统及售货方法

Publications (2)

Publication Number Publication Date
CN113516469A CN113516469A (zh) 2021-10-19
CN113516469B true CN113516469B (zh) 2023-06-30

Family

ID=78063859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110465638.2A Active CN113516469B (zh) 2021-04-28 2021-04-28 基于深度学习与眼神跟踪的无人超市售货系统及售货方法

Country Status (1)

Country Link
CN (1) CN113516469B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473321A (zh) * 2019-08-05 2019-11-19 广州织点智能科技有限公司 无人便利店进门识别方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268983B2 (en) * 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
CN108629573A (zh) * 2018-04-08 2018-10-09 深圳奥比中光科技有限公司 一种智能自助购物方法及系统
CN108564442A (zh) * 2018-04-11 2018-09-21 合肥美的智能科技有限公司 无人零售系统及其控制方法、售货装置和云服务器
CN108615296A (zh) * 2018-04-26 2018-10-02 合肥美的智能科技有限公司 无人售货方法和无人售货机
CN108922026B (zh) * 2018-07-09 2020-06-23 深圳码隆科技有限公司 一种自动售货机的补货管理方法、装置和用户终端
CN109949485A (zh) * 2019-01-30 2019-06-28 安徽智佳信息科技有限公司 开放式无人自助售货装置及其售货方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473321A (zh) * 2019-08-05 2019-11-19 广州织点智能科技有限公司 无人便利店进门识别方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An Efficient Face Recognition Algorithm Based on Deep Learning for Unmanned Supermarket;Fo Zhi Zhou等;《2018 Progress in Electromagnetics Research Symposium (PIERS-Toyama)》;第715-718页 *

Also Published As

Publication number Publication date
CN113516469A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
US20220215369A1 (en) Integrated Automatic Retail System and Method
CN208188867U (zh) 一种用于无人自动售货的商品识别系统
CN108780596B (zh) 信息处理系统
US8403215B2 (en) Self shopping support by getting contents from electronic shelf labels
US10290031B2 (en) Method and system for automated retail checkout using context recognition
US9031857B2 (en) Generating customized marketing messages at the customer level based on biometric data
US9626684B2 (en) Providing customized digital media marketing content directly to a customer
RU2739542C1 (ru) Система автоматической регистрации для торговой точки
US8775238B2 (en) Generating customized disincentive marketing content for a customer based on customer risk assessment
JP5336449B2 (ja) 電子棚札（ｅｓｌ）からコンテンツを取得していくセルフ買物支援
US8831972B2 (en) Generating a customer risk assessment using dynamic customer data
JP7038543B2 (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
CN212229682U (zh) 基于购买者位置定位的开放式自助销售系统
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
CN107358734A (zh) 基于重力感应实现无人售卖的方法和系统
JP5002441B2 (ja) マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム
CN109920178B (zh) 一种无人超市系统
TWM560634U (zh) 具影像識別及結合多媒體購物之展示系統
WO2020119566A1 (zh) 门店系统及数据处理方法
CN113516469B (zh) 基于深度学习与眼神跟踪的无人超市售货系统及售货方法
TWI760521B (zh) 智慧商店購物系統及使用其之購物方法
CN113065891A (zh) 一种用于零售终端机的互动营销方法
EA027180B1 (ru) Интерактивный способ обслуживания покупателей и оборудование для его осуществления
US20220270061A1 (en) System and method for indicating payment method availability on a smart shopping bin
CN117133088B (zh) 一种基于移动终端的智能收银系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant