CN108734481A - 基于人脸识别的无人超市智能货架管理系统及其方法 - Google Patents

Abstract

本发明公开了基于人脸识别的无人超市智能货架管理系统及其方法，智能货架系统包括货架、摄像头、重力传感器、扫码器、显示器、报警器、微处理器和超市云数据平台；智能货架管理方法具体步骤如下：首先对超市内所有顾客脸部图像进行预处理，然后对当前顾客脸部图像进行采集并进行人脸识别得到身份信息，通过扫码器和重力感应器得到顾客选取或退还商品的信息并将它们和顾客身份信息一起上传至超市云数据平台。本发明可以帮助无人超市进行精确的货架管理，具有自动化程度高、成本低及安全性高等优点。

Description

基于人脸识别的无人超市智能货架管理系统及其方法

技术领域

本发明涉及基于人脸识别的无人超市智能货架管理系统及其方法，属于无人超市人脸识别技术领域。

背景技术

无人超市目前已经进入人们的日常生活。无人超市能够给人们提供24小时的不间断服务，而且成本更低，会越来越受人们的喜爱。

目前出现的淘宝无人超市，主要采用的是视觉传感器、RFID标签(俗称电子标签)以及互联网支付等技术。其中，最关键就在于为每件商品添加了电子标签，这种非接触式的自动识别技术。它通过射频信号自动识别目标对象并获取相关数据，识别工作无须人工干预。但是这种RFID标签有一下几个问题或弱点：

一般商品没有电子标签，因此，人们需要特地为在无人超市中售卖的商品，植入电子标签。尤其是，每件商品都需要一个电子标签，而且不能犯错，例如错放了别的商品的电子标签，工作量不小。这就增加了人工成本。电子标签本身也需要购买，有一定的成本。

此外，这种电子标签本身也存在着无法克服的防盗问题。比如，无法识别玻璃等特殊材质的商品。如果标签被紧紧捏住，则将可能不会被识别到。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于人脸识别的无人超市智能货架管理系统及其方法，能够帮助无人超市进行精确的货架管理，能够让无人超市更快普及，方便民众购物，提高人们的生活品质。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的基于人脸识别的无人超市智能货架管理系统，包括

货架，用于摆放货物；

摄像头，设置在所述货架顶部，用于采集当前顾客脸部图像；

重力传感器，设置于所述货架上每一种商品的下方，用于感应商品的选取和退还；

扫码器，设置于所述货架上，用于对商品的条形码进行扫码，获得商品的种类信息；

显示屏，设置于所述货架侧面，用于显示商品选取或退还的信息；

报警器，设置在所述货架顶部，用于在出现非正常情况时进行报警；

超市云数据平台，用于向所述微处理器发送所有顾客脸部图像并接收所述微处理器传来的顾客选取或退还商品的信息；

和微处理器，与摄像头、重力传感器、扫码器、显示屏、报警器和超市云数据平台连接，用于接收所述超市云数据平台传来的所有顾客脸部图像并对所述摄像头传来的当前顾客脸部图像进行人脸识别得到顾客身份信息，接收所述重力传感器和扫码器传来的顾客选取或退还商品的信息并将它传送给显示屏和超市云数据平台，在出现非正常情况时向报警器传送报警信息。

本发明的无人超市智能货架管理系统的方法，包括如下步骤：

(1)所述微处理从超市云数据平台获取当前超市内所有顾客的M个脸部图像并进行预处理得到平均人脸图像Ψ和M个正交的单位向量u_n，其中n＝1,2,3...M；

(2)当顾客靠近所述货架，所述摄像头将当前顾客脸部图像传输给微处理器进行人脸识别并得到顾客身份信息；

(3)顾客进行商品选取，所述重力感应器感应到商品的减少并将信息传送给微处理器，顾客将商品放至所述扫码器处进行条形码扫码，所述扫码器将商品的种类信息传送给微处理器，所述微处理器将顾客选取商品的信息和身份信息传送给显示屏和超市云数据平台，所述显示屏显示顾客选取商品的信息和身份信息；

(4)顾客将要归还的商品放至扫码器处进行条形码扫码，所述扫码器将商品的种类信息传送给微处理器，顾客将商品放回所述货架，所述重力感应器感应到商品的增加并将信息传送给微处理器，所述微处理器将顾客退还商品的信息和身份信息传送给显示屏和超市云数据平台，所述显示屏显示顾客退还商品的信息和身份信息；

(5)顾客离开货架。

步骤(1)中，对当前超市内所有顾客的M个脸部图像进行预处理得到平均人脸图像Ψ和M个正交的单位向量u_n，具体步骤如下：

11)首先将第1个顾客脸部图像中的每个像素点排成一行，得到一个向量Γ₁，然后对后面的M-1个图像做相同处理，共得到M个向量，把这M个向量放到一个集合S里，如下式所示：

S＝{Γ₁，Γ₂，Γ₃，.........，Γ_M}

12)将集合S里面的所有向量遍历一遍进行累加，然后取平均值得到平均向量Ψ，即平均人脸图像Ψ，公式如下：

13)计算每张顾客脸部图像和平均人脸图像的差值Φ，公式如下：

Φ_i＝Γ_i-Ψ

14)计算如下协方差矩阵的特征向量：

其中：

A＝{Φ₁，Φ₂，Φ₃，.......，Φ_n}

共得到M个正交的单位向量u_k，k＝1,2,3...M。

步骤(2)中，所述微处理器对当前顾客脸部图像进行人脸识别并得到顾客身份信息，具体步骤如下：

21)首先将当前顾客脸部图像中的每个像素点排成一行，得到一个向量Γ，然后求出权重ω_k，公式如下：

其中，k＝1,2,3...M；

将这M个权重组成一个向量Ω，如下式所示：

Ω^T＝[ω₁，ω₂，.......，ω_M]

22)对当前超市内所有顾客的M个脸部图像做同样处理，得到所有的Ω_k，利用欧氏距离法求Ω与Ω_k的距离ε_k，公式如下：

ε_k=||Ω-Ω_k||²

23)将ε_k与给定的阈值ε相比，若ε_k小于给定的阈值ε，则说明两张图片是同一人，顾客身份信息识别完成。

步骤(3)中，顾客进行商品选取后十秒钟内，若不将商品放至扫码器处进行条形码扫码，所述微处理器将报警信息传送给报警器，所述报警器进行报警。

步骤(4)中，顾客将要归还的商品放至所述扫码器处进行条形码扫码，十秒钟内，若不将商品放回货架，所述微处理器将报警信息传送给报警器，所述报警器进行报警。

本发明的有益效果如下：

(1)无需在每个商品上植入电子标签，只要使用普通商店里常用的商品扫描码即可，因此大大增加的商品的通用性，减少了购买，生成，和植入电子标签的成本。

(2)可以帮助无人超市进行精确的货架管理，具有自动化程度高、成本低及安全性的特点。

附图说明

图1为本发明的一种基于人脸识别的无人超市智能货架管理系统框图；

图2为本发明的一种基于人脸识别的无人超市智能货架管理方法流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参见图1，本发明的一种基于人脸识别的无人超市智能货架管理系统，包括货架，摄像头，重力传感器，扫码器，显示屏，报警器，微处理器和超市云数据平台，其中，

货架，用于摆放货物；

摄像头，设置于在货架顶部，用于采集当前顾客脸部图像；

重力传感器，设置于货架上每一种商品的下方，用于感应商品的选取和退还；

扫码器，设置于货架上，用于对商品的条形码进行扫码，获得商品的种类信息；

显示屏，设置于货架侧面，用于显示商品选取或退还的信息；

报警器，设置于在货架顶部，用于在出现非正常情况时进行报警；

超市云数据平台，用于向所述微处理器发送所有顾客脸部图像并接收所述微处理器传来的顾客选取或退还商品的信息；

和微处理器，与摄像头，重力传感器，扫码器，显示屏，报警器和超市云数据平台连接，用于接收超市云数据平台传来的所有顾客脸部图像并对摄像头传来的当前顾客脸部图像进行人脸识别得到顾客身份信息，接收重力传感器和扫码器传来的顾客选取或退还商品的信息并将它传送给显示屏和超市云数据平台，在出现非正常情况时向报警器传送报警信息；

参见图2，本发明的一种基于人脸识别的无人超市智能货架管理方法，包括如下步骤：

(1)微处理从超市云数据平台获取当前超市内所有顾客的M个脸部图像并进行预处理得到平均人脸图像Ψ和M个正交的单位向量un(n＝1,2,3...M)。

对当前超市内所有顾客的M个脸部图像进行预处理得到平均人脸图像Ψ和M个正交的单位向量u_n(n＝1,2,3...M)，具体步骤如下：

11)首先将第1个顾客脸部图像中的每个像素点排成一行，得到一个向量Γ₁，然后对后面的M-1个图像做相同处理，共得到M个向量，把这M个向量放到一个集合S里，如下式所示：

S＝{Γ₁，Γ₂，Γ₃，.........，Γ_M}

12)将集合S里面的所有向量遍历一遍进行累加，然后取平均值得到平均向量Ψ，即平均人脸图像Ψ，公式如下：

13)计算每张顾客脸部图像和平均人脸图像的差值Φ，公式如下：

Φ_i＝Γ_i-Ψ

14)计算如下协方差矩阵的特征向量：

其中：

A＝{Φ₁，Φ₂，Φ₃，.......，Φ_n}

共得到M个正交的单位向量u_k，k＝1,2,3...M。

(2)顾客靠近货架，摄像头将当前顾客脸部图像传输给微处理器进行人脸识别并得到顾客身份信息。

微处理器对当前顾客脸部图像进行人脸识别并得到顾客身份，具体步骤如下：

21)首先将当前顾客脸部图像中的每个像素点排成一行，得到一个向量Γ，然后求出权重ω_k，公式如下：

其中：k＝1,2,3...M

将这M个权重组成一个向量Ω，如下式所示：

Ω^T＝[ω₁，ω₂，.......，ω_M]

22)对当前超市内所有顾客的M个脸部图像做同样处理，得到所有的Ω_k(k＝1,2,3...M)，利用欧氏距离法求Ω与Ω_k的距离ε_k，公式如下：

ε_k＝||Ω-Ω_k||²

其中：k＝1,2,3...M

23)将ε_k与给定的阈值ε相比，若ε_k小于给定的阈值ε，则说明两张图片是同一人，顾客身份信息识别完成。

(3)顾客进行商品选取，重力感应器感应到商品的减少并将信息传送给微处理器，顾客将商品放至扫码器处进行条形码扫码，扫码器将商品的种类信息传送给微处理器，微处理器将顾客选取商品的信息和身份信息传送给显示屏和超市云数据平台，显示屏显示顾客选取商品的信息和身份信息。

步骤(3)中，顾客进行商品选取后十秒钟内，若不将商品放至扫码器处进行条形码扫码，会出现非正常步骤，其具体如下：微处理器将报警信息传送给报警器，报警器进行报警。

(4)顾客将要归还的商品放至扫码器处进行条形码扫码，扫码器将商品的种类信息传送给微处理器，顾客将商品放回货架，重力感应器感应到商品的增加并将信息传送给微处理器，微处理器将顾客退还商品的信息和身份信息传送给显示屏和超市云数据平台，显示屏显示顾客退还商品的信息和身份信息。

步骤(4)中，顾客将要归还的商品放至扫码器处进行条形码扫码，十秒钟内，若不将商品放回货架，会出现非正常步骤，其具体如下：微处理器将报警信息传送给报警器，报警器进行报警。

(5)顾客离开货架。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.基于人脸识别的无人超市智能货架管理系统，其特征在于，包括

货架，用于摆放货物；

摄像头，设置在所述货架顶部，用于采集当前顾客脸部图像；

重力传感器，设置于所述货架上每一种商品的下方，用于感应商品的选取和退还；

扫码器，设置于所述货架上，用于对商品的条形码进行扫码，获得商品的种类信息；

显示屏，设置于所述货架侧面，用于显示商品选取或退还的信息；

报警器，设置在所述货架顶部，用于在出现非正常情况时进行报警；

超市云数据平台，用于向所述微处理器发送所有顾客脸部图像并接收所述微处理器传来的顾客选取或退还商品的信息；

和微处理器，与摄像头、重力传感器、扫码器、显示屏、报警器和超市云数据平台连接，用于接收所述超市云数据平台传来的所有顾客脸部图像并对所述摄像头传来的当前顾客脸部图像进行人脸识别得到顾客身份信息，接收所述重力传感器和扫码器传来的顾客选取或退还商品的信息并将它传送给显示屏和超市云数据平台，在出现非正常情况时向报警器传送报警信息。

2.根据权利要求1所述无人超市智能货架管理系统的方法，其特征在于，包括如下步骤：

(1)所述微处理从超市云数据平台获取当前超市内所有顾客的M个脸部图像并进行预处理得到平均人脸图像Ψ和M个正交的单位向量u_n，其中n＝1,2,3...M；

(2)当顾客靠近所述货架，所述摄像头将当前顾客脸部图像传输给微处理器进行人脸识别并得到顾客身份信息；

(3)顾客进行商品选取，所述重力感应器感应到商品的减少并将信息传送给微处理器，顾客将商品放至所述扫码器处进行条形码扫码，所述扫码器将商品的种类信息传送给微处理器，所述微处理器将顾客选取商品的信息和身份信息传送给显示屏和超市云数据平台，所述显示屏显示顾客选取商品的信息和身份信息；

(4)顾客将要归还的商品放至扫码器处进行条形码扫码，所述扫码器将商品的种类信息传送给微处理器，顾客将商品放回所述货架，所述重力感应器感应到商品的增加并将信息传送给微处理器，所述微处理器将顾客退还商品的信息和身份信息传送给显示屏和超市云数据平台，所述显示屏显示顾客退还商品的信息和身份信息；

(5)顾客离开货架。

3.根据权利要求2所述无人超市智能货架管理系统的方法，其特征在于，步骤(1)中，对当前超市内所有顾客的M个脸部图像进行预处理得到平均人脸图像Ψ和M个正交的单位向量u_n，具体步骤如下：

11)首先将第1个顾客脸部图像中的每个像素点排成一行，得到一个向量Γ₁，然后对后面的M-1个图像做相同处理，共得到M个向量，把这M个向量放到一个集合S里，如下式所示：

S＝{Γ₁，Γ₂，Γ₃，.........，Γ_M}

12)将集合S里面的所有向量遍历一遍进行累加，然后取平均值得到平均向量Ψ，即平均人脸图像Ψ，公式如下：

13)计算每张顾客脸部图像和平均人脸图像的差值Φ，公式如下：

Φ_i＝Γ_i-Ψ

14)计算如下协方差矩阵的特征向量：

其中：

A＝{Φ₁，Φ₂，Φ₃，......，Φ_n}

共得到M个正交的单位向量u_k，k＝1,2,3...M。

4.根据权利要求2所述无人超市智能货架管理系统的方法，其特征在于，步骤(2)中，所述微处理器对当前顾客脸部图像进行人脸识别并得到顾客身份信息，具体步骤如下：

21)首先将当前顾客脸部图像中的每个像素点排成一行，得到一个向量Γ，然后求出权重ω_k，公式如下：

其中,k＝1,2,3...M；

将这M个权重组成一个向量Ω，如下式所示：

Ω^T＝[ω₁，ω₂，......，ω_M]

22)对当前超市内所有顾客的M个脸部图像做同样处理，得到所有的Ω_k，利用欧氏距离法求Ω与Ω_k的距离ε_k，公式如下：

ε_k＝||Ω-Ω_k||²

23)将ε_k与给定的阈值ε相比，若ε_k小于给定的阈值ε，则说明两张图片是同一人，顾客身份信息识别完成。

5.根据权利要求2所述无人超市智能货架管理系统的方法，其特征在于，步骤(3)中，顾客进行商品选取后十秒钟内，若不将商品放至扫码器处进行条形码扫码，所述微处理器将报警信息传送给报警器，所述报警器进行报警。

6.根据权利要求2所述无人超市智能货架管理系统的方法，其特征在于，步骤(4)中，顾客将要归还的商品放至所述扫码器处进行条形码扫码，十秒钟内，若不将商品放回货架，所述微处理器将报警信息传送给报警器，所述报警器进行报警。