CN110232588A - 一种实体店管理方法以及实体店管理系统 - Google Patents

Abstract

本发明涉及一种实体店管理方法以及系统，该方法包括以下步骤：在结账时，获取结账消费者的店面消费信息；获取该消费者的面部图像数据，根据该面部图像数据分析获得该消费者的人脸身份特征；根据该人脸身份特征生成唯一识别码，关联该店面消费信息与该消费者的人脸身份特征；根据该识别码建立基于消费者人脸身份特征的消费信息库；获取管理查询请求；根据该管理查询请求，基于该消费信息库，输出对应该管理查询请求的实体店消费群体综合数据。本发明的方法及系统建立消费者的消费行为模型，提高实体店的精细管理水平。

Description

一种实体店管理方法以及实体店管理系统

技术领域

本申请涉及计算机软件技术领域，特别是涉及一种实体店管理方法以及实体店管理系统。

背景技术

随着人们生活水平的不断提高，便利生活的各种实体店，比如商店、餐馆或者大型超市等的开设在了不同的地段，为人们购物生活提供了便捷。消费者可以选择自己偏好的商店或者超市进行购物。目前，也存在自助收银终端，消费者自行选择自己需要的商品并在出口的结账区域中完成商品结算，携带商品离开从而完成完整的购物流程。

现有实体店中大多是柜台人工结账，或者采用人工方式，逐一扫描商品并完成商品支付。

随着人工智能技术的发展，人脸识别技术在很多领域得到了广泛的推广和使用。比如，移动终端的人脸解锁，机场、高铁站的人证合一，还是安防系统中基于人脸识别的逃犯识别系统，等等。

新零售作为新兴的技术概念，需要线上识别、结账，线下管理相结合，以实现无人零售。但是，现有的结账系统一般独立设置，如何将图像识别技术结合到实体店的运营中，提高实体店管理水平，成为业界亟待解决的技术问题。

因此，现有的实体店管理技术还有待于改进和发展。

发明内容

本申请针对以上存在的技术问题，提供一种建立消费者的消费行为模型，提高实体店的精细管理水平的实体店管理方法以及实体店管理系统。

第一方面，本申请实施方式提供的技术方案是：提供一种实体店管理方法，包括以下步骤：

在结账时，获取结账消费者的店面消费信息；

获取该消费者的面部图像数据，根据该面部图像数据分析获得该消费者的人脸身份特征；

根据该人脸身份特征生成唯一识别码，关联该店面消费信息与该消费者的人脸身份特征；

根据该识别码建立基于消费者人脸身份特征的消费信息库；

获取管理查询请求；

根据该管理查询请求，基于该消费信息库，输出对应该管理查询请求的实体店消费群体综合数据。

该实体店管理方法还包括，基于该识别码，对该人脸身份特征进行基于深度学习神经网络的管理分类；该店面消费信息包括位置信息以及时间信息。

其中，该根据该面部图像数据分析获得该消费者的人脸身份特征步骤还包括：

发送该消费者的面部图像数据至后台服务器；

该后台服务器根据该面部图像数据分析获得该消费者的人脸身份特征，关联该店面消费信息与该消费者的人脸身份特征。

在消费者再次到实体店消费时，该实体店管理方法还包括

获取消费者的面部图像数据；

根据该面部图像数据分析获得该消费者的重复人脸身份特征；

将该重复人脸身份特征与该识别码下的已有人脸身份特征进行比对，计算相似度；

根据相似度阈值，对该重复人脸身份特征进行聚类，并确定对应的管理分类；

将该管理分类信息发送至收银终端。

在折扣活动中，该实体店管理方法还包括：

该收银终端接收该管理分类信息；

根据该管理分类信息，确定折扣率；

根据该折扣率，更新当前该消费者的店面消费信息。

其中，该获取消费者的面部图像数据的步骤包括：

读取摄像头视频帧，该摄像头连续拍摄获取该消费者的多张面部图像数据；

对每一面部图像数据进行人脸检测与跟踪；

选择最佳面部图像数据。

优选地，该对每一面部图像数据进行人脸检测与跟踪的步骤包括：

计算检测每一面部图像的水平角，选取水平角小于二十度的面部图像用作提取人脸身份特征；

计算检测每一面部图像的灰度值，确定每一面部图像的亮度均值，选取亮度均值大于100的面部图像用作提取人脸身份特征。

第二方面，本申请实施方式提供的技术方案是：提供一种实体店管理系统，包括后台服务器以及至少一收银终端，该收银终端的控制器包括结账模块以及第一融合模块，该后台服务器的控制器包括管理模块以及第二融合模块，该管理模块包括图像获取模块、图像识别模块、查询模块以及消费信息库，

该结账模块用于在结账时获取结账消费者的店面消费信息；

该图像获取模块用于获取该消费者的面部图像数据，该图像识别模块用于根据该面部图像数据分析获得该消费者的人脸身份特征；

该第二融合模块用于根据所述人脸身份特征生成唯一识别码，关联该第一融合模块的该店面消费信息与该第二融合模块的该消费者的人脸身份特征，根据该识别码建立基于消费者人脸身份特征的该消费信息库；

该查询模块用于获取管理查询请求，根据该管理查询请求，基于该消费信息库，输出对应该管理查询请求的实体店消费群体综合数据。

该实体店管理系统的每一收银终端包括摄像模组，该摄像模组连接对应收银终端的控制器，该控制器与该图像获取模块连接。

第三方面，本申请实施方式提供的技术方案是：提供一种计算机程序产品，该计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述的方法。

本申请实施方式的有益效果是：本实施例的实体店管理方法以及实体店管理系统，后台服务器建立消费者的消费行为模型，形成基于消费者人脸身份特征的消费信息库，利用该消费信息库提高实体店的精细管理水平。本实施例的实体店管理方法以及实体店管理系统，通过基于深度学习的神经网络算法提取、识别、聚类消费者的面部特征，并将当前的消费行为与消费者的人脸面部特征精准地绑定在一起建立实体店的消费信息库，为实体店管理者提供经营分析数据，并可根据消费者归入的不同管理分类，为不同管理分类下的消费群体提供更精准的实体店服务。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本申请实施例的实体店管理方法的主要流程图；

图2是本申请实施例的实体店管理方法的详细流程图；

图3是本申请实施例的实体店管理系统的后台服务器与收银终端的软件模块图；以及

图4是本申请实施例的实体店管理系统的硬件架构简图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本申请实施例作进一步详细说明。在此，本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。

请一并参考图1至图4，本申请涉及实体店管理方法以及实体店管理系统。该实体店管理系统主要包括后台服务器10以及连接该后台服务器10的收银终端50。后台服务器10接收收银终端50的账单数据以及消费者的人脸身份特征数据，建立消费者的消费行为模型，形成基于消费者人脸身份特征的消费信息库24，利用该消费信息库24提高实体店的精细管理水平。

从实体店该实体店管理方法主要包括以下步骤：在结账时，获取结账消费者的店面消费信息；获取该消费者的面部图像数据；根据该面部图像数据分析获得该消费者的人脸身份特征，关联该店面消费信息与该消费者的人脸身份特征；根据该识别码建立基于消费者人脸身份特征的消费信息库24；获取管理查询请求；根据该管理查询请求，基于该消费信息库24，输出对应该管理查询请求的实体店消费群体综合数据。

该实体店消费群体综合数据可以包括根据消费群体分类，比如男性、女性；儿童、少年、青年、中年、老年等，根据账单信息，可查询主力消费体。也可根据人脸身份特质初步确定消费群体分类的消费体验，比如中年群体的消费满意度等综合管理数据。比如，该后台服务器10通过深度学习算法模型，分析消费者的年龄、性别还有表情等人脸身份特征，间接地推导出消费者的消费心情以及对服务的满意度。

本实施例中，该后台服务器10可在线下对历史消费用户采集的面部图像数据进行基于深度学习的分类、归纳和分析，以实现精细管理实体店。通过设置在实体店的至少一收银终端50拍摄结账消费者的面部图像，由后台服务器10分析人脸属性，确定人脸身份特征。再将该人脸身份特征跟店面消费信息绑定，以实现对某个消费群体的消费行为统计分析。

本实施例的实体店管理方法以及实体店管理系统，由后台服务器10建立消费者的消费行为模型，形成基于消费者人脸身份特征的消费信息库24，利用该消费信息库24提高实体店的精细管理水平。

可以理解的，为了减轻后台服务器10的数据处理量，对消费者的面部图像数据分析以得到对应消费者的人脸身份特征的处理过程也可以在收银终端50进行，收银终端50仅需关联该店面消费信息与该消费者的人脸身份特征即可。

本实施例的实体店管理方法以及系统，还对每个消费者的人脸身份特征通过深度学习模块的神经网络算法进行演算，输出以分类统计置信度信息，基于该置信度信息确认消费者的消费行为模型。

本实施例中，将该消费行为模型与消费者的人脸身份特征精准地绑定在一起同时建立实体店的消费信息库24，为实体店管理者提供经营分析数据，并可根据消费者归入的不同管理分类，为不同管理分类下的消费群体提供更精准的实体店服务。

实施例1

请参考图3，本实施例的实体店管理系统，包括后台服务器10以及至少一收银终端50。

该收银终端50的控制器包括结账模块52、管理分类结账模块56以及第一融合模块54。

该后台服务器10的控制器包括管理模块20以及第二融合模块12。该管理模块20包括图像获取模块21、图像识别模块22、查询模块23、消费信息库24、深度学习模块26以及管理分类处理模块28。

该结账模块用于在结账时获取结账消费者的店面消费信息；该图像获取模块21用于获取该消费者的面部图像数据；该图像识别模块22用于根据该面部图像数据分析获得该消费者的人脸身份特征；该第二融合模块用于根据该人脸身份特征生成唯一识别码，关联该第一融合模块54的该店面消费信息与该第二融合模块12的该消费者的人脸身份特征，根据该识别码建立基于消费者人脸身份特征的该消费信息库24；该查询模块23用于获取管理查询请求，根据该管理查询请求，基于该消费信息库24，输出对应该管理查询请求的实体店消费群体综合数据。

该实体店管理系统的每一收银终端50包括摄像模组，该摄像模组连接对应收银终端50的控制器，该控制器与该图像获取模块21连接。

该管理分类处理模块28用于处理不同分类管理下的消费群体的识别和管理措施，比如折扣措施。在消费者已经在该消费信息库24中建立数据后再次到实体店消费时，该管理分类处理模块28协调该后台服务器10获取消费者的面部图像数据，根据该面部图像数据分析获得该消费者的重复人脸身份特征，将该重复人脸身份特征与该识别码下的已有人脸身份特征进行比对，计算相似度，亦即计算余弦距离。根据相似度阈值，对该重复人脸身份特征进行聚类，并确定对应的管理分类；该管理分类处理模块28还用于将该管理分类信息发送至对应的收银终端50。

对应收银终端50的管理分类结账模块56用于接收该管理分类信息；根据该管理分类信息，确定当前消费者账单的折扣率；根据该折扣率，更新当前该消费者的店面消费信息。

本实施例的实体店管理系统，在首次采集数据时通过消费者在结账时的确认动作，精准地消费者的面部图像数据与店面消费信息绑定在一起，后台服务器10再将该店面消费信息与消费者的消费行为对应起来。

本实施例实体店管理系统的收银终端50安装设置摄像头，通过图像识别模块22的特殊算法处理，实时地对消费者的人脸检测和跟踪，通过分析人脸的质量选择最好的面部图像。

实施例2

请参考图1，本实施例的实体店管理方法，主要包括以下步骤：

步骤101：在结账时，获取结账消费者的店面消费信息，该店面消费信息包括位置信息以及时间信息；

步骤102：获取该消费者的面部图像数据；

步骤110：根据该面部图像数据分析获得该消费者的人脸身份特征，关联该店面消费信息与该消费者的人脸身份特征；

步骤120：根据该识别码建立基于消费者人脸身份特征的消费信息库24；

步骤130：获取管理查询请求；

步骤140：根据该管理查询请求，基于该消费信息库24，输出对应该管理查询请求的实体店消费群体综合数据。

请一并参考图2，所示实施例中，如步骤103所示由后台服务器10完成图像识别、数据关联等工作，以下详细介绍该实体店管理方法。

该后台服务器10的图像处理过程包括：

步骤111：该后台服务器10根据该面部图像数据分析获得该消费者的人脸身份特征；

步骤112：该后台服务器10基于该识别码，对该人脸身份特征进行基于深度学习神经网络的管理分类；

步骤116：该后台服务器10关联该店面消费信息与该消费者的人脸身份特征。

在该后台服务器10确定了管理分类信息后，实体店管理员可以基于该管理分类信息进行相应的经营管理工作。

比如，在消费者已经在该消费信息库24中建立数据后再次到实体店消费时，可以运行以下程序步骤，完成经营管理工作。

步骤160：获取消费者的面部图像数据；

步骤161：根据该面部图像数据分析获得该消费者的重复人脸身份特征；

步骤162：根据该消费者的人脸身份特征确定对应的管理分类，将该重复人脸身份特征与该识别码下的已有人脸身份特征进行比对，计算相似度，亦即计算余弦距离。根据相似度阈值，对该重复人脸身份特征进行聚类，并确定对应的管理分类；

步骤163：将该管理分类信息发送至收银终端50。

在折扣活动中，该实体店管理系统的收银终端50还包括执行以下程序：

步骤181：该收银终端50接收该管理分类信息；

步骤182：根据该管理分类信息，确定折扣率；

步骤183：根据该折扣率，更新当前该消费者的店面消费信息；

步骤185：将更新的店面消费信息展示给消费者。

在实体店收银终端，部署一台接入了收银终端的图像获取模块，比如人脸抓拍机。该图像获取模块抓拍收银终端前消费者的面部图像数据，同时会接收来自收银终端的收银信息。当该图像获取模块接收到收银信息的时候，该图像获取模块拍摄和缓存的多张人脸，绑定消费者后后上传到后台服务器，进行分析处理。

为了确保抓取的面部图像数据是正在收银的消费者的人脸图像，而非周围等待收银或者走过的人的脸。该图像获取模块设置一个有效的抓拍区域，同时选择大而正的脸。

因此，为了减少系统数据处理量提高系统处理速度，同时保证人脸身份特征识别的准确性，该获取消费者的面部图像数据的步骤包括：

读取摄像头视频帧，该摄像头连续拍摄获取该消费者的多张面部图像数据；

对每一面部图像数据进行人脸检测与跟踪；

选择最佳面部图像数据。

为了保证图像识别的准确率，该对每一面部图像数据进行人脸检测与跟踪的步骤包括：

计算检测每一面部图像的水平角，选取水平角小于二十度的面部图像用作提取人脸身份特征；

计算检测每一面部图像的灰度值，确定每一面部图像的亮度均值，选取亮度均值大于100的面部图像用作提取人脸身份特征。

在该图像获取模块人脸检测跟踪后，将选择的同一个人的面部图像数据进行缓存。一旦有新的消费者靠近和捕获合格人脸图像，新的图像数据直接覆盖掉原有的面部图像数据。

该图像获取模块从收银终端接收到收银数据后，跟缓冲的面部图像数据进行绑定，然后上传到后台服务器。

除了实体店有营业员的情况，本实施例的实体店管理方法以及实体店管理系统也可以适用到自助收银系统，以及无人店收银系统。

本实施例的实体店管理方法以及实体店管理系统，后台服务器10建立消费者的消费行为模型，形成基于消费者人脸身份特征的消费信息库24，利用该消费信息库24提高实体店的精细管理水平。本实施例的实体店管理方法以及实体店管理系统，通过深度学习模块26的神经网络算法分类统计消费者的消费行为，并将消费行为模型与消费者的人脸身份状态精准地绑定在一起建立实体店的消费信息库24，为实体店管理者提供经营分析数据，并可根据消费者归入的不同管理分类，为不同管理分类下的消费群体提供更精准的实体店服务。

本实施例的实体店管理方法以及实体店管理系统，可以实现高精采集面部图像数据，该后台服务器10准确计算消费者的消费行为，通过人脸身份特征的属性确定消费者当前消费的标签，结合该后台服务器10的大数据人脸识别与消费数据分析引擎得到消费者的历史消费数据，为实体店的消费者提供更个性化的服务。

图4是本申请实施例提供的实体店管理系统设备600的硬件结构示意图，如图4所示，该设备600包括：

一个或多个处理器610以及存储器620，图4中以一个处理器610为例。该存储器620存储有可被该至少一个处理器610执行的指令，亦即计算机程序640，该指令被该至少一个处理器执行时，使该至少一个处理器能够执行该实体店管理方法。

处理器610以及存储器620可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的实体店管理方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的实体店管理方法。

存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实体店管理系统的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至实体店管理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行上述实体店管理方法，例如，执行以上描述的图1中的方法步骤101至步骤140，或者执行图2中的方法步骤160至步骤185；实现附图3的结账模块52、第一融合模块54、以及管理模块20、图像识别模块22、深度学习模块26等的功能。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤101至步骤140，或者执行图2中的方法步骤160至步骤185；实现附图3的结账模块52、第一融合模块54、以及管理模块20、图像识别模块22、深度学习模块26等的功能。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种实体店管理方法，其特征在于，包括以下步骤：

在结账时，获取结账消费者的店面消费信息；

获取所述消费者的面部图像数据，根据所述面部图像数据分析获得所述消费者的人脸身份特征；

根据所述人脸身份特征生成唯一识别码，关联所述店面消费信息与所述消费者的人脸身份特征；

根据所述识别码建立基于消费者人脸身份特征的消费信息库；

获取管理查询请求；

根据所述管理查询请求，基于所述消费信息库，输出对应所述管理查询请求的实体店消费群体综合数据。

2.根据权利要求1所述的实体店管理方法，其特征在于，对所述人脸身份特征进行基于深度学习神经网络的管理分类；所述店面消费信息包括位置信息以及时间信息。

3.根据权利要求2所述的实体店管理方法，其特征在于，所述根据所述面部图像数据分析获得所述消费者的人脸身份特征的步骤还包括：

发送所述消费者的面部图像数据至后台服务器；

所述后台服务器根据所述面部图像数据分析获得所述消费者的人脸身份特征，关联所述店面消费信息与所述消费者的人脸身份特征。

4.根据权利要求3所述的实体店管理方法，其特征在于，

获取消费者的面部图像数据；

根据所述面部图像数据分析获得所述消费者的重复人脸身份特征；

将所述重复人脸身份特征与所述识别码下的已有人脸身份特征进行比对，计算相似度；

根据相似度阈值，对所述重复人脸身份特征进行聚类，并确定对应的管理分类；

将所述管理分类信息发送至收银终端。

5.根据权利要求4所述的实体店管理方法，其特征在于，

所述收银终端接收所述管理分类信息；

根据所述管理分类信息，确定折扣率；

根据所述折扣率，更新当前所述消费者的店面消费信息。

6.根据权利要求1或4所述的实体店管理方法，其特征在于，所述获取消费者的面部图像数据的步骤包括：

读取摄像头视频帧，所述摄像头连续拍摄获取所述消费者的多张面部图像数据；

对每一面部图像数据进行人脸检测与跟踪；

选择最佳面部图像数据。

7.根据权利要求6所述的实体店管理方法，其特征在于，所述对每一面部图像数据进行人脸检测与跟踪的步骤包括：

计算检测每一面部图像的水平角，选取水平角小于二十度的面部图像用作提取人脸身份特征；

计算检测每一面部图像的灰度值，确定每一面部图像的亮度均值，选取亮度均值大于100的面部图像用作提取人脸身份特征。

8.一种实体店管理系统，包括后台服务器以及至少一收银终端，其特征在于，所述收银终端的控制器包括结账模块以及第一融合模块，所述后台服务器的控制器包括管理模块以及第二融合模块，所述管理模块包括图像获取模块、图像识别模块、查询模块以及消费信息库，

所述结账模块用于在结账时获取结账消费者的店面消费信息；

所述图像获取模块用于获取所述消费者的面部图像数据；

所述图像识别模块用于根据所述面部图像数据分析获得所述消费者的人脸身份特征；

所述第二融合模块用于根据所述人脸身份特征生成唯一识别码，关联所述第一融合模块的所述店面消费信息与所述第二融合模块的所述消费者的人脸身份特征，根据所述识别码建立基于消费者人脸身份特征的所述消费信息库；

所述查询模块用于获取管理查询请求，根据所述管理查询请求，基于所述消费信息库，输出对应所述管理查询请求的实体店消费群体综合数据。

9.根据权利要求8所述的实体店管理系统，其特征在于，每一收银终端包括摄像模组，所述摄像模组连接对应收银终端的控制器，所述控制器与所述图像获取模块连接。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行权利要求1-7任一项所述的方法。