CN109493135A - 一种基于人脸识别的门店客户数据处理方法和系统 - Google Patents

Abstract

本发明提供了一种基于人脸识别的门店客户数据处理方法和系统，所述方法包括如下步骤：获取访问门店的客户的人脸图像，并记录客户访问门店的时间；根据人脸图像获取客户的年龄和性别；根据人脸图像或时间统计预设的一段时间内的客流量；根据该段时间的客流量和客户的性别统计访问门店的客户的男女比例；根据该段时间的客流量和客户的年龄统计预设的各年龄段的客户比例；将该段时间的客流量、男女比例和客户比例存入数据库。本发明通过获取访问门店时客户的人脸图像和时间，并根据该人脸图像获取客户的年龄和性别，从而统计一段时间内的客流量、客户性别情况和年龄情况，为店家提供了有效的营销数据以调整对客户的服务。

Description

一种基于人脸识别的门店客户数据处理方法和系统

技术领域

本发明涉及数据处理领域，尤其涉及一种基于人脸识别的门店客户数 据处理方法和系统。

背景技术

随着生活水平的日益提高，人们对于各种的服务的要求也提高了，比 如买衣服，一家门店的客流量非常多，买衣服的人也非常多，并且门店内 的销售人员也是流动性的，因此销售人员难以辨识哪些顾客在该门店购买 过衣服，如果销售人员给顾客推荐已经购买过的衣服，则造成了资源浪费， 尤其是重复询问顾客已购买的衣服信息，也会让顾客产生不好的体验，继 而让顾客不再关顾，因此亟需提高门店内销售人员的服务质量，但是现有 技术中却没有方法能够方便的获取顾客是否是新顾客还是老顾客的信息。

发明内容

本发明针对现有方式的缺点，提出一种基于人脸识别的门店客户数据 处理方法和系统，用以解决现有技术存在的上述问题。

根据本发明的第一个方面，提供了一种基于人脸识别的门店客户数据 处理方法，包括如下步骤：

获取访问门店的客户的人脸图像，并记录该客户访问门店的时间；

根据所述人脸图像获取客户的年龄和性别；

根据人脸图像或时间统计预设的一段时间内的客流量，所述客流量为 该段时间内多个客户的人脸图像的数量或访问门店时间的次数；根据该段 时间的客流量和客户的性别统计访问门店客户的男女比例；根据该段时间 的客流量和客户的年龄统计预设的各年龄段的客户比例；

将所述预设的一段时间内的客流量、客户的男女比例和预设的各年龄 段的客户比例存入数据库。

进一步的，根据所述人脸图像获取客户的年龄和性别之后，还包括：

提取所述人脸图像的特征值；

根据所述特征值在数据库中查找是否具有所述特征值的图像；

若在数据库中未找到具有所述特征值的图像，则建立客户档案，所述 客户档案包括该客户的人脸图像、、年龄、性别及客户访问门店的时间；

若在数据库中找到了具有所述特征值的图像，则记录客户该次访问门 店的时间和人脸图像。

进一步的，所述记录客户该次访问门店的时间和人脸图像之后，还包 括：

统计客户访问门店的次数。

进一步的，所述建立客户档案之后，还包括：

获取对客户档案的内容的修改信息，所述修改信息包括姓名、电话、 喜好、等级标签、分配的业务人员及该业务人员的联系方式，所述等级标 签是指客户的消费金额在预先根据消费金额而划分的消费等级中所属的 等级，所述联系方式为电话号码、邮箱地址和/或他即时通讯号码。

进一步的，所述建立客户档案之后，还包括：

获取对客户档案的修改信息，所述修改信息还包括是否将该客户标记 为会员；

若客户档案的内容中添加了会员的标记，且当客户再次入店时，通过 分配的业务人员的联系方式将表示该客户已访问门店的信息发送至该业 务人员接收该信息的终端。

进一步的，所述建立客户档案之后，还包括：

获取对客户档案的内容的添加，且客户档案的内容中添加了会员的标 记，则当客户发生购买行为时，记录此次客户购买的商品名称和商品价格；

记录客户历史记录中的购买的商品名称、及统计该商品名称被购买的 次数及总金额，并根据商品品类对历史记录中购买的商品进行分类；

获取客户同意以将同类型的商品信息发送至客户能通过联系方式接 收信息的终端。

进一步的，根据所述人脸图像获取客户的年龄和性别，是指：

采用RGB3通道和归一化处理所述人脸图像以获取处理后的人脸图 像；

将处理后的人脸图像输入到由多层卷积层构成的CNN特征提取网络， 采用随机初始权重分别提取识别对象的年龄特征数据和性别特征数据，所 述识别对象为人脸图像中的人脸；

分别对所述年龄特征数据和性别特征数据进行扁平化处理，分别得到 一维年龄特征数据和一维性别特征数据；

将所述一维年龄特征数据和一维性别特征数据级联，然后输入到由三 层分别包含不同数量神经元的全连接层构成的年龄预测网络中，采用线性 回归激活函数进行年龄预测以获取年龄的识别结果；

将所述一维性别特征数据输入到由三层分别包含不同数量神经元的 全连接层构成的性别预测网络中，采用二分类softmax激活函数进行性别 预测以获取性别的预测结果；

输出年龄的预测结果和性别的预测结果。

另一方面，本发明提供了一种基于人脸识别的门店客户数据处理系统， 包括：

摄像头模组，用于获取访问门店的客户的人脸图像；

时间记录模组，用于记录客户访问门店的时间；

人脸图像识别模块，根据所述人脸图像获取客户的年龄和性别；

统计模块，根据所述时间、年龄和性别统计预设的一段时间内的客流 量、客户性别情况和年龄情况，所述性别情况为男女比例，所述年龄情况 为预先划分的年龄段的比例；

数据传输模块，用于预设的一段时间内的客流量、客户的男女比例和 预设的各年龄段的客户比例发送至数据库；

数据库，用于存储所述预设的一段时间内的客流量、客户性别情况和 年龄情况以使有权限的人查看。

进一步的，所述人脸图像识别模块包括：

读取处理单元，用于采用RGB3通道和归一化处理所述人脸图像以获 取处理后的人脸图像；

输入提取单元，用于将处理后的人脸图像输入到由多层卷积层构成的 CNN特征提取网络，采用随机初始权重分别提取识别对象的年龄特征数 据和性别特征数据，所述识别对象为人脸图像中的人脸；

处理预测单元，用于分别对所述年龄特征数据和性别特征数据进行扁 平化处理，分别得到一维年龄特征数据和一维性别特征数据；然后，将所 述一维年龄特征数据和一维性别特征数据级联，然后输入到由三层分别包 含不同数量神经元的全连接层构成的年龄预测网络中，采用线性回归激活 函数，进行年龄预测以获取年龄的识别结果；将所述一维性别特征数据输 入到由三层分别包含不同数量神经元的全连接层构成的性别预测网络中， 采用二分类softmax激活函数进行性别预测以获取性别的预测结果；

结果输出单元，用于输出年龄的预测结果和性别的预测结果。

进一步的，还包括档案建立模块：

所述档案建立模块用于根据所述客户的人脸图像、第一次访问门店的 时间、年龄及性别建立客户的档案。

与现有技术相比，本发明的有益效果是：

第一、本发明通过获取客户第一次访问门店时的人脸图像和时间，并 根据该人脸图像获取客户的年龄和性别，从而统计一段时间内的客流量、 客户性别情况和年龄情况，为店家提供了有效的营销数据以调整对客户的 服务；

第二、根据客户的人脸图像、第一次访问门店的时间、年龄及性别建 立客户的档案，且档案中还包括客户的所属业务人员及所属业务人员联系 方式，当客户再次入店时，通过所属业务人员联系方式将表示该客户已访 问门店的信息发送至所属业务人员，不仅能够提高入店客户信息的管理， 还能根据客户的情况及时提供相应的良好服务，提高服务质量，也节省了 时间成本。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的 描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描 述中将变得明显和容易理解，其中：

图1为本发明实施例一中的一种基于人脸识别的门店客户数据处理 方法的流程图；

图2为本发明实施例一中的根据人脸图像获取客户的年龄和性别的 流程图；

图3为本发明实施例一中的一种基于人脸识别的门店客户数据处理 系统的结构图；

图4为本发明实施例二中的人脸图像识别模块的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中， 包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以 不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102 等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。 另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执 行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是 用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一” 和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进 行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分例，实 施而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有 作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范 围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员 的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术 语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除 非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

实施例一

如图1所示，提供了本发明一个实施例的一种基于人脸识别的门店客 户数据处理方法，包括如下步骤：

S101获取访问门店的客户的人脸图像，并记录该客户访问门店的时 间；

S102根据人脸图像获取客户的年龄和性别；

如图2所示，根据人脸图像获取客户的年龄和性别，是指：

S1021采用RGB3通道和归一化处理人脸图像以获取处理后的人脸图 像；

S1022将处理后的人脸图像输入到由多层卷积层构成的CNN特征提 取网络，采用随机初始权重分别提取识别对象的年龄特征数据和性别特征 数据，识别对象为人脸图像中的人脸；

CNN特征提取网络包括依次连接的两层分别包括32个卷积核滤波器 的卷积层、两层分别包括64个卷积核滤波器的卷积层以及两层分别包括 128个卷积核滤波器的卷积层；

每层卷积层后均依次设有ELU激活层和局部响应归一化层；且位于 第二卷积层、第四卷积层和第六卷积层后的ELU激活层和局部响应归一 化层后还分别设有最大池化层和dropout层。

S1023分别对年龄特征数据和性别特征数据进行扁平化处理，分别得 到一维年龄特征数据和一维性别特征数据；针对年龄预测，将一维年龄特 征数据和一维性别特征数据级联，然后输入到由三层分别包含不同数量神 经元的全连接层构成的年龄预测网络中，采用线性回归激活函数，进行年 龄预测以获取年龄的识别结果；针对性别预测，将一维性别特征数据输入 到由三层分别包含不同数量神经元的全连接层构成的性别预测网络中，采用二分类softmax激活函数，进行性别预测以获取性别的预测结果；

用于年龄预测的三层全连接层，其中第一层全连接层和第二层全连接 层后均依次设有ELU激活层、局部响应归一化层和dropout层；用于性别 预测的三层全连接层，其中第一层全连接层和第二层全连接层后均依次设 有ELU激活层、局部响应归一化层和dropout层。

用于年龄预测的第三层全连接层包括一个神经元，其输出激活函数采 用linear线性回归激活函数，进行年龄的连续预测；用于性别预测的第三 层全连接层包括两个神经元，其输出激活函数采用softmax函数，得到相 加等于1的两个男女性别预测概率。

S1024输出年龄的预测结果和性别的预测结果。

根据人脸图像获取客户的年龄和性别之后，还包括：

提取所述人脸图像的特征值；

根据所述特征值在数据库中查找是否具有所述特征值的图像；

若在数据库中未找到具有该特征值的图像，则建立客户档案，客户档 案包括该客户的人脸图像、年龄、性别及客户访问门店的时间；

若在数据库中找到了具有该特征值的图像，则记录客户该次访问门店 的时间和人脸图像，并统计客户访问门店的次数。建立客户档案之后，还 包括如下三个方面：

第一、获取对客户档案的内容的修改信息，修改信息包括姓名、电话、 喜好、等级标签、分配的业务人员及该业务人员的联系方式，等级标签是 指客户的消费金额达到了预先划分的等级对应的消费金额之后而获得的， 联系方式为电话号码、邮箱地址和/或他即时通讯号码。

第二、获取对客户档案的修改信息，修改信息还包括是否将该客户标 记为会员；

若客户档案的修改信息中添加了会员的标记，且当客户再次入店时， 通过分配的业务人员联系方式将表示该客户已访问门店的信息发送至该 业务人员接收该信息的终端。

第三、获取对客户档案的修改信息，且客户档案的修改信息中添加了 会员的标记，则当客户发生购买行为时，记录此次客户购买的商品名称和 商品价格；

记录客户历史记录中的购买的商品名称、及统计该商品名称被购买的 次数及总金额，并根据商品品类对历史记录中购买的商品进行分类；

获取客户同意以将同类型的商品信息发送至客户能通过联系方式接 收信息的终端。

S103根据人脸图像或时间统计预设的一段时间内的客流量，客流量 为该段时间内多个客户的人脸图像的数量或访问门店时间的次数；根据该 段时间的客流量和客户的性别统计访问门店客户的男女比例；根据该段时 间的客流量和客户的年龄统计预设的各年龄段的客户比例；

S104将预设的一段时间内的客流量、客户的男女比例和预设的各年 龄段的客户比例存入数据库。

实施例二

如图4所示，提供了本发明另一个实施例的本发明提供了一种基于人 脸识别的门店客户数据处理系统，包括：

摄像头模组A401，用于获取访问门店的客户的人脸图像；

时间记录模组A402，用于记录客户访问门店的时间；

人脸图像识别模块A403，根据人脸图像获取客户的年龄和性别；

统计模块A404，根据人脸图像或时间统计预设的一段时间内的客流 量，客流量为该段时间内多个客户的人脸图像的数量或访问门店时间的次 数；根据该段时间的客流量和客户的性别统计访问门店客户的男女比例； 根据该段时间的客流量和客户的年龄统计预设的各年龄段的客户比例一 段时间内；

数据传输模块A405，用于将预设的一段时间内的客流量、客户的男 女比例和预设的各年龄段的客户比例发送至数据库；

数据库A406，用于存储预设的一段时间内的客流量、客户的男女比 例和预设的各年龄段的客户比例以使有权限的人查看。

如图4所示，人脸图像识别模块A403包括：

读取处理单元A4031，用于采用RGB3通道和归一化处理人脸图像以 获取处理后的人脸图像；

输入提取单元A4032，用于将处理后的人脸图像输入到由多层卷积层 构成的CNN特征提取网络，采用随机初始权重分别提取识别对象的年龄 特征数据和性别特征数据，识别对象为人脸图像中的人脸；

处理预测单元A4033，用于分别对年龄特征数据和性别特征数据进行 扁平化处理，分别得到一维年龄特征数据和一维性别特征数据；针对年龄 预测，将一维年龄特征数据和一维性别特征数据级联，然后输入到由三层 分别包含不同数量神经元的全连接层构成的年龄预测网络中，采用线性回 归激活函数，进行年龄预测以获取年龄的识别结果；针对性别预测，将一 维性别特征数据输入到由三层分别包含不同数量神经元的全连接层构成 的性别预测网络中，采用二分类softmax激活函数，进行性别预测以获取 性别的预测结果；

结果输出单元A4034，用于输出年龄的预测结果和性别的预测结果。

本实施例的系统还包括档案建立模块：

档案建立模块用于提取人脸图像的特征值；根据该特征值在数据库中 查找是否具有该特征值的图像；若在数据库中未找到具有该特征值的图像， 则建立客户档案，该客户档案包括客户的人脸图像、年龄、性别及访问门 店的时间；若在数据库中找到了具有所述特征值的图像，则记录客户该次 访问门店的时间和人脸图像，并统计客户访问门店的次数。

档案建立之后，还包括如下三个方面的数据记录：

第一、获取对客户档案的修改信息，修改信息包括姓名、电话、喜好、 等级标签、分配的业务人员及该业务人员的联系方式，等级标签是指客户 的消费金额在预先根据消费金额而划分的消费等级中所属的等级，联系方 式为电话号码、邮箱地址和/或他即时通讯号码。

第二、获取对客户档案的修改信息，修改信息还包括是否将该客户标 记为会员；

若客户档案的内容中添加了会员的标记，且当客户再次入店时，通过 分配的业务人员联系方式将表示该客户已访问门店的信息发送至该业务 人员接收该信息的终端。

第三、获取对客户档案的修改信息，且客户档案的内容中添加了会员 的标记，则当客户发生购买行为时，记录此次客户购买的商品名称和商品 价格；

记录客户历史记录中的购买的商品名称、及统计该商品名称被购买的 次数及总金额，并根据商品品类对历史记录中购买的商品进行分类；

获取客户同意以将同类型的商品信息发送至客户能通过联系方式接 收信息的终端。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述 描述的系统、相关工作模组、模块及单元的具体工作过程，可以参考前述 方法实施例中的对应过程，在此不再赘述。

在本申请所提供的2个实施例中，应该理解到，所揭露的方法、系统、 装置、模块和/或单元，可以通过其它的方式实现。例如，以上所描述的 方法实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功 能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结 合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作 为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显 示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也 可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全 部单元来实现本实施例方案的目的。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的 普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进 和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于人脸识别的门店客户数据处理方法，其特征在于，包括如下步骤：

获取访问门店的客户的人脸图像，并记录该客户访问门店的时间；

根据所述人脸图像获取客户的年龄和性别；

根据人脸图像或访问门店的时间统计预设的一段时间内的客流量，所述客流量为该段时间内多个客户的人脸图像的数量或访问门店时间的次数；根据该段时间的客流量和客户的性别统计访问门店客户的男女比例；根据该段时间的客流量和客户的年龄统计预设的各年龄段的客户比例；

将所述预设的一段时间内的客流量、客户的男女比例和预设的各年龄段的客户比例存入数据库。

2.根据权利要求1所述的方法，其特征在于，根据所述人脸图像获取客户的年龄和性别之后，还包括：

提取所述人脸图像的特征值；

根据所述特征值在数据库中查找是否具有所述特征值的图像；

若在数据库中未找到具有所述特征值的图像，则建立客户档案，所述客户档案包括该客户的人脸图像、年龄、性别及客户访问门店的时间；

若在数据库中找到了具有所述特征值的图像，则记录客户该次访问门店的时间和人脸图像。

3.根据权利要求2所述的方法，其特征在于，所述记录客户该次访问门店的时间和人脸图像之后，还包括：

统计客户访问门店的次数。

4.根据权利要求2所述的方法，其特征在于，所述建立客户档案之后，还包括：

获取对客户档案的修改信息，所述修改信息包括姓名、电话、喜好、等级标签、分配的业务人员及该业务人员的联系方式，所述等级标签是指客户的消费金额在预先根据消费金额而划分的消费等级中所属的等级，所述联系方式为电话号码、邮箱地址和/或他即时通讯号码。

5.根据权利要求4所述的方法，其特征在于，所述建立客户档案之后，还包括：

获取对客户档案的修改信息，所述修改信息还包括是否将该客户标记为会员；

若客户档案的内容中添加了会员的标记，且当客户再次入店时，通过分配的业务人员的联系方式将表示该客户已访问门店的信息发送至该业务人员接收该信息的终端。

6.根据权利要求4所述的方法，其特征在于，所述建立客户档案之后，还包括：

获取对客户档案的内容的添加，且客户档案的内容中添加了会员的标记，则当客户发生购买行为时，记录此次客户购买的商品名称和商品价格；

记录客户历史记录中的购买的商品名称、及统计该商品名称被购买的次数及总金额，并根据商品品类对历史记录中购买的商品进行分类；

获取客户同意以将同类型的商品信息发送至客户能通过联系方式接收信息的终端。

7.根据权利要求1-6任意一项所述的方法，其特征在于，根据所述人脸图像获取客户的年龄和性别，是指：

采用RGB3通道和归一化处理所述人脸图像以获取处理后的人脸图像；

将处理后的人脸图像输入到由多层卷积层构成的CNN特征提取网络，采用随机初始权重分别提取识别对象的年龄特征数据和性别特征数据，所述识别对象为人脸图像中的人脸；

分别对所述年龄特征数据和性别特征数据进行扁平化处理，分别得到一维年龄特征数据和一维性别特征数据；

将所述一维年龄特征数据和一维性别特征数据级联，然后输入到由三层分别包含不同数量神经元的全连接层构成的年龄预测网络中，采用线性回归激活函数进行年龄预测以获取年龄的识别结果；

将所述一维性别特征数据输入到由三层分别包含不同数量神经元的全连接层构成的性别预测网络中，采用二分类softmax激活函数进行性别预测以获取性别的预测结果；

输出年龄的预测结果和性别的预测结果。

8.一种基于人脸识别的门店客户数据处理系统，其特征在于，包括：

摄像头模组，用于获取访问门店的客户的人脸图像；

时间记录模组，用于记录客户访问门店的时间；

人脸图像识别模块，根据所述人脸图像获取客户的年龄和性别；

统计模块，根据所述时间、年龄和性别统计预设的一段时间内的客流量、客户性别情况和年龄情况，所述性别情况为男女比例，所述年龄情况为预先划分的年龄段的比例；

数据传输模块，用于将所述预设的一段时间内的客流量、客户的男女比例和预设的各年龄段的客户比例发送至数据库；

数据库，用于存储所述预设的一段时间内的客流量、客户性别情况和年龄情况以使有权限的人查看。

9.根据权利要求8所述的系统，其特征在于，所述人脸图像识别模块包括：

读取处理单元，用于采用RGB3通道和归一化处理所述人脸图像以获取处理后的人脸图像；

输入提取单元，用于将处理后的人脸图像输入到由多层卷积层构成的CNN特征提取网络，采用随机初始权重分别提取识别对象的年龄特征数据和性别特征数据，所述识别对象为人脸图像中的人脸；

处理预测单元，用于分别对所述年龄特征数据和性别特征数据进行扁平化处理，得到一维特征数据；针对年龄预测，将所述年龄特征数据和性别特征数据级联，然后输入到由三层分别包含不同数量神经元的全连接层构成的年龄预测网络中，采用线性回归激活函数，进行年龄预测以获取年龄的识别结果；针对性别预测，将性别特征数据输入到由三层分别包含不同数量神经元的全连接层构成的性别预测网络中，采用二分类softmax激活函数，进行性别预测以获取性别的预测结果；

结果输出单元，用于输出年龄的预测结果和性别的预测结果。

10.根据权利要求8或9所述的系统，其特征在于，还包括档案建立模块：

所述档案建立模块用于根据所述客户的人脸图像、第一次到店的时间、年龄及性别建立客户的档案。