CN109558535B - 基于人脸识别的个性化推送物品的方法及系统 - Google Patents

Abstract

本发明提供一种基于人脸识别的个性化推送物品的方法及系统，该方法包：获取视频图像中人脸图像，识别人脸图像根据识别结果建立用户档案；基于人口统计学信息分析人脸图像获取用户属性信息，并保存至用户档案；计算用户之间相似度并聚类分析用户档案提取其行为特征，转换用户的行为特征生成关于用户的近邻集合；结合近邻集合与用户属性信息生成用户特征向量，从物品集合中构建用户特征向量与物品之间的特征矩阵形成物品的初始推送结果。通过分析用户人脸图像获取用户性别、年龄、情绪等数据信息，从而实现冷启动，只需终端配置摄像头即可实现，成本低廉，有益推广；无需用户填写个人信息，操作简单；通过识别人脸特征而达到物品精准推广的目的。

Description

基于人脸识别的个性化推送物品的方法及系统

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于人脸识别的个性化推送方法及系统。

背景技术

在现有技术中，对于信息消费者而言，如何从海量信息中找到感兴趣的信息是一件困难的事情；而对于信息生产者而言，如何获取用户关注的信息也是一件困难的事情。而推送机制的本质是利用用户的注册信息、浏览信息、以及评论、关注等交互信息来为用户做协同推送，即个性化推送。

然而，在用户为新用户或者不同用户使用同一账户的场景，无法根据用户的历史数据获取用户的喜好，因而无法做出适合用户需求的推送。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于人脸识别的个性化推送方法及系统，用于解决现有技术中冷启动时，无法推送与用户相匹配的物品的问题。

为实现上述目的及其他相关目的，本发明提供一种基于人脸识别的个性化推送方法，包括：

获取视频图像中人脸图像，识别所述人脸图像并根据识别结果建立用户档案；

基于人口统计学信息分析所述人脸图像获取用户属性信息，并保存至所述用户档案；

计算用户之间相似度并聚类分析所述用户档案提取其行为特征，转换用户的所述行为特征生成关于用户的近邻集合；

将所述近邻集合与用户属性信息生成用户特征向量，从物品集合中构建所述用户特征向量与物品之间的特征矩阵形成物品的初始推送结果。

本发明的另一目的在于提供一种基于人脸识别的个性化推送系统，包括：

人脸采集模块，用于获取视频图像中人脸图像，识别所述人脸图像并根据识别结果建立用户档案；

属性分析模块，用于基于人口统计学信息分析所述人脸图像获取用户属性信息，并保存至所述用户档案；

计算处理模块，用于计算用户之间相似度并聚类分析所述用户档案提取其行为特征，转换用户的所述行为特征生成关于用户的近邻集合；

推送模块，用于结合所述近邻集合与用户属性信息生成用户特征向量，从物品集合中构建所述用户特征向量与物品之间的特征矩阵形成物品的初始推送结果。

如上所述，本发明的基于人脸识别的个性化推送方法及系统，具有以下有益效果：

通过获取用户人脸图像，利用人口统计学信息替换了传统的用户注册、爬虫方式获取用户信息，通过分析用户人脸图像获取用户性别、年龄、情绪等数据信息，从而实现冷启动，只需终端配置摄像头即可实现，成本低廉，有益推广；无需用户填写的个人信息，操作简单；通过计算用户之间相似度并聚类分析所述用户档案提取其行为特征，转换用户的所述行为特征生成关于用户的近邻集合，将所述近邻集合与用户属性信息生成用户特征向量，从物品集合中构建所述用户特征向量与物品之间的特征矩阵形成物品的初始推送结果，实现物品精准推广的目的。

附图说明

图1显示为本发明提供的一种基于人脸识别的个性化推送方法示意图；

图2显示为本发明提供的一种基于人脸识别的个性化推送方法完整流程图；

图3显示为本发明提供的一种基于人脸识别的个性化推送方法实施例流程图；

图4显示为本发明提供的一种基于人脸识别的个性化推送系统结构框图；

图5显示为本发明提供的一种基于人脸识别的个性化推送系统结构框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，为本发明提供一种低质量人脸图像增强方法流程图，包括：

步骤S101，获取视频图像中人脸图像，识别所述人脸图像并根据识别结果建立用户档案；

步骤S102，基于人口统计学信息分析所述人脸图像获取用户属性信息，并保存至所述用户档案；

步骤S103，计算用户之间相似度并聚类分析所述用户档案提取其行为特征，转换用户的所述行为特征生成关于用户的近邻集合；

步骤S104，结合所述近邻集合与用户属性信息生成用户特征向量，从物品集合中构建所述用户特征向量与物品之间的特征矩阵形成物品的初始推送结果。

本实施例中，利用冷启动方式，通过计算用户之间相似度并聚类分析所述用户档案提取其行为特征，转换用户的所述行为特征生成关于用户的近邻集合，将所述近邻集合与用户属性信息生成用户特征向量，从物品集合中构建所述用户特征向量与物品之间的特征矩阵形成物品的初始推送结果，实现物品精准推广的目的。

突破了传统的基于注册信息的个性化推送流程，使得获取用户基本信息更加快捷和经济，不但适用于线上的移动应用，打通线上与线下的交互体验，更有利于线下实体店商品的推送效果；另一方面，本系统对硬件要求较低，只需要移动应用调用人脸识别SDK；或为打通线下实体店智能推荐服务，安装人脸抓拍摄像头，部署成本和维护成本都较低，适合广泛的推广应用。

实施例1

在上述步骤S101中，获取视频图像中人脸图像，识别所述人脸图像并根据识别结果建立用户档案的步骤，具体包括：

步骤S1011，发送请求指令根据接收的反馈指令启动摄像模块录制视频图像；

其中，摄像模块一般为关闭状态，启动摄像模块需要发送请求至用户界面，获取用户授权，除非该摄像模块预先设置为默认开启或已授权，当摄像模块工作时，即可抓拍或录制带有人脸图像的视频或图像，该摄像模块可为智能终端(手机、平板、计算机等设备的自带设备或延伸设备)，硬件设备要求简单，可广泛推广。

步骤S1012，利用人脸检测算法检测所述视频图像中人脸图像；

其中，通过人脸识别SDK调用摄像头将抓拍的人脸图像通过一定的人脸检测算法进行人脸检测，以判断照片中是否含有人脸、是否有无遮挡、是否多张人脸，并计算出人脸质量分数，具体地，人脸检测算法包括但不限于深度神经网络算法、模板匹配算法。

步骤S1013，以所述人脸图像为依据在人脸数据库查找比对，获取质量分数最高的图像为最优人脸图像；

计算所述人脸图像中质量分数，根据预设阈值判断相应质量分数的所述人脸图像，滤除质量分数低的所述人脸图像，得到待检索的人脸图像；

利用人脸查找算法比对人脸数据库识别待检索的人脸图像，单位时间内质量分数最高的所述人脸图像为最优人脸图像；

具体地，通过预设阈值来分析人脸图像的质量分数，判断人脸质量是否合格；人脸质量分在[0，1]的取值空间内，取值越大代表人脸质量越好，一般阈值在0.65以上算合格，最优人脸图像即人脸质量分数最高的，该阈值包括但不限于提前设定的固定阈值和结合历史质量分计算出的动态阈值，通过阈值质量分数分析滤除了不清晰的人脸图像，能够得到最优(清晰)人脸图像，便于后续识别。

步骤S1014，提取所述最优人脸图像的人脸特征值，根据所述人脸特征值的比对情况注册或更新人脸建立用户档案。

其中，将质量分合格人脸图像进行处理，通过和用户档案数据库中所有用户的人脸图像进行比对，来计算其的相似度，并最终以最高相似度(Top1)对应的人脸图像作为检索结果。

比对相似度在[0,100]的取值空间内，相似对越高，代表是同一个人的概率越高，对于静态人脸库，相似度在90分以上判断同一个人的概率极高；利用1:N人脸查找算法包括但不限于聚类算法、欧氏距离。

具体地，将检索结果结合阈值来进行分析，当检测到人脸数据库中不包含该图像时，建立该用户的档案数据；当判断此用户存在用户档案数据库中，更新该用户的档案数据。

在上所述基础上，步骤S102中，基于人口统计学信息分析所述人脸图像获取用户属性信息，并保存至所述用户档案的步骤，包括：

基于人口统计学信息对所述人脸数据库中人脸图像进行属性分析，得到用户基于人脸图像的属性信息，该属性信息包括种族(鼻梁、肤色)、性别(男、女)、年龄(20～30等)、当前情绪(平静、喜怒哀乐)、有无眼镜、人像、或其它人脸装饰品(鼻环、唇环)，将所述属性信息与该用户关联保存至所述用户档案；

具体地，不仅仅只是获取用户人脸图像，在原有的档案数据中通过人口统计学信息对该人脸图像进行分析，将分析的属性信息与用户进行关联绑定，能够得到完整用户档案。

实施例2

上述步骤S103中，所述计算用户之间相似度并聚类分析所述用户档案提取其行为特征，转换用户的所述行为特征生成关于用户的近邻集合的步骤，包括：

利用协调过滤算法计算用户与用户之间的相似度，以相似度归纳用户群；

聚类分析所述用户群内用户档案按属性信息分类标识所述用户，提取用户的行为特征将其转换为可量化数据生成关于用户的近邻集合。

具体地，基于用户的协同过滤算法的原理为：通过用户的历史行为数据发现用户对商品或内容的喜好，并对这些喜好进行度量和打分。此处的用户的历史行为数据包括购买商品、收藏商品、评论内容或分享内容。之后，根据不同用户对相同商品或内容的态度和喜好程度计算用户之间的关系，并在有相同喜好的用户间进行商品或内容推荐。例如，如果A，B两个用户都购买了x，y，z三本图书，并且给出了五星的好评，那么A和B就属于具有相同喜好的用户，可以将A看过的图书w推荐给用户B。同样的道理，采用基于用户的协同过滤算法，可以获取与当前用户类型相似度较高即与当前用户具有相同喜好的用户，并将后一用户感兴趣的应用物品推送给当前用户群。

其中，将相似度较高的用户归纳至用户群，提取用户群内用户的属性特征(包括行为特征)，将该属性特征所对应的原始数据转换为精确且可量化的数据，生成关于用户的近邻集合。

在上述实施例中，步骤S104，结合所述近邻集合与用户属性信息生成用户特征向量，从物品集合中构建所述用户特征向量与物品之间的特征矩阵形成物品的初始推送结果，

其中，关于形成用户特征向量与物品的相关推送模型，具体过程如下：

选取数据样本，将得到的属性特征进行整理划分，预计设计相同行为特征用户对物品的可能性评分行为构建数据集；先统计出用户数和物品数量，构建用户-物品矩阵，评分矩阵的行数为用户数，评分矩阵的列数为物品数；如果某用户没有对某个物品评分，则默认该用户对物品的评分值为此物品的评分平均值。

将用户-物品的真实评分矩阵按照时序分为多个子矩阵，模拟新用户出现，其中，采用隐语义模型构建用户和物品的特征矩阵。

具体地，根据用户属性信息生成用户特征向量，根据候选的物品集合内，通过用户特征向量与物品的相关推送模型，形成初始推荐结果。

由于本实施例中，即使处于冷启动中，新用户没有历史数据可参照，也能根据用户的属性信息生成的用户特征向量，精准完成物品初始推送结果。

实施例3

请参阅图2，在上述实施例基础，为本发明提供的一种基于人脸识别的个性化推送方法完整流程图，还包括：

步骤S105，基于用户的协同过滤算法滤除所述初始推送结果中不满足预设预约条件的物品形成推送候选集；

步骤S106，将所述推送候选集内物品按反馈的用户行为与物品属性进行排名，以所述用户属性信息按排名结果将物品推送至近邻集合内的用户。

在上述实施例中，将初始推送结果采用基于用户的协调过滤算法UserCF进行过滤，使其满足预先的UV约束条件或其他约束条件(描述共有多少个不同的用户对物品发生过行为)，即只有UV(搜索热度)大于预设条件时对应设置的物品才会被放入推送候选集，可避免推送出过于冷门的物品。另外，排名方法可通过UV、热度等约束条件进行排名，同时，排名时需参考用户反馈的用户行为(用户点击、购买反馈行为、评分反馈等行为特征)与物品属性，以提升排名的精准度，从而保证被推送的物品与用户之间的关联性。在推送时，以用户属性信息为媒介的推荐物品，类似如图3，推荐解释选择中“跟您相似的用户都喜欢该推荐物品”，根据排名结果实现最终推送结果推荐给近邻集用户。

具体地，相比计算用户、物品矩阵或进行矩阵分解需要离线进行且耗时较长，采用协同的推荐算法很难满足实时性，而依靠基于用户行为特征的用户人脸图像的推荐来进行实时性结果推荐；最终的推荐列表是根据一定的策略对这两部分进行聚合的结果。

实施例4

请参阅图4，为本发明提供的一种基于人脸识别的个性化推送物品的系统结构框图，包括：

人脸采集模块1，用于获取视频图像中人脸图像，识别所述人脸图像并根据识别结果建立用户档案；

属性分析模块2，用于基于人口统计学信息分析所述人脸图像获取用户属性信息，并保存至所述用户档案；

计算处理模块3，用于计算用户之间相似度并聚类分析所述用户档案提取其行为特征，转换用户的所述行为特征生成关于用户的近邻集合；

推送模块4，用于结合所述近邻集合与用户属性信息生成用户特征向量，从物品集合中构建所述用户特征向量与物品之间的特征矩阵形成物品的初始推送结果。

其中，所述人脸采集模块1进一步包括：

视频录制单元11，用于发送请求指令根据接收的反馈指令启动摄像模块录制视频图像；

人脸检测单元12，用于利用人脸检测算法检测所述视频图像中人脸图像；

人脸查找单元13，用于以所述人脸图像为依据在人脸数据库查找比对，获取质量分数最高的图像为最优人脸图像；

用户档案建立单元14，用于提取所述最优人脸图像的人脸特征值，根据所述人脸特征值的比对情况注册或更新人脸建立用户档案。

所述人脸查找单元13进一步包括：

人脸质量滤除子单元131，用于计算所述人脸图像中质量分数，根据预设阈值判断相应质量分数的所述人脸图像，滤除质量分数低的所述人脸图像，得到待检索的人脸图像；

人脸查找子单元132，利用人脸查找算法比对人脸数据库识别待检索的人脸图像，单位时间内质量分数最高的所述人脸图像为最优人脸图像。

其中，所述属性分析模块2进一步包括：

基于人口统计学信息分析所述人脸图像获取用户的属性信息，该属性信息包括种族、性别、年龄、当前情绪、有无眼镜或其它人脸装饰品，将所述属性信息与该用户关联保存至所述用户档案。

其中，所述分析处理模3块进一步包括：

相似度计算单元31，利用协调过滤算法计算用户与用户之间的相似度，以相似度归纳用户群；

聚类集合单元32，用于聚类分析所述用户群内用户档案按属性信息分类标识所述用户，提取用户的行为特征将其转换为可量化数据生成关于用户的近邻集合。

在上述结构框图的基础上，如图5所示，为本发明提供的一种基于人脸识别的个性化推送系统结构框图，还包括：

个性化滤除模块5，用于基于用户的协同过滤算法滤除所述初始推送结果中不满足预设预约条件的物品形成推送候选集；

个性化推送模块6，用于将所述推送候选集内物品按反馈的用户行为与物品属性进行排名，以所述用户属性信息按排名结果将物品推送至近邻集合内的用户。

由于该系统与上述方法为一一对应的关系，因此，其对应的技术细节以及技术效果请参照上述方法，在此不一一赘述。

综上所述，通过获取用户人脸图像，利用人口统计学信息替换了传统的用户注册、爬虫方式获取用户信息，通过分析用户人脸图像获取用户性别、年龄、情绪等数据信息，从而实现冷启动，只需终端配置摄像头即可实现，成本低廉，有益推广；无需用户填写的个人信息，操作简单；通过计算用户之间相似度并聚类分析所述用户档案提取其行为特征，转换用户的所述行为特征生成关于用户的近邻集合，将所述近邻集合与用户属性信息生成用户特征向量，从物品集合中构建所述用户特征向量与物品之间的特征矩阵形成物品的初始推送结果，实现物品精准推广的目的。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种基于人脸识别的个性化推送物品的方法，其特征在于，所述方法包括以下步骤：

获取视频图像中人脸图像，识别所述人脸图像根据识别结果建立用户档案；

基于人口统计学信息分析所述人脸图像获取用户属性信息，并保存至所述用户档案；

计算用户之间相似度并聚类分析所述用户档案提取其行为特征，转换用户的所述行为特征生成关于用户的近邻集合；

结合所述近邻集合与用户属性信息生成用户特征向量，从物品集合中构建所述用户特征向量与物品之间的特征矩阵形成物品的初始推送结果；其中，利用隐语义模型构建所述用户特征向量与物品之间的特征矩阵，所述特征矩阵的行数为用户数，所述特征矩阵的列数为物品数。

2.根据权利要求1所述的基于人脸识别的个性化推送物品的方法，其特征在于，所述获取视频图像中人脸图像，识别所述人脸图像根据识别结果建立用户档案的步骤，包括：

发送请求指令根据接收的反馈指令启动摄像模块录制视频图像；

利用人脸检测算法检测所述视频图像中人脸图像；

以所述人脸图像为依据在人脸数据库查找比对，获取质量分数最高的图像为最优人脸图像；

提取所述最优人脸图像的人脸特征值，根据所述人脸特征值的比对情况注册或更新人脸建立用户档案。

3.根据权利要求2所述的基于人脸识别的个性化推送物品的方法，其特征在于，所述以所述人脸图像为依据在人脸数据库查找比对，获取质量分数最高的图像为最优人脸图像的步骤，包括：

计算所述人脸图像中质量分数，根据预设阈值判断相应质量分数的所述人脸图像，滤除质量分数低的所述人脸图像，得到待检索的人脸图像；

利用人脸查找算法比对人脸数据库识别待检索的人脸图像，单位时间内质量分数最高的所述人脸图像为最优人脸图像。

4.根据权利要求1所述的基于人脸识别的个性化推送物品的方法，其特征在于，所述基于人口统计学信息分析所述人脸图像获取用户属性信息，并保存至所述用户档案的步骤，包括：

基于人口统计学信息分析所述人脸图像获取用户的属性信息，该属性信息包括种族、性别、年龄、当前情绪、有无眼镜或其它人脸装饰品，将所述属性信息与该用户关联保存至所述用户档案。

5.根据权利要求1所述的基于人脸识别的个性化推送物品的方法，其特征在于，所述计算用户之间相似度并聚类分析所述用户档案提取其行为特征，转换用户的所述行为特征生成关于用户的近邻集合的步骤，包括：

利用协调过滤算法计算用户与用户之间的相似度，以相似度归纳用户群；

聚类分析所述用户群内用户档案按属性信息分类标识所述用户，提取用户的行为特征将其转换为可量化数据生成关于用户的近邻集合。

6.根据权利要求1所述的基于人脸识别的个性化推送物品的方法，其特征在于，还包括：

基于用户的协同过滤算法滤除所述初始推送结果中不满足预设预约条件的物品形成推送候选集；

将所述推送候选集内物品按反馈的用户行为与物品属性进行排名，以所述用户属性信息按排名结果将物品推送至近邻集合内的用户。

7.一种基于人脸识别的个性化推送物品的系统，其特征在于，包括：

人脸采集模块，用于获取视频图像中人脸图像，识别所述人脸图像并根据识别结果建立用户档案；

属性分析模块，用于基于人口统计学信息分析所述人脸图像获取用户属性信息，并保存至所述用户档案；

计算处理模块，用于计算用户之间相似度并聚类分析所述用户档案提取其行为特征，转换用户的所述行为特征生成关于用户的近邻集合；

推送模块，用于结合所述近邻集合与用户属性信息生成用户特征向量，从物品集合中构建所述用户特征向量与物品之间的特征矩阵形成物品的初始推送结果；其中，利用隐语义模型构建所述用户特征向量与物品之间的特征矩阵，所述特征矩阵的行数为用户数，所述特征矩阵的列数为物品数。

8.根据权利要求7所述的基于人脸识别的个性化推送物品的系统，其特征在于，所述人脸采集模块进一步包括：

视频录制单元，用于发送请求指令根据接收的反馈指令启动摄像模块录制视频图像；

人脸检测单元，用于利用人脸检测算法检测所述视频图像中人脸图像；

人脸查找单元，用于以所述人脸图像为依据在人脸数据库查找比对，获取质量分数最高的图像为最优人脸图像；

用户档案建立单元，用于提取所述最优人脸图像的人脸特征值，根据所述人脸特征值的比对情况注册或更新人脸建立用户档案。

9.根据权利要求8所述的基于人脸识别的个性化推送物品的系统，其特征在于，所述人脸查找单元进一步包括：

人脸质量滤除子单元，用于计算所述人脸图像中质量分数，根据预设阈值判断相应质量分数的所述人脸图像，滤除质量分数低的所述人脸图像，得到待检索的人脸图像；

人脸查找子单元，利用人脸查找算法比对人脸数据库识别待检索的人脸图像，单位时间内质量分数最高的所述人脸图像为最优人脸图像。

10.根据权利要求7所述的基于人脸识别的个性化推送物品的系统，其特征在于，所述属性分析模块进一步包括：

基于人口统计学信息分析所述人脸图像获取用户的属性信息，该属性信息包括种族、性别、年龄、当前情绪、有无眼镜或其它人脸装饰品，将所述属性信息与该用户关联保存至所述用户档案。

11.根据权利要求7所述的基于人脸识别的个性化推送物品的系统，其特征在于，所述计算处理模块进一步包括：

相似度计算单元，利用协调过滤算法计算用户与用户之间的相似度，以相似度归纳用户群；

聚类集合单元，用于聚类分析所述用户群内用户档案按属性信息分类标识所述用户，提取用户的行为特征将其转换为可量化数据生成关于用户的近邻集合。

12.根据权利要求7所述的基于人脸识别的个性化推送物品的系统，其特征在于，还包括：

个性化滤除模块，用于基于用户的协同过滤算法滤除所述初始推送结果中不满足预设预约条件的物品形成推送候选集；

个性化推送模块，用于将所述推送候选集内物品按反馈的用户行为与物品属性进行排名，以所述用户属性信息按排名结果将物品推送至近邻集合内的用户。

Images