CN110298245B - 兴趣收集方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种兴趣收集方法、装置、计算机设备及存储介质，其中，该兴趣收集方法包括：获取至少一个人脸采集设备实时采集当前用户的原始视频流；基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；若用户停留时间大于时间停留阈值，则对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签；基于用户停留时间的降序顺序获取当前关注标签列表；基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表。该方法可精准高效地匹配得到当前用户可能感兴趣的目标物品。

Description

兴趣收集方法、装置、计算机设备及存储介质

技术领域

本发明涉及人脸识别领域，尤其涉及一种兴趣收集方法、装置、计算机设备及存储介质。

背景技术

实体店是网络购物后出现的名词，是在一定的硬件设施(如营业场所)基础上建立起来的，地点相对固定的以营利为目的的商业机构，它的商品既可以是实物，也可以是虚拟商品(如充值卡，翻译服务等)。就形式而言，实体店也借助互联网销售，逐渐向虚拟店铺转变。现在实体店内销售物品的途径主要依赖店内人员向逛店的用户进行物品推销来实现。而店内人员对每天若干逛店用户的购买意向一般难以第一时间获知，基本是通过与逛店用户进行对话才可了解用户的购买意图。如何基于用户的兴趣及时获取对应的兴趣物品成为亟待解决的问题。

发明内容

本发明实施例提供一种兴趣收集方法、装置、计算机设备及存储介质，以解决基于用户的兴趣及时获取对应的兴趣物品的问题。

一种兴趣收集方法，包括：

获取至少一个人脸采集设备实时采集当前用户的原始视频流；

基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；

若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签；

基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表；

基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表；

将微表情图像与兴趣物品列表发送给兴趣采集终端。

一种兴趣收集装置，包括：

获取原始视频流模块，用于获取至少一个人脸采集设备实时采集当前用户的原始视频流；

确定微表情图像模块，用于基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；

分析微表情图像模块，用于若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签；

获取标签列表模块，用于基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表；

形成兴趣列表模块，用于基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表；

发送微表情图像模块，用于将微表情图像与兴趣物品列表发送给兴趣采集终端。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述兴趣收集方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述兴趣收集方法。

上述兴趣收集方法、装置、计算机设备及存储介质，通过分析原始视频流和用户停留时间，可获取当前用户感兴趣的兴趣物品列表，将该兴趣物品列表发送给兴趣采集端，可精准高效地匹配得到当前用户可能感兴趣的目标物品，减少对当前用户的感兴趣物品进行猜测的时间，提高获取用户感兴趣物品的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中兴趣收集方法的应用环境示意图；

图2是本发明一实施例中兴趣收集方法的流程图；

图3是本发明一实施例中兴趣收集方法的另一流程图；

图4是本发明一实施例中兴趣收集方法的另一流程图；

图5是本发明一实施例中兴趣收集方法的另一流程图；

图6是本发明一实施例中兴趣收集方法的另一流程图；

图7是本发明一实施例中兴趣收集方法的另一流程图；

图8是本发明一实施例中兴趣收集装置的示意图；

图9是本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的兴趣收集方法，可应用在如图1的应用环境中，该兴趣收集方法应用在兴趣收集系统中，该兴趣收集系统包括客户端和服务器，其中，客户端通过网络与服务器进行通信。客户端又称为用户端，是指与服务器相对应，为客户端提供本地服务的程序。该客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等计算机设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种兴趣收集方法，以该方法应用在图1中的服务器为例进行说明，具体包括如下步骤：

S10.获取至少一个人脸采集设备实时采集当前用户的原始视频流。

其中，人脸采集设备是环境内部署的多个放置在物品周围位置的人脸图像采集设备。

原始视频流是人脸采集设备拍摄到的包含人脸图像的视频流，用以后续可对该人脸图像进行微表情分析。

具体地，环境内应基于物品种类对物品进行分类摆放。对应地，在每个物品分类区可部署至少一个人脸采集设备，用以拍摄来往的用户。每当一个人脸采集设备采集到包括人脸的图像时即形成原始视频流发送给服务器。

步骤S10中，服务器可接收至少一个人脸采集设备发送的原始视频流，为后续基于该原始视频流进行微表情分析准备数据基础；按照物品类别设置人脸采集设备，利于后续基于不同的人脸采集设备确认对应的不同物品类别。

S20.基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像。

其中，当前用户是在至少一个人脸采集设备产生原始视频流的用户。

用户停留时间是当前用户在每个人脸采集设备对应的可拍摄范围内停留的时间。

物品类别标签是按物品的类别属性进行区分的标签，比如，男鞋、女鞋或童鞋等。

微表情图像是服务器基于原始视频流中包括当前用户的人脸的图像。

具体地，步骤S20的实现过程如下：

1.基于原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像。

为了确认原始视频流中拍摄的人脸为相同的当前用户对应的人脸，应提取该段原始视频流的首帧图像、尾帧图像和至少一帧中间帧图像。若上述至少三帧图像都对应同一用户，说明在该段原始视频流中的当前用户为同一人，一直停留在人脸采集设备前未走开。

2.采用图像识别工具对任一帧人脸图像进行识别，若识别结果都为当前用户，则将任一帧人脸图像作为微表情图像，提取原始视频流对应的延续时间记录为用户停留时间。

图像识别工具可采用现有成熟的图像分析工具对任一帧人脸图像进行特征提取后进行对比，当任一帧的图像对应的图像特征相似度都大于对比阈值，可判定任一帧人脸图像都是对应当前用户的，也即当前用户在该人脸采集设备前一直停留。

可以理解地，该段原始视频流对应的时长(延续时间)即为用户停留时间。

3.获取人脸采集设备对应的拍摄范围内的至少一个物品类别标签。

因在每个物品分类区至少部署一部人脸采集设备，也即一部人脸采集设备的拍摄范围内应对应一类物品，该类物品应具有至少一个同类别的物品类别标签，比如，儿童用品，早教用品或玩具等。

步骤S20中，服务器可基于原始视频流提取用户停留时间、物品类别标签和微表情图像，为后续提取当前用户感兴趣的物品类别标签准备数据基础。

S30.若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签。

其中，时间停留阈值是服务器预先设定的用户对某物品可能感兴趣的最短逗留时间，比如15秒等此处不作限定。

微表情识别工具是将微表情图像进行微表情分析获取目标微表情分值表，获取该表中百分比最高的表情作为当前表情的工具。

感兴趣表情是服务器预设的可能表示用户对物品感兴趣的表情，比如高兴、兴奋或开心等。

当前兴趣标签是服务器在物品类别标签中从用户停留时间角度筛选出用户可能感兴趣的物品类别的标签。

具体地，微表情是心理学名词，是引发隐藏某种真实情绪的短暂和不自主的快速面部表情。标准的微表情持续时间在1/5到1/25之间，通常只发生在脸部的特定部位。微表情的微妙和简洁是对肉眼的巨大挑战，“微表情”一闪而过，通常甚至清醒的作表情的人和观察者都察觉不到。在实验里，只有10％的人察觉到。

人类主要拥有至少六种表情，每种表情都表达不一样的意思：

·高兴：人们高兴时的面部动作包括：嘴角翘起，面颊上抬起皱，眼睑收缩，眼睛尾部会形成“鱼尾纹”。

·伤心：面部特征包括眯眼，眉毛收紧，嘴角下拉，下巴抬起或收紧。

·害怕：害怕时，嘴巴和眼睛张开，眉毛上扬，鼻孔张大

·愤怒：这时眉毛下垂，前额紧皱，眼睑和嘴唇紧张。

·厌恶：厌恶的表情包括嗤鼻，上嘴唇上抬，眉毛下垂，眯眼。

·惊讶：惊讶时，下颚下垂，嘴唇和嘴巴放松，眼睛张大，眼睑和眉毛微抬。

具体地，本实施例中，微表情识别工具应包括至少两种用以获取微表情的微表情识别模型，每一微表情识别模型对应一种微表情，比如，高兴或伤心等。

目标微表情分值表是包括微表情识别工具中所有种类的微表情识别模型分别对应的微表情得分，比如，高兴：0.6，伤心：0.3等，将每一微表情对应的微表情标签和微表情得分对应存储，即可得微表情分值表，如下表一所示：

表情	分值
		高兴	0.5
伤心	0.2
		害怕	0.1
惊讶	0.1
		愤怒	0.1

表一

从表一可知，当前用户对应的表情为高兴(高兴占据的表情分值的百分比是最高的50％。)

获取微表情分值表中得分最高的表情作为本实施例对应的表情。对表情进行筛选，将属于喜好类的标签作为感兴趣表情，比如，高兴或兴奋等表情，此处不做限定。

步骤S30中，服务器可将所有符合时间停留阈值的微表情图像进行分析可得到当前用户对应的感兴趣表情，并基于每一感兴趣表情获取对应的物品类别标签作为当前兴趣标签，可将当前用户的兴趣范围精准化。

S40.基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表。

其中，当前关注标签列表是服务器将当前兴趣标签按时序降序排序后得到的列表，该列表从用户关注时间的角度给用户可能感兴趣的物品类别进行排序并显示。

具体地，服务器可将每段原始视频流对应的用户停留时间按降序排列，用以推测出用户最感兴趣的物品，比如，排序后得到的当前关注标签列表可以为：

原始视频流1--30秒--高兴--物品类别标签：服装，保暖内衣和冬装；

原始视频流2--17秒--喜悦--物品类别标签：书籍和小说。

步骤S40中，服务器可基于用户停留时间，将每一兴趣表情对应的物品表情进行排序，获得用户最可能感兴趣的物品对应的当前关注标签列表。

S50.基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表。

其中，兴趣物品列表是基于当前关注标签列表中每一物品类别标签对应获取的至少一个物品构成的列表。可以理解地，每一物品类别标签都至少包括一种类别物品，服务器可按预设数量展示每一当前兴趣标签对应的兴趣物品。

具体地，继续以步骤S40中的举例进行说明，步骤S40中得到的当前关注标签列表中由每一物品类别标签构成的列表如下：

服装，保暖内衣和冬装；

书籍和小说。

本实施例中，可基于每一物品类别标签获取预设的该标签对应的至少一个物品如下所示：

服装：服装1、服装2和服装3；

保暖内衣：保暖内衣1、保暖内衣2和保暖内衣3；

冬装：冬装1和冬装2；

书籍：书籍1；

小说：小说1、小说2、小说3、小说4和小说5。

步骤S50中，服务器可基于步骤S40得到的当前关注标签列表获取对应的兴趣物品列表，将当前用户可能感兴趣的物品进行泛化，提高兴趣收集系统的可扩展性。

S60.将微表情图像与兴趣物品列表发送给兴趣采集终端。

其中，兴趣采集终端是收集用户兴趣的终端，用以及时收集用户的兴趣物品列表，并后续不断收集用户信息对该用户对应的兴趣物品列表保释更新状态，及时向用户推送兴趣物品列表。

具体地，服务器将微表情图像发送给兴趣采集终端时，可首先在内置图像数据库中查询是否存在该微表情图像对应的已存用户。若不存在该已存用户，服务器可基于该微表情图像在图像数据库中新建用户记录，同时，将该新建的用户记录与该新建用户对应的兴趣物品列表进行关联存储，利于服务器后续可直接在图像数据库中匹配出该新建用户对应的兴趣物品列表进行内容更新。

步骤S60中，服务器可将微表情图像与兴趣物品列表发送给兴趣采集终端，利于服务器及时新建该用户对应的兴趣物品列表，或基于该用户已有的兴趣物品列表进行内容更新等。

本实施例提供的兴趣收集方法中，服务器通过分析原始视频流和用户停留时间，可获取当前用户感兴趣的兴趣物品列表，将该兴趣物品列表发送给兴趣采集端，可精准高效地匹配出当前用户可能感兴趣的目标物品，减少对当前用户的感兴趣物品进行猜测的时间，提高获取用户感兴趣物品的效率。

在一实施例中，如图3所示，在步骤S10之后，即在获取至少一个人脸采集设备实时采集当前用户的原始视频流之后，兴趣收集方法还具体包括如下步骤：

S101.将微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果。

其中，图像数据库是保存历史用户和每一历史用户对应的历史用户图像的数据库。

历史用户图像是服务器记录的历史用户对应的人脸图像，其中，历史用户是被服务器已经记录其人脸图像和兴趣物品列表的用户。

图像匹配结果是将微表情图像和图像数据库中的历史用户图像进行匹配处理，匹配得到是否存在图像相似度大于相似度阈值的结果。其中相似度阈值是判定两幅图是否对应同一用户的最低图像相似百分比。于本实施例，可设置为80％。

具体地，服务器可采用感知哈希算法获取微表情图像和每一历史用户图像的图像相似百分比，实现过程如下：

1.输入图像(微表情图像和每一历史用户图像)；

2.灰度化；

3.将图像大小归一化到8*8尺寸；

4.简化灰度以减少计算量，例如所有的灰度除以5；

5.计算平均灰度值avg；

6.比较8*8＝64个像素与平均灰度值avg的大小，若大则记为1，小则记为0，按一定顺序排列成64位2进制的指纹编码；

7.比较微表情图像和每一历史用户图像的指纹编码，计算相似百分比也即图像相似度。

步骤S101中，服务器可获取微表情图像和每一历史用户图像的图像相似百分比，为后续判定该微表情图像对应的当前用户是否为历史用户准备数据基础。

S102.若图像匹配结果为匹配成功，则当前用户为历史用户，获取与历史用户相对应的历史关注标签列表和与历史关注标签列表相对应的关注物品信息，将历史关注标签列表和关注物品信息发送给兴趣采集终端。

其中，历史关注标签列表是记录用户的所有历史关注标签的列表。关注物品信息是每一历史关注标签对应的至少一个物品构成的信息。

步骤S102中，服务器可及时获取匹配成功的历史用户对应的历史关注标签和关注物品信息发送给兴趣采集端，提高获取历史用户的感兴趣物品的效率。

S103.若图像匹配结果为匹配不成功，则执行基于原始视频流，执行确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。

步骤103中，当服务器对微表情图像进行图像匹配的结果为匹配不成功时，说明当前用户是未录入该兴趣收集系统的新的用户。此时，服务器应将当前用户的对应信息录入图像数据库，利于服务器后续基于基于该当前用户对应的信息进行信息更新。

步骤S101至S103中，服务器可获取微表情图像和每一历史用户图像的图像相似百分比，为后续判定该微表情图像对应的当前用户是否为历史用户准备数据基础。服务器可及时获取匹配成功的历史用户对应的历史关注标签和关注物品信息发送给兴趣采集端，提高获取历史用户的感兴趣物品的效率。当服务器对微表情图像进行图像匹配的结果为匹配不成功时，说明当前用户是未录入该兴趣收集系统的新的用户。此时，服务器应将当前用户的对应信息录入图像数据库，利于服务器后续基于基于该当前用户对应的信息进行信息更新。

在一实施例中，如图4所示，在步骤S20中，即基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像，具体包括如下步骤：

S21.基于原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像。

其中，首帧图像是原始视频流在时间轴上对应的第一帧人脸图像；尾帧图像是原始视频流在时间轴上对应的最后一帧人脸图像；中间帧图像是首帧图像和尾帧图像之间的任一帧人脸图像。

步骤S21中，服务器可获取原始视频流对应的首帧图像、尾帧图像和至少一帧中间帧图像，分别从原始视频流的开始阶段，中间阶段和结束阶段分别考察当前用户对应的人脸，判定是否为同一张人脸，从而确认当前用户从原始视频流的开始到结束是否都对应同一人。

S22.采用图像识别工具对任一帧人脸图像进行识别，若识别结果都为当前用户，则将任一帧人脸图像作为微表情图像，提取原始视频流对应的延续时间记录为用户停留时间。

其中，图像识别工具可采用现有常用图像对比工具，比如步骤S101中采用的感知哈希算法获取首帧图像、尾帧图像和至少一个中间帧图像之间两两图像的图像相似百分比。当所有图像相似百分比都大于相似度阈值时，服务器可判定识别结果均为当前用户。

步骤S22中，服务器可获取识别结果均为当前用户的任一帧人脸图像作为微表情图像，并提取原始视频流对应的延续时间作为用户停留时间，为后续服务器获取当前用户的感兴趣表情准备数据基础。

S23.获取人脸采集设备对应的拍摄范围内的至少一个物品类别标签。

具体地，人脸采集设备是基于物品类别在环境内进行部署的。服务器可给每一人脸采集设备和对应的至少一个物品类别标签进行关联。当服务器获取到某个人脸采集设备采集的原始视频流时，可获取该原始视频流关联的至少一个物品类别标签。

步骤S23中，服务器可基于人脸采集设备及时获取至少一个物品类别标签，获取过程简单快捷。

步骤S21至S23中，服务器可获取原始视频流对应的首帧图像、尾帧图像和至少一帧中间帧图像，分别从原始视频流的开始阶段，中间阶段和结束阶段分别考察当前用户对应的人脸，判定是否为同一张人脸，从而确认当前用户从原始视频流的开始到结束是否都对应同一人。服务器可获取识别结果均为当前用户的任一帧人脸图像作为微表情图像，并提取原始视频流对应的延续时间作为用户停留时间，为后续服务器获取当前用户的感兴趣表情准备数据基础。服务器可基于人脸采集设备及时获取至少一个物品类别标签，获取过程简单快捷。

在一实施例中，如图5所示，在步骤S20之后，即在确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像之后，该兴趣收集方法还具体包括如下步骤：

S201.对微表情图像进行人脸识别，若识别结果为注册用户，则获取注册用户对应的注册ID和历史关注标签列表。

其中，注册用户是用户通过主动提高注册信息成为在兴趣收集系统保存对应信息的用户。

注册ID是服务器用以区别每一注册用户的标识。

具体地，注册用户可在兴趣收集系统进行主动注册时主动添加历史关注标签，也即主动填写其关注的物品类别标签。进一步地，服务器也可基于注册用户后续的微表情图像继续更新该用户用户对应的历史关注标签列表。

步骤S201中，服务器可直接通过微表情图像获取当前用户是否为注册用户，以便获取对应的历史关注标签列表。

S202.基于注册ID在物品推广网站进行检索，获取当前用户对应的物品评论留言。

其中，物品评论留言是注册用户在物品推广网站上基于不同物品给出的评价。

物品推广网站是兴趣收集系统对应的用以介绍并推广物品的线上网站。

步骤202中，服务器可根据注册ID在物品推广网站上进行搜索，获取注册用户对每一物品在评论区的物品评论留言，便于后续服务器基于所有物品评论留言进行有关物品兴趣度的分析。

S203.采用语言情感分析工具对物品评论留言进行分析，获取至少一个当前关注标签。

其中，语言情感分析工具是对物品评论留言进行积极或消极语气分析的工具。情感分析是一种常见的自然语言处理(NLP，Natural Language Processing)方法的应用，特别是在以提取文本的情感内容为目标的分类方法中。通过这种方式，情感分析可以被视为利用一些情感得分指标来量化定性数据的方法。尽管情绪在很大程度上是主观的，但是情感量化分析已经有很多有用的实践，比如企业分析消费者对产品的反馈信息，或者检测在线评论中的差评信息等。

有两种主流思想运用到情感分析，第一种为基于情感词典的情感分析，是指根据已构建的情感词典，计算该文本的情感倾向，即根据语义和依存关系来量化文本的情感色彩。最终分类效果取决于情感词库的完善性，另外需要很好的语言学基础，也就是说需要知道一个句子通常在什么情况为表现为积极或消极。第二种是基于机器学习，是指选取情感词作为特征词，将文本矩阵化，利用logistic Regression(回归分析),朴素贝叶斯(NaiveBayes)，支持向量机(SVM，Support Vector Machine)等方法进行分类。最终分类效果取决于训练文本的选择以及正确的情感标注。

步骤S203中，服务器可采用语言情感分析工具对物品评论留言进行分析，获取情感标注为积极的语气对应的物品种类标签作为当前关注标签，并基于当前关注标签进行分析，以保障注册用户对应的历史关注标签列表的实时性。

S204.将每一当前关注标签与历史关注标签列表中的每一历史关注标签进行对比。

步骤S204中，服务器可将当前关注标签和每一历史关注标签进行对比，保障历史关注标签列表的可适用性，避免出现重复的历史关注标签。

S205.若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。

步骤S205中，服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。

步骤S201至S205中，服务器可直接通过微表情图像获取当前用户是否为注册用户，以便获取对应的历史关注标签列表。服务器可根据注册ID在物品推广网站上进行搜索，获取注册用户对每一物品在评论区的物品评论留言，便于后续服务器基于所有物品评论留言进行有关物品兴趣度的分析。服务器可采用语言情感分析工具对物品评论留言进行分析，获取情感标注为积极的语气对应的物品种类标签作为当前关注标签，并基于当前关注标签进行分析，以保障注册用户对应的历史关注标签列表的实时性。服务器可将当前关注标签和每一历史关注标签进行对比，保障历史关注标签列表的可适用性，避免出现重复的历史关注标签。服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。

在一实施例中，如图6所示，在步骤S60之后，即在将微表情图像与兴趣物品列表发送给兴趣采集终端之后，该兴趣收集方法还具体包括如下步骤：

S601.获取交易端发送的物品出库请求，物品出库请求包括物品ID和交易端ID，基于物品ID，获取对应的至少一个当前关注标签。

其中，交易端是用以进行金融交易的终端，可以为实体交易终端，也可为电子交易虚拟终端，此处不作限定。

物品出库请求是服务器接收到交易端发送的将物品转与用户所有的请求，也即将物品从服务器的物品存放库中进行出库的请求。

物品ID是服务器给每一存储在物品存放库中的物品进行区别的标识。

当前关注标签是当前的物品ID所属的至少一个物品类别标签，比如，对于物品ID为00258，对应的物品为：机械键盘1号，同时，机械键盘属于键盘类，也属于台式电脑附件类等。

步骤S601中，服务器可基于交易端发送的物品出库请求获取对应的当前关注标签，以基于当前关注标签为后续更新当前用户对应的历史关注标签准备数据基础。

S602.接收交易端ID对应的收银拍摄设备发送的当前用户的当前人脸图像。

具体地，为了优化本实施例提出的兴趣收集系统，还可给环境中属于实物体的交易端附近部署收银拍摄设备。对于虚拟交易端来说，虚拟交易端比如手机上的摄像头即可作为收银拍摄设备。

步骤S602中，收银拍摄设备可在当前用户进行交易时获取当前用户的当前人脸图像，按照与步骤S101至S103中相同的步骤对当前用户进行身份分析，为后续更新当前用户对应的历史关注标签进行更新准备数据基础。

S603.将当前人脸图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果。

S604.若图像匹配结果为匹配成功，则当前用户为历史用户，将每一当前关注标签与历史用户对应的历史关注标签列表中的每一历史关注标签进行对比。

具体地，步骤S602至S604与步骤S101至S102相同，为了避免重复，此处不再赘述。

S605.若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。

具体地，步骤S605与S205相同，为了避免重复，此处不再赘述。

步骤S605中，服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。

步骤S601至S605中，服务器可基于交易端发送的物品出库请求获取对应的当前关注标签，以基于当前关注标签为后续更新当前用户对应的历史关注标签准备数据基础。收银拍摄设备可在当前用户进行交易时获取当前用户的当前人脸图像，按照与步骤S101至S103中相同的步骤对当前用户进行身份分析，为后续更新当前用户对应的历史关注标签进行更新准备数据基础。服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。

在一实施例中，如图5所示，在步骤S603之后，即在获取图像匹配结果之后，该兴趣收集方法还具体包括如下步骤：

S6031.若图像匹配结果为匹配不成功，则将每一当前关注标签与当前关注标签列表进行匹配。

具体地，若当前人脸图像与图像数据库中的历史用户图像进行匹配处理得到的图像匹配结果为匹配不成功，交易端采集的当前人脸图像是未在图像数据库中进行登记过的当前用户，图像数据库也不存在与当前用户对应的历史关注标签列表。当前用户只能存在基于人脸采集设备采集的原始视频流生成的当前关注标签列表。

步骤S6031中，为了避免当前关注标签列表出现重复，服务器应将每一当前关注标签与当前关注标签列表进行匹配。

S6032.将任一个不属于当前关注标签列表的当前关注标签添加到当前关注标签列表中，形成当前用户对应的历史关注标签列表。

步骤S6032中，服务器可将不属于当前关注标签列表中的当前关注标签添加到当前关注标签列表中，同时，将当前用户作为历史用户添加到图像数据库中，并对应保存当前关注标签列表为历史关注标签列表，以保障及时给当前用户生成对应的历史关注标签列表，利于及时给当前用户后续推送其感兴趣的物品。

S6033.将当前人脸图像和历史关注标签列表关联存储到图像数据库中。

步骤S6033中，服务器应将当前人脸图像作为当前用户的身份认证图像与历史关注标签列表关联存储到图像数据库中，利于后续服务器基于身份认证图像可及时辨识出当前用户的身份，以及其对于的历史关注标签列表。

步骤S6031至S6033中，为了避免当前关注标签列表出现重复，服务器应将每一当前关注标签与当前关注标签列表进行匹配。服务器可将不属于当前关注标签列表中的当前关注标签添加到当前关注标签列表中，同时，将当前用户作为历史用户添加到图像数据库中，并对应保存当前关注标签列表为历史关注标签列表，以保障及时给当前用户生成对应的历史关注标签列表，利于及时给当前用户后续推送其感兴趣的物品。服务器应将当前人脸图像作为当前用户的身份认证图像与历史关注标签列表关联存储到图像数据库中，利于后续服务器基于身份认证图像可及时辨识出当前用户的身份，以及其对于的历史关注标签列表。

本实施例提供的兴趣收集方法中，服务器通过分析原始视频流和用户停留时间，可获取当前用户感兴趣的兴趣物品列表，将该兴趣物品列表发送给兴趣采集端，可精准高效地匹配出当前用户可能感兴趣的目标物品，减少对当前用户的感兴趣物品进行猜测的时间。

进一步地，服务器可获取微表情图像和每一历史用户图像的图像相似百分比，为后续判定该微表情图像对应的当前用户是否为历史用户准备数据基础。服务器可及时获取匹配成功的历史用户对应的历史关注标签和关注物品信息发送给兴趣采集端，提高获取历史用户的感兴趣物品的效率。当服务器对微表情图像进行图像匹配的结果为匹配不成功时，说明当前用户是未录入该兴趣收集系统的新的用户。此时，服务器应将当前用户的对应信息录入图像数据库，利于服务器后续基于基于该当前用户对应的信息进行信息更新。

进一步地，服务器可获取原始视频流对应的首帧图像、尾帧图像和至少一帧中间帧图像，分别从原始视频流的开始阶段，中间阶段和结束阶段分别考察当前用户对应的人脸，判定是否为同一张人脸，从而确认当前用户从原始视频流的开始到结束是否都对应同一人。服务器可获取识别结果均为当前用户的任一帧人脸图像作为微表情图像，并提取原始视频流对应的延续时间作为用户停留时间，为后续服务器获取当前用户的感兴趣表情准备数据基础。服务器可基于人脸采集设备及时获取至少一个物品类别标签，获取过程简单快捷。

进一步地，服务器可直接通过微表情图像获取当前用户是否为注册用户，以便获取对应的历史关注标签列表。服务器可根据注册ID在物品推广网站上进行搜索，获取注册用户对每一物品在评论区的物品评论留言，便于后续服务器基于所有物品评论留言进行有关物品兴趣度的分析。服务器可采用语言情感分析工具对物品评论留言进行分析，获取情感标注为积极的语气对应的物品种类标签作为当前关注标签，并基于当前关注标签进行分析，以保障注册用户对应的历史关注标签列表的实时性。服务器可将当前关注标签和每一历史关注标签进行对比，保障历史关注标签列表的可适用性，避免出现重复的历史关注标签。服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。

进一步地，服务器可基于交易端发送的物品出库请求获取对应的当前关注标签，以基于当前关注标签为后续更新当前用户对应的历史关注标签准备数据基础。收银拍摄设备可在当前用户进行交易时获取当前用户的当前人脸图像，按照与步骤S101至S103中相同的步骤对当前用户进行身份分析，为后续更新当前用户对应的历史关注标签进行更新准备数据基础。服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。

进一步地，为了避免当前关注标签列表出现重复，服务器应将每一当前关注标签与当前关注标签列表进行匹配。服务器可将不属于当前关注标签列表中的当前关注标签添加到当前关注标签列表中，同时，将当前用户作为历史用户添加到图像数据库中，并对应保存当前关注标签列表为历史关注标签列表，以保障及时给当前用户生成对应的历史关注标签列表，利于及时给当前用户后续推送其感兴趣的物品。服务器应将当前人脸图像作为当前用户的身份认证图像与历史关注标签列表关联存储到图像数据库中，利于后续服务器基于身份认证图像可及时辨识出当前用户的身份，以及其对于的历史关注标签列表。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种兴趣收集装置，该兴趣收集装置与上述实施例中兴趣收集方法一一对应。如图8所示，该兴趣收集装置包括获取原始视频流模块10、确定微表情图像模块20、分析微表情图像模块30、获取标签列表模块40、形成兴趣列表模块50和发送微表情图像模块60。各功能模块详细说明如下：

获取原始视频流模块10，用于获取至少一个人脸采集设备实时采集当前用户的原始视频流。

确定微表情图像模块20，用于基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像。

分析微表情图像模块30，用于若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签。

获取标签列表模块40，用于基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表。

形成兴趣列表模块50，用于基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表。

发送微表情图像模块60，用于将微表情图像与兴趣物品列表发送给兴趣采集终端。

优选地，该兴趣收集装置还包括获取匹配结果模块101、图像匹配成功模块102和图像匹配不成功模块103。

获取匹配结果模块101，用于将微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果。

图像匹配成功模块102，用于若图像匹配结果为匹配成功，则当前用户为历史用户，获取与历史用户相对应的历史关注标签列表和与历史关注标签列表相对应的关注物品信息，将历史关注标签列表和关注物品信息发送给兴趣采集终端。

图像匹配不成功模块103，用于若图像匹配结果为匹配不成功，则执行基于原始视频流，执行确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。

优选地，该兴趣收集装置还包括获取订购请求模块、采集人脸图像模块、获取匹配结果模块、图像匹配成功模块和添加当前物品模块。

获取订购请求模块，用于获取交易端发送的物品出库请求，物品出库请求包括物品ID和交易端ID，基于物品ID，获取对应的至少一个当前关注标签。

采集人脸图像模块，用于接收交易端ID对应的收银拍摄设备发送的当前用户的当前人脸图像。

获取匹配结果模块，用于将当前人脸图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果。

图像匹配成功模块，用于若图像匹配结果为匹配成功，则当前用户为历史用户，将每一当前关注标签与历史用户对应的历史关注标签列表中的每一历史关注标签进行对比。

添加当前物品模块，用于若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。

优选地，该兴趣收集装置还包括匹配标签列表模块、形成关注标签模块和存储当前图像模块。

匹配标签列表模块，用于若图像匹配结果为匹配不成功，则将每一当前关注标签与当前关注标签列表进行匹配。

形成关注标签模块，用于将任一个不属于当前关注标签列表的当前关注标签添加到当前关注标签列表中，形成当前用户对应的历史关注标签列表。

存储当前图像模块，用于将当前人脸图像和历史关注标签列表关联存储到图像数据库中。

优选地，该确定微表情图像模块包括提取人脸图像单元、提取停留时间单元和获取物品类别标签单元。

提取人脸图像单元，用于基于原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像。

提取停留时间单元，用于采用图像识别工具对任一帧人脸图像进行识别，若识别结果都为当前用户，则将任一帧人脸图像作为微表情图像，提取原始视频流对应的延续时间记录为用户停留时间。

获取物品类别标签单元，用于获取人脸采集设备对应的拍摄范围内的至少一个物品类别标签。

优选地，该兴趣收集装置还包括获取历史列表模块、获取物品评论留言模块、获取当前标签模块、对比当前标签模块和添加当前物品模块。

获取历史列表模块，用于对微表情图像进行人脸识别，若识别结果为注册用户，则获取注册用户对应的注册ID和历史关注标签列表。

获取物品评论留言模块，用于基于注册ID在物品推广网站进行检索，获取当前用户对应的物品评论留言。

获取当前标签模块，用于采用语言情感分析工具对物品评论留言进行分析，获取至少一个当前关注标签。

对比当前标签模块，用于将每一当前关注标签与历史关注标签列表中的每一历史关注标签进行对比。

添加当前物品模块，用于若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。

关于兴趣收集装置的具体限定可以参见上文中对于兴趣收集方法的限定，在此不再赘述。上述兴趣收集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于兴趣收集方法相关的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种兴趣收集方法。

在一实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例兴趣收集方法，例如图2所示S10至步骤S60。或者，处理器执行计算机程序时实现上述实施例中兴趣收集装置的各模块/单元的功能，例如图8所示模块10至模块60的功能。为避免重复，此处不再赘述。

在一实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例兴趣收集方法，例如图2所示S10至步骤S60。或者，该计算机程序被处理器执行时实现上述装置实施例中兴趣收集装置中各模块/单元的功能，例如图8所示模块10至模块60的功能。为避免重复，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种兴趣收集方法，其特征在于，包括：

获取至少一个人脸采集设备实时采集当前用户的原始视频流；

基于所述原始视频流，确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；

若所述用户停留时间大于时间停留阈值，则采用微表情识别工具对所述微表情图像进行分析，获取目标微表情分值表，获取目标微表情分值表中百分比最高的表情作为当前表情，获取分析结果为感兴趣表情对应的所述物品类别标签，标记为当前兴趣标签；其中，所述微表情识别工具包括至少两种用以获取微表情的微表情识别模型，每一微表情识别模型对应一种微表情，所述目标微表情分值表包括微表情识别工具中所有种类的微表情识别模型分别对应的微表情得分，将每一微表情对应的微表情标签和微表情得分对应存储，即可得微表情分值表；

基于所述用户停留时间的降序顺序，将每一兴趣表情对应的物品标签进行排序，获得包含用户停留时长、感兴趣表情种类和物品类别的用户最可能感兴趣的物品对应的当前关注标签列表；

基于所述当前关注标签列表中每一所述当前兴趣标签对应的至少一个物品，形成兴趣物品列表；

将所述微表情图像与所述兴趣物品列表发送给兴趣采集终端。

2.如权利要求1所述的兴趣收集方法，其特征在于，在所述获取至少一个人脸采集设备实时采集当前用户的原始视频流之后，所述兴趣收集方法还包括：

将所述微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；

若所述图像匹配结果为匹配成功，则所述当前用户为历史用户，获取与所述历史用户相对应的历史关注标签列表和与所述历史关注标签列表相对应的关注物品信息，将所述历史关注标签列表和所述关注物品信息发送给所述兴趣采集终端；

若所述图像匹配结果为匹配不成功，则执行基于所述原始视频流，执行确定当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。

3.如权利要求1所述的兴趣收集方法，其特征在于，所述基于所述原始视频流，确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像，包括：

基于所述原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像；

采用图像识别工具对任一帧所述人脸图像进行识别，若识别结果都为所述当前用户，则将任一帧所述人脸图像作为微表情图像，提取所述原始视频流对应的延续时间记录为所述用户停留时间；

获取所述人脸采集设备对应的拍摄范围内的至少一个所述物品类别标签。

4.如权利要求1所述的兴趣收集方法，其特征在于，在所述确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像之后，所述兴趣收集方法还包括：

对所述微表情图像进行人脸识别，若识别结果为注册用户，则获取所述注册用户对应的注册ID和历史关注标签列表；

基于所述注册ID在物品推广网站进行检索，获取所述当前用户对应的物品评论留言；

采用语言情感分析工具对所述物品评论留言进行分析，获取至少一个当前关注标签；

将每一所述当前关注标签与所述历史关注标签列表中的每一历史关注标签进行对比；

若不存在与所述当前关注标签相同的所述历史关注标签，则将所述当前关注标签作为新的历史关注标签添加到所述历史关注标签列表中。

5.如权利要求1所述的兴趣收集方法，其特征在于，在所述将所述微表情图像与所述兴趣物品列表发送给兴趣采集终端之后，所述兴趣收集方法还包括：

获取交易端发送的物品出库请求，所述物品出库请求包括物品ID和交易端ID，基于所述物品ID，获取对应的至少一个当前关注标签；

接收所述交易端ID对应的收银拍摄设备发送的所述当前用户的当前人脸图像；

将所述当前人脸图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；

若所述图像匹配结果为匹配成功，则所述当前用户为历史用户，将每一所述当前关注标签与所述历史用户对应的历史关注标签列表中的每一历史关注标签进行对比；

若不存在与所述当前关注标签相同的所述历史关注标签，则将所述当前关注标签作为新的历史关注标签添加到所述历史关注标签列表中。

6.如权利要求5所述的兴趣收集方法，其特征在于，在所述获取图像匹配结果之后，所述兴趣收集方法还包括：

若所述图像匹配结果为匹配不成功，则将每一所述当前关注标签与所述当前关注标签列表进行匹配；

将任一个不属于所述当前关注标签列表的所述当前关注标签添加到所述当前关注标签列表中，形成所述当前用户对应的历史关注标签列表；

将所述当前人脸图像和所述历史关注标签列表关联存储到所述图像数据库中。

7.一种兴趣收集装置，其特征在于，包括：

获取原始视频流模块，用于获取至少一个人脸采集设备实时采集当前用户的原始视频流；

确定微表情图像模块，用于基于所述原始视频流，确定当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；

分析微表情图像模块，用于若所述用户停留时间大于时间停留阈值，则采用微表情识别工具对所述微表情图像进行分析，获取目标微表情分值表，获取目标微表情分值表中百分比最高的表情作为当前表情，获取分析结果为感兴趣表情对应的所述物品类别标签，标记为当前兴趣标签；其中，所述微表情识别工具包括至少两种用以获取微表情的微表情识别模型，每一微表情识别模型对应一种微表情，所述目标微表情分值表包括微表情识别工具中所有种类的微表情识别模型分别对应的微表情得分，将每一微表情对应的微表情标签和微表情得分对应存储，即可得微表情分值表；

获取标签列表模块，用于基于所述用户停留时间的降序顺序，将每一兴趣表情对应的物品标签进行排序，获得包含用户停留时长、感兴趣表情种类和物品类别的用户最可能感兴趣的物品对应的当前关注标签列表；

形成兴趣列表模块，用于基于所述当前关注标签列表中每一所述当前兴趣标签对应的至少一个物品，形成兴趣物品列表；

发送微表情图像模块，用于将所述微表情图像与所述兴趣物品列表发送给兴趣采集终端。

8.如权利要求7所述的兴趣收集装置，其特征在于，所述兴趣收集装置还包括：

获取匹配结果模块，用于将所述微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；

图像匹配成功模块，用于若所述图像匹配结果为匹配成功，则所述当前用户为历史用户，获取与所述历史用户相对应的历史关注标签列表和与所述历史关注标签列表相对应的关注物品信息，将所述历史关注标签列表和所述关注物品信息发送给所述兴趣采集终端；

图像匹配不成功模块，用于若所述图像匹配结果为匹配不成功，则执行基于所述原始视频流，执行确定当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述兴趣收集方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述兴趣收集方法。