CN113158023B - 基于混合推荐算法的公共数字生活精准分类服务方法 - Google Patents

Abstract

本发明公开了一种基于混合推荐算法的公共数字生活精准分类服务方法，能够对海量数据实现精准分类，从而提高服务供给绩效。本发明通过采集用户信息绘制用户画像，结合文本分析、目标检测、情绪识别、步态识别、协同过滤等算法，实现了对用户提供精准的分类推荐服务的目的，一方面把海量信息中的服务供给与用户需求进行分析、关联与匹配，供需精准对接，减少了用户搜索时间，提高效率；另一方面结合多种特征、多种网络模型，使得模型的分类推荐服务更具精准性。

Description

基于混合推荐算法的公共数字生活精准分类服务方法

技术领域

本发明属于互联网信息服务技术领域，具体涉及一种基于混合推荐算法的公共数字生活精准分类服务方法。

背景技术

在大数据时代的大背景下，社会越来越重视信息科技与公共生活的深度融合，信息科技与公共生活的融合规模不断扩大，技术治理技术也越来越丰富多元，急需全面统筹与资源整合，推动公共生活数字化。数字生活是依托互联网和一系列数字科技技术应用为基础的一种生活方式，可以方便快捷的带给人们更好的生活体验和工作便利。

随着数字生活服务的规模不断扩大，繁杂多样的信息数据遍布网络，同时也伴随着信息超负载的问题。用户在享受多种多样的信息数据资源带来的方便的同时，也在承担在大量无效数据里寻找有用信息的压力。用户无法在过量的数据中迅速获取对自己有用的资源，降低了数据的利用率，许多有用的海量数据不能被快速浏览甚至搜索超时，造成了“资源浪费”。因此，面对海量而复杂的大数据信息，如何针对不同类型用户进行高效缓存和提取，提升公共数字生活个性化服务的精准性已成为迫切需要解决的问题。

面对需求各异的社会成员，公共数字生活仍普遍存在对象聚焦不精准、需求识别不精准、供需对接不精准和主体责任不精准等“四不精准”问题，严重影响着公共数字生活服务的质量与品质。在大数据背景下，要想达到精准推荐，用户兴趣模型的构建是关键步骤，它已渐渐发展为独立的研究领域，值得我们更加深入的探索钻研。公开号为CN111291266A的中国专利提出了一种基于人工智能的推荐方法、装置、电子设备及存储介质，其首先获取待推荐对象的对象特征、每个候选推荐信息的候选推荐信息特征，将对象特征分别与每个候选推荐信息的候选推荐信息特征组合成对应每个候选推荐信息的融合特征；接着对对应每个候选推荐信息的融合特征进行多层次映射处理，得到每个候选推荐信息分别对应多个指标的评分；然后对分别对应多个指标的评分进行多指标聚合处理，得到每个候选推荐信息的综合评分，以对多个候选推荐信息进行降序排序；最后在降序排序的结果中选择排序靠前的至少一个候选推荐信息，以执行对应待推荐对象的推荐操作。公开号为CN103209342A的中国专利提出了一种引入视频流行度和用户兴趣变化的协作过滤推荐方法，其首先通过采集用户行为数据进行处理得到用户-视频二进制关联矩阵，基于该矩阵得到视频流行度权重和用户兴趣度权重，并引入到用户相似度计算过程中；然后找到与目标用户相似度最大的前K个邻居，通过与邻居用户的相似度大小预测目标用户对未产生有效行为视频的兴趣值；最后选取兴趣值最大的N个视频形成推荐列表为用户做出个性化推荐。以上两项专利技术已较为成熟，但局限性较大，只能用于特定区域中，未能多特征融合构建用户画像，且网络模型单一，对于提高推荐准确性有一定限制。一个优良的推荐系统要能够准确、高效处理大规模稀疏训练数据，同时还要融合用户的多特征属性，打破单一局限，对不同类别使用不同网络模型，使推荐系统更加精准、更加完善。

发明内容

鉴于上述，本发明提供了一种基于混合推荐算法的公共数字生活精准分类服务方法，能够对海量数据实现精准分类，从而提高服务供给绩效。

一种基于混合推荐算法的公共数字生活精准分类服务方法，包括如下步骤：

(1)收集用户的数字画像信息；

(2)采用数据挖掘方法对上述信息进行要素关联、综合分析和计算，从而为用户的每个生活类项目打上标签，得到一个关于用户生活偏好的二维矩阵，一维是用户列表，另一维是项目列表，矩阵中的元素值即为某个用户对于某个项目的偏好标签即[0,1]或[-1,1]浮点数值；

(3)基于上述矩阵找出相似的用户及相似的项目，即利用多个用户对于某两个项目的偏好标签来计算这两个项目之间的相似度，以及某两个用户对于多个项目的偏好标签来计算这两个用户之间的相似度；

(4)根据用户对于项目的偏好以及用户之间的相似度和项目之间的相似度，采用协同过滤算法为用户提供精准的分类推荐服务。

进一步地，所述步骤(1)中的数字画像信息包括人口、生活、社交、消费、行为共五个属性维度，其中人口属性包含基础信息(如姓名、性别、身高、体重、血型、婚否、联系方式等)和位置信息(如家庭地址、单位地址等)，生活属性包含习惯信息(如活动范围、出行方式、喜爱的电视节目类型等)和人群属性(如年龄、文化教育程度等)，社交属性包含实际生活属性(如家庭成员、亲朋好友、常去场所、兴趣爱好等)何虚拟网络属性(如常用的社交软件、网站、上网时段等)，消费属性包含经济信息(如收入、家庭资产、车房等)和消费习惯信息(如品牌偏好、购物类型、支付方式、理财等)，行为属性包含互动行为信息(如常用的移动终端、订阅产品、关注热点等)和旅游信息(如常去的景点类型、旅游时长等)。

进一步地，所述步骤(2)中针对数字画像信息中的非视频数据和视频数据，分别采用基于原始数据挖掘的用户标签构建方式以及基于视频结构化技术的用户标签构建方式。

进一步地，对于非视频数据，基于原始数据挖掘的用户标签构建方式融合了自然语言处理、用户意图识别、关联规则、聚类分析以及轨迹相似度五种方法。

进一步地，所述自然语言处理过程采用TF-IDF算法计算文本之间的相似度，进而根据相似度采用fastText分类器对文本进行归类，最后采用Word2Vec提取文本中的词向量，利用LSTM将各词向量融合成句向量并输入至预先训练好的递归神经网络或循环神经网络，从而预测分析出同类文本所展现的情感。

进一步地，所述用户意图识别即根据用户的搜索记录或者已分析出的用户标签对用户的行为意图进行判断，具体实现过程中采用TF-IDF算法对数据进行向量化，利用词频、卡方和互信息的方式进行特征选择，最后采用预先训练好的决策树CART(Classificationand Regression Trees)、包含多个决策树的随机森林、逻辑回归或贝叶斯模型对用户的行为意图进行判断。

进一步地，所述关联规则即用于发掘表面看似无规律的数据间的关联性，从而发现数据之间的规律性和发展趋势，具体实现过程中则采用Apriori或FP-Growth算法；所述聚类分析即用于将相似的数据归为一类，原则上是使每一类数据的相似性最大，聚类作为无监督算法，适合对高维度数据进行分析；所述轨迹相似度即从时间域和空间域上分析行为轨迹，从历史行为轨迹中挖掘用户的日常行为规律和偏好，并为其打上标签。

进一步地，对于视频数据，基于视频结构化技术的用户标签构建方式融合了目标检测、OpenCV+CNN情绪识别、GaitSet步态识别三种方法。

进一步地，所述OpenCV+CNN情绪识别用于检测出视频图像中人脸的表情状态，具体实现过程首先是人脸的检测与定位，然后是面部表情特征的提取，最后使用预先训练好的卷积神经网络CNN用于人脸表情的分类与判断。

进一步地，所述GaitSet步态识别用于检测出视频图像中人的行走姿态，具体实现过程中首先将图像输入卷积神经网络CNN中以提取特征，再集合多特征池化的方式为将图像中的特征聚合成一个特征向量，同时采用Horizontal Pyramid Pooling(水平金字塔池化，HPP)使得特征更具鉴别性，在预测计算上则采用双流法即包含两个通道：一个是RGB图像通道用于建模空间信息，另一个是光流通道用于RNN建模时序信息，两者联合训练并进行信息融合，最后将特征输入训练好的模型中从而实现步态识别。

本发明方法通过采集用户信息绘制用户画像，结合文本分析、目标检测、情绪识别、步态识别、协同过滤等算法，实现了对用户提供精准的分类推荐服务的目的，一方面把海量信息中的服务供给与用户需求进行分析、关联与匹配，供需精准对接，减少了用户搜索时间，提高效率；另一方面结合多种特征、多种网络模型，使得模型的分类推荐服务更具精准性。

附图说明

图1为用户数字画像信息示意图。

图2为用户画像构建框架示意图。

图3为基于LSTM的文本情感分析模型架构图。

图4为多维度立体用户画像示意图。

图5为协同过滤推荐算法的具体流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本实施例通过基于协同过滤的推荐算法，提供重点生活场景的精准分类服务引擎，精准分类服务引擎即面向需求各异的社会成员，收集其基本信息、主观需求等数据，运用前期工作形成的用户数字画像，结合视频分析与其他相关处理技术对重点生活场景下的公共生活服务需求进行辨别和区分，最终准确把握社会公众需求，提高服务供给绩效。

本实施例的用户数字画像依托于人、企、地、事、物这五个基础要素主题库，并将这五个基础要素主题库与公共生活场景深度结合，提出构建围绕公共数字生活场景下用户画像的五大维度。

前期用户数字画像的五大维度具体如图1所示：

1.人口属性

用于描述用户社会层面基本特征信息，帮助各个重点生活应用场景知道用户的基本情况。社会属性包括：姓名、性别、血型、身高、年龄、婚否、受教育程度、收入、联系方式、住址等等。

2.生活属性

用于了解用户的生活状况，如生活活动范围、出行方式等，以便后续给用户提供精准的服务。如某用户的出行方式一直都是自驾车出行，则可以推荐加油卡等，提供推送车辆信息等相关服务；如某老年人长期生活活动范围单一，则可向其推送更多社区相关服务等。

3.社交属性

在实际现实方面，可以从用户的社交图谱、家庭成员、朋友圈、兴趣爱好等在现实生活中的社交情况，反映出用户的社会关系网，以点带面，对这一类的用户提高相似的推荐服务。在通过社交信息，尽可能地全方面了解用户，方便为用户提供个性化的服务。

兴趣爱好的信息来源为已有的消费记录、位置信息和不同的语义场景等，比如通过用户在不同网站的留言或者评价，我们会通过NLP等自然语义分析对用户的语义进行深度挖掘，在结合其他属性，对用户进行分类标注，例如“数码产品爱好者”等，之后可进行商家或者商品的精准推荐。

4.消费特征

用于描述用户的主要消费习惯、消费偏好、消费相关服务的潜在用户，依据用户消费特点推荐相关产品和服务，转化率将非常高。消费特征包括：有车族、有房族、购物类型、购买周期、品牌偏好等等。为了便于筛选用户，可以参考用户的消费记录和语义场景，将用户直接定性为某些消费特征人群，例如差旅人群，境外游人群，奢侈品族，母婴用户，理财人群等等。

5.行为属性

用于记录用户的日常行为等，关注、订阅的产品和以往的行为轨迹等，结合其它维度进行用户画像的最终固定，例如可根据不同的消费等级与历史旅游习惯的权重分配，计算出个人对于旅游品质爱好的习惯，对于景区行业，还可以根据其性格特征来推荐相应的合适景点，提高推荐转化率；例如精准推荐景区相对应的酒店，农家乐等，还可根据是否有车习惯自驾等，结合景区智能停车管理，实时推荐有空位的停车场景区等，帮助推广景区人民的旅游产业，减缓道路拥堵增加人流量，实现双赢。

现在已经有结构化的、清晰的用户属性、用户行为相关数据，在此基础上，搭建用户画像系统，需要数据建模、确立用户画像维度、形成标签、形成初步用户画像、评估用户画像效果、持续优化。

接着对不同要素主题库、不同类别的数据实体使用数据挖掘算法进行要素关联、综合分析和计算，深度挖掘不同用户群体五个维度上的差异，并根据这五个维度为用户打上标签，最后得到需要的用户数字画像，用户画像构建框架如图2所示。其中在画像构建部分，又根据数据是属于非视频数据还是视频数据，提出了基于原始数据挖掘的用户标签构建、基于视频结构化技术的用户标签构建这两种用户画像标签构建方式。

基于原始数据挖掘的用户标签构建

对于非视频数据，使用主要使用数据挖掘算法中的NLP自然语言处理、聚类、分类、关联规则算法对五个要素主题库的数据等进行综合分析和计算，挖掘不同用户群体行为规律的差异，为用户打上标签。

(1)自然语言处理

1.1文本相似度

在做自然语言处理的过程中，我们经常会遇到需要找出相似语句的场景，或者找出句子的近似表达，挖掘不同人的不同的表达之间的关联性，从而发现什么事情是可能存在的热点事件，方便后续对此类事件的预测等，这时候就需要把类似的句子归到一起，这里面就涉及到句子相似度计算的问题。

常用的文本相似度算法有TF-IDF算法，TF-IDF算法是TF词向量相似度矩阵加IDF逆文档频率算法，对于词条t和某一文本d来说，词条在该文本d的权重计算公式：

其中TF词向量相似度矩阵就是求解两个向量夹角的余弦值，就是点乘积除以二者的模长，公式为

IDF逆文档频率是为降低具有"普遍性"词语的权重，提升具有"个性化"的词的频率的作用，其公式为

1.2自然语言文本归类

文本分类的目的是将文档(例如电子邮件、帖子、文本消息、产品评论等)分给一个或多个类别，表示这些类别可以是评价分数、垃圾邮件、非垃圾邮件或者是文档所用的语言。

目前，构建此类分类器最主要的方法基于两个领域的算法：一个是基于神经网络，另一个是基于机器学习。fastText是一个机器学习类的快速文本分类算法，与基于神经网络的分类算法相比有两大优点：

1)fastText在保持高精度的情况下加快了训练速度和测试速度。

2)fastText不需要预训练好的词向量，fastText会自己训练词向量。

1.3基于LSTM的文本情感分析

情感分析是自然语言处理中常见的场景，比如淘宝商品评价等，对于指导产品更新迭代具有关键性作用；通过情感分析，可以挖掘产品在各个维度的优劣，从而明确如何改进产品。比如对淘宝商品评价，可以分析商品的品质、后续的用户体验、商家的态度等多个维度的用户情感指数，从而从各个维度上改进产品服务。

因为词语的多语义性质，需要用高维向量才能准确的描述词，这里使用了谷歌的开源语义框架Word2Vec，它不仅用高维向量表示一个词，并把相近意思的词语放在相近的位置，而且用的是实数向量(不局限于整数)，再用欧氏距离或余弦相似度都可以找出两个具有相近意思的词语，以此解决了“一义多词”的问题。

如图3所示，将分好的词向量与句子组合成矩阵，并使用递归神经网络或循环神经网络(RNNs)，它们的作用跟卷积神经网络是一样的，将矩阵形式的输入编码为较低维度的一维向量，而保留大多数有用信息，并结合情感词字典，达到准备分类文本中展现的情感。

(2)用户意图识别

利用大数据和机器学习技术，对用户的行为意图进行判断。例如“苹果”这个词既是水果又是某大型科技公司的名称，那么我们可以根据用户的搜索记录或者之前分析出的用户标签是“科技发烧友”或者是“家庭主妇”等的区别来推荐不同的产品，在根据统一地址库结合高德API帮助群众寻找到离自己最近的商家，也可帮助商家拓宽客户来源。

通常通过特征工程将采集到的数据源利用TF-IDF进行向量化，可以得到一个高维的特征向量，我们可以利用词频、卡方、互信息等方法进行特征选择，保留更有用的特征信息。

同时还可以加入一些数字特征在里面，例如：

①Query的长度

②Query的频次

③Title的长度

④Title的频次

⑤BM-25

⑥Query的首字、尾字等

在特征任务完成后，使用决策树算法CART(Classification and RegressionTrees)树、与包含多个决策树的随机森林、以及逻辑回归、贝叶斯算法等模型来进行训练。

(3)关联规则

数据关联分析就是发现表面看来无规律的数据间的关联性，从而发现事物之间的规律性和发展趋势等，常用的关联规则挖掘算法包括Apriori算法和FP-Growth算法。Apriori算法首先通过遍历数据库确定频繁项集，然后根据支持度阈值进行修剪，最后根据支持度来计算可信度，从而确定关联规则，这是一种被广泛应用的关联规则挖掘算法，但在大数据集上可能较慢，适用于数值型或者标称型数据。FP-Growth算法是对Apriori算法最经典的改进，采用频繁模式树存储频繁项集，减少数据库扫描次数。

(4)聚类分析

聚类就是将相似的数据归为一类，原则是使每一类数据的相似性最大。常用的聚类算法包括基于划分的聚类方法、基于层次的聚类方法、基于密度的聚类方法和基于模型的聚类方法四大类，其中最常用的是K-means算法，K-means算法是一种基于划分的聚类方法，通过随机选择k个数据点作为初始聚类中心，根据特定的距离算法将待聚类的数据集分成k簇。除此之外，常用的聚类方法还有基于密度的DBSCAN算法、基于层次的BIRCH算法以及基于模型的高斯混合模型(GMM)等。

(5)轨迹相似度

轨迹之间的相似性度量是轨迹数据挖掘和查询的基础，对任意两条轨迹T_a和T_b，设T_a和T_b之间的距离为Dist(T_a,T_b)，距离为0代表这两条轨迹完全相同，距离越大表示两条轨迹的相似度越低或相异度越高。CPD(Closest-Pair Distance)是以两条轨迹中位置点间的最小距离作为这两条轨迹之间距离的一种度量方法，T_a和T_b之间的CPD值计算如下：

其中：Dist(loc,loc')表示两个位置点loc和loc'之间的欧氏距离。

(6)分类分析

分类是指通过算法将数据划分到已经定义好的类别中，常用的分类算法包括决策树算法、基于规则的分类法、深度学习算法、支持向量机(SVM)算法、贝叶斯算法等；常用的决策树算法CART(Classification and Regression Trees)树、与包含多个决策树的随机森林、以及逻辑回归、贝叶斯算法等模型被用来做数据预测分析。

通过关联分析对用户与其他事物的关联，比如对图书借阅信息进行数据挖掘，可以建立学生与学生、图书与图书、图书与学生之间的关联，从而应用于图书阅读推荐中。聚类分析作为无监督算法，适合对高维度数据进行分析，例如根据用户的人口属性、消费信息、位置特征等数据进行聚类分析，寻找具有某些共同特征的用户群体。通过轨迹相似度计算，从时间域和空间域上分析行为轨迹，从历史行为轨迹中挖掘和解释用户的日常行为规律和偏好，并为其打上标签，比如喜欢去健身房、商场或者菜市场等。

基于视频结构化技术的用户标签构建

通过非视频数据，无法直接获取用户出行的详细信息，例如行为方式和着装信息等。因此，为了解决这个问题，本实例采用结合传统算法和深度学习算法的视频结构化技术，视频结构化技术是指将视频通过视频图像处理技术、文本分析技术等领域的算法提取出不同层次的关键信息，并对不同层次的关键信息进行相应的语义描述，最后通过视频标准化描述将关键的视频图像信息和对应的语义信息进行结构化存储，便于记录和检索视频的关键信息。

该方法主要涉及到了目标检测、情绪识别、行为识别等技术，使得视频图像中的信息能够被有效的表达出来，并且能够对每一张图像生成相应的描述句，即文本标签。

(1)目标检测算法

目标检测是近几年计算机视觉的热门研究方向之一，其主要目的是通过计算机程序自动实现图片或视频中特定目标的位置框定和种类识别。随着计算机计算能力的逐步提升以及基于深度学习的目标检测算法的迅速发展，目标检测技术已经可以逐步应用于日常生活之中。根据目标检测算法的实现过程，当前的主流目标检测算法被划分为两类：一阶段算法和两阶段算法。两阶段算法是指算法的执行过程为两个阶段，即先计算出图像中的目标位置，再对目标进行分类识别，而一阶段算法则能将上述两个阶段合二为一。两类方法各有自己的优点和缺点，一般情况下，两阶段算法能够呈现更为精确的结果，而一阶段算法是在一个处理过程中将图像的特征提取与目标检测同时完成，能够取得更快的速度。常用的两阶段目标检测算法有R-CNN、SPP-Net、Fast-R-CNN等，常见的一阶段目标检测算法有YOLO系列、SSD系列。

目标检测算法在本实例中起到了至关重要的作用，首先通过摄像头获取视频信息，然后通过目标检测算法进行目标层级的标签提取，比如用户的衣服的颜色、类型；用户的年龄段标签提取，比如老人、小孩、成人等；具体的交通方式标签提取，例如步行、骑自行车、地铁、驾车；同时，目标检测算法也被用来做行为识别，用于行为方式标签提取，比如行为鬼鬼祟祟或行动不便等。

(2)OpenCV+CNN情绪识别算法

美国加州大学教授Albert Mehrabian把人的感情表达效果总结了一个公式：感情的表达＝7％的语言+38％的声音+55％的表情。可见表情在人类所有感情的外在表达中占据的重要位置，通过在公共聚集场所检测人脸的表情可以提前预测险情等。

本实例通过CNN的可视化分类三阶段训练，首先是人脸的检测于定位，然后是面部表情特征(可根据业务需要设定特征数)的提取，最后使用卷积神经网络CNN用于特征的分类与判断。

(3)GaitSet步态识别

步态是指人们行走时的方式，这是一种复杂的行为特征；尤其在刑事侦查中，具有反侦察意识的罪犯或许会给自己化装，不让自己身上的哪怕一根毛发掉在作案现场，但有样东西他们是很难控制的，这就是走路的姿势。因此在重点人员场所使用监控摄像头+步态识别算法，可以找到可能存在的嫌疑人，结合情绪识别算法，可以提前预测出可能出现的危险事件。

在算法的实现上，通过将步态序列的黑白轮廓图每幅图像分别输入CNN网络提取特征，每幅图像单独处理以解决不同图像集数量不一致导致的精确度问题，再集合多特征池化的方式为将各幅图像的CNN特征聚合成一个特征向量；引入Horizontal PyramidPooling(HPP)提取4个尺度的特征，为使得特征更具鉴别性。

在计算上使用双流法，即包含两个通道：一个是RGB图像通道，用于建模空间信息；另一个是光流通道，用于RNN建模时序信息；两者联合训练，并进行信息融合。时序信息的提取方法包括光流法、运动向量Motion Vector、ffmpeg等，ffmpeg自带的运动向量效果，效果类似于光流法，但是是基于block的，而光流是基于pixel的，光流效果更佳精细，运动向量速度更快。

本实例经过测试训练后最高可在仅有7帧黑白轮廓图的情况下，GaitSet算法的精度即可达到82％；以25帧为监控视频常设帧率计算，仅需要0.28秒的行人视频即能达到一个较高的步态识别精度了。

通过上述方法构建出多维度立体用户画像，如图4所示，最后根据构建的用户数字画像结合推荐算法搭建精准的分类服务引擎，提供相应生活场景的推荐服务。

最后采用协同过滤的分类算法，其原理简单来说就是根据用户的历史行为数据发现用户对项目的兴趣度，发现物品或者内容本身的相关性，或者是发现用户的相关性，通过最大限度的利用用户之间或物品之间的相似相关性，而后在这些信息的基础上实现精准的分类推荐，具体分类过程如图5所示：

1.将已经收集到的用户“数字画像”信息，对其数据进行减噪与归一化操作，得到一个用户偏好的二维矩阵，一维是用户列表，另一维是项目列表即图中标签表，元素值是用户对项目的偏好即图中对象评分表，一般是[0,1]或者[-1,1]的浮点数值。

2.对目标的数字图像数据进行数据分解，具体分解为标签数据和评分数据，并分为①、②两部分进行操作：

①部分流出的数据，经软过滤操作，对其偏差过大的数据筛选、剔除之后，再计算出其标签、数量等信息；再将这些信息聚类形成标签组，标签组内包含用户表及其标签表；通过标签组内各用户及对应的标签，计算用户目标之间的标签相似度，将计算而得的标签相似度数据生成标签矩阵并存储。

②部分流出的数据，经软过滤操作，对其偏差过大的数据筛选、剔除之后，生成评分矩阵，评分矩阵内包含用户表、用户对应的对象表、用户对对象的评分表，将评分矩阵进行存储。

3.对生成的标签矩阵、评分矩阵进行综合解析，利用相似度计算方法计算最终的目标相似度；常见的计算相似度的方法有欧几里德距离、皮尔逊相关系数。欧几里德距离(Euclidean Distance)是最初用于计算欧几里德空间中两个点的距离，假设x、y是n维空间的两个点，它们之间的欧几里德距离为：

可以看出，当n＝2时，欧几里德距离就是平面上两个点的距离，距离越小，相似度越大，通过以上计算得出的协同过滤算法的相似度对分类推荐计算进行修正和补充，进而提升推荐结果的精准度；通过数字画像的数据，基于协同过滤算法来分析用户潜在的需求，主动为用户推荐相关生活场景信息。随着用户在某一具体场景产生数据的增加，精准分类服务引擎的推荐技术不断对数字画像进行补充与修正，而更为详细的数字画像则会进一步提高推荐结果的准确度。

通过计算的目标相似度数据可预测用户对某一对象的兴趣度，再生成最终的推荐目录，最终精准分类工作完成。

针对很多情况下用户没有明确的反馈对服务的偏好，而是通过一些行为隐式反馈的问题，本实例使用ALS-WR方法，它是通过置信度的权重来解决的，即对于我们更确信用户偏好的项赋予较大的权重，对于没有反馈的项，赋予较小的权重，从而通过用户的其他行为来反射出用户的真实兴趣度。

ALS-WR算法的目标函数为：

其中：

c_u,i＝1+αr_u,i，α是置信度系数。

通过最小二乘法求解：

x_u＝(Y^TC^UY+λI)^-1Y^TC^ur(u)

y_i＝(X^TCⁱX+λI)^-1X^TCⁱr(i)

其中：C^u是个n×n维的对角矩阵，

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明，熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (1)

1.一种基于混合推荐算法的公共数字生活精准分类服务方法，包括如下步骤：

(1)收集用户的数字画像信息，包括人口、生活、社交、消费、行为共五个属性维度，其中人口属性包含基础信息和位置信息，生活属性包含习惯信息和人群属性，社交属性包含实际生活属性何虚拟网络属性，消费属性包含经济信息和消费习惯信息，行为属性包含互动行为信息和旅游信息；

(2)采用数据挖掘方法对上述信息进行要素关联、综合分析和计算，从而为用户的每个生活类项目打上标签，得到一个关于用户生活偏好的二维矩阵，一维是用户列表，另一维是项目列表，矩阵中的元素值即为某个用户对于某个项目的偏好标签即[0,1]或[-1,1]浮点数值；

针对数字画像信息中的非视频数据和视频数据，分别采用基于原始数据挖掘的用户标签构建方式以及基于视频结构化技术的用户标签构建方式；对于非视频数据，基于原始数据挖掘的用户标签构建方式融合了自然语言处理、用户意图识别、关联规则、聚类分析以及轨迹相似度五种方法；对于视频数据，基于视频结构化技术的用户标签构建方式融合了目标检测、OpenCV+CNN情绪识别、GaitSet步态识别三种方法；

所述自然语言处理过程采用TF-IDF算法计算文本之间的相似度，进而根据相似度采用fastText分类器对文本进行归类，最后采用Word2Vec提取文本中的词向量，利用LSTM将各词向量融合成句向量并输入至预先训练好的递归神经网络或循环神经网络，从而预测分析出同类文本所展现的情感；

所述用户意图识别即根据用户的搜索记录或者已分析出的用户标签对用户的行为意图进行判断，具体实现过程中采用TF-IDF算法对数据进行向量化，利用词频、卡方和互信息的方式进行特征选择，并加入包括Query的长度和频次、Title的长度和频次、BM-25、Query的首字和尾字在内的数字特征，最后采用预先训练好的决策树CART、包含多个决策树的随机森林、逻辑回归或贝叶斯模型对用户的行为意图进行判断；

所述关联规则即用于发掘表面看似无规律的数据间的关联性，从而发现数据之间的规律性和发展趋势，具体实现过程中则采用Apriori或FP-Growth算法；所述聚类分析即用于将相似的数据归为一类，原则上是使每一类数据的相似性最大，聚类作为无监督算法，适合对高维度数据进行分析；所述轨迹相似度即从时间域和空间域上分析行为轨迹，从历史行为轨迹中挖掘用户的日常行为规律和偏好，并为其打上标签；

所述OpenCV+CNN情绪识别用于检测出视频图像中人脸的表情状态，具体实现过程首先是人脸的检测与定位，然后是面部表情特征的提取，最后使用预先训练好的卷积神经网络CNN用于人脸表情的分类与判断；

所述GaitSet步态识别用于检测出视频图像中人的行走姿态，具体实现过程中首先将图像输入卷积神经网络CNN中以提取特征，再集合多特征池化的方式为将图像中的特征聚合成一个特征向量，同时采用Horizontal Pyramid Pooling使得特征更具鉴别性，在预测计算上则采用双流法即包含两个通道：一个是RGB图像通道用于建模空间信息，另一个是光流通道用于RNN建模时序信息，两者联合训练并进行信息融合，最后将特征输入训练好的模型中从而实现步态识别；

(3)基于上述矩阵找出相似的用户及相似的项目，即利用多个用户对于某两个项目的偏好标签来计算这两个项目之间的相似度，以及某两个用户对于多个项目的偏好标签来计算这两个用户之间的相似度；

(4)根据用户对于项目的偏好以及用户之间的相似度和项目之间的相似度，采用协同过滤算法为用户提供精准的分类推荐服务；

所述协同过滤算法就是根据用户的历史行为数据发现用户对项目的兴趣度，发现物品或者内容本身的相关性，或者是发现用户的相关性，通过最大限度的利用用户之间或物品之间的相似相关性，而后在这些信息的基础上实现精准的分类推荐，具体分类过程如下：

4.1将已经收集到的用户数字画像信息，对其数据进行减噪与归一化操作，得到一个用户偏好的二维矩阵，一维是用户列表，另一维是项目列表即图中标签表，元素值是用户对项目的偏好即图中对象评分表，一般是[0,1]或者[-1,1]的浮点数值；

4.2对目标的数字图像数据进行数据分解，具体分解为标签数据和评分数据，并分为①、②两部分进行操作：

①部分流出的数据，经软过滤操作，对其偏差过大的数据筛选、剔除之后，再计算出其标签、数量信息；再将这些信息聚类形成标签组，标签组内包含用户表及其标签表；通过标签组内各用户及对应的标签，计算用户目标之间的标签相似度，将计算而得的标签相似度数据生成标签矩阵并存储；

②部分流出的数据，经软过滤操作，对其偏差过大的数据筛选、剔除之后，生成评分矩阵，评分矩阵内包含用户表、用户对应的对象表、用户对对象的评分表，将评分矩阵进行存储；

4.3对生成的标签矩阵、评分矩阵进行综合解析，利用相似度计算方法计算最终的目标相似度，具体则采用欧式距离，假设x、y是n维空间的两个点，它们之间的欧几里德距离为：

可以看出，当n＝2时，欧几里德距离就是平面上两个点的距离，距离越小，相似度越大，通过以上计算得出的协同过滤算法的相似度对分类推荐计算进行修正和补充，进而提升推荐结果的精准度；通过数字画像的数据，基于协同过滤算法来分析用户潜在的需求，主动为用户推荐相关生活场景信息；随着用户在某一具体场景产生数据的增加，精准分类服务引擎的推荐技术不断对数字画像进行补充与修正，而更为详细的数字画像则会进一步提高推荐结果的准确度；

4.4根据求得的目标相似度数据可预测用户对某一对象的兴趣度，再生成最终的推荐目录，最终精准分类工作完成；

针对很多情况下用户没有明确的反馈对服务的偏好，而是通过一些行为隐式反馈的问题，则使用ALS-WR方法，它是通过置信度的权重来解决的，即对于更确信用户偏好的项赋予较大的权重，对于没有反馈的项，赋予较小的权重，从而通过用户的其他行为来反射出用户的真实兴趣度。

Images