CN110008376A - 用户画像向量生成方法及装置 - Google Patents

用户画像向量生成方法及装置 Download PDF

Info

Publication number
CN110008376A
CN110008376A CN201910224171.5A CN201910224171A CN110008376A CN 110008376 A CN110008376 A CN 110008376A CN 201910224171 A CN201910224171 A CN 201910224171A CN 110008376 A CN110008376 A CN 110008376A
Authority
CN
China
Prior art keywords
vector
video
user
portrait
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910224171.5A
Other languages
English (en)
Inventor
邹红才
郑海洪
潘春球
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou New Video Exhibition Investment Consulting Co Ltd
Original Assignee
Guangzhou New Video Exhibition Investment Consulting Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou New Video Exhibition Investment Consulting Co Ltd filed Critical Guangzhou New Video Exhibition Investment Consulting Co Ltd
Priority to CN201910224171.5A priority Critical patent/CN110008376A/zh
Publication of CN110008376A publication Critical patent/CN110008376A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种用户画像向量生成方法及装置。所述方法包括:根据用户的视频点击历史,获取该用户观看过的视频信息;根据获取的所述视频信息,查找与视频对应的视频描述向量,其中所述视频描述向量是通过对视频所含图像进行分析而生成的;以及基于查找出的视频描述向量,生成用户画像向量。由此,通过将视频的图像内容描述向量化,基于用户的观看历史构建用户图像向量,从而能够根据用户的观看行为本身快速实现对用户画像的描述。进一步地,用户画像向量可以根据观看历史的累积而以不同方式被实时更新,从而使得用户画像的描述更为准确、生成和更新的过程更为轻量。

Description

用户画像向量生成方法及装置
技术领域
本发明涉及推荐系统,尤其涉及一种用户画像向量生成方法及装置。
背景技术
视频行业近年来发展迅猛,其中短视频尤以其社交性而大行其道,并且出现在一大批以分发个人状况短视频为主的短视频社交应用,这类应用主要以短视频消费为主社交为辅进行体系的构建。
为了提高用户友好度并减少低效的后台计算,这些应用需要将合适的视频内容在合适的时间以合适的方式推荐给合适的用户。内容合适是指内容契合目标用户口味,时间合适是指推荐内容应景当时的上下文,方式合适是指推荐的内容展现方式让用户感到舒适,用户合适是指推荐的用户确实对被推荐内容有较强的认可度。为此,进行高效推荐的一个前提是理解用户,这就需要创建用户画像来对用户进行表述。
在现有技术中,主要基于人口属性和行为特征来构建用户画像。但现有的用户画像构建方法需要消耗大量的人力和物力,并且在上述行为数据和其他背景数据不足的情况下无法进行准确描述。
为此,需要一种更为轻量且高效的用户画像生成方案。
发明内容
有鉴于此,本发明提出了一种用户画像向量生成方法及装置,其通过将视频的图像内容描述向量化,来基于用户的观看历史构建用户图像向量,从而能够根据用户的观看行为本身快速实现对用户画像的描述。进一步地,用户画像向量可以根据观看历史的累积而以不同方式被实时更新,从而使得用户画像的描述更为准确、生成和更新的过程更为轻量。
根据本发明的一个方面,提出了一种用户画像向量生成方法,包括:根据用户的视频点击历史,获取该用户观看过的视频信息;根据获取的所述视频信息,查找与视频对应的视频描述向量,其中所述视频描述向量是通过对视频所含图像进行分析而生成的;以及基于查找出的视频描述向量,生成用户画像向量。由此,通过视频描述的向量化实现用户画像的向量化,从而方便用户画像的生成并提升与视频推荐的计算相关性。
优选地,所述视频的视频描述向量是该视频的关键帧向量,其中,生成关键帧向量包括:提取视频的关键帧;使用人工神经网络(ANN)分类器对每个所述关键帧进行分类;基于分类结果构造视频的关键帧向量。ANN分类器优选可以是经训练的CNN分类器,例如Google Inception模型。由此,可以借助成熟且高准确度的现有ANN模型对视频关键帧进行内容分类和向量构造,并基于向量的易于计算和客观性提升用户画像描述的准确性。
优选地,基于分类结果构造视频的关键帧向量包括:将分类类别作为向量维度,分类所属概率值作为向量分类值,构造每个视频各自的关键帧向量。优选地,所述关键帧向量基于如下的至少一项被简化:选取每个分类结果中分类所属概率值最大的前N个分类构造该视频的关键帧向量,其中,N是预定的正整数;选取每个分类结果中分类所属概率值大于预定阈值的分类构造该视频的关键帧向量;以及对每个分类所属概率值进行小数点后第M位的舍入,以构造每个视频各自的关键帧向量,其中,M是预定的正整数。由此确保对描述视频的向量的客观构造和计算可实现性。
优选地,基于查找出的视频描述向量,生成用户画像向量可以包括合并生成和/或聚类生成。合并生成包括:两两计算多个视频描述向量之间的相似度;以及合并相似的两个或多个视频描述向量作为至少一个用户画像向量。聚类生成则包括:基于多个视频描述向量的相似度对多个视频描述向量进行聚类;以及求取聚类中心作为至少一个所述用户画像向量。由此提升画像生成的灵活性。
优选地,在针对同一用户得到两个或以上用户画像向量的情况下,可以为每个用户画像向量分配与其合并或聚类的视频描述向量个数相关联的权重值。由此,进一步提升用户画像向量对用户行为的描述。
优选地,可以为上述合并和聚类添加各类约束条件,包括但不限于:被合并或聚类的两个或多个视频描述向量的相似度需要大于预定相似度阈值;以及针对同一用户生成的用户画像向量不大于预定的个数阈值和/或满足与观看过的视频个数的预定约束条件等等。
优选地,本发明的方法还可以还包括:根据动态更新的视频点击历史,实时或近实时地求取所述用户画像向量。例如,可以根据获取的视频信息的数量和/或视频描述向量的分布状况,动态选择直接使用、合并或是聚类所述视频描述向量作为所述用户画像向量的操作。
根据本发明的再一个方面,提出了一种用户画像向量生成装置,包括:观看信息获取单元,用于根据用户的视频点击历史获取该用户观看过的视频信息;视频描述向量查找单元,用于根据获取的所述视频信息查找与视频对应的视频描述向量,其中所述视频描述向量是通过对视频所含图像进行分析而生成的;以及用户画像向量求取单元,用于基于查找出的视频描述向量,生成用户画像向量。
优选地,该装置还可以包括:关键帧向量生成单元,用于生成视频的关键帧向量作为该视频的视频描述向量,所述关键帧向量生成单元进一步用于:提取视频的关键帧;使用人工神经网络(ANN)分类器对每个所述关键帧进行分类;基于分类结果构造视频的关键帧向量。
优选地,所述关键帧向量生成单元基于分类结果构造视频的关键帧向量包括:将分类类别作为向量维度,分类所属概率值作为向量分类值,构造每个视频各自的关键帧向量。
优选地,所述关键帧向量生成单元基于如下的至少一项简化所述关键帧向量:选取每个分类结果中分类所属概率值最大的前N个分类构造该视频的关键帧向量,其中,N是预定的正整数;选取每个分类结果中分类所属概率值大于预定阈值的分类构造该视频的关键帧向量;以及对每个分类所属概率值进行小数点后第M位的舍入,以构造每个视频各自的关键帧向量,其中,M是预定的正整数。
优选地,所述用户画像向量求取单元包括合并单元和/或聚类单元,其中,所述合并单元用于:两两计算多个视频描述向量之间的相似度;以及合并相似的两个或多个视频描述向量作为至少一个用户画像向量,所述聚类单元用于:基于多个视频描述向量的相似度对多个视频描述向量进行聚类;以及求取聚类中心作为至少一个所述用户画像向量。
优选地,在所述用户画像向量求取单元针对同一用户得到两个或以上用户画像向量的情况下,为每个用户画像向量分配与其合并或聚类的视频描述向量个数相关联的权重值,其中,被合并或聚类的两个或多个视频描述向量的相似度大于预定相似度阈值,并且针对同一用户生成的用户画像向量不大于预定的个数阈值和/或满足与观看过的视频个数的预定约束条件。
优选地,所述用户画像向量求取单元进一步用于:根据动态更新的视频点击历史,实时或近实时地求取所述用户画像向量,例如,可以根据获取的视频信息的数量和/或视频描述向量的分布状况,动态选择直接使用、合并或是聚类所述视频描述向量作为所述用户画像向量的操作。
根据本发明的再一个方面,提出了一种计算设备,包括:处理器;以及存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如上所述的用户画像向量生成方法。
根据本发明的又一个方面,提出了一种非暂时性机器可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上所述的用户画像向量生成方法。
本方面通过将视频描述向量化,进而将用户图像向量化而提出一种更轻量、高效的用户画像生成方案,该方案能够解决构建用户画像生成需要大量数据及大量人力的问题,利用向量易于计算的特征使用用户的实时消费行为数据实时构建用户画像,而无需考虑用户视频观看行为及用户规模的大小,生成的用户画像可以实时用于推荐及用户分群等。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
图1示出了根据本发明一个实施例的用户画像向量生成方法的流程示意图。
图2示出了关键帧生成的一个例子。
图3示出了典型CNN的组成例。
图4A和4B示出了基于本发明的用户画像向量生成的一个例子。
图5示出了根据本发明一个实施例的用户画像向量生成装置的组成框图。
图6示出了根据本发明一个实施例可用于实现上述视频推荐方法的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
近年来千人千面的人性化推荐系统已成为各大应用(例如,手机APP)的核心标配。进行个性化推荐的前提是理解用户,这就需要创建用户画像来表述用户。用户画像可以理解为在应用信息系统中,利用用户的相关行为(如文本、图片、消费行为等)来构建未知的用户属性特征等重要信息。通过数据,得到用户的可量化的信息表示包括简单的属性特征(如年龄、性别等)以及复杂的模式特征(如网络隐含表示等)。简单来说,用户的行为决定了用户是谁。
构建用户画像在当前已是比较成熟的技术,一般都是根据大量的用户消费行为日志提取用户画像信息。不同的行业和应用由于关注的特征不同,构建的用户画像包含的内容也通常有所不同。对于大部分互联网公司,用户画像一般包含人口属性和行为特征。人口属性主要指用户的年龄、性别、所在的省份和城市、教育程度、婚姻情况、生育情况、工作所在的行业和职业等。行为特征主要包含活跃度、忠诚度等指标。除了以上较通用的特征,不同类型的网站提取的用户画像各有侧重点。以内容为主的媒体或阅读类网站,还有搜索引擎或通用导航类网站,往往会提取用户对浏览内容的兴趣特征,比如体育类、娱乐类、美食类、理财类、旅游类、房产类、汽车类等等。社交网站的用户画像则会提取用户的社交网络数据,试图从中发现关系紧密的用户群和在社群中起到意见领袖作用的明星节点。电商购物网站的用户画像,一般会提取用户的网购兴趣和消费能力等指标。网购兴趣主要指用户在网购时的类目偏好,比如服饰类、箱包类、居家类、母婴类、洗护类、饮食类等。消费能力指用户的购买力,如果做得足够细致,可以把用户的实际消费水平和在每个类目的心理消费水平区分开,分别建立特征纬度。另外还可以加上用户的环境属性,比如当前时间、访问地点LBS特征、当地天气、节假日情况等。当然,对于具有特殊关注的用户纬度的特定网站或应用,可以将这些维度更加细化,从而能给用户提供更精准的个性化服务和内容。
本发明所涉及的用户画像主要是指应用于推荐系统(短视频推荐)中的一种用户画像生成表示技术。它主要解决在产品前中期用户量不够大,用户消费数据不丰富且比较稀疏的情况下怎样有效生成用户画像用于解决个性推荐的问题。
当前主流构建用户画像的技术流程一般为:
1.明确画像目的:了解构建用户画像期望达到什么样的运营或营销效果,从而在标签体系构建时对数据深度、广度及时效性方面进行规划,确保底层设计科学合理。
2.数据采集:用户画像只有建立在客观真实的数据基础上有效。
3.数据清洗:就自身应用平台采集到的数据而言,可能存在非目标数据、无效数据及虚假数据,因而需要过滤原始数据。
4.特征工程:特征工程能够将原始数据转化为特征,在这个步骤中,需要剔除数据中的异常值并将数据标准化。
5.数据标签化:将得到的数据映射到构建的标签中,并将用户的多种特征组合到一起。标签的选择直接影响最终画像的丰富度与准确度,因而数据标签化时需要与应用自身的功能与特点相结合。如电商类APP需要对价格敏感度相关标签细化,而资讯类则需要尽可能多视角地用标签去描述内容的特征。
6.生成画像:数据在模型中运行后最终生成的画像。
现有的这种构建用户的方式有两个主要问题:1.需要有足够的用户行为数据,这在产品前中期用户量不够大,用户消费数据不丰富且比较稀疏的情况下通常无法使用。2.整个构建过程需要大量的人力物力且时间周期较长,见效的速度及效果也和数据量的大小直接相关。
为此,本发明提出一种更轻量、高效的用户画像向量生成方案来解决构建用户画像生成需要大量数据及大量人力的问题。本发明可以直接使用用户的实时消费行为数据实时构建用户画像,而无需考虑用户消费行为的大小及用户规模的大小。生成的用户画像则能够实时用于推荐及用户分群等的后续操作。
本发明通过把视频内容(尤其是,短视频内容)编码成向量,每个短视频项对应一个向量,这些向量优选具有如下特性:a.通过多维向量表示短视频项的内容,b.在短视频项的向量空间中内容相似的内容向量会聚在一起,并且它们的相似度(例如,余弦相似度值)都比较大。在服务端记录每个用户的短视频播放历史,在后台实时的根据每个用户的短视频播放历史向量化的计算用户画像。
图1示出了根据本发明一个实施例的用户画像向量生成方法的流程示意图。该方法可以是向用户推荐视频的推荐方案中的一部分。
在步骤S110,根据用户的视频点击历史,获取该用户观看过的视频信息。在此,可以基于不同的策略,获取不同范围的观看历史。例如,在用户新使用一个应用时,可以获取用户所点击的每一个视频的视频信息。随着用户点击数据的增多,可以选择最近一段时期(例如,最近七天)或最近观看的预定个数(例如,最近观看的100个)视频并获取相应的视频信息。在一个实施例中,还可以进一步根据视频的观看完成度,现在要用于计算用户画像向量的视频。例如,可以选择用户点击的全部视频,也可以仅选择用户观看完或是观看完成度超过预定百分比或时长的视频。
在步骤S120,根据获取的所述视频信息,查找与视频对应的视频描述向量,其中所述视频描述向量是通过对视频所含图像进行分析而生成的。在此,可以对视频库内已有的和/或新上传的视频进行处理,以获取视频所对应的视频描述向量。在一个实施例中,可以使用视频的关键帧向量作为本发明的视频描述向量。使用关键帧向量进行视频内容描述尤其适用于表现主题通常较为单一的短视频。
图2示出了关键帧生成的一个例子。在步骤S210,提取视频的关键帧。在此,可以是针对多个视频提取各自的关键帧。出于计算成本的考虑,优选针对每个视频选择一个关键帧进行处理。在短视频具有封面的情况下,可以直接选择封面作为关键帧。作为替换或者补充,也可以使用已知的关键帧选取算法(例如,ffmpeg)选取视频中的某一帧作为该视频的关键帧。
在步骤S220,使用ANN分类器对每个所述关键帧进行分类。在本发明中使用的ANN分类器尤其可以是适用于图像分类的CNN分类器。
图3示出了典型的CNN的组成层的例子。如图3所示,典型的CNN由一系列有序运行的层组成。
CNN神经网络由输入层、输出层和多个隐藏层串联组成。CNN的第一层读取输入值,例如输入图像,并输出一系列的激活值(也可称为特征图)。下面的层读取由上一层产生的激活值,并输出新的激活值。最后一个分类器(classifier)输出该输入图像可能属于的每一类别的概率。
这些层大致可分为带权重的层(如卷积层、全连接层、批量归一化层等)和不带权重的层(如池化层、ReLU层、Softmax层等)。在这其中,CONV层(Convolutional layers,卷积层)以一系列特征图作为输入,并以卷积内核卷积获得输出激活值。池化层通常与CONV层相连,用于输出每个特征图中的每个分区(sub area)的最大值或平均值,由此通过亚采样降低计算量,同时保持某种程度的位移、尺度和形变不变性。一个CNN中可以包括卷积层和池化层之间的多个交替,由此逐步降低空间分辨率并增加特征映射的数量。随后可以连接至至少一个全连接层,通过应用于输入特征向量上的线性变换,得到包括多个特征值的一维向量输出。
总体来说,带权重的层的操作可以表示为:
Y=WX+b,
其中W为权重值,b为偏置,X为输入激活值,Y为输出激活值。
不带权重的层的操作可以表示为:
Y=f(X),
其中f(X)为非线性函数。
在此,“权重”(weights)指代隐藏层中的参数,从广义上理解可以包括偏置,是通过训练过程习得的数值,并且在推理时保持不变;激活值指代从输入层开始,每一层的输出由输入值和权重值通过运算得到,在各层之间传递的数值,也称为特征值。与权重值不同,激活值的分布会根据输入数据样本而动态变化。
在使用CNN进行推理(例如,图像分类)之前,首先需要对CNN进行训练。通过训练数据的大量导入,确定神经网络模型各层的参数,例如权重和偏置。
在一个实施例中,本发明可以直接使用TensorFlow的图片识别模型来对短视频的关键帧进行图像识别以得到各个分类及其概率值。所使用的CNN模型可以是业内公认的成熟模型,例如Google开源的CNN模型Inception,例如利用大型图像数据库ImageNet中的数据训练而成且错误率仅为3.5%的V3版本。使用现有的模型(例如,Inception_v3模型)可以直接利用业界成果,从而大幅减低成本和算力需求。
在步骤S230,可以基于分类结果构造每个视频各自的关键帧向量。
由于分类结果能够很好地体现关键帧之间的图像相关性,并且转换为向量能够从多个维度来体现上述相关性,因此本发明的推荐方案甚至能够比人工分类更为客观准确的找出视频内容间的相关性。在一个实施例中,可以将分类类别作为向量维度,并将分类所属概率值作为向量分类值来构造关键帧向量。在一个优选实施例中,可以通过求取向量间的余弦相似度来表征向量的相似度。
在例如使用Inception_v3模型进行分类的情况下,会把图像分1000个类别,每个类别都有一个所属类别的概率值。如果把此1000个类别作为短视频的向量的维度则短视频向量有1000维,所属类别的概率值作为各维度的值进而得到一个1000维的向量唯一标识一个短视频。
如果直接对如上得到的向量(例如,1000维)向量进行存储和计算,会导致资源和算力的低效使用。因此,可以不显著影响分类准确率的情况下对向量进行简化。在一个实施例中,可以选取每个分类结果中分类所属概率值最大的前N个分类构造该视频的关键帧向量,其中,N是预定的正整数,例如,可以根据经验值或是系统算力进行选取。例如,在上述1000分类模型的情况下,针对每个短视频的关键帧,可以仅取例如概率值最大的前10个、前50个或是前100个分类,并将其他分类值置零,由此使得1000维的向量降维至仅在10、50或是100个维度上具有非零值的稀疏向量。作为替换或是附加,选取每个分类结果中分类所属概率值大于预定阈值的分类构造该视频的关键帧向量。例如,可以将概率值小于0.001的维度置零。同样作为替换或者附加,可以对每个分类所属概率值进行小数点后第M位的舍入,以构造每个视频各自的关键帧向量,其中,M是预定的正整数。例如,同样是对于1000分类的模型,可以将每个分量值取3位小数(1000分类下的平均值为0.001),并舍去概率值较小的维度。由此,可以针对每个已有视频,生成易于后续运算的、经简化(例如,降维)的关键帧向量。
可以理解的是,除了如上生成根据ANN分类结果向量化的关键帧向量之外,还可以根据其他视频特征处理和提取方法来实现对视频描述的向量化。
随后,在步骤S130,基于查找出的视频描述向量,生成用户画像向量。由此,通过对视频所含图像内容的向量化,进而实现对用户画像的向量化。向量化的用户画像能够更为客观和直接地反应用户对视频的偏好,也更容易进行针对或是基于用户画像的各种计算与更新。
在一个实施例中,本发明的用户画像向量方法还包括根据动态更新的视频点击历史,实时或近实时地求取所述用户画像向量。更优选地,根据获取的视频信息的数量和/或视频描述向量的分布状况,动态选择直接使用、合并或是聚类所述视频描述向量作为所述用户画像向量的操作。
根据可用于生成用户画像向量的视频描述向量的数量和分布,可以采用不同的方法生成用户画像向量。例如,在用户仅观看了一个视频或是仅将一个视频看完的情况下,可以直接使用该视频的视频描述向量(例如,上文中的关键帧向量)来表示用户画像向量。随着用户观看的视频数量增多,则可灵活使用合并或是聚类操作来生成用户画像向量。例如,在用户观看过的视频达到两个或以上时,可以两两计算多个视频描述向量之间的相似度(例如,余弦相似度),并且合并相似的两个或多个视频描述向量作为至少一个用户画像向量。而当用户观看过的视频数量进一步增加(例如,达到几十个甚至上百个时),则可引入聚类方法,例如基于多个视频描述向量的相似度对多个视频描述向量进行聚类,以及求取聚类中心作为至少一个所述用户画像向量。
在进行合并和聚类的情况下,由于可能存在多个合并和聚类中心(例如,用户集中观看了三个不同主题的多个视频),因此针对某一用户,通常会得到多个用户画像向量,用于表明该用户感兴趣主题的不同方面。
在针对同一用户得到两个或以上用户画像向量的情况下,可以为每个用户画像向量分配与其合并或聚类的视频描述向量个数相关联的权重值。由于用户观看的相似视频越多,通常表明用户对该主题越感兴趣。因此,引入与个数相关的权值,也能够便于后续对用户画像向量的使用。
在进行合并和/或聚类操作(例如,K-Means聚类)时,可以预先制定合并和聚类的限定规则。在一个实施例中,只有相似度大于预定相似度阈值的视频描述向量才可以被合并和/或聚类。例如,在观看历史中只有两个视频时,如果这两个视频的描述向量相似(即,相似度大于预定相似度阈值),则可以合并得到一个用户画像向量。否则,则可分别基于这两个视频描述向量直接得到两个不同的用户画像向量。而在聚类操作中,可以舍弃无法被聚类的分散视频描述向量,也可以将其并入最接近的聚类中心。在聚类操作的情况下,还可以要求每个聚类的视频描述向量不少于预定个数。在另一个实施例中,可以规定同一用户的用户画像向量的上限,以使得针对同一用户生成的用户画像向量不大于预定的个数阈值。作为替换或是补充,用户画像向量的个数需要满足与观看过的视频个数的预定约束条件,例如,生成的聚类数不多于用于生成聚类的视频描述向量个数的十分之一。
如上已结合图1和2描述了本发明的用户画像向量生成的基本原理。如下将结合图4A和4B给出基于本发明的用户画像向量生成的一个例子。
如图4A所示,首先获取用户短视频观看历史。用户短视频观看历史可以根据用户的观看行为实时记录在例如Redis缓存中。
随后,根据观看历史的短视频id,查找Redis缓存以获取各个短视频id对应的向量,向量可以如上所述是经简化的稀疏关键帧向量。
判定观看的短视频个数,如果用户只观看了一个短视频则直接使用此短视频的向量作为此用户的用户画像向量,而如果用户消费了多于一个短视频则进入图4B所示的画像计算逻辑。
如图4B所示,获取用户观看的所有前N(例如,取值100)个短视频向量,同时设置用户画像最大向量个数M(例如,取值10)。随后,对这批短视频向量做K-Means聚类,类目数为10,并且求取每个聚类中心点的向量作为用户画像的向量表示,其中每个向量的权重可以简单的表示为同一聚类所包含短视频的个数。
本专利可以通过用户的消费行为数据直接实时在线得到用户画像用于个性化推荐,尤其适用于新用户和新应用场景,解决了产品冷启动的问题,并且这种方式能够高效快速的构建用户画像,产品第一天上线就可以上线实现个性化推荐,提升用户体验与产品留存度。
在其他实施例中,本发明还能被实现为一种用户画像向量生成装置。图5示出了根据本发明一个实施例的用户画像向量生成装置的组成框图。如图5所示,用户画像向量生成装置500包括观看信息获取单元510、视频描述向量查找单元520和用户画像向量求取单元530。
观看信息获取单元510可用于根据用户的视频点击历史获取该用户观看过的视频信息。视频描述向量查找单元520可用于根据获取的所述视频信息查找与视频对应的视频描述向量,其中所述视频描述向量是通过对视频所含图像进行分析而生成的。用户画像向量求取单元530则可用于基于查找出的视频描述向量,生成用户画像向量。
优选地,该装置500还可以包括:视频描述向量生成单元540。视频描述向量生成单元540可以预先对视频库内的视频进行视频描述向量的计算,并且对每个新上传或获取的视频进行视频描述向量的计算。在一个实施例中,视频描述向量生成单元540可以实现为关键帧向量生成单元,用于生成视频的关键帧向量作为该视频的视频描述向量,所述关键帧向量生成单元进一步用于:提取视频的关键帧;使用人工神经网络(ANN)分类器对每个所述关键帧进行分类;基于分类结果构造视频的关键帧向量。
优选地,所述关键帧向量生成单元基于分类结果构造视频的关键帧向量包括:将分类类别作为向量维度,分类所属概率值作为向量分类值,构造每个视频各自的关键帧向量。
优选地,所述关键帧向量生成单元基于如下的至少一项简化所述关键帧向量:选取每个分类结果中分类所属概率值最大的前N个分类构造该视频的关键帧向量,其中,N是预定的正整数;选取每个分类结果中分类所属概率值大于预定阈值的分类构造该视频的关键帧向量;以及对每个分类所属概率值进行小数点后第M位的舍入,以构造每个视频各自的关键帧向量,其中,M是预定的正整数。
优选地,所述用户画像向量求取单元530可以包括合并单元和/或聚类单元,其中,所述合并单元用于:两两计算多个视频描述向量之间的相似度;以及合并相似的两个或多个视频描述向量作为至少一个用户画像向量,所述聚类单元用于:基于多个视频描述向量的相似度对多个视频描述向量进行聚类;以及求取聚类中心作为至少一个所述用户画像向量。
优选地,在所述用户画像向量求取单元530针对同一用户得到两个或以上用户画像向量的情况下,为每个用户画像向量分配与其合并或聚类的视频描述向量个数相关联的权重值,其中,被合并或聚类的两个或多个视频描述向量的相似度大于预定相似度阈值,并且针对同一用户生成的用户画像向量不大于预定的个数阈值和/或满足与观看过的视频个数的预定约束条件。
优选地,所述用户画像向量求取单元530进一步用于:根据动态更新的视频点击历史,实时或近实时地求取所述用户画像向量,例如,可以根据获取的视频信息的数量和/或视频描述向量的分布状况,动态选择直接使用、合并或是聚类所述视频描述向量作为所述用户画像向量的操作。
图6示出了根据本发明一个实施例可用于实现上述视频推荐方法的计算设备的结构示意图。
参见图6,计算设备600包括存储器610和处理器620。
处理器620可以是一个多核的处理器,也可以包含多个处理器。在一些实施例中,处理器620可以包含一个通用的主处理器以及一个或多个特殊的协处理器,例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中,处理器620可以使用定制的电路实现,例如特定用途集成电路(ASIC,Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA,Field Programmable Gate Arrays)。
存储器610可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM),和永久存储装置。其中,ROM可以存储处理器620或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器610可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器610可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如6VD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器610上存储有可执行代码,当可执行代码被处理器620处理时,可以使处理器620执行上文述及的用户画像生成方法。
上文中已经参考附图详细描述了根据本发明的用户画像生成方案。本方面通过将视频描述向量化,进而将用户图像向量化而提出一种更轻量、高效的用户画像生成方案,该方案能够解决构建用户画像生成需要大量数据及大量人力的问题,利用向量易于计算的特征使用用户的实时消费行为数据实时构建用户画像,而无需考虑用户视频观看行为及用户规模的大小,生成的用户画像可以实时用于推荐及用户分群等。
此外,根据本发明的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者,本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时,使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (20)

1.一种用户画像向量生成方法,包括:
根据用户的视频点击历史,获取该用户观看过的视频信息;
根据获取的所述视频信息,查找与视频对应的视频描述向量,其中所述视频描述向量是通过对视频所含图像进行分析而生成的;以及
基于查找出的视频描述向量,生成用户画像向量。
2.如权利要求1所述的方法,其中,所述视频的视频描述向量是该视频的关键帧向量,其中,生成关键帧向量包括:
提取视频的关键帧;
使用人工神经网络(ANN)分类器对每个所述关键帧进行分类;
基于分类结果构造视频的关键帧向量。
3.如权利要求2所述的方法,其中,基于分类结果构造视频的关键帧向量包括:
将分类类别作为向量维度,分类所属概率值作为向量分类值,构造每个视频各自的关键帧向量。
4.如权利要求3所述的方法,其中,所述关键帧向量根据如下至少一项被简化:
选取每个分类结果中分类所属概率值最大的前N个分类构造该视频的关键帧向量,其中,N是预定的正整数;
选取每个分类结果中分类所属概率值大于预定阈值的分类构造该视频的关键帧向量;以及
对每个分类所属概率值进行小数点后第M位的舍入,以构造每个视频各自的关键帧向量,其中,M是预定的正整数。
5.如权利要求1所述的方法,其中,基于查找出的视频描述向量,生成用户画像向量包括:
两两计算多个视频描述向量之间的相似度;以及
合并相似的两个或多个视频描述向量作为至少一个用户画像向量,和/或
基于多个视频描述向量的相似度对多个视频描述向量进行聚类;以及
求取聚类中心作为至少一个所述用户画像向量。
6.如权利要求5所述的方法,其中,在针对同一用户得到两个或以上用户画像向量的情况下,为每个用户画像向量分配与其合并或聚类的视频描述向量个数相关联的权重值。
7.如权利要求5所述的方法,其中,被合并或聚类的两个或多个视频描述向量的相似度大于预定相似度阈值。
8.如权利要求5所述的方法,其中,针对同一用户生成的用户画像向量不大于预定的个数阈值和/或满足与观看过的视频个数的预定约束条件。
9.如权利要求1所述的方法,还包括:
根据动态更新的视频点击历史,实时或近实时地求取所述用户画像向量。
10.如权利要求9所述的方法,其中,根据动态更新的视频点击历史,实时或近实时地求取所述用户画像向量包括:
根据获取的视频信息的数量和/或视频描述向量的分布状况,动态选择直接使用、合并或是聚类所述视频描述向量作为所述用户画像向量的操作。
11.一种用户画像向量生成装置,包括:
观看信息获取单元,用于根据用户的视频点击历史获取该用户观看过的视频信息;
视频描述向量查找单元,用于根据获取的所述视频信息查找与视频对应的视频描述向量,其中所述视频描述向量是通过对视频所含图像进行分析而生成的;以及
用户画像向量求取单元,用于基于查找出的视频描述向量,生成用户画像向量。
12.如权利要求11所述的装置,还包括:关键帧向量生成单元,用于生成视频的关键帧向量作为该视频的视频描述向量,
所述关键帧向量生成单元进一步用于:
提取视频的关键帧;
使用人工神经网络(ANN)分类器对每个所述关键帧进行分类;
基于分类结果构造视频的关键帧向量。
13.如权利要求12所述的装置,其中,所述关键帧向量生成单元基于分类结果构造视频的关键帧向量包括:
将分类类别作为向量维度,分类所属概率值作为向量分类值,构造每个视频各自的关键帧向量。
14.如权利要求13所述的装置,其中,所述关键帧向量生成单元根据如下至少一项简化所述关键帧向量:
选取每个分类结果中分类所属概率值最大的前N个分类构造该视频的关键帧向量,其中,N是预定的正整数;
选取每个分类结果中分类所属概率值大于预定阈值的分类构造该视频的关键帧向量;以及
对每个分类所属概率值进行小数点后第M位的舍入,以构造每个视频各自的关键帧向量,其中,M是预定的正整数。
15.如权利要求11所述的装置,其中,所述用户画像向量求取单元包括合并单元和/或聚类单元,其中,
所述合并单元用于:
两两计算多个视频描述向量之间的相似度;以及
合并相似的两个或多个视频描述向量作为至少一个用户画像向量,
所述聚类单元用于:
基于多个视频描述向量的相似度对多个视频描述向量进行聚类;以及
求取聚类中心作为至少一个所述用户画像向量。
16.如权利要求15所述的装置,其中,在所述用户画像向量求取单元针对同一用户得到两个或以上用户画像向量的情况下,为每个用户画像向量分配与其合并或聚类的视频描述向量个数相关联的权重值,
其中,被合并或聚类的两个或多个视频描述向量的相似度大于预定相似度阈值,并且
针对同一用户生成的用户画像向量不大于预定的个数阈值和/或满足与观看过的视频个数的预定约束条件。
17.如权利要求11所述的装置,其中,所述用户画像向量求取单元进一步用于:
根据动态更新的视频点击历史,实时或近实时地求取用户画像向量。
18.如权利要求11所述的装置,其中,所述用户画像向量求取单元进一步用于:
根据获取的视频信息的数量和/或视频描述向量的分布状况,动态选择直接使用、合并或是聚类所述视频描述向量作为所述用户画像向量的操作。
19.一种计算设备,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1-10中任一项所述的方法。
20.一种非暂时性机器可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1-10中任一项所述的方法。
CN201910224171.5A 2019-03-22 2019-03-22 用户画像向量生成方法及装置 Pending CN110008376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910224171.5A CN110008376A (zh) 2019-03-22 2019-03-22 用户画像向量生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910224171.5A CN110008376A (zh) 2019-03-22 2019-03-22 用户画像向量生成方法及装置

Publications (1)

Publication Number Publication Date
CN110008376A true CN110008376A (zh) 2019-07-12

Family

ID=67167877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910224171.5A Pending CN110008376A (zh) 2019-03-22 2019-03-22 用户画像向量生成方法及装置

Country Status (1)

Country Link
CN (1) CN110008376A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598618A (zh) * 2019-09-05 2019-12-20 腾讯科技(深圳)有限公司 内容推荐方法、装置、计算机设备和计算机可读存储介质
CN110798718A (zh) * 2019-09-02 2020-02-14 腾讯科技(深圳)有限公司 一种视频推荐方法以及装置
CN111047360A (zh) * 2019-12-16 2020-04-21 北京搜狐新媒体信息技术有限公司 一种基于视觉画像的数据处理方法及系统
CN111782959A (zh) * 2020-07-20 2020-10-16 深圳市欢太科技有限公司 用户画像更新方法、装置、计算机设备及存储介质
CN111858716A (zh) * 2020-07-24 2020-10-30 厦门至恒融兴信息技术有限公司 海量金融支付数据的自动流程化处理技术
CN112100504A (zh) * 2020-11-03 2020-12-18 北京达佳互联信息技术有限公司 内容推荐方法、装置、电子设备及存储介质
CN113961743A (zh) * 2021-12-16 2022-01-21 飞狐信息技术(天津)有限公司 数据更新方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108471544A (zh) * 2018-03-28 2018-08-31 北京奇艺世纪科技有限公司 一种构建视频用户画像方法及装置
CN108776676A (zh) * 2018-02-02 2018-11-09 腾讯科技(深圳)有限公司 信息推荐方法、装置、计算机可读介质及电子设备
CN108776932A (zh) * 2018-05-22 2018-11-09 深圳壹账通智能科技有限公司 用户投资类型的确定方法、存储介质和服务器
CN109040297A (zh) * 2018-08-30 2018-12-18 广州酷狗计算机科技有限公司 用户画像生成方法及装置
CN109451334A (zh) * 2018-11-22 2019-03-08 青岛聚看云科技有限公司 用户画像生成处理方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776676A (zh) * 2018-02-02 2018-11-09 腾讯科技(深圳)有限公司 信息推荐方法、装置、计算机可读介质及电子设备
CN108471544A (zh) * 2018-03-28 2018-08-31 北京奇艺世纪科技有限公司 一种构建视频用户画像方法及装置
CN108776932A (zh) * 2018-05-22 2018-11-09 深圳壹账通智能科技有限公司 用户投资类型的确定方法、存储介质和服务器
CN109040297A (zh) * 2018-08-30 2018-12-18 广州酷狗计算机科技有限公司 用户画像生成方法及装置
CN109451334A (zh) * 2018-11-22 2019-03-08 青岛聚看云科技有限公司 用户画像生成处理方法、装置及电子设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798718B (zh) * 2019-09-02 2021-10-08 腾讯科技(深圳)有限公司 一种视频推荐方法以及装置
CN110798718A (zh) * 2019-09-02 2020-02-14 腾讯科技(深圳)有限公司 一种视频推荐方法以及装置
CN110598618A (zh) * 2019-09-05 2019-12-20 腾讯科技(深圳)有限公司 内容推荐方法、装置、计算机设备和计算机可读存储介质
CN111047360A (zh) * 2019-12-16 2020-04-21 北京搜狐新媒体信息技术有限公司 一种基于视觉画像的数据处理方法及系统
CN111047360B (zh) * 2019-12-16 2024-04-09 北京搜狐新媒体信息技术有限公司 一种基于视觉画像的数据处理方法及系统
CN111782959A (zh) * 2020-07-20 2020-10-16 深圳市欢太科技有限公司 用户画像更新方法、装置、计算机设备及存储介质
CN111782959B (zh) * 2020-07-20 2023-07-14 深圳市与飞科技有限公司 用户画像更新方法、装置、计算机设备及存储介质
CN111858716B (zh) * 2020-07-24 2023-10-13 厦门至恒融兴信息技术有限公司 海量金融支付数据的自动流程化处理技术
CN111858716A (zh) * 2020-07-24 2020-10-30 厦门至恒融兴信息技术有限公司 海量金融支付数据的自动流程化处理技术
CN112100504A (zh) * 2020-11-03 2020-12-18 北京达佳互联信息技术有限公司 内容推荐方法、装置、电子设备及存储介质
WO2022095585A1 (zh) * 2020-11-03 2022-05-12 北京达佳互联信息技术有限公司 内容推荐方法及装置
CN113961743A (zh) * 2021-12-16 2022-01-21 飞狐信息技术(天津)有限公司 数据更新方法、装置、电子设备及存储介质
CN113961743B (zh) * 2021-12-16 2022-03-01 飞狐信息技术(天津)有限公司 数据更新方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110008376A (zh) 用户画像向量生成方法及装置
CN110008375A (zh) 推荐视频召回方法和装置
CN112785397B (zh) 一种产品推荐方法、装置及存储介质
CN104636402B (zh) 一种业务对象的分类、搜索、推送方法和系统
CN107748754B (zh) 一种知识图谱完善方法和装置
WO2022033199A1 (zh) 一种获得用户画像的方法及相关装置
CN110162703A (zh) 内容推荐方法、训练方法、装置、设备及存储介质
CN111444357B (zh) 内容信息确定方法、装置、计算机设备及存储介质
CN111784455A (zh) 一种物品推荐方法及推荐设备
CN108885624A (zh) 信息推荐系统及方法
CN112380453B (zh) 物品推荐方法、装置、存储介质及设备
CN116975615A (zh) 基于视频多模态信息的任务预测方法和装置
CN114692007B (zh) 表示信息的确定方法、装置、设备及存储介质
Hazrati et al. Addressing the New Item problem in video recommender systems by incorporation of visual features with restricted Boltzmann machines
Wang et al. Multifunctional product marketing using social media based on the variable-scale clustering
CN115905528A (zh) 具有时序特征的事件多标签分类方法、装置及电子设备
CN116823410B (zh) 数据处理方法、对象处理方法、推荐方法及计算设备
CN112989182A (zh) 信息处理方法、装置、信息处理设备及存储介质
CN116910357A (zh) 一种数据处理方法及相关装置
CN116764236A (zh) 游戏道具推荐方法、装置、计算机设备和存储介质
CN114330519A (zh) 数据确定方法、装置、电子设备及存储介质
Wang et al. PAC-Net: Highlight Your Video via History Preference Modeling
Ding et al. [Retracted] Clustering Merchants and Accurate Marketing of Products Using the Segmentation Tree Vector Space Model
CN113761349A (zh) 一种推荐信息的挖掘方法和装置
McIlwraith Algorithms of the intelligent web

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190712

RJ01 Rejection of invention patent application after publication