CN109785034A - 用户画像生成方法、装置、电子设备及计算机可读介质 - Google Patents
用户画像生成方法、装置、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN109785034A CN109785034A CN201811344066.7A CN201811344066A CN109785034A CN 109785034 A CN109785034 A CN 109785034A CN 201811344066 A CN201811344066 A CN 201811344066A CN 109785034 A CN109785034 A CN 109785034A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- portrait
- user tag
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本公开涉及一种用户画像生成方法、装置、电子设备及计算机可读介质。包括:通过多个数据源获取原始数据;通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重;以及根据所述用户标签及其对应的权重生成用户画像。本公开涉及的用户画像生成方法、装置、电子设备及计算机可读介质,能够快速准确的生成用户画像,提高产品服务的满意度。
Description
技术领域
本公开涉及计算机信息处理领域,具体而言,涉及一种用户画像生成方法、装置、电子设备及计算机可读介质。
背景技术
用户画像又称用户角色,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用。我们在实际操作的过程中往往会以最为浅显和贴近生活的话语将用户的属性、行为与期待联结起来。作为实际用户的虚拟代表,用户画像所形成的用户角色并不是脱离产品和市场之外所构建出来的,形成的用户角色需要有代表性能代表产品的主要受众和目标群体。
目前,用户画像可根据用户的人口属性、偏好习惯和行为信息而抽象出来的标签化画像。目前,国内各大电商都推出了自己的用户画像功能,通过对用户的个体消费能力、消费内容等长时间多频次的建模,为每个客户构建一个精准的消费画像。
但是,由于用户画像的构建需要很大的计算量,而现在电商平台面对的是海量的用户数据,如何快速的处理海量数据,获取每一个用户的用户画像是亟待解决的问题。
因此,需要一种新的用户画像生成方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本公开提供一种用户画像生成方法、装置、电子设备及计算机可读介质,能够快速准确的生成用户画像,提高产品服务的满意度。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一方面,提出一种用户画像生成方法,该方法包括:通过多个数据源获取原始数据;通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重;以及根据所述用户标签及其对应的权重生成用户画像。
在本公开的一种示例性实施例中,还包括:通过历史用户数据与多卷积神经网络算法生成所述用户标签模型。
在本公开的一种示例性实施例中,通过历史用户数据与多卷积神经网络算法生成所述用户标签模型包括:通过多个数据源获取历史用户数据;为每一个历史用户数据均指定其对应的标签,生成标签数据;将历史用户数据与标签数据作为训练数据输入多卷积神经网络算法中,生成所述用户标签模型。
在本公开的一种示例性实施例中,通过多个数据源获取原始数包括:通过用户浏览日志获取所述原始数据;和/或通过网络爬虫爬取预定网页数据获取所述原始数据。
在本公开的一种示例性实施例中,所述分布式大数据平台包括Hadoop存储平台,hive数据仓库,以及sqoop数据转移工具;通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据还包括:通过sqoop数据转移工具将所述原始数据进行数据转移;通过hive数据仓库对转移后的所述原始数据进行数据清洗生成所述用户数据;以及通过hadoop存储平台存储所述用户数据。
在本公开的一种示例性实施例中,将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重包括:将所述用户数据输入所述用户标签模型中;通过用户标签模型中多个卷积层提取所述用户数据中的特征数据;以及通过用户标签模型中的输出层为特征数据确定标签与权重。
在本公开的一种示例性实施例中,根据所述用户标签及其对应的权重生成用户画像包括:将用户标签按照其对应的权重进行排序;根据排序结果依次选取预定个用户标签以生成所述用户画像。
根据本公开的一方面,提出一种用户画像生成装置,该装置包括:数据模块,用于通过多个数据源获取原始数据;处理模块,用于通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;标签模块,用于将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重;以及画像模块,用于根据所述用户标签及其对应的权重生成用户画像。
根据本公开的一方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方法。
根据本公开的一方面,提出一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上文中的方法。
根据本公开的用户画像生成方法、装置、电子设备及计算机可读介质,通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重的方式,能够快速准确的生成用户画像,提高产品服务的满意度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种用户画像生成方法及装置的系统框图。
图2是根据一示例性实施例示出的一种用户画像生成方法的流程图。
图3是根据另一示例性实施例示出的一种用户画像生成方法的流程图。
图4是根据另一示例性实施例示出的一种用户画像生成方法的示意图。
图5是根据一示例性实施例示出的一种用户画像生成装置的框图。
图6是根据另一示例性实施例示出的一种用户画像生成装置的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
图8是根据一示例性实施例示出一种计算机可读存储介质示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此,下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用,术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的模块或流程并不一定是实施本公开所必须的,因此不能用于限制本公开的保护范围。
图1是根据一示例性实施例示出的一种用户画像生成方法及装置的系统框图。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以获取用户的浏览数据,并将用户的浏览数据进行分析等处理,并将处理结果(例如用户画像标签)反馈给终端设备。
服务器105可例如通过多个数据源获取原始数据;服务器105可例如通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;服务器105可例如将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重;服务器105可例如根据所述用户标签及其对应的权重生成用户画像。
服务器105还可例如通过历史用户数据与多卷积神经网络算法生成所述用户标签模型。
服务器105可以是一个实体的服务器,还可例如为多个服务器组成,需要说明的是,本公开实施例所提供的用户画像生成方法可以由服务器105执行,相应地,用户画像生成装置可以设置于服务器105中。而提供给用户进行商品浏览的网页端一般位于终端设备101、102、103中。
根据本公开的用户画像生成方法、装置、电子设备及计算机可读介质,通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重的方式,能够快速准确的生成用户画像,提高产品服务的满意度。
图2是根据一示例性实施例示出的一种用户画像生成方法的流程图。用户画像生成方法20至少包括步骤S202至S208。
如图2所示,在S202中,通过多个数据源获取原始数据。
在一个实施例中,可例如通过用户浏览日志获取所述原始数据;其中,用户浏览日志为户每次访问网站时操作浏览器获取的日志,可例如包括用户所有的行为数据:访问,浏览,搜索,点击等等。更具体的用户浏览日志记可记录包括用户信息、时间、地址、检索的关键词,检索关键词拼音及缩写,用户年纪等,其中,记录的时间可包括用户检索发生时的小时、当天是周几、当天的日期信息;地址信息包括了省市区县信息等等。
在一个实施例中,可例如通过网络爬虫爬取预定网页数据获取所述原始数据。其中,网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
更具体的,在本申请实施例中,可通过聚焦爬虫爬取预定网页数据获取所述原始数据。网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程,直到达到系统的某一条件时停止。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索;对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
在S204中,通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据。其中,所述分布式大数据平台包括Hadoop存储平台,hive数据仓库,以及sqoop数据转移工具。
在一个实施例中,通过sqoop数据转移工具将所述原始数据进行数据转移;其中,Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
在一个实施例中,通过hive数据仓库对转移后的所述原始数据进行数据清洗生成所述用户数据;其中,Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。值得一提的是Hive没有专门的数据格式。Hive可以很好的工作在Thrift之上,控制分隔符,也允许用户指定数据格式。
在一个实施例中,通过hadoop存储平台存储所述用户数据。Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构,将大数据处理引擎尽可能的靠近存储,对例如像ETL这样的批处理操作相对合适,因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎,并将碎片任务(Map)发送到多个节点上,之后再以单个数据集的形式加载(Reduce)到数据仓库里。
在S206中,将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重。可例如,将所述用户数据输入所述用户标签模型中;通过用户标签模型中多个卷积层提取所述用户数据中的特征数据;以及通过用户标签模型中的输出层为特征数据确定标签与权重。
一般地,多卷积神经网络的基本结构包括两层,其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征。一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;其二是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射是一个平面,平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数,使得特征映射具有位移不变性。此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层,这种特有的两次特征提取结构减小了特征分辨率。
在一个实施例中,可例如通过历史用户数据与多卷积神经网络算法生成所述用户标签模型。用户标签模型的建立过程将在图3对应的实施例中进行详细描述。
在S208中,根据所述用户标签及其对应的权重生成用户画像。可例如,将用户标签按照其对应的权重进行排序;根据排序结果依次选取预定个用户标签以生成所述用户画像。
将用户数据输入用户标签模型后,可得到多个用户标签及其对应的权重。可例如标签A对应权重为0.8,标签B对应权重为0.6,标签C对应权重为0.95等等,可按照权重将各个标签进行排序,依序选择一个或多个标签作为该用户的标签,进而根据确定的用户标签生成用户画像。
根据本公开的用户画像生成方法,通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重的方式,能够快速准确的生成用户画像,提高产品服务的满意度。
应清楚地理解,本公开描述了如何形成和使用特定示例,但本公开的原理不限于这些示例的任何细节。相反,基于本公开公开的内容的教导,这些原理能够应用于许多其它实施例。
图3是根据另一示例性实施例示出的一种用户画像生成方法的流程图。图3所示的用户画像生成方法30是对“通过历史用户数据与多卷积神经网络算法生成所述用户标签模型。”的详细描述,
如图3所示,在S302中,通过多个数据源获取历史用户数据。可例如,通过历史用户浏览日志获取所述原始数据;和/或通过网络爬虫爬取预定网页数据获取所述原始数据。
在S304中,为每一个历史用户数据均指定其对应的标签,生成标签数据。
在S306中,将历史用户数据与标签数据作为训练数据输入多卷积神经网络算法中,生成所述用户标签模型。图4是根据另一示例性实施例示出的一种用户画像生成方法的示意图。如图4所示,多卷积神经网络核心部分为:卷积层和池化层。卷积层用于抽取特征,使网络具有一定转移不变性,也有一定降维的作用。池化层用于降维,池化也有很多方式,比如最大值池化、平均值池化,等等。可例如,通过分布式计算来显著提高深度学习模型的训练速度。
在一个实施例中,分布式模型训练可利用上文中介绍的Hadoop存储平台,hive数据仓库,以及sqoop数据转移工具等,本申请不以此为限。
分布式模型训练可包括:模型并行化,分布式系统中的不同机器负责单个网络模型的不同部分,例如,神经网络模型的不同网络层被分配到不同的机器。
数据并行化,不同的机器有同一个模型的多个副本,每个机器分配到数据的一部分,然后将所有机器的计算结果按照某种方式合并。
参数平均一种数据并行化手段,在采用参数平均法进行模型训练时,训练的过程如下所示:
基于模型的配置随机初始化网络模型参数;
将当前这组参数分发到各个工作节点;
在每个工作节点,用数据集的一部分数据进行训练;
将各个工作节点的参数的均值作为全局参数值;
若还有训练数据没有参与训练,则继续从第二步开始。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU 执行的计算机程序。在该计算机程序被CPU 执行时,执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图5是根据一示例性实施例示出的一种用户画像生成装置的框图。用户画像生成装置50包括:数据模块502,处理模块504,标签模块506,以及画像模块508。
数据模块502用于通过多个数据源获取原始数据;可例如通过用户浏览日志获取所述原始数据;还可例如可例如通过网络爬虫爬取预定网页数据获取所述原始数据。
处理模块504用于通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;其中,所述分布式大数据平台包括Hadoop存储平台,hive数据仓库,以及sqoop数据转移工具。
标签模块506用于将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重;可例如,将所述用户数据输入所述用户标签模型中;通过用户标签模型中多个卷积层提取所述用户数据中的特征数据;以及通过用户标签模型中的输出层为特征数据确定标签与权重。
画像模块508用于根据所述用户标签及其对应的权重生成用户画像。可例如,将用户标签按照其对应的权重进行排序;根据排序结果依次选取预定个用户标签以生成所述用户画像。
根据本公开的用户画像生成装置,通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重的方式,能够快速准确的生成用户画像,提高产品服务的满意度。
图6是根据另一示例性实施例示出的一种用户画像生成装置的框图。如图6所示的用户画像生成装置60在用户画像生成装置50的基础上还包括:模型训练模块602。
模型训练模块602用于通过历史用户数据与多卷积神经网络算法生成所述用户标签模型。
图7是根据一示例性实施例示出的一种电子设备的框图。
下面参照图7来描述根据本公开的这种实施方式的电子设备200。图7显示的电子设备200仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于:至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元210执行,使得所述处理单元210执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元210可以执行如图2,图3中所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202,还可以进一步包括只读存储单元(ROM)2203。
所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204,这样的程序模块2205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且,电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
图8示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
参考图8所示,描述了根据本公开的实施方式的用于实现上述方法的程序产品400,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:通过多个数据源获取原始数据;通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重;以及根据所述用户标签及其对应的权重生成用户画像。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是,本公开不限于这里描述的详细结构、设置方式或实现方法;相反,本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (10)
1.一种用户画像生成方法,其特征在于,包括:
通过多个数据源获取原始数据;
通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;
将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重;以及
根据所述用户标签及其对应的权重生成用户画像。
2.如权利要求1所述的方法,其特征在于,还包括:
通过历史用户数据与多卷积神经网络算法生成所述用户标签模型。
3.如权利要求1所述的方法,其特征在于,通过历史用户数据与多卷积神经网络算法生成所述用户标签模型包括:
通过多个数据源获取历史用户数据;
为每一个历史用户数据均指定其对应的标签,生成标签数据;
将历史用户数据与标签数据作为训练数据输入多卷积神经网络算法中,生成所述用户标签模型。
4.如权利要求1所述的方法,其特征在于,通过多个数据源获取原始数包括:
通过用户浏览日志获取所述原始数据;和/或
通过网络爬虫爬取预定网页数据获取所述原始数据。
5.如权利要求1所述的方法,其特征在于,所述分布式大数据平台包括Hadoop存储平台,hive数据仓库,以及sqoop数据转移工具;
通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据还包括:
通过sqoop数据转移工具将所述原始数据进行数据转移;
通过hive数据仓库对转移后的所述原始数据进行数据清洗生成所述用户数据;以及
通过hadoop存储平台存储所述用户数据。
6.如权利要求1所述的方法,其特征在于,将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重包括:
将所述用户数据输入所述用户标签模型中;
通过用户标签模型中多个卷积层提取所述用户数据中的特征数据;以及
通过用户标签模型中的输出层为特征数据确定标签与权重。
7.如权利要求1所述的方法,其特征在于,根据所述用户标签及其对应的权重生成用户画像包括:
将用户标签按照其对应的权重进行排序;
根据排序结果依次选取预定个用户标签以生成所述用户画像。
8.一种用户画像生成装置,其特征在于,包括:
数据模块,用于通过多个数据源获取原始数据;
处理模块,用于通过分布式大数据平台对所述原始数据进行数据处理,生成用户数据;
标签模块,用于将所述用户数据输入用户标签模型中,确定用户标签及其对应的权重;以及
画像模块,用于根据所述用户标签及其对应的权重生成用户画像。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811344066.7A CN109785034A (zh) | 2018-11-13 | 2018-11-13 | 用户画像生成方法、装置、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811344066.7A CN109785034A (zh) | 2018-11-13 | 2018-11-13 | 用户画像生成方法、装置、电子设备及计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109785034A true CN109785034A (zh) | 2019-05-21 |
Family
ID=66496396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811344066.7A Pending CN109785034A (zh) | 2018-11-13 | 2018-11-13 | 用户画像生成方法、装置、电子设备及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109785034A (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399404A (zh) * | 2019-07-25 | 2019-11-01 | 北京明略软件系统有限公司 | 一种计算机的用户表示生成方法及装置 |
CN110782985A (zh) * | 2019-10-25 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种特征处理方法和相关设备 |
CN111104979A (zh) * | 2019-12-18 | 2020-05-05 | 北京思维造物信息科技股份有限公司 | 一种用户行为价值评估模型的生成方法、装置及设备 |
CN111177123A (zh) * | 2019-12-30 | 2020-05-19 | 联想(北京)有限公司 | 用于优化标签库的方法、装置、电子设备和介质 |
CN111291173A (zh) * | 2020-01-17 | 2020-06-16 | 北京工业大学 | 一种基于混合神经网络的高校学生画像技术的应用方法 |
CN111553729A (zh) * | 2020-04-27 | 2020-08-18 | 广州探途网络技术有限公司 | 一种电商用户画像数据生成方法、装置和计算设备 |
CN111582933A (zh) * | 2020-05-07 | 2020-08-25 | 北京点众科技股份有限公司 | 基于购买电子书以完善用户画像的方法、终端和存储介质 |
CN112308166A (zh) * | 2020-11-09 | 2021-02-02 | 建信金融科技有限责任公司 | 一种处理标签数据的方法和装置 |
CN112381563A (zh) * | 2020-11-02 | 2021-02-19 | 上海淇玥信息技术有限公司 | 一种自动化标签生成方法、装置和电子设备 |
CN112396536A (zh) * | 2019-08-12 | 2021-02-23 | 北京国双科技有限公司 | 智能服务的实现方法及装置 |
CN112416488A (zh) * | 2020-11-03 | 2021-02-26 | 深圳依时货拉拉科技有限公司 | 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质 |
CN112860808A (zh) * | 2020-12-30 | 2021-05-28 | 深圳市华傲数据技术有限公司 | 基于数据标签的用户画像分析方法、装置、介质和设备 |
CN113297273A (zh) * | 2021-06-09 | 2021-08-24 | 北京百度网讯科技有限公司 | 查询元数据的方法、装置和电子设备 |
CN113297287A (zh) * | 2021-04-28 | 2021-08-24 | 上海淇玥信息技术有限公司 | 用户策略自动部署方法、装置及电子设备 |
CN113885862A (zh) * | 2021-09-29 | 2022-01-04 | 武汉斗鱼鱼乐网络科技有限公司 | 一种头像框复用方法、存储介质、电子设备 |
CN114971744A (zh) * | 2022-07-07 | 2022-08-30 | 北京淇瑀信息科技有限公司 | 一种依据稀疏矩阵的用户画像确定方法及装置 |
CN116578793A (zh) * | 2023-07-03 | 2023-08-11 | 广州趣米网络科技有限公司 | 前端页面设计方法和系统 |
CN112416488B (zh) * | 2020-11-03 | 2024-05-14 | 深圳依时货拉拉科技有限公司 | 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104951441A (zh) * | 2014-03-24 | 2015-09-30 | 阿里巴巴集团控股有限公司 | 一种对对象进行排序的方法及装置 |
CN106651424A (zh) * | 2016-09-28 | 2017-05-10 | 国网山东省电力公司电力科学研究院 | 基于大数据技术的电力用户画像建立与分析方法 |
CN106709754A (zh) * | 2016-11-25 | 2017-05-24 | 云南电网有限责任公司昆明供电局 | 一种用基于文本挖掘的电力用户分群方法 |
CN106875278A (zh) * | 2017-01-19 | 2017-06-20 | 浙江工商大学 | 基于随机森林的社交网络用户画像方法 |
CN107153887A (zh) * | 2017-04-14 | 2017-09-12 | 华南理工大学 | 一种基于卷积神经网络的移动用户行为预测方法 |
CN107341679A (zh) * | 2016-04-29 | 2017-11-10 | 腾讯科技(深圳)有限公司 | 获取用户画像的方法及装置 |
CN107590224A (zh) * | 2017-09-04 | 2018-01-16 | 北京京东尚科信息技术有限公司 | 基于大数据的用户偏好分析方法与装置 |
CN107729937A (zh) * | 2017-10-12 | 2018-02-23 | 北京京东尚科信息技术有限公司 | 用于确定用户兴趣标签的方法及装置 |
CN107992531A (zh) * | 2017-11-21 | 2018-05-04 | 吉浦斯信息咨询(深圳)有限公司 | 基于深度学习的新闻个性化智能推荐方法与系统 |
CN108230009A (zh) * | 2017-11-30 | 2018-06-29 | 北京三快在线科技有限公司 | 一种用户偏好的预测方法及装置,电子设备 |
CN108229590A (zh) * | 2018-02-13 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种获取多标签用户画像的方法和装置 |
CN108334588A (zh) * | 2018-01-29 | 2018-07-27 | 北京搜狐新媒体信息技术有限公司 | 一种用户标签构建方法及装置 |
CN108629687A (zh) * | 2018-02-13 | 2018-10-09 | 阿里巴巴集团控股有限公司 | 一种反洗钱方法、装置及设备 |
CN108629633A (zh) * | 2018-05-09 | 2018-10-09 | 浪潮软件股份有限公司 | 一种基于大数据建立用户画像的方法及系统 |
CN108647729A (zh) * | 2018-05-11 | 2018-10-12 | 广东省科技基础条件平台中心 | 一种用户画像获取方法 |
-
2018
- 2018-11-13 CN CN201811344066.7A patent/CN109785034A/zh active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104951441A (zh) * | 2014-03-24 | 2015-09-30 | 阿里巴巴集团控股有限公司 | 一种对对象进行排序的方法及装置 |
CN107341679A (zh) * | 2016-04-29 | 2017-11-10 | 腾讯科技(深圳)有限公司 | 获取用户画像的方法及装置 |
CN106651424A (zh) * | 2016-09-28 | 2017-05-10 | 国网山东省电力公司电力科学研究院 | 基于大数据技术的电力用户画像建立与分析方法 |
CN106709754A (zh) * | 2016-11-25 | 2017-05-24 | 云南电网有限责任公司昆明供电局 | 一种用基于文本挖掘的电力用户分群方法 |
CN106875278A (zh) * | 2017-01-19 | 2017-06-20 | 浙江工商大学 | 基于随机森林的社交网络用户画像方法 |
CN107153887A (zh) * | 2017-04-14 | 2017-09-12 | 华南理工大学 | 一种基于卷积神经网络的移动用户行为预测方法 |
CN107590224A (zh) * | 2017-09-04 | 2018-01-16 | 北京京东尚科信息技术有限公司 | 基于大数据的用户偏好分析方法与装置 |
CN107729937A (zh) * | 2017-10-12 | 2018-02-23 | 北京京东尚科信息技术有限公司 | 用于确定用户兴趣标签的方法及装置 |
CN107992531A (zh) * | 2017-11-21 | 2018-05-04 | 吉浦斯信息咨询(深圳)有限公司 | 基于深度学习的新闻个性化智能推荐方法与系统 |
CN108230009A (zh) * | 2017-11-30 | 2018-06-29 | 北京三快在线科技有限公司 | 一种用户偏好的预测方法及装置,电子设备 |
CN108334588A (zh) * | 2018-01-29 | 2018-07-27 | 北京搜狐新媒体信息技术有限公司 | 一种用户标签构建方法及装置 |
CN108229590A (zh) * | 2018-02-13 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种获取多标签用户画像的方法和装置 |
CN108629687A (zh) * | 2018-02-13 | 2018-10-09 | 阿里巴巴集团控股有限公司 | 一种反洗钱方法、装置及设备 |
CN108629633A (zh) * | 2018-05-09 | 2018-10-09 | 浪潮软件股份有限公司 | 一种基于大数据建立用户画像的方法及系统 |
CN108647729A (zh) * | 2018-05-11 | 2018-10-12 | 广东省科技基础条件平台中心 | 一种用户画像获取方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399404A (zh) * | 2019-07-25 | 2019-11-01 | 北京明略软件系统有限公司 | 一种计算机的用户表示生成方法及装置 |
CN112396536A (zh) * | 2019-08-12 | 2021-02-23 | 北京国双科技有限公司 | 智能服务的实现方法及装置 |
CN110782985B (zh) * | 2019-10-25 | 2021-08-17 | 腾讯科技(深圳)有限公司 | 一种特征处理方法和相关设备 |
CN110782985A (zh) * | 2019-10-25 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种特征处理方法和相关设备 |
CN111104979A (zh) * | 2019-12-18 | 2020-05-05 | 北京思维造物信息科技股份有限公司 | 一种用户行为价值评估模型的生成方法、装置及设备 |
CN111177123A (zh) * | 2019-12-30 | 2020-05-19 | 联想(北京)有限公司 | 用于优化标签库的方法、装置、电子设备和介质 |
CN111291173A (zh) * | 2020-01-17 | 2020-06-16 | 北京工业大学 | 一种基于混合神经网络的高校学生画像技术的应用方法 |
CN111291173B (zh) * | 2020-01-17 | 2022-02-15 | 北京工业大学 | 一种基于混合神经网络的高校学生画像技术的应用方法 |
CN111553729A (zh) * | 2020-04-27 | 2020-08-18 | 广州探途网络技术有限公司 | 一种电商用户画像数据生成方法、装置和计算设备 |
CN111582933A (zh) * | 2020-05-07 | 2020-08-25 | 北京点众科技股份有限公司 | 基于购买电子书以完善用户画像的方法、终端和存储介质 |
CN112381563A (zh) * | 2020-11-02 | 2021-02-19 | 上海淇玥信息技术有限公司 | 一种自动化标签生成方法、装置和电子设备 |
CN112416488A (zh) * | 2020-11-03 | 2021-02-26 | 深圳依时货拉拉科技有限公司 | 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质 |
CN112416488B (zh) * | 2020-11-03 | 2024-05-14 | 深圳依时货拉拉科技有限公司 | 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质 |
CN112308166A (zh) * | 2020-11-09 | 2021-02-02 | 建信金融科技有限责任公司 | 一种处理标签数据的方法和装置 |
CN112860808A (zh) * | 2020-12-30 | 2021-05-28 | 深圳市华傲数据技术有限公司 | 基于数据标签的用户画像分析方法、装置、介质和设备 |
CN113297287A (zh) * | 2021-04-28 | 2021-08-24 | 上海淇玥信息技术有限公司 | 用户策略自动部署方法、装置及电子设备 |
CN113297273A (zh) * | 2021-06-09 | 2021-08-24 | 北京百度网讯科技有限公司 | 查询元数据的方法、装置和电子设备 |
CN113297273B (zh) * | 2021-06-09 | 2024-03-01 | 北京百度网讯科技有限公司 | 查询元数据的方法、装置和电子设备 |
CN113885862A (zh) * | 2021-09-29 | 2022-01-04 | 武汉斗鱼鱼乐网络科技有限公司 | 一种头像框复用方法、存储介质、电子设备 |
CN114971744A (zh) * | 2022-07-07 | 2022-08-30 | 北京淇瑀信息科技有限公司 | 一种依据稀疏矩阵的用户画像确定方法及装置 |
CN114971744B (zh) * | 2022-07-07 | 2022-11-15 | 北京淇瑀信息科技有限公司 | 一种依据稀疏矩阵的用户画像确定方法及装置 |
CN116578793A (zh) * | 2023-07-03 | 2023-08-11 | 广州趣米网络科技有限公司 | 前端页面设计方法和系统 |
CN116578793B (zh) * | 2023-07-03 | 2024-01-26 | 广州趣米网络科技有限公司 | 前端页面设计方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109785034A (zh) | 用户画像生成方法、装置、电子设备及计算机可读介质 | |
Lee et al. | Integration of digital twin and deep learning in cyber‐physical systems: towards smart manufacturing | |
Chen et al. | Big data: A survey | |
Barbierato et al. | Performance evaluation of NoSQL big-data applications using multi-formalism models | |
CN104969223B (zh) | 相邻搜索结果探索 | |
Chen et al. | FASCINATE: fast cross-layer dependency inference on multi-layered networks | |
Kang et al. | Cloudle: an ontology-enhanced cloud service search engine | |
US8645288B2 (en) | Page selection for indexing | |
US20110282861A1 (en) | Extracting higher-order knowledge from structured data | |
CN107896175A (zh) | 数据采集方法和装置 | |
Wu et al. | A multilevel index model to expedite web service discovery and composition in large-scale service repositories | |
CN102117331B (zh) | 视频搜索方法及系统 | |
CN108121742A (zh) | 用户分类模型的生成方法及装置 | |
Varfolomeyev et al. | Smart personal assistant for historical tourism | |
Shiyas et al. | Cellular manufacturing system design using grouping efficacy-based genetic algorithm | |
CN109087138A (zh) | 数据处理方法及系统、计算机系统和可读存储介质 | |
Demirbaga | HTwitt: a hadoop-based platform for analysis and visualization of streaming Twitter data | |
Xu et al. | Latent interest and topic mining on user-item bipartite networks | |
Zhang et al. | A Bloom filter-powered technique supporting scalable semantic service discovery in service networks | |
Mota et al. | A compact timed state space approach for the analysis of manufacturing systems: key algorithmic improvements | |
CN110222144A (zh) | 文本内容提取方法、装置、电子设备及存储介质 | |
CN116186295B (zh) | 基于注意力的知识图谱链接预测方法、装置、设备及介质 | |
Antunes et al. | Context storage for m2m scenarios | |
JP2022530725A (ja) | 情報プッシュ方法、装置、機器及び記憶媒体 | |
CN111814044A (zh) | 一种推荐方法、装置、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190521 |
|
WD01 | Invention patent application deemed withdrawn after publication |