CN113449175A - 热点数据的推荐方法和装置 - Google Patents
热点数据的推荐方法和装置 Download PDFInfo
- Publication number
- CN113449175A CN113449175A CN202010215173.0A CN202010215173A CN113449175A CN 113449175 A CN113449175 A CN 113449175A CN 202010215173 A CN202010215173 A CN 202010215173A CN 113449175 A CN113449175 A CN 113449175A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- hot
- heat
- hot spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 77
- 239000013598 vector Substances 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 235000019633 pungent taste Nutrition 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 239000002360 explosive Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005065 mining Methods 0.000 description 6
- 230000000630 rising effect Effects 0.000 description 6
- 230000001932 seasonal effect Effects 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005422 blasting Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种热点数据的推荐方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:计算数据的热度得分以生成数据的热度标签;使用热度标签对数据的特征向量进行打标,以生成训练数据;通过对训练数据集进行训练以得到热点数据推荐模型;使用热点数据推荐模型确定热点数据并进行推荐。该实施方式应用前沿的深度学习技术,通过启发式方法构建潜在上升显著的训练数据集,预测未来短时间内可能热门且幅度增长较大的热点数据,展示给用户,在吸引用户注意力、提升用户体验的同时,也使得热点数据的推荐更加实时多样。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种热点数据的推荐方法和装置。
背景技术
随着大数据和互联网的发展,越来越多的用户喜欢从网络上获取热点数据。例如:从网站上获取实时热点新闻、从网上购物平台上获取热门商品,等等。相应地,各个网站或平台为了吸引用户,也会对用户进行热点数据的推荐。
以网上购物为例,一般来说,不同用户对不同品类内容感兴趣程度不一样,特别是不活跃用户或新注册用户,如何能快速吸引其眼球,抓住用户购物需求,为用户提供耳目一新的商品时效性享受,是一件有意义的事情。
现有技术在为用户进行数据推荐时,更多的是考虑数据的热门程度或全量商品的中长期热门程度,当捕获不到用户的历史行为时,则将通用的热点数据直接展示。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
将通用的热点数据直接展示有可能遗漏目前热度不高但上升趋势显著的数据,故而推荐结果不够科学、合理。
发明内容
有鉴于此,本发明实施例提供一种热点数据的推荐方法和装置,能够应用前沿的深度学习技术,通过启发式方法构建潜在上升显著的训练数据集,预测未来短时间内可能热门且幅度增长较大的热点数据,展示给用户,在吸引用户注意力、提升用户体验的同时,也使得热点数据的推荐更加实时多样。
为实现上述目的,根据本发明实施例的一个方面,提供了一种热点数据的推荐方法。
一种热点数据的推荐方法,包括:计算数据的热度得分以生成所述数据的热度标签;使用所述热度标签对所述数据的特征向量进行打标,以生成训练数据;通过对训练数据集进行训练以得到热点数据推荐模型;使用所述热点数据推荐模型确定热点数据并进行推荐。
可选地,计算数据的热度得分以生成所述数据的热度标签包括:计算数据在最近时段内的访问增加率;根据所述访问增加率计算所述数据的热度得分;通过将所述热度得分与预设阈值进行比较以生成所述数据的热度标签。
可选地,计算数据在最近时段内的访问增加率包括:计算数据在最近时段内平均每天的第一访问量,以及数据在指定时段内平均每天的第二访问量,所述指定时段长于所述最近时段且包括所述最近时段;将所述第一访问量与所述第二访问量之比作为所述数据在最近时段内的访问增加率。
可选地,通过将所述热度得分与预设阈值进行比较以生成所述数据的热度标签包括:将所述热度得分与预设阈值进行比较,若所述热度得分大于所述预设阈值,则将所述数据的热度标签置为1;否则,将所述数据的热度标签置为0。
可选地,通过对训练数据集进行训练以得到热点数据推荐模型包括:将所述训练数据集中的训练数据分为离散数据集和连续数据集;对所述离散数据集和所述连续数据集分别使用不同的网络进行特征处理,并将处理后的特征进行拼接;将拼接后的特征输入至反向联合训练层以得到热点数据推荐模型。
可选地,对于所述离散数据集,首先利用梯度下降树的叶子节点进行特征选择,然后对选择的特征通过因子分解机生成低维稠密特征向量以进行特征处理。
可选地,对于所述连续数据集,使用深度学习神经网络进行特征处理。
根据本发明实施例的另一方面,提供了一种热点数据的推荐装置。
一种热点数据的推荐装置,包括:标签生成模块,用于计算数据的热度得分以生成所述数据的热度标签;数据打标模块,用于使用所述热度标签对所述数据的特征向量进行打标,以生成训练数据;模型训练模块,用于通过对训练数据集进行训练以得到热点数据推荐模型;数据推荐模块,用于使用所述热点数据推荐模型确定热点数据并进行推荐。
根据本发明实施例的又一方面,提供了一种推荐热点数据的电子设备。
一种推荐热点数据的电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例所提供的热点数据的推荐方法。
根据本发明实施例的再一方面,提供了一种计算机可读介质。
一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例所提供的热点数据的推荐方法。
上述发明中的一个实施例具有如下优点或有益效果:通过计算数据的热度得分以生成数据的热度标签;使用热度标签对数据的特征向量进行打标,以生成训练数据;通过对训练数据集进行训练以得到热点数据推荐模型;使用热点数据推荐模型确定热点数据并进行推荐,可以应用前沿的深度学习技术,通过启发式方法构建潜在上升显著的训练数据集,预测未来短时间内可能热门且幅度增长较大的热点数据,展示给用户,在吸引用户注意力、提升用户体验的同时,也使得热点数据的推荐更加实时多样。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的热点数据的推荐方法的主要步骤示意图;
图2是本发明实施例的实现原理流程示意图;
图3是本发明实施例的功能实现原理示意图;
图4是本发明实施例的模型训练过程示意图;
图5是根据本发明实施例的热点数据的推荐装置的主要模块示意图;
图6是本发明实施例可以应用于其中的示例性系统架构图;
图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的热点数据的推荐方法的主要步骤示意图。如图1所示,本发明实施例的热点数据的推荐方法主要包括如下的步骤S101至步骤S104。
步骤S101:计算数据的热度得分以生成数据的热度标签;
步骤S102:使用热度标签对数据的特征向量进行打标,以生成训练数据;
步骤S103:通过对训练数据集进行训练以得到热点数据推荐模型;
步骤S104:使用热点数据推荐模型确定热点数据并进行推荐。
目前,在确定热点数据时,一般是通过统计分析计算的方法,获取访问量最多的数据作为热点数据。而本发明的实施例通过启发式方法,通过计算数据的热度得分以对数据进行打标,然后对打标后的数据进行训练以得到热点数据推荐模型,并使用热点数据推荐模型来确定热点数据以进行推荐,可以预测未来短时间内热度值上升幅度较大的数据并推荐给用户,在吸引用户注意力、提升用户体验的同时,使得数据推荐结果更加实时多样。
根据本发明的一个实施例,在计算数据的热度得分以生成数据的热度标签时,具体实施方式例如包括:
计算数据在最近时段内的访问增加率;
根据访问增加率计算数据的热度得分;
通过将热度得分与预设阈值进行比较以生成数据的热度标签。
其中,在计算数据在最近时段内的访问增加率时,例如包括以下步骤:
计算数据在最近时段内平均每天的第一访问量,以及数据在指定时段内平均每天的第二访问量,指定时段长于最近时段且包括最近时段;
将第一访问量与第二访问量之比作为数据在最近时段内的访问增加率。
例如:假设最近时段为最近7天,指定时段为最近一个月(包括最近7天),通过计算某数据在最近7天平均每天的第一访问量,和在最近一个月平均每天的第二访问量,即可得到数据在最近7天内的访问增加率。如此,即可得到那些访问量不大,但是访问增加率很高的数据,即:访问上升趋势明显的数据。例如:对于某些新数据,可能数据访问总量不大,但是上升趋势很明显,故而也可确定其为热点数据。
之后,即可根据数据的访问增加率计算数据的热度得分。数据的访问操作例如可包括对数据的点击、浏览、收藏、编辑等等操作。因此,在计算数据的热度得分时,除了要考虑数据的访问增加率之外,还可以考虑数据的点击、浏览、收藏、编辑等等操作的次数等,故而通过为访问增加率、点击次数、浏览次数、收藏次数、编辑次数等等分别设置不同的权重,然后进行加权求和,即可得到数据的热度得分。其中,在本发明的实施例中,由于着重要考虑数据的热度上升趋势,故而设置访问增加率的权重最大,例如可以为80%等。
之后,即可通过将热度得分与预设阈值进行比较以生成数据的热度标签,具体可以按照以下步骤来执行:
将热度得分与预设阈值进行比较,若热度得分大于预设阈值,则将数据的热度标签置为1;否则,将数据的热度标签置为0。
其中,该预设阈值例如是根据所有数据的热度得分,由高到低进行排序后,根据设定的热点数据的比例或数目来确定的,也可以是根据经验设置的一个固定数值,等等。
根据本发明的另一个实施例,通过对训练数据集进行训练以得到热点数据推荐模型,具体可以包括:
将训练数据集中的训练数据分为离散数据集和连续数据集;
对离散数据集和连续数据集分别使用不同的网络进行特征处理,并将处理后的特征进行拼接;
将拼接后的特征输入至反向联合训练层以得到热点数据推荐模型。
具体地,对于离散数据集,首先利用梯度下降树的叶子节点进行特征选择,然后对选择的特征通过因子分解机生成低维稠密特征向量以进行特征处理;对于连续数据集,使用深度学习神经网络进行特征处理。
下面结合具体实施例介绍本发明的实现过程。在本发明的实施例介绍中,以电子商务平台进行热门商品推荐为例。
图2是本发明实施例的实现原理流程示意图。如图2所示,图中左侧是热门商品挖掘客户端,主要包括热门商品展示、短期爆款推荐、用户实时点击反馈、挖掘商品画像等等功能模块;图中右侧是热门商品推荐服务器,主要包括计算短期商品销量提升度、启发方式构建训练数据集、搭建深度学习模型、算法的预发布测试和联调上线等等功能模块。
图3是本发明实施例的功能实现原理示意图。如图3所示,本发明的实施例中,热门商品的推荐系统主要包括以下6个模块,分别是:模型背景模块、特征工程模块、季节热度商品模块、训练集构建模块、深度学习模型改进模块和业务应用模块。
1、模型背景模块:主要包括通用数据、补充热门召回、上升商品展示和推荐引擎召回等几个部分。
在对用户进行热门商品推荐时,尤其是对新用户或不活跃用户进行热门商品推荐时,多是获取通用数据(例如:最近3个月内浏览最多的商品)直接进行推荐。
但是这种方式有可能遗漏目前热度不高但上升趋势明显的爆款商品,为了弥补这个不足,本发明通过计算商品在近期的订单、浏览表现,可以筛选出指标上升趋势较大的爆款商品。这个召回数据可以挖掘季节性的热门爆款,对通用数据的热门召回进行补充。
本发明通过对短时间内(比如近7天)上升趋势明显的商品做出统计,并且对未来短时间内可能上升趋势明显的商品做出预测,综合计算后展示给用户。
本发明统计和预测的季节爆款商品可以作为推荐引擎架构底层的通用召回层,补充通用数据的时效性,使商品推荐更具有季节性、实时性。
2、特征工程模块:主要采集的特征包括不同时间商品浏览量、不同时间商品关注量、不同时间商品加购量和不同时间商品订单量所对应的特征。
对于不同时间商品浏览量,本发明统计了商品近30天全站浏览量、商品近30天移动端浏览量、商品近30天PC端浏览量、商品近7天全站浏览量、商品近7天移动端浏览量、商品近7天PC端浏览量等作为特征工程的底层数据。
对于不同时间商品关注量,本发明可统计商品近30天的关注量和商品近7天的关注量,作为商品关注维度的特征工程底层数据。
对于不同时间商品加购(添加购物车)量,本发明统计了商品近30天和7天移动端的加购量、商品近30天和7天移动端浏览后的加购比例、商品近30天和7天PC端的加购量、商品近30天和7天PC端浏览后的加购比例、商品近30天/7天被从购物车删除的次数等,作为特征工程购物车维度的底层数据。
对于不同时间商品订单量,本发明统计了商品近30天和7天的引入订单量、商品近30天和7天的完成订单量等作为特征工程订单维度底层数据。
3、季节热度商品模块:主要包括提取热销、发现趋势、挖掘爆款和多维融合等几个部分。
其中,提取热销商品例如可以是提取商品大数据表中各三级品类7天销量最多的50个商品。发现趋势例如可以是提取商品大数据表中各三级品类7天平均销量相对30天平均销量提升排名前10的商品,本发明定义这些商品为上升趋势显著商品。挖掘爆款例如可以是在二级品类维度,提取近7天日均销量排序前50的商品,本发明定义这些商品为爆款商品。多维融合例如可以是取所有品类下的爆款商品,按照近7天日均浏览相对近30天日均浏览的提升值作为指标,倒排并做同SPU过滤。其中,SPU(Standard Product Unit):标准化产品单元,是商品信息聚合的最小单位,是一组可复用、易检索的标准化信息的集合,该集合描述了一个产品的特性。通俗点讲,属性值、特性相同的商品就可以称为一个SPU。
4、训练集构建模块:主要包括热度阈值计算、商品筛选、指标计算和标签特征关联几个部分。
在计算热度阈值时,可按照百分之九十五分位数,统计各品类下商品对应的销量阈值、订单阈值、浏览量阈值等。然后进行商品筛选,本发明通过启发式方法进行商品筛选主要分为以下三个步骤:
第一步:关联商品7天特征表和商品表,获取有销量的商品集合;
第二步:将第一步结果关联商品宽表,得到商品对应的二级品类和三级品类,其中,商品宽表中保存了商品的各个属性,例如:商品价格、商品颜色、商品尺寸、商品品牌等;
第三步:关联前面计算好的热度阈值,根据销量、订单、浏览阈值,保留高于阈值的商品集合。
之后,以商品编号为主键,关联商品7天特征表和商品30天特征表;计算7天、30天日均浏览量和7天比30天在该指标的提升值;计算7天、30天日均销量和7天比30天在该指标的提升值;计算7天、30天三级品类销量占比和7天比30天在该指标的提升值,等等,从而计算得到商品的热度得分。
最后,综合以上指标计算,本发明为商品计算一个综合的热度得分,并通过将该热度得分与设定的阈值进行比较以生成商品标签,然后将商品标签关联多维度底层商品特征,构建好训练数据集。其中,该设定的阈值可以是
5、深度学习模型改进模块,主要包括嵌入层Embedding层、特征抽象层、前向传播层和反向联合训练层。
本发明将商品的热度标签,关联商品底层特征,作为深度学习模型输入,用来预测未来小段时间商品的爆款概率。本发明设计的解决方案是:将神经网络和自动特征选择(将数据输入给GBDT、FM做特征选择)结合在一起,然后将特征选择的结果与深度神经网络的输出一起作为输入,通过反向联合训练层的激活函数sigmoid函数,计算出该商品是短期爆款的概率。其中,GBDT全称梯度下降树,在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一;FM(Factor Machine,因子分解机)算法是一种基于矩阵分解的机器学习算法,为了解决大规模稀疏数据中的特征组合问题。
图4是本发明实施例的模型训练过程示意图。如图4所示,本发明实施例的模型训练过程主要包括嵌入层Embedding层、特征抽象层、前向传播层和反向联合训练层等几个功能层。
首先,将训练数据集的原始特征分为连续性特征(又叫数值型特征)和离散型特征(又叫类别性特征)两部分。对于离散型特征,将输入图中左侧分支进行特征处理,对于连续性特征,将输入图中右侧分支进行特征处理,然后,将处理后的特征进行拼接,再输入至反向联合训练层以得到热点数据推荐模型。
本发明中低阶离散特征是通过GBDT+FM进行处理的,以将离散特征转化为低纬维稠密嵌入Embedding向量,以便进行拼接。原始特征进入GBDT的作用是利用叶子节点做特征选择,然后通过FM构造隐向量更好地学习特征间的关系,并且能够解决数据量大和数据稀疏性的问题。高阶连续抽象特征是通过DNN提取的。本发明设计了三层隐藏层(全连接层),使用Relu激活函数,然后将第三层全连接层的输出和FM的输出拼接在一起,传入联合训练的全连接层。
训练数据集中的原始特征通过GBDT+FM和DNN后,得到最后的输出,进入激活函数,预测商品为短期爆款的概率。激活函数是神经网络经过矩阵计算后,做一个非线性的变换,输出商品爆款的概率。
最后,将拼接后的特征输入反向联合训练层,本发明反向联合训练选择优化器Adam,通过反向传播算法不断迭代更新模型参数,使得模型一轮轮朝着正确的学习目标优化。
如此,即可通过图4的模型训练过程得到热点数据推荐模型。
6、业务应用模块,介绍了本发明实施例的热点商品推荐模块的应用效果,主要包括:增加商品时效性、丰富推荐品类、提升用户体验和推荐结果优化。
本发明提取短期季节爆款趋势商品,可以为用户推荐增加商品时效性,用户会觉得平台推荐的都是很切合当前时尚风格,会更愿意浏览购买。相比较现有技术为用户推荐中长期的热门作为通用数据,本发明挖掘出来的短期上升趋势显著的商品,品类会更丰富。本发明提取热销、发现趋势、挖掘爆款等方式,都可以提升用户体验。用户能够感受到所推荐商品的灵活多样和实时互动。本发明挖掘短期上升趋势明显的商品,作为商品推荐业务的通用热门数据的补充,丰富了商品类别,提升了新品展示的机会,优化了模型效果。
图5是根据本发明实施例的热点数据的推荐装置的主要模块示意图。如图5所示,本发明实施例的热点数据的推荐装置500主要包括标签生成模块501、数据打标模块502、模型训练模块503和数据推荐模块504。
标签生成模块501,用于计算数据的热度得分以生成数据的热度标签;
数据打标模块502,用于使用热度标签对数据的特征向量进行打标,以生成训练数据;
模型训练模块503,用于通过对训练数据集进行训练以得到热点数据推荐模型;
数据推荐模块504,用于使用热点数据推荐模型确定热点数据并进行推荐。
根据本发明的一个实施例,标签生成模块501还可以用于:
计算数据在最近时段内的访问增加率;
根据所述访问增加率计算所述数据的热度得分;
通过将所述热度得分与预设阈值进行比较以生成所述数据的热度标签。
根据本发明的另一个实施例,标签生成模块501在计算数据在最近时段内的访问增加率时,还可以用于:
计算数据在最近时段内平均每天的第一访问量,以及数据在指定时段内平均每天的第二访问量,所述指定时段长于所述最近时段且包括所述最近时段;
将所述第一访问量与所述第二访问量之比作为所述数据在最近时段内的访问增加率。
根据本发明的另一个实施例,标签生成模块501在通过将所述热度得分与预设阈值进行比较以生成所述数据的热度标签时,还可以用于:
将所述热度得分与预设阈值进行比较,若所述热度得分大于所述预设阈值,则将所述数据的热度标签置为1;否则,将所述数据的热度标签置为0。
根据本发明的又一个实施例,模型训练模块503还可以用于:
将所述训练数据集中的训练数据分为离散数据集和连续数据集;
对所述离散数据集和所述连续数据集分别使用不同的网络进行特征处理,并将处理后的特征进行拼接;
将拼接后的特征输入至反向联合训练层以得到热点数据推荐模型。
根据本发明的又一个实施例,对于所述离散数据集,首先利用梯度下降树的叶子节点进行特征选择,然后对选择的特征通过因子分解机生成低维稠密特征向量以进行特征处理。
根据本发明的再一个实施例,对于所述连续数据集,使用深度学习神经网络进行特征处理。
根据本发明实施例的技术方案,通过计算数据的热度得分以生成数据的热度标签;使用热度标签对数据的特征向量进行打标,以生成训练数据;通过对训练数据集进行训练以得到热点数据推荐模型;使用热点数据推荐模型确定热点数据并进行推荐,可以应用前沿的深度学习技术,通过启发式方法构建潜在上升显著的训练数据集,预测未来短时间内可能热门且幅度增长较大的热点数据,展示给用户,在吸引用户注意力、提升用户体验的同时,也使得热点数据的推荐更加实时多样。
图6示出了可以应用本发明实施例的热点数据的推荐方法或热点数据的推荐装置的示例性系统架构600。
如图6所示,系统架构600可以包括终端设备601、602、603,网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互,以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器,例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的热点数据的推荐方法一般由服务器605执行,相应地,热点数据的推荐装置一般设置于服务器605中。
应该理解,图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图7,其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统700的结构示意图。图7示出的终端设备或服务器仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,计算机系统700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括标签生成模块、数据打标模块、模型训练模块和数据推荐模块。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定,例如,标签生成模块还可以被描述为“用于计算数据的热度得分以生成所述数据的热度标签的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:计算数据的热度得分以生成所述数据的热度标签;使用所述热度标签对所述数据的特征向量进行打标,以生成训练数据;通过对训练数据集进行训练以得到热点数据推荐模型;使用所述热点数据推荐模型确定热点数据并进行推荐。
根据本发明实施例的技术方案,通过计算数据的热度得分以生成数据的热度标签;使用热度标签对数据的特征向量进行打标,以生成训练数据;通过对训练数据集进行训练以得到热点数据推荐模型;使用热点数据推荐模型确定热点数据并进行推荐,可以应用前沿的深度学习技术,通过启发式方法构建潜在上升显著的训练数据集,预测未来短时间内可能热门且幅度增长较大的热点数据,展示给用户,在吸引用户注意力、提升用户体验的同时,也使得热点数据的推荐更加实时多样。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种热点数据的推荐方法,其特征在于,包括:
计算数据的热度得分以生成所述数据的热度标签;
使用所述热度标签对所述数据的特征向量进行打标,以生成训练数据;
通过对训练数据集进行训练以得到热点数据推荐模型;
使用所述热点数据推荐模型确定热点数据并进行推荐。
2.根据权利要求1所述的方法,其特征在于,计算数据的热度得分以生成所述数据的热度标签包括:
计算数据在最近时段内的访问增加率;
根据所述访问增加率计算所述数据的热度得分;
通过将所述热度得分与预设阈值进行比较以生成所述数据的热度标签。
3.根据权利要求2所述的方法,其特征在于,计算数据在最近时段内的访问增加率包括:
计算数据在最近时段内平均每天的第一访问量,以及数据在指定时段内平均每天的第二访问量,所述指定时段长于所述最近时段且包括所述最近时段;
将所述第一访问量与所述第二访问量之比作为所述数据在最近时段内的访问增加率。
4.根据权利要求2所述的方法,其特征在于,通过将所述热度得分与预设阈值进行比较以生成所述数据的热度标签包括:
将所述热度得分与预设阈值进行比较,若所述热度得分大于所述预设阈值,则将所述数据的热度标签置为1;否则,将所述数据的热度标签置为0。
5.根据权利要求1所述的方法,其特征在于,通过对训练数据集进行训练以得到热点数据推荐模型包括:
将所述训练数据集中的训练数据分为离散数据集和连续数据集;
对所述离散数据集和所述连续数据集分别使用不同的网络进行特征处理,并将处理后的特征进行拼接;
将拼接后的特征输入至反向联合训练层以得到热点数据推荐模型。
6.根据权利要求5所述的方法,其特征在于,对于所述离散数据集,首先利用梯度下降树的叶子节点进行特征选择,然后对选择的特征通过因子分解机生成低维稠密特征向量以进行特征处理。
7.根据权利要求5所述的方法,其特征在于,对于所述连续数据集,使用深度学习神经网络进行特征处理。
8.一种热点数据的推荐装置,其特征在于,包括:
标签生成模块,用于计算数据的热度得分以生成所述数据的热度标签;
数据打标模块,用于使用所述热度标签对所述数据的特征向量进行打标,以生成训练数据;
模型训练模块,用于通过对训练数据集进行训练以得到热点数据推荐模型;
数据推荐模块,用于使用所述热点数据推荐模型确定热点数据并进行推荐。
9.一种推荐热点数据的电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010215173.0A CN113449175A (zh) | 2020-03-24 | 2020-03-24 | 热点数据的推荐方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010215173.0A CN113449175A (zh) | 2020-03-24 | 2020-03-24 | 热点数据的推荐方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113449175A true CN113449175A (zh) | 2021-09-28 |
Family
ID=77806514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010215173.0A Pending CN113449175A (zh) | 2020-03-24 | 2020-03-24 | 热点数据的推荐方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113449175A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114707041A (zh) * | 2022-04-11 | 2022-07-05 | 中国电信股份有限公司 | 消息推荐方法、装置、计算机可读介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273436A (zh) * | 2017-05-24 | 2017-10-20 | 北京京东尚科信息技术有限公司 | 一种推荐模型的训练方法和训练装置 |
CN109214562A (zh) * | 2018-08-24 | 2019-01-15 | 国网山东省电力公司电力科学研究院 | 一种基于rnn的电网科研热点预测与推送方法 |
CN110363346A (zh) * | 2019-07-12 | 2019-10-22 | 腾讯科技(北京)有限公司 | 点击率预测方法、预测模型的训练方法、装置及设备 |
CN110598016A (zh) * | 2019-09-11 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 一种多媒体信息推荐的方法、装置、设备和介质 |
CN110851713A (zh) * | 2019-11-06 | 2020-02-28 | 腾讯科技(北京)有限公司 | 信息处理方法、推荐方法及相关设备 |
-
2020
- 2020-03-24 CN CN202010215173.0A patent/CN113449175A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273436A (zh) * | 2017-05-24 | 2017-10-20 | 北京京东尚科信息技术有限公司 | 一种推荐模型的训练方法和训练装置 |
CN109214562A (zh) * | 2018-08-24 | 2019-01-15 | 国网山东省电力公司电力科学研究院 | 一种基于rnn的电网科研热点预测与推送方法 |
CN110363346A (zh) * | 2019-07-12 | 2019-10-22 | 腾讯科技(北京)有限公司 | 点击率预测方法、预测模型的训练方法、装置及设备 |
CN110598016A (zh) * | 2019-09-11 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 一种多媒体信息推荐的方法、装置、设备和介质 |
CN110851713A (zh) * | 2019-11-06 | 2020-02-28 | 腾讯科技(北京)有限公司 | 信息处理方法、推荐方法及相关设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114707041A (zh) * | 2022-04-11 | 2022-07-05 | 中国电信股份有限公司 | 消息推荐方法、装置、计算机可读介质及电子设备 |
CN114707041B (zh) * | 2022-04-11 | 2023-12-01 | 中国电信股份有限公司 | 消息推荐方法、装置、计算机可读介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109299994B (zh) | 推荐方法、装置、设备及可读存储介质 | |
CN107105031A (zh) | 信息推送方法和装置 | |
CN107729937A (zh) | 用于确定用户兴趣标签的方法及装置 | |
CN107730346A (zh) | 物品聚类的方法和装置 | |
CN105718184A (zh) | 一种数据处理方法和装置 | |
CN109840730B (zh) | 用于数据预测的方法及装置 | |
CN107609890A (zh) | 一种订单跟踪的方法和装置 | |
CN110827112B (zh) | 深度学习的商品推荐方法、装置、计算机设备及存储介质 | |
EP4242955A1 (en) | User profile-based object recommendation method and device | |
CN107622086A (zh) | 一种点击率预估方法和装置 | |
CN108632311A (zh) | 信息推送方法和装置 | |
WO2023142520A1 (zh) | 信息推荐方法及装置 | |
CN111429161A (zh) | 特征提取方法、特征提取装置、存储介质及电子设备 | |
CN108932625A (zh) | 用户行为数据的分析方法、装置、介质和电子设备 | |
CN113781149A (zh) | 信息推荐方法、装置、计算机可读存储介质及电子设备 | |
CN110866625A (zh) | 促销指标信息生成方法和装置 | |
CN112116426A (zh) | 一种推送物品信息的方法和装置 | |
CN112749323A (zh) | 一种构建用户画像的方法和装置 | |
CN113449175A (zh) | 热点数据的推荐方法和装置 | |
CN113495991A (zh) | 一种推荐方法和装置 | |
CN116186541A (zh) | 一种推荐模型的训练方法及装置 | |
CN110766488A (zh) | 一种自动确定主题场景的方法和装置 | |
CN114996579A (zh) | 信息推送方法、装置、电子设备和计算机可读介质 | |
CN114677174A (zh) | 一种计算未上架物品销量的方法和装置 | |
CN113313542B (zh) | 一种推送频道页面的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |