CN113159834B - 一种商品信息排序方法、装置以及设备 - Google Patents

一种商品信息排序方法、装置以及设备 Download PDF

Info

Publication number
CN113159834B
CN113159834B CN202110350713.0A CN202110350713A CN113159834B CN 113159834 B CN113159834 B CN 113159834B CN 202110350713 A CN202110350713 A CN 202110350713A CN 113159834 B CN113159834 B CN 113159834B
Authority
CN
China
Prior art keywords
click
probability
commodity information
conversion
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110350713.0A
Other languages
English (en)
Other versions
CN113159834A (zh
Inventor
曾冠奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110350713.0A priority Critical patent/CN113159834B/zh
Publication of CN113159834A publication Critical patent/CN113159834A/zh
Application granted granted Critical
Publication of CN113159834B publication Critical patent/CN113159834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0254Targeted advertisements based on statistics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0255Targeted advertisements based on user history
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0261Targeted advertisements based on user location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • G06Q30/0271Personalized advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0277Online advertisement

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例公开了一种商品信息排序方法、装置以及设备。方案包括:获取用户特征和商品信息特征;获取根据第一损失和第二损失训练得到的预测模型,第一损失包括转化数据的损失和点击数据的损失,第二损失包括点击未转化数据的损失;根据用户特征和商品信息特征,利用预测模型预测商品信息的转化概率和点击概率;根据转化概率和点击概率,以及两者之间的条件关系,预测商品信息曝光后的全局收益情况;根据全局收益情况,对商品信息进行排序。

Description

一种商品信息排序方法、装置以及设备
技术领域
本说明书涉及机器学习技术领域,尤其涉及一种商品信息排序方法、装置以及设备。
背景技术
随着互联网技术的发展,各种商品的线上交易得到了普及。为了满足商家和用户的实际需求,对诸如广告、权益等商品信息的推荐成为各大互联网公司关心的一个方向。
目前,通常根据点击率来对商品信息排序,然后优先推荐排序靠前的商品信息。
基于此,需要更有助于资源优化配置的商品信息推荐方案。
发明内容
本说明书一个或多个实施例提供一种商品信息排序方法、装置、设备以及存储介质,用以解决如下技术问题:需要更有助于资源优化配置的商品信息推荐方案。
为解决上述技术问题,本说明书一个或多个实施例是这样实现的:
本说明书一个或多个实施例提供的一种商品信息排序方法,包括:
获取用户特征和商品信息特征;
获取根据第一损失和第二损失训练得到的预测模型,所述第一损失包括转化数据的损失和点击数据的损失,所述第二损失包括点击未转化数据的损失;
根据所述用户特征和所述商品信息特征,利用所述预测模型预测所述商品信息的转化概率和点击概率;
根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况;
根据所述全局收益情况,对所述商品信息进行排序。
本说明书一个或多个实施例提供的一种商品信息排序装置,包括:
特征获取模块,获取用户特征和商品信息特征;
模型获取模块,获取根据第一损失和第二损失训练得到的预测模型,所述第一损失包括转化数据的损失和点击数据的损失,所述第二损失包括点击未转化数据的损失;
模型预测模块,根据所述用户特征和所述商品信息特征,利用所述预测模型预测所述商品信息的转化概率和点击概率;
收益预测模块,根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况;
信息排序模块,根据所述全局收益情况,对所述商品信息进行排序。
本说明书一个或多个实施例提供的一种商品信息排序设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取用户特征和商品信息特征;
获取根据第一损失和第二损失训练得到的预测模型,所述第一损失包括转化数据的损失和点击数据的损失,所述第二损失包括点击未转化数据的损失;
根据所述用户特征和所述商品信息特征,利用所述预测模型预测所述商品信息的转化概率和点击概率;
根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况;
根据所述全局收益情况,对所述商品信息进行排序。
本说明书一个或多个实施例提供的一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
获取用户特征和商品信息特征;
获取根据第一损失和第二损失训练得到的预测模型,所述第一损失包括转化数据的损失和点击数据的损失,所述第二损失包括点击未转化数据的损失;
根据所述用户特征和所述商品信息特征,利用所述预测模型预测所述商品信息的转化概率和点击概率;
根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况;
根据所述全局收益情况,对所述商品信息进行排序。
本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效果:综合考虑了转化率、点击率以及点击未转化的情况,有助于得到更准确的转化概率和点击概率,有助于将点击率高但是转化率低的商品信息识别出来,预测出更准确的全局收益情况,从而实现更合理的排序以及推荐,有助于资源优化配置,该方案并不限于像现有技术那样利用有点击的局部范围的样本进行学习,而是能够充分利用全局范围的样本进行学习,有助于提高学习准确性和学习效率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提供的一种商品信息排序方法的流程示意图;
图2为本说明书一个或多个实施例提供的一种应用场景下,图1中方法的一种详细流程示意图;
图3为本说明书一个或多个实施例提供的一种商品信息排序装置的结构示意图;
图4为本说明书一个或多个实施例提供的一种商品信息排序设备的结构示意图。
具体实施方式
本说明书实施例提供一种商品信息排序方法、装置、设备以及存储介质。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
在本说明书一个或多个实施例中,为了解决目前的问题,相比于点击率,开始更关注转化率,以互联网广告推荐为例,更关注对于广告的曝光到底能带来多少真正的订单成交,在这里,转化率可以指转化量(比如,定义若用户在相应平台进行了注册或者购买了相应的商品,则可以计入转化量)与点击量之间的比值。基于这样的思路,利用用户特征和商品信息特征直接针对转化率进行建模,用于预测商品信息的转化概率,并据此决策如何曝光该商品信息,是否向用户推荐该商品信息,以及具体如何推荐该商品信息。这种直接针对转化率建模的方案也存在问题,因为实际订单成交的数据往往非常稀疏,不利于准确预测,而且在大量未成交的商品信息需要排序时这种模型是能力不足的。
基于此,在本说明书一个或多个实施例中,提出了解决方案,具体地,将点击、转化、点击进而转化(用户点击了并且实现了对该用户的转化)看做是三个不同的学习任务,将这些学习任务分解为条件概率的乘积,具体如下公式一:
p(z&y=1|x)=p(z=1|y=1,x)p(z&y=1|x);(公式一)
其中,x表示商品信息,y表示是否点击了(假定取1为是),z表示是否转化了(假定取1为是),p(z&y=1|x)表示商品信息的点击概率,简记为pCTR,p(z=1|y=1,x)表示商品信息的转化概率,简记为pCVR,p(z&y=1|x)表示商品信息的点击进而转化的概率,简记为pCTCVR。
在公式一可以注意到,在全部样本空间(称为全局)中,点击、点击进而转化这两个任务是可以使用全部样本的,因为没有y=1这个条件的限制,因此,可以通过学习这两个任务,再根据公式一隐式地学习点击这个任务。类似地,可以先学习其中任意两个任务,再据此学习剩余的第三个任务。
进一步地,可以根据对pCTCVR的预测结果,便利地对全局中的商品信息进行排序(不必受限于点击与否),pCTCVR越高则排序越靠前,相应地可以优先推荐。但是,在这种场景下也存在问题。比如,当一个商品信息1的pCVR1=0.3,pCTR1=0.2,而另一个商品信息2的pCVR2=0.2,pCTR2=0.8时,计算可知,pCTCVR1<pCTCVR2,原因在于转化概率相对高的商品信息1因为点击概率远低于商品信息2,结果能进行全部样本学习的pCTCVR得分低于商品信息2。如此,直接表现就是,更多的流量(流量越多,曝光越多,公众越有机会看到)将被分配给那些点击概率*转化概率得分高的商品信息,而不是真正的转化概率高的商品信息。
针对进一步的问题,在本说明书一个或多个实施例中,也提出了进一步的解决方案,主要思路是基于对点击未转化的情况的考虑,提出了一种辅助损失,用于将那些可能是低点击率高转化率的商品信息识别出来,增大曝光量,以更好地实现资源价值,将那些可能是高点击率、低转化率的商品信息识别出来,减小曝光量,以减少对资源的无谓浪费,也有助于提高用户体验。
下面基于这样的思路,具体进行说明。
图1为本说明书一个或多个实施例提供的一种商品信息排序方法的流程示意图。该方法可以应用于不同的业务领域,比如,互联网金融业务领域、电商业务领域、游戏业务领域等。该流程可以由相应领域的计算设备(比如,支付业务对应的智能客服服务器或者智能移动终端等)执行,流程中的某些输入参数或者中间结果允许人工干预调节,以帮助提高准确性。
图1中的流程可以包括以下步骤:
S102:获取用户特征和商品信息特征。
在本说明书一个或多个实施例中,用户特征从相应的用户信息中提取,比如,账号、位置、历史购物记录等。商品包括可购买或者初始免费获得后续根据具体使用情况计费的物品、服务(比如,平台用户身份、平台会员身份等)等。
商品信息除了包括商品本身的属性之外,还包括相关的其他一些信息,比如,商品相关的广告(直接宣传商品的广告、商品所属平台的泛广告等)、权益(比如,优惠券、折扣资格、返现资格等)等信息。商品信息特征从相应的用户信息中提取。
S104:获取根据第一损失和第二损失训练得到的预测模型,所述第一损失包括转化数据的损失和点击数据的损失,所述第二损失包括点击未转化数据的损失。
在本说明书一个或多个实施例中,上述的特征也可以通过预测模型提取得到,在这种情况下,其中的一些特征可能为可解释性较低的隐层高维特征。
在实际应用中,高点击率低转化率的商品信息往往具有风险,对用户和社会不利,轻则浪费用户时间,重则可能使用户财产受损,表现是博眼球、骗点击,比如,使用虚假宣传、黄暴图片、小利诱惑等,而背后可能隐藏着以次充好、以假充真、木马入侵、诈骗链条等恶意行为。基于此,本方案不仅设计了第一损失综合考虑转化率和点击率,还设计了第二损失考虑点击未转化的情况。
在本说明书一个或多个实施例中,第一损失为主损失,第二损失为辅助损失,用于辅助预测模型的训练,不同的损失具有相应的标签。通过样本及其标签,有监督训练预测模型,使得预测模型具备预测指定的商品信息的转化概率和点击概率的能力,并且还具备将一些可能为高点击率低转化率的商品信息识别出来的能力(比如,预测点击未转化的概率,若该概率较大,则表示对应的商品信息很可能是高点击率低转化率的),进而据此干预其排序,减少导向这样的商品信息的流量。
转化数据反映了转化概率或者转化率,点击数据反映了点击概率或者点击率,具体可以预定义相应的数值标签(比如,概率标签)进行表征。
S106:根据所述用户特征和所述商品信息特征,利用所述预测模型预测所述商品信息的转化概率和点击概率。
在本说明书一个或多个实施例中,转化概率和点击概率可以只是预测模型预测过程中的中间结果,最终输出的可以是基于中间结果进一步预测得到的,比如,后续提到的全局收益情况。
前面提到了点击未转化的情况,可以通过第二损失的辅助训练,在预测过程中,根据点击未转化的情况隐性地调整得到转化概率和点击概率。在这种情况下,得到的转化概率和点击概率实际上未必符合真实情况,尤其是点击概率可能是被调小,如此以便于降低点击未转化对应的商品信息的排序。这种方式的优点是有能力直接得到更合理的排序,而不是在排序时再干预调整。
S108:根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况。
前面提到了隐形地调整得到转化概率和点击概率。当然,也可以正常地预测转化概率和点击概率,而在后续比如预测全局收益情况或者排序时,再根据点击未转化的情况有针对性地进行调整,这类方案的优点在于:能够更显性地了解到底哪些商品信息很可能是高点击率低转化率的,从而便于打击背后可能隐藏的作恶方。
在本说明书一个或多个实施例中,全局收益情况包括商品信息的点击进而转化的概率,该概率越大,意味着越有可能得到对应的用户为商品信息所带来的收益。这里的全局可以指商品信息曝光所面向的所有用户(通常是社会公众),相对应的局部可以指确定已点击或者将会点击所普光的商品信息的用户集合,显然,该用户集合只是所有用户的一部分(也即,局部),全局收益情况是无需依赖于“用户是否点击”这个条件的,因此相对于转化概率而言,通用性更好,有助于更准确地评价商品信息。
类似地,全局收益情况也可以包括商品信息的点击未转化的概率,该概率能够更显性帮助识别出高点击率第转化率的商品信息,并可以据此直接干预后续的排序过程。
在本说明书一个或多个实施例中,对于商品信息的点击进而转化的概率,直接利用转化概率和点击概率计算得到。根据前面的说明可知,转化概率和点击概率是有条件关系的,转化概率是以已点击作为前提条件的,基于此,可以将转化概率和点击概率相乘,根据得到的乘积预测商品信息的点击进而转化的概率,比如,将pCVR和pCTR相乘,得到pCTCVR。
除了点击进而转化的概率,还有其他一些信息也能够反映全局收益。具体取决于实际业务需要,比如,成功转化且高收益(如通过点击商品信息,注册为平台用户,并且在该平台办了收费的较高等级的会员;通过点击商品信息促使某用户转化,且很容易使得该用户主动向周围人进行宣传推广等)的概率,再比如,与时限关联性强的高收益(如短时应季的高品质水果的热销,有补贴的);等等。
S110:根据所述全局收益情况,对所述商品信息进行排序。
在本说明书一个或多个实施例中,全局收益情况越好(比如,点击进而转化的概率越高,或者点击未转化的概率越低等),则将对应的商品信息越往前排。若全局收益情况本身未考虑或者未充分考虑点击未转化的情况,则可以额外地结合点击未转化的情况(通过预测模型识别了解)调整排序,以打击骗点击博眼球等投机行为,帮助真正有商业价值的商品脱颖而出而不被埋没,从而有助于防止劣币驱逐良币。
通过图1的方法,综合考虑了转化率、点击率以及点击未转化的情况,有助于得到更准确的转化概率和点击概率,有助于将点击率高但是转化率低的商品信息识别出来,预测出更准确的全局收益情况,从而实现更合理的排序以及推荐,有助于资源优化配置,该方案并不限于像现有技术那样利用有点击的局部范围的样本进行学习,而是能够充分利用全局范围的样本进行学习,有助于提高学习准确性和学习效率。
基于图1的方法,本说明书还提供了该方法的一些具体实施方案和扩展方案,下面继续进行说明。
在本说明书一个或多个实施例中,在步骤S106中,利用预测模型正常地预测商品信息的转化概率和点击概率,预测过程中尚不刻意调整,争取得到比较准确的转化概率和点击概率,之后再图调整。在这种情况下,便于显性地识别了解点击未转化的可能性。
具体比如,在预测得到转化概率和点击概率后,判定商品信息的转化概率与点击概率之间的差距是否超过预定程度。需要说明的是,在实际应用中,为了确定差距的程度,未必要显性地分别将转化概率和点击概率确定出来,而是可能通过隐层高维特征间接地反映转化概率和点击概率,然后依据这种间接的数据预测差距是否超过预定程度;再比如,也可以通过判定点击未转化的概率是否大于预定程度,确定转化概率与点击概率之间的差距是否超过预定程度。若差距超过预定程度,且点击概率高于转化概率(除了直接比大小的方式以外,若是点击未转化,则也可以认为点击概率是高于转化概率的),则可以认为相应的商品信息可能是高点击率而低转化率的,若直接按照点击进而转化的概率进行排序,这样的商品信息很可能获得较高的排序,而从之前的分析可知并不合适给予这样的商品信息太高的排序,以免无谓地浪费流量,基于此,可以主动干预,在降低该商品信息的权重情况下进行排序,以使该商品信息排序更靠后一些。
进一步地,基于同样的思路,在打击高点击率而低转化率的商品信息的同时,还可以将现有可能被埋没的真正有价值的商品信息进行提携。比如,若上述的差距超过预定程度,且转化概率高于点击概率,则可以认为相应的商品信息可能是低点击率而高转化率的,这样的商品信息能够更有效率地创造价值,有助于资源真正用到刀刃上,为了防止这样的商品信息被埋没,可以在提高该商品信息的权重情况下进行排序,从而提升该商品信息的排序,使得该商品信息获得更多的流量。
在本说明书一个或多个实施例中,预先通过有标签的训练样本,有监督训练得到预测模型。针对第一损失而言,所使用的标签包括点击标签和转化标签,这两个标签可以根据实际业务情况标注确定,针对第二损失而言,将第二损失在预测模型的训练中作为辅助损失,对应的标签称为辅助标签。
进一步地,通过设计合适的点击标签和转化标签,使得能够根据点击标签和转化标签,直接生成训练样本对应的辅助标签,而无需再根据实际业务数据标注辅助标签,如此,有助于节省人力资源,提高训练效率。
基于此,在预测模型的训练中,获取训练样本对应的点击标签和转化标签,根据点击标签和转化标签,生成训练样本对应的辅助标签,辅助标签在点击未转化的情况下为第一值,在点击且转化的情况下和未点击的情况下为第二值,根据训练样本和辅助标签,以及训练中的预测模型,确定第二损失。
具体如何生成辅助标签,可以取决于对标签取值的设计,将辅助标签作为辅助训练的监督信号,以表示是点击未转化,还是其他一些预设情况(比如,点击且转化,或者未点击等)。比如,将上述的第一值取1作为最大值,第二值取0作为最小值,对于点击标签和转化标签,肯定结果取值1,否定结果取值0,在这种情况下,可以用点击标签的值减去转化标签的值,所得结果作为辅助标签的值,从而自动生成了辅助标签,假定某训练样本点击标签取值为1,转化标签取值为0,则其辅助标签的值为1减0等于1,表示该训练样本属于点击未转化的情况。当然,0、1这样的标签取值是示例性的,还有更多的取值方案和生成方案,只要能够使辅助标签正确地表示出预期的业务含义即可。
在本说明书一个或多个实施例中,在训练阶段,对于点击、转化、点击进而转化这三个可学习的任务,可以先学习其中两个,再根据学习结果隐式地学习点击剩余的那个任务。在三个任务都学习完毕的基础上,对于图1中的流程,也可以直接预测商品信息的点击进而转化的概率,而未必要先针对转化概率和点击概率进行预测,再间接地预测出点击进而转化的概率。在这种情况下,有助于更高效地得到指导商品信息排序的合理依据。
在本说明书一个或多个实施例中,通过图1的流程,能够识别可能为高点击率低转化率的商品信息。对于这样的商品信息,在排序时还有一种处理思路,就是不仅不降低其排序顺序,反而增加其排序权重,提升其排序顺序,当然,并不是无条件的提升,还需要有一些配合的措施(比如,对其很短的限时排序提升、对其针对性的更严格的风控手段等)同时执行。
具体思路在于:在实际应用中,高点击率低转化率虽然具有风险,但也未必全部是作恶的,并且即使是作恶的,也有不同的作恶程度之分,比如,以次充好、种植木马盗取账户这两种作恶通常是还后一种风险更大也更恶劣,通过短时间将这样的商品信息高频率地曝光虽然可能导致更多的点击量,但是也会带来一些好处,比如,该商品信息更容易受到公众的监管和评判,亮眼懂行的合法用户更多,诡计更容易暴露,其他用户更有机会得到正确的指导,在这种情况下,再配合主动的更严格的风控手段(比如,假定是第三方支付平台,对于这样的商品信息,可以增加用户支付款在平台上的冻结时间,增加对商品信息的人工审核力度,在介入评判质量争议时增大向买家用户倾斜的权重等),使得即使增加了商品信息的曝光量,但是,不会带来更多的风险,反而是能够更高效地了解该商品信息高点击率低转化率具体是什么原因导致的,到底有无风险,风险程度到底如何等。
结合前面的说明,本说明书一个或多个实施例提供了一种应用场景下,图1中方法的一种详细流程示意图,如图2所示。
图2中的流程可以包括如下步骤:
S202:获取训练样本及其点击标签、转化标签,并根据点击标签、转化标签生成相应的点击未转化标签。
S204:根据点击标签、转化标签、点击未转化标签中的任意两个标签分别执行对应的学习任务,再根据学习结果进一步地学习剩余的学习任务,根据这些学习任务对应的学习结果确定预测模型。
S206:获取待预测的用户特征和商品信息特征。
S208:根据用户特征和商品信息特征,利用预测模型直接预测商品信息的点击进而转化的概率,或者先利用预测模型预测商品信息的转化概率和点击概率,再间接地预测商品信息的点击进而转化的概率,并识别点击未转化的情况。
S210:根据所预测的概率,若将要利用的概率(可以从预测得到的概率中有选择地使用)是根据点击未转化的情况调整过的,则按照该概率的大小对商品信息进行排序,否则,根据该概率和点击未转化的情况对商品信息进行排序,且在排序过程中,降低被判定为高点击概率低转化概率的商品信息的权重,以及提高被判定为低点击概率高转化概率的商品信息的权重。
S212:根据排序顺序,优先推荐排序靠前的商品信息。
基于同样的思路,本说明书一个或多个实施例还提供了上述方法对应的装置和设备,如图3、图4所示。
图3为本说明书一个或多个实施例提供的一种商品信息排序装置的结构示意图,所述装置包括:
特征获取模块302,获取用户特征和商品信息特征;
模型获取模块304,获取根据第一损失和第二损失训练得到的预测模型,所述第一损失包括转化数据的损失和点击数据的损失,所述第二损失包括点击未转化数据的损失;
模型预测模块306,根据所述用户特征和所述商品信息特征,利用所述预测模型预测所述商品信息的转化概率和点击概率;
收益预测模块308,根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况;
信息排序模块310,根据所述全局收益情况,对所述商品信息进行排序。
可选地,所述模型预测模块306,根据所述预测模型针对所述商品信息计算的所述第二损失,预测所述商品信息的转化概率与点击概率之间的差距是否超过预定程度。
可选地,所述信息排序模块310,若所述差距超过预定程度,且所述转化概率高于所述点击概率,则在提高所述商品信息的权重情况下进行排序;和/或,
若所述差距超过预定程度,且所述点击概率高于所述转化概率,则在降低所述商品信息的权重情况下进行排序。
可选地,所述收益预测模块308,根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息的点击进而转化的概率,作为所述商品信息曝光后的全局收益情况。
可选地,所述收益预测模块308,将所述转化概率和点击概率相乘,根据得到的乘积预测所述商品信息的点击进而转化的概率。
可选地,还包括:模型训练模块312,将所述第二损失在所述预测模型的训练中作为辅助损失,并按照以下方式确定所述辅助损失:
获取训练样本对应的点击标签和转化标签;
根据所述点击标签和所述转化标签,生成所述训练样本对应的辅助标签,所述辅助标签在点击未转化的情况下为第一值,在点击且转化的情况下和未点击的情况下为第二值;
根据所述训练样本和所述辅助标签,以及训练中的所述预测模型,确定所述第二损失。
可选地,所述商品信息包括商品相关的广告和/或权益。
图4为本说明书一个或多个实施例提供的一种商品信息排序设备的结构示意图,所述设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取用户特征和商品信息特征;
获取根据第一损失和第二损失训练得到的预测模型,所述第一损失包括转化数据的损失和点击数据的损失,所述第二损失包括点击未转化数据的损失;
根据所述用户特征和所述商品信息特征,利用所述预测模型预测所述商品信息的转化概率和点击概率;
根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况;
根据所述全局收益情况,对所述商品信息进行排序。
处理器与存储器之间可以通过总线通信,设备还可以包括与其他设备通信的输入/输出接口。
基于同样的思路,本说明书一个或多个实施例还提供了对应于上述方法的一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
获取用户特征和商品信息特征;
获取根据第一损失和第二损失训练得到的预测模型,所述第一损失包括转化数据的损失和点击数据的损失,所述第二损失包括点击未转化数据的损失;
根据所述用户特征和所述商品信息特征,利用所述预测模型预测所述商品信息的转化概率和点击概率;
根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况;
根据所述全局收益情况,对所述商品信息进行排序。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书实施例可提供为方法、系统、或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (15)

1.一种商品信息排序方法,包括:
获取用户特征和商品信息特征;
获取根据第一损失和第二损失训练得到的预测模型,所述第一损失包括转化数据的损失和点击数据的损失,所述第二损失包括点击未转化数据的损失;
根据所述用户特征和所述商品信息特征,利用所述预测模型预测所述商品信息的转化概率和点击概率;
根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况;
根据所述全局收益情况,对所述商品信息进行排序。
2.如权利要求1所述的方法,所述利用所述预测模型预测所述商品信息的转化概率和点击概率,具体包括:
根据所述预测模型针对所述商品信息计算的所述第二损失,预测所述商品信息的转化概率与点击概率之间的差距是否超过预定程度。
3.如权利要求2所述的方法,所述对所述商品信息进行排序,具体包括:
若所述差距超过预定程度,且所述转化概率高于所述点击概率,则在提高所述商品信息的权重情况下进行排序;和/或,
若所述差距超过预定程度,且所述点击概率高于所述转化概率,则在降低所述商品信息的权重情况下进行排序。
4.如权利要求1所述的方法,所述根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况,具体包括:
根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息的点击进而转化的概率,作为所述商品信息曝光后的全局收益情况。
5.如权利要求4所述的方法,所述根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息的点击进而转化的概率,具体包括:
将所述转化概率和点击概率相乘,根据得到的乘积预测所述商品信息的点击进而转化的概率。
6.如权利要求1所述的方法,所述第二损失在所述预测模型的训练中作为辅助损失,按照以下方式确定:
获取训练样本对应的点击标签和转化标签;
根据所述点击标签和所述转化标签,生成所述训练样本对应的辅助标签,所述辅助标签在点击未转化的情况下为第一值,在点击且转化的情况下和未点击的情况下为第二值;
根据所述训练样本和所述辅助标签,以及训练中的所述预测模型,确定所述第二损失。
7.如权利要求1~6任一项所述的方法,所述商品信息包括商品相关的广告和/或权益。
8.一种商品信息排序装置,包括:
特征获取模块,获取用户特征和商品信息特征;
模型获取模块,获取根据第一损失和第二损失训练得到的预测模型,所述第一损失包括转化数据的损失和点击数据的损失,所述第二损失包括点击未转化数据的损失;
模型预测模块,根据所述用户特征和所述商品信息特征,利用所述预测模型预测所述商品信息的转化概率和点击概率;
收益预测模块,根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况;
信息排序模块,根据所述全局收益情况,对所述商品信息进行排序。
9.如权利要求8所述的装置,所述模型预测模块,根据所述预测模型针对所述商品信息计算的所述第二损失,预测所述商品信息的转化概率与点击概率之间的差距是否超过预定程度。
10.如权利要求9所述的装置,所述信息排序模块,若所述差距超过预定程度,且所述转化概率高于所述点击概率,则在提高所述商品信息的权重情况下进行排序;和/或,
若所述差距超过预定程度,且所述点击概率高于所述转化概率,则在降低所述商品信息的权重情况下进行排序。
11.如权利要求8所述的装置,所述收益预测模块,根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息的点击进而转化的概率,作为所述商品信息曝光后的全局收益情况。
12.如权利要求11所述的装置,所述收益预测模块,将所述转化概率和点击概率相乘,根据得到的乘积预测所述商品信息的点击进而转化的概率。
13.如权利要求8所述的装置,还包括:模型训练模块,将所述第二损失在所述预测模型的训练中作为辅助损失,并按照以下方式确定所述辅助损失:
获取训练样本对应的点击标签和转化标签;
根据所述点击标签和所述转化标签,生成所述训练样本对应的辅助标签,所述辅助标签在点击未转化的情况下为第一值,在点击且转化的情况下和未点击的情况下为第二值;
根据所述训练样本和所述辅助标签,以及训练中的所述预测模型,确定所述第二损失。
14.如权利要求8~13任一项所述的装置,所述商品信息包括商品相关的广告和/或权益。
15.一种商品信息排序设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取用户特征和商品信息特征;
获取根据第一损失和第二损失训练得到的预测模型,所述第一损失包括转化数据的损失和点击数据的损失,所述第二损失包括点击未转化数据的损失;
根据所述用户特征和所述商品信息特征,利用所述预测模型预测所述商品信息的转化概率和点击概率;
根据所述转化概率和所述点击概率,以及两者之间的条件关系,预测所述商品信息曝光后的全局收益情况;
根据所述全局收益情况,对所述商品信息进行排序。
CN202110350713.0A 2021-03-31 2021-03-31 一种商品信息排序方法、装置以及设备 Active CN113159834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110350713.0A CN113159834B (zh) 2021-03-31 2021-03-31 一种商品信息排序方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110350713.0A CN113159834B (zh) 2021-03-31 2021-03-31 一种商品信息排序方法、装置以及设备

Publications (2)

Publication Number Publication Date
CN113159834A CN113159834A (zh) 2021-07-23
CN113159834B true CN113159834B (zh) 2022-06-07

Family

ID=76885878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110350713.0A Active CN113159834B (zh) 2021-03-31 2021-03-31 一种商品信息排序方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN113159834B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266592A (zh) * 2021-12-13 2022-04-01 北京蚂蜂窝网络科技有限公司 一种广告素材的分配方法、分配装置、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108496189A (zh) * 2015-12-04 2018-09-04 谷歌有限责任公司 机器学习模型的正则化
CN110298725A (zh) * 2019-05-24 2019-10-01 北京三快在线科技有限公司 商品组合的推荐方法、装置、电子设备及可读存储介质
CN110647696A (zh) * 2018-06-08 2020-01-03 北京三快在线科技有限公司 一种业务对象的排序方法及装置
CN110880124A (zh) * 2019-09-29 2020-03-13 清华大学 转化率评估方法及装置
CN111681059A (zh) * 2020-08-14 2020-09-18 支付宝(杭州)信息技术有限公司 行为预测模型的训练方法及装置
CN112183584A (zh) * 2020-09-08 2021-01-05 北京三快在线科技有限公司 一种模型训练以及业务执行的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130211905A1 (en) * 2012-02-13 2013-08-15 Microsoft Corporation Attractiveness-based online advertisement click prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108496189A (zh) * 2015-12-04 2018-09-04 谷歌有限责任公司 机器学习模型的正则化
CN110647696A (zh) * 2018-06-08 2020-01-03 北京三快在线科技有限公司 一种业务对象的排序方法及装置
CN110298725A (zh) * 2019-05-24 2019-10-01 北京三快在线科技有限公司 商品组合的推荐方法、装置、电子设备及可读存储介质
CN110880124A (zh) * 2019-09-29 2020-03-13 清华大学 转化率评估方法及装置
CN111681059A (zh) * 2020-08-14 2020-09-18 支付宝(杭州)信息技术有限公司 行为预测模型的训练方法及装置
CN112183584A (zh) * 2020-09-08 2021-01-05 北京三快在线科技有限公司 一种模型训练以及业务执行的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于序列特征的点击率预测模型;朱思涵;《华东师范大学学报(自然科学版)》;20200430;全文 *
巴塞尔新资本协议视角下的农业银行信用风险管理研究;侯金亮;《中国优秀硕士学位论文全文数据库》;20110315;全文 *

Also Published As

Publication number Publication date
CN113159834A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN110413877B (zh) 一种资源推荐方法、装置及电子设备
US10915706B2 (en) Sorting text report categories
CN107180371B (zh) 使用优惠券购买商品的方法、系统和计算机可读存储介质
US11501304B2 (en) Systems and methods for classifying imbalanced data
US10832250B2 (en) Long-term short-term cascade modeling for fraud detection
CN110874491B (zh) 基于机器学习的隐私数据处理方法、装置及电子设备
US11250433B2 (en) Using semi-supervised label procreation to train a risk determination model
CN113688313A (zh) 一种预测模型的训练方法、信息推送的方法及装置
US20190080352A1 (en) Segment Extension Based on Lookalike Selection
CN110633989A (zh) 一种风险行为生成模型的确定方法及装置
CN110942338A (zh) 一种营销赋能策略的推荐方法、装置和电子设备
US20210192496A1 (en) Digital wallet reward optimization using reverse-engineering
CN110134860B (zh) 用户画像生成方法、装置和设备
CN110458571B (zh) 一种信息泄露的风险识别方法、装置及设备
CN113159834B (zh) 一种商品信息排序方法、装置以及设备
CN111582872A (zh) 异常账号检测模型训练、异常账号检测方法、装置及设备
CN112561162A (zh) 一种信息推荐的方法及装置
CN111369293A (zh) 一种广告出价方法、装置及电子设备
CN110020118B (zh) 一种计算用户之间相似度的方法及装置
CN115130756A (zh) 一种在线服务的管理方法、装置、电子设备及存储介质
CN104331823A (zh) 确定发布信息中关键词保留价格的方法及装置
WO2021196843A1 (zh) 用于风险识别模型的衍生变量选择方法和装置
Thorleuchter et al. Using Webcrawling of Publicly Available Websites to Assess E-commerce Relationships
CN113837772A (zh) 一种对营销信息进行审核的方法、装置及设备
CN113554448A (zh) 一种用户流失预测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant