CN113342868B - 一种信息推荐方法、装置、设备及计算机可读存储介质 - Google Patents

一种信息推荐方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113342868B
CN113342868B CN202110895209.9A CN202110895209A CN113342868B CN 113342868 B CN113342868 B CN 113342868B CN 202110895209 A CN202110895209 A CN 202110895209A CN 113342868 B CN113342868 B CN 113342868B
Authority
CN
China
Prior art keywords
feature
information
recommended
cross
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110895209.9A
Other languages
English (en)
Other versions
CN113342868A (zh
Inventor
赵忠
傅妍玫
梁瀚明
马骊
赵光耀
张立广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110895209.9A priority Critical patent/CN113342868B/zh
Publication of CN113342868A publication Critical patent/CN113342868A/zh
Application granted granted Critical
Publication of CN113342868B publication Critical patent/CN113342868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种信息推荐方法、装置、设备及计算机可读存储介质;方法包括:分别对待推荐信息的多个特征域进行压缩处理,得到对应各所述特征域的压缩特征;获取用于表征多个特征域中任意特征域组合交叉强度的交叉分块矩阵,并基于所述交叉分块矩阵及各所述压缩特征,对所述多个特征域进行交叉处理,得到所述待推荐信息的交叉特征;基于各所述压缩特征,对所述多个特征域进行关联处理,得到所述待推荐信息的关联特征;结合所述交叉特征及所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的点击率预测结果,以基于点击率预测结果执行推荐操作。通过本申请,能够在降低计算复杂度的同时,提高推荐结果的准确性。

Description

一种信息推荐方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及人工智能技术,尤其涉及一种基于人工智能的信息推荐方法、装置、设备及计算机可读存储介质。
背景技术
人工智能(AI,Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。信息推荐是人工智能的重要应用,推荐系统通常包括召回和排序两个阶段,在排序阶段,最常用的排序模型是点击率预估模型,该模型中交叉特征的设计方式对最终的推荐效果起着至关重要的作用。
在基于深度学习的推荐领域里,相关技术虽然提出了不同的交叉特征设计方法,但这些方法通常存在以下不足:模型里特征交叉的阶数比较低,导致模型无法学习和捕捉用户与待推荐信息之间的一些高阶关联,从而降低了模型的记忆性,使得推荐结果的准确性受到了限制;并且,模型里特征交叉的计算复杂度太高,在线计算太慢,满足不了线上打分对耗时的要求,在工业级的大规模推荐系统上难以实现技术落地。
发明内容
本申请实施例提供一种信息推荐方法、装置、设备及计算机可读存储介质,能够在降低计算复杂度的同时,提高推荐结果的准确性。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种信息推荐方法,包括:
分别对待推荐信息的多个特征域进行压缩处理,得到对应各所述特征域的压缩特征;
获取用于表征所述多个特征域中任意特征域组合交叉强度的交叉分块矩阵,并基于所述交叉分块矩阵及各所述压缩特征,对所述多个特征域进行交叉处理,得到所述待推荐信息的交叉特征;
基于各所述压缩特征,对所述多个特征域进行关联处理,得到所述待推荐信息的关联特征;
结合所述交叉特征及所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的点击率预测结果,以基于点击率预测结果执行推荐操作。
本申请实施例提供一种信息推荐装置,包括:
压缩模块,用于分别对待推荐信息的多个特征域进行压缩处理,得到对应各所述特征域的压缩特征;
交叉模块,用于获取用于表征所述多个特征域中任意特征域组合交叉强度的交叉分块矩阵,并基于所述交叉分块矩阵及各所述压缩特征,对所述多个特征域进行交叉处理,得到所述待推荐信息的交叉特征;
关联模块,用于基于各所述压缩特征,对所述多个特征域进行关联处理,得到所述待推荐信息的关联特征;
预测模块,用于结合所述交叉特征及所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的点击率预测结果,以基于点击率预测结果执行推荐操作。
上述方案中,所述特征域包括连续型特征域、离散型特征域,所述压缩模块,还用于对所述待推荐信息的连续型特征域进行离散化处理,得到所述连续型特征域的离散特征;
对所述连续型特征域的离散特征进行压缩处理,得到所述连续型特征域的压缩特征;
对所述待推荐信息的离散型特征域进行压缩处理,得到所述离散型特征域的压缩特征;
将得到的所述连续型特征域的压缩特征和所述离散型特征域的压缩特征,确定为对应各所述特征域的压缩特征。
上述方案中,所述压缩模块,还用于获取所述多个特征域中任意a个特征域组合的参数矩阵和权重矩阵;
其中,
Figure 435162DEST_PATH_IMAGE001
,N为特征域的个数,所述参数矩阵的大小为M*M,为一个N*N的分块矩阵,M为N个特征域的总维度,所述权重矩阵的大小为N*N;
将所述多个特征域中任意a个特征域组合的参数矩阵和权重矩阵进行相乘,得到所述多个特征域中任意a个特征域组合的交叉分块矩阵。
上述方案中,所述交叉模块,还用于对所述待推荐信息的多个特征域进行一阶特征处理,得到所述待推荐信息的一阶特征;
基于所述交叉分块矩阵,对所述多个特征域中任意a个特征域对应的压缩特征进行a阶特征交叉处理,得到所述待推荐信息的a阶交叉特征,其中,
Figure 311851DEST_PATH_IMAGE001
,N为特征域的个数;
将所述待推荐信息的一阶特征与所述待推荐信息的a阶交叉特征进行融合处理,得到所述待推荐信息的交叉特征。
上述方案中,所述交叉模块,还用于分别获取所述待推荐信息的每个特征域的权重;
基于所述权重,将所述待推荐信息的多个特征域进行加和处理,得到所述待推荐信息的一阶特征。
上述方案中,所述交叉模块,还用于将所述待推荐信息的多个特征域的压缩特征进行拼接处理,得到所述待推荐信息的压缩特征;
基于所述多个特征域中任意a个特征域组合的交叉分块矩阵及所述待推荐信息的压缩特征,确定所述多个特征域中任意a个特征域组合的交叉压缩矩阵;
将所述多个特征域中任意a个特征域组合的交叉压缩矩阵与所述待推荐信息的压缩特征进行元素积计算,得到所述多个特征域中任意a个特征域组合的交叉元素矩阵;
将所述特征域中任意a个特征域组合的交叉元素矩阵中各元素进行加和处理,得到所述特征域中任意a个特征域组合的a阶交叉组合特征,作为所述待推荐信息的a阶交叉特征。
上述方案中,所述交叉模块,还用于获取所述特征域中任意a-1个特征域组合的交叉元素矩阵;
其中,
Figure 134313DEST_PATH_IMAGE002
,所述特征域中任意a-1个特征域组合的交叉元素矩阵,为将所述多个特征域中任意a-1个特征域组合的交叉压缩矩阵与所述待推荐信息的压缩特征进行元素积计算得到;
将所述多个特征域中任意a个特征域组合的交叉分块矩阵与所述特征域中任意a-1个特征域组合的交叉元素矩阵进行相乘处理,得到所述多个特征域中任意a个特征域组合的交叉压缩矩阵。
上述方案中,所述关联模块,还用于对各所述特征域的压缩特征进行全连接处理,得到对应各所述特征域的隐层特征;
对各所述特征域的隐层特征进行关联特征映射,得到所述待推荐信息的关联特征。
上述方案中,所述预测模块,还用于基于所述交叉特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的第一点击率;
基于所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的第二点击率;
将所述第一点击率与所述第二点击率进行平均处理,得到用于表征针对所述待推荐信息的点击率的预测结果。
上述方案中,所述预测模块,还用于分别确定所述交叉特征及所述关联特征针对所述待推荐信息的点击率影响因子;
以所述点击率影响因子为权重,对所述交叉特征及所述关联特征进行加权求和处理,得到加权求和处理结果;
对所述加权求和处理结果进行偏置处理,得到针对所述待推荐信息的点击率预测结果。
上述方案中,所述预测模块,还用于对所述交叉特征与所述关联特征进行拼接处理,得到所述待推荐信息的拼接特征;
对所述拼接特征进行线性投影处理,得到对应的投影值;
对所述投影值进行偏置处理,得到针对所述待推荐信息的点击率预测结果。
上述方案中,所述结合所述交叉特征及所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的点击率预测结果之后,所述装置还包括:
推荐模块,用于当所述点击率预测结果表征目标用户针对所述待推荐信息的点击率超过点击率阈值时,将所述待推荐信息推荐至所述目标用户。
上述方案中,所述信息推荐方法是通过调用点击率预测模型实现的,所述点击率预测模型包括:特征压缩层、特征交叉层、特征关联层和特征预测层;所述装置还包括:
模块训练模块,用于通过所述特征压缩层,对待推荐信息样本的多个特征域进行压缩处理,得到对应各所述特征域的压缩特征,其中,所述待推荐信息样本携带点击率标签;
通过所述特征交叉层,获取用于表征所述多个特征域中任意特征域之间交叉强度的交叉分块矩阵,并基于所述交叉分块矩阵及各所述压缩特征,对所述多个特征域进行交叉处理,得到所述待推荐信息样本的交叉特征;
通过所述特征关联层,基于各所述压缩特征,对所述多个特征域进行关联处理,得到所述待推荐信息样本的关联特征;
通过所述特征融合层,对所述交叉特征及所述关联特征进行融合处理,得到所述待推荐信息样本的融合特征;
通过所述特征预测层,基于所述融合特征,对所述待推荐信息样本的点击率进行预测得到点击率预测结果,并基于所述点击率预测结果及相应的点击率标签更新所述点击率预测模型的模型参数。
本申请实施例提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的信息推荐方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的信息推荐方法。
本申请实施例具有以下有益效果:
分别对待推荐信息的多个特征域进行压缩处理,得到对应各特征域的压缩特征;获取用于表征多个特征域中任意特征域交叉强度的交叉分块矩阵,并基于交叉分块矩阵及各所述压缩特征,对多个特征域进行交叉处理,得到待推荐信息的交叉特征;基于各压缩特征,对所述多个特征域进行关联处理,得到待推荐信息的关联特征;结合交叉特征及关联特征,对待推荐信息的点击率进行预测,得到针对待推荐信息的点击率预测结果,以基于点击率预测结果执行推荐操作;如此,通过分块矩阵的方式提取待推荐信息的交叉特征,以较低的计算复杂度构造待推荐信息的指定阶交叉特征,增强了点击率预测的记忆能力,通过对待推荐信息的各个特征域进行特征关联预测,得到对应的关联特征,能够提高点击率预测的泛化能力,通过指定阶交叉特征和关联特征进行点击率预测,能够提高点击率预测结果的准确性,进而提高信息推荐的准确性。
附图说明
图1为本申请实施例提供的点击率预测模型的架构示意图;
图2为本申请实施例提供的点击率预测模型的架构示意图;
图3为本申请实施例提供的信息推荐系统的应用场景示意图;
图4为本申请实施例提供的用于信息推荐的电子设备的结构示意图;
图5A为本申请实施例提供的信息推荐方法的流程示意图;
图5B为本申请实施例提供的信息推荐方法的流程示意图;
图5C为本申请实施例提供的信息推荐方法的流程示意图;
图5D为本申请实施例提供的信息推荐方法的流程示意图;
图6为本申请实施例提供的点击率预测模型的架构示意图;
图7为本申请实施例提供的点击率预测模型的训练方法示意图;
图8为本申请实施例提供的点击率预测模型的架构示意图;
图9为本申请实施例提供的堆栈处理方法示意图;
图10为本申请实施例提供的信息推荐方法的应用场景示意图;
图11为本申请实施例提供的信息推荐效果示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二…”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二…”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
在信息推荐系统中,可采用点击率预存模型对待推荐的点击率进行预估,参见图1,图1为本申请实施例提供的点击率预测模型的架构示意图,该模型为wide&deep模型,分为wide部分和deep部分,其中wide部分是一个具有记忆性的线性网络,deep部分是一个具有推广性的非线性网络,如深度神经网络(DNN,Deep Neural Networks)。模型的deep部分将原始的稀疏特征通过稠密特征层进行压缩嵌入处理(如embedding),得到对应的低维稠密向量(即稠密特征),把一些无法从数据中直接观察到的关联关系通过向量化的方式转化为空间中的距离度量,通过DNN的非线性学习能力,发现潜在的关联关系,因此模型的deep部分具有一定程度的泛化性。
模型的wide部分是一个包含了人工交叉特征的逻辑回归(LR,LogisticRegression)模型,首先将所有原始特征作为输入,建立一个逻辑回归,然后对原始特征中的指定特征域,做基于笛卡尔积的人工交叉特征,比如指定的是性别和年龄这两个特征域,性别有2个取值,用2维的独热编码(one-hot)向量表示,年龄分段后有10个取值,用10维的独热编码向量表示,那么由性别和年龄构造出来的人工交叉特征就会有2×10=20种取值,可用20维的独热编码向量表示。
其中,对于原始输入特征xi,需要学习它的回归系数wi,对于交叉特征xixj,则需要学习它的回归系数wij,那么对于上面的性别、年龄两个特征域,其原始输入共有2+10=12个回归系数需要学习,交叉特征有2×10=20个回归系数需要学习。除了上面例子中提到的二阶交叉特征xixj,还可以人为地去计算三阶交叉特征xixjxk,甚至其他更高阶的交叉特征。通过学习这些交叉特征的回归系数,可以记住某些特征组合的出现对用户产生点击行为的影响,把有用的特征组合用于预测用户对物品的点击概率。
这种方法虽然能实现模型的记忆性,但是它有两个明显的缺点:1)依赖人工经验:需要人工指定要进行特征交叉的特征域,这就十分依赖于人的经验,需要对业务有深刻的认识才能知道该用哪些特征域去做交叉比较好,即使是经验丰富的人,也有可能发现不了某些重要的特征交叉;2)复杂度高:在实际的推荐场景中,不仅仅有性别和年龄这两个特征域,还会有其它各种各样非常多的特征域,有些特征域的取值数可能高达十万级别,产生出的二阶交叉特征组合将会是百亿级别的,无论对存储量还是计算量来说,都是巨大挑战,而数据的稀疏性又会进一步影响交叉特征的学习。
为了解决wide&deep的wide部分特征交叉过于依赖人工经验的问题,将wide部分的带人工交叉的LR模型替换成了因子分解机(FM,Factorization Machines)模型,而Deep部分保持不变,从而形成了DeepFM模型。参见图2,图2为本申请实施例提供的点击率预测模型的架构示意图,DeepFM模型中wide部分是一个对LR模型改进得到的FM模型(即FM层),它也是先对输入的原始特征做逻辑回归,对于交叉特征,通过使用向量内积将输入的所有特征域进行成对(pairwise)的二阶交叉,比如对于性别和年龄这两个特征域,性别有2个取值,用2维的one-hot表示,年龄分段后有10个取值,用10维的one-hot表示,假设xi表示性别这一特征域的某一维特征,xj表示年龄这一特征域的某一维特征,那么xi和xj构造出来的交叉特征就是xixj,通过这两个特征对应的嵌入向量的内积来表示xixj的回归系数,假设xi对应的嵌入向量是vi,xj对应的嵌入向量是vj,那么xixj的回归系数就是内积<vi, vj>。对于其他的下标i和j,所有的二阶交叉特征xixj的回归系数都可以通过同样的方式构造出来,并且所有的二阶交叉特征的和可以通过如下公式计算得到:
Figure 401347DEST_PATH_IMAGE003
上述等式左边是所有二阶交叉特征的和,它包含了所有的二阶交叉特征xixj和回归系数<vi, vj>,相比wide&deep中LR模型直接拟合回归系数wij的方式而言,FM的这种用<vi, vj>拟合得到回归系数的方式具备以下三个优点:1)FM的参数量大大缩小,降低了过拟合的风险;2)当训练样本中xi和xj没有同时非零时,LR模型中的回归系数wij就没办法学习了,导致xixj这个交叉特征也没法学习,但是在FM中,只要xi和xj曾经出现过非零,交叉特征xixj就能通过<vi, vj>间接被学习到,使得FM能捕捉到更多的交叉特征。
FM模型相比LR模型虽然解决了wide部分交叉特征依赖人工经验以及复杂度高的问题,但是它仍然有以下两个缺点:1)由于二阶交叉特征计算采用内积运算,因此要求不同的特征域要嵌入到相同的维度才能做内积运算,而在实际应用中,不同离散特征域的取值个数往往是不一样的,如标签取值数通常有几十万个,而一级分类的标签取值数只有几十个,固定维度的做法会使得取值数多的特征域得不到充分的表示,而取值数少的特征域又浪费了很多参数;2)FM模型只做了二阶交叉特征,而在实际的推荐场景中,在用户和物品之间往往存在高于二阶的高阶交叉特征,而FM模型无法提取高阶交叉特征,这使得FM模型的交叉能力受到了限制。
鉴于此,本申请实施例提供一种基于人工智能的信息推荐方法、装置、电子设备和计算机可读存储介质,在wide部分中通过分块矩阵的运算方式提取指定阶交叉特征,能够实现在降低计算复杂度的同时,提高推荐响应速度及推荐结果的准确性的技术效果。
本申请实施例所提供的基于人工智能的信息推荐方法,可以由终端/服务器独自实现;也可以由终端和服务器协同实现,例如终端独自承担下文所述的基于人工智能的信息推荐方法,或者,终端向服务器发送针对目标用户的信息推荐请求,服务器根据接收的针对目标用户的信息推荐请求执行基于人工智能的信息推荐方法,结合待推荐信息的交叉特征和关联特征进行点击率预测处理,得到目标用户针对待推荐信息的点击率预测结果,基于点击率预测结果执行针对待推荐信息的推荐操作。
本申请实施例提供的用于信息推荐的电子设备可以是各种类型的终端设备或服务器,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器;终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
以服务器为例,例如可以是部署在云端的服务器集群,向用户开放人工智能云服务(AI as a Service,AIaaS),AIaaS平台会把几类常见的AI服务进行拆分,并在云端提供独立或者打包的服务,这种服务模式类似于一个AI主题商城,所有的用户都可以通过应用程序编程接口的方式来接入使用AIaaS平台提供的一种或者多种人工智能服务。
例如,其中的一种人工智能云服务可以为信息推荐服务,即云端的服务器封装有本申请实施例提供的信息推荐的程序。用户通过终端(运行有客户端,例如音乐客户端、新闻客户端等)调用云服务中的信息推荐服务,以使部署在云端的服务器调用封装的信息推荐的程序,结合待推荐信息的交叉特征和关联特征进行点击率预测处理,得到目标用户针对待推荐信息的点击率预测结果,基于点击率预测结果执行针对待推荐信息的推荐操作。
参见图3,图3为本申请实施例提供的信息推荐系统10的应用场景示意图,终端(示例性示出终端200-1、终端200-2以及终端200-3)通过网络300连接服务器100,网络300可以是广域网或者局域网,又或者是二者的组合。
终端(运行有客户端,例如音乐客户端、新闻客户端等)可以被用来获取针对候选用户的信息推荐请求,例如,当候选用户(例如,新用户或者老客户)打开终端上运行的新闻客户端后,终端自动获取针对候选用户的新闻推荐请求。
在一些实施例中,终端获取针对候选用户的信息推荐请求后,调用服务器100的信息推荐接口(可以提供为云服务的形式,即信息推荐服务),服务器100基于针对候选用户的信息推荐请求,结合待推荐信息的交叉特征和关联特征进行点击率预测处理,得到候选用户针对待推荐信息的点击率的预测结果,基于预测结果执行针对待推荐信息的推荐操作,以将待推荐信息推荐至预测点击率较高(达到目标点击率)的候选用户,以响应针对候选用户的信息推荐请求。
在一些实施例中,终端中运行的客户端中可以植入有信息推荐插件,用以在客户端本地实现基于人工智能的信息推荐方法。例如,终端获取针对目标用户进行信息推荐的请求后,调用信息推荐插件,以实现基于人工智能的信息推荐方法,结合待推荐信息的交叉特征和关联特征进行点击率预测处理,得到候选用户针对待推荐信息的点击率预测结果,基于预测结果执行针对待推荐信息的推荐操作,以将待推荐信息推荐至预测点击率较高(达到目标点击率)的候选用户,以响应针对目标用户的信息推荐请求。
下面说明本申请实施例提供的用于信息推荐的电子设备的结构,参见图4,图4为本申请实施例提供的用于信息推荐的电子设备500的结构示意图,以电子设备500是服务器为例说明,图4所示的用于信息推荐的电子设备500包括:至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解,总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图4中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
存储器550包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
在一些实施例中,存储器550能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统551,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块552,用于经由一个或多个(有线或无线)网络接口520到达其他计算设备,示例性的网络接口520包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块553,用于经由一个或多个与用户接口530相关联的输出装置531(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块554,用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的基于人工智能的信息推荐装置可以采用软件方式实现,例如,可以是上文所述的服务器中信息推荐服务,还可以是上文所述的终端中信息推荐插件。当然,不局限于此,本申请实施例提供的基于人工智能的信息推荐装置可以提供为各种软件实施例,包括应用程序、软件、软件模块、脚本或代码在内的各种形式。
在一些实施例中,本申请实施例提供的基于人工智能的信息推荐装置可以采用软件方式实现,图4示出了存储在存储器550中的信息推荐装置555,其可以是程序和插件等形式的软件,包括以下软件模块:压缩模块5551、交叉模块5552、关联模块5553和预测模块5554,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分,将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的的信息推荐装置可以采用硬件方式实现,作为示例,本申请实施例提供的信息推荐装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的信息推荐方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
如前所述,本申请实施例提供的信息推荐方法可基于人工智能而实现,该方法可以由终端或服务器单独实施,也可由终端和服务器协调实施,接下来以服务器单独实施为例,参见图5A,图5A为本申请实施例提供的信息推荐方法的流程示意图,结合图5A示出的步骤进行说明。
步骤101:服务器分别对待推荐信息的多个特征域进行压缩处理,得到对应各特征域的压缩特征。
在实际应用中,待推荐信息可以是文本、图文、视频等多媒体信息,也可以是衣服、化妆品等实际商品。发布者通过终端上传待推荐信息,终端获取待推荐信息后,确定待推荐信息的多个特征域,所谓特征域是将相同性质或相同类别的特征放在一个特征域(field)中,包括但不限于以下类别的特征域:信息类别、信息来源、信息内容等与待推荐信息自身相关的特征域,或待推荐用户的基础属性(性别、年龄、地域等)、兴趣爱好等待推荐信息关联的用户的特征域,如品牌1、品牌2都属于广告主这一特征域,日期1、日期2都属于日期这一特征域,男、女都属于性别这一特征域,等等,将属于用一个类别的类别特征进行独热编码后生成的数值特征均可放在同一个特征域中,如果某特征直接为数值特征而非类别特征,可将该特征直接作为一个特征域。
基于图5A,参见图5B,图5B为本申请实施例提供的信息推荐方法的流程示意图,当特征域包括连续型特征域、离散型特征域时,步骤101中分别对待推荐信息的多个特征域进行压缩处理,得到对应各特征域的压缩特征可以通过步骤1011-1013实现:在步骤1011中,对待推荐信息的连续型特征域进行离散化处理,得到连续型特征域的离散特征;在步骤1012中,对连续型特征域的离散特征进行压缩处理,得到连续型特征域的压缩特征;在步骤1013中,对待推荐信息的离散型特征域进行压缩处理,得到离散型特征域的压缩特征;在步骤1014中,将得到的连续型特征域的压缩特征和离散型特征域的压缩特征,确定为对应各特征域的压缩特征。
这里,不同的特征域,压缩过程是不同的,假设待推荐信息为视频,连续性特征域(特征数值具有连续性)可为视频时长、发布实效等,离散型特征域(数值具有离散性)可为视频标识、用户账号等级、用户性别等,需要对不同的特征域进行针对性的压缩处理。例如,对视频时长、发布实效等连续性特征域进行离散化,得到连续性特征域的离散特征(即离散数值,又称稀疏特征),再对连续性特征域的离散特征进行压缩处理,如通过embedding向量转化处理,得到连续性特征域的压缩特征(嵌入向量);对于视频标识、用户账号等级、用户性别等离散型特征域直接进行压缩处理,如通过embedding向量转化处理,得到离散性特征域的压缩特征(嵌入向量,又称稠密特征)。
上述离散特征或稀疏特征指的是该特征域对应的特征向量中非零值的数目远小于特征向量的维度(长度),这里可以设定一个稀疏特征阈值,即特征向量中非零值的数目小于稀疏特征阈值的特征向量为稀疏特征,当特征数量比较大的时候,稀疏特征会很长,计算的复杂度就会增长到机器无法承受的程度,同时,由于特征向量中不同维度之间是完全无关的,这就会导致特征向量无法描述信息间的相似性,因此需要对稀疏特征进行基于隐向量的压缩处理,得到与多个特征域分别对应的稠密向量化表示(即压缩特征),将稀疏特征压缩为稠密特征降低了计算复杂度,这里的稠密特征指的是上述稀疏特征的向量化表示,稠密特征指的是零数值的数目小于稠密特征阈值的特征,并且稠密特征中的不同维度可以具有相关性,从而可以基于稠密特征描述信息间的相关性。
步骤102:获取用于表征多个特征域中任意特征域组合交叉强度的交叉分块矩阵,并基于交叉分块矩阵及各压缩特征,对多个特征域进行交叉处理,得到待推荐信息的交叉特征。
其中,特征域组合是指对待推荐信息的所有特征域中目标数量的特征域进行不同方式的组合,每次组合所使用目标数量的特征域部分不同或完全不同,以形成多个特征域组合,例如,假设待推荐信息共有N个特征域,将N个特征域中任意n(
Figure 164029DEST_PATH_IMAGE004
)个特征域进行组合时,有
Figure 832907DEST_PATH_IMAGE005
种组合方式,在对不同数量的特征域进行特征交叉时,组合特征的数量又跟每个特征域的维度相关。
例如,假设待推荐信息共有以下3个特征域:v1=[a1、a2、a3]、v2=[b1、b2]、v3=[c1、c2、c3、 c4、c5],任意两个特征域相组合时,有
Figure 826271DEST_PATH_IMAGE006
种组合方式,所有特征域中任意两个特征域所组合的组合特征的数量为:
Figure 642917DEST_PATH_IMAGE007
*
Figure 379929DEST_PATH_IMAGE008
+
Figure 903315DEST_PATH_IMAGE007
*
Figure 333159DEST_PATH_IMAGE009
+
Figure 637101DEST_PATH_IMAGE008
*
Figure 912225DEST_PATH_IMAGE009
,待推荐信息的二阶交叉特征为所有特征域中两两特征域组合对应的组合特征的交叉特征值之和,任意3个特征域所组合的组合特征的数量为:
Figure 555696DEST_PATH_IMAGE007
*
Figure 953179DEST_PATH_IMAGE008
*
Figure 682101DEST_PATH_IMAGE009
,推荐信息的三阶交叉特征为所有特征域中3个特征域组合对应的组合特征的交叉特征值之和。
这里,通过对待推荐对象的多个特征域进行交叉处理,捕捉不同特征域之间的交叉信息,增强特征表征能力,避免遗漏特征边界,以便后续基于准确的交叉特征进行预测处理。在构造待推荐信息的交叉特征时,本申请实施例通过分块矩阵构造任意指定阶交叉特征,大大降低了运算复杂度、提高了运算速度。
在一些实施例中,可通过如下方式获取用于表征多个(即所有)特征域中任意特征域组合交叉强度的交叉分块矩阵:获取多个特征域中任意a个特征域组合的参数矩阵和权重矩阵;将多个特征域中任意a个特征域组合的参数矩阵和权重矩阵进行相乘,得到多个特征域中任意a个特征域组合的交叉分块矩阵。
其中,
Figure 760915DEST_PATH_IMAGE001
,N为特征域的个数,参数矩阵的大小为M*M,可看作一个N*N的分块矩阵,M为N个特征域的总维度,权重矩阵的大小为N*N;这里,按照一定大小的分块矩阵,对所有特征域中任意a个特征域组合的参数矩阵进行分块得到的分块子矩阵,用于表征a个特征域中任意两个特征域之间的参数矩阵。
在实际实施时,假设待推荐信息共有N个特征域,第i个特征域的维度是mi,则所有特征域的总维度是
Figure 258892DEST_PATH_IMAGE010
,首先初始化一个大小为
Figure 591391DEST_PATH_IMAGE011
的参数矩阵K,该参数矩阵K即为所有特征域中任意a个特征域组合的参数矩阵,可被看作是一个
Figure 542030DEST_PATH_IMAGE012
的分块矩阵,其中,第i行第j列对应的分块即为第i个特征域和第j个特征域之间的大小为
Figure 424535DEST_PATH_IMAGE013
矩阵参数Kij,即:
Figure 839336DEST_PATH_IMAGE014
此外,初始化一个大小为
Figure 781884DEST_PATH_IMAGE012
的权重矩阵W,其中,第i行第j列的元素即为衡量第i个特征域和第j个特征域之间交叉重要性的权重
Figure 219819DEST_PATH_IMAGE015
,即:
Figure 640436DEST_PATH_IMAGE016
然后,将所有特征域中任意a个特征域参数矩阵K和权重矩阵W按分块相乘,也就是将每个
Figure 175322DEST_PATH_IMAGE015
乘到每块
Figure 288772DEST_PATH_IMAGE017
上,得到一个新的
Figure 214003DEST_PATH_IMAGE011
的矩阵,记为R,该矩阵即为交叉分块矩阵,它也是一个分块矩阵,第i行第j列对应的分块为
Figure 500628DEST_PATH_IMAGE018
,即:
Figure 562124DEST_PATH_IMAGE019
基于图5A,参见图5C,图5C为本申请实施例提供的信息推荐方法的流程示意图,步骤102中基于交叉分块矩阵及各压缩特征,对多个特征域进行交叉处理,得到待推荐信息的交叉特征,可以通过步骤1021-1023实现:在步骤1021中,对待推荐信息的多个特征域进行一阶特征处理,得到待推荐信息的一阶特征;在步骤1022中,基于交叉分块矩阵,对多个特征域中任意a个特征域对应的压缩特征进行a阶特征交叉处理,得到待推荐信息的a阶交叉特征,其中,
Figure 846475DEST_PATH_IMAGE001
,N为特征域的个数;在步骤1023中,将待推荐信息的一阶特征与待推荐信息的a阶交叉特征进行融合处理,得到待推荐信息的交叉特征。
在一些实施例中,可通过如下方式对待推荐信息的多个特征域进行一阶特征处理,得到待推荐信息的一阶特征:分别获取待推荐信息的每个特征域的权重;基于权重,将待推荐信息的多个特征域进行加和处理,得到待推荐信息的一阶特征。
这里,分别待推荐信息的多个特征域(即原始特征)进行一阶计算,如基于每个特征域的权重,将待推荐信息的多个特征域进行加和处理,得到待推荐信息的一阶特征;然后,通过所有特征域中任意特征域的交叉分块矩阵,对所有特征域中任意a个特征域对应的压缩特征进行a阶特征交叉处理,得到所有特征域中任意a个特征域组合的a阶交叉组合特征,并将待推荐信息的一阶特征与所有特征域中任意a个特征域组合的a阶交叉组合特征进行融合处理,得到待推荐信息的交叉特征。
例如,当a=2时,将待推荐信息的一阶特征与待推荐信息所有特征域中任意两个特征域组合的二阶交叉组合特征进行融合,得到待推荐信息的交叉特征;当a=3时,将待推荐信息的一阶特征与待推荐信息所有特征域中任意三个特征域组合的三阶交叉组合特征进行融合,得到待推荐信息的交叉特征,以此类推。
基于图5C,参见图5D,图5D为本申请实施例提供的信息推荐方法的流程示意图,步骤1022中基于交叉分块矩阵,对待推荐信息的多个特征域中任意a个特征域对应的压缩特征进行a阶特征交叉处理,得到待推荐信息的a阶交叉特征,可以通过步骤201-204实现:
在步骤201,将待推荐信息的多个特征域的压缩特征进行拼接处理,得到待推荐信息的压缩特征;在步骤202中,基于多个特征域中任意a个特征域组合的交叉分块矩阵及待推荐信息的压缩特征,确定多个特征域中任意a个特征域组合的交叉压缩矩阵;在步骤203,将多个特征域中任意a个特征域组合的交叉压缩矩阵与待推荐信息的压缩特征进行元素积计算,得到特征域中任意a个特征域组合的交叉元素矩阵;在步骤204中,将特征域中任意a个特征域组合的交叉元素矩阵中各元素进行加和处理,得到多个特征域中任意a个特征域组合的a阶交叉组合特征,作为待推荐信息的的a阶交叉特征。
在一些实施例中,可通过如下方式基于多个特征域中任意a个特征域组合的交叉分块矩阵及待推荐信息的压缩特征,确定多个特征域中任意a个特征域组合的交叉压缩矩阵:获取特征域中任意a-1个特征域组合的交叉元素矩阵;其中,
Figure 822784DEST_PATH_IMAGE002
,特征域中任意a-1个特征域组合的交叉元素矩阵,为将多个特征域中任意a-1个特征域组合的交叉压缩矩阵与待推荐信息的压缩特征进行元素积(又称哈达玛积(Hadamard product))计算得到;将多个特征域中任意a个特征域组合的交叉分块矩阵与特征域中任意a-1个特征域组合的交叉元素矩阵进行相乘处理,得到多个特征域中任意a个特征域组合的交叉压缩矩阵。
其中,多个特征域中任意a个特征域组合的交叉压缩矩阵,为对任意a个特征域组合的交叉分块矩阵与待推荐信息的压缩特征进行相乘得到;假设待推荐信息有N个特征,对第i个特征域压缩处理得到的压缩特征为vi,则将所有特征域的压缩特征按顺序进行拼接,得到待推荐信息的压缩特征为
Figure 850783DEST_PATH_IMAGE020
,当a=2时,将待推荐信息的压缩特征
Figure 32365DEST_PATH_IMAGE021
与所有特征域中任意2个特征域的交叉分块矩阵R相乘,得到vR,作为所有特征域中任意2个特征域组合的交叉压缩矩阵,将任意2个特征域组合的交叉压缩矩阵(vR)与待推荐信息的压缩特征v进行元素积运算,得到
Figure 222038DEST_PATH_IMAGE022
,作为所有特征域中任意2个特征域组合的交叉元素矩阵,将所有特征域中任意2个特征域组合的交叉元素矩阵中各元素进行加和处理,得到
Figure 184178DEST_PATH_IMAGE023
,即为待推荐信息所有特征域中任意2个特征域组合的二阶交叉组合特征,该二阶交叉组合特征就是所有特征域中所有2个特征域相组合得到的所有二阶交叉特征之和,这里的二阶交叉组合特征即为待推荐信息的二阶交叉特征。
当a=3时,由于待推荐信息的所有特征域中任意3个特征域组合的交叉压缩矩阵为任意3个特征域组合的交叉元素矩阵
Figure 750288DEST_PATH_IMAGE024
,按照上述方法构造任意3个特征域组合的交叉分块矩阵R2
Figure 51957DEST_PATH_IMAGE025
是一个要学的分块矩阵,即上述的多个特征域中任意3个特征域组合的交叉分块矩阵,它的构造方式类似于R;将任意3个特征域组合的交叉分块矩阵R2与所有特征域中任意2个特征域组合的交叉元素矩阵
Figure 412531DEST_PATH_IMAGE024
进行相乘处理,得到
Figure 861967DEST_PATH_IMAGE026
,作为所有特征域中任意3个特征域组合的交叉压缩矩阵;将任意3个特征域组合的交叉压缩矩阵
Figure 231768DEST_PATH_IMAGE026
与待推荐信息的压缩特征v进行元素积运算,得到
Figure 122364DEST_PATH_IMAGE027
,作为所有特征域中任意3个特征域组合的交叉元素矩阵;将所有特征域中任意3个特征域组合的交叉元素矩阵中各元素进行加和处理,得到
Figure 981736DEST_PATH_IMAGE028
,即为待推荐信息所有特征域中任意3个特征域组合的三阶交叉组合特征,该三阶交叉组合特征就是所有特征域中所有3个特征域相组合的所有三阶交叉特征之和,这里的该三阶交叉组合特征即为待推荐信息的三阶交叉特征。
类似地,当a=4时,待推荐信息所有特征域中任意4个特征域组合的四阶交叉组合特征的计算表达式为:
Figure 590571DEST_PATH_IMAGE029
,其中,
Figure 764064DEST_PATH_IMAGE030
也是一个要学的分块矩阵,即上述的所有特征域中任意4个特征域组合的交叉分块矩阵,它的构造方式类似于R,上述得到的四阶交叉组合特征即为待推荐信息的四阶交叉特征。
同样的,更高阶的交叉组合特征可以类似地通过以上形式的矩阵运算得到,每增加一阶交叉,只需要在上一阶交叉的元素积的基础上再乘一个交叉分块矩阵Ra-1,然后再与v进行元素积运算后,对得到的向量进行元素求和,即可得到待推荐信息所有特征域中任意a个特征域组合的的a阶交叉组合特征,按照此过程循环n遍,即可得到待推荐信息的所有特征域中任意n+1个特征域组合的n+1阶交叉组合特征,作为待推荐信息的n+1阶交叉特征,如此,即可得到待推荐信息所有特征域中指定数量的特征域组合的指定阶交叉特征。
步骤103:基于各压缩特征,对多个特征域进行关联处理,得到待推荐信息的关联特征。
在一些实施例中,可通过如下方式基于各压缩特征,对多个特征域进行关联处理,得到待推荐信息的关联特征:对各特征域的压缩特征进行全连接处理,得到对应各特征域的隐层特征;对各特征域的隐层特征进行关联特征映射,得到待推荐信息的关联特征。
这里,在实际实施时,可将待推荐信息的每个特征域对应的压缩特征输入至全连接网络的输入层,通过输入层将压缩特征传递给隐藏层,通过隐藏层得到对应的隐层特征,并通过激活函数对各特征域的隐层特征进行非线性映射处理,以得到待推荐信息的关联特征。
假设待推荐信息的每个特征域对应的压缩特征为
Figure 774745DEST_PATH_IMAGE031
,其中,n为特征域的个数,vn为第n个特征域对应的压缩特征,将上述特征输入至隐藏层为:
Figure 8280DEST_PATH_IMAGE032
,其中,L为全连接的层数,
Figure 104412DEST_PATH_IMAGE033
为激活函数,
Figure 816016DEST_PATH_IMAGE034
为权重,
Figure 56372DEST_PATH_IMAGE035
为L层的偏置,故基于此,可得到相应的关联特征,由于关联特征用于表征特征域之间的关联关系,具有一定程度的泛化性,从而能够挖掘出待推荐信息中的重要特征,以用于后续点击率预测处理,有利于提高针对待推荐信息的点击率预测结果的准确性。
步骤104:结合交叉特征及关联特征,对待推荐信息的点击率进行预测,得到针对待推荐信息的点击率预测结果,以基于点击率预测结果执行推荐操作。
在一些实施例中,可通过如下方式结合交叉特征及关联特征,对待推荐信息的点击率进行预测,得到针对待推荐信息的点击率预测结果:基于交叉特征,对待推荐信息的点击率进行预测,得到针对待推荐信息的第一点击率;基于关联特征,对待推荐信息的点击率进行预测,得到针对待推荐信息的第二点击率;将第一点击率与第二点击率进行平均处理,得到用于表征针对待推荐信息的点击率的预测结果。
这里,首先分别基于待推荐信息的交叉特征和关联特征进行点击率预测,得到相应的第一点击率和第二点击率,并将得到的第一点击率和第二点击率进行加和平均处理,得到用于表征针对待推荐信息的点击率的预测结果;当然,在实际应用中,还可获取第一点击率和第二点击率对应的权重,并基于权重进行加权求和,得到加权求和结果作为最终的点击率。
在一些实施例中,可通过如下方式结合交叉特征及关联特征,对待推荐信息的点击率进行预测,得到针对待推荐信息的点击率预测结果:分别确定交叉特征及关联特征针对待推荐信息的点击率影响因子;以点击率影响因子为权重,对交叉特征及关联特征进行加权求和处理,得到加权求和处理结果;对加权求和处理结果进行偏置处理,得到针对待推荐信息的点击率预测结果。
这里,在实际应用中,可通过对交叉特征和关联特征进行线性组合得到对应的点击率,如通过如下表达式来实现:
Figure 195229DEST_PATH_IMAGE036
,这里的
Figure 778657DEST_PATH_IMAGE037
为偏置处理的偏置量,这里的
Figure 28373DEST_PATH_IMAGE038
为相应特征对应的点击率影响因子。在一些实施例中,还可以在上述方法的基础上将特征组合代入到逻辑回归方程
Figure 75964DEST_PATH_IMAGE039
中,其中,Z为所得到特征的线性组合,g为点击率,如此,将特征的线性组合作为自变量,由于自变量的取值范围是负无穷到正无穷,因此,使用逻辑回归方程将自变量映射到(0,1)上,将代入逻辑回归方程后得到的结果作为最终的点击率。
在一些实施例中,还可通过如下方式结合交叉特征及关联特征,对待推荐信息的点击率进行预测,得到针对待推荐信息的点击率预测结果:对交叉特征与关联特征进行拼接处理,得到待推荐信息的拼接特征;对拼接特征进行线性投影处理,得到对应的投影值;对投影值进行偏置处理,得到针对待推荐信息的点击率预测结果。
这里,将待推荐信息的指定阶交叉特征和关联特征进行拼接后投影,如将拼接得到的拼接特征,通过逻辑回归函数做线性投影,得到对应的投影值,然后将得到的投影值经过sigmoid函数得到预估的点击率。
在一些实施例中,得到针对待推荐信息的点击率预测结果之后,当点击率预测结果表征目标用户针对待推荐信息的点击率超过点击率阈值时,将待推荐信息推荐至目标用户。
这里,当待推荐信息的数量为多个时,确定目标用户针对多个待推荐信息的点击率后,还可将多个待推荐信息进行降序排序,并将降序排序结果推送至目标用户的终端,以在目标用户的终端上按照点击率的高低顺序依次呈现各待推荐信息;或者,将降序排序结果中排序靠前的若干个待推荐信息推送至用户的终端,在目标用户的终端上按照点击率的高低顺序进行呈现推送的多个待推荐信息。
在一些实施例中,本申请实施例提供的基于人工智能的信息推荐方法是通过调用点击率预测模型实现的,参见图6,图6为本申请实施例提供的点击率预测模型的架构示意图,点击率预测模型包括:特征压缩层、特征交叉层、特征关联层和特征预测层;其中,特征压缩层用于将待推荐信息的多个特征域进行压缩处理,如进行嵌入压缩处理,以将将待推荐信息的多个特征域的稀疏特征转换为稠密特征;特征交叉层用于获取待推荐信息的交叉特征;特征关联层用于获取待推荐信息的关联特征,特征预测层用于结合待推荐信息的交叉特征和关联特征进行点击率预测。
参见图7,图7为本申请实施例提供的点击率预测模型的训练方法示意图,图7示出点击率预测模型的训练过程:在步骤301中,通过特征压缩层,对待推荐信息样本的多个特征域进行压缩处理,得到对应各特征域的压缩特征,其中,待推荐信息样本携带点击率标签;在步骤302中,通过特征交叉层,获取用于表征多个特征域中任意特征域组合交叉强度的交叉分块矩阵,并基于交叉分块矩阵及各压缩特征,对多个特征域进行交叉处理,得到待推荐信息样本的交叉特征;在步骤303中,通过特征关联层,基于各压缩特征,对多个特征域进行关联处理,得到待推荐信息样本的关联特征;在步骤304中,通过特征预测层,结合交叉特征及关联特征,对待推荐信息样本的点击率进行预测得到点击率预测结果,并基于点击率预测结果及相应的点击率标签更新点击率预测模型的模型参数。
其中,得到点击率预测结果后,可基于点击率预测结果和训练样本携带的点击率标签(是否点击,如点击为1,未点击为0),构建点击率预测模型的损失函数,确定点击率预测模型的损失函数的值后,可以判断点击率预测模型的损失函数的值是否超出预设阈值,当点击率预测模型的损失函数的值超出预设阈值时,基于点击率预测模型的损失函数确定点击率预测模型的误差信号,将误差信息在点击率预测模型中反向传播,并在传播的过程中更新各个层的模型参数。
这里,对反向传播进行说明,将训练样本数据输入到神经网络模型的输入层,经过隐藏层,最后达到输出层并输出结果,这是神经网络模型的前向传播过程,由于神经网络模型的输出结果与实际结果有误差,则计算输出结果与实际值之间的误差,并将该误差从输出层向隐藏层反向传播,直至传播到输入层,在反向传播的过程中,根据误差调整模型参数的值;不断迭代上述过程,直至收敛,其中,点击率预测模型属于神经网络模型。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用,继续对本申请实施例提供的基于人工智能的信息推荐方法进行说明。
以三阶交叉特征的构造来说明本申请实施例提供的信息推荐方法的具体做法,三阶以上的任意阶交叉特征都可以通过同样的方式构造。假设待推荐信息共有N个特征域,每个特征域都是离散型的特征域,经过向量化处理(embedding,即上述的压缩处理)后,得到每个特征域对应的低维稠密的嵌入向量(即上述的压缩特征),假设第i个特征域的嵌入向量为行向量vi,维度为mi,第j个特征域的压缩特征为行向量vj,维度为mj,不同特征域的维度可相同也可不相同,对于第i个特征域和第j个特征域,引入大小为
Figure 385722DEST_PATH_IMAGE013
的参数矩阵Kij和度量交叉重要性的权重
Figure 456446DEST_PATH_IMAGE015
,那么第i个特征域和第j个特征域的二阶交叉特征可以表示为:
Figure 572170DEST_PATH_IMAGE040
对于上述表达式,vi首先乘以参数矩阵Kij和权重
Figure 411950DEST_PATH_IMAGE015
,使得维度降到mj维,然后与vj进行元素积(又称哈达玛积,Hadamard product)运算,得到的结果也是mj维,然后对这个mj维的向量所有元素求和,得到第i个特征域和第j个特征域的二交叉特征。
对于三阶交叉特征,假设要交叉i,j,k这三个特征域,这三个特征域的嵌入向量分别为vi,vj,vk,它们的维度分别是mi,mj,mk,那么类似于上述二交叉特征的做法,需要引入大小为
Figure 892610DEST_PATH_IMAGE013
的参数矩阵Kij,大小为
Figure 185051DEST_PATH_IMAGE041
的参数矩阵Kjk,度量特征域i和特征域j交叉重要性的权重
Figure 605930DEST_PATH_IMAGE015
,度量特征域j和特征域k交叉重要性的权重wjk,然后计算三阶交叉特征的表达式如下:
Figure 300217DEST_PATH_IMAGE042
对于这个表达式,vi首先乘以参数矩阵
Figure 951778DEST_PATH_IMAGE043
和权重
Figure 997094DEST_PATH_IMAGE044
,使得维度降到mj维,然后与vj进行元素积运算,得到的结果也是mj维,接着将得到的元素积结果乘以参数矩阵Kjk和权重wjk,使得维度降到mk维,并与mk维的vk进行元素积运算,得到mk维的结果,最后将这个mk维向量的所有元素求和,将求和得到的特征作为i,j,k这三个特征域的三阶交叉特征。
对于vi,vj,vk来说,它们通常是由其特征域内部多个取值对应的嵌入向量加权求和得到。不失一般性,用(xi, ei),(yj, ej)和(zk, ek)分别表示这三个特征域中的代表项,其中xi,yj和zk分别为分类变量的权重,ei,ej和ek分别为分类变量对应的嵌入向量,那么上面的三阶交叉特征表达式会包含所有的xi,yj和zk构成的三阶交叉特征,每项三阶交叉特征都采用如下表达式表示:
Figure 657883DEST_PATH_IMAGE045
其中,
Figure 206676DEST_PATH_IMAGE046
为三阶交叉项
Figure 294718DEST_PATH_IMAGE047
的回归系数,由此可知,这种方法做出来的三阶交叉特征,本质上是从每个特征域选一个分类变量乘在一起得到一个三阶交叉项,该项的系数用
Figure 561751DEST_PATH_IMAGE046
这个表达式来拟合,然后把所有这种三阶交叉项加在一起,作为这三个特征域的三阶交叉特征,即采用三个嵌入向量的元素积求和来拟合三阶交叉项的回归系数,并且由于引入了参数矩阵Kij和Kjk,使得不同特征域对应的嵌入向量即使维度不同,也可以做元素积运算。此外,通过引入权重
Figure 619706DEST_PATH_IMAGE044
和wjk,可以显式地引导用于构造指定阶交叉特征的模型去学习不同特征域之间交叉的强弱,实验表明,引入这些权重对最终效果有着明显的提升。对于三阶以上的高阶交叉特征的获取,做法跟三阶交叉特征的做法类似,通过引入更多的参数矩阵和权重,可以类似地构造出指定阶的交叉特征。
以上是以i,j,k三个特征域的三阶交叉特征为例,说明了某三个特征域构造三阶交叉特征的具体做法。而实际上,我们需要的是所有特征域的所有三阶交叉特征,比如有N个特征域,我们需要把
Figure 23005DEST_PATH_IMAGE048
种三阶交叉特征都构造出来。若按照上面的方式,每个三阶交叉都先构造出来再求和,将会是一个非常繁琐的过程。因此,本申请实施例提供一种快速构造出指定阶交叉特征的方法,利用分块矩阵的运算性质去构造任意指定阶交叉特征,大大降低了运算复杂度、提高了运算速度。
假设待推荐信息共有N个特征域,第i个特征域的维度是mi,则所有特征域的总维度是
Figure 281948DEST_PATH_IMAGE049
,首先初始化一个大小为
Figure 98594DEST_PATH_IMAGE050
的参数矩阵K,它可以被看作是一个
Figure 835606DEST_PATH_IMAGE051
的分块矩阵,其中,第i行第j列对应的分块即为上述用到的
Figure 358992DEST_PATH_IMAGE052
矩阵Kij,即:
Figure 788836DEST_PATH_IMAGE053
此外,初始化一个大小为
Figure 30461DEST_PATH_IMAGE051
的权重矩阵W,其中,第i行第j列的元素即为上面用到的权重
Figure 571164DEST_PATH_IMAGE044
,即:
Figure 214635DEST_PATH_IMAGE054
然后,将参数矩阵K和权重矩阵W按分块相乘,也就是将每个
Figure 549801DEST_PATH_IMAGE044
乘到每块
Figure 636313DEST_PATH_IMAGE055
上,得到一个新的
Figure 715127DEST_PATH_IMAGE011
的矩阵,记为R(即上述的多个特征域中任意2个特征域组合的交叉分块矩阵),它也是一个分块矩阵,第i行第j列对应的分块为
Figure 213105DEST_PATH_IMAGE018
,即:
Figure 984752DEST_PATH_IMAGE056
假设第i个特征域向量化后得到的低维稠密行向量(即上述的每个特征域的压缩特征)记为vi,将所有特征域的向量按顺序进行拼接处理,得到的行向量(即上述的待推荐信息的压缩特征),为
Figure 200969DEST_PATH_IMAGE020
,则待推荐信息所有特征域中任意2个特征域组合的二阶交叉组合特征可用如下矩阵形式计算:
Figure 83475DEST_PATH_IMAGE057
其中,先将v和R进行常规的矩阵相乘,得到一个行向量(vR)(即上述的交叉压缩矩阵),再用得到的行向量(vR)与v进行元素积运算,得到一个新的行向量(即上述的交叉元素矩阵),最后将得到的新的行向量中所有元素求和,得到待推荐信息所有特征域中任意2个特征域组合的二阶交叉组合特征,这也是待推荐信息的二阶交叉特征。
根据分块矩阵的运算性质,
Figure 435959DEST_PATH_IMAGE023
中包含了所有特征域中任意两两特征域组合对应的二阶交叉特征之和,在这种矩阵形式的运算方式下,不需要逐项计算所有特征域两两特征域组合对应的二阶交叉特征,而是一次性求出所有特征域两两特征域组合对应的二阶交叉特征的和(即二阶交叉组合特征),提高了运算效率。
对于待推荐信息指定阶的交叉特征的计算方式可以类似于二阶交叉特征,如待推荐信息所有特征域中任意3个特征域组合的三阶交叉组合特征的矩阵形式的计算表达式为:
Figure 237561DEST_PATH_IMAGE058
其中,
Figure 675496DEST_PATH_IMAGE025
是一个要学的分块矩阵,即上述的所有特征域中任意3个特征域组合的交叉分块矩阵,它的构造方式类似于R,上述得到的三阶交叉组合特征即为待推荐信息的三阶交叉特征。
类似地,待推荐信息所有特征域中任意4个特征域组合的四阶交叉组合特征的矩阵形式的计算表达式为:
Figure 96113DEST_PATH_IMAGE059
其中,
Figure 568683DEST_PATH_IMAGE030
是一个要学的分块矩阵,即上述的所有特征域中任意4个特征域组合的交叉分块矩阵,它的构造方式类似于R,上述得到的四阶交叉组合特征即为待推荐信息的四阶交叉特征。
同样地,待推荐信息的高阶交叉特征可以类似地通过以上形式的矩阵运算得到,每增加一阶交叉,只需要在上一阶交叉的元素积的基础上再乘一个矩阵Ra-1,然后再与v进行元素积运算后,对得到的向量进行元素求和,即可得到待推荐信息所有特征域中任意a个特征域组合的a阶交叉组合特征,作为待推荐信息的a阶交叉特征,按照此过程循环n遍,即可得到任意n+1个特征域组合的n+1阶交叉组合特征,作为待推荐信息的n+1阶交叉特征,即得到待推荐信息所有特征域中指定数量的特征域组合的指定阶交叉特征。
上述用于获取待推荐信息的指定阶交叉特征的指定阶特征提取模型可放置于点击率预测模型的wide部分,以增强点击率预测模型的记忆性,并跟deep部分输出的关联特征进行融合处理,得到融合特征后,基于融合特征预测针对待推荐信息的点击率。
参见图8,图8为本申请实施例提供的的点击率预测模型的架构示意图,该模型包括:稀疏特征层、稠密表示层、交叉特征提取层、关联特征提取层和特征预测层,稀疏特征层用于表征待推荐的多个特征域的稀疏特征,圆点表示神经元,特征域i、特征域j和特征域m代表不同类别的特征域,不同类别的特征所归属于的特征域不同,如男、女附属于性别特征域,年龄1、年龄2归属于年龄特征;稀疏特征层将待推荐的多个特征域的稀疏特征输入至稠密表示层(即图6中的特征压缩层)后,稠密表示层对稀疏特征进行向量化处理后,得到每个特征域对应的低维稠密的嵌入向量(又称低维稠密特征,即上述的压缩特征),并将得到的每个特征域对应的低维稠密的嵌入向量输入至交叉特征提取层(即图6中的特征交叉层)、关联特征提取层(即图6中的特征关联层)。
交叉特征提取层通过上述指定阶交叉特征的获取方法,进行多次循环或堆栈(stack)操作处理后,得到待推荐信息的指定阶交叉特征;然后,对待推荐信息的多个特征域对应的稀疏特征进行一阶特征处理,得到待推荐信息的一阶特征;最后,将待推荐信息的一阶特征与待推荐信息的指定阶交叉特征进行融合,得到待推荐信息的交叉特征。
其中,堆栈(stack)操作处理方法可参见图9,图9为本申请实施例提供的堆栈处理方法示意图,其输入为各个特征域的低维稠密的嵌入向量,经过与参数矩阵R的乘法运算和与每个特征域的元素积运算后,得到与特征域相同维度的向量输出,所有这些输出的向量又可以作为构造下一阶交叉的输入,因此,stack n次即可得到待推荐信息的n+1阶交叉特征。
通过关联特征提取层,将各个特征域的低维稠密的嵌入向量拼接在一起,然后经过多层全连接,得到待推荐信息的关联特征,如对各个特征域的低维稠密的嵌入向量进行全连接处理,经输入层传输至隐藏层,通过隐藏层得到对应的隐层特征,对隐层特征进行关联特征映射,得到待推荐信息的关联特征。
交叉特征提取层将得到的待推荐信息的指定阶交叉特征输入至特征预测层,同时,关联特征提取层也将得到的待推荐信息的关联特征输入至特征预测层,特征预测层将待推荐信息的指定阶交叉特征和关联特征进行拼接后进行投影,如将拼接得到的拼接特征与投影向量进行相乘,得到投影值,如将拼接得到的拼接特征,通过逻辑回归函数做线性投影,得到对应的投影值,然后将得到的投影值经过sigmoid得到预估的点击率,以基于预估的点击率执行推荐操作。
在通过训练样本训练点击率预测模型时,可基于预估的点击率与训练样本携带的点击标签(是否点击,如点击为1,未点击为0),构建相应的损失函数,如二分类交叉熵损失函数,通过最小化该损失函数求解更新模型参数。
参见图10,图10为本申请实施例提供的信息推荐方法的应用场景示意图,本申请实施例提供的信息推荐方法可应用于看点端推荐、快报推荐、浏览器信息流推荐等。
参见图11,图11为本申请实施例提供的信息推荐效果示意图,以将本申请实施例提供的基于人工智能的信息推荐方法应用于看点图文推荐场景下为例,使用本申请实施例提供的信息推荐方法,能够实现在曝光持平的前提下大大提高页面浏览率。
通过上述方式,本申请实施例提供的基于人工智能的信息推荐方法,支持不同特征域嵌入到不同的维度,使得信息量大的特征域能有更多的参数去拟合,能够以较低的计算复杂度构造待推荐信息的指定阶交叉特征,增强了点击率预测模型的记忆能力,通过对待推荐信息的各个特征域进行特征关联预测,得到对应的关联特征,能够提高点击率模型的泛化能力,通过指定阶交叉特征和关联特征进行点击率预测,能够提高点击率预测结果的准确性,进而提高信息推荐的准确性。
下面继续说明本申请实施例提供的信息推荐555的实施为软件模块的示例性结构,在一些实施例中,存储在图4中存储器550的信息推荐装置555中的软件模块可以包括:
压缩模块5551,用于分别对待推荐信息的多个特征域进行压缩处理,得到对应各所述特征域的压缩特征;
交叉模块5552,用于获取用于表征所述多个特征域中任意特征域组合交叉强度的交叉分块矩阵,并基于所述交叉分块矩阵及各所述压缩特征,对所述多个特征域进行交叉处理,得到所述待推荐信息的交叉特征;
关联模块5553,用于基于各所述压缩特征,对所述多个特征域进行关联处理,得到所述待推荐信息的关联特征;
预测模块5554,用于结合所述交叉特征及所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的点击率预测结果,以基于点击率预测结果执行推荐操作。
在一些实施例中,所述特征域包括连续型特征域、离散型特征域,所述压缩模块,还用于对所述待推荐信息的连续型特征域进行离散化处理,得到所述连续型特征域的离散特征;
对所述连续型特征域的离散特征进行压缩处理,得到所述连续型特征域的压缩特征;
对所述待推荐信息的离散型特征域进行压缩处理,得到所述离散型特征域的压缩特征;
将得到的所述连续型特征域的压缩特征和所述离散型特征域的压缩特征,确定为对应各所述特征域的压缩特征。
在一些实施例中,所述压缩模块,还用于获取所述多个特征域中任意a个特征域组合的参数矩阵和权重矩阵;
其中,
Figure 980335DEST_PATH_IMAGE001
,N为特征域的个数,所述参数矩阵的大小为M*M,为一个N*N的分块矩阵,M为N个特征域的总维度,所述权重矩阵的大小为N*N;
将所述多个特征域中任意a个特征域组合的参数矩阵和权重矩阵进行相乘,得到所述多个特征域中任意a个特征域组合的交叉分块矩阵。
在一些实施例中,所述交叉模块,还用于对所述待推荐信息的多个特征域进行一阶特征处理,得到所述待推荐信息的一阶特征;
基于所述交叉分块矩阵,对所述多个特征域中任意a个特征域对应的压缩特征进行a阶特征交叉处理,得到所述待推荐信息的a阶交叉特征,其中,
Figure 905565DEST_PATH_IMAGE001
,N为特征域的个数;
将所述待推荐信息的一阶特征与所述待推荐信息的a阶交叉特征进行融合处理,得到所述待推荐信息的交叉特征。
在一些实施例中,所述交叉模块,还用于分别获取所述待推荐信息的每个特征域的权重;
基于所述权重,将所述待推荐信息的多个特征域进行加和处理,得到所述待推荐信息的一阶特征。
在一些实施例中,所述交叉模块,还用于将所述待推荐信息的多个特征域的压缩特征进行拼接处理,得到所述待推荐信息的压缩特征;
基于所述多个特征域中任意a个特征域组合的交叉分块矩阵及所述待推荐信息的压缩特征,确定所述多个特征域中任意a个特征域组合的交叉压缩矩阵;
将所述多个特征域中任意a个特征域组合的交叉压缩矩阵与所述待推荐信息的压缩特征进行元素积计算,得到所述特征域中任意a个特征域组合的交叉元素矩阵;
将所述特征域中任意a个特征域组合的交叉元素矩阵中各元素进行加和处理,得到所述特征域中任意a个特征域组合的a阶交叉特征。
在一些实施例中,所述交叉模块,还用于获取所述特征域中任意a-1个特征域组合的交叉元素矩阵;
其中,
Figure 129873DEST_PATH_IMAGE002
,所述特征域中任意a-1个特征域组合的交叉元素矩阵,为将所述多个特征域中任意a-1个特征域组合的交叉压缩矩阵与所述待推荐信息的压缩特征进行元素积计算得到;
将所述多个特征域中任意a个特征域组合的交叉分块矩阵与所述特征域中任意a-1个特征域组合的交叉元素矩阵进行相乘处理,得到所述多个特征域中任意a个特征域组合的交叉压缩矩阵。
在一些实施例中,所述关联模块,还用于对各所述特征域的压缩特征进行全连接处理,得到对应各所述特征域的隐层特征;
对各所述特征域的隐层特征进行关联特征映射,得到所述待推荐信息的关联特征。
在一些实施例中,所述预测模块,还用于基于所述交叉特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的第一点击率;
基于所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的第二点击率;
将所述第一点击率与所述第二点击率进行平均处理,得到用于表征针对所述待推荐信息的点击率的预测结果。
在一些实施例中,所述预测模块,还用于分别确定所述交叉特征及所述关联特征针对所述待推荐信息的点击率影响因子;
以所述点击率影响因子为权重,对所述交叉特征及所述关联特征进行加权求和处理,得到加权求和处理结果;
对所述加权求和处理结果进行偏置处理,得到针对所述待推荐信息的点击率预测结果。
在一些实施例中,所述预测模块,还用于对所述交叉特征与所述关联特征进行拼接处理,得到所述待推荐信息的拼接特征;
对所述拼接特征进行线性投影处理,得到对应的投影值;
对所述投影值进行偏置处理,得到针对所述待推荐信息的点击率预测结果。
在一些实施例中,所述结合所述交叉特征及所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的点击率预测结果之后,所述装置还包括:
推荐模块,用于当所述点击率预测结果表征目标用户针对所述待推荐信息的点击率超过点击率阈值时,将所述待推荐信息推荐至所述目标用户。
在一些实施例中,所述信息推荐方法是通过调用点击率预测模型实现的,所述点击率预测模型包括:特征压缩层、特征交叉层、特征关联层和特征预测层;所述装置还包括:
模块训练模块,用于通过所述特征压缩层,对待推荐信息样本的多个特征域进行压缩处理,得到对应各所述特征域的压缩特征,其中,所述待推荐信息样本携带点击率标签;
通过所述特征交叉层,获取用于表征所述多个特征域中任意特征域组合交叉强度的交叉分块矩阵,并基于所述交叉分块矩阵及各所述压缩特征,对所述多个特征域进行交叉处理,得到所述待推荐信息样本的交叉特征;
通过所述特征关联层,基于各所述压缩特征,对所述多个特征域进行关联处理,得到所述待推荐信息样本的关联特征;
通过所述特征融合层,对所述交叉特征及所述关联特征进行融合处理,得到所述待推荐信息样本的融合特征;
通过所述特征预测层,基于所述融合特征,对所述待推荐信息样本的点击率进行预测得到点击率预测结果,并基于所述点击率预测结果及相应的点击率标签更新所述点击率预测模型的模型参数。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例上述的信息推荐方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的信息推荐方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

Claims (15)

1.一种信息推荐方法,其特征在于,所述方法包括:
分别对待推荐信息的多个特征域进行压缩处理,得到对应各所述特征域的压缩特征,并将对应各所述特征域的压缩特征进行拼接处理,得到所述待推荐信息的压缩特征;
获取用于表征所述多个特征域中任意a个特征域组合交叉强度的交叉分块矩阵,基于所述多个特征域中任意a个特征域组合的交叉分块矩阵及所述待推荐信息的压缩特征,确定所述多个特征域中任意a个特征域组合的交叉压缩矩阵,其中,
Figure 559872DEST_PATH_IMAGE001
,N为特征域的个数;
将所述多个特征域中任意a个特征域组合的交叉压缩矩阵与所述待推荐信息的压缩特征进行元素积计算,得到所述多个特征域中任意a个特征域组合的交叉元素矩阵;
将所述多个特征域中任意a个特征域组合的交叉元素矩阵中各元素进行加和处理,得到所述多个特征域中任意a个特征域组合的a阶交叉组合特征,作为所述待推荐信息的a阶交叉特征;
基于所述待推荐信息的a阶交叉特征,确定所述待推荐信息的交叉特征;
基于各所述特征域的压缩特征,对所述多个特征域进行关联处理,得到所述待推荐信息的关联特征;
结合所述交叉特征及所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的点击率预测结果,以基于点击率预测结果执行推荐操作。
2.如权利要求1所述的方法,其特征在于,所述特征域包括连续型特征域、离散型特征域,所述分别对待推荐信息的多个特征域进行压缩处理,得到对应各所述特征域的压缩特征,包括:
对所述待推荐信息的连续型特征域进行离散化处理,得到所述连续型特征域的离散特征;
对所述连续型特征域的离散特征进行压缩处理,得到所述连续型特征域的压缩特征;
对所述待推荐信息的离散型特征域进行压缩处理,得到所述离散型特征域的压缩特征;
将得到的所述连续型特征域的压缩特征和所述离散型特征域的压缩特征,确定为对应各所述特征域的压缩特征。
3.如权利要求1所述的方法,其特征在于,所述获取用于表征所述多个特征域中任意特征域组合交叉强度的交叉分块矩阵,包括:
获取所述多个特征域中任意a个特征域组合的参数矩阵和权重矩阵;
其中,所述参数矩阵的大小为M*M,为一个N*N的分块矩阵,M为N个特征域的总维度,所述权重矩阵的大小为N*N;
将所述多个特征域中任意a个特征域组合的参数矩阵和权重矩阵进行相乘,得到所述多个特征域中任意a个特征域组合的交叉分块矩阵。
4.如权利要求1所述的方法,其特征在于,所述基于所述待推荐信息的a阶交叉特征,确定所述待推荐信息的交叉特征,包括:
对所述待推荐信息的多个特征域进行一阶特征处理,得到所述待推荐信息的一阶特征;
将所述待推荐信息的一阶特征与所述待推荐信息的a阶交叉特征进行融合处理,得到所述待推荐信息的交叉特征。
5.如权利要求4所述的方法,其特征在于,所述对所述待推荐信息的多个特征域进行一阶特征处理,得到所述待推荐信息的一阶特征,包括:
分别获取所述待推荐信息的每个特征域的权重;
基于所述权重,将所述待推荐信息的多个特征域进行加和处理,得到所述待推荐信息的一阶特征。
6.如权利要求1所述的方法,其特征在于,所述基于所述多个特征域中任意a个特征域组合的交叉分块矩阵及所述待推荐信息的压缩特征,确定所述多个特征域中任意a个特征域组合的交叉压缩矩阵,包括:
获取所述特征域中任意a-1个特征域组合的交叉元素矩阵;
其中,
Figure 702140DEST_PATH_IMAGE002
,所述特征域中任意a-1个特征域组合的交叉元素矩阵,为将所述多个特征域中任意a-1个特征域组合的交叉压缩矩阵与所述待推荐信息的压缩特征进行元素积计算得到;
将所述多个特征域中任意a个特征域组合的交叉分块矩阵与所述特征域中任意a-1个特征域组合的交叉元素矩阵进行相乘处理,得到所述多个特征域中任意a个特征域组合的交叉压缩矩阵。
7.如权利要求1所述的方法,其特征在于,所述基于各所述特征域的压缩特征,对所述多个特征域进行关联处理,得到所述待推荐信息的关联特征,包括:
对各所述特征域的压缩特征进行全连接处理,得到对应各所述特征域的隐层特征;
对各所述特征域的隐层特征进行关联特征映射,得到所述待推荐信息的关联特征。
8.如权利要求1所述的方法,其特征在于,所述结合所述交叉特征及所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的点击率预测结果,包括:
基于所述交叉特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的第一点击率;
基于所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的第二点击率;
将所述第一点击率与所述第二点击率进行平均处理,得到用于表征针对所述待推荐信息的点击率的预测结果。
9.如权利要求1所述的方法,其特征在于,所述结合所述交叉特征及所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的点击率预测结果,包括:
分别确定所述交叉特征及所述关联特征针对所述待推荐信息的点击率影响因子;
以所述点击率影响因子为权重,对所述交叉特征及所述关联特征进行加权求和处理,得到加权求和处理结果;
对所述加权求和处理结果进行偏置处理,得到针对所述待推荐信息的点击率预测结果。
10.如权利要求1所述的方法,其特征在于,所述结合所述交叉特征及所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的点击率预测结果,包括:
对所述交叉特征与所述关联特征进行拼接处理,得到所述待推荐信息的拼接特征;
对所述拼接特征进行线性投影处理,得到对应的投影值;
对所述投影值进行偏置处理,得到针对所述待推荐信息的点击率预测结果。
11.如权利要求1至10任一项所述的方法,其特征在于,所述信息推荐方法是通过调用点击率预测模型实现的,所述点击率预测模型包括:特征压缩层、特征交叉层、特征关联层和特征预测层;所述方法还包括:
通过所述特征压缩层,对待推荐信息样本的多个特征域进行压缩处理,得到对应各所述特征域的压缩特征,并将对应各所述特征域的压缩特征进行拼接处理,得到所述待推荐信息样本的压缩特征,其中,所述待推荐信息样本携带点击率标签;
通过所述特征交叉层,获取用于表征所述多个特征域中任意a个特征域组合交叉强度的交叉分块矩阵,基于所述多个特征域中任意a个特征域组合的交叉分块矩阵及所述待推荐信息的压缩特征,确定所述多个特征域中任意a个特征域组合的交叉压缩矩阵,其中,
Figure 993444DEST_PATH_IMAGE001
,N为特征域的个数;
将所述多个特征域中任意a个特征域组合的交叉压缩矩阵与所述待推荐信息样本的压缩特征进行元素积计算,得到所述多个特征域中任意a个特征域组合的交叉元素矩阵;
将所述多个特征域中任意a个特征域组合的交叉元素矩阵中各元素进行加和处理,得到所述多个特征域中任意a个特征域组合的a阶交叉组合特征,作为所述待推荐信息样本的a阶交叉特征;
基于所述待推荐信息样本的a阶交叉特征,确定所述待推荐信息样本的交叉特征;
通过所述特征关联层,基于各所述特征域的压缩特征,对所述多个特征域进行关联处理,得到所述待推荐信息样本的关联特征;
通过所述特征预测层,结合所述交叉特征及所述关联特征,对所述待推荐信息样本的点击率进行预测得到点击率预测结果,并基于所述点击率预测结果及相应的点击率标签更新所述点击率预测模型的模型参数。
12.一种信息推荐装置,其特征在于,所述装置包括:
压缩模块,用于分别对待推荐信息的多个特征域进行压缩处理,得到对应各所述特征域的压缩特征,并将对应各所述特征域的压缩特征进行拼接处理,得到所述待推荐信息的压缩特征;
交叉模块,用于获取用于表征所述多个特征域中任意a个特征域交叉强度的交叉分块矩阵,基于所述多个特征域中任意a个特征域组合的交叉分块矩阵及所述待推荐信息的压缩特征,确定所述多个特征域中任意a个特征域组合的交叉压缩矩阵,其中,
Figure 853953DEST_PATH_IMAGE001
,N为特征域的个数;
将所述多个特征域中任意a个特征域组合的交叉压缩矩阵与所述待推荐信息的压缩特征进行元素积计算,得到所述多个特征域中任意a个特征域组合的交叉元素矩阵;
将所述多个特征域中任意a个特征域组合的交叉元素矩阵中各元素进行加和处理,得到所述多个特征域中任意a个特征域组合的a阶交叉组合特征,作为所述待推荐信息的a阶交叉特征;
基于所述待推荐信息的a阶交叉特征,确定所述待推荐信息的交叉特征;
关联模块,用于基于各所述特征域的压缩特征,对所述多个特征域进行关联处理,得到所述待推荐信息的关联特征;
预测模块,用于结合所述交叉特征及所述关联特征,对所述待推荐信息的点击率进行预测,得到针对所述待推荐信息的点击率预测结果,以基于点击率预测结果执行推荐操作。
13.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至11任一项所述的信息推荐方法。
14.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至11任一项所述的信息推荐方法。
15.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现权利要求1至11任一项所述的信息推荐方法。
CN202110895209.9A 2021-08-05 2021-08-05 一种信息推荐方法、装置、设备及计算机可读存储介质 Active CN113342868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110895209.9A CN113342868B (zh) 2021-08-05 2021-08-05 一种信息推荐方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110895209.9A CN113342868B (zh) 2021-08-05 2021-08-05 一种信息推荐方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113342868A CN113342868A (zh) 2021-09-03
CN113342868B true CN113342868B (zh) 2021-11-02

Family

ID=77480772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110895209.9A Active CN113342868B (zh) 2021-08-05 2021-08-05 一种信息推荐方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113342868B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113626719B (zh) * 2021-10-12 2022-02-08 腾讯科技(深圳)有限公司 信息推荐方法、装置、设备、存储介质及计算机程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960759A (zh) * 2019-03-22 2019-07-02 中山大学 基于深度神经网络的推荐系统点击率预测方法
US20200225655A1 (en) * 2016-05-09 2020-07-16 Strong Force Iot Portfolio 2016, Llc Methods, systems, kits and apparatuses for monitoring and managing industrial settings in an industrial internet of things data collection environment
CN111475730A (zh) * 2020-04-09 2020-07-31 腾讯科技(北京)有限公司 基于人工智能的信息推荐方法、装置、电子设备
CN111651692A (zh) * 2020-06-02 2020-09-11 腾讯科技(北京)有限公司 基于人工智能的信息推荐方法、装置及电子设备
CN112035747A (zh) * 2020-09-03 2020-12-04 腾讯科技(深圳)有限公司 信息推荐方法及装置
CN112508638A (zh) * 2020-11-30 2021-03-16 上海哔哩哔哩科技有限公司 数据处理的方法、装置及计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7933955B2 (en) * 2006-07-11 2011-04-26 Igor Khalatian One-click universal screen sharing
US20170188102A1 (en) * 2015-12-23 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and electronic device for video content recommendation
US10474689B1 (en) * 2018-04-26 2019-11-12 Quickpath, Inc. Model score recall for machine learning systems and applications
CN110489582B (zh) * 2019-08-19 2023-11-07 腾讯科技(深圳)有限公司 个性化展示图像的生成方法及装置、电子设备
CN111177575B (zh) * 2020-04-07 2020-07-24 腾讯科技(深圳)有限公司 一种内容推荐方法、装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200225655A1 (en) * 2016-05-09 2020-07-16 Strong Force Iot Portfolio 2016, Llc Methods, systems, kits and apparatuses for monitoring and managing industrial settings in an industrial internet of things data collection environment
CN109960759A (zh) * 2019-03-22 2019-07-02 中山大学 基于深度神经网络的推荐系统点击率预测方法
CN111475730A (zh) * 2020-04-09 2020-07-31 腾讯科技(北京)有限公司 基于人工智能的信息推荐方法、装置、电子设备
CN111651692A (zh) * 2020-06-02 2020-09-11 腾讯科技(北京)有限公司 基于人工智能的信息推荐方法、装置及电子设备
CN112035747A (zh) * 2020-09-03 2020-12-04 腾讯科技(深圳)有限公司 信息推荐方法及装置
CN112508638A (zh) * 2020-11-30 2021-03-16 上海哔哩哔哩科技有限公司 数据处理的方法、装置及计算机设备

Also Published As

Publication number Publication date
CN113342868A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113626719B (zh) 信息推荐方法、装置、设备、存储介质及计算机程序产品
CN112035747B (zh) 信息推荐方法及装置
CN112035743B (zh) 数据推荐方法、装置、计算机设备以及存储介质
CN113254785B (zh) 推荐模型训练方法、推荐方法和相关设备
CN109961080B (zh) 终端识别方法及装置
CN112398947B (zh) 一种信息推送方法、装置、设备及计算机可读存储介质
CN113627447A (zh) 标签识别方法、装置、计算机设备、存储介质及程序产品
CN113761359B (zh) 数据包推荐方法、装置、电子设备和存储介质
CN114330966A (zh) 一种风险预测方法、装置、设备以及可读存储介质
CN116664719A (zh) 一种图像重绘模型训练方法、图像重绘方法及装置
CN111949886B (zh) 一种用于信息推荐的样本数据生成方法和相关装置
KR20160066395A (ko) 행렬 분해 모델 기반 데이터 분석 방법 및 장치
CN113342868B (zh) 一种信息推荐方法、装置、设备及计算机可读存储介质
Wei et al. DLGNN: A Double-layer Graph Neural Network Model Incorporating Shopping Sequence Information for Commodity Recommendation.
CN117216281A (zh) 一种基于知识图谱的用户兴趣扩散推荐方法及系统
CN116205700A (zh) 目标产品的推荐方法、装置、计算机设备和存储介质
CN114330704A (zh) 语句生成模型更新方法、装置、计算机设备和存储介质
CN116821516B (zh) 资源推荐方法、装置、设备及存储介质
WO2023174064A1 (zh) 自动搜索方法、自动搜索的性能预测模型训练方法及装置
CN114756768B (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
CN111597401A (zh) 基于图关系网络的数据处理方法、装置、设备及介质
CN116340643A (zh) 对象推荐的调整方法及装置、存储介质、电子设备
CN112464087B (zh) 推荐概率的输出方法及装置、存储介质、电子设备
CN113298661B (zh) 一种基于人工智能的产品推荐方法、装置及电子设备
CN113656589B (zh) 对象属性确定方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40052268

Country of ref document: HK